JP7192563B2

JP7192563B2 - autonomous mobile robot

Info

Publication number: JP7192563B2
Application number: JP2019029813A
Authority: JP
Inventors: 薪雄鈴木; 艶艶楊
Original assignee: Sintokogio Ltd
Current assignee: Sintokogio Ltd
Priority date: 2019-02-21
Filing date: 2019-02-21
Publication date: 2022-12-20
Anticipated expiration: 2039-02-21
Also published as: JP2020135561A

Description

本発明は、自律移動ロボットに関する。 The present invention relates to autonomous mobile robots.

医療施設や介護施設などに代表される施設においては、昼間は多くの職員が施設内を行き来しており、施設内で不具合が発生した対象者を職員が迅速に発見することが可能である。一方、夜間は宿直担当職員が一定時間間隔で施設内を定期巡回することにより不具合の発見に努めている。 In facilities such as medical facilities and nursing care facilities, many staff come and go during the daytime, and it is possible for the staff to quickly find the target person who has a problem in the facility. On the other hand, at night, the staff in charge of night duty make regular patrols of the facility at regular intervals to find problems.

このような状況を補うために、施設内の所定の位置にカメラを設置し、該カメラが撮像した画像（静止画像又は動画像）を職員が待機している居室に転送するシステムが採用されている。 In order to compensate for this situation, a system was adopted in which a camera was installed at a predetermined position within the facility, and the image (still image or moving image) captured by the camera was transferred to the room where the staff were waiting. there is

しかしながら、上述したシステムにおいて、カメラの死角に存在する対象者を画像で発見することは困難である。例えば、宿直担当職員の巡回時間間隔が１時間の場合、巡回直後にカメラの死角で転倒したり徘徊している対象者を発見するのは、次の１時間後になってしまう場合がある。 However, in the system described above, it is difficult to find a target person in the blind spot of the camera in the image. For example, if the patrol time interval of the night duty staff is one hour, it may be one hour later that the subject falling or wandering in the blind spot of the camera is found immediately after the patrol.

かかる状況を改善すべく、施設内を自動巡回する自律移動ロボットを利用することができる。このような自律移動ロボットには、施設内に転倒者がいる場合、これを適切に発見すると共に、転倒者が存在していることを示す情報を出力する（例えば、職員に通知する）ことが要求される。 In order to improve this situation, it is possible to use an autonomous mobile robot that automatically patrols the facility. Such autonomous mobile robots are capable of appropriately detecting a fallen person in a facility and outputting information indicating the presence of the fallen person (e.g., notifying the staff). requested.

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、測域センサと物体検知カメラとを用いて、転倒者を適切に発見すると共に、転倒者が存在していることを示す情報を出力することが可能な自律移動ロボットを実現することにある。 SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and its purpose is to detect a fallen person appropriately and to detect the presence of a fallen person by using a range sensor and an object detection camera. To realize an autonomous mobile robot capable of outputting information indicating

上記の課題を解決するために、本発明の態様１に係る自律移動ロボットは、フロア上を自動巡回する自律移動ロボットであって、前記フロアを撮影するカメラと、前記フロアから特定の高さに存在する障害物を検知するセンサと、前記カメラにより撮影された画像、及び、前記センサの出力信号を参照して、当該自律移動ロボットを制御するコントローラと、を備え、前記コントローラは、人間を障害物として検知しているか否かを判断する処理を実行し、前記画像に人間が被写体として含まれている場合、且つ、前記センサが前記人間を障害物として検知していない場合、転倒者が存在していることを示す情報を出力する処理を実行する、構成である。 In order to solve the above-described problems, an autonomous mobile robot according to aspect 1 of the present invention is an autonomous mobile robot that automatically patrols on a floor, comprising a camera for photographing the floor, and a robot at a specific height from the floor. a sensor that detects an existing obstacle; and a controller that controls the autonomous mobile robot by referring to the image captured by the camera and the output signal of the sensor, wherein the controller detects a human as an obstacle. If a person is included as a subject in the image and if the sensor does not detect the person as an obstacle, a fallen person is present. It is a configuration that executes a process of outputting information indicating that the

上記の構成によれば、施設内のフロア上に転倒者が存在しているか否かを適切に判断することができる。そして、転倒者が存在していることを示す情報を適切に出力することができる。 According to the above configuration, it is possible to appropriately determine whether or not there is a fallen person on the floor in the facility. Then, it is possible to appropriately output information indicating that the fallen person exists.

本発明の態様２に係る自律移動ロボットは、上記の態様１において、前記画像は、一人以上の人間を被写体として含み、前記コントローラは、前記画像を参照して、前記カメラに最も近い人間の前記画像内の座標情報を特定する処理と、前記座表情報を参照して、前記センサが前記カメラに最も近い人間を検知したか否かを判定する処理と、前記センサが前記カメラに最も近い人間を検知した場合、前記カメラに最も近い人間に追従して当該自律移動ロボットを走行させる処理と、を更に実行する、構成としてもよい。 An autonomous mobile robot according to aspect 2 of the present invention is an autonomous mobile robot according to aspect 1 above, wherein the image includes one or more humans as subjects, and the controller refers to the image to refer to the image of the person closest to the camera. a process of identifying coordinate information in an image; a process of determining whether or not the sensor has detected a person closest to the camera by referring to the coordinate information; and a person closest to the camera by the sensor. is detected, a process of causing the autonomous mobile robot to run following the person closest to the camera may be further executed.

上記の構成によれば、自律移動ロボットは施設内のフロア上を徘徊する対象者に追従して走行することができる。 According to the above configuration, the autonomous mobile robot can follow and run the target person who is wandering on the floor in the facility.

本発明の態様３に係る自律移動ロボットは、上記の態様２において、前記コントローラは、前記判定する処理において、前記センサが前記座標情報が表す位置に人間の脚部に相当する特定のサイズの障害物を検知したときに、前記センサが前記カメラに最も近い人間を検知したと判定する、構成としてもよい。 An autonomous mobile robot according to aspect 3 of the present invention is the above-described aspect 2, wherein in the determination process, the sensor detects an obstacle of a specific size corresponding to a human leg at the position represented by the coordinate information. A configuration may be adopted in which, when an object is detected, it is determined that the sensor has detected a person closest to the camera.

上記の構成によれば、カメラの前に存在する人間が追従対象者であるか否かを判断することができる。 According to the above configuration, it can be determined whether or not the person present in front of the camera is the person to be tracked.

本発明の態様４に係る自律移動ロボットは、上記の態様１～３までの何れか１項において、前記コントローラは、前記カメラにより撮影した画像、及び、前記センサの出力信号を取得する少なくとも１つの入力インタフェースと、予め定められたプログラムに従って前記各処理を実行する少なくとも１つのプロセッサと、前記プログラムを格納した少なくとも１つのメモリと、を備えている、構成としてもよい。 Aspect 4 of the present invention is an autonomous mobile robot according to any one of aspects 1 to 3 above, wherein the controller comprises at least one image captured by the camera and an output signal of the sensor. The configuration may include an input interface, at least one processor that executes each process according to a predetermined program, and at least one memory that stores the program.

上記の構成によれば、自律移動ロボットに搭載されたコントローラにより各種処理を実行することができる。 According to the above configuration, various processes can be executed by the controller mounted on the autonomous mobile robot.

本発明の態様５に係る制御方法は、フロア上を自動巡回する自律移動ロボットを制御する制御方法であって、カメラを用いて前記フロアを撮影する工程と、センサを用いて前記フロアから特定の高さに存在する障害物を検知する工程と、前記カメラにより撮影された画像、及び、前記センサの出力信号を参照して、当該自律移動ロボットを制御する工程と、を含み、前記制御する工程は、前記画像に人間が被写体として含まれている場合、且つ、前記センサが前記人間を障害物として検知していない場合、転倒者が存在していることを示す情報を出力する処理を含む、方法である。 A control method according to aspect 5 of the present invention is a control method for controlling an autonomous mobile robot that automatically patrols on a floor, comprising the steps of capturing an image of the floor using a camera; a step of detecting an obstacle existing at a height; and a step of controlling the autonomous mobile robot with reference to the image captured by the camera and the output signal of the sensor, and the step of controlling. includes a process of outputting information indicating the presence of a fallen person when the image includes a person as a subject and when the sensor does not detect the person as an obstacle; The method.

上記の構成によれば、施設内のフロア上に転倒者が存在しているか否か判断する制御をすることができる。 According to the above configuration, control can be performed to determine whether or not there is a fallen person on the floor in the facility.

本発明の態様６に係る自律移動ロボットを制御する制御プログラムであって、前記コントローラに前記各処理を実行させることを特徴とする制御プログラムは、上記の態様１～４の何れか１項において、請求項１～４の何れか１項に記載の自律移動ロボットを制御する制御プログラムであって、前記コントローラに前記各処理を実行させる構成としてもよい。 A control program for controlling an autonomous mobile robot according to aspect 6 of the present invention, characterized in that the control program causes the controller to execute each of the processes, in any one of aspects 1 to 4 above, A control program for controlling the autonomous mobile robot according to any one of claims 1 to 4, wherein the controller may be configured to execute each of the processes.

上記の構成によれば、前記制御方法と同様の効果を奏する。 According to the above configuration, the same effects as those of the above control method can be obtained.

本発明によれば、上記の構成によれば、施設内のフロア上に転倒者が存在しているか否か判断することができるという効果を奏する。 According to the present invention, with the above configuration, it is possible to determine whether or not there is a fallen person on the floor in the facility.

本発明の一実施形態に係る自律移動ロボットが備えている主要な構成を模式的に示す概略図である。1 is a schematic diagram schematically showing the main components of an autonomous mobile robot according to an embodiment of the present invention; FIG. 本発明の一実施形態に係る自律移動ロボットが施設内を見回っている様子を模式的に示す斜視図である。1 is a perspective view schematically showing how an autonomous mobile robot according to an embodiment of the present invention is patrolling a facility; FIG. 本発明の一実施形態に係る自律移動ロボットが備えている第１の制御部の機能ブロック図である。FIG. 3 is a functional block diagram of a first control unit provided in the autonomous mobile robot according to one embodiment of the present invention; 図３に示した第１の制御部が実行する対象者の座標情報を抽出する方法のフローチャートである。4 is a flow chart of a method for extracting coordinate information of a subject, which is executed by the first control unit shown in FIG. 3; 図３に示した第１の制御部が実行する対象者の座標情報を抽出する態様を模式的に示す概略図である。4 is a schematic diagram schematically showing a mode of extracting coordinate information of a subject, which is executed by the first control unit shown in FIG. 3; FIG. 本発明の一実施形態に係る自律移動ロボットが備えている第２の制御部の機能ブロック図である。FIG. 4 is a functional block diagram of a second controller included in the autonomous mobile robot according to one embodiment of the present invention; 図６に示した第２の制御部が実行する、フロアから所定の高さに対象者が存在するか否かを判断する方法のフローチャートである。7 is a flow chart of a method for determining whether or not a target person exists at a predetermined height from the floor, which is executed by the second control unit shown in FIG. 6; 図６に示した第２の制御部が実行する、フロアから所定の高さに対象者が存在するか否かを検知する態様を模式的に示す概略図である。FIG. 7 is a schematic diagram schematically showing a mode of detecting whether or not a target person exists at a predetermined height from the floor, which is executed by the second control unit shown in FIG. 6; 本発明の一実施形態に係る自律移動ロボットが備えている第３の制御部の機能ブロック図である。FIG. 4 is a functional block diagram of a third control unit provided in the autonomous mobile robot according to one embodiment of the present invention; 図９に示した第３の制御部が実行する自律移動ロボットを駆動させる方法のフローチャートである。FIG. 10 is a flow chart of a method for driving an autonomous mobile robot executed by a third control unit shown in FIG. 9; FIG. 本発明の一実施形態に係る自律移動ロボットが備えている主要なハードウェア構成を模式的に示す概略図である。1 is a schematic diagram schematically showing the main hardware configuration of an autonomous mobile robot according to one embodiment of the present invention; FIG.

本発明の一実施形態に係る自律移動ロボット１０について、図１～図１０を参照して説明する。自律移動ロボット１０は、医療施設や介護施設などの職員に代わって施設内の見回りを実施する介護医療用の自律移動ロボットであって、徘徊している施設利用者や、動けない状態になっている施設利用者（すなわちフロア上に倒れている施設利用者）を検出可能な自走式の自律移動ロボットである。 An autonomous mobile robot 10 according to one embodiment of the present invention will be described with reference to FIGS. 1 to 10. FIG. The autonomous mobile robot 10 is an autonomous mobile robot for nursing care and medical care that patrols the facilities in place of the staff of medical facilities, nursing care facilities, etc. It is a self-propelled autonomous mobile robot that can detect a facility user who is lying on the floor (that is, a facility user who has fallen on the floor).

（自律移動ロボット１０の主要構成）
図１は、自律移動ロボット１０の主なハードウェア構成を示したブロック図である。図１に示すように、自律移動ロボット１０は、少なくとも第１のコントローラ１１と、第２のコントローラ１２と、第３のコントローラ１３と、カメラ１４と、測域センサ１５と、駆動装置１６と、通信インタフェース１７とを備えている。別の好ましい実施形態では、第１のコントローラ１１と、第２のコントローラ１２と、第３のコントローラ１３とを一つの制御部として構成することができる。 (Main Configuration of Autonomous Mobile Robot 10)
FIG. 1 is a block diagram showing the main hardware configuration of an autonomous mobile robot 10. As shown in FIG. As shown in FIG. 1, the autonomous mobile robot 10 includes at least a first controller 11, a second controller 12, a third controller 13, a camera 14, a range sensor 15, a driving device 16, and a communication interface 17 . In another preferred embodiment, the first controller 11, the second controller 12 and the third controller 13 can be configured as one control unit.

第１のコントローラ１１はカメラ１４を制御し、第２のコントローラ１２は通信インタフェース１７および測域センサ１５を制御し、第３のコントローラ１３は駆動装置１６を制御する。第１のコントローラ１１による制御結果は、第２のコントローラ１２に送信され、第２のコントローラ１２による制御結果は第３のコントローラ１３に送信される。 The first controller 11 controls the camera 14 , the second controller 12 controls the communication interface 17 and range sensor 15 , and the third controller 13 controls the drive device 16 . A control result by the first controller 11 is transmitted to the second controller 12 , and a control result by the second controller 12 is transmitted to the third controller 13 .

第２のコントローラ１２により、通信インタフェース１７は、ビーコン１８と無線通信し、ビーコン信号を受信することができる。ビーコン１８は、任意のビーコンであってよく、例えばＢＬＥ（Bluetooth Low Energy）ビーコンなどが好ましい。更に第２のコントローラ１２により、通信インタフェース１７は、携帯端末１９と無線通信し、自律移動ロボット１０の情報を送信することができる。携帯端末１９は、携帯電話、スマートフォン、タブレット端末など任意の携帯端末であってよい。 The second controller 12 enables the communication interface 17 to wirelessly communicate with the beacon 18 and receive beacon signals. The beacon 18 may be any beacon, preferably a BLE (Bluetooth Low Energy) beacon, for example. Further, the second controller 12 allows the communication interface 17 to wirelessly communicate with the mobile terminal 19 and transmit information on the autonomous mobile robot 10 . The mobile terminal 19 may be any mobile terminal such as a mobile phone, a smart phone, or a tablet terminal.

（自律移動ロボット１０の実装態様）
図２は、本発明の一実施形態に係る自律移動ロボット１０が施設内を見回っている様子を模式的に示す斜視図である。図２では、自律移動ロボット１０が、フロアＦ上に倒れている施設利用者Ｐ_０を検知した様子を模式的に示している。 (Mounting Mode of Autonomous Mobile Robot 10)
FIG. 2 is a perspective view schematically showing how an autonomous mobile robot 10 according to an embodiment of the present invention is patrolling a facility. FIG. ₂ schematically shows how the autonomous mobile robot 10 detects the facility user P0 lying on the floor F. As shown in FIG.

図２に示すように、自律移動ロボット１０は、施設のフロアＦのうえに載置されている。自律移動ロボット１０は、駆動機構１６を用いて施設内を自走することができる。 As shown in FIG. 2, the autonomous mobile robot 10 is placed on the floor F of the facility. The autonomous mobile robot 10 is capable of self-propelled within the facility using the drive mechanism 16 .

図２において、フロアＦの表面に沿った平面をｘｙ平面と定め、フロアＦの表面の法線方向のうち当該表面から天頂へ向かう方向をｚ軸正方向と定める。また、図２に示すように、自律移動ロボット１０の前進方向をｘ軸正方向と定める。また、ｘｙ平面に含まれる方向のうち、上述したｘ軸正方向及びｚ軸正方向とともに右手系の直交座標系を構成する方向をｙ軸正方向と定める。 In FIG. 2, the plane along the surface of the floor F is defined as the xy plane, and the normal direction of the surface of the floor F toward the zenith is defined as the z-axis positive direction. Also, as shown in FIG. 2, the forward direction of the autonomous mobile robot 10 is defined as the x-axis positive direction. Among the directions included in the xy plane, a direction forming a right-handed orthogonal coordinate system together with the positive x-axis direction and the positive z-axis direction is defined as the positive y-axis direction.

自律移動ロボット１０は、図２に示すように、その上端部が半球状に丸められた略円柱状の形状を有する。自律移動ロボット１０の筐体は、カメラ１４、測域センサ１５および通信インタフェース１７を含む入力機構と、駆動装置１６を含む出力機構と、これらの入出力機構を制御する制御部とを収容している。 As shown in FIG. 2, the autonomous mobile robot 10 has a substantially columnar shape with its upper end portion rounded into a hemispherical shape. The housing of the autonomous mobile robot 10 accommodates an input mechanism including a camera 14, a range sensor 15, and a communication interface 17, an output mechanism including a drive device 16, and a control section for controlling these input/output mechanisms. there is

なお、図２には、上記の入出力機構のうちカメラ１４のみを図示し、それ以外のハードウェアの図示は省略している。また、自律移動ロボット１０の筐体の内部構造についても、その図示を省略している。上記入出力機構以外に、例えばカメラ１４の隣に赤外線ランプなどを搭載することもできる。この赤外線ランプを点灯させ、カメラ１４に赤外線領域まで撮像できるカメラを用いて、低照度下でも人間を撮影することもできる。 It should be noted that FIG. 2 shows only the camera 14 among the input/output mechanisms described above, and the illustration of other hardware is omitted. The illustration of the internal structure of the housing of the autonomous mobile robot 10 is also omitted. In addition to the input/output mechanism described above, for example, an infrared lamp or the like can be mounted next to the camera 14 . By turning on this infrared lamp and using a camera capable of imaging up to the infrared region as the camera 14, it is also possible to photograph a person even under low illuminance.

カメラ１４および測域センサ１５は、図２に例示した自律移動ロボット１０の筐体の表面に露出した様態で配置されている。カメラ１４および測域センサ１５は、自律移動ロボット１０の筐体の表面の任意の場所に配置されることができるが、自律移動ロボット１０の前進方向正面に配置されていることが好ましい。 The camera 14 and range sensor 15 are arranged in an exposed manner on the surface of the housing of the autonomous mobile robot 10 illustrated in FIG. The camera 14 and range sensor 15 can be placed anywhere on the surface of the housing of the autonomous mobile robot 10, but are preferably placed in front of the autonomous mobile robot 10 in the forward direction.

（オブジェクト判定）
図３は、本発明の一実施形態に係る自律移動ロボット１０が備えている第１のコントローラ１１の主要な構成を示す機能ブロック図である。図４は、図３に示した第１の制御部が実行するオブジェクトの座標情報１４２を抽出する方法のフローチャートである。 (object judgment)
FIG. 3 is a functional block diagram showing the main configuration of the first controller 11 provided in the autonomous mobile robot 10 according to one embodiment of the present invention. FIG. 4 is a flow chart of a method for extracting coordinate information 142 of an object executed by the first control unit shown in FIG.

図３に示すように、第１のコントローラ１１は、少なくとも第１の入力部１１１と、オブジェクト検出部１１２と、第１の判定部１１３と、第１の抽出部１１４と、第１の出力部１１５とを備えている。 As shown in FIG. 3, the first controller 11 includes at least a first input unit 111, an object detection unit 112, a first determination unit 113, a first extraction unit 114, and a first output unit. 115.

自律移動ロボット１０は、巡回走行しながら、第１のコントローラ１１により、上述のカメラ１４にて施設内を撮影する（Ｓ１１１）。第１の入力部１１１は、上述のカメラ１４にて撮影された画像情報１４１を受信する。オブジェクト検出部１１２は、当該受信した画像情報１４１からオブジェクトを検出する（Ｓ１１２）。具体的には、オブジェクト検出では、画像情報１４１に含まれている被写体を検出する。 While the autonomous mobile robot 10 patrols, the first controller 11 controls the camera 14 to photograph the inside of the facility (S111). The first input unit 111 receives image information 141 captured by the camera 14 described above. The object detection unit 112 detects an object from the received image information 141 (S112). Specifically, in object detection, a subject included in the image information 141 is detected.

第１の判定部１１３では、検出された被写体に人間が含まれているか否か判定する（Ｓ１１３）。第１の判定部１１３による被写体の種類判定処理についての具体的手法は本実施形態を限定するものではなく、例えば以下のような機械学習的手法の何れかまたはそれらの組み合わせを用いることができる。 The first determination unit 113 determines whether or not the detected subject includes a person (S113). A specific method for the subject type determination processing by the first determination unit 113 does not limit the present embodiment, and for example, any one of the following machine learning methods or a combination thereof can be used.

・サポートベクターマシン（SVM: Support Vector Machine）
・クラスタリング（Clustering）
・帰納論理プログラミング（ILP: Inductive Logic Programming）
・遺伝的アルゴリズム（GP: Genetic Programming）
・ベイジアンネットワーク（BN: Bayesian Network）
・ニューラルネットワーク（NN: Neural Network）
ニューラルネットワークを用いる場合、入力される画像情報１４１をニューラルネットワークへのインプット用に予め加工して用いるとよい。このような加工には、データの１次元的配列化、または多次元的配列化に加え、例えば、データオーギュメンテーション（Data Augmentation）等の手法を用いることができる。・Support Vector Machine (SVM)
・Clustering
・Inductive Logic Programming (ILP)
・Genetic Algorithms (GP)
・Bayesian Network (BN)
・Neural Network (NN)
When using a neural network, it is preferable to process the input image information 141 in advance and use it for input to the neural network. For such processing, a technique such as data augmentation can be used in addition to one-dimensional or multi-dimensional arraying of data.

また、ニューラルネットワークを用いる場合、畳み込み処理を含む畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）を用いてもよいし、再帰的処理を含むリカレントニューラルネットワーク（RNN: Recurrent Neural Network）を用いてもよい。ＣＮＮを用いる場合、より具体的には、ニューラルネットワークに含まれる１又は複数の層（レイヤ）として、畳み込み演算を行う畳み込み層を設け、当該層に入力される入力データに対してフィルタ演算（積和演算）を行う構成としてもよい。またフィルタ演算を行う際には、パディング等の処理を併用したり、適宜設定されたストライド幅を採用したりしてもよい。 When a neural network is used, a convolutional neural network (CNN) including convolution processing or a recurrent neural network (RNN) including recursive processing may be used. When using a CNN, more specifically, a convolution layer that performs a convolution operation is provided as one or more layers (layers) included in the neural network, and a filter operation (product sum operation). Further, when performing filter calculation, processing such as padding may be used in combination, or an appropriately set stride width may be employed.

また、ニューラルネットワークとして、数十～数千層に至る多層型又は超多層型のニューラルネットワークを用いてもよい。 As the neural network, a multi-layered or super multi-layered neural network with tens to thousands of layers may be used.

また、第１の判定部１１３による被写体の種類判定処理に用いられる機械学習は、教師あり学習であってもよいし、教師なし学習であってもよい。 The machine learning used for the subject type determination processing by the first determination unit 113 may be supervised learning or unsupervised learning.

上記被写体の種類判定処理に用いられるプログラムおよび／またはデータは、自律移動ロボット１０内の記憶部（図示せず）に格納されることが好ましいが、外部の記憶手段に格納されてもよい。 The program and/or data used in the subject type determination process are preferably stored in a storage unit (not shown) within the autonomous mobile robot 10, but may be stored in an external storage means.

（オブジェクト座標抽出）
第１の判定部１１３による被写体の種類判定処理により、画像情報１４１に一人以上の人間が含まれていると判断された場合（Ｓ１１３でＹＥＳ）、第１の抽出部１１４は、カメラ１４に最も近い人間の画像情報１４１中の座標を抽出する（Ｓ１１４）。画像情報１４１に人間が含まれていると判断されなかった場合（Ｓ１１３でＮＯ）、引き続きカメラ１４による撮影を継続する（Ｓ１１１）。画像情報１４１の取得の周期は任意に設定することができるが、１００ｍｓ～２００ｍｓのリフレッシュレートで画像情報１４１を取得することが好ましい。 (Object coordinate extraction)
When it is determined that one or more people are included in the image information 141 by the subject type determination processing by the first determination unit 113 (YES in S113), the first extraction unit 114 selects the camera 14 as the most The coordinates in the image information 141 of the nearby person are extracted (S114). If it is determined that the image information 141 does not include a person (NO in S113), the camera 14 continues to shoot (S111). Although the acquisition cycle of the image information 141 can be set arbitrarily, it is preferable to acquire the image information 141 at a refresh rate of 100 ms to 200 ms.

図５は、図３に示した第１の制御部が実行するオブジェクトの座標情報１４２を抽出する態様を模式的に示す概略図である（図５は模式的に示した概念図であり、３次元図ではない）。図５の下部に示した自律移動ロボット１０は頂部から見た平面図として示してあり、自律移動ロボット１０に搭載されたカメラ１４により撮影された画像情報１４１は正面図として示した模式図である。自律移動ロボット１０に搭載されたカメラ１４により撮影された画像情報１４１は、２次元座標（ｘ_ｓ，ｙ_ｓ）により特定することができる。オブジェクトとしてカメラ１４に最も近い人間の２次元座標を抽出し（Ｓ１１４）、当該座標情報１４２を第２のコントローラ１２に出力する（Ｓ１１５）。第２のコントローラ１２に出力する座標情報１４２は、オブジェクトとしてカメラ１４に最も近い人間の２次元座標のうち、ｘ_ｓ軸方向の座標情報１４２だけであってもよい。 FIG. 5 is a schematic diagram schematically showing a mode of extracting the coordinate information 142 of the object executed by the first control unit shown in FIG. not a dimensional drawing). The autonomous mobile robot 10 shown in the lower part of FIG. 5 is shown as a top plan view, and the image information 141 photographed by the camera 14 mounted on the autonomous mobile robot 10 is a schematic diagram shown as a front view. . The image information 141 captured by the camera 14 mounted on the autonomous mobile robot 10 can be identified by two-dimensional coordinates (x _s , y _s ). The two-dimensional coordinates of the person closest to the camera 14 are extracted as an object (S114), and the coordinate information 142 is output to the second controller 12 (S115). The coordinate information 142 to be output to the second controller 12 may be only the coordinate information 142 in the _xs -axis direction among the two-dimensional coordinates of the person closest to the camera 14 as an object.

（障害物検知）
自律移動ロボット１０は、巡回走行しながら、測域センサ１５によって施設内の障害物を検知する。測域センサ１５は、自律移動ロボット１０の筐体の表面の任意の場所に配置されることができるが、フロアＦから高さ３５ｃｍ程度の水平面を測定できるように配置されることが好ましい。小学生などの子ども専用の施設であれば、フロアＦから高さ３０ｃｍ程度の水平面を測定できるように配置されることが好ましい。測域センサ１５は、例えば、北陽電機株式会社製のＵＳＴ－１０ＬＸのようなレーザ方式の測域センサを採用することができる。 (obstacle detection)
The autonomous mobile robot 10 detects obstacles in the facility with the range sensor 15 while patrolling. The range sensor 15 can be placed anywhere on the surface of the housing of the autonomous mobile robot 10, but is preferably placed so that it can measure a horizontal plane with a height of about 35 cm from the floor F. If it is a facility exclusively for children such as elementary school students, it is preferable to arrange it so that a horizontal plane with a height of about 30 cm from the floor F can be measured. As the range sensor 15, for example, a laser type range sensor such as UST-10LX manufactured by Hokuyo Electric Co., Ltd. can be adopted.

測域センサ１５により施設内の障害物を検知した様子を図８に模式的に示す。図８は、ｚ軸正方向からフロアＦ面を臨む平面図である。フロアＦ表面からｚ軸方向＋３５ｃｍの高さであって、自律移動ロボット１０の筐体に搭載された測域センサ１５の位置を原点とし、自律移動ロボット１０の前進方向をｘ軸とした。図８において、障害物は小さな丸印によって表示されている。好ましい実施形態では、図８に示すように、測域センサ１５は走査角度±１１５°で障害物を検知する。また、０．０６ｍ～１０ｍ程度の検出距離であることが好ましい。走査時間は２５ｍｓであることが好ましい。角度分解能は０．２５度程度が好ましい。これらの値に限定されることなく、測域センサ１５は、任意の検出距離、走査角度、走査時間、角度分解能を有することができる。 FIG. 8 schematically shows how the range sensor 15 detects an obstacle in the facility. FIG. 8 is a plan view of the floor F facing from the positive direction of the z-axis. The position of the range sensor 15 mounted on the housing of the autonomous mobile robot 10 at a height of +35 cm in the z-axis direction from the surface of the floor F is the origin, and the forward direction of the autonomous mobile robot 10 is the x-axis. In FIG. 8, obstacles are indicated by small circles. In a preferred embodiment, range sensor 15 detects obstacles at a scanning angle of ±115°, as shown in FIG. Moreover, it is preferable that the detection distance is about 0.06 m to 10 m. Preferably the scan time is 25 ms. The angular resolution is preferably about 0.25 degrees. Without being limited to these values, the range sensor 15 can have any detection distance, scanning angle, scanning time, and angular resolution.

（オブジェクトとの相対距離判断）
図６は、本発明の一実施形態に係る自律移動ロボット１０が備えている第２のコントローラ１２の機能ブロック図である。図７は、図６に示した第２のコントローラ１２が実行する、フロアＦ表面からｚ軸方向へ所定の高さに対象者Ｐが存在するか否かを判断する方法のフローチャートである。 (judgment of relative distance to object)
FIG. 6 is a functional block diagram of the second controller 12 included in the autonomous mobile robot 10 according to one embodiment of the present invention. FIG. 7 is a flowchart of a method of determining whether or not the target person P exists at a predetermined height in the z-axis direction from the surface of the floor F, which is executed by the second controller 12 shown in FIG.

図６に示すように、第２のコントローラ１２は、少なくとも第２の入力部１２１と、第２の判定部１２３と、変換部１２５と、第２の抽出部１２６と、第２の出力部１２９とを備えている。第２の入力部１２１は、少なくとも第１の出力部１１５と、測域センサ１５と、ビーコン１８とからの出力情報を受信する。 As shown in FIG. 6, the second controller 12 includes at least a second input unit 121, a second determination unit 123, a conversion unit 125, a second extraction unit 126, and a second output unit 129. and The second input unit 121 receives output information from at least the first output unit 115 , the range sensor 15 and the beacon 18 .

上述したとおり、オブジェクトが人間である場合、当該オブジェクトの座標情報１４２が第１の出力部１１５から出力された場合（Ｓ１１５）、第２の入力部１２１は当該座標情報１４２を受信する。当該オブジェクトに相当する人間が、施設の職員である場合、当該職員はビーコン１８を所持しており、当該ビーコン１８はビーコン信号を発信している。 As described above, when the object is a human being, the second input unit 121 receives the coordinate information 142 when the coordinate information 142 of the object is output from the first output unit 115 (S115). If the person corresponding to the object is an employee of the facility, the employee has a beacon 18, and the beacon 18 emits a beacon signal.

第２の入力部１２１は、所定の距離内に存在する当該ビーコン信号を受信する。第２の入力部１２１が、座標情報１４２を受信し、且つ、ビーコン信号も受信している場合、第２の判定部１２３は、当該オブジェクトに相当する人間が施設の職員であると判断する（Ｓ１２１でＮＯ）。第２の入力部１２１が座標情報１４２を受信していない場合（Ｓ１２１でＮＯ）、座標情報１４２を受信するまで、Ｓ１２１のステップを繰り返す。一方、第２の入力部１２１が、座標情報１４２を受信し、且つ、ビーコン信号を受信していない場合、第２の判定部１２３は、オブジェクトに相当する人間が施設の職員でないと判断する（Ｓ１２１でＹＥＳ）。 A second input 121 receives the beacon signal within a predetermined distance. When the second input unit 121 receives the coordinate information 142 and also receives the beacon signal, the second determination unit 123 determines that the person corresponding to the object is an employee of the facility ( NO in S121). If the second input unit 121 has not received the coordinate information 142 (NO in S121), the step of S121 is repeated until the coordinate information 142 is received. On the other hand, when the second input unit 121 receives the coordinate information 142 and does not receive the beacon signal, the second determination unit 123 determines that the person corresponding to the object is not a staff member of the facility ( YES in S121).

第２の判定部１２３により、オブジェクトに相当する人間が施設の職員でないと判断された場合（Ｓ１２１でＹＥＳ）、第２のコントローラ１２は、測域センサ１５から測域データ１４４を取得する（Ｓ１２４）。変換部１２５は、図５に示すように、座標情報１４２を自律移動ロボット１０の座標系の方向角情報に変換する（Ｓ１２５）。本実施形態では、自律移動ロボット１０の座標系とは、ｘｙ平面において自律移動ロボット１０の筐体に搭載された測域センサ１５の位置を原点とした極座標系であることが好ましい。具体的には、座標情報１４２のｘ_ｓ軸方向の最大値と最小値を、自律移動ロボット１０の座標系の方向角１５２ａと１５２ｂとに変換する。したがって、自律移動ロボット１０の座標系にてオブジェクトに相当する人間が存する挟角は方向角１５２ａと方向角１５２ｂとの間の挟角となる。 If the second determination unit 123 determines that the person corresponding to the object is not a staff member of the facility (YES in S121), the second controller 12 acquires the ranging data 144 from the ranging sensor 15 (S124). ). As shown in FIG. 5, the conversion unit 125 converts the coordinate information 142 into direction angle information of the coordinate system of the autonomous mobile robot 10 (S125). In this embodiment, the coordinate system of the autonomous mobile robot 10 is preferably a polar coordinate system whose origin is the position of the range sensor 15 mounted on the housing of the autonomous mobile robot 10 on the xy plane. Specifically, the maximum and minimum values in the _xs -axis direction of the coordinate information 142 are converted into direction angles 152 a and 152 b of the coordinate system of the autonomous mobile robot 10 . Therefore, in the coordinate system of the autonomous mobile robot 10, the included angle at which the human corresponding to the object exists is the included angle between the directional angles 152a and 152b.

次いで、第２の抽出部１２６は、方向角１５２ａと方向角１５２ｂとの間の挟角において、測域センサ１５による測域データ１４４から最近位点を抽出する（Ｓ１２６）。本実施形態では、方向角１５２ａと方向角１５２ｂとの間の挟角において、予め定められた特定の範囲に含まれる幅を有する障害物として検知される対象の最近位点を抽出する。上記特定の範囲は任意に設定することができるが、好ましい実施形態では１０ｃｍ～１５ｃｍ程度と設定することができる。障害物として検知される人間がフロアＦ上に立っている場合、フロアＦからｚ軸方向に３５ｃｍ程度の位置では、当該人間の脚が障害物として検知される。上記特定の範囲を１０ｃｍ～１５ｃｍ程度と設定することにより、当該障害物は人間の脚であると判断することができるからである。図５では、最近位点を人間の脚の位置１４５として抽出した様子を示す。 Next, the second extraction unit 126 extracts the nearest point from the ranging data 144 obtained by the ranging sensor 15 at the included angle between the directional angle 152a and the directional angle 152b (S126). In this embodiment, the closest point of the object detected as an obstacle having a width within a predetermined specific range is extracted at the included angle between the direction angles 152a and 152b. Although the specific range can be set arbitrarily, it can be set to about 10 cm to 15 cm in a preferred embodiment. When a person who is detected as an obstacle is standing on the floor F, the legs of the person are detected as an obstacle at a position about 35 cm from the floor F in the z-axis direction. This is because by setting the specific range to about 10 cm to 15 cm, it is possible to determine that the obstacle is a human leg. FIG. 5 shows how the most proximal point is extracted as the position 145 of the human leg.

なお、上記特定の範囲（例えば、１０ｃｍ～１５ｃｍ）の上限値（例えば、１５ｃｍ）を超える幅を有する障害物を検知対象に加えてもよい。これにより、フロアＦ上に立っている人間だけでなく、フロアＦ上に座っている、又は、うずくまっている対象者Ｐ_１を検知することが可能になる。 An obstacle having a width exceeding the upper limit (eg, 15 cm) of the specific range (eg, 10 cm to 15 cm) may be added to the detection targets. This makes it possible to detect not only the person standing on the _floor F but also the subject P1 sitting or crouching on the floor F.

好ましい実施形態では、上記障害物の検知に加え、画像情報１４１におけるオブジェクトの座標情報１４２のアスペクト比（ｘ_ｓとｙ_ｓとの比）が略１：１、ないし、ｘ_ｓ＞ｙ_ｓであれば人間が座っている、もしくは、うずくまっていると判断することもできる。一方、オブジェクトの座標情報１４２のアスペクト比（ｘ_ｓとｙ_ｓとの比）が図５に示した例のようにｘ_ｓ＜ｙ_ｓであれば人間が立っていると判断することもできる。 In a preferred embodiment, in addition to the obstacle detection, the aspect ratio (ratio of x _s to y _s ) of the coordinate information 142 of the object in the image information 141 is approximately 1:1, or x _s >y _s . For example, it can be determined that a person is sitting or crouching. On the other hand, if the aspect ratio (ratio of x _s and y _s ) of the coordinate information 142 of the object is x _s <y _s as in the example shown in FIG. 5, it can be determined that the person is standing.

図５の人間の脚の位置１４５のような最近位点が抽出できなかった場合（Ｓ１２７でＮＯ）、第２の出力部１２９は、転倒者情報を出力する（Ｓ１２８）。オブジェクトとしてカメラ１４に最も近い人間の２次元座標が抽出されており、且つ、ビーコン信号が受信されていない場合であるため、職員以外の人間が自律移動ロボット１０の進行方向に存在している。ただし、フロアＦから高さ３５ｃｍ程度の位置には当該人間が検出できないことから、当該人間はフロアＦ上に転倒していることが想定される。 If the most proximal point such as the human leg position 145 in FIG. 5 could not be extracted (NO in S127), the second output unit 129 outputs fallen person information (S128). Since the two-dimensional coordinates of the person closest to the camera 14 are extracted as an object and the beacon signal is not received, a person other than the staff exists in the traveling direction of the autonomous mobile robot 10.例文帳に追加However, since the person cannot be detected at a position about 35 cm above the floor F, it is assumed that the person falls on the floor F.

図５の人間の脚の位置１４５のような最近位点が抽出できた場合（Ｓ１２７でＹＥＳ）、第２の抽出部１２６は追従目標位置情報を生成し、第２の出力部１２９は当該追従目標位置情報を第３の制御部に出力する（Ｓ１２９）。例えば、図５の人間の脚の位置１４５のような最近位点が抽出できた場合、測域センサ１５から当該最近位点までの最短距離を示すライン１５３による距離ｒと角度θを追従目標位置情報（ｒ，θ）とすることができる。当該追従目標位置情報（ｒ，θ）は、自律移動ロボット１０を基準とした相対的な位置情報であり、絶対座標ではないことが好ましい。ｒは５ｍ以内であることが好ましい。追従目標位置情報の特定は極座標に限定されず、通常のｘｙ直交座標系によって特定することも可能である。 If the most proximal point such as the human leg position 145 in FIG. 5 can be extracted (YES in S127), the second extraction unit 126 generates tracking target position information, Target position information is output to the third control unit (S129). For example, if the most proximal point such as the human leg position 145 in FIG. information (r, θ). The tracking target position information (r, θ) is relative position information with respect to the autonomous mobile robot 10, and preferably not absolute coordinates. r is preferably within 5 m. The specification of the tracking target position information is not limited to polar coordinates, and it is also possible to specify it by a normal xy orthogonal coordinate system.

別の好ましい実施形態では、通信インタフェース１７は、第２の出力部１２９から出力された転倒者情報（Ｓ１２８）を、宿直担当者の携帯端末１９に送信する。更に別の好ましい実施形態では、測域センサ１５及び／又はカメラ１４からの情報に基づいて、人間が座っている、もしくは、うずくまっていると判断した場合、通信インタフェース１７は、人間が座っている、もしくは、うずくまっている情報を、宿直担当者の携帯端末１９に送信する。 In another preferred embodiment, the communication interface 17 transmits the fallen person information (S128) output from the second output unit 129 to the portable terminal 19 of the person in charge of night duty. In yet another preferred embodiment, if it is determined based on the information from range sensor 15 and/or camera 14 that a person is sitting or crouching, communication interface 17 detects that the person is sitting. Alternatively, the crouching information is transmitted to the mobile terminal 19 of the person in charge of the night duty.

更に別の好ましい実施形態では、第２の出力部１２９が追従目標位置情報を第３の制御部に出力する場合、通信インタフェース１７は、自律移動ロボット１０の現在位置情報を宿直担当者の携帯端末１９に送信する。 In yet another preferred embodiment, when the second output unit 129 outputs the tracking target position information to the third control unit, the communication interface 17 outputs the current position information of the autonomous mobile robot 10 to the portable terminal of the person in charge of night duty. 19.

（徘徊者追従）
図９は、本発明の一実施形態に係る自律移動ロボット１０が備えている第３のコントローラ１３の機能ブロック図である。図１０は、図９に示した第３のコントローラ１３が実行する自律移動ロボット１０を駆動する方法のフローチャートである。 (Following wanderers)
FIG. 9 is a functional block diagram of the third controller 13 included in the autonomous mobile robot 10 according to one embodiment of the present invention. FIG. 10 is a flowchart of a method for driving the autonomous mobile robot 10 executed by the third controller 13 shown in FIG.

図９に示すように、第３のコントローラ１３は、少なくとも第３の入力部１３１と、第３の判定部１３２と、第３の出力部１３３とを備えている。第３の入力部１３１は、少なくとも第２の出力部１２９からの出力情報を受信する。 As shown in FIG. 9 , the third controller 13 has at least a third input section 131 , a third determination section 132 and a third output section 133 . The third input section 131 receives output information from at least the second output section 129 .

上述したとおり、第２の出力部１２９は追従目標位置情報を出力し（Ｓ１２９）、第３の入力部１３１は、当該追従目標位置情報を受信する。 As described above, the second output unit 129 outputs tracking target position information (S129), and the third input unit 131 receives the tracking target position information.

第３の判定部１３２は、人追従モードか否か判定する（Ｓ１３１）。好ましい実施形態では、自律移動ロボット１０が対象者Ｐに追従して移動するか、追従することなく従来通り巡回移動するか、事前に設定しておくことができる。第３の判定部１３２は、当該設定情報を参照して、人追従モードか否か判定する（Ｓ１３１）。当該事前に設定した情報は、自律移動ロボット１０内の記憶部（図示せず）に格納されることが好ましいが、外部の記憶手段に格納されてもよい。 The third determination unit 132 determines whether or not it is in the human following mode (S131). In a preferred embodiment, it is possible to set in advance whether the autonomous mobile robot 10 follows the target person P and moves, or circulates as usual without following. The third determination unit 132 refers to the setting information and determines whether or not the mode is the person following mode (S131). The preset information is preferably stored in a storage unit (not shown) within the autonomous mobile robot 10, but may be stored in an external storage means.

別の好ましい実施形態では、通信インタフェース１７が、自律移動ロボット１０の現在位置情報を宿直担当者の携帯端末１９に送信する際に、人追従モードを実行するか否かの問い合わせ情報を併せて携帯端末１９に送信する。宿直担当者は当該問い合わせ情報に応じて、人追従モードを指定することができる。 In another preferred embodiment, when the communication interface 17 transmits the current position information of the autonomous mobile robot 10 to the mobile terminal 19 of the person in charge of the night duty, it also carries inquiry information as to whether or not to execute the human following mode. Send to terminal 19 . The person in charge of the night duty can specify the person-following mode according to the inquiry information.

人追従モードに設定されていない場合（Ｓ１３１でＮＯ）、人追従モードに設定されるまで、従来通り巡回移動する。人追従モードに設定されている場合（Ｓ１３１でＹＥＳ）、第３の判定部１３２は、第３の入力部１３１を介して追従目標位置情報が受信されているか否か判断する（Ｓ１３２）。第３の入力部１３１が追従目標位置情報を受信していない場合（Ｓ１３２でＮＯ）、追従目標位置情報を受信するまで従来通り巡回移動する。 If the person-following mode is not set (NO in S131), the vehicle circulates as before until the person-following mode is set. If the human tracking mode is set (YES in S131), the third determination unit 132 determines whether tracking target position information has been received via the third input unit 131 (S132). If the third input unit 131 has not received the follow target position information (NO in S132), the vehicle cyclically moves as before until the follow target position information is received.

第３の入力部１３１が追従目標位置情報を受信している場合（Ｓ１３２でＹＥＳ）、第３の出力部１３３は、追従移動情報を駆動装置１６に出力する（Ｓ１３３）。駆動装置１６は、ステアリング装置とモータとを包含する構成であることが好ましい。本実施形態では、左右独立二輪駆動方式を採用することができ、２つのモータで左右独立に駆動制御することができる。 If the third input unit 131 has received the following target position information (YES in S132), the third output unit 133 outputs the following movement information to the driving device 16 (S133). The driving device 16 preferably has a structure including a steering device and a motor. In this embodiment, a left and right independent two-wheel drive system can be adopted, and two motors can drive and control the left and right wheels independently.

好ましい実施形態では、追従移動情報は、追従目標位置情報に基づいて生成される。追従の対象者は、徘徊している可能性が高く、移動方向及び／又は移動速度が一定ではない。追従移動情報は、追従目標位置情報に基づいて当該追随の対象者と一定の距離を保ちつつ自律移動ロボット１０が追従することができる進行方向情報とモータ回転情報とからなる。 In a preferred embodiment, the following movement information is generated based on the following target position information. The target person to be followed is likely to be wandering around, and the moving direction and/or moving speed is not constant. The follow-up movement information consists of traveling direction information and motor rotation information in which the autonomous mobile robot 10 can follow while maintaining a certain distance from the subject to be followed based on the follow target position information.

（コントローラのハードウェア構成）
図１１は、本発明の一実施形態に係る自律移動ロボット１０が備えている主要なハードウェア構成を模式的に示す概略図である。図１１に示すように、自律移動ロボット１０は、少なくとも１つのコントローラ１３０を有する。コントローラ１３０は、図１の第１のコントローラ１１乃至第３のコントローラ１３に相当するハードウェア構成である。例えば、カメラ１４に関する情報を処理する第１のコントローラ１３０ａと、測域センサ１５および通信インタフェース１７に関する情報を処理する第２のコントローラ１３０ｂと、駆動装置１６に関する情報を処理する第３のコントローラ１３０ｃとのように複数の制御部に制御を分担させる構成としてもよい。 (Hardware configuration of controller)
FIG. 11 is a schematic diagram schematically showing the main hardware configuration of the autonomous mobile robot 10 according to one embodiment of the present invention. As shown in FIG. 11, the autonomous mobile robot 10 has at least one controller 130 . The controller 130 has a hardware configuration corresponding to the first controller 11 to the third controller 13 in FIG. For example, a first controller 130a that processes information about the camera 14, a second controller 130b that processes information about the range sensor 15 and the communication interface 17, and a third controller 130c that processes information about the drive device 16. It is good also as composition which makes a plurality of control parts share control like.

コントローラ１３０は、少なくとも入力インタフェース１３７、出力インタフェース１３８、プロセッサ１３５、メモリ１３６を備える。 Controller 130 comprises at least an input interface 137 , an output interface 138 , a processor 135 and a memory 136 .

入力インタフェース１３７から入力された情報の処理を実施するアルゴリズムを実行するプログラムは、メモリ１３６に格納される。当該メモリ１３６に格納されたプログラムをプロセッサ１３５にて実行することにより、入力された情報を処理することができる。当該処理された情報は出力情報として出力インタフェース１３８から出力される。出力インタフェース１３８から出力された情報により、駆動装置１６、通信インタフェース１７を制御することができる。 Programs for executing algorithms that implement processing of information entered through input interface 137 are stored in memory 136 . Input information can be processed by executing the program stored in the memory 136 by the processor 135 . The processed information is output from the output interface 138 as output information. Information output from the output interface 138 can be used to control the driving device 16 and the communication interface 17 .

好ましい実施形態では、カメラ１４に関する情報を処理する第１のコントローラ１３０ａは、人間を障害物として検知しているか否かを判断する処理を実行する。第１のコントローラ１３０ａは、入力インタフェース１３７を介してカメラ１４から画像情報１４１を取得し、当該判断結果を、出力インタフェース１３８を介して第２のコントローラ１３０ｂに供給する。画像に人間が被写体として含まれている場合、且つ、測域センサ１５が人間を障害物として検知していない場合、第２のコントローラ１３０ｂは、転倒者が存在していることを示す情報を出力する処理を実行する。 In a preferred embodiment, the first controller 130a, which processes information about the camera 14, performs processing to determine whether it detects a human as an obstacle. The first controller 130a acquires the image information 141 from the camera 14 via the input interface 137 and supplies the determination result via the output interface 138 to the second controller 130b. When the image includes a human as a subject and when the range sensor 15 does not detect the human as an obstacle, the second controller 130b outputs information indicating the presence of a fallen person. Execute the processing to be performed.

具体的には、カメラ１４によって撮像された画像情報１４１が、一人以上の人間を被写体として含んでいる場合、第１のコントローラ１３０ａは、当該画像情報１４１を参照して、カメラ１４に最も近い人間の画像情報１４１内の座標情報１４２を特定する処理と、当該座表情報１４２を参照して、測域センサ１５がカメラ１４に最も近い人間を検知したか否かを判定する処理とを実行する。 Specifically, when the image information 141 captured by the camera 14 includes one or more persons as subjects, the first controller 130a refers to the image information 141 and refers to the person closest to the camera 14. and a process of determining whether or not the range sensor 15 has detected a person closest to the camera 14 by referring to the coordinate information 142. .

例えば、第２のコントローラ１３０ｂは、判定する処理において、測域センサ１５が、座標情報１４２が表す位置に人間の脚部に相当する特定のサイズの障害物を検知したときに、測域センサ１５がカメラ１４に最も近い人間を検知したと判定する。 For example, in the determination process, the second controller 130b detects an obstacle of a specific size corresponding to a human leg at the position indicated by the coordinate information 142. has detected a person closest to the camera 14.

測域センサ１５がカメラ１４に最も近い人間を検知した場合、第２のコントローラ１３０ｂは、出力インタフェース１３８を介して追従対象者が存在していることを示す情報を出力する処理を実行する。第３のコントローラ１３０ｃは入力インタフェース１３７を介して当該出力された情報を取得する。当該出力された情報に基づいて、第３のコントローラ１３０ｃは、カメラ１４に最も近い人間に追従して当該自律移動ロボットを走行させる処理を実行する。 When the range sensor 15 detects a person closest to the camera 14, the second controller 130b executes processing for outputting information indicating the existence of the follow target person via the output interface 138. FIG. The third controller 130 c acquires the output information via the input interface 137 . Based on the output information, the third controller 130c executes processing for causing the autonomous mobile robot to travel following the person closest to the camera 14. FIG.

〔ソフトウェアによる実現例〕
自律移動ロボット１０の第１のコントローラ１１（特に、オブジェクト検出部１１２、第１の判定部１１３、第１の抽出部１１４）、第２のコントローラ１２（特に、第２の判定部１２３、変換部１２５、第２の抽出部１２６）、および、第３のコントローラ１３（特に、第３の判定部１３２）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。 [Example of realization by software]
The first controller 11 (in particular, the object detection unit 112, the first determination unit 113, and the first extraction unit 114) of the autonomous mobile robot 10, the second controller 12 (in particular, the second determination unit 123, the conversion unit 125, the second extraction unit 126), and the third controller 13 (particularly, the third determination unit 132) are realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like. Alternatively, it may be implemented by software.

後者の場合、自律移動ロボット１０は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。 In the latter case, the autonomous mobile robot 10 is equipped with a computer that executes program instructions, which are software that implements each function. This computer includes, for example, one or more processors, and a computer-readable recording medium storing the program. In the computer, the processor reads the program from the recording medium and executes it, thereby achieving the object of the present invention. As the processor, for example, a CPU (Central Processing Unit) can be used. As the recording medium, a "non-temporary tangible medium" such as a ROM (Read Only Memory), a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used. In addition, a RAM (Random Access Memory) for developing the above program may be further provided. Also, the program may be supplied to the computer via any transmission medium (communication network, broadcast wave, etc.) capable of transmitting the program. Note that one aspect of the present invention can also be implemented in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, but can be modified in various ways within the scope of the claims, and can be obtained by appropriately combining technical means disclosed in different embodiments. is also included in the technical scope of the present invention.

１０自律移動ロボット
１３０コントローラ
１１、１３０ａ第１のコントローラ
１２、１３０ｂ第２のコントローラ
１３、１３０ｃ第３のコントローラ
１４カメラ
１５測域センサ
１６駆動機構
１７通信インタフェース
１８ビーコン
１９携帯端末
１１１第１の入力部
１１２オブジェクト検出部
１１３第１の判定部
１３８出力インタフェース
１１４第１の抽出部
１１５第１の出力部
１２１第２の入力部
１２３第２の判定部
１２５変換部
１２６第２の抽出部
１２９第２の出力部
１３１第３の入力部
１３２第３の判定部
１３３第３の出力部
１３７入力インタフェース
１３５プロセッサ
１３６メモリ
１４１画像情報
１４２座標情報
１４５人間の脚の位置
１５２ａ、１５２ｂ方向角 10 autonomous mobile robot 130 controller 11, 130a first controller 12, 130b second controller 13, 130c third controller 14 camera 15 range sensor 16 drive mechanism 17 communication interface 18 beacon 19 portable terminal 111 first input unit 112 Object detection unit 113 First determination unit 138 Output interface 114 First extraction unit 115 First output unit 121 Second input unit 123 Second determination unit 125 Conversion unit 126 Second extraction unit 129 Second Output unit 131 Third input unit 132 Third determination unit 133 Third output unit 137 Input interface 135 Processor 136 Memory 141 Image information 142 Coordinate information 145 Human leg positions 152a, 152b Direction angle

Claims

An autonomous mobile robot that automatically patrols the floor,
a camera for photographing the floor;
a sensor that detects an obstacle present at a specific height from the floor;
a controller that controls the autonomous mobile robot by referring to the image captured by the camera and the output signal of the sensor;
the image includes a human as a subject;
The controller is
a process of identifying coordinate information of the person in the image by referring to the image;
a process of referring to the coordinate information and determining whether or not the sensor detects a human being as an obstacle at the position indicated by the coordinate information;
a process of determining whether the person is sitting, crouching, or standing based on the aspect ratio obtained from the coordinate information of the person in the image ;
and run
If the image includes a person as a subject and if the sensor does not detect the person as an obstacle, executing a process of outputting information indicating the presence of a fallen person.
An autonomous mobile robot characterized by:

The controller is
In the process of identifying the coordinate information, identifying the coordinate information in the image of the person closest to the camera;
determining whether the sensor has detected a person closest to the camera in the process of determining whether the human is detected as an obstacle ;
further executing a process of causing the autonomous mobile robot to follow the person closest to the camera when the sensor detects the person closest to the camera;
The autonomous mobile robot according to claim 1, characterized in that:

When the controller detects an obstacle having a width within a specific range at the position indicated by the coordinate information in the process of determining whether or not the human is detected as an obstacle , the controller , determining that the sensor has detected a person closest to the camera;
3. The autonomous mobile robot according to claim 2, characterized in that:

The controller is
at least one input interface for acquiring the image captured by the camera and the output signal of the sensor;
at least one processor that executes each process according to a predetermined program;
at least one memory storing the program;
The autonomous mobile robot according to any one of claims 1 to 3, characterized in that:

A control method for controlling an autonomous mobile robot that automatically patrols a floor, comprising:
a step of photographing the floor using a camera;
detecting an obstacle present at a specific height from the floor using a sensor;
a step of controlling the autonomous mobile robot by referring to the image captured by the camera and the output signal of the sensor;
the image includes a human as a subject;
The controlling step includes:
a process of identifying coordinate information of the person in the image by referring to the image;
a process of referring to the coordinate information and determining whether or not the sensor detects a human being as an obstacle at the position indicated by the coordinate information;
a process of determining whether the person is sitting, crouching, or standing based on the aspect ratio obtained from the coordinate information of the person in the image ;
including
When the image includes a human as a subject and when the sensor does not detect the human as an obstacle, outputting information indicating that a fallen person is present.
A control method characterized by:

A control program for controlling the autonomous mobile robot according to any one of claims 1 to 4, wherein the control program causes the controller to execute each of the processes.