JP6670351B2 - Map updating device and map updating method - Google Patents
Map updating device and map updating method Download PDFInfo
- Publication number
- JP6670351B2 JP6670351B2 JP2018164879A JP2018164879A JP6670351B2 JP 6670351 B2 JP6670351 B2 JP 6670351B2 JP 2018164879 A JP2018164879 A JP 2018164879A JP 2018164879 A JP2018164879 A JP 2018164879A JP 6670351 B2 JP6670351 B2 JP 6670351B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- map
- obstacle
- arrangement
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 27
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003703 image analysis method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Description
本発明は、対象領域における移動体の移動可能領域を示す地図を更新する地図更新装置等に関する。 The present invention relates to a map updating device and the like for updating a map indicating a movable area of a moving object in a target area.
無人走行車や無人飛行体(例えばドローン)などの移動体を対象領域内で自律移動させつつ、該対象領域内における移動体の移動可能領域を示す地図を生成する技術が知られている。下記特許文献1に記載されているように、この技術はSLAM(Simultaneous Localization and Mapping)と呼ばれる。 2. Description of the Related Art A technique is known in which a moving object such as an unmanned traveling vehicle or an unmanned flying object (for example, a drone) is autonomously moved in a target area and a map indicating a movable area of the moving object in the target area is generated. As described in Patent Document 1 below, this technique is called SLAM (Simultaneous Localization and Mapping).
ここで、上記対象領域が工場や倉庫などの施設である場合、移動体の移動の妨げとなる障害物の配置が変わることがある。そして、障害物の配置が変われば、移動体の移動可能領域も変わるため、地図を更新する必要が生じる。 Here, when the target area is a facility such as a factory or a warehouse, the arrangement of obstacles that hinder movement of the moving object may change. If the arrangement of the obstacles changes, the movable area of the moving body also changes, so that the map needs to be updated.
しかし、SLAMでは、移動体が移動した範囲内でしか地図の生成および更新ができないため、従来は障害物の位置が変化する度に移動体に施設内の各所を移動させなければ、施設内全体の地図を更新することができなかった。 However, in SLAM, since maps can be generated and updated only within the range in which the moving object has moved, conventionally, unless the moving object moves each part of the facility every time the position of an obstacle changes, the entire facility is not moved. Map could not be updated.
本発明の一態様は、移動可能領域の全てに移動体を移動させることなく現状と整合するように地図を更新することのできる地図更新装置等を提供することを目的とする。 An object of one embodiment of the present invention is to provide a map updating device or the like that can update a map so as to match a current state without moving a moving object to all movable areas.
上記の課題を解決するために、本発明の一態様に係る地図更新装置は、移動体の移動の妨げとなる1または複数の障害物の配置のパターンが変化する対象領域内における上記移動体の移動可能領域を示す地図を更新する地図更新装置であって、上記パターンは所定種類に限られており、所定種類の上記パターンのうち、上記障害物の現在の配置に対応する上記パターンを特定するパターン特定部と、上記パターン特定部が特定したパターンに応じて上記地図における上記移動可能領域を更新する地図更新部と、を備えている。 In order to solve the above-described problem, a map updating device according to one embodiment of the present invention provides a map updating device that moves a moving object in a target area in which a pattern of arrangement of one or more obstacles that hinder movement of the moving object changes. A map updating device for updating a map indicating a movable area, wherein the pattern is limited to a predetermined type, and among the patterns of a predetermined type, the pattern corresponding to the current arrangement of the obstacle is specified. A pattern specifying unit; and a map updating unit that updates the movable area in the map according to the pattern specified by the pattern specifying unit.
また、上記の課題を解決するために、本発明の一態様に係る地図更新方法は、移動体の移動の妨げとなる1または複数の障害物の配置のパターンが変化する対象領域内における上記移動体の移動可能領域を示す地図を更新する地図更新装置による地図更新方法であって、上記パターンは所定種類に限られており、所定種類の上記パターンのうち、上記障害物の現在の配置に対応する上記パターンを特定するパターン特定ステップと、上記パターン特定ステップにおいて特定したパターンに応じて上記地図における上記移動可能領域を更新する地図更新ステップと、を含む。 Further, in order to solve the above-described problem, the map updating method according to one embodiment of the present invention provides the map updating method according to one aspect of the present invention, wherein the moving pattern in the target area in which the arrangement pattern of one or more obstacles that hinder the movement of the moving object changes. A map updating method by a map updating device for updating a map indicating a movable area of a body, wherein the pattern is limited to a predetermined type, and corresponds to a current arrangement of the obstacle among the predetermined type of the pattern. And a map updating step of updating the movable area in the map according to the pattern specified in the pattern specifying step.
本発明の一態様によれば、移動可能領域の全てに移動体を移動させることなく現状と整合するように地図を更新することができる。 According to one embodiment of the present invention, the map can be updated so as to match the current state without moving the moving object to all of the movable areas.
〔実施形態1〕
(装置概要)
本実施形態の地図更新装置1の概要を図2に基づいて説明する。図2は、地図更新装置1による地図更新の概要を示す図である。地図更新装置1は、移動体の移動の妨げとなる1または複数の障害物の配置のパターンが変化する施設(対象領域)内における移動体の移動可能領域を示す地図を更新する装置である。障害物の配置のパターンは、所定種類に限られている。なお、図2に示す例では、上記の施設は物流倉庫であり、移動体は無人搬送車(無人フォークリフト)であり、障害物はパレットに積載された荷物である。ただし、移動体は、無人搬送車に限らず、ドローン等の無人飛行体であってもよい。また、上述の所定種類の具体的な数は、本実施形態を限定するものではないが、例として、数種類から数万種類程度が挙げられる。
[Embodiment 1]
(Device overview)
An outline of the map updating device 1 of the present embodiment will be described with reference to FIG. FIG. 2 is a diagram showing an outline of map updating by the map updating device 1. The map updating apparatus 1 is an apparatus that updates a map indicating a movable area of a moving body in a facility (target area) in which a pattern of arrangement of one or more obstacles that hinder movement of the moving body changes. Obstacle arrangement patterns are limited to predetermined types. In the example shown in FIG. 2, the facility is a distribution warehouse, the moving object is an unmanned transport vehicle (unmanned forklift), and the obstacle is luggage loaded on a pallet. However, the moving object is not limited to the unmanned carrier, and may be an unmanned flying object such as a drone. Further, the specific number of the above-described predetermined types is not limited to the present embodiment, but includes, for example, several to several tens of thousands types.
図2の例では、定点カメラ等により施設内の一部を撮影した画像が地図更新装置1に送信される。定点カメラ等は、施設内の各所に設置される。地図更新装置1は、この定点カメラ等によって撮影された画像を取得し、当該画像に基づき、上記施設内の地図を更新する。そして、地図更新装置1は、更新した地図を、上記施設内で稼働する無人搬送車に送信する。無人搬送車は、地図更新装置1から受信した地図を参照して、施設内を移動する。 In the example of FIG. 2, an image obtained by photographing a part of the facility using a fixed point camera or the like is transmitted to the map updating device 1. Fixed point cameras and the like are installed at various places in the facility. The map updating device 1 acquires an image captured by the fixed point camera or the like, and updates a map in the facility based on the image. Then, the map updating device 1 transmits the updated map to the automatic guided vehicle operating in the facility. The automatic guided vehicle moves within the facility with reference to the map received from the map updating device 1.
(地図更新装置の要部構成)
地図更新装置1の要部構成について図1に基づいて説明する。図1は、地図更新装置1の要部構成の一例を示すブロック図である。図示のように、地図更新装置1は、地図更新装置1の各部を統括して制御する制御部10と、地図更新装置1が使用する各種データを記憶する記憶部20と、を備えている。さらに、地図更新装置1は、外部の機器(例えば図2の無人搬送車)と通信するための通信部30を備えている。地図更新装置1が更新した地図は通信部30を介して無人搬送車に送信される。また、制御部10には、情報取得部101、パターン特定部102、地図更新部103、および地図送信部104が含まれている。
(Main configuration of map updating device)
The main configuration of the map updating device 1 will be described with reference to FIG. FIG. 1 is a block diagram illustrating an example of a main configuration of the map updating device 1. As shown in the figure, the map updating device 1 includes a
情報取得部101は、施設内の障害物の配置パターンを特定するための情報を取得して、パターン特定部102に出力する。具体的には、情報取得部101は、施設内の一部を撮影した画像を、例えば図2に示したような撮影装置から取得し、パターン特定部102に出力する。
The
パターン特定部102は、情報取得部101から出力された情報に基づいて、所定種類のパターンのうち、障害物の現在の配置に対応するパターンを特定する。具体的には、本実施形態のパターン特定部102は、機械学習により生成された学習済みモデルを用いて、情報取得部101が取得した上記画像から、障害物の現在の配置に対応するパターンを特定する。なお、詳細は後述するが、上記学習済みモデルは、障害物の配置のパターンの特徴が表れる施設内の一部を撮影した画像と、該撮影の時点の所定種類のパターンとの対応関係を機械学習することにより生成されたものである。
The
上記構成によれば、現在の施設内の一部を撮影した画像さえ取得すれば、施設内の障害物の配置のパターンを特定することができる。よって、無人搬送車に施設内全体を走行させることなく、施設内に障害物がどのように配置されているかを容易に特定することができる。そして、施設内に障害物がどのように配置されているかを特定することができれば、地図更新部103により地図を更新することができる。
According to the above configuration, the pattern of the arrangement of the obstacles in the facility can be specified as long as an image of a part of the current facility is acquired. Therefore, it is possible to easily specify how the obstacle is arranged in the facility without causing the automatic guided vehicle to travel in the entire facility. Then, if it is possible to specify how the obstacle is arranged in the facility, the
地図更新部103は、パターン特定部102が特定したパターンに応じて、地図における移動可能領域を更新する。具体的には、地図更新部103は、施設内の領域のうち、上記パターンにおいて障害物が存在しないとされている領域を移動可能領域とする。また、上記パターンにおいて障害物が存在するとされている領域を、上記無人搬送車等の移動体が移動できない移動不可能領域とする。これにより、現在の障害物の配置のパターンに整合するように地図が更新される。そして、地図送信部104は、地図更新部103が更新した地図を取得し、通信部30を介して、当該地図を無人搬送車に送信する。
The
(学習済みモデルと入力データについて)
本実施形態のパターン特定部102が、障害物の現在の配置に対応するパターンを特定するために用いる学習済みモデルについて説明する。なお、以下では、ニューラルネットワーク(NN:Neural Network)の学習済みモデルを生成する例を説明するが、障害物の現在の配置に対応するパターンを特定することが可能な学習済みモデルを構築できるものであれば、他のアルゴリズムを適用することも可能である。NNの学習済みモデルを用いる場合、下記のように生成された、高い特定精度が期待できる多層のNNの学習済みモデルを用いることが好ましい。また、下記のように画像を教師データとする場合には、画像の処理に好適なCNN(Convolutional Neural Network)を用いることが好ましい。
(About trained model and input data)
A learned model used by the
学習済みモデルの生成には、教師データとして、障害物の配置のパターンが既知の施設内の一部を撮影した画像に対し、当該パターンが正解データとして対応付けられたデータを用いることができる。このような教師データを、上記施設において発生し得る所定種類のパターンのそれぞれについて多数用意してNNまたはCNNの機械学習を行うことにより、パターン特定部102が使用する学習済みモデルを生成することができる。なお、教師データは、パターンの特徴が表れた情報であればよく、施設内の一部を撮影した画像に限られない。
For generation of the learned model, data in which an image of a part of a facility where a pattern of obstacle placement is known is captured as correct data can be used as teacher data. By preparing a large number of such teacher data for each of predetermined types of patterns that can occur in the facility and performing NN or CNN machine learning, it is possible to generate a learned model used by the
施設内の一部の画像と、上記のパターンとの対応関係について、図3を用いて説明する。図3は、障害物の配置に対応するパターンの例と、それらのパターンの特徴が表れた画像を撮影するための撮影範囲の例を示す図である。なお、図3では、障害物が配置されている領域を破線で囲むことにより示している。また、図3では、上述した所定種類が3種類の場合を示している。 The correspondence between some of the images in the facility and the above-described patterns will be described with reference to FIG. FIG. 3 is a diagram illustrating an example of patterns corresponding to the arrangement of obstacles and an example of an image capturing range for capturing an image in which the features of those patterns appear. In FIG. 3, the area where the obstacle is arranged is indicated by surrounding it with a broken line. FIG. 3 shows a case where the above-mentioned predetermined types are three types.
具体的には、図3に示す例では、パターンはA、B、Cの3種類である。パターンAでは、障害物が配置される領域がアルファベットの「E」の形状である。パターンBでは、障害物が配置される領域がアルファベットの「E」から中央の横棒を除いた形状である。パターンCでは、障害物が配置される領域がアルファベットの「E」から縦棒を除いた形状である。 Specifically, in the example shown in FIG. 3, there are three types of patterns A, B, and C. In pattern A, the area where the obstacle is arranged has the shape of the letter “E”. In the pattern B, the area where the obstacle is arranged has a shape obtained by removing the central horizontal bar from the letter “E”. In the pattern C, the area where the obstacle is arranged has a shape obtained by removing the vertical bar from the alphabet “E”.
図3に示す例では、円形で示した撮影範囲において、各パターンの特徴が表われている。すなわち、パターンAの当該範囲には、縦長に障害物が配置された領域Tの一部および横長に障害物が配置された領域Yの一部が含まれている一方で、パターンBの当該範囲には領域Tの一部だけが含まれており、パターンCの当該範囲には領域Yの一部だけが含まれている。 In the example shown in FIG. 3, the features of each pattern are shown in the imaging range indicated by a circle. That is, the range of the pattern A includes a part of the region T where the obstacles are arranged vertically and a part of the region Y where the obstacles are arranged horizontally, while the range of the pattern B includes Includes only a part of the area T, and the range of the pattern C includes only a part of the area Y.
このような施設においては、以下の3種類の教師データを用いた機械学習により生成された学習済みモデルを用いればよい。なお、下記(1)〜(3)の画像は、例えば天井や壁面等に固定された定点カメラ等により当該撮影範囲を見下ろす角度で撮影した画像であってもよい。 In such a facility, a learned model generated by machine learning using the following three types of teacher data may be used. Note that the following images (1) to (3) may be images captured at an angle overlooking the imaging range by, for example, a fixed-point camera fixed to a ceiling, a wall, or the like.
(1)障害物の配置がパターンAであるときに上記撮影範囲を撮影した画像に対し、正解データとしてパターンAを対応付けた教師データ。 (1) Teacher data that associates pattern A as correct data with an image obtained by shooting the shooting range when the obstacle is arranged in pattern A.
(2)障害物の配置がパターンBであるときに上記撮影範囲を撮影した画像に対し、正解データとしてパターンBを対応付けた教師データ
(3)障害物の配置がパターンCであるときに上記撮影範囲を撮影した画像に対し、正解データとしてパターンCを対応付けた教師データ。
(2) Teacher data in which pattern B is associated as correct data with respect to an image obtained by photographing the photographing range when the arrangement of obstacles is pattern B. (3) When the arrangement of obstacles is pattern C Teacher data in which a pattern C is associated as the correct answer data with respect to the image of the shooting range.
この学習済みモデルに対し、障害物の配置が不明なときに上記撮影範囲で撮影された画像を入力すれば、パターンA〜Cのそれぞれに該当する確率が当該学習済みモデルから出力される。そして、パターン特定部102は、この出力に基づいて現在の障害物の配置に対応するパターンを特定する。例えば、パターン特定部102は、上記確率が最も高いパターンを、現在の障害物の配置に対応するパターンとして特定してもよい。
If an image photographed in the photographing range is input to the learned model when the arrangement of the obstacle is unknown, the probability corresponding to each of the patterns A to C is output from the learned model. Then, the
以下では、説明を簡単にするため、上記のように1つの撮影範囲で撮影した画像から、現在の障害物の配置が複数種類のパターンの何れに該当するかを特定する例を説明するが、パターンごとに撮影範囲が異なっていてもよい。この場合、撮影範囲毎に学習済みモデルを生成しておく。そして、情報取得部101は、各撮影範囲で撮影された画像を取得し、パターン特定部102は、撮影範囲に応じた学習済みモデルを用いてパターンを特定する。
In the following, for simplicity of explanation, an example will be described in which the arrangement of the current obstacle corresponds to one of a plurality of types of patterns from an image captured in one imaging range as described above. The shooting range may be different for each pattern. In this case, a learned model is generated for each shooting range. Then, the
例えば、図3のパターンA〜Cに各パターン用の撮影範囲Aa〜Acが設定されていて、パターンA〜Cに対応する学習済みモデルMa〜Mcが予め生成されていたとする。この場合、パターン特定部102は、撮影範囲Aaで撮影された画像を学習済みモデルMaに入力し、出力された確率の値が閾値以上であれば、現在の障害物の配置がパターンAであると特定する。一方、上記確率の値が閾値未満であれば、撮影範囲Abで撮影された画像を学習済みモデルMbに入力し、上記と同様の処理を行って、現在の障害物の配置がパターンBであるか否かを判定する。また、パターン特定部102は、現在の障害物の配置がパターンBでもなければ、撮影範囲Acで撮影された画像を学習済みモデルMcに入力し、上記と同様の処理を行って、現在の障害物の配置がパターンCであるか否かを判定する。
For example, it is assumed that the photographing ranges Aa to Ac for the patterns A to C in FIG. 3 are set, and the learned models Ma to Mc corresponding to the patterns A to C have been generated in advance. In this case, the
また、以下では、情報取得部101が取得した画像を、そのまま学習済みモデルの入力データとする例を説明するが、画像に対して所定の処理を施したものを入力データとしてもよい。上記所定の処理は、画像における特徴点を失わせることなく、特徴点と関係のない情報を減らすことができるものであればよい。例えば、画像がカラー画像であれば、グレースケール化したものを入力データとしてもよい。
In the following, an example will be described in which the image acquired by the
なお、取得した画像をそのまま用いるか処理を施して用いるかにかかわらず、入力データに用いる画像は、学習済みモデルの機械学習用の教師データに用いた画像と同様の撮影条件で撮影したものであることが好ましい。上記撮影条件には、例えば、撮影装置と撮影範囲との位置関係、周囲の明るさ等が含まれる。撮影条件を揃えるため、例えば撮影範囲に対して所定の位置に固定された定点カメラによって撮影した画像から教師データを生成し、同じ定点カメラによって撮影した画像を入力データとすることが好ましい。 Regardless of whether the acquired image is used as it is or subjected to processing, the image used for the input data was taken under the same shooting conditions as the image used for the teacher data for machine learning of the trained model. Preferably, there is. The shooting conditions include, for example, a positional relationship between the shooting device and the shooting range, ambient brightness, and the like. In order to make the photographing conditions uniform, it is preferable to generate teacher data from an image photographed by a fixed-point camera fixed at a predetermined position with respect to the photographing range, and use the image photographed by the same fixed-point camera as input data.
(処理の流れ)
地図更新装置1が実行する処理の流れを図4に基づいて説明する。図4は、地図更新装置1が実行する処理(地図更新方法)の一例を示すフローチャートである。なお、厳密には、図4のS2以降が地図更新装置1の処理であり、S1は施設の特定の箇所に設置された定点カメラ等の撮影装置が実行する処理である。
(Processing flow)
The flow of processing executed by the map updating device 1 will be described with reference to FIG. FIG. 4 is a flowchart illustrating an example of a process (a map updating method) executed by the map updating device 1. Strictly speaking, the process from S2 onward in FIG. 4 is a process of the map updating device 1, and the process S1 is a process executed by a photographing device such as a fixed point camera installed at a specific place of the facility.
S1では、上記撮影装置が施設内の一部を撮影する。そして、該撮影装置は、撮影した画像を地図更新装置1に送信する。S2において、情報取得部101はS1で送信された画像を取得してパターン特定部102に出力し、パターン特定部102は、上述した学習済みモデルを用いて、現在の障害物の配置パターンを特定する(パターン特定ステップ)。
In S1, the photographing device photographs a part of the facility. Then, the photographing device transmits the photographed image to the map updating device 1. In S2, the
S3では、パターン特定部102は、前回特定したパターンと、今回特定したパターンとを比較し、パターンの変更があったか否かを判定する。ここでパターンの変更があったと判定された場合(S2でYES)には、処理はS4に進む。一方、パターンの変更がなかったと判定された場合(S2でNO)には、処理はS1に戻る。
In S3, the
S4では、地図更新部103は、S2で特定されたパターンに従って、地図を更新する(地図更新ステップ)。そして、S5では、地図送信部104は、S4で更新された地図を無人搬送車に送信する。その後、処理はS1に戻る。これにより、無人搬送車は、常に最新の障害物の配置パターンに整合した地図を用いて施設内を走行することができる。
In S4, the
(実施形態1のまとめ)
以上のように、地図更新装置1は、無人搬送車の移動の妨げとなる1または複数の障害物の配置のパターンが変化する施設内における無人搬送車の移動可能領域を示す地図を更新する。パターンは、所定種類に限られている。パターン特定部102は、所定種類の上記パターンのうち、障害物の現在の配置に対応するパターンを特定する。地図更新部103は、パターン特定部102が特定したパターンに応じて地図における移動可能領域を更新する。このように、地図更新装置1によれば、現在の障害物の配置が何れのパターンの何れに該当するかを特定し、その結果に応じて地図を更新するので、移動可能領域の全てに無人搬送車を移動させることなく、現状と整合するように地図を更新することができる。
(Summary of Embodiment 1)
As described above, the map updating apparatus 1 updates the map indicating the movable area of the automatic guided vehicle in a facility where the arrangement pattern of one or more obstacles that hinder the movement of the automatic guided vehicle changes. The pattern is limited to a predetermined type. The
なお、パターン特定部102は、学習済みモデルを用いる代わりに、例えばパターンマッチング等の画像解析の手法を用いて、施設内の一部を撮影した画像から、当該施設における現在の障害物の配置を特定してもよい。
Note that, instead of using the learned model, the
〔実施形態2〕
本発明の実施形態2について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。これは実施形態3以降も同様である。
[Embodiment 2]
Embodiment 2 of the present invention will be described below. For convenience of description, members having the same functions as those described in the above embodiment are denoted by the same reference numerals, and description thereof will not be repeated. This is the same in the third and subsequent embodiments.
本実施形態の地図更新装置1の概要を図5に基づいて説明する。図5は、本実施形態の地図更新装置1による地図更新の概要を示す図である。図5の例では、複数の無人搬送車(移動体)から、施設内における障害物の配置を示す障害物情報が地図更新装置1に送信されている。地図更新装置1は、送信された障害物情報を取得し、当該障害物情報に基づき、上記施設内の地図を更新する。地図更新後の処理は実施形態1と同様である。 An outline of the map updating device 1 of the present embodiment will be described with reference to FIG. FIG. 5 is a diagram showing an outline of map updating by the map updating device 1 of the present embodiment. In the example of FIG. 5, obstacle information indicating the arrangement of obstacles in the facility is transmitted to the map updating device 1 from a plurality of automatic guided vehicles (moving objects). The map updating device 1 acquires the transmitted obstacle information, and updates the map in the facility based on the obstacle information. The processing after updating the map is the same as in the first embodiment.
地図更新装置1の要部構成は、図1と同様である。ただし、本実施形態の情報取得部101は、施設内を移動する複数の無人搬送車のそれぞれから、当該施設内における障害物の配置を示す障害物情報を取得する。また、本実施形態のパターン特定部102は、複数の無人搬送車のそれぞれから取得された上記障害物情報を用いて、障害物の現在の配置に対応するパターンを特定する。
The main configuration of the map updating device 1 is the same as that of FIG. However, the
(パターンの特定方法)
障害物情報からパターンを特定する方法について図6を用いて説明する。図6は、障害物の配置のパターンを特定するための障害物情報を説明する図である。図6では、図3と同様に障害物が配置されている領域を破線で囲むことにより示している。また、図6では、3台の無人搬送車を記号a、b、cで示している。また、各無人搬送車は、撮影装置を備えている。図6ではそれら撮影装置の撮影方向を白抜き矢印で示している。このように施設内の各所で撮影された画像と、その画像が撮影された位置と、撮影方向とを障害物情報として用いることができる。
(Pattern identification method)
A method of specifying a pattern from obstacle information will be described with reference to FIG. FIG. 6 is a diagram illustrating obstacle information for specifying a pattern of the arrangement of obstacles. In FIG. 6, a region where an obstacle is arranged is surrounded by a broken line as in FIG. In FIG. 6, the three automatic guided vehicles are indicated by symbols a, b, and c. Further, each automatic guided vehicle is provided with a photographing device. In FIG. 6, the photographing directions of these photographing devices are indicated by white arrows. As described above, the images captured at various places in the facility, the positions where the images are captured, and the capturing direction can be used as obstacle information.
例えば、図6において、障害物の配置がパターンAである場合に、無人搬送車aが、領域Tが撮影範囲に入る位置から領域Tに向かって撮影した画像には、障害物が存在する状態の領域Tが写る。情報取得部101は、無人搬送車aが撮影した上記画像を受信すると共に、該無人搬送車の位置と撮影方向を特定し、これらの情報を障害物情報としてパターン特定部102に出力する。そして、パターン特定部102は、上記画像を解析することにより、領域Tに障害物があることを特定する。なお、無人搬送車は、SLAMにより走行する機能を有しており、この機能により無人搬送車の位置と撮影方向(車両の向き)を特定できるため、情報取得部101は無人搬送車と通信することにより、無人搬送車の位置と撮影方向を特定することができる。
For example, in FIG. 6, when an obstacle is arranged in the pattern A, an image captured by the automatic guided vehicle a from the position where the area T falls within the imaging range toward the area T has a state in which the obstacle exists. The region T of FIG. The
同様に、情報取得部101は、無人搬送車bが撮影した上記画像を受信すると共に、該無人搬送車の位置と撮影方向を特定し、これらの情報を障害物情報としてパターン特定部102に出力する。そして、パターン特定部102は、上記画像を解析することにより、領域Yに障害物があることを特定する。なお、撮影した画像に障害物が写っているか否かは、障害物が写っている画像を教師データとした機械学習により生成した学習済みモデルを用いて特定することもできる。
Similarly, the
図6の例では、領域TとYの両方に障害物があるパターンは、パターンAのみであるから、パターン特定部102は、上記の特定結果から、現在の障害物の配置はパターンAであることを特定する。このように、情報取得部101が、施設内の各所で撮影された画像と、その撮影位置と撮影方向を障害物情報として取得することにより、パターン特定部102は、現在の障害物の配置がいずれのパターンに該当するかを特定することができる。なお、パターンAの特定において、無人搬送車cから撮影された画像を用いてもよいことは言うまでもない。
In the example of FIG. 6, only the pattern A has an obstacle in both the regions T and Y. Therefore, the
パターンBについても同様であり、パターン特定部102は、無人搬送車aから撮影された画像等から領域Tに障害物があり、無人搬送車cから撮影された画像等から領域Yに障害物がないことを特定して、現在の障害物の配置はパターンBであることを特定する。また、パターンCについても同様であり、パターン特定部102は、無人搬送車bから撮影された画像等から領域Yに障害物があり、無人搬送車cから撮影された画像等から領域Tに障害物がないことを特定して、現在の障害物の配置はパターンCであることを特定する。
The same applies to the pattern B. The
(実施形態2のまとめ)
以上のように、地図更新装置1は、施設内を移動する複数の無人搬送車のそれぞれから、当該施設内における障害物の配置を示す障害物情報を取得する情報取得部101を備える。パターン特定部102は、複数の無人搬送車のそれぞれから取得された障害物情報を用いて、障害物の現在の配置に対応するパターンを特定する。この構成によれば、複数の無人搬送車のそれぞれから取得された障害物情報を用いて障害物の現在の配置に対応するパターンを特定するので、移動可能領域の全てに無人搬送車を移動させることなく、短時間で正確に地図を更新することが可能になる。
(Summary of Embodiment 2)
As described above, the map updating apparatus 1 includes the
なお、各無人搬送車から取得する障害物情報は、施設内の一部における障害物の配置を示すものであればよく、上述の例に限られない。例えば、情報取得部101は、各無人搬送車がSLAM機能により更新した地図(当該無人搬送車が使用している地図のうち、直近の走行により更新された部分の地図)を障害物情報として取得してもよい。この場合、パターン特定部102は、上記と同様にして、取得された地図から各パターンに特有の障害物の有無(図6の例では領域T、Yにおける障害物の有無)を特定し、その特定結果に基づいて、障害物の現在の配置に対応するパターンを特定することができる。
In addition, the obstacle information acquired from each automatic guided vehicle only needs to indicate the arrangement of obstacles in a part of the facility, and is not limited to the above example. For example, the
〔実施形態3〕
本発明の実施形態3について、以下に説明する。本実施形態の地図更新装置1の要部構成について図7に基づいて説明する。図7は、地図更新装置1の要部構成の一例を示すブロック図である。図7に示すように、地図更新装置1は、情報取得部101の代わりに事象検出部105を備えている点で図1の地図更新装置1と相違している。
[Embodiment 3]
ところで、積荷を搬入するトラックなどの運搬車両が施設に到着した場合には、施設内の、特定の領域に荷物が置かれることが予想される。一方、積荷を搬出する運搬車両が施設に到着した場合には、施設内の、特定の領域から荷物が搬出されることが予想される。このように、運搬車両の到着という事象により、障害物の配置に対応するパターンを推定することができる。 By the way, when a transportation vehicle such as a truck for carrying a load arrives at a facility, it is expected that the luggage will be placed in a specific area in the facility. On the other hand, when the transport vehicle that unloads cargo arrives at the facility, it is expected that the load will be unloaded from a specific area in the facility. As described above, a pattern corresponding to the arrangement of obstacles can be estimated based on the arrival of the transport vehicle.
事象検出部105は、例えば上記事象のような、障害物の配置のパターンが変化する契機となる所定の事象を検出する。そして、パターン特定部102は、事象検出部105が所定の事象を検出したとき、上記変化後のパターンが上記障害物の配置のパターン(上記契機による変化が完了した後のパターン)であると特定する。
The
(パターンの特定の具体例)
例えば、図3に示すような3種類のパターンが規定されており、障害物(例えば荷物)がパターンBの配置となっている状態で、荷物の搬入車両が施設に到着したときには、搬入された荷物が領域Yに運び込まれることが決まっているとする。また、領域Tは、施設から搬出する荷物を集積する領域であるとする。
(Specific examples of patterns)
For example, three types of patterns as shown in FIG. 3 are defined, and when the vehicle carrying the luggage arrives at the facility in a state where the obstacle (for example, luggage) is arranged in the pattern B, the pattern is carried in. It is assumed that it has been decided that the load is to be carried into the area Y. Further, it is assumed that the area T is an area in which luggage carried out of the facility is accumulated.
この場合、事象検出部105は、荷物を搬入する搬入車両が施設に到着したことを、障害物の配置のパターンがパターンBからAに変化する契機となる所定の事象として検出する。また、事象検出部105は、荷物を搬出する搬出車両が施設に到着したことを、障害物の配置のパターンがパターンAからCに変化する契機となる所定の事象として検出する。
In this case, the
なお、搬入車両や搬出車両が到着したことを検出する方法は特に限定されない。例えば、事象検出部105は、施設における駐車スペースを撮影した画像を解析することにより上記の検出を行うこともできるし、各種センサ等を用いて検出することもできる。この他にも、例えば所定の時刻に搬入または搬出されることが決まっている場合には、事象検出部105は、その時刻となったときに搬入車両や搬出車両が到着したと検出してもよい。また、例えば、事象検出部105は、領域TやYの様子を例えば当該領域を撮影した画像を解析することにより監視してもよい。そして、事象検出部105は、領域TやYで障害物(例えば荷物)を移動させる作業(当該領域に障害物を運び込む作業または当該領域から障害物を運び出す作業)が開始されたことを、所定の事象として検出してもよい。
Note that a method of detecting that a carry-in vehicle or a carry-out vehicle has arrived is not particularly limited. For example, the
(実施形態3のまとめ)
以上のように、地図更新装置1は、パターンが変化する契機となる所定の事象を検出する事象検出部105を備えている。パターン特定部102は、事象検出部105が上記事象を検出したとき、上記変化後のパターンを上記障害物の配置のパターンとして特定する。この構成によれば、障害物の配置のパターンが変化する契機となる事象を検出し、検出した事象に基づいて障害物の配置に対応するパターンを特定するので、所定の契機を検出するだけで速やかに地図を更新することができる。
(Summary of Embodiment 3)
As described above, the map updating apparatus 1 includes the
〔変形例〕
上記各実施形態に記載した、パターン特定のための構成は併用することが可能である。つまり、地図更新装置1は、施設内の一部を撮影した画像を取得する実施形態1の情報取得部101と、障害物情報を取得する実施形態2の情報取得部101と、実施形態3の事象検出部105のうち複数を備えていてもよい。この場合、パターン特定部102は、各実施形態で説明した方法をそれぞれ用いてパターンを特定し、各特定結果を総合して最終的なパターンの特定結果を出力してもよい。例えば、パターン特定部102は、実施形態1の情報取得部101が取得した画像に基づいて特定したパターンと、実施形態3の事象検出部105が特定した事象に基づいて特定したパターンが一致した場合に、障害物の配置が当該パターンであると特定してもよい。このような構成により、パターンの特定精度を向上させることができる。
(Modification)
The configuration for pattern identification described in each of the above embodiments can be used in combination. That is, the map updating apparatus 1 includes an
〔分散処理について〕
上記各実施形態で説明した地図更新装置1の実行する処理の一部は、地図更新装置1と通信接続された1または複数の装置に実行させてもよい。例えば、学習済みモデルを用いた演算を行う場合、その演算処理を、地図更新装置1と通信接続されたAIサーバに実行させてもよい。この場合、地図更新装置1は、学習済みモデルに入力する入力データを生成してAIサーバに送信し、該AIサーバから出力データを受信してパターンの特定を行う。
[About distributed processing]
A part of the processing executed by the map updating apparatus 1 described in each of the above embodiments may be executed by one or a plurality of apparatuses communicatively connected to the map updating apparatus 1. For example, when performing an operation using the learned model, the operation process may be executed by an AI server connected to the map updating apparatus 1 in communication. In this case, the map updating apparatus 1 generates input data to be input to the learned model, transmits the generated data to the AI server, receives output data from the AI server, and specifies a pattern.
〔ソフトウェアによる実現例〕
地図更新装置1の制御ブロック(特に制御部10に含まれる各部)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
[Example of software implementation]
A control block (particularly, each unit included in the control unit 10) of the map updating apparatus 1 may be realized by a logic circuit (hardware) formed on an integrated circuit (IC chip) or the like, or may be realized by software. Good.
後者の場合、地図更新装置1は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。 In the latter case, the map updating apparatus 1 includes a computer that executes instructions of a program that is software for realizing each function. This computer includes, for example, one or more processors and a computer-readable recording medium storing the program. Then, in the computer, the object of the present invention is achieved by the processor reading the program from the recording medium and executing the program. As the processor, for example, a CPU (Central Processing Unit) can be used. Examples of the recording medium include “temporary tangible medium” such as a ROM (Read Only Memory), a tape, a disk, a card, a semiconductor memory, and a programmable logic circuit. Further, a RAM (Random Access Memory) for expanding the program may be further provided. Further, the program may be supplied to the computer via an arbitrary transmission medium (a communication network, a broadcast wave, or the like) capable of transmitting the program. Note that one embodiment of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the above-described program is embodied by electronic transmission.
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the embodiments described above, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention.
1 地図更新装置
101 情報取得部
102 パターン特定部
103 地図更新部
105 事象検出部
DESCRIPTION OF SYMBOLS 1
Claims (4)
上記パターンは所定種類に限られており、
所定種類の上記パターンのうち、上記障害物の現在の配置に対応する上記パターンを特定するパターン特定部と、
上記パターン特定部が特定したパターンに応じて上記地図における上記移動可能領域を更新する地図更新部と、を備え、
上記パターン特定部は、上記パターンの特徴が表れる上記対象領域内の一部を撮影した画像と、該撮影の時点の上記パターンとの対応関係を機械学習した学習済みモデルを用いて、上記一部を撮影した画像から、上記障害物の現在の配置に対応するパターンを特定することを特徴とする地図更新装置。 A map updating apparatus that updates a map indicating a movable area of the moving body in a target area in which a pattern of arrangement of one or more obstacles that hinder movement of the moving body changes,
The above patterns are limited to a predetermined type,
A pattern specifying unit that specifies the pattern corresponding to the current arrangement of the obstacle, among the predetermined types of patterns,
A map updating unit that updates the movable area in the map according to the pattern specified by the pattern specifying unit .
The pattern identification unit uses a learned model in which the correspondence between the image of a part of the target area in which the feature of the pattern appears and the pattern at the time of the imaging is machine-learned. A pattern corresponding to the current arrangement of the obstacle from an image of the map.
上記パターンは所定種類に限られており、
所定種類の上記パターンのうち、上記障害物の現在の配置に対応する上記パターンを特定するパターン特定部と、
上記パターン特定部が特定したパターンに応じて上記地図における上記移動可能領域を更新する地図更新部と、
上記対象領域内を移動する複数の上記移動体のそれぞれから、当該対象領域内における上記障害物の配置を示す障害物情報を取得する情報取得部と、を備え、
上記パターン特定部は、複数の上記移動体のそれぞれから取得された上記障害物情報を用いて、上記障害物の現在の配置に対応するパターンを特定することを特徴とする地図更新装置。 A map updating apparatus that updates a map indicating a movable area of the moving body in a target area in which a pattern of arrangement of one or more obstacles that hinder movement of the moving body changes,
The above patterns are limited to a predetermined type,
A pattern specifying unit that specifies the pattern corresponding to the current arrangement of the obstacle, among the predetermined types of patterns,
A map updating unit that updates the movable area in the map according to the pattern specified by the pattern specifying unit;
From each of the plurality of the movable body that moves the target area, and an information acquisition unit for acquiring obstacle information showing the arrangement of the obstacles in the target area,
The pattern specifying unit, a plurality of by using the obstacle information obtained from each of the mobile, maps update device you and identifies a pattern corresponding to the current configuration of the obstacle.
上記パターンは所定種類に限られており、
所定種類の上記パターンのうち、上記障害物の現在の配置に対応する上記パターンを特定するパターン特定ステップと、
上記パターン特定ステップにおいて特定したパターンに応じて上記地図における上記移動可能領域を更新する地図更新ステップと、を含み、
上記パターン特定ステップでは、上記パターンの特徴が表れる上記対象領域内の一部を撮影した画像と、該撮影の時点の上記パターンとの対応関係を機械学習した学習済みモデルを用いて、上記一部を撮影した画像から、上記障害物の現在の配置に対応するパターンを特定することを特徴とする地図更新方法。 A map updating method by a map updating device that updates a map indicating a movable area of the moving body in a target area in which a pattern of arrangement of one or more obstacles that hinder movement of the moving body changes,
The above patterns are limited to a predetermined type,
A pattern specifying step of specifying the pattern corresponding to the current arrangement of the obstacle among the predetermined types of the patterns,
See contains and a map update step of updating the movable area in the map, depending on the particular pattern in the pattern specifying step,
In the pattern identification step, the image of a part of the target area in which the feature of the pattern appears is captured, and the correspondence between the image and the pattern at the time of the capture is machine-learned using a learned model. A map corresponding to a current arrangement of the obstacle from an image obtained by capturing a map.
上記パターンは所定種類に限られており、The above patterns are limited to a predetermined type,
所定種類の上記パターンのうち、上記障害物の現在の配置に対応する上記パターンを特定するパターン特定ステップと、A pattern specifying step of specifying the pattern corresponding to the current arrangement of the obstacle among the predetermined types of the patterns,
上記パターン特定ステップにおいて特定したパターンに応じて上記地図における上記移動可能領域を更新する地図更新ステップと、を含み、A map updating step of updating the movable area in the map according to the pattern specified in the pattern specifying step,
上記対象領域内を移動する複数の上記移動体のそれぞれから、当該対象領域内における上記障害物の配置を示す障害物情報を取得するステップをさらに含み、From each of the plurality of moving objects moving in the target area, further including a step of obtaining obstacle information indicating the arrangement of the obstacle in the target area,
上記パターン特定ステップでは、複数の上記移動体のそれぞれから取得された上記障害物情報を用いて、上記障害物の現在の配置に対応するパターンを特定することを特徴とする地図更新方法。In the above-mentioned pattern specification step, a map updating method is characterized in that a pattern corresponding to a current arrangement of the obstacle is specified using the obstacle information obtained from each of the plurality of moving objects.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018164879A JP6670351B2 (en) | 2018-09-03 | 2018-09-03 | Map updating device and map updating method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018164879A JP6670351B2 (en) | 2018-09-03 | 2018-09-03 | Map updating device and map updating method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020038462A JP2020038462A (en) | 2020-03-12 |
JP6670351B2 true JP6670351B2 (en) | 2020-03-18 |
Family
ID=69738006
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018164879A Active JP6670351B2 (en) | 2018-09-03 | 2018-09-03 | Map updating device and map updating method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6670351B2 (en) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5402057B2 (en) * | 2009-02-16 | 2014-01-29 | トヨタ自動車株式会社 | Mobile robot control system, route search method, route search program |
JP6020326B2 (en) * | 2013-04-16 | 2016-11-02 | 富士ゼロックス株式会社 | Route search device, self-propelled working device, program, and recording medium |
-
2018
- 2018-09-03 JP JP2018164879A patent/JP6670351B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020038462A (en) | 2020-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9953225B2 (en) | Image processing apparatus and image processing method | |
US10043090B2 (en) | Information processing device, information processing method, computer-readable recording medium, and inspection system | |
WO2010101227A1 (en) | Device for creating information for positional estimation of matter, method for creating information for positional estimation of matter, and program | |
CN115063454B (en) | Multi-target tracking matching method, device, terminal and storage medium | |
CN110796104A (en) | Target detection method and device, storage medium and unmanned aerial vehicle | |
US20210299878A1 (en) | Target object recognition device, manipulator, and mobile robot | |
JP2020177648A (en) | Recognition method of false detection of abandoned object, device, and image processor | |
CN111860099A (en) | Article identification system and article identification method | |
JP6670351B2 (en) | Map updating device and map updating method | |
CN112150467A (en) | Method, system and device for determining quantity of goods | |
CN112001948A (en) | Target tracking processing method and device | |
CN110619304A (en) | Vehicle type recognition method, system, device and computer readable medium | |
CN110880003A (en) | Image matching method and device, storage medium and automobile | |
CN110569921A (en) | Vehicle logo identification method, system, device and computer readable medium | |
US11887396B2 (en) | Method for identifying a hand pose in a vehicle | |
JP2020037464A (en) | Determination device and determination method | |
JP2016066277A (en) | Object management system, object management device, object management method, and object management program | |
JPWO2018168182A1 (en) | MOBILE BODY DETECTING DEVICE, MOBILE BODY DETECTING METHOD, AND MOBILE BODY DETECTING PROGRAM | |
CN113379830A (en) | Anti-collision method and device, storage medium and electronic equipment | |
CN114596239A (en) | Loading and unloading event detection method and device, computer equipment and storage medium | |
US11917335B2 (en) | Image processing device, movable device, method, and program | |
CN112967399A (en) | Three-dimensional time sequence image generation method and device, computer equipment and storage medium | |
CN112466112A (en) | Apparatus and method for generating vehicle data and system | |
WO2020142036A1 (en) | Indoor drone navigation support system based on machine learning | |
US20230045988A1 (en) | Method, computer program, and apparatus for controlling image acquisition device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180903 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191023 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6670351 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |