JP7133497B2 - 移動範囲設定システム及び移動範囲設定方法 - Google Patents

移動範囲設定システム及び移動範囲設定方法 Download PDF

Info

Publication number
JP7133497B2
JP7133497B2 JP2019039483A JP2019039483A JP7133497B2 JP 7133497 B2 JP7133497 B2 JP 7133497B2 JP 2019039483 A JP2019039483 A JP 2019039483A JP 2019039483 A JP2019039483 A JP 2019039483A JP 7133497 B2 JP7133497 B2 JP 7133497B2
Authority
JP
Japan
Prior art keywords
entry
entry determination
unit
moving body
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019039483A
Other languages
English (en)
Other versions
JP2020144507A (ja
Inventor
祐樹 金山
健次郎 山本
泰士 上田
洋 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2019039483A priority Critical patent/JP7133497B2/ja
Priority to PCT/JP2019/045078 priority patent/WO2020179139A1/ja
Priority to CN201980078138.4A priority patent/CN113168183B/zh
Priority to US17/422,989 priority patent/US20220075384A1/en
Publication of JP2020144507A publication Critical patent/JP2020144507A/ja
Application granted granted Critical
Publication of JP7133497B2 publication Critical patent/JP7133497B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/50Machine tool, machine tool null till machine tool work handling
    • G05B2219/50391Robot

Description

本発明は、移動範囲設定システム及び移動範囲設定方法に関する。
近年、自律的に移動して荷物の運搬や人の案内、危険作業などを行う移動体(いわゆるロボット)が、工場や病院、公共施設や家庭などの広範囲の分野で稼働している。このような移動体は、運用に関係する領域内で稼働することが好ましい。例えば移動体の運用に関係ない領域としてトイレなどのプライベートゾーン、階段や段差などの危険領域等に移動体が進入しないことが要求される。
この要求を実現するために、例えば、特許文献1に開示された技術が知られている。この特許文献1には、「周辺地図に非地図情報を加えて、走行経路を設定する制限を予め設定した第1の制限情報を周辺地図に適用し、走行経路を算出可能な場合には、第1の制限情報を周辺地図に適用して走行経路を算出する」と記載されている。また、この特許文献1には、「走行経路を算出できない場合には、走行経路を設定する制限を緩和する第2の制限情報を第1の制限情報に適用して走行経路を算出して走行制御部へ出力する」と記載されている。
国際公開第2017/145314号パンフレット
ところで、特許文献1に記載の技術では、事前に移動体が移動する可能性のある全ての領域及び領域内の物体に関して、走行方向、幅、車線跨ぎの可否などの移動条件に関するパラメータを通常時と緩和時のそれぞれで設定しておく必要がある。この設定作業に際して、移動体の管理者は、いつどこで移動体の移動が制限されるかを事前に把握しなければならない。また、設定作業は、例えば、日々運用される移動体の運用開始時までに行われなければ、移動体が制限された領域に進入したり、障害物に衝突したりするおそれがある。しかし、管理者が、移動が制限される全ての領域を事前に把握する作業やパラメータを設定する作業にかかる経済的又は時間的コストが高くなっていた。
本発明はこのような状況に鑑みて成されたものであり、移動体の移動範囲の設定を容易に行えるようにすることを目的とする。
本発明に係る移動範囲設定システムは、移動体が移動可能な移動範囲を設定する移動範囲設定システムであって、移動体の運用前に、初期進入判定設定として入力装置から入力される移動体の進入を禁止する領域、又は移動体が運用される運用領域を含む移動体の移動範囲を示す初期進入判定設定結果を記憶部に保存する初期設定部と、移動体の進入禁止領域を示すラベル、又は進入禁止領域が属する運用領域を示すラベルが事前に設定された確認済み進入判定結果データのうち、初期進入判定設定で選択されたラベルが設定された確認済み進入判定結果データを学習データとして、学習処理を行って初期の進入判定条件を設定し、記憶部に初期の進入判定条件を保存する進入判定条件設定部と、移動体が推定した自己位置の周囲の環境から環境情報を取得する環境情報取得部と、記憶部から取得した進入判定条件に、移動体が取得した自己位置及び環境情報を入力して、自己位置及び環境情報により特定される領域への移動体の進入可否を判定した進入判定結果データを得る進入判定部と、進入判定結果データ、及び環境情報を出力する出力装置と、初期進入判定設定結果、進入判定条件に関する修正情報を受け付ける入力装置と、進入判定結果データ、及び環境情報が出力装置に出力され、修正情報を、自己位置で取得された環境情報と紐付けて記憶部に保存する進入判定確認部と、記憶部に記憶された修正情報を用いて、記憶部に記憶された進入判定条件の更新を含む学習を行うことで、進入判定結果に従って移動が制御される移動体の移動範囲を設定する学習部と、を備える。
本発明によれば、入力装置が受け付けた修正情報を用いて進入判定条件の更新を含む学習が行われるため、移動体の移動範囲を容易に設定することができる。
上記した以外の課題、構成及び効果は、以下の実施の形態の説明により明らかにされる。
本発明の第1の実施の形態に係る移動範囲設定システムの全体構成例を示す概要図である。 本発明の第1の実施の形態に係る計算機のハードウェア構成例を示すブロック図である。 本発明の第1の実施の形態に係る移動範囲設定システムで行われる処理の概要を示すフローチャートである。 本発明の第1の実施の形態に係る移動体の詳細な内部構成例を示すブロック図である。 本発明の第1の実施の形態に係る管理端末の詳細な内部構成例を示すブロック図である。 本発明の第1の実施の形態に係るサーバの詳細な内部構成例を示すブロック図である。 本発明の第1の実施の形態に係る移動範囲設定システムで行われる初期設定処理(図3のステップS1)の詳細手順の例を示すフローチャートである。 本発明の第1の実施の形態に係る移動範囲設定システムで行われる移動体の移動処理(図3のステップS2、S5)の詳細手順の例を示すフローチャートである。 本発明の第1の実施の形態に係る移動範囲設定システムで行われる進入判定式の学習処理(図3のステップS4)の詳細手順の例を示すフローチャートである。 本発明の第1の実施の形態に係る進入禁止領域設定画面の表示例を示す説明図である。 本発明の第1の実施の形態に係る運用領域設定画面の表示例を示す説明図である。 本発明の第1の実施の形態に係る進入判定確認画面の表示例を示す説明図である。 本発明の第2の実施の形態に係る複数台かつ複数種類の移動体が存在する場合における移動範囲設定システムの全体構成例を示す概要図である。
以下、本発明を実施するための形態(「実施形態」という)について、添付図面を参照して説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。
[第1の実施形態]
<移動範囲設定システムの全体構成例>
図1は、移動範囲設定システム10の全体構成例を示す概要図である。
移動範囲設定システム10は、移動体1、管理端末2及びサーバ3を備えており、本実施の形態に係る移動範囲設定方法を用いて移動体1が移動可能な移動範囲を設定する。
移動体1、管理端末2及びサーバ3は、いずれも有線又は無線の通信回線Nに接続される。通信回線Nは、電線、光ファイバ等の有線通信路、または無線通信路であり、移動体1と管理端末2とサーバ3間の通信は、通信回線Nを介して行うことができる。
移動体1は、予め設定された移動範囲を移動可能なロボットの一例である。移動体1として、例えば、管理区域11内に配置され、自律的に人を案内可能な案内ロボットがある。また、移動体1として、例えば、床面を掃除する掃除ロボット、荷物を搬送する搬送ロボット等であってもよい。移動体1が運用される管理区域11は、例えば、オフィスビル、空港、駅構内等である。また、管理区域11としては、屋内が想定されるが、建屋の中庭等の戸外であってもよい。
移動体1が案内ロボットであれば、移動体1は管理端末2によって予め設定された移動範囲12を移動して、移動範囲12内にいる人を目的地まで案内することが可能である。なお、管理区域11には、移動体1が進入すべきでない進入禁止範囲13が設けられる。進入禁止範囲13は、日によって、移動範囲12の一部と重なったり、大きさが変化したりするため、進入禁止範囲13に応じて移動範囲12が設定される。移動体1は、進入禁止範囲13に進入しないように自律的に判断し、進入禁止範囲13を避けるように移動範囲12を移動可能である。
管理端末2は、移動体1の運用者によって管理される端末である。運用者は、管理端末2を操作することで、管理区域11、移動範囲12及び進入禁止範囲13の初期設定、管理区域11の地図の設定、移動体1が取得した各種の情報の確認等を行うことができる。
サーバ3は、移動体1及び管理端末2から各種のデータを収集し、移動体1及び管理端末2に対して、移動体1の運用に必要なデータを送信する。
移動体1、管理端末2及びサーバ3の詳細な構成例及び動作例は、図4以降にて説明する。
次に、移動範囲設定システム10の各装置を構成する計算装置4のハードウェア構成を説明する。
図2は、計算装置4のハードウェア構成例を示すブロック図である。移動体1、管理端末2及びサーバ3は、それぞれ図2に示す計算装置4によってハードウェアが構成される。
計算装置4は、いわゆるコンピュータとして用いられるハードウェアである。計算装置4は、バス44にそれぞれ接続されたCPU(Central Processing Unit)41、ROM(Read Only Memory)42、RAM(Random Access Memory)43を備える。さらに、計算装置4は、出力装置45、入力装置46、不揮発性ストレージ47、ネットワークインターフェイス48を備える。
CPU41は、本実施の形態に係る各機能を実現するソフトウェアのプログラムコードをROM42から読み出してRAM43にロードし、実行する。RAM43には、CPU41の演算処理の途中で発生した変数やパラメーター等が一時的に書き込まれ、CPU41によって適宜読み出される。出力装置45は、例えば、液晶ディスプレイモニタであり、計算装置4で行われる処理の結果等を運用者に表示する画面を出力する。入力装置46には、例えば、キーボード、マウス等が用いられ、運用者が所定の操作入力、指示を行うことが可能である。なお、出力装置45、入力装置46は、装置の構成によっては設けられないこともある。例えば、サーバ3では、出力装置45、入力装置46を不要としてよい。
不揮発性ストレージ47としては、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フレキシブルディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のメモリ等が用いられる。この不揮発性ストレージ47には、OS(Operating System)、各種のパラメーターの他に、計算装置4を機能させるためのプログラムが記録されている。ROM42、不揮発性ストレージ47は、CPU41が動作するために必要なプログラムやデータ等を永続的に記録しており、計算装置4によって実行されるプログラムを格納したコンピュータ読取可能な非一過性の記録媒体の一例として用いられる。
ネットワークインターフェイス48には、例えば、NIC(Network Interface Card)等が用いられ、NICの端子に接続された通信回線N等を介して各種のデータを装置間で送受信することが可能である。
<移動範囲設定システムの処理の概要>
ここで、移動範囲設定システム10の詳細な構成例について説明する前に、移動範囲設定システム10で行われる処理の概要を説明する。
図3は、移動範囲設定システム10で行われる処理の概要を示すフローチャートである。図3は、運用者が、移動範囲を制限した移動体1の運用を行う場合における処理手順の例を表す。
始めに、運用者が、管理端末2を操作して、移動体1の移動に関する初期設定を行う(S1)。初期設定とは、例えば、後述する図10,図11の画面を通じて移動体1の運用領域や進入禁止と設定された領域(「進入禁止領域」と呼ぶ)を選択する操作である。初期設定の詳細については、後述する。初期設定が行われると、初期設定の内容に合わせて構築された進入判定式が移動体1に保存される。進入判定式とは、例えば、画像(環境情報の一例)及び補助環境データ(補助環境情報の一例)を入力した時に、画像及び環境データが取得された位置で特定された移動体1の移動方向(例えば、前方)にある領域への移動体1の進入判定結果データを得るための式である。本実施の形態で進入判定式は、進入判定条件の一例として用いられる。進入判定条件としては、他にも移動体1が移動可能な領域と、進入可又は禁止とが関連付けて規定されたテーブルにより構成されてもよい。移動体1は、進入判定式の判定結果に基づいて、自律的に移動可能である。
次に、ステップS1で設定された初期設定に基づき、管理端末2が、移動体1を運用環境下で試走させる。このとき、移動体1は、初期設定に基づき設定された進入判定式が進入禁止と推測した位置での画像及び補助環境データを収集し(S2)、管理端末2に対して、進入禁止と推測した自己位置、画像及び補助環境データを送信する。
次に、管理端末2は、移動体1が進入禁止と判定した領域の位置を運用者に提示する。進入禁止と判定される領域としては、例えば、トイレなどのプライベートゾーンに限らない。移動体1が物に衝突することを避けるため、ゴミ箱等の物が置かれている箇所についても進入禁止と判定される領域に該当する。
管理端末2が、移動体1の自己位置、画像及び補助環境データを受信した後、運用者は、管理端末2に提示された領域が、移動体1の運用上進入してよいかを判断し、進入判定式から出力された進入判定結果データを確認する(S3)。管理端末2は、進入判定結果データを確認した確認結果をサーバ3に送信する。
次に、サーバ3は、管理端末2から収集した、運用者による確認結果と、移動体1が移動した位置で取得した画像及び補助環境データを用いて、進入判定式を学習し、進入判定式を更新する(S4)。サーバ3は、更新した進入判定式を移動体1及び管理端末2に送信する。次に、管理端末2は、サーバ3によって更新された進入判定式を用いて、移動体1の実運用を行う(S5)。
そして、移動体1の運用中に、運用者は、進入判定式の再学習が必要か判断する(S6)。運用者が進入判定式の再学習を必要でないと判断した場合(S6のNO)、本処理を終了する。
一方、運用者が進入判定式の再学習を必要と判断した場合(S6のYES)、ステップS3に戻る。そして、運用中に新たに収集した進入判定結果データ(進入判定結果の一例)、及びその進入判定がなされた位置で取得された画像及び環境データに基づいて、運用者が進入判定結果データを確認し、サーバ3が、管理端末2から受信した進入判定結果データを用いて、進入判定式を再学習する。再学習のタイミングは、日々の移動体1の運用終了後でもよいし、移動体1の運用領域が工事やイベントにより変化した時であってもよい。
本実施の形態に係る移動範囲設定システム10では、ステップS3で運用者が進入判定結果データを確認し、ステップS4で確認済みの進入判定式から得た進入判定結果データ(確認結果の一例)、及び修正情報を用いて進入判定式を更新することが可能となる。すなわち、運用者が進入判定を確認したことを修正情報として、進入判定式を更新することが可能となる。このため、初期設定においては、運用者が、細かいパラメータ設定を行う必要がなく、移動体1の移動に関するおおまかな設定を行うだけでよい。以下に、本実施の形態に係る移動範囲設定システム10を構成する各部の構成例の詳細について図4~図6を参照して説明し、動作例の詳細について図7~図9を参照して説明する。また、管理端末2に表示される画面の表示例について図10~図12を参照して説明する。
<移動体の内部構成例>
図4は、移動体1の詳細な内部構成例を示すブロック図である。なお、図4では、1台の移動体1が存在する例について示すが、後述するように複数台の移動体1が存在していてもよい。
移動体1は、画像取得部111、補助環境データ取得部112、移動機構113、計算部101及び記憶部102を有している。
画像取得部111は、移動体1に設置され、移動体1が推定した移動体1の現在位置(「自己位置」と呼ぶ)の周囲の環境から環境情報を取得する環境情報取得部の一例として用いられる。環境情報としては、例えば、画像取得部111によって取得された、移動体1の周辺の画像が用いられる。このため、画像取得部111は、静止画像又は動画像を撮像可能な1台以上のカメラから構成されており、それぞれのカメラは、CCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子を備えている。画像取得部111は、移動体1が移動する方向(例えば、前方)に取付けられるが、移動体1の周囲の環境を広い画角で撮像可能であれば取付け位置を任意としてよい。画像取得部111により、環境を撮像して得られた画像(デジタル画像データ)は、進入判定部131及び自己位置推定部132に出力される。
ここで、移動体1に搭載するカメラは、カメラの姿勢が動かないよう、移動体1に固定することが望ましい。しかし、移動体1又は管理端末2が、カメラの姿勢を常に把握する機能を搭載している場合、カメラの姿勢は固定されなくてもよい。
なお、画像取得部111が広い範囲の画像を取得するためには、上述したように移動体1が複数のカメラを搭載したり、広角レンズや超広角レンズを備えたカメラを搭載したりすることが望ましい。さらに、移動体1が夜間等の暗所を移動する場合、移動体1は赤外線カメラを搭載することが望ましい。また、移動体1が搭載する複数のカメラは、移動体1の周囲を満遍なく撮像できるような位置に搭載されることが望ましい。さらに、移動体1が搭載する広角レンズや超広角レンズを備えたカメラは、移動体1の最も高い位置、かつ、上向きに搭載されることが望ましい。このように移動体1にカメラを搭載して取得された画像が管理端末2に送られる。管理端末2を操作する運用者は、画像を確認し、移動体1が判定した進入判定結果データを安定して確認することが可能となる。
補助環境データ取得部112(環境情報取得部の一例)は、画像と合わせて進入判定式の入力とする補助環境データ(補助環境情報の一例)を移動体1の周囲から取得する。補助環境データは、例えば、移動体1の周囲に発生する音声、移動体1の周囲の照度、及び目的物までの距離のうち、少なくともいずれか一つの情報を含む。ここで、移動体1の周囲に発生する音声は、画像取得部111が画像を取得した位置において、移動体1に設置されたマイクロホンが集音する情報である。移動体1の周囲の照度は、画像取得部111が画像を取得した位置において、移動体1に設置された照度計が計測した情報である。また、目的物までの距離は、画像取得部111が画像を取得した位置において、移動体1に設置された測距計により測距された情報である。
移動機構113は、移動体1の移動を実現するための機構及びアクチュエータである。この移動機構113は、移動制御部134から出力された移動制御信号を入力として、移動体1が進入判定式により自律的に決定した移動経路を追従して移動し、又は、ブレーキ動作による停止を行う。
計算部101は、進入判定部131、自己位置推定部132、地図読取部133及び移動制御部134を有している。計算部101は、図2に示したCPU41、ROM42、RAM43によって構成される。
なお、移動体1の記憶部102(例えば、図2のROM42、不揮発性ストレージ47)にはプログラムが格納されている。そして、このプログラムが、移動体1のメモリ(図2のRAM43等)にロードされ、CPU(図2のCPU41)によって実行される。これにより、計算部101が有する進入判定部131、自己位置推定部132、地図読取部133、移動制御部134が具現化する。
進入判定部131は、自己位置、及び画像取得部111が取得した画像により特定される領域(例えば、移動体1の移動方向にある領域)への移動体1の進入可否を判定した進入判定結果データを進入判定式から得る。この進入判定式には、少なくとも画像が変数として入力され、進入判定結果データが出力される。進入判定部131は、画像を進入判定式に入力して得た、移動体1の進入可否を表す進入判定結果データを移動制御部134へ出力する。
進入判定結果データを移動制御部134へ出力する際、進入判定部131は、進入判定結果データと共に、画像取得部111から入力した画像を、記憶部102の移動体判定結果記憶部173に保存する。進入判定部131が行う具体的な処理については後述する。
進入判定部131は、画像と合わせて、補助環境データを進入判定式の入力とすることで、画像だけを利用する場合と比べて、移動体1が屋内又は屋外のいずれであるかを簡単に判定することができる。例えば、移動体1が音声又は照度の情報を利用することで、移動体1の自己位置が屋外又は屋内のいずれであるかを判定しやすくなる。また、移動体1が距離の情報を利用することで、移動体1が移動する通路の通路幅やホールの奥行きが分かり、進入判定部131が的確に進入判定を行なえる。
なお、進入判定部131が進入判定式に入力する情報としては、画像取得部111が取得した現在の画像の他に、補助環境データ取得部112が取得した現在の補助環境データを加えてもよい。この場合、進入判定部131は、画像に加えて、補助環境データを進入判定式に入力して得た、移動体1の進入可否の進入判定結果データを移動制御部134へ出力する。そして、進入判定結果データを移動制御部134へ出力する際、進入判定部131は、進入判定結果データと共に、画像取得部111から入力した画像、補助環境データ取得部112から入力した補助環境データを、移動体判定結果記憶部173に保存する。
自己位置推定部132は、画像取得部111が取得した現在の画像を用いて、移動体1の現在位置を自己位置として推定する。
地図読取部133は、事前に管理端末2で進入禁止領域が設定され、記憶部102に記憶された地図を移動体地図記憶部172から読出し、自己位置推定部132が推定した自己位置に基づいて、地図上のどこに移動体1がいるかを判断する。そして、地図読取部133は、地図上に事前に設定された進入禁止領域と、地図上の自己位置とを比較して、移動体1の移動方向である、移動体1の前方の領域が進入禁止領域に含まれるか否かを判定し、進入判定結果データを移動制御部134に出力する。このように移動体1は、地図読取部133を用いることで、進入判定部131だけを用いるよりも高精度に進入判定を行うことができる。また、運用者は、移動体1が試走して得た進入判定結果データを確認すればよく(図3のステップS3)、地図上に示される様々な場所を選んで進入判定を行う必要がない。このように進入判定結果データが絞り込まれて運用者に提示されるため、運用者が確認する手間を軽減することができる。
移動制御部134は、地図に対して事前に進入禁止と設定された領域を回避して移動体1を移動させる制御を行う。そこで、移動制御部134は、進入判定部131から入力される進入判定結果データと、地図読取部133から入力される進入判定結果データのいずれかが、進入禁止の判定である場合に、進入禁止領域を回避する経路を追従して移動体1を移動させる移動制御を実施する。そこで、移動制御部134は、更新された進入判定式により進入可と判定された領域に移動体1を進入させる制御を行う。また、移動制御部134は、更新された進入判定式により進入禁止と判定された領域を回避して移動体1を移動させる制御を行う。
記憶部102は、移動体進入判定式記憶部171、移動体地図記憶部172、移動体判定結果記憶部173を有する。
移動体進入判定式記憶部171は、後述する図7に示す初期設定処理、及び図9に示す学習処理によってサーバ3から出力された進入判定式を、サーバ3のサーバ進入判定式記憶部373から適宜取得し、記憶する。進入判定式の詳細については後述する。移動体進入判定式記憶部171が進入判定式を取得するタイミングは、一例として、移動体1の運用後、再学習を行った後等が挙げられる。
移動体地図記憶部172は、事前に管理端末2で設定され、管理端末2が有する管理端末地図記憶部272から取得した地図を保存している。移動体地図記憶部172に記憶される地図には、移動体1の移動範囲が設定されている。この地図は、移動体1が推定した自己位置との対応関係を結べる地図であればよく、SLAM(Simultaneous Localization And Mapping)で作成された地図でもよいし、フロアマップなど人間が用いる地図でもよい。
日々の環境変化などに関わらず、明らかに常時進入禁止とすべき領域に対しては、初期設定処理において事前に運用者が地図に進入禁止領域を設定することで、地図上の進入禁止領域が移動体1の進入禁止とすればよい。これにより、図3のステップS2で移動体1が試走を行う時間と、ステップS3で運用者が確認する確認対象を事前に間引くことができ、運用者が進入判定結果データを確認する手間を軽減することが可能となる。なお、移動体地図記憶部172が、管理端末2から地図を取得するタイミングは、管理端末2で地図が更新されるタイミングとしてよく、自動的に管理端末2から転送された地図が移動体地図記憶部172に記憶される。
移動体判定結果記憶部173は、進入判定部131が用いた進入判定式に入力され、移動体1が推定した自己位置で取得された画像と、補助環境データと、進入判定式が出力された進入判定結果データとで構成された判定結果データを一時的に記憶する。判定結果データを構成する、画像と、補助環境データと、進入判定結果データとは、時刻同期がとれたセットデータであり、各データが、互いに紐付けられた状態である。移動体判定結果記憶部173に一時的に保存された判定結果データは、定期的に、又はサーバ3が学習を行う際に、管理端末2の管理端末判定結果記憶部273にコピーされる。
<管理端末の内部構成例>
図5は、管理端末2の詳細な内部構成例を示すブロック図である。
管理端末2は、初期進入判定入力部211、初期進入判定表示部212、地図入力部213、進入禁止領域表示部214、進入判定表示部215、進入判定確認入力部216、計算部201及び記憶部202を有している。
初期進入判定入力部211、地図入力部213及び進入判定確認入力部216は、図2に示した入力装置46から入力される各種の情報を受け付ける。管理端末2の入力装置46は、例えば、タッチパネル、キーボード又はマウス等が用いられ、運用者による入力を受付ける。入力装置46は、例えば、運用者によって入力された進入判定式(進入判定条件の一例)に関する修正情報を受け付けることができる。一方、初期進入判定表示部212、進入禁止領域表示部214及び進入判定表示部215は、図2に示した出力装置45に対して各種の情報、画面を表示させる。この出力装置45は、進入判定式及び環境情報を表示可能に出力することができる。
初期進入判定入力部211は、運用者が入力装置46を操作して、初期進入判定表示部212の表示内容に基づいて選択した初期進入判定の結果を初期進入判定設定部231に入力する。
初期進入判定表示部212は、移動体1の移動に関する初期設定の選択画面を表示する出力装置45等である。初期設定の選択画面は、後述する図10に示されるような進入禁止領域を設定する画面であってもよいし、後述する図11に示されるような移動体1の運用領域を設定する画面であってもよい。
地図入力部213には、移動体1の移動に際して地図読取部133(図4を参照)が参照する地図が入力される。地図入力部213によって、地図が管理端末2に取込まれる。地図入力部213としては、管理端末2に接続される外部記憶装置に記憶された地図を読取って入力する装置であってもよいし、スキャナのように地図をデジタルデータとして取込む読取装置であってもよい。
進入禁止領域表示部214は、地図入力部213から入力された地図を表示し、この地図の上に進入禁止領域を表示する。運用者は、進入禁止領域表示部214に表示された地図及び進入禁止領域を確認することができる。
進入判定表示部215は、管理端末判定結果記憶部273に記憶された進入判定結果データ及び画像を管理端末2の出力装置45に出力して画面に表示させる。このとき、進入判定表示部215は、管理端末判定結果記憶部273から読出された地図と共に進入判定結果データを出力装置45に出力して、移動体1を管理するための管理画面に表示させる。進入判定表示部215は、例えば、図3のステップS3で運用者が進入判定結果データの確認を行えるようにするため、図3のステップS2で収集された移動体1が進入禁止と判定した位置を運用者に提示し、運用者の確認を受付ける。管理画面では、進入禁止と判定した位置がどこであるかを運用者が分かる情報が提示される。進入判定表示部215は、例えば、後述する図12に示すように進入禁止と判定し、かつ移動体1が進入しなかった位置を地図上で示し、その位置で撮像された画像も提示することが可能である。運用者は、進入判定表示部215に表示された、地図上に進入禁止と判定された位置、及び画像を確認することができる。
また、進入判定表示部215は、進入判定確認入力部216から修正情報、すなわち進入判定結果データの確認結果を受け付けることにより、修正情報により修正された進入判定式により得られた進入判定結果データを地図と共に管理画面に表示させる。このため、管理端末2を操作する運用者は、入力した確認結果が地図上のどの位置に該当するかを確認しやすくなる。
進入判定確認入力部216は、運用者が入力装置46を操作して、進入判定表示部215の表示内容に基づいて進入判定結果データを確認した確認結果を進入判定確認部233に入力する。
計算部201は、初期進入判定設定部231、進入禁止領域設定部232、進入判定確認部233を有する。計算部201は、図2に示したCPU41、ROM42、RAM43によって構成される。
なお、管理端末2の記憶部202(例えば、図2のROM42、不揮発性ストレージ47)にはプログラムが格納されている。そして、このプログラムが、管理端末2のメモリ(図2のRAM43等)にロードされ、CPU(図2のCPU41)によって実行される。これにより、計算部201が有する初期進入判定設定部231、進入禁止領域設定部232、進入判定確認部233が具現化する。
初期進入判定設定部231(初期設定部の一例)は、移動体1の運用前に初期進入判定入力部211から入力された進入判定結果データに基づいて初期設定した移動範囲を初期進入判定設定結果として管理端末初期進入判定設定結果記憶部271に一時保存する。管理端末2の初期進入判定入力部211から入力される項目であって、初期進入判定設定部231が設定し、又は選択する項目は、少なくとも移動体1の進入を禁止する領域、及び移動体1が運用される運用領域を含む。
管理端末初期進入判定設定結果記憶部271に一時保存された移動範囲の初期進入判定設定結果はサーバ3に転送され、サーバ3のサーバ初期進入判定設定結果記憶部371に記憶される。
進入禁止領域設定部232は、進入禁止領域表示部214を確認する運用者によって地図入力部213から進入禁止と入力された領域を設定した地図を管理端末地図記憶部272に保存する領域設定部の一例として用いられる。進入禁止領域設定部232により進入禁止領域が設定された地図は、管理端末地図記憶部272を介して、移動体1に転送され、移動体地図記憶部172に記憶される。
進入判定確認部233は、管理端末判定結果記憶部273から入力された進入判定結果データを進入判定表示部215に表示する。そして、進入判定確認部233は、進入判定表示部215を確認する運用者によって進入判定確認入力部216から入力された進入判定結果データの確認結果を修正情報として、移動体1が推定した自己位置で取得された画像及び補助環境データと紐付け、確認済みの進入判定結果データとして管理端末確認済み判定結果記憶部274に保存する。このため、管理端末確認済み判定結果記憶部274には、画像及び補助環境データと、画像及び補助環境データが取得された位置で運用者が入力した修正情報とが紐づけて記憶される。
記憶部202は、管理端末初期進入判定設定結果記憶部271、管理端末地図記憶部272、管理端末判定結果記憶部273、管理端末確認済み判定結果記憶部274を有する。
管理端末初期進入判定設定結果記憶部271は、初期進入判定設定部231で設定された初期進入判定設定結果を一時的に保存し、初期進入判定設定結果をサーバ3に転送する。
管理端末地図記憶部272は、進入禁止領域設定部232により進入禁止領域が設定された地図を保存する。管理端末地図記憶部272は、地図が更新されるタイミングで自動的に移動体1に地図を転送する。
管理端末判定結果記憶部273は、移動体1の移動体判定結果記憶部173から転送された進入判定結果データを一時的に保存する。進入判定結果データは、定期的又は、サーバ3が学習を行う際に進入判定確認部233に入力される。
管理端末確認済み判定結果記憶部274は、進入判定確認部233から出力された確認済み進入判定結果データ(確認結果の一例)を修正情報として一時的に保存する。確認済み進入判定結果データは、定期的、又はサーバ3が学習を行う際に、サーバ3のサーバ確認済み判定結果記憶部372にコピーされる。これにより、サーバ確認済み判定結果記憶部372に確認済み進入判定結果データが蓄積される。そして、サーバ3は、サーバ確認済み判定結果記憶部372に蓄積された確認済み進入判定結果データを使用して学習を行う。
<サーバの内部構成例>
図6は、サーバ3の詳細な内部構成例を示すブロック図である。
サーバ3は、計算部301と、記憶部302とを有している。
計算部301は、初期進入判定式出力部331、確認済み判定結果読込部332、学習前処理部333及び進入判定式学習部334を有している。計算部301は、図2に示したCPU41、ROM42、RAM43によって構成される。
なお、サーバ3の記憶部302(例えば、図2のROM42、不揮発性ストレージ47)にはプログラムが格納されている。このプログラムが、サーバ3のメモリ(図2のRAM43等)にロードされ、CPU(図2のCPU41)によって実行される。これにより、計算部301が有する初期進入判定式出力部331、確認済み判定結果読込部332、学習前処理部333、進入判定式学習部334とが具現化する。
初期進入判定式出力部331(進入判定条件設定部の一例)は、初期進入判定設定部231により初期設定される移動範囲を示す初期進入判定設定結果に基づいて設定した初期の進入判定式をサーバ進入判定式記憶部373に記憶する。初期進入判定に合わせた進入判定式は、図4に示したように、サーバ進入判定式記憶部373から移動体1の移動体進入判定式記憶部171に転送される。
ここで、初期進入判定式出力部331は、管理端末2の初期進入判定設定部231で設定された初期進入判定設定結果をサーバ初期進入判定設定結果記憶部371経由で入力とする。移動範囲設定システム10を開発するシステム開発者又は運用者は、事前に確認済み進入判定結果データを収集しておく。そして、システム開発者又は運用者は、後述する図10に示される進入禁止領域を示すラベルや、図11に示される進入禁止領域がどこの運用領域に属するかを示すラベルを確認済み進入判定結果データに設定しておく。ラベルが設定された確認済み進入判定結果データは、事前にサーバ確認済み判定結果記憶部372に蓄積される。
次に、初期進入判定式出力部331は、サーバ確認済み判定結果記憶部372に蓄積された確認済み進入判定結果データのうち、初期進入判定設定で選択されたラベルが設定された確認済み進入判定結果データを学習データとして、学習処理を行い、初期進入判定式を生成する。また、デフォルトの初期進入判定設定結果や、頻繁に選択される初期進入判定設定結果に対する進入判定式については、事前に学習済みのものをサーバ進入判定式記憶部373に登録しておく。なお、初期進入判定式出力部331は、事前にサーバ進入判定式記憶部373から読出した進入判定式を、初期進入判定式として出力してもよい。
ここで、確認済み判定結果読込部332、学習前処理部333によって事前に行われる学習処理、進入判定式学習部334によって行われる再学習処理の例を説明する。
始めに、事前に行われる学習処理について説明する。
確認済み判定結果読込部332は、管理端末2を操作する運用者が確認した確認済み進入判定結果データをサーバ確認済み判定結果記憶部372から読込む。
次に、学習前処理部333は、進入判定式の判定精度を向上させるために、確認済み進入判定結果データのバリエーションを増やす学習前処理を行う。学習前処理部333は、例えば、画像に対しては、コントラスト調整やガンマ変換や反転や拡大縮小処理を行い、補助環境データに対しては、ガウス分布に基づくノイズ付加を行うことで、データのバリエーションを増やす。なお、学習前処理部333が、画像及び補助環境データを変換しても、対応する進入可否判定結果は変化させない。
ここで、進入判定式は、画像及び補助環境データを入力として、それらのデータが取得された位置前方への移動体1の進入が可能か否か表す進入判定結果データを出力する式である。進入判定式の一例として次式(1)がある。
u=Wx+b ・・・ (1)
式(1)において、uは、進入判定結果データを表すスカラーであり、「0」又は「1」のどちらかの値をとる。uが「0」であれば進入禁止、「1」であれば進入可能を意味する。また、Wはxの重み係数行列である。xは、画像及び補助環境データを連結させたベクトルであり、以下の説明では「環境データ」と呼ぶ。そして、bは、シフト量を表す係数である。
本実施形態における学習処理は、環境データxが入力された際に出力される判定結果uが、より的確な判定結果を出力できるように、係数行列Wとシフト量bを調整する処理である。学習の結果、移動体1の進入判定部131は、式(1)における学習済みの係数行列Wとシフト量bを用いた進入判定式により、環境データxに示される移動体1の前方の領域に対して、進入可能か否かを判定できる。
そこで、進入判定式学習部334は、入力装置46が受け付けた修正情報を用いてサーバ進入判定式記憶部373に記憶された進入判定式の更新を含む学習を行うことで、進入判定結果データに従って移動が制御される移動体1の移動範囲を設定する。このため、進入判定式学習部334は、移動体1が画像及び補助環境データを入力として進入判定式から得た進入判定結果データに対して、管理端末2の進入判定確認入力部216を通じて確認された確認結果に基づいて進入判定式を更新する。以下に、進入判定式学習部334で行われる進入判定式の再学習処理を説明する。
再学習処理に際して、進入判定式学習部334は、確認済み進入判定結果データ群のうち、ランダムにいくつかのデータを取り出す。
次に、進入判定式学習部334は、係数行列Wの初期値と、シフト量bの初期値を代入した式(1)に対して各データのそれぞれの環境データxを入力し、式(1)で算出したuと実際の確認結果u’の誤差eを計算し、誤差eの合計値Eを算出する。そして、進入判定式学習部334は、誤差の合計値Eがより小さくなるように係数行列Wとシフト量bを微小変化させる。ここでの係数行列Wとシフト量bの微小変化のさせ方としては、例えば勾配降下法などが利用できる。確認済み進入判定結果データ群の全てに対して係数行列Wとシフト量bの微小変化が行われる。
進入判定式学習部334が以上の手順を繰り返すことで、誤差の合計値Eは次第に小さくなっていき、学習終了条件を満たすまで、進入判定式が更新され続ける。学習終了条件としては、例えば、確認済み進入判定結果データ群に対する学習処理の一サイクルを一定回数に達するまで行うなどがある。学習済みの係数行列W、シフト量bを含む進入判定式は、サーバ進入判定式記憶部373に格納される。こうして得られた進入判定式によって出力される進入判定結果データuが、移動体1がいる位置で取得された環境データxに対する最適な進入判定結果データとみなされる。
そして、進入判定式学習部334は、運用者によって確認された確認済み進入判定結果データを用いて再学習処理を行うことで、運用者による進入判定確認を反映した進入判定式へと更新することができる。
このように進入判定式の初期設定において、運用者は、細かいパラメータ設定を行う必要がなく、移動体1の移動に関する大まかな設定を行うだけでよい。その後、図3に示したステップS2における移動体1の試走、及びステップS3の運用者による確認を行うことで、運用者の確認結果を反映した的確な進入判定結果データを用いて、適切な進入判定式に更新することが可能となる。
記憶部302は、サーバ初期進入判定設定結果記憶部371、サーバ確認済み判定結果記憶部372、サーバ進入判定式記憶部373を有している。
サーバ初期進入判定設定結果記憶部371には、管理端末2が設定した初期進入判定設定結果が一時保存される。初期進入判定設定結果は、初期進入判定式出力部331に適宜入力される。
サーバ確認済み判定結果記憶部372は、管理端末2を操作する運用者が確認した確認済み進入判定結果データを蓄積する。蓄積された確認済み進入判定結果データは、計算部301が再学習処理を行う際に、確認済み判定結果読込部332に入力される。
サーバ進入判定式記憶部373は、初期進入判定式出力部331から出力された進入判定式、及び進入判定式学習部334から出力された学習済み進入判定式が保存される。これらの進入判定式は、移動体1の運用前などのタイミングで適宜、移動体1に転送される。なお、初期進入判定設定でデフォルトの進入判定式や、頻繁に使用される初期進入判定設定結果に対応する進入判定式などがサーバ進入判定式記憶部373に蓄積されてもよい。
<初期設定処理>
図7は、移動範囲設定システム10で行われる初期設定処理(図3のステップS1)の詳細手順の例を示すフローチャートである。適宜、図5及び図6を参照して説明する。
始めに、初期進入判定表示部212は、移動体1の移動に関する初期進入判定設定を表示する(S11)。
運用者は、表示された初期進入判定設定を確認し、初期進入判定入力部211を通じて初期進入判定設定を入力する(S12)。このとき、運用者は、移動体1の運用に合わせて、移動体1の禁止領域又は運用領域を選択する。初期進入判定設定部231は、入力された初期進入判定設定を、初期進入判定設定結果として設定する(S13)。
次に、初期進入判定設定部231は、設定した初期進入判定設定結果を管理端末初期進入判定設定結果記憶部271に一時保存する。同時に、管理端末初期進入判定設定結果記憶部271は、一時保存した初期進入判定設定結果を、サーバ初期進入判定設定結果記憶部371に転送する(S14)。
次に、サーバ3の初期進入判定式出力部331は、管理端末2からサーバ初期進入判定設定結果記憶部371に転送された初期進入判定設定結果に応じた進入判定式を出力し(S15)、サーバ進入判定式記憶部373に一時保存する。同時に、サーバ進入判定式記憶部373は、一時保存した進入判定式を移動体1の移動体進入判定式記憶部171に転送する(S16)。
次に、管理端末2の地図入力部213は、地図を入力する(S17)。管理端末2の進入禁止領域設定部232は、ステップS17で入力された地図上に進入禁止領域を設定する(S18)。進入禁止領域が設定された地図は、進入禁止領域表示部214に表示され、運用者によって確認される。
次に、進入禁止領域設定部232は、進入禁止領域が設定された地図を管理端末地図記憶部272に一時保存する。同時に、管理端末地図記憶部272は、一時保存した進入禁止領域が設定された地図を、移動体1の移動体地図記憶部172に転送する(S19)。移動体地図記憶部172は、進入禁止領域が設定済みの地図を保存する。そして、本処理を終了する。
以上のように、初期設定において、運用者が行う作業は、ステップS12で初期判定設定に関する移動体1の禁止領域又は運用領域を選択する処理と、ステップS18で地図上に進入禁止領域を設定する処理だけである。一方で、従来は、移動体1が移動する可能性のある全ての領域及び領域内の物体に関して、走行方向、幅、車線跨ぎの可否などの移動条件に関するパラメータを通常時と緩和時のそれぞれで設定しておく方法が用いられていた。このため、本実施の形態に係る方法は、従来行われていた方法よりも、運用者の手間が少なくなる。
<移動処理>
図8は、移動範囲設定システム10で行われる移動体1の移動処理(図3のステップS2、S5)の詳細手順の例を示すフローチャートである。適宜、図4を参照して説明する。
始めに、移動体1の画像取得部111は、移動体1の周囲を撮像した画像を取得し(S21)、補助環境データ取得部112は、移動体1の周囲から補助環境データを取得する(S22)。次に、進入判定部131は、画像及び補助環境データを進入判定式に入力して進入判定を行い、進入判定結果データを移動制御部134に出力する(S23)。
次に、自己位置推定部132は、移動制御部134の制御により進入判定結果データに基づいて移動した移動体1の自己位置を推定する(S24)。次に、地図読取部133は、ステップS24で推定された自己位置と、地図に設定された進入禁止領域の位置関係とに基づいて、移動体1の前方の領域が進入禁止領域か否かを判定する(S25)。次に、ステップS23で出力された進入判定結果データを移動体判定結果記憶部173に保存する(S26)。
次に、ステップS23で進入判定部131から出力された進入判定結果データと、ステップS25の地図読取部133から出力された進入判定結果データのいずれもが、移動体1の前方の領域を進入可能と判定されたか否かをチェックする(S27)。
2種類の進入判定結果データのうち、いずれもが進入可能と判定されていない場合(S27のNO)、移動体1が進入禁止と判定された領域に進入しないようにするため、移動制御部134が移動体1の回避行動をとるための制御を行う(S28)。この制御により、移動体1が進入禁止と判定された領域に進入する行動が回避される。その後、ステップS21に戻って、移動体1は処理を繰り返す。
一方、2種類の進入判定結果データがいずれもが進入可能と判定された場合(S27のYES)、自己位置推定部132は、移動体1の移動を終了するための移動終了条件を満たしているか否かをチェックする(S29)。移動終了条件を満たしている場合(S29のYES)、移動体1の移動を終了する。
移動終了条件を満たしていない場合(S29のNO)、移動制御部134は、移動体1の移動を実行する(S30)。その後、ステップS21に戻って、処理を繰り返す。
以上のように、移動体1は、進入判定式と、地図とに基づいて進入判定を行う。そして、移動体1は、進入禁止と判定した場合、ステップS28に示したように自律的に回避行動を実行し、進入禁止領域を回避して移動する。
<進入判定式の学習処理>
図9は、移動範囲設定システム10で行われる進入判定式の学習処理(図3のステップS4)の詳細手順の例を示すフローチャートである。適宜、図4及び図5及び図6を参照して説明する。
始めに、確認済み判定結果読込部332は、サーバ確認済み判定結果記憶部372から確認済み進入判定結果データを読込み(S31)、読込んだ確認済み進入判定結果データを学習前処理部333に出力する。
次に、学習前処理部333は、入力した確認済み進入判定結果データに対する学習前処理を行い、確認済み進入判定結果データのバリエーションを増やす(S32)。そして、学習前処理部333は、バリエーションを増やした確認済み進入判定結果データを、進入判定式学習部334に出力する。
次に、進入判定式学習部334は、入力した確認済み進入判定結果データを用いて、進入判定式を学習する(S33)。そして、進入判定式学習部334は、ステップS33で学習した学習済み進入判定式を、サーバ進入判定式記憶部373に保存する(S34)。サーバ進入判定式記憶部373に保存された学習済み進入判定式は、移動体1の移動体進入判定式記憶部171に送信され、かつ管理端末2の管理端末判定結果記憶部273に送信され、各記憶部で保存される。
以上のように、図3のステップS3で運用者によって進入判定結果データが確認された確認済み進入判定結果データを反映するように進入判定式の学習処理が行われる。移動体1は、学習処理が行われた進入判定式を用いることで、移動する領域が進入禁止であるか否かを正確に判定し、進入禁止領域を回避して移動できる。
<画面の表示例>
次に、管理端末2に表示される画面の表示例について、図10~図12を参照して説明する。
図10は、進入禁止領域設定画面50の表示例を示す説明図である。進入禁止領域設定画面50は、初期進入判定表示部212によって管理端末2の出力装置45に表示される画面の一例である。
運用者は、様々な領域を事前に進入禁止領域として設定することができる。進入禁止領域としては、例えば、トイレ、ビル出入口の他、スタッフゲート又はパイロンで区切られた領域等がある。運用者が、トイレのチェックボックスにチェックを入力すると、移動体1はトイレに進入しないように移動する制御が行われる。「すべて」のチェックボックスにチェックが入力されると、複数のチェックボックスがまとめてチェックされる。
図11は、運用領域設定画面51の表示例を示す説明図である。運用領域設定画面51は、初期進入判定表示部212によって管理端末2の出力装置45に表示される画面の一例である。
運用者は、移動体1を運用する領域を事前に運用領域として設定することができる。運用領域としては、例えば、オフィスビル、ショッピングモール、空港、駅等がある。運用者が、オフィスビルのチェックボックスにチェックを入力すると、移動体1はオフィスビル内だけを移動する制御が行われる。「すべて」のチェックボックスにチェックが入力されると、複数のチェックボックスがまとめてチェックされる。
図12は、進入判定確認画面52の表示例を示す説明図である。進入判定確認画面52は、進入判定表示部215によって管理端末2の出力装置45に表示される画面の一例である。
運用者は、進入判定確認部233によって判定された進入判定式の確認結果を修正することができる。例えば、進入判定確認画面52の上側には、マップ52aが表示される。マップ52aには、移動体1の移動可能領域52bが実線で表され、進入判定式で判定された複数の領域52cが破線で表される。進入判定式で判定された領域52cのうち、領域Aは、進入可と判定され(図中に「OK!」と表示)、領域B,Cは、進入禁止と判定されたとする(図中に「NG!」と表示)。
また、進入判定確認画面52の下側には、移動体1の画像取得部111が各領域を前方に見て取得した画像が表示される画像表示領域52dが設けられる。画像表示領域52dには、領域名称と、領域名称に対応付けて移動体1が移動可能領域52bから取得した画像が表示される。例えば、領域Aには、移動体1が領域Aから取得した画像Aが表示される。同様に、領域Bには、移動体1が領域Bから取得した画像Bが表示され、領域Cには、移動体1が領域Cから取得した画像Cが表示される。
運用者は、進入判定確認画面52に表示された内容に基づいて、進入判定の確認結果を判定する。そして、運用者は、進入判定が誤っている場合には、マップ52aに表示された進入判定式で判定された領域52cをタップする操作を行う。これにより、領域52cを正しい進入判定結果に修正することができる。例えば、進入禁止とすべき領域52cが進入可と判定された場合には、この領域52cを進入禁止に修正することができる。逆に、進入可とすべき領域52cが進入禁止と判定された場合には、この領域52cを進入可に修正することができる。
以上説明した第1の実施の形態に係る移動範囲設定システム10では、移動体1の移動先で取得された環境情報に基づいて、進入判定式により進入可否が判定された領域が管理端末2に表示される。管理端末2を操作する運用者は、進入可否が判定された領域を確認し、進入可否の判定を確認する。例えば、進入禁止と判定すべき領域が、進入可と判定されていた場合、運用者は、この領域を進入禁止に変更して設定する。移動体1は、進入禁止と設定された領域に対して、進入を回避するよう自律的に移動することが可能となる。
また、運用者は、進入判定式によって進入禁止と判定された領域の判定を確認すればよい。例えば、工事等によりパイロンで仕切られた場所が日によって変わることがある。このような場合であっても、従来のように、運用者自身が進入禁止の領域を探したり、資料を検索したりする必要が無く、運用者による進入禁止の設定作業が軽減される。また、移動体1は、自律的に移動することが可能であるため、誤って進入禁止と設定された領域に進入することがない。
また、運用者は、管理端末2に表示された画像を通じて、どのような場所が進入禁止と判定されたかを現地に行かなくても確認することができる。このため、運用者は、進入禁止の判定を正確に行うことが可能となる。
また、移動体1が運用される目的に応じて進入禁止とする領域を変えることが容易である。例えば、移動体1が、来館者を案内することを目的として運用されるのであれば、進入禁止とする領域をトイレとすることができる。一方で、移動体1が、床面を掃除することを目的として運用されるのであれば、進入禁止とする領域からトイレを外すことができる。このように移動体1の目的に応じて移動体1の移動可能な範囲を変更することで移動体1の適切な運用を図ることができる。
[第2の実施の形態]
なお、上述した実施の形態では、1台の移動体1が存在する場合における移動範囲設定システム10の構成例について説明したが、複数台かつ複数種類の移動体が存在してもよい。
図13は、複数台かつ複数種類の移動体が存在する場合における移動範囲設定システム10Aの全体構成例を示す概要図である。
移動範囲設定システム10Aは、種類の異なる複数の移動体1,1A,1Bを備える。例えば、移動体1Aは、人型の案内ロボットであり、移動体1Bは、空中を浮遊するドローンである。移動体1,1A,1Bは、それぞれ管理端末2に接続される。そして、管理端末2は、複数の移動体1,1A,1Bが収集した進入判定結果データを収集する。そして、運用者は収集された進入判定結果データを確認し、確認済み進入判定結果データをサーバ3に蓄積する。
また、管理端末2とサーバ3とが接続されている。サーバ3は、確認済み進入判定結果データに基づいて学習を行う。その後、サーバ3にて学習された進入判定式が移動体1,1A,1Bに送信され、移動体1,1A,1Bがそれぞれ自律的に移動可能である。
以上説明した第2の実施の形態に係る移動範囲設定システム10Aにおいても、移動体1,1A,1Bの移動に関する簡単な設定を行うだけで、移動体1が的確に進入判定が可能となる移動体1の移動範囲を設定することができる。このように、それぞれの移動体1,1A,1Bに対して細かいパラメータの設定を行わなくてもよく、移動体1,1A,1Bに対する運用負荷を低減することができる。
[変形例]
上述した各実施の形態では、移動体1、管理端末2及びサーバ3で機能を分けて構成したが、各装置の機能の切り分けは任意である。例えば、移動体1が移動しながら学習処理を行ってもよいし、サーバ3の機能を有する管理端末2を設けてもよい。
また、移動体1の周辺から取得される画像及び補助環境データは、移動体1に設けられた画像取得部111及び補助環境データ取得部112が取得するだけでなく、移動体1が移動する領域に設けられた監視カメラやマイクロホン等が取得したデータを用いてもよい。
なお、本発明は上述した各実施の形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
例えば、上述した各実施の形態は本発明を分かりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、ここで説明した実施の形態の構成の一部を他の実施の形態の構成に置き換えることは可能であり、さらにはある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
1…移動体、2…管理端末、3…サーバ、10…移動範囲設定システム、11…管理区域、12…移動範囲、13…進入禁止範囲、111…画像取得部、112…補助環境データ取得部、131…進入判定部、132…自己位置推定部、133…地図読取部、134…移動制御部、231…初期進入判定設定部、232…進入禁止領域設定部、233…進入判定確認部、334…進入判定式学習部

Claims (7)

  1. 移動体が移動可能な移動範囲を設定する移動範囲設定システムであって、
    前記移動体の運用前に、初期進入判定設定として入力装置から入力される、前記移動体の進入を禁止する領域、又は前記移動体が運用される運用領域を含む前記移動体の移動範囲を示す初期進入判定設定結果を記憶部に保存する初期設定部と、
    前記移動体の進入禁止領域を示すラベル、又は前記進入禁止領域が属する運用領域を示すラベルが事前に設定された確認済み進入判定結果データのうち、前記初期進入判定設定で選択されたラベルが設定された前記確認済み進入判定結果データを学習データとして、学習処理を行って初期の進入判定条件を設定し、前記記憶部に初期の前記進入判定条件を保存する進入判定条件設定部と、
    前記移動体が推定した自己位置の周囲の環境から環境情報を取得する環境情報取得部と、
    前記記憶部から取得した前記進入判定条件に、前記移動体が取得した前記自己位置及び前記環境情報を入力して、前記自己位置及び前記環境情報により特定される領域への前記移動体の進入可否を判定した進入判定結果データを得る進入判定部と、
    前記進入判定結果データ、及び前記環境情報を出力する出力装置と、
    前記初期進入判定設定結果、前記進入判定条件に関する修正情報を受け付ける前記入力装置と、
    前記進入判定結果データ、及び前記環境情報が前記出力装置に出力され、前記修正情報を、前記自己位置で取得された前記環境情報と紐付けて前記記憶部に保存する進入判定確認部と、
    前記記憶部に記憶された前記修正情報を用いて、前記記憶部に記憶された前記進入判定条件の更新を含む学習を行うことで、前記進入判定結果に従って移動が制御される前記移動体の前記移動範囲を設定する学習部と、を備える
    移動範囲設定システム。
  2. 前記移動体は、更新された前記進入判定条件により進入可と判定された前記領域に前記移動体を進入させる制御を行い、更新された前記進入判定条件により進入禁止と判定された前記領域を回避して前記移動体を移動させる制御を行う移動制御部を備える
    請求項1に記載の移動範囲設定システム。
  3. 前記環境情報取得部は、前記移動体に設置された画像取得部であり、
    前記環境情報は、前記画像取得部によって取得された、前記移動体の周辺の画像であって、
    前記学習部は、前記画像を入力として前記進入判定条件から得た前記進入判定結果、及び前記修正情報に基づいて前記進入判定条件を更新する
    請求項に記載の移動範囲設定システム。
  4. さらに、前記入力装置から進入禁止と入力された前記領域を設定した地図を前記記憶部に保存する領域設定部を備え、
    前記移動制御部は、前記地図に対して進入禁止と設定された前記領域を回避して前記移動体を移動させる制御を行う
    請求項に記載の移動範囲設定システム。
  5. さらに、前記記憶部から読出された前記地図と共に前記進入判定結果を前記出力装置に出力して前記移動体を管理するための管理画面に表示させ、前記入力装置が前記修正情報を受け付けることにより、前記地図と共に、前記修正情報により修正された前記進入判定条件により得られた前記進入判定結果を前記管理画面に表示させる進入判定表示部を備える
    請求項4に記載の移動範囲設定システム。
  6. 前記環境情報取得部は、前記環境情報と合わせて前記進入判定条件の入力とする補助環境情報を前記移動体の周囲から取得し、
    前記進入判定部は、前記環境情報に加えて、前記補助環境情報を前記進入判定条件に入力して得た、前記移動体の進入可否に関する前記進入判定結果を出力し、
    前記補助環境情報は、前記環境情報取得部が前記環境情報を取得した位置において、前記移動体に設置されたマイクロホンが集音した前記移動体の周囲に発生する音声、前記移動体に設置された照度計が計測した前記移動体の周囲の照度、及び前記移動体に設置された測距計により測距された目的物までの距離のうち、少なくともいずれか一つの情報を含む
    請求項1~5のいずれか一項に記載の移動範囲設定システム。
  7. 移動体が移動可能な移動範囲を設定する移動範囲設定方法であって、
    前記移動体の運用前に、初期進入判定設定として入力装置から入力される、前記移動体の進入を禁止する領域、又は前記移動体が運用される運用領域を含む前記移動体の移動範囲を示す初期進入判定設定結果を記憶部に保存する処理と、
    前記移動体の進入禁止領域を示すラベル、又は前記進入禁止領域が属する運用領域を示すラベルが事前に設定された確認済み進入判定結果データのうち、前記初期進入判定設定で選択されたラベルが設定された前記確認済み進入判定結果データを学習データとして、学習処理を行って初期の進入判定条件を設定し、前記記憶部に初期の前記進入判定条件を保存する処理と、
    前記移動体が推定した自己位置の周囲の環境から環境情報を取得する処理と、
    前記記憶部から取得した前記進入判定条件に、前記移動体が取得した前記自己位置及び前記環境情報を入力して、前記自己位置及び前記環境情報により特定される領域への前記移動体の進入可否を判定した進入判定結果データを得処理と、
    前記進入判定結果データ、及び前記環境情報が出力装置に出力される処理と、
    前記進入判定条件に関する修正情報を、前記自己位置で取得された前記環境情報と紐付けて前記記憶部に保存する処理と、
    前記記憶部に記憶された前記修正情報を用いて前記記憶部に記憶された前記進入判定条件の更新を含む学習を行うことで、前記進入判定結果に従って移動が制御される前記移動体の前記移動範囲を設定する処理と、を含む
    移動範囲設定方法。
JP2019039483A 2019-03-05 2019-03-05 移動範囲設定システム及び移動範囲設定方法 Active JP7133497B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019039483A JP7133497B2 (ja) 2019-03-05 2019-03-05 移動範囲設定システム及び移動範囲設定方法
PCT/JP2019/045078 WO2020179139A1 (ja) 2019-03-05 2019-11-18 移動範囲設定システム及び移動範囲設定方法
CN201980078138.4A CN113168183B (zh) 2019-03-05 2019-11-18 移动范围设定系统以及移动范围设定方法
US17/422,989 US20220075384A1 (en) 2019-03-05 2019-11-18 Moving Range Setting System and Moving Range Setting Method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019039483A JP7133497B2 (ja) 2019-03-05 2019-03-05 移動範囲設定システム及び移動範囲設定方法

Publications (2)

Publication Number Publication Date
JP2020144507A JP2020144507A (ja) 2020-09-10
JP7133497B2 true JP7133497B2 (ja) 2022-09-08

Family

ID=72337805

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019039483A Active JP7133497B2 (ja) 2019-03-05 2019-03-05 移動範囲設定システム及び移動範囲設定方法

Country Status (4)

Country Link
US (1) US20220075384A1 (ja)
JP (1) JP7133497B2 (ja)
CN (1) CN113168183B (ja)
WO (1) WO2020179139A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220288778A1 (en) * 2021-03-15 2022-09-15 Blue Ocean Robotics Aps Methods of controlling a mobile robot device to follow or guide a person
WO2024062632A1 (ja) * 2022-09-22 2024-03-28 日本電気株式会社 制御装置、制約条件選択装置、データ生成装置、制御方法、制約条件選択方法、データ生成方法及び記憶媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006346768A (ja) 2005-06-13 2006-12-28 Toshiba Corp 移動ロボット、プログラム及びロボット制御方法
JP2018124980A (ja) 2017-02-03 2018-08-09 三星電子株式会社Samsung Electronics Co.,Ltd. 自走式移動体及び移動体の移動制御方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5928038B2 (ja) * 2012-03-19 2016-06-01 カシオ計算機株式会社 情報処理装置及びプログラム
JP6074205B2 (ja) * 2012-09-26 2017-02-01 株式会社日立産機システム 自律移動体
JP6240595B2 (ja) * 2014-12-10 2017-11-29 株式会社豊田中央研究所 自己位置推定装置及び自己位置推定装置を備えた移動体
DE112015006585B4 (de) * 2015-06-04 2019-05-16 Mitsubishi Electric Corporation Fahr-Assistenzvorrichtung, Fahr-Assistenzserver und Fahr-Assistenzsystem
KR20180012811A (ko) * 2015-06-26 2018-02-06 닛산 지도우샤 가부시키가이샤 차량 위치 판정 장치 및 차량 위치 판정 방법
JP6272559B1 (ja) * 2016-02-25 2018-01-31 株式会社日立製作所 移動体の制御方法、移動体及び移動体の制御システム
JP6850107B2 (ja) * 2016-11-02 2021-03-31 東芝ライフスタイル株式会社 自律型電気掃除装置
JP6457473B2 (ja) * 2016-12-16 2019-01-23 ファナック株式会社 ロボットおよびレーザスキャナの動作を学習する機械学習装置,ロボットシステムおよび機械学習方法
JP2020109354A (ja) * 2017-03-31 2020-07-16 本田技研工業株式会社 動態管理システム、動態管理方法及びプログラム
JP2018173860A (ja) * 2017-03-31 2018-11-08 アイシン・エィ・ダブリュ株式会社 走行支援装置及びコンピュータプログラム
US10551842B2 (en) * 2017-06-19 2020-02-04 Hitachi, Ltd. Real-time vehicle state trajectory prediction for vehicle energy management and autonomous drive
JP7011408B2 (ja) * 2017-06-29 2022-01-26 アマノ株式会社 自律走行作業装置および自律走行作業システム
JP6805996B2 (ja) * 2017-07-28 2020-12-23 トヨタ自動車株式会社 情報処理装置、情報処理方法及び情報処理システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006346768A (ja) 2005-06-13 2006-12-28 Toshiba Corp 移動ロボット、プログラム及びロボット制御方法
JP2018124980A (ja) 2017-02-03 2018-08-09 三星電子株式会社Samsung Electronics Co.,Ltd. 自走式移動体及び移動体の移動制御方法

Also Published As

Publication number Publication date
WO2020179139A1 (ja) 2020-09-10
US20220075384A1 (en) 2022-03-10
JP2020144507A (ja) 2020-09-10
CN113168183B (zh) 2023-12-12
CN113168183A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
US10191495B2 (en) Distributed ceiling-mounted smart cameras for multi-unmanned ground vehicle routing and coordination
Droeschel et al. Multilayered mapping and navigation for autonomous micro aerial vehicles
CN100407760C (zh) 控制系统和适合于该系统的被控制装置以及遥控器
WO2019138836A1 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
JP7133497B2 (ja) 移動範囲設定システム及び移動範囲設定方法
US7929016B2 (en) Monitoring system, monitoring method and camera terminal
WO2019020794A1 (de) Magnetometer für die roboternavigation
CN112082554A (zh) 机器人导航方法、装置、终端设备及存储介质
CN106339001A (zh) 地图生成方法、移动机器人以及地图生成系统
JP6678529B2 (ja) エレベーターシステム及びかご呼び推定方法
US20220198709A1 (en) Determining position of an image capture device
JP2021140445A (ja) 情報処理装置、推論モデル構築方法、情報処理方法、推論モデル、プログラム、及び記録媒体
JP4976939B2 (ja) 画像処理装置
Zhang et al. An indoor navigation aid for the visually impaired
JP2016192040A (ja) 自走型走行装置、管理装置、及び歩行障害箇所判定システム
JP2019148864A (ja) サービス実施計画提案ロボットシステム
WO2021210492A1 (ja) 情報処理装置、情報処理方法、およびプログラム
Delibasis et al. Real time indoor robot localization using a stationary fisheye camera
KR20230053896A (ko) 도심형 자율주행 이동체를 위한 보행로 중심의 이동경로 데이터 구축 방법 및 시스템
KR20210133579A (ko) 자율주행 로봇을 이용한 사물주소 기반의 배달 방법 및 장치
JP7461737B2 (ja) 移動体、および、そのナビゲーションシステム
JP6728002B2 (ja) 空間情報配信システム、経路提供システム、移動装置、空間情報配信方法およびプログラム
Ahmed et al. Assistive mobile robot for industrial and academic applications
Zhao et al. Platform-independent visual installation progress monitoring for construction automation
KR102647135B1 (ko) 인공지능 기반 객체 탐지 알고리즘을 이용하는 시공 현장을 위한 실시간 균열 탐지 시스템 및 이를 위한 동작 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210607

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220829

R150 Certificate of patent or registration of utility model

Ref document number: 7133497

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150