JPWO2020203043A1

JPWO2020203043A1 - 描画システム

Info

Publication number: JPWO2020203043A1
Application number: JP2021511298A
Authority: JP
Inventors: 良幸田嶋; 堅太藤本
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2019-04-03
Filing date: 2020-03-06
Publication date: 2021-10-28
Also published as: WO2020203043A1

Abstract

設備の配置前に描画を行う描画システムは、障害物の無い状態で使用されていたため、障害物が在ると使用できないという問題があった。このため、描画システムとして、近辺の物品の情報として物品を識別する識別情報と物品を設置する期間の期間情報とを保存している描画記憶装置（４）、描画経路を設定する描画経路設定装置（２）、描画経路設定装置（２）によって設定された描画経路に描画を行う描画装置（１）、描画装置（１）が描画する描画経路の上に設けられた物品を検知する物品検知装置（６）、物品検知装置（６）によって検知された物品を、描画記憶装置（４）に保存されている識別情報に基づいて特定し、物品の期間情報に応じて描画作業の処置を決定する描画処置決定装置（７）、および描画処置決定装置（７）による決定に基づいて描画装置（１）を制御する描画制御装置（３）を備えた。

Description

本願は、描画システムに関するものである。

描画システムは、描画装置を使用して、例えば工場の床面に設備を配置する前の線引きに使用される。
一般に、工場で設備等を配置する際には、床面にケガキと呼ばれる下書きを行ってから配置することで、配置時に位置がずれることを防ぐ。ケガキ作業は基準点からの相対位置を測って書いていく作業となるが、多大な工数を伴うと共に人の読み取り時の誤差、書き込み時の誤差、勘違い等で位置がずれることが多く、熟練度と集中力を要する。このため、予め、線を描く座標を画面上に設定し、線を描くように描画装置を車両に搭載して移動させながら制御して決められた位置に画像を描くシステムが提案されている（特許文献１）。

特許第４４６００２９号公報

この特許文献１に提案されている描画システムは、道路あるいは工場の広い平面で使用されることが想定されていて、描画を行う前に障害物などが無いように事前の準備を必要とし、障害物になるような物品があれば、物品を検知して停止するように構成されている。
すなわち、描画システムを運転して描画作業を進めるには予め障害物を排除するか、障害物を検知するとシステムを停止させるしかなく、描画システムが停止した場合に、停止した理由の確認のために作業が遅延するという問題があった。
本願は、前述の問題を解決する技術を開示するものであって、描画作業をできるだけ円滑に進める描画システムを提供することを目的とするものである。

本願の描画システムでは、描画作業の近辺の物品の情報として前記物品を識別する識別情報と前記物品を設置する期間の期間情報とを保存している描画記憶装置、描画経路を設定する描画経路設定装置、前記描画経路設定装置によって設定された前記描画経路に描画を行う描画装置、前記描画装置が描画する前記描画経路の上に設けられた物品を検知する物品検知装置、前記物品検知装置によって検知された前記物品を、前記描画記憶装置に保存されている前記識別情報に基づいて特定し、前記物品の期間情報に応じて区分された描画作業の処置を決定する描画処置決定装置、および前記描画処置決定装置による決定に基づいて前記描画装置を制御する描画制御装置を備えている。

本願によれば、描画経路に物品が存在している場合に、物品を検知し、物品の置かれる期間の情報に応じて描画作業の処置を決定するようにしているので、描画作業を遅延させることなく進めることができるという効果が得られる。

実施の形態１による描画システムの構成を示すブロック図である。実施の形態１による描画システムの使用状態を示す構成図である。実施の形態１による描画システムの機能構成を示す構成図である。実施の形態１における、新規設備導入前の設備の配置を示すレイアウト図である。実施の形態１における、新規設備導入後の設備の配置を示すレイアウト予定図である。実施の形態１における、新規設備導入時の描画例を示す図である。実施の形態１による、描画に向けた準備作業のフローチャートを示す図である。実施の形態１による、レイアウトの座標管理の例を示す図である。実施の形態１による、描画経路を設定するデータベースの登録例を示す図である。実施の形態１による、物品のマスタデータベースの登録例を示す図である。実施の形態１による、描画動作時に物品検出と物品の種類を判断するフローチャートを示す図である。実施の形態１による、恒久的な配置の物品の検出事例を示す図である。実施の形態１による、一時的な配置の物品の検出事例を示す図である。実施の形態１による、恒久的な配置の物品の検出に対して描画経路の修正を行うフローチャートを示す図である。実施の形態１において、恒久的に配置の物品の検出に対して描画経路の修正例における座標管理を示す図である。実施の形態１において、一時的な配置の物品の検出に対して物品を回避するフローチャートを示す図である。実施の形態１において、描画経路に物品が存在しない場合の描画作業のフローチャートを示す図である。実施の形態１において、描画作業を行った経路をデータベースに登録する例を示す図である。実施の形態１による、描画作業を行わなかった残描画経路をデータベースに登録する例を示す図である。実施の形態１における描画制御装置のハードウエアの構成を示す構成図である。実施の形態２の学習装置を備える構成を示すブロック図である。実施の形態２に使用するニューラルネットワークの構造図である。実施の形態２の学習処理のフローチャートである。実施の形態３の推論装置を備える構成を示すブロック図である。実施の形態３の推論処理のフローチャートである。

実施の形態１．
本願の描画システムは、図１のブロック図に示すように構成されている。なお、図中、同一符号は各々同一または相当部分を示している。
本願の描画システム１００は、描画を行う描画装置１、描画経路設定装置２、描画制御装置３、描画記憶装置４、物品記憶装置５、物品検知装置６、及び描画処置決定装置７を備えている。
描画経路設定装置２は、描画装置１によって描画される領域（予め定めた線幅と長さによる領域）を設定する。描画制御装置３は、描画経路設定装置２によって設定された領域の通りに描画するように描画装置１を制御する。さらに、描画記憶装置４は、描画作業の進捗状況を記憶している。

物品記憶装置５は、描画経路に予期しない物品が設置されている場合に対応するため、描画する領域の近辺に存在する様々な物品についての情報を予め記憶する機能を備えている。物品についての情報（物品情報）とは、物品がどのようなものであるかを識別するための識別情報と、物品を設置している期間を表す期間情報である。識別情報としては、例えば、外形を表す画像データ、あるいはバーコードによる識別情報が使用される。また、期間情報としては、物品の設置が仮置きであって、数時間の内には移動する予定の物である場合には「一時的」とし、常時、その場を占有する物あるいは建造物のように移動できない物である場合には「恒久的」として区分された期間の情報であって、この期間情報と識別情報とが結びつけて保存されている。
物品検知装置６は、描画を進めていく方向に障害物となる物品が存在するか否かを検知する機能を備えている。そして、障害物となる物品が存在することを検知した場合には、検知した物品の識別情報を物品記憶装置５および描画制御装置３に出力する。すなわち、物品検知装置６は、周囲の環境を計測して物品の位置、距離および大きさなどを検知する外界センサである。
物品検知装置６から障害物となる物品を検知したとの情報を受け取った物品記憶装置５は、物品検知装置６から受け取った物品の識別情報と記憶している物品の識別情報とを照合することによって、該当する物品の識別情報を抽出し、該当する物品の期間情報を識別情報とを結び付けて物品情報として描画処置決定装置７に出力する。

描画処置決定装置７は、物品検知装置６によって障害物となる物品が検知された場合、物品記憶装置５からの物品情報を受けて描画作業の進め方を決定する。すなわち、検知された物品が障害物である場合には、その障害物が短時間で移動させられるのであれば、一時的に描画作業を停止して待機する。また障害物が長時間移動されないものである場合には、その領域の描画作業を飛ばして後で補充作業として実行する。あるいは、障害物が移動させられる予定の無いものである場合には、描画作業の指示が誤りであったと考えられるので、描画作業の修正を予定する旨の情報を記録し、抜本的な見直しを要請する。
このような描画作業の処置を描画処置決定装置７において決定し、その決定内容が描画制御装置３に送られて描画作業が制御される。
したがって、描画装置１、描画経路設定装置２、描画制御装置３、及び描画記憶装置４は、描画システム１００の定常状態を運営する構成となっており、物品記憶装置５、物品検知装置６、及び描画処置決定装置７は、描画作業において障害物となる物品を検知した場合の対応を行う構成となっている。

本願における描画システム１００の使用状態の構成を図２に示す。ここで図１に示した描画装置１の具体的な構成として移動描画装置１０を示す。移動描画装置１０は、例えば自走する無人搬送車である。移動描画装置１０が無人搬送車であるため、移動描画装置１０の位置を正確に把握する必要がある。このため、移動描画装置１０の座標位置を補正しながら確認する原点補正端末装置２０が必要になる。ここでは、センサを使用している。他に記憶演算端末装置３０としてサーバ、描画結果を表示するための表示端末装置４０として例えばタブレットＰＣを使用している。
すなわち、操作する者が、表示端末装置４０を使用して記憶演算端末装置３０に作業の開始を指示すると、記憶演算端末装置３０から移動描画装置１０に制御信号が送信され、移動描画装置１０は移動を開始して描画作業を開始する。

移動描画装置１０は、例えばＣＰＵである通信部１１、例えば位置検出センサである座標検出部１２、例えばレーザである光照射部１３、例えば集光センサである反射光検知部１４、例えばカメラである撮影部１５、例えば車輪である駆動部１６、例えばスタンプである描画部１７、例えば接触センサである接触検知部１８を備え、移動と、描画作業と、障害物となる物品の検出とを行っている。
光照射部１３は、描画経路に対して進行経路の状態を測るために光を照射し、進行経路の状態を示す照射光に対する反射光を反射光検知部１４によって検知するように構成されている。また、移動描画装置１０には、障害物を撮影する撮影部１５を備え、撮影部１５は、反射光検知部１４によって進行経路に障害物があることの情報が記憶演算端末装置３０に送られ、記憶演算端末装置３０から障害物が存在するとの判定結果の通信を受けた場合に障害物を撮影し、物品の画像データを出力する。また、移動描画装置１０は、記憶演算端末装置３０から通信された移動指示に従って移動描画装置１０を移動させる駆動部１６、描画をするための描画部１７、及び接触検知部１８を備えている。ここで、接触検知部１８は、障害物が、作業員などの場合に、描画作業を停止させるために設けられているもので、作業者が接触検知部１８を操作することによって作業を途中で停止したという情報を通信部１１から記憶演算端末装置３０に送信する。すなわち、接触検知部１８を設けることによって、外部からの接触を検知すると、描画を中断し描画経路の終点座標へ移動した後に開始座標へ戻り描画を再開すると共に接触により描画を中断したことをユーザに連絡する。このユーザへの連絡は、描画を中断する対象となった物品の画像データを表示することによって行う。

図２に示した移動描画装置１０、原点補正端末装置２０、記憶演算端末装置３０、及び表示端末装置４０のシステムの構成は図３に示すようになっている。
移動描画装置１０の通信部１１は、原点補正端末装置２０、記憶演算端末装置３０と通信するように構成されている。原点補正端末検出部１２１は原点補正端末装置２０を検出し、原点座標認識部１２２は検出した原点補正端末装置２０の座標を認識する。移動座標量検出部１２３は駆動部１６による走行結果を検出する。

原点補正端末装置２０は、移動描画装置１０と通信する通信部２１、移動描画装置１０の位置情報に対して原点となる座標基準部２２からなる。
記憶演算端末装置３０は、移動描画装置１０および表示端末装置４０と通信する通信部３１、描画に関する情報を記憶する情報記憶部３２を備え、情報記憶部３２は描画すべき経路を設定した描画経路設定データベース３２１、描画すべき経路に対して実際に移動描画装置１０が描画した経路と撮影部１５で撮影した物品の画像データとを保持する描画実績経路データベース３２２、描画経路設定データベース３２１と描画実績経路データベース３２２との差分を保持する残描画経路データベース３２３、障害物の情報を保持する障害物マスタデータベース３２４、反射光検知部１４で検知した結果から障害物の有無を判断する障害物の有無判定部３３、障害物が有る場合に障害物マスタデータベース３２４に含まれるか判断する障害物の種類判定部３４、恒久的な障害物の設定と現実の差分量を判断するためのマスタと現実の差分演算部３５、マスタと現実の差分演算部３５の演算結果を描画経路に反映するための修正描画経路算出部３６、描画部１７の実績を描画実績経路データベース３２２に登録するための描画実績処理部３７、描画が完了したか判断するための描画実績判断部３８を備えている。また、表示端末装置４０は記憶演算端末装置３０から通信された情報を表示する表示部４１を備えている。

この実施の形態１の描画システム１００は、記憶演算端末装置３０にインストールされているプログラムを実行することで動作する。
実際の動作の事例として、図４に示すような設備Ａと柱Ｂの間に、図５に示すような設備Ｂおよび設備Ｃを新たに配置する場合の描画として、図６に示すようなＬ字型の線図を描く場合の例を説明する。

準備作業の手順は、図７に示したフローチャートのとおりである。
例えば図４に示すように作業前のレイアウトを、ＣＡＤを使用した電子図面の図面データによって、例えば２次元座標で管理する。ステップＳ１において、描画経路を示す座標情報を設定する。すなわち座標情報としては、図６に示している線図の電子図面の図面データを２次元座標によって表現している。この座標情報のうちＬ字型の線図の部分が、移動描画装置１０の描画経路となる。レイアウトを２次元座標で表した例は、図８に示すようになる。図８には表れていないが、座標（０，０）が原点補正端末装置２０を置く座標であって、この事例では座標（Ｘ，Ｙ）が描画する経路の基準位置として、この位置に対して、柱Ａ、柱Ｂ、及び設備Ａとして表した物品の設置の位置を表している。また、描画経路のＬ字型の線図の四隅における相対座標を表している。座標の間隔の単位（管理メッシュ）は、任意に定めることができる。特に、この事例では移動描画装置１０の移動の１スッテプが予め定めた単位の１０の大きさを持ち、１ステップ移動をする度に単位１０の長さを描画するものとして説明する。描画経路は、座標（Ｘ＋２０，Ｙ）を始点とし、反時計回りに描画を進め、座標（Ｘ＋７０，Ｙ）を終点とする。描画経路を描画経路設定データベースに登録した例を図９に示す。

次に、図７に示すステップＳ２において、障害物の画像を撮影する。この事例では描画経路上で恒久的な障害物になり得る設備Ａ、柱Ａ，柱Ｂを撮影する。また、一時的な障害物になり得ると思われるパレットＡ及び台車Ａを撮影する。この事例では一方向から撮った画像を基に処理を進めているが、１つの障害物に対して複数枚の画像を撮影しても良い。その後、ステップＳ３において、撮影した障害物の画像データに障害物の種類を加えて障害物マスタデータベースに登録する。その際に障害物の種類が恒久的な障害物である場合には、ステップＳ４において、座標情報を登録する。ステップＳ２からステップＳ４を実施した際の障害物マスタデータベースの登録例を図１０に示す。

次に、ステップＳ５において、原点補正端末を原点座標に置く。その後、ステップＳ６において、描画装置を駆動する。駆動後、ステップＳ７において、原点補正端末装置２０と移動描画装置１０が通信することで、移動描画装置１０の現座標を取得する。移動描画装置１０は、現座標を取得後に、描画経路データベースを参照して描画すべき座標まで移動する。したがって、駆動を開始する座標はどこであっても良い。
移動描画装置１０を駆動後、描画開始座標へ移動して描画動作を開始し、描画中に障害物を検出するまでのフローチャートを図１１に示す。
図１１に示すように、まず、移動描画装置１０の現在の座標が次に作業を行う描画経路番号の開始座標と一致するかどうかを判断する。この事例では、現在の座標が描画経路番号１の開始座標（Ｘ＋２０，Ｙ）であるかを判断することになる。一致しなければ、ステップＳ８において、例えば無人搬送車のような自律運転で次の描画経路番号の開始座標へ移動する。自律運転では１ステップの移動毎に光照射部から光を移動先へ照射し、反射光検知部で移動先の距離から反射された光が検出されれば障害物があると判断することで障害物を回避しながら次の描画経路番号の開始座標へ移動する。ステップＳ９において、検出処理で次の描画経路番号の開始座標に障害物有無を判断する。この事例では描画経路番号１の座標（Ｘ＋２０，Ｙ）に障害物がある場合は、ステップＳ１０において、移動先を次々の描画経路開始座標とする。つまり、描画経路番号２の開始座標である（Ｘ＋１０，Ｙ）を対象として移動する。以降は障害物が検出されなくなるまで同様の処理を繰り返す。こうして描画を開始する座標に移動完了後、ステップＳ１１において、描画動作を開始する。この事例では、描画経路番号１の開始座標（Ｘ＋２０，Ｙ）に障害物がないこととし、描画経路番号１から描画動作を開始する。

描画動作を開始後は、描画経路番号毎に開始座標から終点座標へ移動可能か検出処理で障害物の有無を判断する。この事例では、図１２に示すように、例えば設備Ａが配置時に置いた位置がずれていたために、描画経路の座標（Ｘ，Ｙ）に設備Ａの端が掛かっている場合について説明する。
描画経路番号１の開始座標（Ｘ＋２０，Ｙ）から終点座標の（Ｘ＋１０，Ｙ）へは障害物が無いので、移動可能と判断し、ステップＳ１２において、移動描画装置１０を当該描画経路番号の終点座標へ移動する。この事例では座標（Ｘ＋１０，Ｙ）へ移動する。次に描画経路番号２の開始座標（Ｘ＋１０，Ｙ）から終点座標の（Ｘ，Ｙ）へは障害物が有るので、移動不可能と判断し、ステップＳ１３において、当該経路番号の開始座標から終点座標を撮影する。撮影後、ステップＳ１４において、撮影した画像データを移動描画装置１０から記憶演算端末装置３０に当該終点座標の画像データを送信する。記憶演算端末装置３０は、画像データを受信後、ステップＳ１５において、障害物マスタデータベース３２４に登録された画像データと例えば画像認証技術を用いて、障害物の画像データに当該終点座標の画像データが含まれているかを判断する。この時、「含む」と判断する閾値については任意に設定できるものとする。この事例では障害物マスタデータベース３２４に設備Ａの画像データを登録しているので、ステップＳ１６において、「含む」と判断し、種類は恒久的であるので当該終点座標の障害物は恒久的な障害物と判断する。恒久的な障害物と判断した後の処理は後述する。

次に図１３に示すように、例えば設備Ａに供給する材料を載せた台車Ａが座標（Ｘ＋２０，Ｙ＋７０）に置かれていた場合を考える。描画経路番号８の開始座標（Ｘ＋１０，Ｙ＋７０）から終点座標の（Ｘ＋２０，Ｙ＋７０）へは障害物が有るので、移動不可能と判断しステップＳ１２からステップＳ１５を実施する。この事例では障害物マスタデータベース３２４に台車Ａの画像データを登録しているので、ステップＳ１７において、「含む」と判断し、種類は一時的であるので当該終点座標の障害物は一時的な障害物と判断する。一時的な障害物と判断した後の処理は後述する。
検出した障害物が障害物マスタデータベース３２４に登録していない場合あるいは登録していても閾値を超えなかった場合は、作業者は画像データを基に障害物に対する処置を判断することになるため、ステップＳ１８において、描画動作を中止し障害物の画像データを表示端末に表示する。この場合は準備作業から見直した方がよいため、完了とする。

恒久的な障害物を検出した場合に描画経路の修正を検討するフローチャートを図１４に示す。
先ず、ステップＳ１９において、表示端末装置４０に恒久的な障害物の画像データを表示する。併せて、ステップＳ２０において、表示端末装置４０に障害物と描画経路の図面データとを表示する。この事例では、設備Ａの画像データと図８に示した座標の図を表示する。次に、ステップＳ２１において、恒久的な障害物の画像データを基に図面データ上で当該障害物の座標を指定する。この事例では作業者は、座標（Ｘ，Ｙ）で検出した設備Ａは、図面データ上の座標（Ｘ−１０，Ｙ）にあるべきものであると判断し、座標（Ｘ−１０，Ｙ）と指定する。
次にマスタと現実の差分演算部３５を用いて、ステップＳ２２において、恒久的な障害物を検出した座標と図面データ上で指定した当該障害物の座標の差分を演算する。この事例では恒久的な障害物を検出した座標（Ｘ，Ｙ）とステップＳ２１において指定した座標（Ｘ−１０，Ｙ）の差分を（１０，０）であると演算する。
次に修正描画経路算出部３６を用いて、描画経路設定データベース３２１に設定した描画経路に対してステップＳ２２において演算した差分を反映した描画経路を、ステップＳ２３において、表示端末装置４０に差分の修正を施した描画経路図として表示する。この事例では（１０，０）を反映した結果、図１５のように表示する。この時、差分の修正を反映する範囲を選択できるようにしても良い。
すなわち、「恒久的」な障害物の場合には、図面データに対して当該障害物を入力指定することで、図面データ上にあるべき座標と当該障害物を検出した座標との差分だけスライドさせた描画経路を修正案として提示することになる。

次に作業者は、表示端末装置４０を見て、ステップＳ２４において、修正後の描画経路で描画するか実施判断をする。
描画作業を実施すると判断すれば、ステップＳ２５において、修正後の描画経路で、描画経路設定データベースの描画経路を更新する。描画経路設定データベースが更新されると、ステップＳ２６において、当該描画オーダに対する描画実績経路データベース３２２、残描画経路データベース３２３を初期化することで、描画実績を初期化する。初期化後は、ステップＳ２７において、修正した描画経路番号１の開始座標に移動する。移動後は図１１に示す処理によって描画を再開する。修正を実施しない場合は、準備作業から見直した方がよいため、完了とする。

一時的な障害物を検出した場合について、次に説明する。一時的な障害物の場合には、当該障害物を回避して次の描画経路番号から描画を継続することとする。このフローチャートを図１６に示す。
一時的な障害物の回避行動として、ステップＳ２８において、次の描画経路開始座標に向けて移動を開始する。この事例では描画経路番号９の開始座標（Ｘ＋７０，Ｙ＋７０）へ移動を開始する。次の描画経路番号の開始座標へ移動が出来るか障害物の検出処理をすることで判断する。障害物が無い場合は、ステップＳ２９において、対象の描画経路開始座標へ移動する。回避行動の経路設定方法については特に指定しないが、例えばこの事例の（Ｘ＋１０，Ｙ＋７０）から（Ｘ＋７０，Ｙ＋７０）へ回避行動は、最短経路に対して１ステップ移動する毎に障害物を検出し、障害物を検出すれば当該障害物を回り込むように迂回して最短経路に戻ろうとすることで（Ｘ＋１０，Ｙ＋７０）から（Ｘ＋１０，Ｙ＋８０）、（Ｘ＋２０、Ｙ＋８０）、（Ｘ＋３０，Ｙ＋８０）、（Ｘ＋３０，Ｙ＋７０）、（Ｘ＋４０，Ｙ＋７０）、（Ｘ＋５０，Ｙ＋７０）、（Ｘ＋６０，Ｙ＋７０）、（Ｘ＋７０，Ｙ＋７０）へと回避行動をしても良い。

障害物を検出した場合は、ステップＳ１３からステップＳ１８の処理を実施し、恒久的な障害物であればステップＳ１９からステップＳ２７を実施する。また、一時的な障害物であれば、ステップＳ３０において、更に次の描画経路番号の開始座標へ対象を切り替えることで、描画を再開できる描画経路番号を決定する。この事例では描画経路番号１０の開始座標（Ｘ＋８０，Ｙ＋７０）が描画を再開できる座標となる。

回避行動の経路上に再度障害物があれば回避経路が級数的に伸びていき、回避行動に時間を要することから、任意に設定した規定時間内に回避行動が完了できなければ、ステップＳ３１において、回避行動を中止する。すなわち、描画を継続した場合に、描画経路に設定した時間内に復旧できない場合は、ステップＳ３２において、「一時的な障害物により描画の所要時間が伸びるため描画を中止しました」のメッセージと共に描画実績を示す図と障害物の画像データを表示端末に描画結果を表示する。作業者は、表示端末への表示結果を基に、一時的な障害物が無くなるまで待つか手動で取り除くか判断する。その間、ステップＳ３３において、移動描画装置１０は、最初の描画経路である描画経路番号１の座標へ向けて移動を開始する。移動完了後は、図１１で示す処理によって描画動作を繰り返す。

当該描画経路番号の終点座標に障害物が無く描画をする際のフローチャートを図１７に示す。描画実績経路データベース３２２を参照して、当該描画経路番号の描画が実施済か判断する。実施済で無ければ描画をし、ステップＳ３４において、描画実績を記憶演算端末装置３０へ通知する。実施済であれば描画はせず、描画をしなかったことの描画実績を、ステップＳ３５において、記憶演算端末装置３０へ通知する。その後、描画実績経路データベース３２２を参照し、ステップＳ３６において、次の描画経路番号に描画動作の対象を切り替える。次の描画経路番号があれば図１１に示す処理によって描画動作を繰り返す。次の描画経路番号が無ければ、ステップＳ３７において、表示端末装置４０に描画実績と一時的な障害物の画像データを表示する。次に設定されている描画経路に対して描画が全て完了しているか判断するため、ステップＳ３８において、残描画経路データベースを参照する。描画をしていない描画経路番号があれば再度描画を試みるため、ステップＳ３９において、描画経路番号１の開始座標へ移動する。この時、作業者は、表示端末装置４０への表示結果を基に、一時的な障害物が無くなるまで待つか、必要に応じて手動で取り除くか判断しても良い。
この事例で示した座標（Ｘ＋２０，Ｙ＋７０）に一時的な障害物として台車Ａが有り回避行動を取り、回避行動が規定時間内に完了し、その他の描画経路番号が描画出来た場合の描画実績経路データベースのデータ例を図１８に示す。また、残描画経路データベースのデータ例を図２０に示す。

例えば作業者のような動的な障害物に対して、描画動作途中に移動描画装置１０の接触検知部１８が検知した場合は、描画を中断して最終の描画経路番号の終点座標へ自律運転により移動のみをすると共に、接触した時点における描画経路番号の座標と動的な障害物の接触により描画を中断したことを表示端末装置４０へ通知する。最終描画経路番号の終点座標へ移動後、描画が未実施の描画経路番号が存在する場合と同様に描画実績を通知し、描画経路番号１に戻って描画を再開する。

移動描画装置１０は、モードを任意に切替えて設定することによって、描画実績経路データベースにおいて描画経路番号に対する描画が実施済でなくても描画をせずに、障害物の検出のみを実施するモードを有するように設定する。このモードを活用することによって、例えば描画を開始する前に描画予定経路を試走行して、障害物となる可能性のある物品の画像データすなわち識別情報と、物品が設置されている期間についての期間情報とを収集することによって描画作業における障害物への対応を円滑に行うことができる。また、試走行することによって、恒久的に配置されている物品および、位置ずれで配置されている設備の情報を事前に把握することができるので、情報処理量を削減することができる。さらに事前情報に基づいて、障害物を事前に取り除くことが出来る。
なお、実施の形態１の説明において、物品を識別するための情報として、物品の画像データを用いる場合を取り上げたが、装置あるいは設備に無線タグを設け、タグから得られる物品の情報を使用することによって、障害物となった物品への対応を設定することによって効率の良い対応が可能になる。

なお、図１において説明している描画制御装置３は、ハードウエアの一例を図２１に示すように、プロセッサ３１０と記憶装置３２０から構成される。記憶装置３２０の詳細は図示していないが、ランダムアクセスメモリ等の揮発性記憶装置と、フラッシュメモリ等の不揮発性の補助記憶装置とを具備する。また、フラッシュメモリの代わりにハードディスクの補助記憶装置を具備してもよい。プロセッサ３１０は、記憶装置３２０から入力されたプログラムを実行する。この場合、補助記憶装置から揮発性記憶装置を介してプロセッサ３１０にプログラムが入力される。また、プロセッサ３１０は、演算結果等のデータを記憶装置３２０の揮発性記憶装置に出力してもよいし、揮発性記憶装置を介して補助記憶装置にデータを保存してもよい。

実施の形態２．
次に、描画処置決定装置７に機械学習機能を持たせる場合について説明する。図２１は描画処置決定装置７において、学習装置５０を組み込む場合の構成を示すブロック図である。移動描画装置１０は、実施の形態１に示したと同様に、通信部１１、撮影部１５を備える。記憶演算端末装置３０は、通信部３１、情報記憶部３２、障害物の有無判断部３３、障害物の種類判定部３４、および学習済モデル記憶部３９を備える。表示端末装置４０は、表示部４１、通信部４２、および物品情報入力部４３を備える。学習装置５０は、通信部５１、データ取得部５２、およびモデル生成部５３を備える。

データ取得部５２は、撮影部１５によって撮影された物品の画像データと、前記物品情報に対して、物品情報入力部４３において入力された物品情報とを学習用データとして取得し、モデル生成部５３に出力する。
モデル生成部５３は、データ取得部５２から出力された物品情報、および物品情報入力部４３から入力された物品情報の組合せによる学習用データに基づいて、撮影部１５によって撮影された物品を学習する。すなわち、撮影部１５によって撮影された物品の画像データと物品情報入力部４３で入力された物品情報とによって、撮影部１５によって撮影された物品の物品情報を推論する学習モデルを生成する。ここで、学習用データは物品の画像データと物品情報入力部４３で入力された物品情報とを互いに関連付けたデータである。

なお、機械学習機能を持たせる場合に必要な学習装置および推論装置は、物品情報入力部４３で入力された物品情報を学習するために使用されるが、これらの学習装置および推論装置は、例えば、ネットワークを介して描画処置決定装置７に接続されるように、描画処置決定装置７とは別個の装置であってもよい。また、学習装置および推論装置は、クラウドサーバ上に存在していてもよい。

モデル生成部５３が用いる学習アルゴリズムは、「教師あり学習」、「教師なし学習」、「強化学習」等の公知のアルゴリズムを用いることができる。一例として、ニュートラルネットワークを適用した場合について説明する。
モデル生成部は、例えば、ニューラルネットワークモデルに従って、いわゆる教師あり学習により、物品情報入力部４３で入力された物品情報を学習する。ここで、教師あり学習とは、入力と結果（ラベル）のデータの組を学習装置に与えることで、それらの学習用データにある特徴を学習し、入力から結果を推論する手法をいう。

ニューラルネットワークは、複数のニューロンからなる「入力層」、複数のニューロンからなる「中間層（隠れ層）」、および複数のニューロンからなる「出力層」で構成される。中間層は、１層、又は２層以上でもよい。

例えば、図２２に使用するニューラルネットワークの構造図を示している。ここに示すような多層パーセプトロン（３層）のニューラルネットワークであれば、複数の入力が入力層（Ｘ１、Ｘ２、Ｘ３）に入力されると、その値に重みＷ１（ｗ１１からｗ１６）を掛けて中間層（Ｙ１、Ｙ２）に入力され、その結果にさらに重みＷ２（ｗ２１からｗ２６）を掛けて出力層（Ｚ１、Ｚ２、Ｚ３）から出力される。この出力層からの出力は、重みＷ１とＷ２の値によって変わる。

本願において、ニューラルネットワークは、データ取得部５２によって取得される物品の画像データと物品情報入力部４３で入力された物品情報との組合せに基づいて作成される学習用データに従って、いわゆる「教師あり学習」により、物品情報入力部４３で入力された物品情報を学習する。

すなわち、ニューラルネットワークは、入力層に撮影部１５によって撮影された物品の画像データを入力して、出力層から出力された結果が、物品情報入力部４３で入力された物品情報に近づくように重みＷ１とＷ２を調整することで学習する。

モデル生成部５３は、以上のような学習を実行することで学習済モデルを生成し、出力する。学習済モデル記憶部３９は、モデル生成部５３から出力された学習済モデルを記憶する。

次に図２３を用いて、学習装置が学習する処理について説明する。図２３は、学習装置の学習処理に関するフローチャートである。

ステップＳ２３１において、データ取得部５２は、撮影部１５によって撮影された物品の画像データ、および物品情報入力部４３で入力された物品情報を取得する。なお、撮影部１５によって撮影された物品の画像データと、物品情報入力部４３で入力された物品情報とを同時に取得するように表しているが、画像データと物品情報とを関連づけて入力できれば良く、画像データと物品情報とをそれぞれ別のタイミングで取得しても良い。

ステップＳ２３２において、モデル生成部５３は、画像データと物品情報との組み合わせに基づいて作成された学習用データに従って、いわゆる教師あり学習により、撮影部１５によって撮影された画像データを学習し、学習済モデルを生成する。
ステップＳ２３３において、学習済モデル記憶部３９は、モデル生成部５３が生成した学習済モデルを記憶する。そしてこの手順を完了とする。

実施の形態３．
次に、描画処理決定装置７に、推論機能を備える場合の構成について説明する。
図２４は描画処置決定装置７に推論装置６０を組み込む場合の構成を示すブロック図である。推論装置６０は、通信部６１、データ取得部６２、推論部６３を備えている。

データ取得部６２は、移動描画装置１０の撮影部１５によって撮影された物品の画像データを取得する。推論部６３は、学習済モデル記憶部３９の学習済モデルを利用して、撮影部１５によって撮影された物品を推論する。すなわち、学習済モデルにデータ取得部６２において、画像データを入力することで、画像データから推論される物品の物品情報を出力することができる。

なお、本実施の形態では、描画処置決定装置７のモデル生成部５３で学習した学習済モデルを用いて該当する物品情報を出力するものとして説明したが、描画処置決定装置７の外部等から学習済モデルを取得し、この学習済モデルに基づいて撮影部１５によって撮影された物品の画像データに対応する物品情報を出力するようにしてもよい。

次に、図２５を用いて、推論装置６０を使って撮影部１５からの画像データに対応する物品情報を得るための推論処理を説明する。

ステップＳ２５１において、データ取得部６２は、撮影部１５によって撮影された物品の画像データを取得する。次に、ステップＳ２５２において、推論部６３は、学習済モデル記憶部３９に記憶された学習済モデルに画像データを入力し、画像データに対応する物品情報を得る。そして、ステップＳ２５３において、推論部６３は、学習済モデルにより得られた物品情報を描画処置決定装置７の表示端末装置４０に出力する。

ステップＳ２５４において、描画処置決定装置７の表示端末装置４０は、画像データを用いて、該当すると推論された物品について、障害物マスタデータベース３２４に登録された障害物の名称と一致するか否かの判定を、障害物の種類判定部３４において判断すると共に表示部４１に表示してユーザに判断内容を通知する。
例えば、障害物とされた物品が台車であって、障害物として登録された後に、台車の形状が改造により変更されているような場合においても、障害物マスタデータベース３２４に登録されている台車であると推論して、描画動作を制御することができる。すなわち、実施の形態１の図１１において示したように、障害物の画像データが障害物マスタデータベースに該当する画像データが無いとして描画動作を中断するのではなく、状況の変化を含めた判断を行うことによって、描画動作の中断を回避することができ、ユーザの追加作業を無くして期間情報に応じた描画処置を決定することが可能となる。

なお、本実施の形態では、モデル生成部が用いる学習アルゴリズムに教師あり学習を適用した場合について説明したが、これに限られるものではない。学習アルゴリズムについては、教師あり学習以外にも、強化学習、教師なし学習、又は半教師あり学習等を適用することも可能である。

また、モデル生成部５３は、複数の描画処置決定装置７に対して作成される学習用データに従って、撮影部１５によって撮影された物品の画像データを学習するようにしても良い。なお、モデル生成部５３は、同一のエリアで使用される複数の描画処置決定装置７から学習用データを取得しても良いし、異なるエリアで独立して動作する複数の描画処置決定装置７から収集される学習用データを利用して画像データを学習してもよい。また、学習用データを収集する描画処置決定装置７を途中で追加することあるいは、対象から除去することが可能である。さらに、ある描画処置決定装置７に関して撮影部１５によって撮影された物品の画像データを学習した学習装置を、これとは別の描画処置決定装置７に適用し、当該別の描画処置決定装置７に関して撮影部１５によって撮影された物品を再学習して更新するようにしてもよい。

また、モデル生成部５３に用いられるアルゴリズムとしては、特徴量そのものの抽出を学習する、深層学習（Deep Learning）を用いることもでき、他の公知の方法、例えば遺伝的プログラミング、機能倫理プログラミング、サポートベクターマシンなどに従って機械学習を実行してもよい。

本願は、様々な例示的な実施の形態及び実施例が記載されているが、１つ、または複数の実施の形態に記載された様々な特徴、態様、及び機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
従って、例示されていない無数の変形例が、本願明細書に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合、さらには、少なくとも１つの構成要素を抽出し、他の実施の形態の構成要素と組み合わせる場合が含まれるものとする。

１描画装置、２描画経路設定装置、３描画制御装置、４描画記憶装置、５物品記憶装置、６物品検知装置、７描画処置決定装置、１０移動描画装置、１１、３１、４２、６１通信部、１２座標検出部、１３光照射部、１４反射光検知部、１５撮影部、１６駆動部、１７描画部、１８接触検知部、２０原点補正端末装置、３０記憶演算端末装置、４０表示端末装置、５０学習装置、６０推論装置、１００描画システム

Claims

物品を識別する識別情報と前記物品を設置する期間の期間情報とを保存している描画記憶装置、描画経路を設定する描画経路設定装置、前記描画経路設定装置によって設定された前記描画経路を走行する描画装置、前記描画装置が走行する前記描画経路の上に設けられた物品を検知する物品検知装置、前記物品検知装置によって検知された前記物品を、前記描画記憶装置に保存されている前記識別情報に基づいて特定し、前記物品の前記期間情報に応じて区分された描画の処置を決定する描画処置決定装置、および前記描画処置決定装置による決定に基づいて前記描画装置を制御する描画制御装置を備えた描画システム。
前記描画経路が座標情報によって与えられた描画経路であって、前記物品検知装置が外界センサであることを特徴とする請求項１に記載の描画システム。
前記描画処置決定装置において決定される描画の処置が、前記物品の期間情報の「恒久的」と「一時的」に区分して扱われていることを特徴とする請求項１に記載の描画システム。
前記物品の期間情報が「一時的」であれば、前記物品を回避して描画を継続するようにしたことを特徴とする請求項３に記載の描画システム。
前記物品の期間情報が「恒久的」であれば、描画を中断して、対象となった物品の画像データを表示することを特徴とする請求項３に記載の描画システム。
「恒久的」な物品が描画経路にある場合に、図面データ上にあるべき座標と当該物品を検出した座標との差分だけスライドさせた描画経路を修正案とすることを特徴とする請求項３に記載の描画システム。
前記回避して描画を継続した場合に、前記描画経路に設定した時間内に復旧できない場合は、前記描画経路の終点座標へ移動した後に開始座標へ移動し、描画を再開することを特徴とする請求項４に記載の描画システム。
前記描画装置は接触検知部を備え、外部からの接触を検知すると、描画を中断するようにしたことを特徴とする請求項１に記載の描画システム。
前記描画装置は、前記描画経路を走行して描画をせずに、障害物の検出のみを実施するモードを有することを特徴とする請求項１に記載の描画システム。
前記描画処置決定装置の前記物品検知装置によって検出された前記識別情報と、前記描画処置決定装置で検知された物品の特定情報とを含む学習用データを取得するデータ取得部と、前記学習用データを用いて、前記描画処置決定装置の前記物品検知装置によって検出された前記識別情報から前記描画処置決定装置で検知された物品を推論するための学習済モデルを生成するモデル生成部とを有する学習装置を備えたことを特徴とする請求項１に記載の描画システム。
前記描画処置決定装置の前記物品検知装置によって検出された前記識別情報を取得するデータ取得部と、前記物品検知装置によって検出された前記識別情報から前記描画処置決定装置で検知された物品を推論するための学習済モデルを用いて、前記データ取得部から入力された前記物品検知装置によって検出された前記識別情報から前記描画処置決定装置で検知された物品を出力する推論部とを有する推論装置を備えたことを特徴とする請求項１に記載の描画システム。