JP7366364B2 - 検出システム、及び検出プログラム - Google Patents

検出システム、及び検出プログラム Download PDF

Info

Publication number
JP7366364B2
JP7366364B2 JP2019209629A JP2019209629A JP7366364B2 JP 7366364 B2 JP7366364 B2 JP 7366364B2 JP 2019209629 A JP2019209629 A JP 2019209629A JP 2019209629 A JP2019209629 A JP 2019209629A JP 7366364 B2 JP7366364 B2 JP 7366364B2
Authority
JP
Japan
Prior art keywords
detection
trolley
image
moving
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019209629A
Other languages
English (en)
Other versions
JP2021082057A (ja
Inventor
幹太 宮口
和人 神山
孝一 小野
建一 林
洋介 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qoncept Inc
Original Assignee
Qoncept Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qoncept Inc filed Critical Qoncept Inc
Priority to JP2019209629A priority Critical patent/JP7366364B2/ja
Publication of JP2021082057A publication Critical patent/JP2021082057A/ja
Application granted granted Critical
Publication of JP7366364B2 publication Critical patent/JP7366364B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、検出システム、及び検出プログラムに関する。
従来、建築現場の資材を運搬するための装置として、作業員が手押しする運搬台車が知られていた(例えば、特許文献1参照)。
特開2016-32953号公報
ところで、建築現場の規模が比較的大きい場合、複数の運搬台車が用いられ、当該運搬台車を必要な時(不定期)に移動させる多数の作業員を要していた。
そこで、建設現場の作業効率を低コストで向上させる観点から、複数の運搬台車各々にマーカーやランプ等の目印を付して、当該目印をカメラにて撮像することにより、各運搬台車を検出して遠隔操作する技術が提案されていた。
しかしながら、このような技術を採用した場合、マーカーやランプを柱や設置済資材等に隠れて撮像できずに、運搬台車を検出できず適切に遠隔操作することが困難となる可能性があった。特に、例えば、運搬台車に積載されている荷物によってマーカーやランプが隠れてしまったり、或は、運搬台車が相互に接近してマーカーやランプが他の運搬台車にて隠れてしまったりした場合、マーカーやランプを撮像できずに、運搬台車を検出できず適切に遠隔操作することが困難となる可能性があった。
本発明は上記事実に鑑みなされたもので、対象物について高効率で確実に検出することを可能にする検出システム及び検出プログラムを提供する事を目的とする。
上述した課題を解決し、目的を達成するために、請求項1に記載の検出システムは、移動可能な1個又は複数個の対象物の中から検出する対象となる対象物である検出対象物を検出する検出システムであり、前記検出対象物を移動させる移動手段と、前記移動手段が前記検出対象物を移動させる前後に撮像された前記検出対象物が存在し得る対象領域の画像を取得する取得手段であって、前記対象領域を撮像するように前記対象領域側に設置された撮像手段で撮像された画像を取得する前記取得手段と、前記取得手段が取得した前記検出対象物を移動させる前後に撮像された前記対象領域の画像の相互間の差分に基づいて、前記検出対象物を検出する検出手段と、を備え、前記移動手段は、前記検出対象物を所定距離だけ前進又は後進させる第1移動処理を行い、前記取得手段は、前記移動手段が前記第1移動処理を行う前に撮像された前記対象領域の画像である第1画像と、前記移動手段が前記第1移動処理を行った後であって、前記第1移動処理が行われてから所定時間経過した後に撮像された前記対象領域の画像である第2画像と、を取得し、前記検出手段は、前記取得手段が取得した前記第1画像及び前記第2画像の相互間の差分に基づいて、前記検出対象物を検出する。
請求項2に記載の検出システムは、請求項1に記載の検出システムにおいて、前記移動手段は、前記検出手段が前記検出対象物を検出した後に、前記第1移動処理にて前記検出対象物が移動される前の位置に前記検出対象物を移動させて戻す第2移動処理、を更に行う。
請求項3に記載の検出システムは、請求項1又は2に記載の検出システムにおいて、前記検出手段は、前記対象領域における前記検出対象物の有無を検出する。
請求項4に記載の検出システムは、請求項1から3の何れか一項に記載の検出システムにおいて、前記検出手段は、前記検出対象物の位置を検出する。
請求項5に記載の検出システムは、請求項1から4の何れか一項に記載の検出システムにおいて、前記検出手段は、前記検出対象物の向きを検出する。
請求項6に記載の検出システムは、請求項1から5の何れか一項に記載の検出システムにおいて、前記検出手段の検出結果に基づいて、前記検出対象物の移動を操作する移動操作手段、を備える。
請求項に記載の検出プログラムは、移動可能な1個又は複数個の対象物の中から検出する対象となる対象物である検出対象物を検出する検出プログラムであり、コンピュータを、前記検出対象物を移動させる移動手段と、前記移動手段が前記検出対象物を移動させる前後に撮像された前記検出対象物が存在し得る対象領域の画像を取得する取得手段であって、前記対象領域を撮像するように前記対象領域側に設置された撮像手段で撮像された画像を取得する前記取得手段と、前記取得手段が取得した前記検出対象物を移動させる前後に撮像された前記対象領域の画像の相互間の差分に基づいて、前記検出対象物を検出する検出手段と、として機能させ、前記移動手段は、前記検出対象物を所定距離だけ前進又は後進させる第1移動処理を行い、前記取得手段は、前記移動手段が前記第1移動処理を行う前に撮像された前記対象領域の画像である第1画像と、前記移動手段が前記第1移動処理を行った後であって、前記第1移動処理が行われてから所定時間経過した後に撮像された前記対象領域の画像である第2画像と、を取得し、前記検出手段は、前記取得手段が取得した前記第1画像及び前記第2画像の相互間の差分に基づいて、前記検出対象物を検出する。
請求項1に記載の検出システム、及び請求項に記載の検出プログラムによれば、検出対象物を移動させる前後に撮像された対象領域の画像の相互間の差分に基づいて、検出対象物を検出することにより、例えば、遮蔽物(例えば、柱や設置済資材等)にて検出対象物の一部が隠れて画像に写っていない場合であっても、検出対象物を検出することができるので、検出対象物を確実に検出することが可能となる。また、例えば、検出対象物に検出用のマーカーやランプ等を設置する作業等を行う必要がないので、検出対象物を高効率で検出することが可能となる。また、例えば、人により無計画で使用順序に意図・関係がなく、無造作に並べられてしまった検出対象物を、高効率で確実に検出することが可能となる。
請求項に記載の検出システムによれば、検出対象物が存在し得る各対象領域における検出対象物の有無を検出することにより、例えば、検出対象物の有無を考慮して検出対象物に関する任意の処理(例えば、検出対象物を遠隔操作する処理等)を行うことが可能となる。
請求項に記載の検出システムによれば、検出対象物の位置を検出することにより、例えば、検出対象物の位置を考慮して検出対象物に関する任意の処理(例えば、検出対象物を遠隔操作する処理等)を行うことが可能となる。
請求項に記載の検出システムによれば、検出対象物の向きを検出することにより、例えば、検出対象物の向きを考慮して検出対象物に関する任意の処理(例えば、検出対象物を遠隔操作する処理等)を行うことが可能となる。
請求項に記載の検出システムによれば、検出手段の検出結果に基づいて、検出対象物の移動を操作することにより、例えば、検出対象物を移動させることができるので、検出対象物に関する利便性を向上させることが可能となる。
本実施の形態に自動運転システムが適用される倉庫を示す図である。 自動運転システムのブロック図である。 台車の側面図である。 設備情報を例示した図である。 台車情報を例示した図である 検出処理のフローチャートである。 1階部分の平面図である。 1階部分の平面図である。 2階部分の平面図である。 台車検出処理のフローチャートである。 台車の移動ルートを例示した図である。
以下に添付図面を参照して、この発明に係る検出システム、及び検出プログラムの実施の形態を詳細に説明する。まず、〔I〕実施の形態の基本的概念を説明した後、〔II〕実施の形態の具体的内容について説明し、最後に、〔III〕実施の形態に対する変形例について説明する。ただし、実施の形態によって本発明が限定されるものではない。
〔I〕実施の形態の基本的概念
まず、実施の形態の基本的概念について説明する。実施の形態は、概略的に、検出システム、及び検出プログラムに関する。
ここで、「検出システム」とは、移動可能な対象物を検出するシステムであり、例えば、対象物を検出する専用システム、あるいは、汎用的に用いられるシステム(例えば、サーバコンピュータ、パーソナルコンピュータ、タブレット端末等)に対して移動可能な対象物を検出するための機能を実装することにより実現されるシステム等を含む概念である。「検出システム」とは、例えば、移動手段、取得手段、及び検出手段を備え、任意で、移動操作手段等を含む概念である。
「移動手段」とは、対象物を移動させる手段であり、具体的には、対象物を検出するために当該対象物を移動させる手段であり、例えば、所定距離だけ移動させる手段である。「所定距離」とは、予め定められた距離であり、例えば、対象物を撮像する撮像装置(例えば、カメラ等)で撮像した画像によって当該対象物が移動したことを認識できる程度の距離であり、一例としては、極わずかの距離であって、10cm程度~30cm程度等を含む概念である。
また、「対象物」とは、移動可能な物であり、例えば、台車、車両、重機、及びモバイル・ランドスケープ(ベンチ、あるいは、ベンチ以外の任意の物体に対して遠隔操作で移動させる機能を設けた物であって、遠隔操作で移動させることにより風景を変更させる装置)等を含む概念である。
また、「取得手段」とは、移動手段が対象物を移動させる前後に撮像された対象物が存在し得る対象領域の画像を取得する手段であり、例えば、前述した撮像装置(例えば、カメラ等)で撮像した画像を取得する手段等を含む概念である。
また、「対象領域」とは、対象物が存在する可能性がある領域であり、具体的には、撮像装置にて撮像される領域であり、例えば、建物の内部の領域又は建物の外部の領域等を含む概念であり、一例としては、建物の各フロアの領域等を含む概念である。
また、「検出手段」とは、取得手段が取得した対象物を移動させる前後に撮像された対象領域の画像の相互間の差分に基づいて、対象物を検出する手段であり、例えば、対象物が存在し得る各対象領域における対象物の有無を検出する手段等を含む概念であり、また、対象物の位置を検出する手段等を含む概念であり、また、対象物の向きを検出する手段等を含む概念である。
また、「移動操作手段」とは、検出手段の検出結果に基づいて、対象物の移動を操作する手段であり、例えば、対象物を遠隔操作する手段等を含む概念である。
そして、以下に示す実施の形態では、「対象物」が遠隔操作可能な台車であり、また、「対象領域」が建物である倉庫の各フロアである場合について説明する。
〔II〕実施の形態の具体的内容
次に、実施の形態の具体的内容について説明する。
(構成)
まず、本実施の形態に係る自動運転システムの構成について説明する。図1は、本実施の形態に自動運転システムが適用される倉庫を示す図であり、図2は、自動運転システムのブロック図である。なお、図1に示すX―Y―Z方向が互いに直交する方向であり、具体的には、Z方向が垂直方向であり、X方向及びY方向が垂直方向に対して直交する水平方向であるものとして説明する。また、倉庫の中心点を基準にして、+Y方向の方角が「北」であり、-Y方向の方角が「南」であり、-X方向の方角が「東」であり、+X方向の方角が「西」であるものとして、以下説明する。
(構成-倉庫)
図1の倉庫900は、図2の自動運転システム100が適用される建物であり、例えば、1階部分901(対象領域)と2階部分902(対象部分)との相互間をエレベータ903を介して移動可能となっているものである。なお、この倉庫900については、図1では、説明の便宜上、概略のみが図示されている。
(構成-自動運転システム)
図2の自動運転システム100は、例えば、台車1、カメラ2、通信装置3、端末装置4、及びサーバ装置5を備える。
(構成-自動運転システム-台車)
図3は、台車の側面図である。図2の台車1は、対象物であり、例えば、隔操作可能な台車(つまり、自動運転可能な台車)であって、例えば、図3のように荷物8を積載しており、一例としては、図2通信部11、走行部12、操舵部13、記録部14、及び制御部15を備える。なお、ここでの台車1は、図1の外観が相互に同様な台車101~104を総称しているものとし、これらの各台車101~104を相互に区別する必要がない場合、この総称を用いて説明する(カメラ2も同様とする)。
(構成-自動運転システム-台車-通信部)
通信部11は、外部装置との間で通信を通信手段である。この通信部11の具体的な種類や構成は任意であるが、例えば、通信装置3を介してサーバ装置5との間で無線通信を行うように公知の無線通信回路等を用いて構成することができる。
(構成-自動運転システム-台車-走行部)
走行部12は、台車1を走行させる走行手段である。この走行部12の具体的な種類や構成は任意であるが、例えば、図3に示す車輪121、及び台車1に実装されている不図示のバッテリー、及び当該バッテリーからの電源によって駆動して車輪121を回転させるための台車1に実装されている不図示のモーター等を用いて構成することができる。
(構成-自動運転システム-台車-操舵部)
操舵部13は、台車1の進行方向を変えるかじ取りを行う操舵手段である。この操舵部13の具体的な種類や構成は任意であるが、例えば、公知の方向転換機構等を用いて構成することができる。
(構成-自動運転システム-台車-記録部)
記録部14は、台車1の動作に必要なプログラム及び各種のデータを記録する記録手段である。この記録部14の具体的な種類や構成は任意であるが、例えば、EEPROMやFlashメモリ等を用いて構成されている。ただし、EEPROMやFlashメモリに代えてあるいはEEPROMやFlashメモリと共に、ハードディスクの如き外部記録装置、磁気ディスクの如き磁気的記録媒体、DVDやブルーレイディスクの如き光学的記録媒体、又はROM、USBメモリ、SDカードの如き電気的記録媒体を含む、その他の任意の記録媒体を用いることができる(他の装置の記録部も同様とする)。
記録部14には、例えば、台車識別情報(以下、識別情報を「ID」と称する」)が格納されている。「台車ID」とは、例えば、台車1を一意に識別するための情報である。ここでは、例えば、図1の台車101、102、103、104各々の記録部14に台車IDとして「ID101」、「ID102」、「ID103」、「ID104」各々が記録されていることとして以下説明する。
(構成-自動運転システム-台車-制御部)
制御部15は、台車1を制御する制御手段であり、具体的には、CPU、当該CPU上で解釈実行される各種のプログラム(OSなどの基本制御プログラムや、OS上で起動され特定機能を実現するアプリケーションプログラムを含む)、及びプログラムや各種のデータを格納するためのRAMの如き内部メモリを備えて構成されるコンピュータである(他の装置の制御部も同様とする)。なお、この制御部15の各部により行われる処理については後述する。
(構成-自動運転システム-カメラ)
図2のカメラ2は、撮像の対象となる範囲である撮像範囲を撮像する撮像手段である。このカメラ2の具体的な種類や構成は任意であるが、例えば、サーバ装置5との間で通信可能に接続されており、一例としては、図1のカメラ21、22を備える。カメラ21は、自己の撮像範囲である1階部分901を撮像するカメラであり、例えば、自己を識別するカメラIDとして「ID21」が設定されて記録されているものである。カメラ22は、自己の撮像範囲である2階部分902を撮像するカメラであり、例えば、自己を識別するカメラIDとして「ID22」が設定されて記録されているものである。
(構成-自動運転システム-通信装置)
図2の通信装置3は、サーバ装置5と、台車1及び端末装置4との間の無線通信を可能にする通信手段である。この通信装置3の具体的な種類や構成は任意であるが、例えば、公知の無線通信回路等を用いて構成することができる。
(構成-自動運転システム-端末装置)
図2の端末装置4は、サーバ装置5のユーザインターフェースとして機能する表示入力手段である。この端末装置4の具体的な種類や構成は任意であるが、例えば、少なくとも情報を表示する表示手段及びユーザからの操作を入力する入力手段としての機能を有するものであり、一例としては、ディスプレイにタッチパッドを重ねて構成されるタッチスクリーン等を備えるスマートフォン又はタブレット端末等を用いることができる。
(構成-自動運転システム-サーバ装置)
図2のサーバ装置5は、検出システムであり、例えば、カメラ2と通信可能に接続されており、また、通信装置3を介して台車1及び端末装置4と無線津信可能に接続されており、一例としては、記録部51、及び制御部52を備える。
(構成-自動運転システム-サーバ装置-記録部)
記録部51には、例えば、図面情報、設備情報、及び台車情報が格納されている。
(構成-自動運転システム-サーバ装置-記録部-図面情報)
「図面情報」とは、対象領域を示す図面を特定する図面情報である。なお、この図面情報は任意であるが、例えば、図1の1階部分901及び2階部分902等の平面図を示す情報等が用いられる場合について説明する。また、この図面情報が特定する図面においては、任意の基準物(例えば、通り芯等)を基準にして位置及び方角を特定可能となっているものとして、以下説明する。そして、このような図面情報の具体的な格納手法は任意であるが、例えば、サーバ装置5の不図示の入力手段や端末装置4を介して、管理者が情報を入力することに格納されることとする(以下に示す設備情報も同様とする)。
(構成-自動運転システム-サーバ装置-記録部-設備情報)
「設備情報」とは、自動運転システム100の設備を特定する情報であり、例えば、カメラ2を特定する情報である。図4は、設備情報を例示した図である。「設備情報」は、例えば、項目「カメラID」、及び項目「設置位置情報」と、各項目に対応する情報とが相互に関連付けられている。項目「カメラID」に対応する情報は、前述のカメラIDである(図4では「ID21」、「ID22」等)。項目「設置位置情報」に対応する情報は、カメラ2が設置されている位置を特定する設置位置情報である(図4では、設置されている階数を特定する情報であって、「1階」、又は「2階」である)。ここでは、例えば、各階におけるカメラ2の具体的な設置位置及び撮像方向又は画角等が予め定められており、カメラ2で撮像された画像について画像認識することにより、当該画像中に写っている物の位置を、前述の図面情報が特定する図面上で特定可能となっているものとして説明する。
(構成-自動運転システム-サーバ装置-記録部-台車情報)
「台車情報」とは、台車1を特定する台車情報である。図5は、台車情報を例示した図である。「台車情報」は、例えば、項目「台車名情報」、項目「台車ID」、項目「台車位置情報」、及び項目「台車方向情報」と、各項目に対応する情報とが相互に関連付けられている。項目「台車名情報」に対応する情報は、台車の名称を特定する台車名情報である(図5では、図1の台車101の名称を特定する「1号機」、台車102の名称を特定する「2号機」、台車103の名称を特定する「3号機」、及び台車104の名称を特定する「4号機」である)。項目「台車ID」に対応する情報は、前述の台車IDである(図5では前述の「ID101」等)。項目「台車位置情報」に対応する情報は、台車1が設けられている位置を特定する台車位置情報である。なお、この台車位置情報は任意であるが、例えば、図5では、台車が設けられている階数と、当該階数における前述の図面情報が特定する図面上の予め定められた任意の位置を基準とした座標とを用いることとし、階数が1階であり座標が(x11,y11)であることを特定する「1階,(x11,y11)」等を用いることとして、以下説明する。なお、ここでの具体的に記載している座標である「(x11,y11)」等については説明の便宜上の記載であることとする。
項目「台車方向情報」に対応する情報は、台車1の向きとして当該台車1の正面側が向けられている方向を特定する台車方向情報である。なお、「台車1の正面側」の定義は任意であり、例えば、図3の台車1における-Y側又は+Y側の何れかであるが、例えば、前述のモーターを時計回りに回転させた場合に台車1が進行する方向が台車1の正面側であり、当該モーターを反時計回りに回転させた場合に台車1が進行する方向が台車1の背面側(つまり、台車1の正面側とは反対側)であるものとして説明する。また、この台車方向情報は任意であるが、例えば、図5では、図1の各台車1の中心を基準にし、「北」(+Y方向)の方角を0度とし、時計回りに360度で示す情報を用いることとし、つまり、一例としては、図5では不図示である「東」に対応する90度を示す「90」、及び図5に図示されている南に対応する180度を示す「180」等を用いることとして以下説明する。そして、このような台車情報の具体的な格納手法は任意であるが、例えば、台車名情報及び台車IDについては、前述の図面情報と同様にして格納されることとし、台車位置情報及び台車方向情報については、後述する検出処理にて格納される。
(構成-自動運転システム-サーバ装置-制御部)
制御部52は、サーバ装置5を制御する制御手段である。制御部52は、機能概念的には、例えば、移動部521、取得部522、検出部523、及び移動操作部524を備える。移動部521とは、台車1を移動させる移動手段である。取得部522は、移動部521が台車1を移動させる前後に撮像された台車1が存在し得る対象領域である1階部分901及び2階部分902の画像を取得する取得手段である。検出部523とは、取得部522が取得した台車1を移動させる前後に撮像された1階部分901及び2階部分902の画像の相互間の差分(詳細には、台車1を移動させる前後に撮像された1階部分901の画像の相互間の差分、及び台車1を移動させる前後に撮像された2階部分902の画像の相互間の差分)に基づいて、台車1を検出する検出手段である。移動操作部524は、検出手段の検出結果に基づいて、対象物の移動を操作する移動操作手段である。そして、このような制御部52により行われる各処理については、後述する。
次に、このように構成される自動運転システム100により実行される検出処理及び移動処理について説明する。
(処理-検出処理)
まず、検出処理について説明する。図6は、検出処理のフローチャートである(以下の各処理の説明ではステップを「S」と略記する)。「検出処理」とは、概略的には、サーバ装置5によって実行される処理であり、例えば、台車1を検出する処理である。この検出処理が実行されるタイミングは任意であるが、例えば、ユーザが端末装置4の不図示のタッチパネルを介して図1の台車1の台車名を選択した場合に、当該台車名に対応する台車IDを含む操作信号を端末装置4がサーバ装置5側に送信し、サーバ装置5の制御部52が当該操作信号を通信装置3を介して受信した場合に起動されることとし、当該検出処理が起動したところから説明する。ここでは、例えば、ユーザが端末装置4を介して、図1の台車101~104の台車名である「1号機」~「4号機」を選択した場合に、端末装置4が「ID101」~「ID104」を含む操作信号をサーバ装置5に送信し、当該操作信号をサーバ装置5が受信して検出処理が起動された場合を例示して説明する。
図6のSA1において移動部521は、未だ選択していない台車IDを選択する。具体的には任意であるが、例えば、検出処理の起動時に受信した操作信号に含まれている台車IDにおいて、未だ選択していない台車IDを1個選択する。ここでは、例えば、「ID101」~「ID104」の内の「ID101」を選択する。
図6のSA2において移動部521は、台車1を移動させる。具体的には任意であるが、例えば、SA1で選択した台車IDを取得し、取得した台車IDと前進微動命令とを含む前進微動信号を生成し、生成した前進微動信号を、通信装置3を介して台車1に送信する。そして、この送信された前進微動信号は、全ての台車1に到達して各台車1にて受信されることになる。なお、「前進微動命令」とは、台車1を所定距離(例えば、10cm程度~30cm程度)だけ前進させるための命令であり、例えば、台車1の走行部12の不図示モーターを時計回りに所定距離に対応する分だけ回転させるための命令である。ここでは、例えば、SA1で選択した台車IDである「ID101」を取得し、取得した台車IDである「ID101」と前進微動命令とを含む前進微動信号を生成して送信することにより、「ID101」を含む前進微動信号は、図1の台車101~104にて受信されることになる。
一方、前進微動信号を受信した台車1の制御部15は、受信した前進微動信号に含まれている台車IDを取得し、自己の記録部14に格納されている台車IDと当該取得した台車IDとを比較し、これらの各台車IDが相互に合致しない場合は、自己に対する前進微動信号ではないものと判断して制御せずに、各台車IDが相互に合致する場合は、自己に対する前進微動信号であるものと判断して、走行部12の不図示のモーターを時計回りに回転させて台車1を所定距離だけ前進させる。
図7及び図8は、1階部分の平面図であり、図9は、2階部分の平面図である。ここでは、例えば、図1の台車101~104の制御部15は、「ID101」を含む前進微動信号を受信するので、台車102~104の制御部15は、前進微動信号に含まれている台車IDである「101」と、自己の台車IDである「ID102」~「ID104」とが相互に合致しないので、自己に対する前進微動信号ではないものと判断して制御しないことになる。一方、台車101の制御部15は、前進微動信号に含まれている台車IDである「101」と、自己の台車IDである「ID101」とが相互に合致するので、自己に対する前進微動信号であるものと判断して、走行部12の不図示のモーターを時計回りに回転させて台車101を所定距離だけ前進させる。この場合、台車101は、図7に示す位置から図8に示す位置に向かって南側(-Y方向)に向かって所定距離だけ移動することになる。
図6のSA3において取得部522は、移動部521が台車1を移動させる前後に撮像された対象領域の画像を取得する。具体的には任意であるが、例えば、図2のカメラ2が、所定時間毎(例えば、0.5秒~1.0秒毎等)に、自己の撮像範囲の画像を撮像して、当該撮像した撮像時間を任意の手法(例えば、カメラ2にタイマーの如き計時手段が設けられており当該計時手段の計時結果を用いて特定する手法等)で特定し、当該撮像した画像及び特定した撮像時間と自己のカメラIDとを相互に対応付けて、サーバ装置5に送信し、サーバ装置5の制御部52が当該カメラ2側からの情報(画像、撮像時間、及びカメラIDが相互に対応付けられている情報)を記録部51に蓄積するように構成されている場合について説明する。つまり、前述の「画像、撮像時間、及びカメラIDが相互に対応付けられている情報」を記録部51に蓄積する処理が、ここで説明している検出処理とは並列に実行されており、台車1を移動させる前後の「画像、撮像時間、及びカメラIDが相互に対応付けられている情報」が記録部51に蓄積されるように構成されていることとして、説明する。なお、この「画像、撮像時間、及びカメラIDが相互に対応付けられている情報」を、「撮像関連情報」と称して以下説明する。つまり、サーバ装置5の記録部51に、所定時間間隔でカメラ2で撮像された画像を含む「撮像関連情報」が蓄積されている場合について説明する。
図6のSA3の処理について詳細には、例えば、記録部51に記録されている「撮像関連情報」の内の、SA2で台車1を移動させる前の情報(以下、「移動前撮像関連情報」)、及びSA2で台車1を移動させた後の情報(以下、「移動後撮像関連情報」)を、撮像関連情報」に含まれるカメラID毎に、図5の設備情報に記録されているカメラID全てについて特定し、特定した情報を取得する。
より詳細には、例えば、まず、サーバ装置5にタイマーの如き不図示の計時手段(カメラ2の計時手段に対応する時間を計時している計時手段)が設けられていることとし、この計時手段の計時結果に基づいてSA2で前進微動信号を送信した時間を特定する(より詳細には、SA2で前進微動信号を送信した時の計時手段の計時結果が記録部51に記録されていることとし、この計時結果に基づいて、SA2で前進微動信号を送信した時間を特定する)。次に、記録部51に記録されている「撮像関連情報」において、当該特定した前進微動信号を送信した時間の直前の時間が撮像時間となっている「撮像関連情報」をカメラID毎に図5の設備情報に記録されているカメラID全てについて特定し、特定した「撮像関連情報」を「移動前撮像関連情報」として取得する。次に、記録部51に記録されている「撮像関連情報」において、当該特定した前進微動信号を送信した時間の後の時間が撮像時間となっている「撮像関連情報」をカメラID毎に図5の設備情報に記録されているカメラID全てについて特定し、特定した「撮像関連情報」を「移動後撮像関連情報」として取得する。なお、ここでの後の時間については、前進微動信号を送信した後に台車1が移動する時間等を考慮して、所定の待ち時間(例えば、SA2の前進微動命令に含まれる処理距離だけ台車1が移動し終える時間よりも十分に長い時間(4秒以上長い時間等)であって、台車1の車速等を考慮して予め定められる時間である5秒~8秒等)だけ後の時間を採用してもよい。次に、「移動前撮像関連情報」に含まれる画像を、移動部521が台車1を移動させる前に撮像された対象領域の画像として取得し、また、「移動後撮像関連情報」に含まれる画像を、移動部521が台車1を移動させた後に撮像された対象領域の画像として取得する。
ここでは、例えば、カメラID21に対応付けられている台車1を移動させる前に撮像された対象領域の画像(つまり、台車1を移動させる前にカメラ21が撮像した1階部分901の画像)として、図7に図示されている1階部分901を撮像した画像を取得し、また、カメラID21に対応付けられている台車1を移動させた後に撮像された対象領域の画像(つまり、台車1を移動させた後にカメラ21が撮像した1階部分901の画像)として、図8に図示されている1階部分901を撮像した画像を取得する。また、カメラID22に対応付けられている台車1を移動させる前後に撮像された対象領域の画像(つまり、台車1を移動させる前後にカメラ22が撮像した2階部分902の画像)として、図9に図示されている2階部分902を撮像した相互に同様な画像を取得する。
図6のSA4において検出部523は、台車検出処理を実行する。図10は、台車検出処理のフローチャートである。「台車検出処理」とは、例えば、SA3で取得した画像にもとづいて台車を検出する処理である。
図10のSB1において検出部523は、SA3で取得した画像を、「撮像関連情報」のカメラIDを基準にして、相互に同じカメラ2で撮像された、台車1を移動させる前に撮像された対象領域の画像(以下、「移動前対象領域画像」)、及び台車1を移動させた後に撮像された対象領域の画像(以下、「移動後対象領域画像」)の組み合わせに分ける。ここでは、例えば、カメラIDである「ID21」を基準にした図7及び図8の1階部分901を撮像した画像の組み合わせ、及びカメラIDである「ID22」を基準にした図9の2階部分902を撮像した画像の組み合わせに分ける。
図10のSB2において検出部523は、SB1で分けた組み合わせの画像の内の、未選択の組み合わせの画像を選択する。ここでは、例えば、「移動前対象領域画像」である図7の1階部分901の画像、及び「移動後対象領域画像」である図8の1階部分901の画像の組み合わせを選択する。
図10のSB3において検出部523は、SB2で選択した画像に対応する対象領域に、図6のSA1で選択された台車IDに対応する検出対象の台車1が存在する可能性があるか否かを判定する。具体的には任意であるが、例えば、SB2で選択した「移動前対象領域画像」及び「移動後対象領域画像」について画像認識を行うことにより、台車1が存在するか否かを判定する。そして、「移動前対象領域画像」又は「移動後対象領域画像」の少なくとも一方において、画像認識にて台車1を1個も認識できなかった場合、検出対象の台車1が存在する可能性がないものと判定し(SB3のNO)、SB6へ移行する。また、「移動前対象領域画像」及び「移動後対象領域画像」の両方において、画像認識にて台車1を1個以上認識できた場合、検出対象の台車1が存在する可能性があるものと判定し(SB3のYES)、SB4へ移行する。ここでは、例えば、図7の1階部分901の画像及び図8の1階部分901の画像について画像認識において4個の台車1を認識できるので、この場合、検出対象の台車1が存在する可能性があるものと判定する。なお、ここでの画像認識では、4個の台車1が相互に同様であるので、台車101~104を識別することは行われないことになる。
図10のSB4において検出部523は、SB2で選択した「移動前対象領域画像」及び「移動後対象領域画像」の相互間に差分が存在するか否かを判定する。具体的には任意であるが、例えば、SB2で選択した「移動前対象領域画像」及び「移動後対象領域画像」をSB1で分けた基準のカメラIDを特定し、図4の設備情報を参照して当該特定したカメラIDに対応する設置位置情報を特定し、図2の記録部51の図面情報において、特定した設置位置情報の階数に対応する階数の図面情報を、SB2で選択した「移動前対象領域画像」及び「移動後対象領域画像」に対応する図面情報として参照することにより、SB2で選択した「移動前対象領域画像」及び「移動後対象領域画像」についてSB3の画像認識で認識した台車1の位置を、前述の参照した図面情報が特定する図面上の座標を用いて特定し、特定結果に基づいて判定する。そして、「移動前対象領域画像」及び「移動後対象領域画像」について特定した台車1の座標が全て相互に同じである場合、差分が存在しないものと判定し(SB4のNO)、検出対象の台車1の存在を検出せずに(つまり、SB2で選択した「移動前対象領域画像」及び「移動後対象領域画像」をSB1で分けた基準のカメラIDに対応する対象領域に検出対象の台車1が存在しないことを検出し)、SB6に移行する。また、「移動前対象領域画像」及び「移動後対象領域画像」について特定した台車1の座標が全て同じでない場合(つまり、相互に異なるものが存在する場合)、差分が存在するものと判定し(SB4のYES)、検出対象の台車1の存在を検出し(つまり、SB2で選択した「移動前対象領域画像」及び「移動後対象領域画像」をSB1で分けた基準のカメラIDに対応する対象領域に検出対象の台車1が存在することを検出し)、SB5に移行する。
ここでは、例えば、SB2で選択した図7の1階部分901の画像及び図8の1階部分901の画像において、図2の記録部51の図面情報の1階部分901の平面図を特定する図面情報を参照することにより、各画像についてSB3の画像認識で認識した台車1の位置を、当該1階部分901の平面図上の座標を用いて特定するが、一例としては、図7の台車101の座標である「(x11,y11)」及び台車102の座標である「(x13,y11)」等、及び図8の台車101の座標である「(x11,y00)」及び台車102の座標である「(x13,y11)」等を特定し、台車101の座標が「(x11,y11)」と「(x11,y00)」とで相互に異なるので、差分が存在するものと判定し、検出対象の台車1が1階部分901に存在することを検出する。
図10のSB5において検出部523は、検出対象の台車1の位置及び向きを検出する。具体的には任意であるが、例えば、まず、SB2で選択した「移動前対象領域画像」及び「移動後対象領域画像」をSB1で分けた基準のカメラIDを特定し、図4の設備情報を参照して当該特定したカメラIDに対応する設置位置情報を特定し、特定した設置位置情報が特定する階数を検出対象の台車1が設けられている階数として検出する。次に、SB4にて特定した台車1の座標(記録部51の図面情報が特定する図面上の座標)において、「移動前対象領域画像」及び「移動後対象領域画像」間で相互に異なっている座標を特定する。次に、特定した各座標の内の「移動前対象領域画像」の座標を検出対象の台車1の移動前の位置として特定し、また、特定した各位置の内の「移動後対象領域画像」の座標を検出対象の台車1の移動後の位置として特定し、特定したこれらの位置の内の、台車1の移動前の位置を台車1の位置として検出し、「移動前対象領域画像」における当該検出した位置に設けられている台車1を検出対象の台車として検出する。次に、前述の特定した検出対象の台車1の移動前の位置から、検出対象の台車1の移動後の位置に向かう方向を、検出対象の台車1の正面側の向きとして検出し、リターンする。
ここでは、例えば、まず、SB2で選択した「移動前対象領域画像」及び「移動後対象領域画像」をSB1で分けた基準のカメラIDである「ID21」を特定し、図4の設備情報を参照して当該特定したカメラIDである「ID21」に対応する設置位置情報である「1階」を特定し、特定した「1階」を検出対象の台車1が設けられている階数として検出する。次に、SB4にて特定した台車1の位置(記録部51の図面情報が特定する図面上の座標)において、「移動前対象領域画像」及び「移動後対象領域画像」間で相互に異なっている位置として前述の台車101の座標である「(x11,y11)」と「(x11,y00)」を特定する。次に、特定した各位置の内の「移動前対象領域画像」の位置である「(x11,y11)」を検出対象の台車1の移動前の位置として特定し、また、特定した各位置の内の「移動後対象領域画像」の位置である「(x11,y00)」を検出対象の台車1の移動後の位置として特定し、特定したこれらの位置の内の、台車1の移動前の位置である「(x11,y11)」を台車1の位置として検出し、「移動前対象領域画像」における当該検出した位置である「(x11,y11)」に設けられている台車101を検出対象の台車として検出する。次に、前述の特定した検出対象の台車101の移動前の位置である「(x11,y11)」から、検出対象の台車1の移動後の位置である「(x11,y00)」に向かう方向である「南」の方向(-Y方向)を、検出対象の台車1の正面側の向きとして検出し、リターンする。
一方、図10のSB3の処理にて検出対象の台車1が存在する可能性がないものと判定した後(SB3のNO)、あるいは、SB4の処理にて差分が存在しないものと判定した(SB4のNO)後に実行されるSB6において、検出部523は、台車検出処理をリターンするか否かを判定する。具体的には任意であるが、例えば、SB1で分けた組み合わせ全てについて、SB2で選択したか否かに基づいて判定する。そして、全てについて選択したものと判定した場合、台車検出処理をリターンするものと判定し(SB6のYES)、リターンする。また、全てについて選択したわけではないものと判定した場合、台車検出処理をリターンしないものと判定し(SB6のNO)、SB2に移行し、繰り返し上述の処理を行う。
図6のSA5において移動部521は、台車1を移動させることにより、SA2での移動前の位置に戻す。具体的には任意であるが、例えば、SA1で選択した台車IDを取得し、取得した台車IDと後進微動命令とを含む後進微動信号を生成し、生成した後進微動信号を、通信装置3を介して台車1に送信する。そして、この送信された後進微動信号は、全ての台車1に到達して各台車1にて受信されることになる。なお、「後進微動命令」とは、台車1を所定距離(例えば、前進微動命令の所定距離と同じであり、10cm程度~30cm程度)だけ後進させるための命令であり、例えば、台車1の走行部12の不図示モーターを反時計回りに所定距離に対応する分だけ回転させるための命令である。ここでは、例えば、SA1で選択した台車IDである「ID101」を取得し、取得した台車IDである「ID101」と後進微動命令とを含む前後進微動信号を生成して送信することにより、「ID101」を含む後進微動信号は、図1の台車101~104にて受信されることになる。
一方、後進微動信号を受信した台車1の制御部15は、受信した後進微動信号に含まれている台車IDを取得し、SA2で説明した場合と同様な処理を行って、自己に対する後進微動信号であるものと判断した場合に、走行部12の不図示のモーターを反時計回りに回転させて台車1を所定距離だけ後進させる。
ここでは、例えば、図8の台車101の制御部15は、後進微動信号に含まれている台車IDである「101」と、自己の台車IDである「ID101」とが相互に合致するので、自己に対する後進微動信号であるものと判断して、走行部12の不図示のモーターを反時計回りに回転させて台車101を所定距離だけ後進させる。この場合、台車101は、図8に示す位置から図7に示す位置に向かって北側(+Y方向)に向かって所定距離だけ移動し、SA2での移動前の位置に戻ることになる。
図6のSA6において検出部523は、SA4の処理結果に基づいて、図5の台車情報における台車位置情報を格納する。具体的には任意であるが、例えば、SA1で選択した台車IDを取得し、また、図10のSB5で検出した階数、座標、及び向きを取得した上で、図5の台車情報における、前述の取得した台車IDに対応する台車位置情報として、取得した階数及び座標に対応する情報を格納し、また、図5の台車情報における、前述の取得した台車IDに対応する台車方向情報として、取得した向きに対応する情報を格納する。ここでは、例えば、SA1で選択した台車IDである「ID101」を取得し、また、図10のSB5で検出した階数である「1階」、座標である「(x11,y11)」、及び向きである「南」を取得した上で、図5の台車情報における、最上段に図示されている情報を格納する。
なお、ここでは、例えば、図10の台車検出処理においては、例えば、SB5で検出した階数、座標、及び向きを検出しない場合も想定されるが、このような場合、SA6の処理はスキップしてSA7に移行することとしてもよい。
図6のSA7において制御部52は、検出処理を終了するか否かを判定する。具体的には任意であるが、例えば、検出処理の起動時に受信した操作信号に含まれている台車IDをSA1にて全て選択したか否かに基づいて判定する。そして、全て選択したものと判定した場合、検出処理を終了するものと判定し(SA7のYES)、終了する。また、全て選択したわけではないものと判定した場合、検出処理を終了しないものと判定し(SA7のNO)、SA1に移行し、繰り返し上述の処理を行う。これにて、検出処理を終了する。
(処理-移動処理)
次に、移動処理について説明する。「移動処理」とは、概略的には、サーバ装置5によって実行される処理であり、例えば、検出部523の検出結果に基づいて、台車1の移動を操作する処理である。この移動処理が実行されるタイミングは任意であるが、例えば、図6の検出処理を行うことにより、図5の台車情報における台車位置情報及び台車方向情報が格納された台車IDに対応する台車名を、サーバ装置5が通信装置3を介して端末装置4に送信することにより、端末装置4のユーザに表示して報知するように構成されていることとする。そして、この台車名を確認したユーザが、端末装置4のタッチパネルに表示されている台車名の内の1個の台車名と、台車1の目的地情報を入力した場合に、当該台車名に対応する台車ID及び当該目的地情報を含む移動信号を端末装置4がサーバ装置5側に送信し、サーバ装置5の制御部52が当該移動信号を通信装置3を介して受信した場合に移動処理が起動されることとし、当該移動処理が起動したところから説明する。ここでは、例えば、図1の台車101の台車名である「1号機」、及び「1号機」の移動の目的地を特定する目的地情報として2階部分902の座標である「2階,(x99,y99)」を入力した場合に、端末装置4が「ID101」及び「2階,(x99,y99)」を含む移動信号をサーバ装置5に送信し、当該操作信号をサーバ装置5が受信して移動処理が起動された場合を例示して説明する。
移動操作部524は、台車1を目的地に向けて遠隔操作して移動させる。具体的には任意であるが、例えば、概略的には、図6のSA3で説明したように、カメラ2から所定時間毎に送信される対象領域の画像において、図5の台車位置情報及び台車方向情報を用いて画像認識することにより、移動処理の起動時に受信した移動信号に含まれている台車IDの台車1を、当該移動信号に含まれている目的地情報が特定する目的地に遠隔操作して移動させる。
詳細には、例えば、まず、移動処理の起動時に受信した移動信号に含まれている台車IDを取得し、図5の台車情報において、当該取得した台車IDに対応する台車位置情報及び台車方向情報を取得する。次に、カメラ2から所定時間間隔毎に送信させる対象領域の画像の内の、前述の取得した台車位置情報が特定する階数を撮像した画像において、前述の取得した台車位置情報が特定する位置に設けられている台車1を、移動させる対象の台車1として認識し、また、前述の取得した台車方向情報が特定する台車1の向きを当該認識した台車1の向きとして認識する。次に、図2の記録部51に記録されている図面情報を適宜参照して、認識した移動させる対象の台車1を、当該移動信号に含まれている目的地情報が特定する目的地に移動させるためのルートである移動ルートを、前述の認識した台車1の向きも考慮して生成する。次に、カメラ2から送信される画像において、移動させる台車1の位置及び当該台車1の周辺の状況(例えば、障害物の有無等)を特定しつつ、前述の生成した移動ルートに沿って目的地に移動させる。なお、ここでの移動させるための具体的な制御は任意であり、例えば、通信装置3を介して適宜のタイミングで、前述の認識した台車1の向きも考慮して、図2の台車1の走行部12及び操舵部13を制御する制御信号を無線送信することにより制御することとする。
図11は、台車の移動ルートを例示した図である。ここでは、例えば、まず、移動処理の起動時に受信した移動信号に含まれている台車IDである「ID101」を取得し、図5の台車情報において、当該取得した台車IDである「ID101」に対応する台車位置情報である「1階,(x11,y11)」及び台車方向情報である「180」を取得する。次に、カメラ2から所定時間間隔毎に送信させる対象領域の画像の内の、前述の取得した台車位置情報である「1階,(x11,y11)」が特定する階数である「1階」を撮像したカメラ21からの画像において、前述の取得した台車位置情報「1階,(x11,y11)」が特定する位置に設けられている台車101を、移動させる対象の台車1として認識し、また、前述の取得した台車方向情報が特定する台車101の向きである「180」に対応する「南」の方向を当該認識した台車101の向きとして認識する。次に、図2の記録部51に記録されている図面情報を適宜参照して、認識した移動させる対象の台車101を、当該移動信号に含まれている目的地情報である「2階,(x99,y99)」が特定する目的地に移動させるためのルートとして図11の移動ルートを生成する。次に、カメラ2から送信される画像において台車101の位置及び当該台車101の周辺の状況(例えば、障害物の有無等)を特定しつつ、前述の生成した移動ルートに沿って目的地に移動させる。そして、このように処理することにより、時々刻々と変化する可能性がある台車101の周辺の状況を、所定時間間隔でカメラ2から受信する画像に基づいて把握した上で、台車101を自動的に目的地まで移動させることが可能となる。なお、ここでは、エレベータ903の制御も行うことにより、台車101を目的地に移動させることが可能となる。これにて、移動処理を終了する。
(本実施の形態の効果)
本実施の形態によれば、台車1を移動させる前後に撮像された倉庫900の1階部分901及び2階部分902の画像の相互間の差分(つまり、台車1を移動させる前後の倉庫900の1階部分901の画像の差分、及び台車1を移動させる前後の倉庫900の2階部分902の画像の差分)に基づいて、台車1を検出することにより、例えば、遮蔽物(例えば、柱や設置済資材等)にて台車1の一部が隠れて画像に写っていない場合であっても、台車1を検出することができるので、台車1を確実に検出することが可能となる。また、例えば、台車1に検出用のマーカーやランプ等を設置する作業等を行う必要がないので、台車1を高効率で検出することが可能となる。また、例えば、人により無計画で使用順序に意図・関係がなく、無造作に並べられてしまった台車1を、高効率で確実に検出することが可能となる。
また、台車1が存在し得る各倉庫900の1階部分901及び2階部分902における台車1の有無を検出することにより、例えば、台車1の有無を考慮して台車1に関する任意の処理(例えば、台車1を遠隔操作する処理等)を行うことが可能となる。
また、台車1の位置を検出することにより、例えば、台車1の位置を考慮して台車1に関する任意の処理(例えば、台車1を遠隔操作する処理等)を行うことが可能となる。
また、台車1の向きを検出することにより、例えば、台車1の向きを考慮して台車1に関する任意の処理(例えば、台車1を遠隔操作する処理等)を行うことが可能となる。
また、検出部523の検出結果に基づいて、台車1の移動を操作することにより、例えば、台車1を移動させることができるので、台車1に関する利便性を向上させることが可能となる。
〔III〕実施の形態に対する変形例
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した各発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。
(解決しようとする課題や発明の効果について)
まず、発明が解決しようとする課題や発明の効果は、上述の内容に限定されるものではなく、発明の実施環境や構成の細部に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏したりすることがある。
(分散や統合について)
また、上述した各電気的構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散や統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散又は統合して構成できる。また、本出願における「システム」とは、複数の装置によって構成されたものに限定されず、単一の装置によって構成されたものを含む。また、本出願における「装置」とは、単一の装置によって構成されたものに限定されず、複数の装置によって構成されたものを含む。
(形状、数値、構造、時系列について)
実施の形態や図面において例示した構成要素に関して、形状、数値、又は複数の構成要素の構造若しくは時系列の相互関係については、本発明の技術的思想の範囲内において、任意に改変及び改良することができる。
(移動について(その1))
また、上記実施の形態の図6のSA2において、所定距離(例えば、10cm程度~30cm程度)だけ前進させるものと説明したが、これに限らない。例えば、所定距離だけ後進させてもよいし、あるいは、10cm程度~30cm程度よりも短い距離だけ移動させてもよいし、あるいは、当該10cm程度~30cm程度よりも長い距離だけ移動させてもよい。
(移動について(その2))
また、上記実施の形態の図6のSA5で台車1を元の位置に戻す場合について説明したが、これに限らない。例えば、SA5を省略してSA2で移動させたままの状態としてもよい。この場合、図10のSB5では、台車1の移動後の位置を台車1の位置として検出してもよい。
(カメラについて)
また、上記実施の形態の図2のカメラ2として、様々なカメラを用いてもよい。例えば、単眼カメラを用いてもよいし、ステレオカメラを用いてもよいし、RGB-Dカメラを用いてもよい。また、例えば、これらのカメラについては、予め撮像できるモノの大きさをキャリブレーションする事で、台車1に乗っている荷物の大きさ迄認識できる様構成したり、AIによる画像認識で荷物の種類を特定して、建設現場内の物量を把握したりできる様に構成してもよい。
(台車検出処理について(その1))
また、上記実施の形態の図10のSB3で行う「移動前対象領域画像」及び「移動後対象領域画像」について行う画像認識は任意であるが、例えば、自動運転システム100が適応される台車1の外形について予め行われる機械学習等により当該台車1の外形に基づいて台車1と他の物とを識別可能なモデルを生成し、生成したモデルを用いて画像認識を行うように処理してもよいし、他の公知の画像認識を行うように構成してもよい。なお、この場合、台車1には荷物8が積載されるが、当該積載される荷物8の形状及びサイズについては予め想定可能であるので、当該荷物8の形状及びサイズも反映してモデルを生成してもよい。また、例えば、台車1の一部が他の台車1又は遮蔽物に隠れてカメラ2の画像に写らないことも考えられるので、このように、台車1の一部が写っていない場合でも台車1であることを画像認識できるように、このような場合も想定して機械学習によってモデルを生成するように構成してもよい。
(台車検出処理について(その2))
また、上記実施の形態の図10のSB3及びSB4の処理を任意に変更してもよい。例えば、SB3及びSB4の代わりに、以下の処理を行うように構成してもよい。具体的には、図6のSA2で移動させた距離を記録しておき、SB2で選択した「移動前対象領域画像」及び「移動後対象領域画像」において、当該記録した距離だけ動いた物体が存在するか否かを判定し、記録した距離だけ動いた物体が存在するものと判定した場合に、当該動いた物体を検出対象の台車1であるものと検出し、SB5に移行し、記録した距離だけ動いた物体が存在しないのと判定した場合に、検出対象の台車1を検出せずに、SB6に以降するように構成してもよい。また、このように構成した場合において、例えば、倉庫900には、台車1以外にも様々な装置や人が存在して当該装置や人が移動する場合、SB2で選択した「移動前対象領域画像」及び「移動後対象領域画像」において、当該記録した距離だけ動いた物体が複数存在する場合も考えられるが、この場合、以下の処理を行うように構成してもよい。例えば、複数の物体について画像認識を行って、台車1の外形であるか否かを判定し、台車1の画像であるものと判定した場合に、当該判定した物体を検出対象の台車1であるものと検出するように構成してもよい。あるいは、例えば、図6のSA2及びSA3と同様な処理を行うことにより、台車1を移動させる処理を再度行って、SB2で選択した「移動前対象領域画像」及び「移動後対象領域画像」において、当該記録した距離だけ動いた物体が存在するか否かを判定するように構成してもよい。なお、この台車1を移動させる処理については、記録した距離だけ動いた物体が1個のみ存在するまで、あるいは、記録した距離だけ動いた物体が存在しないのと判定するまで、繰り返し行うこととしてもよい。また、この処理を繰り返し行う場合、SA2で移動させる距離を徐々に長くしたり、あるいは、ランダムに変更したり、あるいは、画像認識できる程度まで徐々に短くしたりしてもよい。
(台車検出処理について(その3))
また、上述の「(台車検出処理について(その1))」では、台車1の外形に着目して画像認識を行って処理する場合を説明したが、これに限らない。例えば、台車1の所定位置又は台車1に積載されている荷物(一例としては、単管等)の所定位置にマーカー(つまり、台車検出処理での対象となる台車1であることを示す物)を設けて、画像認識にて当該マーカーを認識して、認識したマーカーに着目して図10のSB3及びSB4の処理を実行してもよい。なお、ここでの「マーカー」としては、任意の物を用いることができるが、例えば、コード情報(二次元コード情報)が付されている媒体(紙面等)を用いてもよいし、あるいは、各台車1に貼付される相互に共通な形状(例えば、三角形、又は、星型等)の媒体を用いてもよいし、又は、前述のコード情報又は共通の形状を台車1に記載し、当該記載されたものをマーカーとして用いてもよい。また、ここでの「マーカー」としては、例えば、任意の形状の立体構造の物を用いてもよく、一例としては、再帰性反射材を塗布した球形状(つまり、ボール状)の物を台車1の任意の位置又は台車1に積載されている荷物(一例としては、単管等)の任意の位置に取り付けて、当該球形状の物をマーカーとして用いてもよい。なお、ここでの立体構造の物に材料(塗料)を塗布するか否か、及び塗布する材料(塗料)は任意であり、例えば、再帰性反射材以外の任意の材料(例えば、蛍光塗料又は蓄光塗料)を塗布してもよく、あるいは、何らの材料も塗布しなくてもよい。
(安全対策について)
また、上記実施の形態の自動運転システム100について、安全対策を施してもよい。例えば、台車1にスピーカ又は表示灯等を設けて、図6のSA2又はSA5で台車1を移動させる場合に、移動部521が警報信号を台車1に送信することにより、スピーカから警報音を出力したり、表示灯を警報のために発光させたりすることにより、台車1の周辺に対して台車1が移動することを報知して警報してもよい。また、台車1に接触センサーや衝撃センサーを搭載する事で障害物や他の台車、資材との接触を検知してエラーを出して台車1が止まる、と同時に、当該台車1がサーバ装置5に対して異常を返信するように構成してもよい。また、図6のSA2又はSA5で台車1を移動させる前に、移動部521が、カメラ2から受信する画像を画像認識することにより、台車1の周辺領域(例えば、図1の4個の台車1を中心とした半径1m~1.5の領域等)に人が存在するか否かを判定し、存在しないものと判定した場合に、これらの各処理を実行し、人が存在するものと判定した場合、人が存在しなくなるまでこれらの処理を一端停止するように構成してもよい。
(マニュアル操作について)
また、上記実施の形態の台車1について、端末装置4の入力手段を介するユーザによる運転操作入力に基づいて、ユーザによるマニュアル運転を行えるように構成してもよい。この場合、図6の検出処理で格納した図5の台車情報における台車位置情報及び台車方向情報を、サーバ装置5の制御部52が端末装置4に送信して表示することにより、台車1の存在の有無、存在位置、及び向きをユーザに報知し、ユーザは、この報知された情報に基づいて、遠隔操作するように構成してもよい。この場合、例えば、カメラ2が所定時間間隔で端末装置4に対して撮像した画像を送信するように処理したり、あるいは、サーバ装置5が当該画像を端末装置4に送信するように処理したりして、ユーザが端末装置4側で倉庫900内の様子を視認しながら、台車1を遠隔でマニュアル操作できるように構成してもよい。
(検出処理及び移動処理について)
また、上記実施の形態の図6の検出処理及び不図示の移動処理を適宜組み合わせたり、一部の処理を変更したりしてもよい。例えば、検出処理を行う前にユーザが任意の台車名を複数個入力し、また、目的地情報を入力した場合に、検出処理を行い、この後に連続して移動処理を行うように構成してもよい。なお、この場合、例えば、複数個の台車名の内の1個の台車名に対応する台車1に関して検出処理及び移動処理を連続して行うように構成してもよい。この場合、例えば、検出対象の台車1が、様々な原因(例えば、他の台車1に隠れて画像に写らない、あるいは、台車1のバッテリーが不足している等)により、検出処理において、全ての画像について図10のSB3の処理にて検出対象の台車1が存在する可能性がないものと判定したり、あるいは、SB4の処理にて差分が存在しないものと判定したりすることも想定される。この場合、認識できた台車1の内、移動先へ動かし易いものから移動を進め、最初に見えていた台車1(画像に写っていた台車1)を全て移動した後に、再度、先程見えなかった台車1(画像に写っていなかった台車1)の認識を試みて、もし見えたら又、同様に移動を開始するという処理を行うように構成してもよい。
(画像の差分の判定について)
また、上記実施の形態の図10のSB4での差分の判定に、検出閾値の概念を採用してもよい。具体的には、例えば、検出閾値として所定距離(例えば、10cm~15cm等)が設定されていることとし、「移動前対象領域画像」について特定した台車1の座標と、「移動後対象領域画像」について特定した台車1の座標との間の距離が検出閾値未満である場合、差分が存在しないものと判定し(SB4のNO)、一方、「移動前対象領域画像」について特定した台車1の座標と、「移動後対象領域画像」について特定した台車1の座標との間の距離が検出閾値以上である場合、差分が存在するものと判定する(SB4のYES)ように処理してもよい。そして、このように構成することにより、例えば、台車1の移動量を用いて台車1を検出することが可能となり、特に、検出閾値を10cmに設定した場合、10cm以上の移動が発生した未知の台車1を、検出することが可能となる。
(組み合わせについて)
また、上記実施の形態及び変形例の技術を任意に組み合わせてもよい。
(付記)
付記1の検出システムは、移動可能な対象物を検出する検出システムであり、前記対象物を移動させる移動手段と、前記移動手段が前記対象物を移動させる前後に撮像された前記対象物が存在し得る対象領域の画像を取得する取得手段と、前記取得手段が取得した前記対象物を移動させる前後に撮像された前記対象領域の画像の相互間の差分に基づいて、前記対象物を検出する検出手段と、を備える。
付記2の検出システムは、付記1に記載の検出システムにおいて、前記検出手段は、前記対象領域における前記対象物の有無を検出する。
付記3の検出システムは、付記1又は2に記載の検出システムにおいて、前記検出手段は、前記対象物の位置を検出する。
付記4の検出システムは、付記1から3の何れか一項に記載の検出システムにおいて、前記検出手段は、前記対象物の向きを検出する。
付記5の検出システムは、付記1から4の何れか一項に記載の検出システムにおいて、前記検出手段の検出結果に基づいて、前記対象物の移動を操作する移動操作手段、を備える。
付記6の検出プログラムは、移動可能な対象物を検出する検出プログラムであり、コンピュータを、前記対象物を移動させる移動手段と、前記移動手段が前記対象物を移動させる前後に撮像された前記対象物が存在し得る対象領域の画像を取得する取得手段と、前記取得手段が取得した前記対象物を移動させる前後に撮像された前記対象領域の画像の相互間の差分に基づいて、前記対象物を検出する検出手段と、として機能させる。
(付記の効果)
付記1に記載の検出システム、及び付記6の検出プログラムによれば、対象物を移動させる前後に撮像された対象領域の画像の相互間の差分に基づいて、対象物を検出することにより、例えば、遮蔽物(例えば、柱や設置済資材等)にて対象物の一部が隠れて画像に写っていない場合であっても、対象物を検出することができるので、対象物を確実に検出することが可能となる。また、例えば、対象物に検出用のマーカーやランプ等を設置する作業等を行う必要がないので、対象物を高効率で検出することが可能となる。また、例えば、人により無計画で使用順序に意図・関係がなく、無造作に並べられてしまった対象物を、高効率で確実に検出することが可能となる。
付記2に記載の検出システムによれば、対象物が存在し得る各対象領域における対象物の有無を検出することにより、例えば、対象物の有無を考慮して対象物に関する任意の処理(例えば、対象物を遠隔操作する処理等)を行うことが可能となる。
付記3に記載の検出システムによれば、対象物の位置を検出することにより、例えば、対象物の位置を考慮して対象物に関する任意の処理(例えば、対象物を遠隔操作する処理等)を行うことが可能となる。
付記4に記載の検出システムによれば、対象物の向きを検出することにより、例えば、対象物の向きを考慮して対象物に関する任意の処理(例えば、対象物を遠隔操作する処理等)を行うことが可能となる。
付記5に記載の検出システムによれば、検出手段の検出結果に基づいて、対象物の移動を操作することにより、例えば、対象物を移動させることができるので、対象物に関する利便性を向上させることが可能となる。
1 台車
2 カメラ
3 通信装置
4 端末装置
5 サーバ装置
8 荷物
11 通信部
12 走行部
13 操舵部
14 記録部
15 制御部
21 カメラ
22 カメラ
51 記録部
52 制御部
100 自動運転システム
101 台車
102 台車
103 台車
104 台車
121 車輪
521 移動部
522 取得部
523 検出部
524 移動操作部
900 倉庫
901 1階部分
902 2階部分
903 エレベータ

Claims (7)

  1. 移動可能な1個又は複数個の対象物の中から検出する対象となる対象物である検出対象物を検出する検出システムであり、
    前記検出対象物を移動させる移動手段と、
    前記移動手段が前記検出対象物を移動させる前後に撮像された前記検出対象物が存在し得る対象領域の画像を取得する取得手段であって、前記対象領域を撮像するように前記対象領域側に設置された撮像手段で撮像された画像を取得する前記取得手段と、
    前記取得手段が取得した前記検出対象物を移動させる前後に撮像された前記対象領域の画像の相互間の差分に基づいて、前記検出対象物を検出する検出手段と、を備え
    前記移動手段は、前記検出対象物を所定距離だけ前進又は後進させる第1移動処理を行い、
    前記取得手段は、
    前記移動手段が前記第1移動処理を行う前に撮像された前記対象領域の画像である第1画像と、
    前記移動手段が前記第1移動処理を行った後であって、前記第1移動処理が行われてから所定時間経過した後に撮像された前記対象領域の画像である第2画像と、を取得し、
    前記検出手段は、前記取得手段が取得した前記第1画像及び前記第2画像の相互間の差分に基づいて、前記検出対象物を検出する、
    検出システム。
  2. 前記移動手段は、前記検出手段が前記検出対象物を検出した後に、前記第1移動処理にて前記検出対象物が移動される前の位置に前記検出対象物を移動させて戻す第2移動処理、を更に行う、
    請求項1に記載の検出システム。
  3. 前記検出手段は、前記対象領域における前記検出対象物の有無を検出する、
    請求項1又は2に記載の検出システム。
  4. 前記検出手段は、前記検出対象物の位置を検出する、
    請求項1から3の何れか一項に記載の検出システム。
  5. 前記検出手段は、前記検出対象物の向きを検出する、
    請求項1からの何れか一項に記載の検出システム。
  6. 前記検出手段の検出結果に基づいて、前記検出対象物の移動を操作する移動操作手段、を備える、
    請求項1からの何れか一項に記載の検出システム。
  7. 移動可能な1個又は複数個の対象物の中から検出する対象となる対象物である検出対象物を検出する検出プログラムであり、
    コンピュータを、
    前記検出対象物を移動させる移動手段と、
    前記移動手段が前記検出対象物を移動させる前後に撮像された前記検出対象物が存在し得る対象領域の画像を取得する取得手段であって、前記対象領域を撮像するように前記対象領域側に設置された撮像手段で撮像された画像を取得する前記取得手段と、
    前記取得手段が取得した前記検出対象物を移動させる前後に撮像された前記対象領域の画像の相互間の差分に基づいて、前記検出対象物を検出する検出手段と、として機能させ
    前記移動手段は、前記検出対象物を所定距離だけ前進又は後進させる第1移動処理を行い、
    前記取得手段は、
    前記移動手段が前記第1移動処理を行う前に撮像された前記対象領域の画像である第1画像と、
    前記移動手段が前記第1移動処理を行った後であって、前記第1移動処理が行われてから所定時間経過した後に撮像された前記対象領域の画像である第2画像と、を取得し、
    前記検出手段は、前記取得手段が取得した前記第1画像及び前記第2画像の相互間の差分に基づいて、前記検出対象物を検出する、
    検出プログラム。
JP2019209629A 2019-11-20 2019-11-20 検出システム、及び検出プログラム Active JP7366364B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019209629A JP7366364B2 (ja) 2019-11-20 2019-11-20 検出システム、及び検出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019209629A JP7366364B2 (ja) 2019-11-20 2019-11-20 検出システム、及び検出プログラム

Publications (2)

Publication Number Publication Date
JP2021082057A JP2021082057A (ja) 2021-05-27
JP7366364B2 true JP7366364B2 (ja) 2023-10-23

Family

ID=75965301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019209629A Active JP7366364B2 (ja) 2019-11-20 2019-11-20 検出システム、及び検出プログラム

Country Status (1)

Country Link
JP (1) JP7366364B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001075648A (ja) 1999-09-07 2001-03-23 Shinko Electric Co Ltd 無人車の動輪径パラメータ調整方法/装置
JP2001325024A (ja) 2000-05-16 2001-11-22 Matsushita Electric Ind Co Ltd 移動作業ロボット
US20050278068A1 (en) 2004-06-11 2005-12-15 Samsung Electronics Co., Ltd. System and method for detecting traveling state
JP2007037713A (ja) 2005-08-02 2007-02-15 Funai Electric Co Ltd 監視装置及び自走式掃除機
JP2010089211A (ja) 2008-10-08 2010-04-22 Panasonic Corp 組立部品供給システム
US20170252925A1 (en) 2016-03-02 2017-09-07 Gachon University Of Industry-Academic Cooperation Foundation Method and system for localizing mobile robot using external surveillance cameras
JP2019139549A (ja) 2018-02-13 2019-08-22 セイコーエプソン株式会社 搬送車の走行制御システム、及び、搬送車の走行制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09160639A (ja) * 1995-12-12 1997-06-20 Mitsubishi Electric Corp 車両の走行制御装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001075648A (ja) 1999-09-07 2001-03-23 Shinko Electric Co Ltd 無人車の動輪径パラメータ調整方法/装置
JP2001325024A (ja) 2000-05-16 2001-11-22 Matsushita Electric Ind Co Ltd 移動作業ロボット
US20050278068A1 (en) 2004-06-11 2005-12-15 Samsung Electronics Co., Ltd. System and method for detecting traveling state
JP2007037713A (ja) 2005-08-02 2007-02-15 Funai Electric Co Ltd 監視装置及び自走式掃除機
JP2010089211A (ja) 2008-10-08 2010-04-22 Panasonic Corp 組立部品供給システム
US20170252925A1 (en) 2016-03-02 2017-09-07 Gachon University Of Industry-Academic Cooperation Foundation Method and system for localizing mobile robot using external surveillance cameras
JP2019139549A (ja) 2018-02-13 2019-08-22 セイコーエプソン株式会社 搬送車の走行制御システム、及び、搬送車の走行制御方法

Also Published As

Publication number Publication date
JP2021082057A (ja) 2021-05-27

Similar Documents

Publication Publication Date Title
US10198006B2 (en) Parking management system and its control method
CN105916758B (zh) 自主泊车方法、用于执行所述方法的驾驶员辅助设备以及具有所述驾驶员辅助设备的车辆
US10803423B2 (en) System for managing parking of autonomous driving vehicles
US10553113B2 (en) Method and system for vehicle location
CN110576852B (zh) 自动泊车方法、装置以及车辆
CN110023178A (zh) 使用意图信号指导目的地附近的自主车辆
CN109927567A (zh) 无线车辆充电
US20200241573A1 (en) Route generation device, moving body, and program
CN107003674A (zh) 用于运行车辆或者是停车场的方法和设备
JP7233426B2 (ja) 駐車支援システム及び駐車支援装置
KR20130131497A (ko) 혼합 모드 자동차를 자동주행 모드로 이행하는 방법
CN112908019B (zh) 用于管理车辆泊车的方法、电子设备和计算机存储介质
US20200327811A1 (en) Devices for autonomous vehicle user positioning and support
CN104054033A (zh) 用于监视车辆环境的方法
US20190061741A1 (en) Auto park human machine interface display based control
TWI537893B (zh) 停車資訊更新方法及執行該方法之電子裝置
US11390274B2 (en) Parking information management server, parking assist device, and parking assist system
US11358592B2 (en) In-vehicle processing apparatus and in-vehicle processing system
JP7366364B2 (ja) 検出システム、及び検出プログラム
TW201709000A (zh) 無人飛行載具帶位服務管理方法及系統
KR20170132443A (ko) 주차위치전송장치
KR102171934B1 (ko) 양방향 선도 추미 대차
KR20120019186A (ko) 주차위치 알림 시스템
TWM510516U (zh) 停車場車位導引系統
JP2021103471A (ja) サーバ装置、制御装置、プログラム、移動店舗、及び情報処理システムの動作方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231002

R150 Certificate of patent or registration of utility model

Ref document number: 7366364

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150