以下、実施形態の物流支援装置、物流支援システム、および物流支援プログラムを、図面を参照して説明する。
(第1の実施形態)
図1は、物流システム1を模式的に示す図である。配達対象物Pは、荷主からエリア集積所、大規模集積所、大規模分配所、およびエリア分配所を介して届け先に届けられる。例えば大規模集積所はエリア集積所より規模が大きい施設である。例えば大規模集積所はエリア分配所より規模が大きい施設である。エリア集積所、大規模集積所、大規模分配所、およびエリア分配所のうち一部または全部は、それぞれネットワークNWを介して物流支援装置100と通信可能である。ネットワークNWは、例えば、LAN(Local Area Network)やWAN(Wide Area Network)、インターネット等を含む。
図2は、荷主から配達対象物Pが受け取られる様子を示す図である。配達対象物Pは、例えば小包である。配達対象物Pには、予めRFID(Radio Frequency IDentifier)タグTG1が取り付けられている状態で係員Aに渡されてもよいし、係員AによってRFIDタグTG1が取り付けられてもよい。RFIDタグTG1は、通信によって自身の識別情報であるタグIDを送信する。
ハンディターミナルHTは、バーコードやQRコード(登録商標)を読み取るコード読み取り部、文字を読み取る文字読み取り部(OCR(Optical Character Recognition)部)、あるいはOCR依頼を外部装置(例えば物流支援装置100)に送信する依頼部、RFIDタグTG1と通信するタグ通信部、ユーザの入力操作を受け付ける入力部、セルラー網またはWi−Fi網を介してネットワークNWに接続するためのネットワーク通信部等を備える。ハンディターミナルHTから、これらの機能構成のうち一部が省略されてもよい。
ハンディターミナルHTは、係員の操作に応じて、タグID、輸送情報(荷主、配達先)、配達対象物Pのサイズ、特性(割れ物、天地無用等)を、ネットワークNWを介して物流支援装置100に送信する。サイズは、例えば、幅、奥行き、および高さで表現され、何らかの手法で測定済であるものとする。なお、ハンディターミナルHTにより取得された情報の送信は、直接的に行われてもよいし、端末装置(不図示)にデータが吸い上げられてから、ネットワークNWを介して物流支援装置100に送信されてもよい。
図3は、エリア集積所において配達対象物Pが係員Aの手によってボックスB(積載部)に積載される様子を示す図である。配達対象物PがボックスBに積載される様子は、カメラCM1によって撮像されている。カメラCM1は、撮像画像を、例えば撮像時刻と共にネットワークNWを介して物流支援装置100に送信する。なお、図2に示す係員Aと図3に示す係員Aは同じ人物であってもよいし、異なる人物であってもよい。
また、係員Aの例えば手首には、RFIDタグTG1と通信する通信機TM1が取り付けられる。この通信機TM1は、例えば、配達対象物Pが係員Aによって把持されている間、配達対象物PのRFIDタグTG1と通信可能となるように、通信可能範囲が設定されている。通信機TM1は、RFIDタグTG1のタグIDを含む通信履歴を、ネットワークNWを介して物流支援装置100に送信する。この通信履歴の送信は、直接的に行われてもよいし、通信機TM1から端末装置(不図示)にデータが吸い上げられてから、ネットワークNWを介して物流支援装置100に送信されてもよい。この結果、物流支援装置100では、通信履歴において出現するタグIDの順序を参照すれば、配達対象物PがボックスBに積載された順序を検知することができる。
また、配達対象物PがボックスBに積載された順序は、異なる方法で取得されてもよい。例えば、配達対象物Pがベルトコンベアによって一列で搬送される場合、その搬送路にRFIDタグと通信する通信機を設置してもよい。この通信機は、配達対象物Pが搬送され搬送路の通信機が設置された付近を通過する際に、配達対象物PのRFIDタグTG1と通信可能となるように、通信可能範囲が設定される。また、配達対象物PがボックスBに積載される付近には、通信機TM2が設けられる。通信機TM2は、配達対象物PがボックスBに積載される際に、ボックスBのRFIDタグTG2と通信可能となるように、通信可能範囲が設定される。通信機TM2は、RFIDタグTG2のタグIDを、通信時刻と共に、ネットワークNWを介して物流支援装置100に送信する。また、ボックスBにボックスBの識別情報が表示されている場合、カメラCM1は、ボックスBの識別情報を撮像する。カメラCM1は、ボックスBの識別情報を撮像した画像を、撮像した時刻と共に、ネットワークNWを介して物流支援装置100に送信する。
なお、配達対象物Pが自動的にボックスBに積載される場合、積載パターンは既知の情報となる。この場合、自動積み載せ機(不図示)がネットワークNWを介して物流支援装置100に積載パターンを送信する。
図4は、エリア集積所においてボックスBがトラックTR(輸送用機器)に積み載せられる様子を示す図である。トラックTRは、レンタル車両等である場合があり、通信等によって車両を特定できないことがある。このため、ナンバープレートを撮像する等して、車両を特定する。図示するようにカメラCM2は、トラックTRの後方等、ナンバープレートを撮像できる位置に設置される。なお、ナンバープレートと共に、またはナンバープレートに代えて、トラックTRの運転者の顔画像等が撮像されてもよい。この場合、カメラCM2は、トラックTRの前方からナンバープレートまたは運転者の顔画像等を撮像する。また、カメラCM2とは別のカメラが、トラックTRの前方からナンバープレートおよび運転者の顔画像等を撮像してもよい。カメラCM2は、撮像画像を、例えば撮像時刻と共に物流支援装置100に送信する。また、ボックスBには、RFIDタグTG2が取り付けられており、トラックTRに積み載せられる直前に通信機TM3がRFIDタグTG2を検知する。通信機TM3は、RFIDタグTG2のタグIDを、例えば通信時刻と共に物流支援装置100に送信する。物流支援装置100では、これらの技術の組み合わせ(例えば通信機TM3の識別情報とカメラCM2の識別情報とのマッチング)によって、どのトラックTRにどのボックスBが積み載せられたのかを検知することができる。
図5は、物流支援装置100の機能構成図である。物流支援装置100は、例えば、通信インターフェース110と、記憶部120と、データ管理部(発番処理部)130と、ナンバープレート認識部140と、追跡情報提供部150と、積載パターン推定部160とを備える。データ管理部130、ナンバープレート認識部140、追跡情報提供部150および積載パターン推定部160は、例えば、CPU(Central Processing Unit)等のプロセッサによって管理プログラム124が実行されることにより機能するソフトウェア機能部である。記憶部120は、例えば、RAM(Random Access Memory)やROM(Read Only Memory)、HDD(Hard Disk Drive)、フラッシュメモリ等の記憶装置により実現される。通信インターフェース110は、ネットワークNWに接続された装置(例えばハンディターミナルHTやカメラ、通信機、並びにエリア集積所、大規模集積所、大規模分配所、およびエリア分配所の管理コンピュータ)と通信する。
記憶部120は、配達対象物データ122、管理プログラム124、および最適解アルゴリズム126を格納する。管理プログラム124は、最適解アルゴリズム126を適宜呼び出して処理を実行する。データ管理部130は、前述した各種機器から取得した情報を統合し、配達対象物データ122として管理する。図6は、配達対象物データ122として格納されるデータの一例を示す図である。配達対象物データ122の各項目については、図8のシーケンス図に即して、より詳細に説明する。
ナンバープレート認識部140は、カメラCM2から取得された画像に対し、拡張縮小処理による特定周波数以下の成分の抽出処理、2値化処理等を行う。また、ナンバープレート認識部140は、2値化処理によって抽出された文字候補の外接矩形を複数抽出し、4桁の一連番号を構成する適切なサイズの文字候補の外接矩形が、一直線上かつ一定間隔で並ぶ組み合わせを抽出し、ナンバープレートを構成する組み合わせを複数作成する。そして、ナンバープレート認識部140は、ナンバープレートを構成する組み合わせから、数字候補の間隔およびサイズを考慮し、ナンバープレートを構成する文字候補の組み合わせを複数作成する。
次に、ナンバープレート認識部140は、作成したナンバープレートを構成する組み合わせから、アフィン変換を行なう際の補正パラメータを取得する。補正パラメータは、例えば、車両を撮像した複数の画像の中で、同じようなアングルで車両を撮像した画像に対して過去に設定されたものを抽出することで選択される。
次に、ナンバープレート認識部140は、取得した補正パラメータに基づいて、ナンバープレートの画像に対するアフィン変換補正を行い、カメラの光軸に正対するように座標変換を行なう。そして、ナンバープレート認識部140は、アフィン変換が行われたナンバープレートの画像に対し、大・中・小板のテンプレートを適用し、4桁の1連番号に対する、陸支部、分類番号等の一連番号以外の文字候補の外接矩形が、仮定したテンプレート上に当てはまる候補を判定する。ナンバープレート認識部140は、カメラの光軸に正対するよう座標変換を行った画像に対し、項目毎にナンバープレートの認識を行ない、最もスコアの高かった組み合わせを出力することで、ナンバープレートに記載された文字や数字を認識する。
ナンバープレート認識部140は、認識結果として得られた情報を、トラックTRを識別するトラックIDとしてデータ管理部130に提供する。
追跡情報提供部150は、トラックTRの位置を追跡して利用者に提供する。追跡情報提供部150は、例えば、ボックスBに取り付けられ、ボックスBと共にトラックTRに積載され、またはトラックTRに搭載されたGNSS(Global Navigation Satellite System)受信機によってトラックTRの位置を取得する。GNSS受信機がボックスBと共にトラックTRに積載される場合、予めGNSS受信機の識別情報を物流支援装置100に登録しておく必要がある。
図7は、物流支援装置100がトラックTRの位置情報を提供する様子を示す図である。追跡情報提供部150は、端末装置50から配達対象物Pを指定する情報を含む要求信号を受信すると、配達対象物Pを指定する情報を用いて配達対象物データ122を参照することで、配達対象物Pに対応するトラックTRの識別情報を抽出し、抽出したトラックTRの位置を端末装置50に返信する。端末装置50の利用者は、荷主、或いは届け先である。利用者は、端末装置50を用いて、配達対象物Pを積載したトラックTRの位置を認識することができる。これにより利用者は、配達対象物Pが搬送過程で遅延が生じていることなどについて、詳細な情報を知ることができる。
積載パターン推定部160は、配達対象物Pが人によってボックスBに積載された積載パターンを推定する。積載パターンとは、ボックスBにおける各配達対象物Pの配置を意味する。積載パターン推定部160は、積載パターン推定のための前処理機能部として、配達対象物モデル生成部162と、荷姿検出部164と、ボックスモデル生成部166と、荷姿モデル生成部168とを備える。各機能部の詳細は後述する。
図8は、配達対象物データ122が生成される過程を示すシーケンス図である。まず、物流支援装置100が、ハンディターミナルHTから各種情報(例えばタグIDや、輸送情報、サイズ、特性等)を取得する(ステップS100)。次に、物流支援装置100のデータ管理部130が、ステップS100で受信した各種情報に対して配達物識別情報となる番号をランダムに選んで付与し(発番を行い)、配達対象物データ122に配達物識別情報に対応付けられた1レコードを追加する(ステップS102)。
次に、物流支援装置100が、係員Aの手首等に装着された通信機TM1から、配達対象物Pに取り付けられたRFIDタグTG1のタグIDを含む通信履歴を取得する(ステップS104)。次に、物流支援装置100は、エリア集積所の天井等に取り付けられたカメラCM1から、配達対象物PがボックスBに積載される様子が撮像された撮像画像を取得する(ステップS106)。また、物流支援装置100は、ステップS104とステップS106の通信過程でボックスBの識別情報を取得してもよい。例えば、通信機TM2がRFIDタグTG2と通信し、RFIDタグTG2のタグIDを通信インターフェース110に送信することで、ボックスBの識別情報およびRFIDタグTG2との通信時刻が取得されてもよい。また、不図示の端末装置に対してボックスBを指定する情報が入力され、物流支援装置100が、ネットワークNWを介して端末装置からボックスBを指定する情報を取得してもよい。
次に、物流支援装置100のデータ管理部130が、配達対象物データ122において配達対象物識別情報とタグIDとの対応付けを行う(ステップS108)。また、データ管理部130は、ステップS104で取得した通信履歴において出現するタグIDの順序を参照し、配達対象物PがボックスBに積載された順序を検知し、「積載順序」の項目に情報を追加する。更に、データ管理部130は、配達対象物データ122における配達対象物識別情報と、当該配達対象物Pが積載されたボックスBの識別情報であるボックスIDとを対応付ける。また、管理部130は、ステップS104で取得した通信履歴と、通信機TM2のRFIDタグTG2と通信した通信時刻との対応関係に基づいて、配達対象物識別情報(RFIDタグTG1のタグID)と、RFIDタグTG2のタグIDとを対応付ける。
また、管理部130は、ステップS104で取得した通信履歴と、ボックスBの識別情報を撮像した画像を撮像した時刻との対応付けによって、配達対象物識別情報(RFIDタグTG1のタグID)と、RFIDタグTG2のタグIDとを対応付けてもよい。この場合、ボックスBの識別情報は、QRコード(登録商標)やバーコードのようなコンピュータによって認識容易な態様でボックスBに表示されてもよいし、数字や文字で表示されてもよい。前者の場合、管理部130は、画像から読み取られるコード情報をデコードする機能を有し、後者の場合、管理部130は、画像における文字認識の機能を有する。
次に、物流支援装置100の積載パターン推定部160が、配達対象物Pが人によって積載されたボックスBごとに、積載パターンを推定する(ステップS110)。積載パターン推定部160は、配達対象物Pのサイズと、配達対象物Pが積載されたボックスBの大きさや形状と、配達対象物PがボックスBに積載された積載順序とに基づいて、ボックスBに積載された配達対象物Pの積載パターンの候補を推定する。なお、ボックスBの大きさや、形状、積載容量は、予めボックスIDに対応付けられて記憶部120に格納されているものとする。
次に、物流支援装置100は、エリア集積所のゲート等に取り付けられた通信機TM3から、配達対象物Pが積載されたボックスBに付されたRFIDタグTG2のタグIDを取得する(ステップS112)。これにより物流支援装置100は、トラックTRに積み込まれたボックスBの順序を認識することができる。また、不図示の端末装置に対してトラックTRの荷台におけるボックスBの配置パターンの情報が入力され、物流支援装置100が、ネットワークNWを介して端末装置からボックスBの配置パターンの情報を取得してもよい。物流支援装置100は、ボックスBの配置パターンの情報をトラックIDに紐付ける。次に、通信インターフェース110は、カメラCM2からナンバープレートが撮像された撮像画像を取得する(ステップS114)。
次に、物流支援装置100のナンバープレート認識部140が、ステップS114で取得された画像からナンバープレートに付与された文字や、数字等を認識する(ステップS116)。次に、データ管理部130は、配達対象物データ122において、配達対象物識別情報と、ボックスIDと、トラックIDとの対応付けを行う(ステップS118)。
図9は、大規模集積所および大規模分配所における配達物処理を説明するための図である。大規模集積所および大規模分配所には、ソータ10が設置される。ソータ10は、自動荷下ろし機20と、ソータ側カメラCM3と、自動荷積機30とを有する。
図10は、自動荷下ろし機20の構成図である。自動荷下ろし機20は、例えば、荷下ろし側通信部21と、荷下ろし側制御部22と、センサ24と、駆動部26と、アーム部28とを備える。荷下ろし側通信部21は、ネットワークNWを介して物流支援装置100と通信する。荷下ろし側制御部22は、物流支援装置100から取得した情報や、センサ24により検出された検出結果、カメラCM3により撮像された画像等に基づいて、駆動部26を制御する。センサ24は、赤外線センサや超音波センサ等であり、アーム部28と物体との距離を検出する。駆動部26は、アーム部28を制御する。アーム部28は、配達対象物Pを吸着、把持、または載置した状態で(ピッキングした状態で)配達対象物Pを運搬し、配達対象物Pを荷下ろしする。
自動荷下ろし機20は、物流支援装置100から供給される積載パターンの情報を参照しながら、ボックスBから配達対象物Pを搬出してベルトコンベア等に載置する。自動荷下ろし機20は、積載パターンの情報に対するボッスクBに積載された配達対象物Pのずれを取得し、取得したずれを補正しながらボッスクBに積載された配達対象物Pをピッキングする。
自動荷下ろし機20は、ボックスBを撮像するソータ側カメラCM3により撮像された、積載された配達対象物Pの外観(以下、荷姿と称する)を推定し、推定結果に基づいて推定された配達対象物Pのずれを取得する。または、自動荷下ろし機20は、例えばセンサ24により検出された検出値に基づいて、配達対象物Pのずれを取得してもよい。ソータ10は、ベルトコンベア等に載置された配達対象物Pを、宛先に応じた集積部に区分する。区分された配達対象物Pは、自動荷積機30によってボックスBに積載される。自動荷積機30によって積載された積載パターンは、物流支援装置100に送信される。ここでは、ボックスBは自動的に移動し、トラック等に積載される。
図11は、積載パターンの伝達過程を示すシーケンス図である。まず、積載パターン推定部160が、配達対象物Pが人によって積載されたボックスBごとに積載パターンを導出する(ステップS110)。大規模集積所の自動荷下ろし機20は、推定された積載パターンに基づいて荷下ろしし、大規模集積所の自動荷積機30が自動積み上げを行う(ステップS120)。次に、大規模集積所のソータ10が、自動荷積機30により行われた自動積み上げの結果である積載パターンを物流支援装置100に送信(ボックスIDと共に)する(ステップS122)。
次に、物流支援装置100が、ステップS122で受信した積載パターンを、ボックスIDと共に大規模分配所のソータ10に送信する(ステップS124)。大規模分配所の自動荷下ろし機20は、推定された積載パターンに基づいて荷下ろしし、大規模集積所の自動荷積機30が自動積み上げを行う(ステップS126)。
[積載パターンの推定]
図12は、実施形態の物品処理装置における物品モデルおよび荷姿モデルの各々の座標系における直方体の4つの頂点、幅、高さ、および奥行きを示す斜視図である。積載パターン推定部160の配達対象物モデル生成部162は、配達対象物データ122に含まれる配達対象物Pの3次元形状の情報に基づき、配達対象物Pの3次元モデル(配達対象物モデル)を生成する。配達対象物モデル生成部162は、図示するように、配達対象物Pを直方体とみなして、配達対象物Pに対する所定の基準位置によって配達対象物座標系の原点を設定する。配達対象物座標系は、互いに直交するx軸、y軸、およびz軸による3次元直交座標系である。配達対象物座標系の原点は、例えば、直方体である配達対象物Pの中心などである。
配達対象物モデル生成部162は、配達対象物モデルを、配達対象物座標系の原点ベクトルVqPと、回転行列VRPを含む同次変換行列VTPと、直方体である配達対象物Pの幅w、高さh、および奥行きdとによって生成する。
配達対象物モデル生成部162は、下記数式(1)に示すように、配達対象物座標系のx軸、y軸、およびz軸の単位ベクトルVex,Vey,Vezを、直方体である配達対象物Pの少なくとも4つの頂点Vp1,Vp2,Vp3,Vp4によって記述する。
配達対象物モデル生成部162は、下記数式(2)に示すように、配達対象物座標系の原点ベクトルVqPを4つの頂点Vp1,Vp2,Vp3,Vp4によって記述するとともに、回転行列VRPを単位ベクトルVex,Vey,Vezによって記述する。
配達対象物モデル生成部162は、下記数式(3)に示すように、同次変換行列VTPを、回転行列VRPと原点ベクトルVqPとによって記述する。
配達対象物モデル生成部162は、下記数式(4)に示すように、配達対象物Pの幅w、高さh、および奥行きdを、4つの頂点Vp1,Vp2,Vp3,Vp4によって記述する。
配達対象物モデル生成部162は、配達対象物モデルのデータを荷姿モデル生成部1545に出力する。
荷姿検出部164は、ボックスBおよびボックスB内に積載される複数の配達対象物Pによって形成される荷姿の情報をカメラCM1から取得する。荷姿検出部164は、例えば、カメラCM1から取得される荷姿の3次元形状の画像データに所定の画像処理を行うことによって、荷姿の3次元形状を認識する。荷姿検出部56は、荷姿の3次元形状の情報をボックスモデル生成部166に出力する。
ボックスモデル生成部166は、荷姿検出部56から出力される荷姿の3次元形状の情報に基づき、ボックスBの3次元モデル(ボックスモデル)を生成する。ボックスモデル生成部166は、図示すように、ボックスBの外形を直方体とみなして、ボックスBに対する所定の基準位置によってボックス座標系の原点を設定する。ボックス座標系は、互いに直交するX軸、Y軸、およびZ軸による3次元直交座標系である。ボックス座標系の原点は、例えば、直方体であるボックスBの中心などである。
ボックスモデル生成部166は、ボックスモデルを、ボックス座標系の原点ベクトルVQBと、回転行列VRBを含む同次変換行列VTBと、直方体であるボックスBの外形の幅W、高さH、および奥行きDとによって生成する。
ボックスモデル生成部166は、下記数式(5)に示すように、ボックス座標系のX軸、Y軸、およびZ軸の単位ベクトルVEx,VEy,VEzを、直方体であるボックスBの外形の少なくとも4つの頂点VP1,VP2,VP3,VP4によって記述する。
ボックスモデル生成部166は、下記数式(6)に示すように、ボックス座標系の原点ベクトルVQBを4つの頂点VP1,VP2,VP3,VP4によって記述するとともに、回転行列VRBを単位ベクトルVEx,VEy,VEzによって記述する。
ボックスモデル生成部166は、下記数式(7)に示すように、同次変換行列VTBを、回転行列VRBと原点ベクトルVQBとによって記述する。
ボックスモデル生成部166は、下記数式(8)に示すように、ボックスBの外形の幅W、高さH、および奥行きDを、4つの頂点VP1,VP2,VP3,VP4によって記述する。
ボックスモデル生成部166は、ボックスモデルのデータを荷姿モデル生成部168に出力する。
荷姿モデル生成部168は、ボックスモデル生成部57から出力されるボックスモデルと、配達対象物モデル生成部162から出力される配達対象物Pの配達対象物モデルとに基づき、ボックスB内に積載されている配達対象物Pの位置姿勢を取得する。荷姿モデル生成部168は、ボックスモデルと、ボックスB内に積載されている配達対象物Pの配達対象物モデルと、ボックスB内に積載されている配達対象物Pの位置姿勢とを対応付けることによって荷姿モデルを生成する。
荷姿モデル生成部168は、下記数式(9)に示すように、配達対象物モデルの同次変換行列VTPにボックスモデルの同次変換行列VTBの逆行列BTVを左からかけることによって、配達対象物Pのボックス座標系での位置姿勢を示す同次変換行列BTPを取得する。同次変換行列BTPは、配達対象物座標系の単位ベクトルVex,Vey,Vezのボックス座標系でのベクトルBex,Bey,Bezと、配達対象物座標系の原点ベクトルVqPのボックス座標系でのベクトルBqPとによって構成されている。
荷姿モデル生成部168は、ボックスB内に積載されている複数の配達対象物Pに対する同次変換行列BTP、幅w、高さh、および奥行きdの集合を荷姿モデルとする。荷姿モデル生成部58は、例えば、ボックスB内に積載されているn個の配達対象物Pi(i=1,…,n)に対して、同次変換行列BTPi(i=1,…,n)、幅wi(i=1,…,n)、高さhi(i=1,…,n)、および奥行きdi(i=1,…,n)の集合を荷姿モデルとする。
以下、積載パターンの推定処理について説明する。
積載パターン推定部160は、通信インターフェース110により取得された順序情報と、ボックスBの空間情報(ボックスBのサイズ)とに基づく制約下で、複数の配達対象物Pがボックスに積載される積載パターンの候補を導出すると共に、積載パターンの成立可否判定を補助可能な補助情報に基づいて積載パターンの候補を絞り込むことで、配達対象物Pが係員AによってボックスBに積載された積載パターンを推定する。「順序情報」とは、複数の配達対象物PがボックスBに積載された順序を特定可能な情報であり、本実施形態では、配達対象物データ122に含まれる「積載順序」が該当する。
図13は、積載パターンの推定処理を概念的に示す図である。また、図14は、図13のツリー構造における分岐を説明するための図である。図13は、図中、iは何番目に積載された配達対象物Pであるかを示す符号である。図14に示すように、ボックスBの奥側に配達対象物P1からP4が一列に並べられた後、次の配達対象物P5は、配達対象物P1の手前に置かれるかも知れないし、配達対象物P4の手前に置かれるかも知れない。配達対象物PをボックスBに積載する際には、このような分岐が多数存在する。
これに対し積載パターン推定部160は、配達対象物Pごとに、それらが積載される分岐パターン(積載パターンの候補)を生成し、補助情報に基づいて成立し得ないと判定した分岐パターンを消し込む(絞り込む)ことで、最終的な積載パターンを推定する。図13における「NG」は、消し込まれた分岐パターンを示している。
補助情報とは、カメラCM1によって撮像されたボックスBに積載された配達対象物Pの画像(荷姿)、並びに、配達対象物Pの大きさや形状と、ボックスBの空間情報と、荷姿の変化に基づいて積載パターンの成立可否を判定可能なアルゴリズムである最適解アルゴリズム126を含む。なお、カメラCM1によって撮像されたボックスBに積載された配達対象物Pの画像(荷姿)は撮像時刻に対応付けられているため、積載パターン推定部160は、配達対象物PがボックスBに積載された積載順序を、撮像時刻と画像(荷姿)とに基づいて特定することができる。
図15は、積載パターン推定部160により実行される処理の流れを示すフローチャートである。まず、積載パターン推定部160が、パラメータiを初期値である1に設定する(ステップS200)。次に、積載パターン推定部160は、配達対象物Piの情報を取得する(ステップS202)。配達対象物Piの情報とは、例えば配達対象物Piの大きさや形状、積載順序等である。次に、積載パターン推定部160は、ステップS202で取得した配達対象物Piの情報と、それまでに推定した分岐パターンとに基づいて、配達対象物Pの分岐パターンを生成する(ステップS204)。分岐パターンは一つ生成される場合もあるし、複数生成される場合もある。積載パターン推定部160は、それまでに導出した分岐パターンに追加する形で、配達対象物Piが置かれる可能性のある箇所を網羅的に探索し、分岐パターンを生成する。
次に、積載パターン推定部160は、ステップS204で生成した分岐パターンのうちから、分岐パターンを一つ選択する(ステップS206)。次に、積載パターン推定部160は、ステップS206で選択した分岐パターンが、最適解アルゴリズム126による実行結果に合致するか否かを判定する(ステップS208)。最適解アルゴリズム126は、配達対象物Piが積載される前後の画像の差分を解析することによって、分岐パターンの成立可否、並びに複数の分岐パターンについて成立可能性等を導出可能なものである。また、最適解アルゴリズム126は、配達対象物Piが積載される前後の画像が鮮明でない場合、これまでに配達対象物Pが積載された経過に基づいて学習される係員Aの癖などに基づいて、確率統計的な処理により、分岐パターンの成立可否、並びに複数の分岐パターンについて成立可能性等を導出してもよい。また、最適解アルゴリズム126は、ボックスBのサイズとボックスBが積載された配達対象物Pの数と大きさとから算出されるボックスBの充填率に基づいて、分岐パターンの成立可否、並びに複数の分岐パターンについて成立可能性等を導出してもよい。
図16は、最適解アルゴリズム126の処理を説明するための図である。画像IMはカメラCM1によって撮像された画像を示している。画像IM1はカメラCM1によって撮像された画像に対してエッジ点抽出処理が行われたエッジ画像である。例えば積載パターン推定部160が導出した分岐パターンの一つは、配達対象物Pxが、ボックスBの空きスペースSPに置かれたと推定した分岐パターンであるものとする。このとき、最適解アルゴリズム126は、エッジ点抽出処理の結果に基づいて、ボックスBの空きスペースSPに配達対象物Pは置かれていないと判定する。
上記例示したような処理によって、ステップS206で選択した分岐パターンが最適解アルゴリズム126の処理結果と合致していないと判定した場合、積載パターン推定部160は、ステップS204で選択した分岐パターンを消し込む(ステップS210)。
ステップS206により選択された分岐パターンと、最適解アルゴリズム126により生成された分岐パターンとが合致している場合、積載パターン推定部160は、全ての分岐パターンについて処理を実行したか否かを判定する(ステップS212)。全ての分岐パターンについて処理が実行されていない場合、ステップS206の処理に戻る。
全ての分岐パターンについて処理が実行された場合、積載パターン推定部160は、最適解アルゴリズム126に基づいて一つのブロックが終了したか否かを判定する(ステップS213)。ブロックとは、配達対象物Piが高さ方向に何段にも亘って積層されるという前提で、仮想的に「同じ段」に積まれた一群の配達対象物Pを意味する。ここで、仮想的と表現したのは、配達対象物Pの高さは一様でないことが多く、配達対象物Pの積層構造には高さ方向に凹凸が存在するからである。
一つのブロックが終了したと判定した場合、積載パターン推定部160は、一つのブロックの配達対象物Pが積載し終えられたことを示すブロック区切り情報を追加する(ステップS214)。例えば、初期状態からボックスBの底面全体に亘って、配達対象物Pが敷き詰められた場合、最初のブロックの配達対象物Pが積載し終えられたことになる。
一つのブロックが終了していないと判定した場合、またはステップS214でブロック区切り情報が追加された場合、積載パターン推定部160は、パラメータiが最大値iMAXに至ったか否かを判定する(ステップS216)。最大値iMAXとは、対象となるボックスBに積載された配達対象物Pの数である。パラメータiが最大値iMAXに至っていない場合、積載パターン推定部160は、パラメータiを1インクリメントし(ステップS218)、ステップS202の処理に進める。パラメータiが最大値iMAXに至った場合、本フローチャートの処理は終了する。
図15のフローチャートの処理によって残存することになる分岐パターンは、一つのみである場合もあるし、複数の場合もある。残存する1または複数の分岐パターンの情報は、「積載パターン」としてボックスIDに対応付けられて配達対象物データ122に格納される。大規模集積所のソータ10では、これを利用することで、自動荷下ろしを効率的に行うことができる。なお、分岐パターンは、全体として成立可能性に関するスコア等が導出され、スコアの低い分岐パターンを除外する処理が、物流支援装置100により行われてもよい。
また、図15のフローチャートの処理によって付与されるブロック区切り情報に基づいて、ブロックパターンが生成される。ブロックパターンとは、ボックスB内におけるブロックの配置である。ブロックパターンは、一つのみである場合もあるし、複数の場合もある。「ブロックパターン」はボックスIDに対応付けられて配達対象物データ122に格納される。大規模集積所のソータ10では、ブロックパターンを利用することで、自動荷下ろしを効率的に行うことができる。
図17は、物流支援装置100から提供された複数のブロックパターンの概念図である。自動荷下ろし機20は、物流支援装置100から提供された複数のブロックパターン(例えばBL1およびBL2)と、ソータ10側カメラCM3により撮像された画像に基づいて認識した荷姿とを比較し、荷姿に対応する尤もらしいブロックパターンを選択し、ボックスBに積載された配達対象物Pを荷下ろしする。
[荷下ろし]
以下、配達対象物Pの荷下ろし処理について説明する。
自動荷下ろし機20は、積載パターンに基づいてボックスBに積載された配達対象物Pを荷下ろしする。ここで、自動荷下ろし機20は、積載パターンに含まれる分岐パターンのうち尤もらしい分岐パターンを前提に荷下ろしを行うが、その過程で分岐パターンと荷姿の変化が一致しなくなった場合、次の分岐パターンに切り替えて処理を行う。
図18は、積載パターン推定部160により導出された分岐パターンに基づいて、自動荷下ろし機20が実行する処理の流れについて説明するためのフローチャートである。
まず、自動荷下ろし機20が、ソータ10側カメラCM3により撮像された画像に基づいて、ボックスBに積載された配達対象物Pの荷姿を認識する(ステップS300)。次に、自動荷下ろし機20が、物流支援装置100から提供された積載パターンと、ステップS300で認識した荷姿とを比較する(ステップS302)。次に、自動荷下ろし機20が、ステップS302の比較の結果に基づいて、物流支援装置100から提供された積載パターンに含まれる分岐パターンのうち尤もらしい分岐パターンを一つ選択する(ステップS304)。自動荷下ろし機20は、ステップS304で選択した分岐パターンを荷下ろしパターン候補とする。
図19は、物流支援装置100から提供された複数の分岐パターンの概念図である。図20は、図19のツリー構造における分岐パターンの選択処理を説明するための図である。図19における網掛けの丸印で示される分岐パターンA,BおよびC(配置A、BおよびC)は、最適解アルゴリズム126により生成された分岐パターンと合致する分岐パターンであり、白丸で示される分岐パターンは、最適解アルゴリズム126により生成された分岐パターンと合致しなかった分岐パターンである。
自動荷下ろし機20は、例えば網掛けの丸印で示される分岐パターンのうちから、ソータ側カメラCM4により撮像された画像に基づいて認識した荷姿と合致度の高い分岐パターンを荷下ろしパターン候補とする。図20の配置A、B、Cは、それぞれ図19の配置A、B、Cを模式的に表している。ソータ側カメラCM4により撮像された画像に基づいて認識した荷姿が図20に示す配置Xの場合、自動荷下ろし機20は、配置A、B、Cのうちから、配置Xと最も合致度が高い配置Bを選択する。自動荷下ろし機20は、分岐パターンBを荷下ろしパターン候補として選択する。図20の例では、自動荷下ろし機20は、分岐パターンA、B、Cのi=5に対応する配達対象物P5の位置と、認識した荷姿の配達対象物P5との位置に基づいて、分岐パターンBを荷下ろしパターン候補として選択する。図21は、自動荷下ろし機20が、分岐パターンBを荷下ろしパターン候補として選択した場合の概念図である。
図18の説明に戻る。次に、自動荷下ろし機20は、荷下ろしパターン候補に基づいて、ボックスBに積載された配達対象物Pを荷下ろしする(ステップS306)。図22は、自動荷下ろし機20により配達対象物P5が荷下ろしされる様子を示す図である。自動荷下ろし機20は、荷下ろしパターン候補である分岐パターンBに基づいて、ボックスBに積載された配達対象物P5を認識し(図中、a、b)、認識した配達対象物P5を荷下ろしする(図中、c、d)。これにより、自動荷下ろし機20は、分岐パターンの1ステップ分の枝を消し込む。図23は、1ステップ分の枝(i=5)が消し込まれた分岐パターンの概念図である。
次に、自動荷下ろし機20は、ボックスBに積載された全ての配達対象物Pを荷下ろししたか否かを判定する(ステップS308)。ボックスBに積載された全ての配達対象物Pを荷下ろしていないと判定した場合、自動荷下ろし機20はステップS300の処理に進み、次の配達対象物Pの荷下ろし処理を実行する。ボックスBに積載された全ての配達対象物Pを荷下ろしたと判定した場合、本フローチャートの処理は終了する。
また、自動荷下ろし機20は、次の配達対象物Pについて処理を行う際に、最初に分岐パターンの1つ前の枝において選択した分岐パターンである荷下ろしパターン候補と、ステップS300で認識した荷姿とを比較し、双方の合致度が低い場合、荷下ろしパターン候補を消し込む。図24は、i=4の配達対象物P4について、元々選択していた分岐パターンが誤りであると判定した場合に、次に選択される分岐パターンの候補を示す図である。
ここで、自動荷下ろし機20は、配達対象物P5を荷下ろした後のi=1〜4について、ステップ300で認識した荷姿と合致度が高い分岐パターンを選択する。図25は、認識した荷姿に対応する分岐パターンを荷下ろしパターン候補として選択する様子を示す模式図である。自動荷下ろし機20は、ソータ10側カメラCM3により撮像された画像に基づいて、配達X1と最も合致度が高い配置Cに対応する分岐パターンを荷下ろし候補パターンとして選択する。図26は、自動荷下ろし機20が、分岐パターンBを荷下ろしパターン候補として選択した場合の概念図である。このような処理を繰り返し実行することで、一つのブロックの配達対象物Pの荷下しが完了する。
[ブロックパターン推定]
自動荷下ろし機20は、積載パターンのブロック区切り情報から得られるブロックパターンから正しいブロックパターンを推定(選択)しながら配達対象物Pの荷下ろしを実行する。
以下、配達対象物Pのブロックパターンの推定処理について説明する。
自動荷下ろし機20は、上述したステップS300からステップS308の1ブロック単位の処理の前提として、ブロックパターンに基づいて、ボックスBに積載された配達対象物Pを荷下ろしする。ここで、自動荷下ろし機20は、荷姿に対応する尤もらしいブロックパターンを前提に荷下ろしを行うが、その過程でブロックパターンと荷姿の変化が一致しなくなった場合、次のブロックパターンに切り替えて処理を行う。
自動荷下ろし機20は、1ブロック単位の処理が終了すると、次のブロックの処理を実行する。図27は、自動荷下ろし機20が実行するブロックごとの処理を説明するためのフローチャートである。
まず、自動荷下ろし機20が、ソータ10側カメラCM3により撮像された画像に基づいて、ボックスBに積載された配達対象物Pの荷姿を認識する(ステップS400)。次に、自動荷下ろし機20が、物流支援装置100から提供された複数のブロックパターンと、ステップS400で認識した荷姿とを比較する(ステップS402)。
次に、自動荷下ろし機20が、ステップS402の比較の結果に基づいて、物流支援装置100から提供されたブロックパターンから、荷姿に対応する尤もらしいブロックパターンを一つ選択する(ステップS404)。自動荷下ろし機20は、例えば荷姿から尤もらしいブロックパターンを選択し、選択したブロックパターンをブロックパターン候補とする。図28は、自動荷下ろし機20によりブロックパターンBL2が選択された場合の概念図である。例えば自動荷下ろし機20は、ブロックパターンBL1およびBL2のうちから尤もらしいブロックパターンとして、ブロックパターンBL2を選択した場合、ブロックパターンBL2の分岐に基づいて、ボックスBに積載された配達対象物Pを荷下ろしする。
次に、自動荷下ろし機20は、ブロックパターン候補に基づいて、前述したステップS300からS308の処理を実行する(ステップS406)。次に、自動荷下ろし機20は、ボックスBの全てのブロックを処理したか否かを判定する(ステップS408)。
ボックスBの全てのブロックを処理していない場合、自動荷下ろし機20は、ソータ10側カメラCM3により撮像された画像に基づいて、1つのブロックの処理後の荷姿を認識する(ステップS410)。次に、自動荷下ろし機20は、ステップS410で認識した荷姿と、ブロックパターン候補のブロックの配置とが合致するか否かを判定する(ステップS412)。
ステップS410で認識した荷姿と、ブロックパターン候補のブロックの配置とが合致する場合、ステップS406の処理に進む。ステップS410で認識した荷姿と、ブロックパターン候補のブロックの配置とが合致しない場合、自動荷下ろし機20は、ステップS410で認識した荷姿に対応する尤もらしいブロックパターンを選択し(ステップS414)、ステップS406の処理に進む。ステップS412でボックスBの全てのブロックを処理した場合、本フローチャートの処理は終了する。
図29は、積載パターンを用いて荷下ろしを行う場合と、積載パターンを用いずに荷下ろしを行う場合との比較結果を示す図である。上図は自動荷下ろし機20が、積載パターン推定部160により推定された推定パターンを用いずに配達対象物1から4をボックスBから荷下ろしした場合の時間T1を示している。下図は自動荷下ろし機20が、積載パターン推定部160により推定された推定パターンを用いて配達対象物1から4をボックスBから荷下ろしした場合の時間T2を示している。図中、T3は、時間T1と時間T2との差分であり、ブロックパターンおよび積載パターンを用いて荷下ろしされた場合に短縮される短縮時間である。また、図中、Pは着ベータに配達対象物Pが積載されたボックスBが到着し、自動荷下ろし機20が荷下ろしを開始する時点を示している。
上図に示すように、自動荷下ろし機20が、推定パターンを用いて配達対象物1から4を荷下ろしする場合、ボックスBに積載された配達対象物を1つ1つ認識後、荷下ろし動作を行う。例えば自動荷下ろし機20は、配達対象物1を認識後、配達対象物1の荷下ろし動作を行い、配達対象物2を認識後、配達対象物2荷下ろし動作を行い、・・・配達対象物4を認識後、配達対象物4の荷下ろし動作を行う。自動荷下ろし機20は、ボックスBに積載された配達対象物Pの位置を認識するための手がかりとなる情報を有しない。自動荷下ろし機20は、ボックスBに積載された配達対象物Pの画像処理を実行し、画像処理の結果に基づいて、ピッキングする配達対象物Pの位置を推定する。自動荷下ろし機20は、推定した配達対象物Pの位置を手がかりに、更に位置検出のための補正処理を実行し、配達対象物Pをピッキングする。このように自動荷下ろし機20が、配達対象物Pの位置の手がかりとなる情報を有しない場合、配達対象物をピッキングするためには複雑な処理と多大に時間を要する。
これに対し、自動荷下ろし機20が、本実施形態の物流支援装置100により推定された積載パターンを用いて配達対象物1から4を荷下ろしする場合、積載パターンを用いずに荷下ろしする場合に比して荷下ろし時間を短縮(短縮時間T3)することができる。積載パターンを用いる場合、自動荷下ろし機20は、積載パターンに基づいて、ボックスBに積載された配達対象物Pの位置の手がかりとなる情報を有している。自動荷下ろし機20は、ボックスBが大規模分配所に到着する前に、最初にピッキングする配達対象物Pと配達対象物Pの位置を推定することできる。これにより自動荷下ろし機20は、ボックスBが自動荷下ろし機20にピッキングされる位置に配置された直後に荷下ろし動作を開始することができるため、荷下ろしに要する時間を短縮することができる。また、自動荷下ろし機20は、積載パターンに基づいて、荷下ろし動作している配達対象物Pの次に荷下ろし動作の対象となる配達対象物Pと配達対象物Pの位置を推定することができる。これにより、自動荷下ろし機20は、配達対象物Pの荷下ろし動作を連続して行うことができ、複雑な処理を行わずに荷下ろしに要する時間を短縮することができる。このように物流支援装置100は、配達対象物PがボックスBに積載された状態を推定した積載パターンを自動荷下ろし機20に提供することで、自動荷下ろしを効率的に行わせることができる。
なお、第1の実施形態では、積載パターン推定部160は、配達対象物Pが人によってボックスBに積載された積載パターンを推定するものとしたが、更にボックスBが人によってトラックTRの荷台に積み込まれたトラック積載パターンを推定してもよい。この場合、積載パターン推定部160は、配達対象物PがボックスBに積載された積載パターンを推定した手法を用いて、ボックスBがトラックTRの荷台に積載された積載パターンを推定する。積載パターン推定部160は、例えば人によってトラックTRの荷台にボックスBが積載された順序情報と、トラックTRの荷台の空間情報とに基づく制約下で、複数のボックスBが荷台に積載される積載パターンの候補を導出すると共に、積載パターンの成立可否判定を補助可能な補助情報に基づいて積載パターンの候補を絞り込むことで、ボックスBが人によってトラックTRの荷台に積載された積載パターンを推定する。
以上説明した第1の実施形態によれば、物流支援装置100が、複数の配達対象物PがボックスBに積載された順序を特定可能な情報およびボックスIDを取得し、取得した情報とボックスBの空間情報とに基づく制約下で、複数の配達対象物PがボックスBに積載される積載パターンの候補を導出すると共に、積載パターンの成立可否判定を荷姿に基づいて導出する積載パターンの候補を絞り込むことで、配達対象物PがボックスBに積載された積載パターンを推定し、積載パターンとボックスIDとを対応付けて記憶させることにより、ボックスBからの自動荷下ろしを効率的に行わせることができる。また、データ管理部130が、配達対象物の識別情報と輸送用機器の識別情報とを対応付けて管理することにより、利便性を向上させることができる。
(第2の実施形態)
以下、第2の実施形態について説明する。第1の実施形態では、一例として自動荷下ろし機20が、ステップS300からステップS308およびステップS400からステップS414までの処理を実行するものとして説明した。第2の実施形態では物流支援装置100Aが自動荷下ろし機20AにステップS300からステップS308の処理、またはステップS400からステップS414までの処理を実行させるためのコマンドを生成し、自動荷下ろし機20が生成されたコマンドに基づいて上述した処理の一方または双方を実行する。以下、第1の実施形態の物流支援システム1との相違点を中心に説明する。
図30は、第2の実施形態の物流支援装置100Aの機能構成図である。第2の実施形態の物流支援装置100Aは、荷下ろし支援部180を更に備える。荷下ろし支援部180は、図18のステップS300からステップS308の処理または/および図27のステップS400からステップ414までの処理を、ソータ側カメラCM4により撮像された画像、および/または自動荷下ろし機20の動作状態を受信しながら実行し、実行結果を自動荷下ろし機20に返信する。
自動荷下ろし機20は、逐次、物流支援装置100の指示に基づいて荷下ろし動作を実行する。この場合、自動荷下ろし機20は、自動荷下ろし機20の動作状態や、配達対象物Pのずれ等を物流支援装置100に送信する。
以上説明した第2の実施形態によれば、物流支援装置100が、積載パターンに基づいて、自動荷下ろし機20を制御するためのコマンドを生成する。自動荷下ろし機20は、
生成されたコマンドに基づいてボックスBに積載された配達対象物Pを荷下ろしすることにより、第1の実施形態と同様の効果を奏すると共に、自動荷下ろし機20の処理負荷を軽減させることができる。
なお、第2の実施形態では、記憶部120と、ナンバープレート認識部140と、追跡情報提供部150と、積載パターン推定部160と、荷下ろし支援部180とが物流支援装置100Aとして機能するものとして説明したが、上述の機能部は、複数の装置に分散されていてもよい。この場合、上述の機能部が含まれる複数の装置が1つのシステムとして機能することにより、物流支援装置100Aと同様の機能を実現する。また、上述の機能部が含まれる複数の装置は、例えばネットワークNWを介して通信することで、物流支援装置100Aと同様の機能を実現してもよい。
以上説明した少なくともひとつの実施形態によれば、物流支援装置は、複数の配達対象物が積載部に積載された順序を特定可能な情報および前記積載部を識別する識別情報を取得する取得部と、前記取得部により取得された情報と前記積載部の空間情報とに基づく制約下で、前記複数の配達対象物が積載部に積載される積載パターンの候補を導出すると共に、積載パターンの成立可否判定を補助可能な補助情報に基づいて前記導出する積載パターンの候補を絞り込むことで、前記配達対象物が前記積載部に積載された積載パターンを推定する推定部と、前記識別情報に前記推定部により推定された積載パターンを対応付けて記憶部に記憶させる管理部とを持つことにより、積載部からの自動荷下ろしを効率的に行わせることができる。
実施形態の物流支援装置は、以下のように表現することができる。
配達対象物の識別情報を通信により検知可能な通信機から通信履歴および前記積載部を識別する識別情報を取得する取得部と、
前記取得部により取得された通信履歴から前記配達対象物が積載部に積載された順序を検知する管理部と、
前記管理部により検知された順序と前記積載部のサイズを示す情報とに基づく制約下で、前記複数の配達対象物が積載部に積載される積載パターンの候補を導出すると共に、積載パターンの成立可否判定を前記配達対象物が積載部に積載される過程を撮像した撮像画像に基づいて前記導出する積載パターンの候補を絞り込むことで、前記配達対象物が前記積載部に積載された積載パターンを推定する推定部と、
前記識別情報に前記推定部により推定された積載パターンを対応付けて記憶部に記憶させる管理部と、
を備える物流支援装置。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。