JP7411406B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

フォークリフト等の運搬装置（荷役作業機械）を利用した荷役作業の管理に係る技術が各種提案されている。例えば、特許文献１には、フォーク、床、荷物等に付されたマーカやタグを読み取ることで、フォークリフトの作業状態を管理する技術の一例が開示されている。

特許第６４１８５３９号公報

一方で、必ずしもマーカやタグを利用可能な状況にあるとは限らない。例えば、荷物の大きさに応じてマーカやタグを付すことが困難な場合もある。また、荷物の位置、姿勢、及び形状等に応じて、当該荷物に付されたマーカやタグを読み取ることが困難な状況も想定され得る。

本発明は上記の問題を鑑み、運搬装置の作業状態をより好適な態様で判定可能とすることを目的とする。

本発明の情報処理装置は、運搬装置が備える物品を保持する保持部に対して所定の相対位置に位置する領域を検知対象とした当該保持部による前記物品の保持状態の検知結果に応じた情報を取得する取得手段と、前記物品の保持状態の検知結果に応じた情報に基づき、前記運搬装置による前記物品の運搬に係る状態を管理する管理手段と、を備え、前記物品の保持状態の検知結果に応じた情報は、前記物品の保持状態に関する情報を含む教師データを入力とした教師あり学習に基づき構築された識別器による、前記保持部による前記物品の保持状態を検知する検知部による前記物品の保持状態の検知結果に応じた情報を入力とした、当該物品の保持状態の識別結果に応じた情報を含む。

本発明によれば、運搬装置の作業状態をより好適な態様で判定することが可能となる。

図１は、管理システムの概要について説明するための説明図である。 図２は、情報収集ユニットの構成について説明するための説明図である。 図３は、情報処理装置のハードウェア構成の一例を示した図である。 図４は、管理システムの機能構成の一例を示したブロック図である。 図５は、管理システムの処理の一例を示したフローチャートである。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜概要＞
図１を参照して、本実施形態に係る管理システム１の概要について説明する。本実施形態に係る管理システム１は、倉庫等の所定の空間において、荷物を運搬する運搬装置の作業状態を管理するシステムである。管理システム１は、情報処理装置１００と、運搬装置１９０とを含む。なお、本実施形態では、便宜上、運搬装置１９０としてフォークリフトが適用されるものとする。また、運搬装置１９０は、情報収集ユニット１９３を備える。情報処理装置１００と情報収集ユニット１９３とは所定のネットワークを介して情報を送受信可能に構成されている。例えば、図１に示す例では、情報処理装置１００と情報収集ユニット１９３とは無線のネットワークを介して接続される。

なお、図１では、管理システム１の特徴をよりわかりやすくするために、運搬装置１９０が１台の場合について示しているが、複数台の運搬装置１９０が運用されてもよい。この場合には、各運搬装置１９０が情報収集ユニット１９３を備え、情報処理装置１００と、各運搬装置１９０が備える情報収集ユニット１９３それぞれと、無線のネットワークを介して接続されればよい。
また、運搬装置１９０による荷物等の物品の運搬に係る動作が阻害されなければ、情報処理装置１００と情報収集ユニット１９３とを接続するネットワークの種別は特に限定されない。具体的な一例として、情報処理装置１００と情報収集ユニット１９３とが複数種類のネットワークを介して接続されていてもよく、一部に有線のネットワークが含まれていてもよい。また、情報処理装置１００と情報収集ユニット１９３との間の通信が他の通信装置により中継されてもよい。すなわち、情報処理装置１００と情報収集ユニット１９３との間で論理的なネットワークを介した通信が確立されていればよく、物理的なネットワークの実現方法は特に限定されない。

情報収集ユニット１９３は、運搬装置１９０の状態に関する情報を収集し、収集した当該情報を、ネットワークを介して情報処理装置１００に送信する。
具体的には、本実施形態に係る情報収集ユニット１９３は、フォークリフトにおけるフォーク等のような保持部による、荷物等の物品の保持状態に応じた情報を収集可能に構成されている。

ここで、図２を参照して、情報収集ユニット１９３の構成の一例についてより詳しく説明する。運搬装置１９０は、フォーク等のように荷物等の物品を保持する保持部１９１と、当該保持部１９１を支持する支持部１９２とを含む。支持部１９２は、所定の範囲内で移動可能に支持されている。すなわち、支持部１９２の移動に伴い、当該支持部１９２に支持された保持部１９１が、当該支持部１９２と一体的に移動する。このような構成により、例えば、保持部１９１に荷物が載置された状態で、支持部１９２を上方向に向けて移動させることで、当該荷物を持ち上げることが可能となる。

また、情報収集ユニット１９３は、検知部１９４を備えており、保持部１９１と検知部１９４とが所定の位置関係となるように支持部１９２の一部に支持される。これにより、例えば、保持部１９１に保持された物品を持ち上げるために支持部１９２が移動した場合においても、情報収集ユニット１９３が支持部１９２と一体的に移動するため、保持部１９１及び情報収集ユニット１９３の位置関係が維持される。
検知部１９４は、保持部１９１に対して所定の相対位置（例えば、保持部１９１により物品が保持される側の位置）に位置する領域１９７を検知対象として、保持部１９１による荷物等の物品の保持状態（例えば、物品を保持しているか否か）を検知する。領域１９７は、保持部１９１により物品が保持された状態において、当該物品の少なくとも一部が含まれるように設定される。このような構成に基づき、検知部１９４は、所定の広さを有する領域１９７を検知対象として、２次元的または３次元的に、保持部１９１による物品の保持状態を検知する。

具体的な一例として、検知部１９４は、被写体を撮像する撮像部（例えば、デジタルカメラ等）により実現されてもよい。この場合には、保持部１９１により物品が保持された状態において、当該物品の少なくとも一部が、当該撮像部（検知部１９４）の画角内に収まるように、情報収集ユニット１９３（換言すると、当該撮像部）が支持されるとよい。図２に示す例では、領域１９７は、上記撮像部の画角（撮像範囲）に相当する。
なお、上記はあくまで一例であり、保持部１９１に対して所定の相対位置に位置する領域を検知対象として、保持部１９１による物品の保持状態を検知することが可能であれば、検知部１９４として適用される構成は特に限定されない。具体的な一例として、検知部１９４が、所謂デプスセンサとして構成されていてもよい。この場合には、検知部１９４は、所定の検知領域内に位置する物体の各部との距離（デプス）を測定し、距離の測定結果を２次元的にマッピングすることで所謂デプスマップを生成してもよい。

以上のような構成に基づき、保持部１９１による物品の保持状態が検知部１９４により検知され、当該検知結果に応じた情報が、情報収集ユニット１９３により、ネットワークを介して情報処理装置１００に送信される。そして、情報処理装置１００は、情報収集ユニット１９３から送信される情報に基づき、保持部１９１による物品の保持状態を認識し、当該認識結果に基づき、運搬装置１９０による物品の運搬に係る状態を管理する。

また、情報収集ユニット１９３は、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）等の技術に基づき、運搬装置１９０の位置情報を取得し、当該位置情報を情報処理装置１００に通知してもよい。これにより、情報処理装置１００は、運搬装置１９０の位置情報を加味して、当該運搬装置１９０による物品の運搬に係る状態を管理することも可能となる。

以上、本実施形態に係る管理システム１の概要について説明した。なお、以降では、本実施形態に係る管理システム１についてより詳しく説明する。

＜ハードウェア構成＞
図３を参照して、本実施形態に係る情報処理装置１００のハードウェア構成の一例について説明する。図３に示すように、本実施形態に係る情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１０と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２０と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２３０とを含む。また、情報処理装置１００は、補助記憶装置２４０と、出力装置２５０と、入力装置２６０と、ネットワークＩ／Ｆ２７０とを含む。ＣＰＵ２１０と、ＲＯＭ２２０と、ＲＡＭ２３０と、補助記憶装置２４０と、出力装置２５０と、入力装置２６０と、ネットワークＩ／Ｆ２７０とは、バス２８０を介して相互に接続されている。

ＣＰＵ２１０は、情報処理装置１００の各種動作を制御する中央演算装置である。例えば、ＣＰＵ２１０は、情報処理装置１００全体の動作を制御してもよい。ＲＯＭ２２０は、ＣＰＵ２１０で実行可能な制御プログラムやブートプログラムなどを記憶する。ＲＡＭ２３０は、ＣＰＵ２１０の主記憶メモリであり、ワークエリア又は各種プログラムを展開するための一時記憶領域として用いられる。

補助記憶装置２４０は、各種データや各種プログラムを記憶する。補助記憶装置２４０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）に代表される不揮発性メモリ等のような、各種データを一時的または持続的に記憶可能な記憶デバイスにより実現される。

出力装置２５０は、各種情報を出力する装置であり、ユーザに対する各種情報の提示に利用される。本実施形態では、出力装置２５０は、ディスプレイ等の表示デバイスにより実現される。出力装置２５０は、各種表示情報を表示させることで、ユーザに対して情報を提示する。ただし、他の例として、出力装置２５０は、音声や電子音等の音を出力する音響出力デバイスにより実現されてもよい。この場合には、出力装置２５０は、音声や電信等の音を出力することで、ユーザに対して情報を提示する。また、出力装置２５０として適用されるデバイスは、ユーザに対して情報を提示するために利用する媒体に応じて適宜変更されてもよい。なお、出力装置２５０が、各種情報の提示に利用される「出力部」の一例に相当する。

入力装置２６０は、ユーザからの各種指示の受け付けに利用される。本実施形態では、入力装置２６０は、マウス、キーボード、タッチパネル等の入力デバイスを含む。ただし、他の例として、入力装置２６０は、マイクロフォン等の集音デバイスを含み、ユーザが発話した音声を集音してもよい。この場合には、集音された音声に対して音響解析や自然言語処理等の各種解析処理が施されることで、この音声が示す内容がユーザからの指示として認識される。また、入力装置２６０として適用されるデバイスは、ユーザからの指示を認識する方法に応じて適宜変更されてもよい。また、入力装置２６０として複数種類のデバイスが適用されてもよい。

ネットワークＩ／Ｆ２７０は、外部の装置とのネットワークを介した通信に利用される。なお、ネットワークＩ／Ｆ２７０として適用されるデバイスは、通信経路の種別や適用される通信方式に応じて適宜変更されてもよい。

ＣＰＵ２１０は、ＲＯＭ２２０又は補助記憶装置２４０に記憶されたプログラムをＲＡＭ２３０に展開し、このプログラムを実行することで、図４に示す管理システム１の機能構成や、図５に示すフローチャートで示された処理が実現される。

＜機能構成＞
図４を参照して、本実施形態に係る管理システム１の機能構成の一例について、特に、情報処理装置１００及び情報収集ユニット１９３の機能構成に着目して説明する。

まず、情報収集ユニット１９３の機能構成について説明する。図１及び図２を参照して説明したように、情報収集ユニット１９３は、運搬装置１９０の保持部１９１と所定の位置関係となるように、当該運搬装置１９０に支持される。例えば、図２に示す例では、保持部１９１を支持する支持部１９２により、情報収集ユニット１９３が支持されることで、当該情報収集ユニット１９３が保持部１９１と所定の位置関係となるように支持されている。

情報収集ユニット１９３は、検知部１９４と、通信部１９６とを含む。また、情報収集ユニット１９３は、位置情報取得部１９５を含んでもよい。検知部１９４は、図１及び図２に示す検知部１９４に相当する。

通信部１９６は、情報収集ユニット１９３の各構成が、所定のネットワークを介して外部の装置（例えば、情報処理装置１００）との間で情報やデータを送受信するための構成である。なお、通信部１９６を実現するためのデバイスは、情報やデータを送受信に利用されるネットワークの種別に応じて適宜変更されてもよい。具体的な一例として、情報収集ユニット１９３が他の装置と無線のネットワークを介して情報やデータの送受信を行う場合には、通信部１９６は、使用する無線信号の周波数帯に応じたアンテナや変調器等を含んでもよい。なお、以降では、情報収集ユニット１９３の各構成が他の装置と情報やデータの送受信を行う場合には、特に説明が無い限りは、通信部１９６を介して情報やデータの送受信が行われるものとする。

位置情報取得部１９５は、図１及び図２を参照して前述した、運搬装置１９０の位置情報の取得に係る構成である。位置情報取得部１９５は、取得した運搬装置１９０の位置情報を、ネットワークを介して情報処理装置１００に通知する。

次いで、情報処理装置１００の機能構成について説明する。情報処理装置１００は、通信部１０１と、認識部１０２と、管理部１０３と、記憶部１０４とを含む。また、情報処理装置１００は、出力部１０５を含んでもよい。

通信部１０１は、情報処理装置１００の各構成が、所定のネットワークを介して外部の装置（例えば、情報収集ユニット１９３）との間で情報やデータを送受信するための構成である。なお、情報収集ユニット１９３における通信部１９６と同様に、通信部１０１を実現するためのデバイスについては、情報やデータを送受信に利用されるネットワークの種別に応じて適宜変更されてもよい。また、以降では、情報処理装置１００の各構成が他の装置と情報やデータの送受信を行う場合には、特に説明が無い限りは、通信部１０１を介して情報やデータの送受信が行われるものとする。

記憶部１０４は、情報処理装置１００の各部が処理を実行するためのデータやプログラムを記憶する記憶領域である。また、記憶部１０４は、情報処理装置１００の各部が生成した情報やデータを記憶してもよい。
なお、記憶部１０４は、例えば、情報処理装置１００に内蔵された記憶装置により実現されてもよい。また、他の一例として、記憶部１０４は、情報処理装置１００とは異なる外部の記憶装置により実現されてもよい。具体的には、記憶部１０４は、情報処理装置１００に対して外付けされた記憶装置により実現されてもよいし、情報処理装置１００とネットワークを介して接続された記憶装置により実現されてもよい。

認識部１０２は、検知部１９４による検知結果に応じた情報を情報収集ユニット１９３から取得し、取得した当該情報に基づき、保持部１９１による物品の保持状態を認識する。なお、この際に、認識部１０２は、取得した情報に対して所定の解析処理を施し、当該解析処理の結果に基づき、保持部１９１による物品の保持状態を認識してもよい。また、検知部１９４による検知結果に応じた情報が、「保持部による物品の保持状態の検知結果に応じた情報」の一例に相当する。

例えば、認識部１０２は、撮像部として構成された検知部１９４による撮像結果に応じた画像（以下、「撮像画像」とも称する）を取得し、当該画像に対して画像解析を施すことで、保持部１９１による物品の保持状態を認識してもよい。
より具体的には、認識部１０２は、取得した撮像画像に対して画像解析を施すことで、当該撮像画像に撮像された被写体の特徴に応じた特徴量を抽出し、当該特徴量に基づき、保持部１９１による物品の保持状態を認識してもよい。この場合には、認識部１０２は、抽出した特徴量を、従前に保持部１９１による物品の保持状態ごとに撮像された画像から抽出された特徴量と比較することで、撮像画像が示す保持部１９１による物品の保持状態を認識してもよい。
なお、この場合には、例えば、「保持部１９１が物品を保持していない状態」、「保持部１９１がパレット等を保持している状態」、及び「保持部１９１が物品を保持している状態」のそれぞれについて、比較対象となる特徴量をあらかじめ取得しておくとよい。また、比較対象となる特徴量に関する情報については、例えば、認識部１０２が読み出し可能な記憶領域（例えば、記憶部１０４）に記憶させておくとよい。

また、上記はあくまで一例であり、保持部１９１による物品の保持状態の認識に係る処理の内容は、情報収集ユニット１９３から取得される情報の種別に応じて適宜変更されてもよい。例えば、検知部１９４としてデプスセンサが適用される場合には、保持部１９１による物品の保持状態ごとにデプスマップから取得される特徴量に応じて、当該保持状態の認識が行われるように、認識部１０２の処理が適宜変更されてもよい。
また、認識部１０２として、所謂機械学習に基づき構築された識別器を適用することも可能である。なお、機械学習に基づき構築された識別器を利用する方法については、変形例として詳細を別途後述する。

以上のようにして、認識部１０２は、情報収集ユニット１９３から取得した情報に基づき保持部１９１による物品の保持状態を認識し、認識結果に応じた情報を管理部１０３に出力する。なお、上述の通り、認識部１０２から出力される、保持部１９１による物品の保持状態の認識結果に応じた情報は、検知部１９４による検知結果に応じた情報に基づいている。すなわち、認識部１０２から出力される上記情報が、「保持部による物品の保持状態の検知結果に応じた情報」の他の一例に相当する。

管理部１０３は、運搬装置１９０の保持部１９１による物品の保持状態の認識結果に応じた情報を認識部１０２から取得し、当該情報に基づき当該運搬装置１９０による物品の運搬に係る状態を管理する。

具体的な一例として、管理部１０３は、保持部１９１が物品を保持した状態であると認識された場合には、運搬装置１９０が物品を運搬中の状態であると認識してもよい。これに対して、管理部１０３は、保持部１９１が物品を保持していない状態であると認識された場合には、運搬装置１９０が物品を運搬してない状態であると認識してもよい。また、管理部１０３は、保持部１９１がパレットを保持しており、荷物等の物品を保持していない状態であると認識された場合には、運搬装置１９０が運搬のために物品を回収する前の状態にあると認識してもよい。以上のようにして、管理部１０３は、各運搬装置１９０の状態を管理することが可能となり、例えば、物品を運搬していない状態にある運搬装置１９０を、新たな物品の運搬に係る作業に割り当てることも可能となる。

また、管理部１０３は、情報収集ユニット１９３から対応する運搬装置１９０の位置情報を取得し、当該位置情報を当該運搬装置１９０の管理に利用してもよい。具体的な一例として、運搬装置１９０の保持部１９１が物品を保持していない状態であったとしても、運搬装置１９０が移動している場合には、当該運搬装置１９０が物品を回収するために移動している状態にある可能性がある。そのため、このような場合には、管理部１０３は、新たな物品の運搬に係る作業への割り当て対象から、当該運搬装置１９０を除外してもよい。また、管理部１０３は、保持部１９１が物品を保持していない状態にあり、かつ移動していない状態にある運搬装置１９０を、物品を運搬していない状態にある運搬装置１９０として特定してもよい。

また、管理部１０３は、運搬装置１９０のその時々の状態のみに限らず、以前の状態や以後の状態（例えば、直前の状態や直後の状態）を加味して、当該運搬装置１９０の管理を行ってもよい。具体的な一例として、管理部１０３は、保持部１９１が物品を保持していない状態から、当該保持部１９１が物品を保持している状態に遷移した場合には、荷物等の物品の積み込みが行われたものと認識することが可能である。また、管理部１０３は、保持部１９１が物品を保持している状態から、当該保持部１９１が物品を保持していない状態に遷移した場合には、荷物等の物品の積み下ろしが行われたものと認識することも可能である。

管理部１０３は、各運搬装置１９０の状態（例えば、物品の運搬に係る状態）の管理に係るデータを、所定の記憶領域（例えば、記憶部１０４）に記憶させてもよい。これにより、管理部１０３は、各運搬装置１９０の状態の管理結果を時系列に沿ってデータとして記録しておくことも可能となる。
また、管理部１０３は、各運搬装置１９０の状態の管理結果に基づき、各運搬装置１９０の稼働率を算出してもよい。これにより、管理部１０３は、各運搬装置１９０の稼働率に応じて、当該運搬装置１９０への物品の運搬に係る作業の割り当てを制御することも可能となる。

また、管理部１０３は、運搬装置１９０の状態の管理結果に応じた情報やデータを所定の出力先に出力してもよい。具体的な一例として、管理部１０３は、運搬装置１９０の状態の管理結果に応じた情報を出力部１０５に出力させることで、当該情報をユーザに提示してもよい。また、他の一例として、管理部１０３は、運搬装置１９０の状態の管理結果に応じたデータを、ネットワークを介して他の装置に送信してもよい。これにより、当該他の装置は、当該データに基づき運搬装置１９０の状態（例えば、物品の運搬に係る状態）を認識することが可能となり、ひいては、当該状態の認識結果を他の処理の実行に利用することも可能となる。

出力部１０５は、各種情報を出力することで、当該情報をユーザに提示する。
例えば、出力部１０５は、ディスプレイ等のようの表示デバイスを含んでもよい。この場合には、出力部１０５は、提示対象となる情報に応じた表示情報を表示させることで、当該情報をユーザに提示してもよい。
また、出力部１０５は、所謂スピーカ等のような音響出力デバイスを含んでもよい。この場合には、出力部１０５は、提示対象となる情報に応じた音声や電子音等の音響を出力することで、当該情報をユーザに提示してもよい。
もちろん上記はあくまで一例であり、情報の提示方法に応じて、出力部１０５の構成が適宜変更されてもよい。

なお、上記はあくまで一例であり、上述した各部の処理を実現することが可能であれば、必ずしも本実施形態に係る管理システム１の機能構成を限定するものではない。例えば、情報処理装置１００の少なくとも一部の機能が、複数装置が協働すること実現されてもよい。具体的な一例として、情報処理装置１００の一部の機能が、情報処理装置１００とは異なる他の装置により実現されてもよい。より具体的な一例として、認識部１０２と管理部１０３とのそれぞれに相当する機能構成が、互いに異なる他の装置に設けられていてもよい。このように、本実施形態に係る管理システム１の技術思想を逸脱しない範囲であれば、管理システム１の一部の構成や処理が適宜変更されてもよい。

また、上記では、運搬装置１９０が１台の場合に着目して説明したが、前述したように複数の運搬装置１９０が管理の対象となってもよい。この場合には、情報処理装置１００が、各運搬装置１９０に支持された情報収集ユニット１９３から情報やデータを取得した際に、当該情報や当該データの送信元を特定できるとよい。具体的な一例として、情報収集ユニット１９３は、送信対象となる情報やデータに対して自身の識別情報を関連付けたうえで、当該情報や当該データを情報処理装置１００に送信すればよい。これにより、情報処理装置１００は、受信した情報やデータに関連付けられた識別情報に基づき、当該情報や当該データの送信元を識別することが可能となる。また、情報処理装置１００は、どの情報収集ユニット１９３がどの運搬装置１９０に支持されているかを示す情報をあらかじめ保持しておくことで、送信元の情報収集ユニット１９３の特定結果に基づき、対応する運搬装置１９０を特定することも可能となる。これにより、情報処理装置１００は、個々の運搬装置１９０の状態（特に、物品の運搬に係る状態）を個別に管理することが可能となる。

＜処理＞
図５を参照して、本実施形態に係る管理システム１の処理の一例について説明する。なお、図５に示す例では、本実施形態に係る管理システム１の特徴をよりわかりやすくするために、検知部１９４として撮像部が適用された場合に着目して、特に、情報処理装置１００の処理について説明する。

Ｓ１０１において、情報処理装置１００（認識部１０２）は、検知部１９４により撮像された、運搬装置１９０の保持部１９１による物品の保持状態に応じた撮像画像を、情報収集ユニット１９３から取得する。なお、Ｓ１０１の処理が、保持部による物品の保持状態の検知結果に応じた情報を取得する取得処理の一例に相当する。

Ｓ１０２において、情報処理装置１００（認識部１０２）は、取得した撮像画像に対して画像解析を施すことで、運搬装置１９０の保持部１９１による物品の保持状態を認識する。

Ｓ１０３において、情報処理装置１００（管理部１０３）は、運搬装置１９０の保持部１９１による物品の保持状態の認識結果に基づき、当該運搬装置１９０による物品の運搬に係る状態を特定する。例えば、情報処理装置１００は、保持部１９１が物品を保持していない状態であると認識した場合には、運搬装置１９０が物品を運搬してない状態であると認識してもよい。また、情報処理装置１００は、保持部１９１が物品を保持している状態であると認識した場合には、運搬装置１９０が物品を運搬している状態であると認識してもよい。また、このとき情報処理装置１００は、運搬装置１９０の位置情報を加味して、当該運搬装置１９０の状態を認識してもよい。
以上のようにして、情報処理装置１００は、各運搬装置１９０の状態（特に、物品の運搬に係る状態）を管理する。また、情報処理装置１００は、その時々の運搬装置１９０の状態のみに限らず、以前の状態（例えば、従前の状態の認識結果等）や以後の状態（例えば、予定されている運搬作業の割り当て状況等）を加味したうえで、当該運搬装置１９０の状態を管理してもよい。

＜変形例＞
続いて、本実施形態に係る管理システム１の変形例として、保持部による物品の保持状態の判定に、所謂機械学習に基づき構築された識別器を適用する場合の一例について説明する。なお、本変形例では、特徴をよりわかりやすくするために、運搬装置１９０が「フォークリフト」であり、検知部１９４として撮像部が適用され、撮像画像に基づきフォーク（保持部１９１）による物品の保持状態が認識される場合の一例について説明する。また、本変形例では、情報収集ユニット１９３が支持部１９２と一体的に移動することで、保持部１９１と検知部１９４との間の位置関係が維持されるものとする。

（学習フェーズ）
まず、機械学習に基づき識別器を構築する学習フェーズについて説明する。識別器の構築には、例えば、教師あり学習を適用するとよい。具体的には、教師データとして、「フォーク上に何も載っていない状態」、「フォーク上にパレットが載っている状態」、並びに「フォーク上にパレット及び荷物が載っている状態」それぞれの状態が撮像された画像を利用する。なお、各画像には、対応する状態に応じたラベルを関連付ける。以上のような教師データを識別器に入力することで、当該識別器に、どのような画像がどのような状態に相当するかを学習させる。

上記機械学習のアルゴリズムとしては、例えば、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）アルゴリズム等を適用することが可能である。同アルゴリズムが適用されることで、例えば、撮像画像の背景情報（例えば、床等の画像）が除去され、フォーク、パレット、及び荷物等の各物体を検出することが可能となる。
一方で、上記はあくまで一例であり、撮像画像に基づきフォークによる物品の保持状態を識別器に学習させることが可能であれば、そのための機械学習のアルゴリズムは必ずしもＹＯＬＯアルゴリズムのみには限定されない。また、撮像画像以外の他の情報が、フォークによる物品の保持状態の認識に利用される場合には、当該情報の種別に応じて、機械学習に適用されるアルゴリズムが適宜変更されてもよい。

また、例えば、フォークリフトに応じてフォークの形状が異なるような状況が想定され得る。このような状況下では、フォークの形状に応じて、当該フォークによる物品の保持状態ごとの撮像画像が異なるような状況が想定され得る。このような場合には、教師データとして、フォークの形状ごとに、当該フォークによる物品の保持状態ごとの撮像画像を収集し、当該撮像画像（教師データ）に基づき識別器に学習を行わせればよい。
また、他の一例として、フォークが可動部を有し、形状や形態が変化するような状況も想定され得る。具体的な一例として、フォーク間の間隔が制御可能に構成されている場合がある。このような場合には、「フォーク上に何も載っていない状態」の教師データとして、フォーク間の間隔が異なる複数の画像が、識別器の学習に利用されるとよい。
なお、識別器の学習に利用される学習データや、識別器の学習結果に応じたデータについては、所定の記憶領域（例えば、記憶部１０４）に記憶させておけばよい。

（識別フェーズ）
上述した機械学習に基づき構築された識別器を、図４に示す認識部１０２として適用する。具体的には、検知部１９４（撮像部）による撮像結果に応じた撮像画像が識別器（認識部１０２）に入力されると、当該識別器により、当該撮像画像が、フォークによる物品の保持状態のうちのいずれに該当するかが識別され、当該識別の結果が出力される。

具体的な一例として、フォークリフトが積み込み場所に到着し、フォーク上にパレットや荷物が載せられると、この状態が撮像され、撮像画像が情報収集ユニット１９３から情報処理装置１００に送信される。情報処理装置１００は、情報収集ユニット１９３から送信された当該撮像画像を識別器（認識部１０２）に入力し、当該識別器からの出力として、フォークによる物品の保持状態の識別結果を取得する。この場合には、情報処理装置１００（管理部１０３）は、フォークにより物品が保持されている状態となったことを認識することとなり、当該認識結果に基づきフォークへの荷物の積み込みが完了したことを認識することが可能となる。そのため、情報処理装置１００は、フォークへの荷物の積み込みが完了したフォークリフトに対して、当該荷物の積み下ろし場所への移動を指示することも可能となる。

また、他の一例として、フォークリフトが積み下ろし場所に到着し、フォーク上からパレットや荷物が下ろされると、この状態が撮像され、撮像画像が情報収集ユニット１９３から情報処理装置１００に送信される。情報処理装置１００は、情報収集ユニット１９３から送信された当該撮像画像を識別器（認識部１０２）に入力し、当該識別器からの出力として、フォークによる物品の保持状態の識別結果を取得する。この場合には、情報処理装置１００（管理部１０３）は、フォークにより物品が保持されていない状態となったことを認識することとなり、当該認識結果に基づきフォークからの荷物の積み下ろしが完了したことを認識することが可能となる。そのため、情報処理装置１００は、フォークからの荷物の積み下ろしが完了したフォークリフトに対して、新たな荷物の回収に係る指示することが可能となる。

また、上述のように、情報処理装置１００は、荷物の積み込みや積み下ろしが行われたことを認識することが可能である。そのため、例えば、情報処理装置１００は、フォークリフトの位置情報をあわせて利用して、荷物の積み込みが行われた場所や、荷物の積み下ろしが行われた場所を認識することで、荷物の保管場所をあわせて管理することも可能となる。

以上、本実施形態に係る管理システム１の変形例について説明した。なお、上記では検知部１９４が撮像部として構成されており、学習データとして撮像画像が利用される場合について説明したが、検知部１９４の構成に応じて、撮像画像以外の他のデータが学習データとして利用されてもよいことは言うまでもない。すなわち、保持部１９１による物品の保持状態ごとに検知部１９４による検知結果に応じたデータに対して、当該保持状態を示すラベルを関連付けて学習データとしたうえで、当該学習データに基づき識別器の学習が行われればよい。

＜補足＞
実施形態として上述した例はあくまで一例であり、必ずしも管理システム１を実現するための構成や、当該管理システム１の処理を限定するものではない。すなわち、上述した技術思想を逸脱しない範囲で、管理システム１の構成や処理の一部が適宜変更されてもよい。

具体的な一例として、情報処理装置１００の各機能構成のうち少なくとも一部の構成が、情報収集ユニット１９３側に設けられていてもよい。具体的な一例として、認識部１０２に相当する構成が、情報収集ユニット１９３側に設けられていてもよい。
また、他の一例として、情報収集ユニット１９３と情報処理装置１００とが一体的に構成されていてもよい。この場合には、情報処理装置１００側の機能構成に相当する部分（例えば、認識部１０２や管理部１０３）のうち、情報収集ユニット１９３側の機能構成（例えば、検知部１９４や位置情報取得部１９５）から情報を取得する処理が、「取得処理」の一例に相当する。

また、上記では運搬装置１９０としてフォークリフトが適用される場合の一例について説明したが、必ずしも本実施形態に係る管理システム１の適用先を限定するものではない。すなわち、荷物等の物品を何らかの方法で保持する保持部を備えた装置の状態（特に、物品の運搬に係る状態）を管理するような場合には、本実施形態に係る管理システム１を適用することが可能である。
具体的な一例として、運搬装置１９０としてクレーンを適用することも可能である。この場合には、例えば、クレーンのフックに相当する部分が保持部１９１の一例に相当する。
また、他の一例として、ショベルカーやブルドーザー等の工作機械を本実施形態に係る管理システム１における運搬装置１９０と見立てて、当該工作機械の状態の管理を行うことも可能である。この場合には、例えば、ショベルカーやブルドーザーのバケットに相当する部分が、保持部１９１の一例に相当する。

＜むすび＞
以上説明したように、本実施形態に係る管理システム１において、情報処理装置１００は、取得手段と、管理手段とを備える。取得手段は、運搬装置が備える物品を保持する保持部に対して所定の相対位置に位置する領域を検知対象とした当該保持部による上記物品の保持状態の検知結果に応じた情報を取得する。また、管理手段は、上記物品の保持状態の検知結果に応じた情報に基づき、上記運搬装置による上記物品の運搬に係る状態を管理する。以上のような構成により、本実施形態に係る管理システム１に依れば、荷物等の物品に対してマーカやタグが付されていない状況下においても、運搬装置の作業状態（特に、当該物品の運搬に係る状態）をより好適な態様で判別することが可能となる。また、このような特性から、本実施形態に係る管理システム１は、マーカやタグが利用される場合に比べて、物品の運搬に係る状態の認識に、当該物品の位置、姿勢、及び形状等に応じた制約を受けにくいという特徴を有する。

１ 管理システム
１００ 情報処理装置
１０１ 通信部
１０２ 認識部
１０３ 管理部
１０４ 記憶部
１０５ 出力部
１９０ 運搬装置
１９１ 保持部
１９２ 支持部
１９３ 情報収集ユニット
１９４ 検知部
１９５ 位置情報取得部
１９６ 通信部

Claims (10)

1. 運搬装置が備える物品を保持する保持部に対して所定の相対位置に位置する領域を検知対象とした当該保持部による前記物品の保持状態の検知結果に応じた情報を取得する取得手段と、
   前記物品の保持状態の検知結果に応じた情報に基づき、前記運搬装置による前記物品の運搬に係る状態を管理する管理手段と、
   を備え、
   前記物品の保持状態の検知結果に応じた情報は、
   前記物品の保持状態に関する情報を含む教師データを入力とした教師あり学習に基づき構築された識別器による、
   前記保持部による前記物品の保持状態を検知する検知部による前記物品の保持状態の検知結果に応じた情報を入力とした、当該物品の保持状態の識別結果に応じた情報を含む、
   情報処理装置。
2. 前記取得手段は、前記運搬装置の位置の検知結果に応じた情報を取得し、
   前記管理手段は、前記物品の保持状態の検知結果に応じた情報と、前記運搬装置の位置の検知結果に応じた情報と、に基づき、前記運搬装置による前記物品の運搬に係る状態を管理する、
   請求項１に記載の情報処理装置。
3. 前記検知部は、前記保持部と所定の位置関係となるように支持される、請求項１または２に記載の情報処理装置。
4. 前記識別器は、前記保持部の形状及び形態のうち少なくともいずれかが異なる複数の状態それぞれについて収集された前記物品の保持状態に関する情報を含む前記教師データに基づき構築される、請求項１～３のいずれか１項に記載の情報処理装置。
5. 前記検知部は、前記領域の画像を撮像する撮像部であり、
   前記画像に基づき、前記保持部による前記物品の保持状態が検知される、
   請求項１～４のいずれか１項に記載の情報処理装置。
6. 前記撮像部は、前記保持部により保持された前記物品の少なくとも一部が画角内に収まるように支持される、請求項５に記載の情報処理装置。
7. 前記取得手段は、複数の前記運搬装置それぞれについて、前記物品の保持状態の検知結果に応じた情報を取得し、
   前記管理手段は、前記運搬装置ごとに取得された前記物品の保持状態の検知結果に応じた情報に基づき、前記物品の運搬に割り当てる前記運搬装置を決定する、
   請求項１～６のいずれか１項に記載の情報処理装置。
8. 前記運搬装置は、フォークリフトであり、
   前記保持部は、少なくとも一部にフォークを含む、
   請求項１～７のいずれか１項に記載の情報処理装置。
9. 情報処理装置が実行する情報処理方法であって、
   運搬装置が備える物品を保持する保持部に対して所定の相対位置に位置する領域を検知対象とした当該保持部による前記物品の保持状態の検知結果に応じた情報を取得する取得ステップと、
   前記物品の保持状態の検知結果に応じた情報に基づき、前記運搬装置による前記物品の運搬に係る状態を管理する管理ステップと、
   を含み、
   前記物品の保持状態の検知結果に応じた情報は、
   前記物品の保持状態に関する情報を含む教師データを入力とした教師あり学習に基づき構築された識別器による、
   前記保持部による前記物品の保持状態を検知する検知部による前記物品の保持状態の検知結果に応じた情報を入力とした、当該物品の保持状態の識別結果に応じた情報を含む、
   情報処理方法。
10. コンピュータに、
    運搬装置が備える物品を保持する保持部に対して所定の相対位置に位置する領域を検知対象とした当該保持部による前記物品の保持状態の検知結果に応じた情報を取得する取得ステップと、
    前記物品の保持状態の検知結果に応じた情報に基づき、前記運搬装置による前記物品の運搬に係る状態を管理する管理ステップと、
    を実行させ、
    前記物品の保持状態の検知結果に応じた情報は、
    前記物品の保持状態に関する情報を含む教師データを入力とした教師あり学習に基づき構築された識別器による、
    前記保持部による前記物品の保持状態を検知する検知部による前記物品の保持状態の検知結果に応じた情報を入力とした、当該物品の保持状態の識別結果に応じた情報を含む、
    プログラム。

Images