JP7383539B2 - 制御システム、情報処理装置、および情報処理方法 - Google Patents

Description

本発明は、ごみを運搬するクレーンの動作制御を行う制御システム等に関する。

従来から、ごみ焼却設備等の設備においては、クレーンを用いてごみの運搬を行っている。そして、このようなクレーンを自動制御するための技術の開発も従来から進められている。例えば、下記の特許文献１には、良好な燃焼状態が得られるように、クレーンのバケットによるごみの掴み量を調整する技術が開示されている。

特開２００２－２９５８２１号公報

上述の従来技術は、良好な燃焼状態が得られるようにすることを目的としたものであり、クレーンの自動制御時におけるタイムロスを減らすという観点から改良の余地がある。具体的には、上述の従来技術では、バケットでごみを掴んだ後、そのバケットを巻き上げるタイミングを最適化することが難しい。なお、このようなタイミングは、一般にはクレーンのオペレータがバケットとごみの様子を目視確認しながら決定している。

ここで、上記特許文献１には、タイマーの計測時間に従ってバケットの開閉の制御を行うことが記載されている。しかしながら、タイマーを用いた制御により、ごみを掴む動作を開始させてから所定時間後にバケットを巻き上げる制御を行う構成とした場合、巻き上げ可能な状態となる前に巻き上げを行ってしまうことを避けるため、所定時間を長めに設定せざるを得ない。そして、このような構成では、バケットが巻き上げ可能となってから、バケットの巻き上げが行われるまでにタイムロスが発生してしまうという問題があった。

本発明の一態様は、タイマー等による制御で巻き上げを行う場合と比べて、巻き上げ可能となってから巻き上げを行うまでのタイムロスを少なくすることができる制御システム等を実現することを目的とする。

上記の課題を解決するために、本発明の一態様に係る制御システムは、ごみを運搬するクレーンがバケットでごみを掴んだ後、ごみを掴んだ状態で当該バケットを巻き上げるまでの一連の状態を撮影する撮影装置と、ごみを掴んで巻き上げ可能な状態となったバケットの画像を教師データとした機械学習により構築された状態判定モデルに、上記撮影により得られた画像を入力して得た出力値から、上記バケットを巻き上げ可能な状態となったことを検出する情報処理装置と、上記情報処理装置が、上記クレーンが巻き上げ可能な状態となったことを検出したときに、上記クレーンに上記バケットの巻き上げ動作を行わせる制御装置と、を含む。

また、本発明の一態様に係る情報処理装置は、上記の課題を解決するために、ごみを運搬するクレーンがバケットでごみを掴んだ後、ごみを掴んだ状態で当該バケットを巻き上げるまでの一連の状態を撮影した画像を取得する画像取得部と、ごみを掴んで巻き上げ可能な状態となったバケットの画像を教師データとした機械学習により構築された状態判定モデルに上記画像を入力して得た出力値から、上記バケットを巻き上げ可能な状態となったことを検出する検出部と、を備える。

そして、本発明の一態様に係る情報処理方法は、上記の課題を解決するために、情報処理装置による情報処理方法であって、ごみを運搬するクレーンがバケットでごみを掴んだ後、ごみを掴んだ状態で当該バケットを巻き上げるまでの一連の状態を撮影した画像を取得する画像取得ステップと、ごみを掴んで巻き上げ可能な状態となったバケットの画像を教師データとした機械学習により構築された状態判定モデルに上記画像を入力して得た出力値から、上記バケットを巻き上げ可能な状態となったことを検出する検出ステップと、を含む。

本発明の一態様によれば、タイマー等による制御で巻き上げを行う場合と比べて、巻き上げ可能となってから巻き上げを行うまでのタイムロスを少なくすることができる。

本発明の一実施形態に係る制御システムの概要を示す図である。 上記制御システムに含まれる情報処理装置の要部構成の一例を示すブロック図である。 上記制御システムに含まれる制御装置の要部構成の一例を示すブロック図である。 上記制御システムに含まれる学習装置の要部構成の一例を示すブロック図である。 手動制御により行われたバケットの巻き上げの制御履歴を示す図である。 状態判定モデルを構築するための教師データとして利用可能な画像の例を示す図である。 機械学習済みのモデルを用いてバケットの状態（水平／傾斜、開／半開、空中）を判定した例を示す図である。 機械学習済みのモデルを用いてバケットの状態（水平、開／閉、空中／接地）を判定した例を示す図である。 上記学習装置が状態判定モデルを構築する処理の一例を示すフローチャートである。 上記情報処理装置が実行する処理の一例を示すフローチャートである。 上記制御装置の自動制御により、ごみ掴み位置のごみをクレーンによって投下位置に投下させる際に実行する処理の一例を示すフローチャートである。 クレーンに対する制御履歴と、上記情報処理装置による状態判定の結果の遷移とを示す図である。

〔システム概要〕
本発明の一実施形態に係る制御システム１００の概要を図１に基づいて説明する。図１は、制御システム１００の概要を示す図である。また、図１には、制御システム１００の制御対象であるごみ運搬用のクレーン９３を備えたごみ焼却設備の概要についても併せて示している。

図１に示すように、ごみ焼却設備は、収集車Ｐが搬入するごみを一時的に貯留するごみピット９１とごみの焼却炉９２とを含む。ごみピット９１と焼却炉９２はホッパーで接続されており、ごみピット９１内のごみは、ホッパーを通って焼却炉９２に送り込まれ、焼却される。

ごみピット９１の底部はごみの貯留部となっており、収集車Ｐは、搬入用扉から貯留部にごみを落とし込み、このごみが貯留部に貯留される（図示のごみＧ）。また、ごみピット９１の天井部分にはクレーン９３が設けられている。このクレーン９３は、ガーダ９３１、横行台車９３２、ワイヤー９３３、およびバケット９３４を備えている。

ガーダ９３１は、ごみピット９１の建屋の対向する壁面にそれぞれ設けられたレール（同図の奥行き方向に延在）間を架け渡すように配置されており、このレールに沿って同図の奥行き方向に移動させることができるようになっている。また、横行台車９３２は、ガーダ９３１上に設けられており、ガーダ９３１上を同図の左右方向（ガーダ９３１の移動方向と直交する方向）に移動させることができるようになっている。この横行台車９３２には、巻取機（例えばウインチ）が載置されており、巻取機から延びるワイヤー９３３の先端にはごみＧを掴むバケット９３４が設けられている。このバケット９３４は開閉動作を行うことができる。

このように、ガーダ９３１は同図の奥行き方向に移動させることができ、横行台車９３２は同図の左右方向に移動させることができるから、これらの移動の組合せにより、バケット９３４を貯留部内の任意の位置に移動させることができる。また、巻取機からワイヤー９３３を伸ばし、バケット９３４を降下させて、貯留部内のごみＧをバケット９３４で掴み取ることができる。そして、掴み取ったごみＧは、ガーダ９３１、横行台車９３２、バケット９３４、および巻取機の動作を制御することにより、貯留部内の別の位置に積み替えたり、ホッパーに投入したりすることができる。

このようなクレーン９３の動作制御は、貯留部内を監視できるように建屋の側壁部に設けられた操作室９４から行うことができる。操作室９４には、制御システム１００が配備されている。制御システム１００には、情報処理装置１と、制御装置３と、学習装置５と、撮影装置７が含まれている。

制御システム１００による制御を行う場合、撮影装置７は、ごみを運搬するクレーン９３がバケット９３４でごみを掴んだ後、ごみを掴んだ状態でバケット９３４を巻き上げるまでの一連の状態を撮影する。例えば、撮影装置７は、ごみを掴んだ後、ごみを掴んだ状態でバケット９３４を巻き上げるまでの期間中、バケット９３４とその周囲の動画像を撮影することにより、上記「一連の状態」を撮影してもよい。また、撮影装置７は、上記期間中、バケット９３４とその周囲の静止画像を所定周期で撮影することにより、上記「一連の状態」を撮影してもよい。

なお、上記「一連の状態」には、巻き上げ不可の状態と、巻き上げ可能な状態とが含まれている。巻き上げ不可の状態は、バケット９３４で掴んだごみが、周囲に堆積している他のごみと切り離しきれずにつながった状態である。この状態では、巻き上げを行うことができないため、後述するごみ掴み動作を行う等してバケット９３４で掴んだごみを他のごみと切り離し、これにより巻き上げ可能な状態となる。上記「一連の状態」には、ごみ掴み動作を行っている状態が含まれていてもよい。

上記「バケットを巻き上げるまで」の期間は、バケット９３４の地切りのタイミングまでの期間であるともいえる。地切りとは、掴んだごみがごみ層から切り離されて、バケット９３４を巻き上げ可能になった状態を指す。無論、撮影装置７は、少なくとも、バケット９３４がごみを掴んでから地切りまでの期間の撮影を行えばよく、ごみを掴む前から撮影を行ってもよいし、地切り後も撮影を継続してもよい。

情報処理装置１は、機械学習により構築された状態判定モデルに、上記撮影により得られた画像を入力して得た出力値から、バケット９３４を巻き上げ可能な状態となったことを検出する。詳細は後述するが、上記機械学習は、ごみを掴んで巻き上げ可能な状態となったバケットの画像を教師データとして学習装置５が行う。

そして、制御装置３は、情報処理装置１が、バケット９３４を巻き上げ可能な状態となったことを検出したときに、クレーン９３にバケット９３４の巻き上げ動作を行わせる。

なお、バケット９３４の巻き上げ動作とは、バケット９３４を水平方向に移動可能な高さまで巻き上げる動作を意味する。バケット９３４でごみを掴んだ後、そのバケット９３４を巻き上げ可能な状態とするために、バケット９３４がわずかに宙に浮く程度まで低速でバケット９３４を巻き上げる場合があるが、情報処理装置１が検出対象とするのはこちらの巻き上げではない。

上記の構成によれば、バケット９３４でごみを掴んだ後、ごみを掴んだバケット９３４を巻き上げるまでの一連の状態を撮影した画像から、バケット９３４が巻き上げ可能な状態になったことを自動で検出して巻き上げを行わせる。よって、タイマー等による制御で巻き上げを行う場合と比べて、巻き上げ可能となってから巻き上げを行うまでのタイムロスを少なくすることができる。

なお、図１には、情報処理装置１と、制御装置３と、学習装置５と、撮影装置７が操作室９４に配置されている例を示しているが、クレーン９３の手動制御にも用いられる制御装置３を除けば、その配置は特に限定されない。例えば、ごみ焼却設備の外部の遠隔監視施設等に情報処理装置１と学習装置５を配置してもよい。

〔情報処理装置の構成〕
情報処理装置１の構成を図２に基づいて説明する。図２は、情報処理装置１の要部構成の一例を示すブロック図である。図示のように、情報処理装置１は、情報処理装置１の各部を統括して制御する制御部１０と、情報処理装置１が使用する各種情報を記憶する記憶部１１と、ユーザの指示入力を受け付ける入力部１２と、他の装置と無線通信を行うための通信部１３とを備える。また、制御部１０には、画像取得部１０１、傾斜状態判定部１０２、傾斜検出部１０３、クレーン状態判定部１０４、地切検出部（検出部）１０５、開閉状態判定部１０６、および不完全保持検出部１０７が含まれている。

画像取得部１０１は、撮影装置７が撮影する画像、すなわちクレーン９３がバケット９３４でごみを掴んだ後、ごみを掴んだ状態でバケット９３４を巻き上げるまでの一連の状態を撮影した画像を取得する。なお、撮影装置７が動画像を撮影する場合、画像取得部１０１は、当該動画像から所定時間間隔でフレーム画像を取得してもよい。

傾斜状態判定部１０２は、画像取得部１０１が取得する画像から、該画像に写るバケット９３４の傾斜状態を判定する。例えば、傾斜状態判定部１０２は、機械学習により構築した傾斜判定モデルを用いて傾斜状態を判定してもよい。傾斜判定モデルの構築については、図７等に基づいて後述する。

傾斜検出部１０３は、傾斜状態判定部１０２の判定結果に基づき、ごみ表面上にあるバケット９３４が傾斜していることを検出する。そして、傾斜検出部１０３は、この検出結果を制御装置３に通知する。

このように、情報処理装置１は、傾斜状態判定部１０２と傾斜検出部１０３を備えているので、撮影装置７が撮影するバケット９３４の画像に基づいて、ごみ表面上にあるバケット９３４が傾斜していることを検出することができる。そして、制御装置３は、情報処理装置１が、バケット９３４が傾斜していることを検出した場合に、クレーン９３によるごみの掴み位置を変更する制御を行う。この構成によれば、バケット９３４が傾斜していることを検出した場合に、ごみの掴み位置を変更するので、傾斜した状態でごみ掴み動作を行うことによるバケット９３４の転倒やごみの掴み損ね等の発生を防ぐことができる。

クレーン状態判定部１０４は、画像取得部１０１が取得する画像から、該画像に写るバケット９３４の状態を判定する。具体的には、クレーン状態判定部１０４は、学習装置５が構築した状態判定モデル５１４に、画像取得部１０１が取得して画像を入力することにより、バケット９３４の状態を示す出力値を算出する。なお、詳細は後述するが、状態判定モデル５１４は、ごみを掴んで巻き上げ可能な状態となったバケット９３４の画像を教師データ５１３とした機械学習により構築される。

地切検出部１０５は、状態判定モデル５１４からの上記出力値に基づき、バケット９３４を巻き上げ可能な状態となったことを検出する。そして、地切検出部１０５は、この検出結果を制御装置３に通知する。なお、ごみを掴んだバケット９３４が巻き上げ可能となった状態を地切状態とも呼ぶ。

このように、情報処理装置１は、クレーン９３がバケット９３４でごみを掴んだ後、ごみを掴んだ状態でバケット９３４を巻き上げるまでの一連の状態を撮影した画像を取得する画像取得部１０１を備えている。また、情報処理装置１は、ごみを掴んで巻き上げ可能な状態となったバケット９３４の画像を教師データとした機械学習により構築された状態判定モデル５１４に上記画像を入力して得た出力値から、バケット９３４を巻き上げ可能な状態となったことを検出する地切検出部１０５を備えている。

上記の構成によれば、バケット９３４でごみを掴んだ後、ごみを掴んだバケット９３４を巻き上げるまでの一連の状態を撮影した画像から、バケット９３４が巻き上げ可能な状態になったことを自動で検出することができる。よって、この検出を契機として制御装置３に巻き上げを行わせることができ、これにより、タイマー等による制御で巻き上げを行う場合と比べて、巻き上げ可能となってから巻き上げを行うまでのタイムロスを少なくすることが可能になる。

開閉状態判定部１０６は、画像取得部１０１が取得する画像から、該画像に写るバケット９３４の開閉状態を判定する。例えば、開閉状態判定部１０６は、機械学習により構築した開閉判定モデルを用いて開閉状態を判定してもよい。開閉判定モデルの構築については、図７等に基づいて後述する。

不完全保持検出部１０７は、開閉状態判定部１０６の判定結果に基づき、ごみを掴んでいるときのバケット９３４の閉度が不十分となっていることを検出する。そして、不完全保持検出部１０７は、この検出結果を制御装置３に通知する。

このように、情報処理装置１は、開閉状態判定部１０６と不完全保持検出部１０７とを備えているので、画像取得部１０１が取得する画像に基づいて、バケット９３４がごみの保持に不十分な閉度となっていることを検出することができる。そして、制御装置３は、情報処理装置１が、バケット９３４がごみの保持に不十分な閉度となっていることを検出した場合に、バケット９３４を閉じる制御を行う。

ここで、バケット９３４の開度は、バケット９３４を開閉する際の油圧で計測することが可能であり、その計測値に従ってバケット９３４の開度を調整することが可能である。しかし、ごみがバケット９３４の爪等に挟まる等の原因で、計測値よりもバケット９３４が開いた状態となってしまうことがある。そこで、上記の構成によれば、バケット９３４がごみの保持に不十分な閉度となっていることを検出した場合に、バケット９３４を閉じる制御を行う。これにより、ごみの掴み損ねや、意図しない位置にごみを落下させることを防ぐことができる。

〔制御装置の構成〕
制御装置３の構成を図３に基づいて説明する。図３は、制御装置３の要部構成の一例を示すブロック図である。図示のように、制御装置３は、制御装置３の各部を統括して制御する制御部３０と、制御装置３が使用する各種情報を記憶する記憶部３１と、ユーザの指示入力を受け付ける入力部３２と、制御装置３が情報を出力するための出力部３３と、他の装置と無線通信を行うための通信部３４とを備える。また、制御部３０には、クレーン制御部３０１、バケット移動制御部３０２、バケット開閉制御部３０３、およびバケット昇降制御部３０４が含まれている。

クレーン制御部３０１は、クレーン９３の動作を制御する。具体的には、クレーン制御部３０１は、クレーン９３によるごみの掴み位置と、掴んだごみの投下位置とを決定する。そして、クレーン制御部３０１は、バケット移動制御部３０２、バケット開閉制御部３０３、およびバケット昇降制御部３０４を制御することにより、クレーン９３に上記掴み位置でごみを掴む動作を行わせ、上記投下位置でごみを投下させる。ごみの掴み位置と投下位置の決定方法は特に限定されず、例えばごみピット内の各位置におけるごみの撹拌状態や堆積高さ等に基づいて決定してもよいし、予め設定されたスケジュールに従って決定してもよい。

バケット移動制御部３０２は、クレーン制御部３０１の制御に従って、ガーダ９３１と横行台車９３２を移動させ、バケット９３４をごみ掴み位置または投下位置の直上に移動させる。

バケット開閉制御部３０３は、クレーン制御部３０１の制御に従って、バケット９３４の開度を変更する。本実施形態では、バケット開閉制御部３０３は、クレーン９３に正の値の開閉指令を送信することによりバケット９３４を開状態とし、負の値の開閉指令を送信することによりバケット９３４を閉状態とする。また、クレーン９３への開閉指令の値をニュートラル（０）にすることにより、バケット９３４の開閉状態を現在の状態に維持する。無論、これらの制御は一例であり、バケット９３４の開閉のためにどのような制御を行うかは任意である。

バケット昇降制御部３０４は、クレーン制御部３０１の制御に従って、バケット９３４を昇降させる。また、バケット９３４を昇降させる際、バケット昇降制御部３０４は、クレーン制御部３０１が指定する昇降速度でバケット９３４を昇降させる。

〔学習装置の構成〕
学習装置５の構成を図４に基づいて説明する。図４は、学習装置５の要部構成の一例を示すブロック図である。図示のように、学習装置５は、学習装置５の各部を統括して制御する制御部５０と、学習装置５が使用する各種情報を記憶する記憶部５１と、ユーザの指示入力を受け付ける入力部５２と、学習装置５が情報を出力するための出力部５３とを備える。また、制御部５０には、履歴抽出部５０１、時刻特定部５０２、画像抽出部５０３、教師データ生成部５０４、および学習部５０５が含まれている。そして、記憶部５１には、操作履歴ＤＢ（データベース）５１１およびピット画像５１２が記憶されている。さらに、教師データ５１３および状態判定モデル５１４が記憶される。

操作履歴ＤＢ５１１は、クレーン９３の制御履歴を記録したデータベースである。より詳細には、操作履歴ＤＢ５１１には、クレーン９３に対して行われた制御の内容と、その制御が行われた時刻とを示す制御履歴データが記録されている。また、操作履歴ＤＢ５１１には、各制御が手動で行われたか、自動で行われたかについても記録されている。

ピット画像５１２は、ごみ焼却設備の操業期間中に撮影装置７が撮影したごみピット内の画像である。ピット画像５１２には、クレーン９３がバケット９３４でごみを掴んだ後、ごみを掴んだ状態でバケット９３４を巻き上げるまでの一連の状態を示す画像が含まれている。

教師データ５１３は、状態判定モデル５１４を構築するための機械学習に用いる教師データである。状態判定モデル５１４は、少なくとも地切状態を判定できるものであればよいので、教師データ５１３も少なくとも地切状態を学習できるようなデータとすればよい。なお、教師データ５１３の詳細は図６に基づいて後述する。

状態判定モデル５１４は、バケット９３４がごみを掴んで巻き上げ可能な状態（地切状態）となったか否かの判定に使用されるモデルである。状態判定モデル５１４の詳細についても、教師データ５１３の詳細と共に図６に基づいて後述する。

履歴抽出部５０１は、操作履歴ＤＢ５１１から、手動で行われた巻き上げ制御の制御履歴データを抽出する。上述のように、操作履歴ＤＢ５１１においては、各制御が手動で行われたか、自動で行われたかについても記録されているから、履歴抽出部５０１は、この記録に基づいて、手動で行われた巻き上げ制御の制御履歴データを抽出することができる。

時刻特定部５０２は、履歴抽出部５０１が抽出した制御履歴データから、手動で巻き上げ制御が行われた時刻を特定する。手動で巻き上げ制御が行われた時刻を特定する方法については図５に基づいて後述する。

画像抽出部５０３は、ピット画像５１２から、時刻特定部５０２により特定された時刻に撮影された画像を抽出する。例えば、ピット画像５１２が連続して撮影された時系列の静止画像群からなる場合、画像抽出部５０３は、時刻特定部５０２により特定された時刻に撮影された画像を当該静止画像群の中から抽出する。一方、ピット画像５１２が動画像である場合、画像抽出部５０３は、時刻特定部５０２により特定された時刻のフレーム画像を当該動画像から抽出する。

教師データ生成部５０４は、画像抽出部５０３が抽出した画像に正解データのラベルを対応付けて状態判定モデル５１４の構築に用いる教師データ５１３とする。教師データ５１３の生成方法の詳細は、図６に基づいて後述する。

学習部５０５は、教師データ生成部５０４が生成した教師データ５１３を用いて機械学習を行い、状態判定モデル５１４を構築する。なお、機械学習の方法および構築するモデルの種類等は、画像から物体検出および物体の状態判定が可能なものを採用すればよく、特に限定されない。例えば、畳み込みニューラルネットワークにより状態判定モデル５１４を構築してもよい。傾斜判定モデルと開閉判定モデルについても同様である。

以上のように、学習装置５は、クレーン９３の制御履歴データを参照して、クレーン９３をオペレータが手動で操作して、バケット９３４でごみを掴んで巻き上げを行った時刻を特定する時刻特定部５０２を備えている。また、学習装置５は、時刻特定部５０２が特定した時刻に撮影されたバケット９３４の画像を、バケット９３４の巻き上げが可能な状態を検出するための状態判定モデル５１４の構築に用いる教師データ５１３とする教師データ生成部５０４を備えている。

上記の構成によれば、クレーン９３をオペレータが手動で操作して、ごみを掴んで巻き上げを行った時刻に撮影されたバケット９３４の画像を教師データ５１３とする。したがって、この教師データ５１３を用いて機械学習を行い、状態判定モデル５１４を構築することにより、オペレータの操作時と同等のタイミングでバケット９３４の巻き上げが可能な状態を検出することが可能になる。

〔巻き上げ時刻の特定方法〕
時刻特定部５０２による巻き上げ時刻の特定方法について図５に基づいて説明する。図５は、手動制御により行われたバケット９３４の巻き上げの制御履歴を示す図である。図５の横軸は時刻であり、縦軸はバケット９３４の巻上ノッチである。巻上ノッチは、０、１、２、３の４段階であり、０では巻き上げを行わず、１～３では巻き上げを行い、巻上ノッチの値が大きくなるほど巻き上げ速度が速くなる。

図５の制御履歴では、１４：０６：５０に巻上ノッチが１に設定されて、この状態が１４：０６：５３まで続いている。つまり、この期間には低速での巻き上げが行われている。そして、１４：０６：５３から１４：０６：５４にかけて、巻上ノッチが１から３に切り替えられて、その後は巻上ノッチが３の状態が維持されている。つまり、この期間には高速での巻き上げが行われている。

ここで、一般に、クレーンのオペレータがごみの掴み上げを行う際には、巻上ノッチを低速にして地切りを行い、地切りが完了したと判断した段階で、巻上ノッチを高速にしてバケット９３４を巻き上げる。

このことから、図５に示される制御履歴に係る手動制御では、巻上ノッチが１の期間には地切りが行われており、巻上ノッチが１から３に切り替えられた時刻１４：０６：５４（点Ｐ１）の時点で巻き上げが開始されたと認識できる。よって、時刻特定部５０２は、巻上ノッチが３に切り替えられた時刻、すなわち巻き上げ時に通常適用される所定の速度とする手動制御が行われた時刻を、巻き上げ時刻であると特定してもよい。

したがって、操作履歴ＤＢ５１１には、所定の巻き上げ速度とする手動制御が行われた時刻を特定できるようなデータが含まれていればよい。このデータは、図５のようなデータであってもよいし、手動制御が行われた時刻と手動制御の内容とを対応付けたようなデータであってもよい。

〔機械学習に用いる画像について〕
時刻特定部５０２が以上のようにして特定する時刻は、地切りが完了した直後の時刻であるから、当該時刻に撮影されたバケット９３４の画像は、地切りが完了した状態、すなわち地切状態を示す画像となる。このため、画像抽出部５０３は、ピット画像５１２の中から、時刻特定部５０２が特定した時刻に撮影された画像を地切状態の画像として抽出する。

例えば、図５の制御履歴に基づいて１４：０６：５４との時刻が時刻特定部５０２によって特定された場合、画像抽出部５０３は、この時刻に撮影された画像を地切状態の画像として抽出する。

そして、教師データ生成部５０４は、時刻特定部５０２が特定した時刻に撮影され、画像抽出部５０３が上記のようにして抽出した画像を、バケット９３４の巻き上げが可能な状態を検出するための状態判定モデル５１４の構築に用いる教師データ５１３とする。具体的には、教師データ生成部５０４は、画像抽出部５０３が地切状態の画像として抽出した画像に、正解データとして地切状態であることを示すラベルを対応付けて教師データ５１３とする。

また、時刻特定部５０２が特定した時刻の直前の期間に撮影された画像は、バケット９３４がごみピット内に堆積したごみ層の表面に接地した接地状態を示す画像となる。このため、画像抽出部５０３は、ピット画像５１２の中から、時刻特定部５０２が特定した時刻の直前の所定期間に撮影された画像を、接地状態を示す画像として抽出してもよい。なお、所定期間の始期は、例えばバケット９３４が接地したと判定された時刻としてもよい。バケット９３４の接地は、例えばバケット９３４を吊るすワイヤー９３３とバケット９３４との接続部に設けた重量センサの出力値等から判定可能である。

例えば、図５の制御履歴に基づいて１４：０６：５４との時刻が時刻特定部５０２によって特定された場合、画像抽出部５０３は、この時刻の直前に撮影された画像（例えば１４：０６：５３の画像）を接地状態の画像として抽出してもよい。この場合、教師データ生成部５０４は、画像抽出部５０３が接地状態の画像として抽出した画像に、正解データとして接地状態であることを示すラベルを対応付けて教師データ５１３とする。

図６は、状態判定モデル５１４を構築するための教師データ５１３として利用可能な画像の例を示す図である。より詳細には、図６に示す画像のうち、ＩＭＧ１は接地状態を学習するための画像の例であり、ＩＭＧ２は地切状態を学習するための画像の例である。

ＩＭＧ１および２の左上には、各画像の撮影時刻が記録されている。この時刻から、ＩＭＧ１が２０１８年１０月９日の１４：０６：５３に撮影され、ＩＭＧ２が同日の１４：０６：５４に撮影されたことが分かる。

また、ＩＭＧ１および２においては、バケット９３４を囲むように領域Ａ１とＡ２が設定されている。状態判定モデル５１４を、ごみピット内を撮影した画像からバケット９３４を検出した上で、検出したバケット９３４の状態を判定するモデルとする場合、このような領域Ａ１、Ａ２を示す情報を正解データとして教師データ５１３に含めておけばよい。この場合、領域Ａ１、Ａ２を示す情報は、画像解析等により生成してもよいし、学習装置５のユーザが入力部５２を介して入力してもよい。

そして、ＩＭＧ１は、接地状態のバケット９３４を撮影した画像であるから、接地状態であることを示すラベルを対応付けて教師データ５１３とすることができる。また、ＩＭＧ２は、地切状態のバケット９３４を撮影した画像であるから、地切状態であることを示すラベルを対応付けて教師データ５１３とすることができる。

同様にして、バケット９３４の様々な状態の画像から教師データを生成することができ、その教師データを用いて機械学習を行うことにより、バケット９３４の様々な状態を判定することができる。図７および図８は、機械学習済みのモデルを用いてバケット９３４の状態を判定した例を示す図である。

図７に示すＩＭＧ３の画像については、バケット９３４が写る領域Ａ３が検出されていると共に、バケット９３４の傾斜が水平であり、ごみを掴む爪が開いており、かつ空中に位置している（接地していない）状態であると判定されている。

また、ＩＭＧ４の画像については、バケット９３４が写る領域Ａ４が検出されていると共に、バケット９３４が水平ではなく傾斜しており、ごみを掴む爪が半開状態であると判定されている。

そして、図８に示すＩＭＧ５の画像については、バケット９３４が写る領域Ａ５が検出されていると共に、バケット９３４の傾斜が水平であり、ごみを掴む爪が閉じており、かつバケット９３４が接地している状態であると判定されている。

また、ＩＭＧ６の画像については、バケット９３４が写る領域Ａ６が検出されていると共に、バケット９３４が水平であり、ごみを掴む爪が開いており、かつ空中に位置している（接地していない）状態であると判定されている。

図７のＩＭＧ３および図８のＩＭＧ６のような空中状態のバケット９３４が写る画像については、空中状態であることを示すラベルを対応付けて、教師データ５１３とすることができる。上述したような、地切状態であることを示すラベルを対応付けた教師データ５１３と、接地状態であることを示すラベルを対応付けた教師データ５１３と、空中状態であることを示すラベルを対応付けた教師データ５１３とを用いることにより、バケット９３４がこれら３つの状態の何れに該当するかを判定することが可能になる。

なお、状態判定モデル５１４は、その出力値から、地切検出部１０５が、バケット９３４を巻き上げ可能な状態となったことを検出できるようなものであればよい。例えば、状態判定モデル５１４は、地切状態である確率のみを出力するものであってもよい。この場合、地切検出部１０５は、地切状態である確率が閾値以上である場合に、バケット９３４を巻き上げ可能な状態となったと検出すればよい。

また、例えば、状態判定モデル５１４は、バケット９３４が接地状態である確率と空中状態である確率とを出力するものであってもよい。この場合、地切検出部１０５は、接地状態である確率と空中状態である確率の何れもが閾値未満である場合、すなわち接地状態とも空中状態とも言い難い場合に、バケット９３４を巻き上げ可能な状態となったと検出すればよい。

さらに、例えば、状態判定モデル５１４は、バケット９３４が接地状態である確率のみを出力するものであってもよい。この場合、地切検出部１０５は、接地状態である確率が閾値以上である状態から、閾値未満である状態に変化したとき、すなわち接地状態から接地状態とは言い難い状態となったときに、バケット９３４を巻き上げ可能な状態となったと検出すればよい。

また、図７のＩＭＧ３、および図８のＩＭＧ５、６のような水平状態のバケット９３４が写る画像については、水平状態であることを示すラベルを対応付けて、教師データとすることができる。また、図７のＩＭＧ４のような傾斜状態のバケット９３４が写る画像については、傾斜状態であることを示すラベルを対応付けて、教師データとすることができる。

そして、このような教師データを用いて機械学習を行うことにより、傾斜判定モデルを構築することができる。このようにして構築した傾斜判定モデルに、バケット９３４が写る画像を入力することにより、その画像に写るバケット９３４が傾斜状態である確率および水平状態である確率を出力させることができる。

なお、傾斜判定モデルは、その出力値から、傾斜検出部１０３が、バケット９３４がごみを掴み損ねる可能性が高いといえる程度、例えば熟練のオペレータであればごみ掴み動作を行わせない程度に傾斜していることを検出できるようなものであればよい。

例えば、傾斜判定モデルは、バケット９３４がごみを掴み損ねる可能性が高いといえる程度に傾斜したバケット９３４の画像を教師データとして構築してもよい。この場合、傾斜検出部１０３は、傾斜判定モデルから出力される、傾斜状態である確率値が閾値以上である場合に、バケット９３４が傾斜していると検出すればよい。

また、例えば、傾斜判定モデルは、水平状態であるバケット９３４の画像を教師データとして構築してもよい。なお、この場合、ごみを掴み損ねる可能性が低いといえる程度、言い換えれば熟練のオペレータであればごみ掴み動作を行わせる程度に傾斜したバケット９３４の画像についても、水平状態であるとして学習させてもよい。このような学習を行った場合、傾斜検出部１０３は、傾斜判定モデルから出力される、水平状態である確率値が閾値未満である場合、すなわち水平状態であるとは言い難い場合に、バケット９３４が傾斜していると検出すればよい。

また、図７のＩＭＧ３および図８のＩＭＧ６のようなバケット９３４が開状態のバケット９３４が写る画像については、開状態であることを示すラベルを対応付けて、教師データとすることができる。また、図８のＩＭＧ５のような閉状態のバケット９３４が写る画像については、閉状態であることを示すラベルを対応付けて、教師データとすることができる。同様に、図７のＩＭＧ４のようなバケット９３４が半開状態のバケット９３４が写る画像については、半開状態であることを示すラベルを対応付けて、教師データとすることができる。

そして、このような教師データを用いて機械学習を行うことにより、開閉判定モデルを構築することができる。このようにして構築した開閉判定モデルに、バケット９３４が写る画像を入力することにより、その画像に写るバケット９３４が開状態である確率、閉状態である確率、および半開状態である確率を出力させることができる。

なお、開閉判定モデルは、その出力値から、不完全保持検出部１０７が、バケット９３４がごみの保持に不十分な閉度となっていることを検出できるようなものであればよい。例えば、開閉判定モデルは、半開状態である確率のみを出力するものであってもよい。この場合、不完全保持検出部１０７は、半開状態である確率が閾値以上である場合に、不十分な閉度であると検出すればよい。

また、例えば、開閉判定モデルは、バケット９３４が開状態である確率と閉状態である確率とを出力するものであってもよい。この場合、不完全保持検出部１０７は、開状態である確率と閉状態である確率の何れもが閾値未満である場合、すなわち開状態とも閉状態とも言い難い場合に、不十分な閉度であると検出すればよい。

なお、状態判定モデル５１４、傾斜判定モデル、および開閉判定モデルは、それぞれ独立した学習済みモデルとして構築することもできるし、これらの複数を併合して１つの学習済みモデルとすることもできる。例えば、これら３つのモデルを併合して１つの学習済みモデルとしてもよい。この場合、バケット９３４を撮影した画像からバケット９３４が写る領域を検出すると共に、そのバケット９３４について、傾斜／水平、開／閉／半開、空中／接地／地切り、の各状態に該当する確率値を当該モデルに出力させることができる。このようなモデルを用いる場合、図２のブロック図における傾斜状態判定部１０２、クレーン状態判定部１０４、および開閉状態判定部１０６は１つのブロックに統合される。

〔処理の流れ（状態判定モデルの構築）〕
学習装置５が状態判定モデル５１４を構築する処理（学習方法）の流れを図９に基づいて説明する。図９は、学習装置５が状態判定モデル５１４を構築する処理の一例を示すフローチャートである。なお、図９の処理が開始されるまでに、操作履歴ＤＢ５１１に所定期間におけるクレーン９３の制御履歴データが記録されており、当該所定期間におけるごみピット内の様子を撮影した動画像がピット画像５１２として記録されているとする。

Ｓ１では、履歴抽出部５０１が、操作履歴ＤＢ５１１に記録されている制御履歴データの中から、手動で行われた巻き上げ制御の制御履歴データを抽出する。続いて、Ｓ２では、時刻特定部５０２が、Ｓ１で抽出された制御履歴データについて、その巻き上げ制御が行われた時刻を特定する。

Ｓ３では、画像抽出部５０３が、ピット画像５１２から、Ｓ２で特定された時刻に撮影された画像を抽出する。この画像には、図６のＩＭＧ２の例のように、地切状態のバケット９３４が写っている。

Ｓ４では、教師データ生成部５０４が、Ｓ３で抽出された画像に、正解データとして地切状態であることを示すラベルを対応付けて、巻き上げ可能な状態を検出するためのモデルである状態判定モデル５１４の構築に用いる教師データ５１３とする。

Ｓ５では、学習部５０５が、Ｓ４で生成された教師データ５１３を用いて機械学習を行い、状態判定モデル５１４を構築する。そして、Ｓ６では、学習部５０５は、Ｓ５で構築した状態判定モデル５１４を記憶部５１に記録し、これにより図９の処理は終了する。

なお、Ｓ２において、巻き上げ制御が行われた時刻の直前の時刻を特定する構成とすれば、Ｓ３では接地状態のバケット９３４が写る画像が抽出される。この場合、Ｓ４では、教師データ生成部５０４は、Ｓ３で抽出された画像に、正解データとして接地状態であることを示すラベルを対応付けて状態判定モデル５１４の構築に用いる教師データ５１３とする。

また、Ｓ２において、バケット９３４にある時刻（例えば、バケット９３４の巻き上げ制御が行われた後、バケット９３４を下降させる制御が行われるまでの期間内の時刻）を特定する構成とすれば、Ｓ３では空中状態のバケット９３４が写る画像が抽出される。この場合、Ｓ４では、教師データ生成部５０４は、Ｓ３で抽出された画像に、正解データとして空中状態であることを示すラベルを対応付けて状態判定モデル５１４の構築に用いる教師データ５１３とする。

なお、上記フローチャートでは、Ｓ１において手動で行われた巻き上げ制御の制御履歴データを抽出しているが、妥当なタイミングで巻き上げ制御が行われていれば、自動で行われた巻き上げ制御の制御履歴データを抽出してもよい。つまり、履歴抽出部５０１は、Ｓ１において、操作履歴ＤＢ５１１に記録されている制御履歴データの中から、妥当なタイミングで行われた巻き上げ制御の制御履歴データを抽出すればよい。

〔処理の流れ（状態判定および通知）〕
情報処理装置１が実行する処理（情報処理方法）の流れを図１０に基づいて説明する。図１０は、情報処理装置１が実行する処理の一例を示すフローチャートである。なお、クレーン９３の稼働期間中、情報処理装置１が図１０の処理を実行するのと並行して、制御装置３が後述する図１１の処理を実行する。

Ｓ１１（画像取得ステップ）では、画像取得部１０１が、撮影装置７によって撮影されたクレーン９３の画像を取得する。取得する画像は静止画像または動画像から抽出したフレーム画像である。なお、Ｓ１１～Ｓ１６の処理は、少なくともクレーン９３の自動制御期間中には繰り返し行われる。このため、Ｓ１１の処理も繰り返し行われ、クレーン９３がバケット９３４でごみを掴んだ後、ごみを掴んだ状態でバケット９３４を巻き上げるまでの一連の状態を撮影した画像が取得されることになる。

Ｓ１２では、傾斜状態判定部１０２が、Ｓ１１で取得された画像を傾斜判定モデルに入力することにより、バケット９３４の傾斜状態を判定する。そして、傾斜検出部１０３は、傾斜判定モデルの出力値が、バケット９３４が傾斜状態である可能性が閾値以上であることを示している場合に、制御装置３にバケット９３４が傾斜状態であると検出する。

Ｓ１３（検出ステップ）では、クレーン状態判定部１０４が、Ｓ１１で取得された画像を状態判定モデル５１４に入力することにより、クレーン９３の状態を判定する。そして、地切検出部１０５は、状態判定モデル５１４の出力値が、地切状態である可能性が閾値以上であることを示している場合に、バケット９３４を巻き上げ可能な状態となったことを検出する。

Ｓ１４では、開閉状態判定部１０６が、Ｓ１１で取得された画像を開閉状態判定モデルに入力することにより、バケット９３４の開閉状態を判定する。そして、不完全保持検出部１０７は、開閉状態判定モデルの出力値が、バケット９３４が半開状態である可能性が閾値以上であることを示している場合に、不完全保持状態であると検出する。なお、Ｓ１２～Ｓ１４の処理の実行順は任意である。また、これらの処理を並行で行う構成としてもよい。

Ｓ１５では、Ｓ１２～Ｓ１４の判定結果のうち、制御装置３への通知を要するものを制御装置３に通知する。具体的には、傾斜検出部１０３は、Ｓ１２においてバケット９３４が傾斜状態であると検出した場合、その旨を制御装置３に通知する。また、地切検出部１０５は、Ｓ１３においてバケット９３４を巻き上げ可能な状態であると検知した場合、その旨を制御装置３に通知する。また、不完全保持検出部１０７は、Ｓ１４において不完全保持状態であると検知した場合、その旨を制御装置３に通知する。

Ｓ１６では、画像取得部１０１が、クレーン９３の自動制御を終了するか否かを判定する。自動制御を終了するか否かの判定基準は特に限定されず、例えば、自動制御を終了する旨の操作が入力部１２に対して行われたときに自動制御を終了すると判定してもよい。なお、Ｓ１２～Ｓ１４の判定結果は、手動制御の際の参考にすることもできるから、クレーン９３の動作期間中は図１０の処理を継続するようにしてもよい。この場合、Ｓ１６では、クレーン９３の動作を終了するか否かを判定する構成とすればよい。

Ｓ１６で終了すると判定された場合（Ｓ１６でＹＥＳ）には図１０の処理は終了する。一方、終了しないと判定された場合（Ｓ１６でＮＯ）には処理はＳ１１に戻り、画像取得部１０１は新たな画像（前回のＳ１１で取得した画像の時系列順で次の画像）を取得する。

以上のように、情報処理装置１による情報処理方法は、クレーン９３がバケット９３４でごみを掴んだ後、ごみを掴んだ状態でバケット９３４を巻き上げるまでの一連の状態を撮影した画像を取得する画像取得ステップ（Ｓ１１）を含む。また、この情報処理方法は、状態判定モデル５１４に上記画像を入力して得た出力値から、バケット９３４を巻き上げ可能な状態となったことを検出する検出ステップ（Ｓ１３）を含む。

よって、Ｓ１３の検出結果に基づくＳ１５における当該検出結果の通知を契機として制御装置３に巻き上げを行わせることができる。これにより、タイマー等による制御で巻き上げを行う場合と比べて、巻き上げ可能となってから巻き上げを行うまでのタイムロスを少なくすることが可能になる。

〔処理の流れ（クレーン制御）〕
制御装置３が自動でクレーン９３の動作制御を行う際に実行する処理（制御方法）の流れを図１１に基づいて説明する。図１１は、制御装置３の自動制御により、ごみ掴み位置のごみをクレーン９３によって投下位置に投下させる際に実行する処理の一例を示すフローチャートである。

Ｓ２１では、クレーン制御部３０１がごみ掴み位置を特定する。そして、クレーン制御部３０１は、バケット移動制御部３０２に指示して、特定した上記位置にバケット９３４を移動させる。その後、クレーン制御部３０１は、バケット開閉制御部３０３に指示してバケット９３４を開状態にし、バケット昇降制御部３０４に指示してバケット９３４を下降させる。これにより、バケット９３４がごみ表面に接地した状態となる。

ここで、Ｓ２１における制御に従ってクレーン９３が動作している期間中、その様子を撮影装置７が撮影している。そして、撮影装置７が撮影した画像は情報処理装置１に送られて、情報処理装置１は当該画像を用いて図１０の処理を行い、判定結果を制御装置３に随時通知する。以下の制御装置３による処理は、このような通知に基づいて行われる。

Ｓ２２では、クレーン制御部３０１は、ごみ掴み位置を変更するか否かを判定する。具体的には、クレーン制御部３０１は、情報処理装置１からバケット９３４が傾斜状態であるとの検出結果を受信していた場合にはごみ掴み位置を変更する（Ｓ２２でＹＥＳ）と判定し、処理はＳ２３に進む。一方、クレーン制御部３０１は、そのような検出結果を受信していなかった場合にはごみ掴み位置を変更しない（Ｓ２２でＮＯ）と判定し、処理はＳ２４に進む。

Ｓ２３では、クレーン制御部３０１は、ごみ掴み位置を変更し、処理はＳ２１に戻る。ごみ掴み位置の変更方法は特に限定されない。例えば、クレーン制御部３０１は、直前のごみ掴み位置から所定距離だけずらした位置にごみ掴み位置を変更してもよい。

Ｓ２４では、クレーン制御部３０１は、バケット開閉制御部３０３にごみ掴み動作を開始させる。ごみ掴み動作の内容は予め定めておけばよい。例えば、バケット９３４に対する開指令と閉指令を所定時間毎に所定回数ずつ行うことにより実現される動作をごみ掴み動作としてもよい。

Ｓ２５では、クレーン制御部３０１は、バケット９３４の巻き上げを実行するか否かを判定する。ここで、クレーン制御部３０１は、ごみ掴み動作の開始後、所定の下限期間が経過し、かつ、情報処理装置１によりバケット９３４が巻き上げ可能な状態となったことが検出された場合に、巻き上げを実行する（Ｓ２５でＹＥＳ）と判定する。なお、所定の下限期間は、例えば一般的に地切りに要する時間等を参考にして適宜定めておけばよい。つまり、所定の下限期間は、一般的に地切りに要する時間を考慮すれば、地切りができているとは考えにくいような期間とすればよい。

Ｓ２５では、情報処理装置１によりバケット９３４が巻き上げ可能な状態となったことが検出されて、その旨が制御装置３に通知されていても、その通知タイミングが所定の下限時間の経過前であれば、巻き上げを実行するとは判定しない。これにより、例えば、情報処理装置１の誤検出により、未だ巻き上げ可能な状態となっていないにもかかわらず、巻き上げ可能な状態となったと検出してしまった場合であっても、そのような状態での巻き上げは行われない。これにより、ごみを掴み損ねる等による大きなタイムロスの発生を防ぐことができる。

クレーン制御部３０１は、Ｓ２５で巻き上げを実行する（Ｓ２５でＹＥＳ）と判定した場合には、Ｓ２７の処理に進み、バケット昇降制御部３０４にバケット９３４の巻き上げを行わせる。

一方、クレーン制御部３０１は、Ｓ２４で開始させたごみ掴み動作の終了時点までに、情報処理装置１からバケット９３４が巻き上げ可能な状態となったことが通知されなかった場合、当該通知に基づく巻き上げは実行しないと判定する（Ｓ２５でＮＯ）。この場合、クレーン制御部３０１は、Ｓ２４で開始させたごみ掴み動作が終了する（Ｓ２６）まで待機し、その後、バケット昇降制御部３０４にバケット９３４の巻き上げを行わせる（Ｓ２７）。

このように、クレーン制御部３０１は、ごみを掴む動作の開始後の所定期間内に巻き上げ可能な状態となったことが検出されなかった場合には、当該所定期間の経過を契機としてバケット９３４の巻き上げ動作を行わせる。これにより、情報処理装置１が巻き上げ可能な状態となったことを検出できなかった場合でも、所定期間の経過後に巻き上げ動作を行わせるので、タイムロスの発生を防ぐことができる。

上記所定期間は、クレーン９３により所定のごみ掴み動作が開始されてから終了するまでの期間とすればよい。ごみ掴み動作は、バケット９３４を巻き上げ可能にするために規定されたクレーン９３の一連の動作であり、この動作が終了した時点では、バケット９３４が巻き上げ可能な状態となっている可能性が高いためである。例えば、ごみ掴み動作の制御を、バケット９３４に対する開指令と閉指令を所定時間毎に所定回数ずつ行う制御とした場合、所定回数目の閉指令によるバケット９３４の閉動作が完了した時点で、上記所定期間が経過したと判定してもよい。

また、上記所定期間は、クレーン９３の過去の制御履歴等に基づいて設定してもよい。この場合、過去の制御履歴等から、ごみを掴む動作の開始後、バケット９３４が巻き上げ可能な状態となる可能性が高くなるタイミングを特定し、そのタイミングを基準として上記所定期間を設定してもよい。例えば、巻き上げ中にごみを落とす等のエラーを発生させることなく適正な巻き上げが行われた制御履歴を抽出し、それらの制御履歴における巻き上げの開始タイミングから、巻き上げ可能な状態となる可能性が高いタイミングを特定してもよい。そして、特定したタイミングに基づいて上記所定時間を設定してもよい。例えば、適正な巻き上げが行われた制御履歴における、ごみを掴む動作の開始から巻き上げ開始までの平均時間に所定のマージンを加えた値を上記所定時間としてもよい。

Ｓ２８では、クレーン制御部３０１は、バケット９３４の閉度が不十分ではないか判定する。ここでは、クレーン制御部３０１は、情報処理装置１からバケット９３４が半開状態である旨が通知されていれば、バケット９３４の閉度が不十分である（Ｓ２８でＹＥＳ）と判定し、Ｓ２９の処理に進む。一方、クレーン制御部３０１は、情報処理装置１からバケット９３４が半開状態である旨が通知されていなければＳ２８ではＮＯと判定し、Ｓ３０の処理に進む。

Ｓ２９では、クレーン制御部３０１は、バケット開閉制御部３０３にバケット９３４の閉度を上げる制御を行わせる。これにより、バケット９３４は、よりしっかりとごみを保持した状態となるので、保持したごみを意図しない場所で落下させてしまう可能性を低減することができる。

Ｓ３０では、クレーン制御部３０１は、ごみの投下位置を特定する。そして、バケット移動制御部３０２に指示して上記投下位置にバケット９３４を移動させ、その後、バケット開閉制御部３０３に指示してバケット９３４を開状態にさせる。これにより、ごみ掴み位置で掴んだごみが投下位置に投下され、図１１の処理は終了となる。なお、投下位置は、ごみピット内の位置であってもよいし、ホッパーの位置であってもよい。

〔効果実証のための実験〕
情報処理装置１が地切状態を検知したタイミングでバケット９３４の巻き上げを行うことにより、巻き上げ可能となってから巻き上げを行うまでのタイムロスを少なくすることができることを実証するための実験を行った。この実験では、情報処理装置１が地切状態を検知するタイミングと、所定のごみ掴み動作が終了するタイミングとを比較した。

上記実験の結果を図１２に示している。図１２は、クレーン９３に対する制御履歴と、情報処理装置１による状態判定の結果の遷移とを示す図である。より詳細には、図１２の上側のグラフには、バケット９３４の巻上指令と開閉指令の制御履歴を示し、図１２の下側のグラフには、バケット９３４の状態判定の結果の遷移とバケット９３４が掴んでいるごみの重量の計測結果の遷移とを示している。なお、バケット９３４の状態判定では、空中状態、接地状態、および地切状態の３つの状態の何れに該当するかを判定した。そして、グラフでは、空中状態を３、接地状態を１、地切状態を２の数値で表し、状態判定不能（何れの判定結果も閾値未満）は０とした。

実験開始直後の２１：５３：４５の時点では、バケット９３４はごみを掴んでいない状態で空中にある。その後、バケット９３４を一度閉じてまた開き、２１：５４：０２付近において、負の巻上指令、すなわちバケット９３４を下ろす制御を行った。図１２の下側のグラフに示す掴み重量は、この制御結果を反映し、バケット９３４が空中にある期間は０となっており、バケット９３４が接地した時点で負の値となっている。

次に、バケット９３４を下ろした後の２１：５４：１５から、２１：５４：３５頃までの約２０秒間、ごみ掴み動作を行った。具体的には、２１：５４：１５には負の開閉指令、すなわちバケット９３４を閉じる制御を行い、その後、バケット９３４の閉度をニュートラル（０）に戻して低速で短時間の巻き上げを行う制御を２回繰り返した。この巻き上げにより、バケット９３４はごみの表面から少し浮いた状態になり、図１２の下側のグラフに示すように、バケット９３４によるごみの掴み重量が計測結果に正しく反映されるようになる。なお、これらの制御は、バケット９３４を地切状態とするための制御である。

そして、ごみ掴み動作をした、２１：５４：３５にバケット９３４の巻き上げを開始した。なお、この時点での巻き上げは、バケット９３４が水平方向に移動可能な高さとなるまで行い、ごみ掴み動作時の巻き上げよりも巻き上げ速度が速く、巻き上げ距離も長い。

以上の制御を行った期間におけるバケット９３４の状態判定の結果は、図１２の下側のグラフに示すように、２１：５３：５５～２１：５４：００付近で誤判定および判定不能状態があったが、全体としてバケット９３４の状態を正しく判定できていた。特に、２１：５４：１２付近における空中状態から接地状態への遷移と、２１：５４：３０付近における接地状態から地切状態への遷移のタイミングを正しく判定できていた。

ここで、接地状態から地切状態への遷移が検出された２１：５４：３０という時刻は、ごみ掴み動作が終了して巻き上げが開始された２１：５４：３５よりも５秒程度早いタイミングである。言い換えれば、図１２に示す自動制御では、２１：５４：３０に巻き上げが可能な状態になっているにもかかわらず、その後もごみ掴み動作を継続して行うことにより、巻き上げを行うまでに５秒程度のタイムロスを発生させている。

この実験結果は、情報処理装置１が地切状態への遷移を検出したことを契機として巻き上げを開始することにより、巻き上げ可能となってから巻き上げを行うまでのタイムロスを少なくすることができることを示している。

〔変形例〕
上記実施形態で説明した各処理の実行主体は一例であり、適宜変更することができる。例えば、図９に示した学習方法、図１０に示した情報処理方法、および図１１に示した制御方法は、それぞれ複数のコンピュータに実行させることもできる。

例えば、図９のＳ１～Ｓ４の処理を実行するコンピュータと、Ｓ５およびＳ６の処理を実行するコンピュータを含む学習システムによって、図９のＳ１～Ｓ６の処理を実現することもできる。また、例えば、図１０のＳ１２～Ｓ１４の各処理を個別のコンピュータに行わせてもよいし、これらの処理を制御装置３が行うようにしてもよい。

また、制御システム１００の構成要素も上記実施形態の例に限られない。例えば、上記のように、図１０のＳ１２～Ｓ１４の各処理を制御装置３が行うようにした場合、制御システム１００の構成要素から情報処理装置１が省かれる。また、状態判定モデル等のモデルの構築は制御システム１００外で行うようにしてもよく、この場合、制御システム１００の構成要素から学習装置５が省かれる。また、撮影装置７は、制御のための画像を提供するものであり、制御自体には関与しないため、制御システム１００の構成要素から外してもよい。この場合、制御システム１００外の撮影装置７が撮影した画像を取得して制御を行うことになる。なお、制御システム１００により動作制御されるクレーン９３、およびクレーン９３を備えたごみ焼却設備も本発明の範疇に含まれる。

また、上述のように、情報処理装置１の判定および検出の結果は、自動制御に利用できると共に、手動制御の参考情報として利用することもできる。後者の場合、情報処理装置１の判定および検出の結果は、例えば表示装置等の出力装置に出力させて、クレーン９３のオペレータに提示すればよい。これにより、クレーン９３のオペレータは、当該出力結果を参考にしてクレーン９３の手動制御を行うことができる。

〔ソフトウェアによる実現例〕
情報処理装置１、制御装置３、および学習装置５の制御ブロック（制御部１０、３０、５０に含まれる各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、情報処理装置１、制御装置３、および学習装置５は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 情報処理装置
１０１ 画像取得部
１０５ 地切検出部（検出部）
３ 制御装置
７ 撮影装置
１００ 制御システム
９３ クレーン
９３４ バケット

Claims (7)

1. ごみを運搬するクレーンがバケットでごみを掴んだ後、ごみを掴んだ状態で当該バケットを巻き上げるまでの一連の状態を撮影する撮影装置と、
   ごみを掴んで巻き上げ可能な状態となったバケットの画像を教師データとした機械学習により構築された状態判定モデルに、上記撮影により得られた画像を入力して得た出力値から、上記バケットを巻き上げ可能な状態となったことを検出する情報処理装置と、
   上記情報処理装置が、上記バケットを巻き上げ可能な状態となったことを検出したときに、上記クレーンに上記バケットの巻き上げ動作を行わせる制御装置と、
   を含む制御システム。
2. 上記制御装置は、上記バケットによるごみを掴む動作の開始後の所定期間内に上記バケットが巻き上げ可能な状態となったことが検出されなかった場合には、当該所定期間の経過を契機として上記バケットの巻き上げ動作を行わせる、請求項１に記載の制御システム。
3. 上記制御装置は、上記バケットによるごみを掴む動作の開始後、所定の下限期間が経過し、かつ、上記バケットが巻き上げ可能な状態となったことが検出されたことを条件として上記バケットの巻き上げ動作を行わせる、請求項１または２に記載の制御システム。
4. 上記情報処理装置は、上記画像に基づいて、ごみ表面上にある上記クレーンのバケットが傾斜していることを検出し、
   上記制御装置は、上記情報処理装置が、上記バケットが傾斜していることを検出した場合に、上記クレーンによるごみの掴み位置を変更する制御を行う、請求項１から３の何れか１項に記載の制御システム。
5. 上記情報処理装置は、上記画像に基づいて、上記バケットがごみの保持に不十分な閉度となっていることを検出し、
   上記制御装置は、上記情報処理装置が、上記バケットがごみの保持に不十分な閉度となっていることを検出した場合に、上記バケットを閉じる制御を行う、請求項１から４の何れか１項に記載の制御システム。
6. ごみを運搬するクレーンがバケットでごみを掴んだ後、ごみを掴んだ状態で当該バケットを巻き上げるまでの一連の状態を撮影した画像を取得する画像取得部と、
   ごみを掴んで巻き上げ可能な状態となったバケットの画像を教師データとした機械学習により構築された状態判定モデルに上記画像を入力して得た出力値から、上記バケットを巻き上げ可能な状態となったことを検出する検出部と、を備える情報処理装置。
7. 情報処理装置による情報処理方法であって、
   ごみを運搬するクレーンがバケットでごみを掴んだ後、ごみを掴んだ状態で当該バケットを巻き上げるまでの一連の状態を撮影した画像を取得する画像取得ステップと、
   ごみを掴んで巻き上げ可能な状態となったバケットの画像を教師データとした機械学習により構築された状態判定モデルに上記画像を入力して得た出力値から、上記バケットを巻き上げ可能な状態となったことを検出する検出ステップと、を含む情報処理方法。

Images