JP7363294B2 - ロープ絡まり検出装置 - Google Patents

Description

本発明は、クレーンなどのワイヤロープどうしが絡まる事象を検出するロープ絡まり検出装置に関する。

ワイヤロープで荷を吊る場合、ワイヤロープの張力を軽減するために、荷を吊るフックを動滑車にして、ワイヤロープをフックに巻き掛けることが多い。その場合、フックに巻き掛かっているワイヤロープどうしが絡まることがある。ワイヤロープどうしが絡まった状態で、ワイヤロープを上げ下げすると、フックが傾いたりワイヤロープの損傷を招く。そこで、ワイヤロープの絡まりを防止する技術が提案されている。

特許文献１のクレーンでは、ワイヤロープは、シーブと、フックシーブと、ポイントシーブとの間に掛け回されていて、（１）シーブとフックシーブとの間に少なくとも２回掛け渡され、かつ、フックシーブとポイントシーブとの間に少なくとも２回掛け渡される第１の巻き掛け方式、または、（２）シーブとフックシーブとの間に少なくとも２回掛け渡され、かつ、フックシーブとポイントシーブとの間に少なくとも１回掛け渡され、かつ、ワイヤロープの端点がブームの元付けに取り付けられる第２の巻き掛け方式によって掛け回されている。

特許文献２のクレーンでは、メインウインチから繰り出されたメインワイヤロープがメインフックブロックのシーブを介して伸縮ブームのトップブーム部材に連結されている構成のクレーンにおいて、メインワイヤロープの索端部とトップブーム部材が、連結部材を介して連結されており、連結部材は、トップブーム部材に連結される第一部材と、索端部に連結される第二部材と、を備え、第二部材が第一部材に対して回転可能に連結されている。

特許文献３のクレーン装置では、ワイヤロープの複数の上下延伸部の間隔を保持するための間隔保持部材を備え、間隔保持部材が、ブームヘッドとフックブロックとの間隔の変化に応じて、ブームヘッドとフックブロックとの間を上下方向に移動する。

特許文献４のスイベルは、ロープの長手方向において互いに対して回転可能でありかつ張力を伝える２つのスイベル部品と、２つのスイベル部品の互いに対する強制回転のための回転駆動部とを備える。スイベルは、このスイベルに設けられ、スイベルに対するロープのねじれの方向を求めるための少なくとも１つの回転方向測定ユニットを備え、回転駆動部は、ロープに接続されたスイベル部品が求められたねじれ方向に回転するように、求められたねじれ方向に基づいて制御装置によって制御され得る。

特開２０１３－１４４５８８号公報 特開２０１８－０６５６８３号公報 特開２０１７－１５４８２７号公報 特表２０１６－５３２８３６号公報

特許文献１のクレーンは、ポイントシーブより前にある先端のシーブとフックシーブとの間にワイヤロープが２回掛け渡され、先端のシーブが複数枚の構造である。特許文献２のクレーンでは、ワイヤロープの回転を可能にする索端部の連結構造を設けている。特許文献３のクレーンでは、間隔保持部材を必要とし、ワイヤロープの掛け数を変更したりワイヤロープを交換したりする場合に、ワイヤロープを間隔保持部材に通し、間隔保持部材の位置を調整する手間がかかる。特許文献４のスイベルでは、スイベル部品を強制回転させる回転駆動部を要する。

ワイヤロープの絡まりを防止するためには、特別な構造または装置が必要であり、また、完全に絡まりを防止できるとは限らない。

本発明は、上述の事情に鑑みてなされたもので、フックを吊るワイヤロープどうしが絡まったことを検出することを目的とする。

本発明の観点に係るロープ絡まり検出装置は、
荷を吊るフック、および、前記フックに巻き掛けられるワイヤロープの、吊り下げられている前記ワイヤロープが相互に離隔している位置から前記フックまで、を撮影して画像データを生成する撮像装置と、
前記画像データからそれぞれの前記ワイヤロープに沿った線分を抽出し、前記相互に離隔している位置から前記フックまでの間で、前記ワイヤロープの線分が互いに交差している場合に、前記ワイヤロープが絡まり状態であることを検知する絡まり検知部と、
を備え、
前記絡まり検知部は、前記ワイヤロープの線分が互いに交差し、かつ、交差している前記ワイヤロープの線分のいずれかが前記交差している点で折れ曲がっている場合に、前記ワイヤロープが進行した絡まり状態であることを検知する。

好ましくは、
前記絡まり検知部は、前記画像データから前記ワイヤロープのエッジを算出し、前記エッジから前記ワイヤロープの線分を抽出するロープ線分検出部を含む。

あるいは、
前記絡まり検知部は、前記画像データから前記ワイヤロープの線分を抽出して、前記ワイヤロープが絡まっていない正常状態と、前記ワイヤロープが絡まっているロープ絡まり状態とに前記画像データを分類する、正常状態の画像データおよびロープ絡まり状態の画像データで機械学習された畳み込みニューラルネットワークの学習済モデルを含む。

好ましくは、
前記撮像装置は、前記荷および前記フックを上から撮影する吊荷監視カメラである。

本発明によれば、フックに巻き掛けられるワイヤロープの相互に離隔している位置からフックまでを撮影した画像データから、それぞれのワイヤロープに沿った線分を抽出し、相互に離隔している位置からフックまでの間で、ワイヤロープの線分が互いに交差している場合に、ワイヤロープが絡まり状態であると判定するので、ワイヤロープどうしが絡まったことを検出することができる。

本発明の実施の形態に係るロープ絡まり検出装置の構成を示すブロック図 実施の形態に係る撮像装置の設置位置を示す図 実施の形態１に係るロープ絡まり検出装置の構成を示すブロック図 ワイヤロープが正常状態の画像データの例を示す図 ワイヤロープの束が捩れて交差している状態の画像データの例を示す図 ロープ絡まりが進行した状態の画像データの例を示す図 実施の形態１に係る縦エッジ算出用オペレータの例を示す図 実施の形態１に係る横エッジ算出用オペレータの例を示す図 縦方向に連続する濃淡差の例を表す図 横方向に連続する濃淡差の例を表す図 実施の形態２に係る画像分析部の例を示す図

以下、本発明の実施の形態について図面を参照して詳細に説明する。なお図中、同一または同等の部分には同一の符号を付す。

実施の形態１．
図１は、本発明の実施の形態に係るロープ絡まり検出装置の構成を示すブロック図である。ロープ絡まり検出装置１は、荷を吊るフック２に巻き掛けられているワイヤロープ３どうしが絡まった場合に、ロープ絡まり状態を検出する。フック２にはワイヤロープ３が巻き掛けられて２本以上のワイヤロープ３で吊り下げられている。ワイヤロープ３の一方の先は、フック２または図示しないブームの先に固定され、他方の先は、ワイヤロープ３を巻き上げる図示しないウインチドラムに固定されている。

ロープ絡まり検出装置１は、フック２に巻き掛けられてフック２を吊っているワイヤーロープ３を撮影して画像データを生成する撮像装置１０と、撮像装置１０が生成した画像データから、フック２に巻き掛けられているワイヤーロープ３がロープ絡まり状態であることを検知する絡まり検知部１１と、を備える。撮像装置１０が撮影する画像は、ワイヤーロープ３の少なくとも吊り下げられているワイヤロープ３が相互に離隔している位置からフック２までを画角に含む。

絡まり検知部１１は、画像取得部１２、画像分析部１３、判定部１４、および報知部１５を備える。画像取得部１２は、撮像装置１０が生成した画像データを取得する。撮像装置１０は、吊り下げられているワイヤロープ３を撮影して、例えば、１秒間に３０フレームの画像データを生成するが、画像取得部１２はそのうち一部を取り込む。画像取得部１２は、例えば一定周期で画像データを取り込み、単位時間に一定枚数、例えば１秒に１枚の画像データを取得する。

撮像装置１０は、静止画像を撮影するカメラでもよい。その場合、画像取得部１２は、例えば一定周期で撮像指令を撮像装置１０に送り、撮像装置１０からその時の画像データを取得する。画像取得部１２が取得する画像データは、一定周期でなくてもよい。例えば、ワイヤロープ３の巻き上げ、ワイヤロープ３の繰り出し、およびワイヤロープ３の停止のそれぞれで、画像データを取り込む周期が異なっていてもよい。

画像分析部１３は、画像データを分析して、画像データからそれぞれのワイヤロープ３に沿った線分を抽出する。画像取得部１２または画像分析部１３は、画像データを分析する前に、画素の平均輝度、最大輝度、および最小輝度がそれぞれ画像データの間で同じ値になるように画像データを正規化してもよい。判定部１４は、画像分析部１３の分析に基づいて、ロープ絡まり状態であるか正常状態であるかを判定し、ロープ絡まり状態であると判定した場合に、ロープ絡まり状態であることを報知部１５に伝える。

報知部１５は、判定部１４からロープ絡まり状態であることが伝えられると、オペレータにロープ絡まりが発生したことを報知する。報知部１５は、例えば、警報器を鳴動させたり、警告灯を点灯もしくは点滅させたり、表示装置にロープ絡まり状態であることを表示させたりする。報知部１５は報知に替えて、または、報知に加えて、図示しない制御装置に指令して、ワイヤロープ３を巻き上げるウインチドラムの作動を停止させてもよい。

絡まり検知部１１は、Ｉ／Ｏインターフェース、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を備える。ＣＰＵは、例えばマイクロプロセッサ等であって、様々な処理や演算を実行する中央演算処理部である。絡まり検知部１１は、ＲＯＭに記憶されている制御プログラムを読み出して、ＲＡＭをワークメモリとして用いながら、ＣＰＵで制御プログラムを実行させることによって、画像取得部１２、画像分析部１３、判定部１４、および、報知部１５の動作を行う。

図２は、実施の形態に係る撮像装置の設置位置を示す図である。撮像装置１０は、例えば、クレーン９のブーム６の先端に、吊り下げられたフック２に向けて設置される。クレーン９は、走行機能を有する車両本体部分の上に旋回台を介してブラケット４とキャビン５とを備えている。キャビン５には、ワイヤロープ３どうしの絡まり状態を検知する絡まり検知部１１が配置されている。

ブラケット４には、ブーム６が、ブーム６の基端部のブームフートピンを介して取り付けられている。ブーム６は、このブームフートピンを中心にして起伏することができる。ブーム６は、ブラケット４とブーム６との間に設けられた起伏用シリンダが伸縮することにより、起伏される。ブーム６の先端には、ブーム先端部８が備えられている。ブーム先端部８の内部には、シーブが備えられている。

ブーム６の基端部の近傍には、回転することにより、ワイヤロープ３の繰り出しおよび巻き上げを行うウインチドラム７が設けられている。ウインチドラム７から延びたワイヤロープ３は、ブーム６に沿ってブーム先端部８内のシーブに掛けられ、シーブを経由してフック２を吊り下げる。また、ブーム先端部８には、フック２を吊り下げているワイヤロープ３を撮影することができる撮像装置１０が備えられている。

撮像装置１０は、例えば、フック２で吊り下げられる荷を撮影する吊荷監視カメラである。クレーン９で吊り荷を上げ下げするときに、キャビン５のオペレータから吊り荷を目視することができない場合がある。また、吊り荷がブーム先端部８のトップシーブの直下に位置するかどうかを、キャビン５のオペレータからは判断しにくい場合がある。そのような場合に、吊荷監視カメラの画像を見てオペレータは吊り荷の状態を判断できる。実施の形態では、吊荷監視カメラをロープ絡まり検出装置１の撮像装置１０として用いる。撮像装置１０は、吊荷監視カメラに限らず、フック２に巻き掛けられるワイヤロープ３の、吊り下げられているワイヤロープ３が相互に離隔している位置からフック２までを撮影して画像データを生成できるカメラであれば用いることができる。

図３は、実施の形態１に係るロープ絡まり検出装置の構成を示すブロック図である。図３では、図１に記載されていなかったデータ保持部１６を記載している。画像分析部１３は、エッジ算出部３１およびロープ線分抽出部３２を含む。判定部１４は、交差判定部４１および絡まり判定部４２を含む。データ保持部１６は画像データ６１，エッジデータ６２およびロープ線分データ６３を記憶する。

撮像装置１０はワイヤロープ３とフック２の画像を撮像して画像データを生成する。画像取得部１２は、一定周期で撮像装置１０から画像データを入力し、データ保持部１６に画像データ６１として記憶する。

図４は、ワイヤロープが正常状態の画像データの例を示す図である。図４では、フック２から下の部分が省略されている。撮像装置１０で正常状態のワイヤロープ３を撮影すると、ワイヤロープ３が接する画像の端からフック２まで、ワイヤロープ３はそれぞれ離隔して画像に写っており、交差していない。

図５は、ワイヤロープの束が捩れて交差している状態の画像データの例を示す図である。ワイヤロープ３は、ワイヤロープ３が接する画像の端からフック２までの間の点Ｃで、互いに交差している。図５では、ワイヤロープ３どうしが接触していないかもしれないが、フック２が既に正常状態から回転していて、ワイヤロープ３の束が捩れている。この状態でクレーン９の運転を続けると、ワイヤロープ３どうしが接触し、さらに捩れる可能性が高いので、ロープ絡まり検出装置１は、画像データでワイヤロープ３が交差している状態を、ロープ絡まりとして検出する。

図６は、ロープ絡まりが進行した状態の画像データの例を示す図である。図５の状態から、ワイヤロープ３が相互に接触し、さらにワイヤロープ３の束が捩れて絡まっている。この状態では、ワイヤロープ３は交差している点Ｄで折れ曲がって画像データに写っている。ワイヤロープ３が相互に交差し、交差している点で折れ曲がっている場合に、ロープ絡まりと判定できる。

図５および図６からわかるように、画像データからワイヤロープ３を線分として検出し、線分が交差している場合にロープ絡まり状態として検出することができる。さらに、線分が交差している点で折れ曲がっている場合に進行したロープ絡まり状態として検出することができる。

図３の画像分析部１３では、エッジ算出部３１で画像の濃淡のエッジを算出し、ロープ線分抽出部３２で、ワイヤロープ３の輪郭を含むエッジデータからワイヤロープ３を線分として抽出する。判定部１４は、ワイヤロープ３の線分が交差しているか否かを判別し、交差している場合にロープ絡まり状態であると判定する。さらに、ワイヤロープ３の線分が交差している点で折れ曲がっているか否かを判別し、交差している点で折れ曲がっている場合に、進行したロープ絡まり状態と判定する。

図７Ａは実施の形態１に係る縦エッジ算出用オペレータの例を示す図である。図７Ｂは、実施の形態１に係る横エッジ算出用オペレータの例を示す図である。図７Ａに示す縦エッジ算出用オペレータは、図８Ａに示すような縦方向に連続する濃淡差の境界、すなわち水平方向に濃淡が変化するエッジを算出するためのソーベルフィルタである。図７Ｂに示す横エッジ算出用オペレータは、図８Ｂに示すような横方向に連続する濃淡差の境界、すなわち垂直方向に濃淡が変化するエッジを算出するためのソーベルフィルタである。

エッジ算出部３１は、縦エッジ算出用オペレータの各数値を、対応する画素の輝度値に乗じて合計した値を、フィルタの中央に位置する画素の縦エッジ値とする。エッジ算出部３１は、同様に、横エッジ算出用オペレータの各数値を、対応する画素の輝度値に乗じて合計した値を、フィルタの中央に位置する画素の横エッジ値とする。エッジ算出部３１は、縦エッジ算出用オペレータおよび横エッジ算出用オペレータをそれぞれ、画像データの全ての画素に当てはめて、各画素の縦エッジ値および横エッジ値を算出する。エッジ算出部３１では、画像データの中でワイヤロープ３の像が存在するであろう範囲、例えば、図４に示す破線の範囲に限定して、縦エッジ値および横エッジ値を算出してもよい。

エッジ値は、その方向の輝度の変化が大きい部分では絶対値が大きくなる。輝度の変化が小さい部分では絶対値が小さく、輝度の変化がない部分ではエッジ値は０になる。いわば、エッジ値はある方向について輝度の偏微分に相当する。ある方向の輝度の変化の度合いを表せば、エッジ値は図７Ａまたは図７Ｂのソーベルフィルタによる演算以外の方法で求めた数値であってよい。

エッジ算出部３１は、画像データの各画素について、縦エッジ値および横エッジ値を演算する。各画素の縦エッジ値を、元の画像の画素の配列に従って配列したものを、縦エッジ画像という。各画素の横エッジ値を、元の画像の画素に従って配列したものを、横エッジ画像という。

エッジ値は、画像の水平方向又は垂直方向に限らず、画面の任意の方向の輝度の変化であってよい。例えば、画像の右上４５度方向に向かう輝度の変化、又は画像の右下４５度方向に向かう輝度の変化をエッジ値として算出することができる。エッジ値を２方向にとる場合、互いに直交する方向の輝度の変化をとることが望ましい。通常、画像は水平及び垂直の格子に区切られた画素の配列で表されるので、エッジ値も水平方向及び垂直方向の２方向で算出する。

図７Ａの縦エッジ算出用オペレータを用いた場合、画像の左から右に向かって輝度が明から暗に変化する画素の縦エッジ値は正であり、暗から明に変化する画素の縦エッジ値は負である。左から右に向かって明から暗に変化する画素で縦エッジ値が所定の値以上の点を縦プラスエッジという。また、左から右に向かって暗から明に変化する画素で縦エッジ値の絶対値が所定の値以上の点を縦マイナスエッジという。

図７Ｂの横エッジ算出用オペレータを用いた場合、画像の上から下に向かって輝度が明から暗に変化する画素の横エッジ値は正であり、暗から明に変化する画素の横エッジ値は負である。上から下に向かって明から暗に変化する画素で横エッジ値が所定の値以上の点を横プラスエッジという。また、上から下に向かって暗から明に変化する画素で横エッジ値の絶対値が所定の値以上の点を横マイナスエッジという。

エッジ算出部３１は、算出したエッジのうち、濃淡差（縦エッジまたは横エッジを構成する画素の、水平方向または垂直方向のエッジ値の差）が所定の値未満であるエッジを除去する。エッジを除去するとは、その画素のエッジ値を０（輝度の変化がない点）とすることに相当する。エッジ算出部３１は、所定の値未満のエッジを除去した縦エッジ画像と横エッジ画像を対応する画素ごとに加算して、エッジ画像を得る。エッジ画像には、プラスエッジとマイナスエッジが含まれる。エッジ算出部３１は、エッジ画像をエッジデータ６２として、データ保持部１６に記憶する。

ロープ線分抽出部３２は、エッジ画像から、エッジ値の絶対値が所定のしきい値以上である画素の連続する数が、所定の値（連続点数）未満であるエッジを除去する。また所定の長さ以上連続する点をプラスエッジ線およびマイナスエッジ線としてグループ化する。

ワイヤロープ３の輪郭は、一方がプラスエッジ線で他方がマイナスエッジ線として抽出できる。プラスエッジ線およびマイナスエッジ線をそれぞれ平滑化して、傾きの差が所定の値以下のプラスエッジ線とマイナスエッジ線の組を、１本のワイヤロープ３の輪郭とみなすことができる。

ロープ線分抽出部３２は、傾きの差が所定の値以下のプラスエッジ線とマイナスエッジ線の組を、１本のワイヤロープ３の輪郭とみなして、それらの中間の線、または、プラスエッジ線もしくはマイナスエッジ線を、ワイヤロープ３を表すロープ線分として抽出する。ロープ線分抽出部３２は、検出した複数のロープ線分のうち、傾きの差が誤差の範囲で、かつ、それぞれの延長が誤差の範囲で重なるものを、１本のロープ線分として合成する。ロープ線分抽出部３２は、検出したロープ線分を、ロープ線分データ６３としてデータ保持部１６に記憶する。

判定部１４の交差判定部４１は、ロープ線分データ６３から任意の２本のロープ線分を選択して、互いに交差しているか否かを判別する。２本のロープ線分がそれぞれ直線の一部である狭義の線分の場合には、それぞれの始点、終点および傾きから交差しているか否かを判別できる。一般的には、ロープ線分それぞれの端点でない中間点で、共通する画素があるか否かで、交差しているか否かを判別できる。交差判定部４１は、すべての２本のロープ線分の組み合わせについて互いに交差しているか否かを判別し、いずれかの組み合わせで交差していると判定した場合に、交差しているロープ線分の組みを、絡まり判定部４２に伝える。

絡まり判定部４２は、交差判定部４１から交差しているロープ線分の組みが伝えられた場合に、絡まり状態であると判定する。絡まり判定部４２は、さらに、交差しているロープ線分の組みのうち、いずれかのロープ線分が交差している点で折れ曲がっている場合に、進行した絡まり状態であると判定する。折れ曲がっているか否かは、ロープ線分の一端から連続する点を近似する直線と、他端から連続する点を近似する直線との傾きの差の絶対値が所定の値以上であるか否かで判別できる。判定部１４は、絡まり状態であると判定した場合、および、進行した絡まり状態であると判定した場合に、それぞれの状態であることを報知部１５に伝える。

報知部１５は、絡まり状態であることを判定部１４から伝えられると、オペレータにロープ絡まりが発生したことを報知する。さらに、進行した絡まり状態であることを判定部１４から伝えられると、オペレータに進行したロープ絡まりが発生したことを報知する。報知部１５は、例えば、警報器を鳴動させたり、警告灯を点灯もしくは点滅させたり、表示装置に絡まり状態および進行した絡まり状態であることを表示させたりする。報知部１５は、絡まり状態と進行した絡まり状態を識別できるように、報知することが望ましい。

報知部１５は報知に替えて、または、報知に加えて、図示しない制御装置に指令して、ワイヤロープ３を巻き上げるウインチドラム７の作動を停止させてもよい。特に、進行した絡まり状態の場合には、ウインチドラム７の作動を停止させることが望ましい。

実施の形態１では、絡まり検知部１１は、ロープ線分が互いに交差している場合を絡まり状態と判定し、ロープ線分が交差している点でいずれかのロープ線分が折れ曲がっている場合を進行した絡まり状態と判定して、それぞれの状態を検出している。絡まり検知部１１は、ロープ線分が交差している点でいずれかのロープ線分が折れ曲がっている場合のみを、絡まり状態として検出してもよい。

実施の形態１のロープ絡まり検出装置１によれば、吊り下げられているワイヤロープ３が相互に離隔している位置からフック２までを撮影した画像データから、ワイヤロープ３に沿った線分を抽出し、相互に離隔している位置からフック２までの間で、ワイヤロープ３の線分が互いに交差している場合に、ワイヤロープ３が絡まり状態であると判定するので、ワイヤロープ３どうしが絡まったことを的確に検出できる。さらに、交差しているワイヤロープ３の線分のいずれかが交差している点で折れ曲がっている場合に、ワイヤロープ３が進行した絡まり状態であると判定して報知するので、オペレータは、ワイヤロープ３の損傷を防止することができる。また、実施の形態１では、吊荷監視カメラを撮像装置１０として用いるので、専用のカメラを追加して設置する必要がない。

実施の形態２．
図９は、実施の形態２に係る画像分析部の例を示す図である。実施の形態２でも、ロープ絡まり検出装置１は、図１に示されるように、撮像装置１０および絡まり検知部１１から構成され、絡まり検知部１１は、画像取得部１２、画像分析部１３、判定部１４および報知部１５を備える。実施の形態２では、画像分析部１３は、画像データをワイヤロープ３の各状態、すなわち例えば、絡まり状態、進行した絡まり状態、および、正常状態に分類する分類ニューラルネットワーク１９である。

分類ニューラルネットワーク１９は、それぞれ人工ニューロン（以下、単にニューロンという）から構成されるノードを含む入力層、中間層および出力層、ならびに、互いに隣接する層の間でノードを相互に接続するエッジから構成される。中間層は、１層以上のｎ層を含む。入力層の各ノードｉ（ｉ＝１．．．ｋ）には、画像データのそれぞれの画素値ｘｉが入力される。中間層では、それぞれ前の層の出力が結合され活性化関数で演算された結果が後の層に伝達されて、最終的に出力層に出力される。中間層で、畳み込み層とプーリング層を繰り返すことにより、画像データを絡まり状態、進行した絡まり状態および正常状態に分類する。出力層は、絡まり状態、進行した絡まり状態および正常状態の３つのノードを有し、ノードｊ（ｊ＝１，２，３）はそれぞれ、画像データが状態ｊに分類される確率ｐｊを出力する。

中間層は、画像データに、例えば図７Ａに示す縦エッジ検出用オペレータおよび図７Ｂに示す横エッジ検出用オペレータに類似するフィルタをかけて、エッジ画像に相当する特徴マップを生成する畳み込み層を含む。分類ニューラルネットワーク１９は、このエッジ画像に相当する特徴マップから、濃淡差の小さいエッジの除去、短いエッジ線の除去、エッジ線のグループ化、および、ロープ線分の検出のそれぞれに相当する層を経て、ロープ線分の交差およびロープ線分折れ曲がりの判定に相当する層によって、最終的に分類される確率を出力する出力層に到る。

分類ニューラルネットワーク１９には、絡まり状態、進行した絡まり状態および正常状態に分類されている複数の画像データを入力し、画像データが分類されている状態と、分類ニューラルネットワーク１９の出力との差をバックプロパゲーションして各パラメータを調整することで、機械学習させておく。機械学習させる画像データは、少なくとも、フック２に巻き掛けられるワイヤーロープ３が２本から、クレーン９で用いられる最大の掛け数までのそれぞれの場合の、絡まり状態、進行した絡まり状態および正常状態の画像データを含む。

絡まり検知部１１は、分類ニューラルネットワーク１９の学習済みモデルに画像データを入力し、分類ニューラルネットワーク１９の出力である確率が最も大きいノード、すなわち最も確からしい状態を、画像データが分類されるべき状態と判定する。判定部１４は、画像分析部１３としての分類ニューラルネットワーク１９の出力である各状態に分類される確率から、画像データが正常状態、絡まり状態および進行した絡まり状態のいずれであるかを判定する。

判定部１４は、絡まり状態および進行した絡まり状態であると判定した場合に、その状態であることを報知部１５に伝える。報知部１５は、判定部１４から絡まり状態および進行した絡まり状態であることが伝えられると、オペレータに絡まり状態および進行した絡まり状態が発生したことを報知する。報知部１５は、例えば、警報器を鳴動させたり、警告灯を点灯もしくは点滅させたり、表示装置に乱巻状態であることを表示させたりする。報知部１５は報知に替えて、または、報知に加えて、図示しない制御装置に指令して、ウインチドラム７の作動を停止させてもよい。

判定部１４では、絡まり状態および進行した絡まり状態を合わせて、ロープ絡まりと判定して、報知部１５に伝えてもよい。あるいは、進行した絡まり状態の場合のみ、ロープ絡まりと判定して、報知部１５に伝えてもよい。

実施の形態２のロープ絡まり検出装置１によれば、絡まり状態、進行した絡まり状態および正常状態の画像データで機械学習させた分類ニューラルネットワーク１９の学習済モデルを用いて、画像データを分類するので、ワイヤロープ３どうしが絡まったことを検出することができる。ロープ絡まり検出装置１は、フック２に巻き掛けられるワイヤーロープ３が２本から、クレーン９で用いられる最大の掛け数までの場合の画像データで機械学習されるので、フック２に巻き掛けられるワイヤーロープ３の数によらずに、ロープ絡まりが発生したことを検出することができる。

１ ロープ絡まり検出装置
２ フック
３ ワイヤロープ
４ ブラケット
５ キャビン
６ ブーム
７ ウインチドラム
８ ブーム先端部
９ クレーン
１０ 撮像装置
１１ 絡まり検知部
１２ 画像取得部
１３ 画像分析部
１４ 判定部
１５ 報知部
１６ データ保持部
１９ 分類ニューラルネットワーク
３１ エッジ算出部
３２ ロープ線分抽出部
４１ 交差判定部
４２ 絡まり判定部
６１ 画像データ
６２ エッジデータ
６３ ロープ線分データ

Claims (5)

1. 荷を吊るフック、および、前記フックに巻き掛けられるワイヤロープの、吊り下げられている前記ワイヤロープが相互に離隔している位置から前記フックまで、を撮影して画像データを生成する撮像装置と、
   前記画像データからそれぞれの前記ワイヤロープに沿った線分を抽出し、前記相互に離隔している位置から前記フックまでの間で、前記ワイヤロープの線分が互いに交差している場合に、前記ワイヤロープが絡まり状態であることを検知する絡まり検知部と、
   を備え、
   前記絡まり検知部は、前記ワイヤロープの線分が互いに交差し、かつ、交差している前記ワイヤロープの線分のいずれかが前記交差している点で折れ曲がっている場合に、前記ワイヤロープが進行した絡まり状態であることを検知するロープ絡まり検出装置。
2. 前記絡まり検知部は、前記画像データから前記ワイヤロープのエッジを算出し、前記エッジから前記ワイヤロープの線分を抽出するロープ線分抽出部を含む、請求項１に記載のロープ絡まり検出装置。
3. 前記絡まり検知部は、前記画像データから前記ワイヤロープの線分を抽出して、前記ワイヤロープが絡まっていない正常状態と、前記ワイヤロープが絡まっているロープ絡まり状態とに前記画像データを分類する、正常状態の画像データおよびロープ絡まり状態の画像データで機械学習された畳み込みニューラルネットワークの学習済モデルを含む、請求項１に記載のロープ絡まり検出装置。
4. 荷を吊るフック、および、前記フックに巻き掛けられるワイヤロープの、吊り下げられている前記ワイヤロープが相互に離隔している位置から前記フックまで、を撮影して画像データを生成する撮像装置と、
   前記画像データからそれぞれの前記ワイヤロープに沿った線分を抽出し、前記相互に離隔している位置から前記フックまでの間で、前記ワイヤロープの線分が互いに交差している場合に、前記ワイヤロープが絡まり状態であることを検知する絡まり検知部と、
   を備え、
   前記絡まり検知部は、前記画像データから前記ワイヤロープの線分を抽出して、前記ワイヤロープが絡まっていない正常状態と、前記ワイヤロープが絡まっているロープ絡まり状態とに前記画像データを分類する、正常状態の画像データおよびロープ絡まり状態の画像データで機械学習された畳み込みニューラルネットワークの学習済モデルを含む、
   ロープ絡まり検出装置。
5. 前記撮像装置は、前記荷および前記フックを上から撮影する吊荷監視カメラである、請求項１から４のいずれか１項に記載のロープ絡まり検出装置。

Images