JP3785061B2

JP3785061B2 - 荷役クレーンにおけるコンテナ位置検知方法及び装置並びにコンテナ着床、段積制御方法

Info

Publication number: JP3785061B2
Application number: JP2001199943A
Authority: JP
Inventors: 浩二内田; 紀明宮田; 寛治小幡; 博文吉川
Original assignee: Mitsubishi Heavy Industries Ltd
Current assignee: Mitsubishi Heavy Industries Ltd
Priority date: 2000-10-27
Filing date: 2001-06-29
Publication date: 2006-06-14
Anticipated expiration: 2021-06-29
Also published as: US7106883B2; TW514620B; CN1394190A; JP2002205891A; CN1248955C; WO2002034662A1; DE60108159T2; EP1333003A4; KR100484706B1; DE60108159D1; HK1051353A1; EP1333003A1; EP1333003B1; US20020191813A1; KR20020062665A

Description

【０００１】
【発明の属する技術分野】
この発明は、荷役クレーンにおけるコンテナ位置検知方法および装置に関し、特に、吊具自身、または吊具が把持している吊りコンテナを対象コンテナ上に着床または積み付け、または吊具が把持しているコンテナを、地上の指定位置に積み付ける荷役クレーンにおけるコンテナ位置検知方法および装置、またはコンテナ着床、段積制御方法に関するものである。
【０００２】
【従来の技術】
コンテナヤード用橋形クレーンのような荷役用クレーンによって地上に積み付けられたコンテナを掴む為に、吊具（一般にスプレッダと称される）をコンテナ上に着床させる場合、あるいはコンテナを段積みする場合（コンテナを地上の指定位置に積み付ける場合を含む）、吊具あるいは吊具に把持されたコンテナを地上に積み付けられたコンテナに対して、あるいは地上の指定位置に対して所定の精度で位置合わせすることが必要である。特にコンテナ段積の場合は上下のコンテナで、水平ずれがないように段積みする必要がある。
【０００３】
このような運転を行うには、コンテナを積み付けるべき地上の指定位置、または吊具が掴む対象である、あるいは吊具に把持されたコンテナをその上に段積する対象となる地上のコンテナ（以下の説明においては、前記した地上の指定位置ならびに、掴む対象であるか、あるいは段積の対象となる地上のコンテナを「対象コンテナ」という）と吊具または吊具に把持されているコンテナ（以下の説明では吊コンテナという）の相対位置を検知し、相対位置のズレをなくすように制御しなくてはならない。
【０００４】
なお、以下の説明は、特記しない限り、吊具に把持されたコンテナを地上に積み付けられたコンテナ上に段積する運転を対象として行うが、吊具を地上に積み付けられたコンテナ上に着床させる運転、または、吊具に把持されたコンテナを地上の指定位置に積み付ける運転においても同様の技術を適用できることは言うまでもない。以下の説明において、吊コンテナのエッジ検出についての説明は、特記しない限り、吊具自体のエッジ検知にも適用され、また、対象コンテナのエッジ検知に関する説明は、特記しない限り、地上に設置して、第一段目の積み込みを容易にする目標マークのエッジ検知にも適用される。
【０００５】
荷役クレーンにおいて対象コンテナの位置を検知する従来技術としては、特開平５−１７０３９１号公報（特許公報第２８３１１９０号）に示されているように、吊具に取り付けられた超音波式等による水平距離検出器によって吊具とコンテナ側面との間の距離を計測し、その計測値より対象コンテナの位置を検知するものや、吊具に取り付けられたＣＣＤカメラ等の撮像手段によって吊具下方を撮像し、それの画像データより画像処理技術によって対象コンテナのエッジを見出し、これに基づいて対象コンテナの位置を検知するものなどが知られている。
【０００６】
また、欧州特許公報０４４９１５Ａ１には、吊具に下向きに取り付けられたＣＣＤカメラのような撮像手段によって吊具に連結する対象コンテナのコーナ部を撮像し、画像処理技術によって吊具と対象コンテナとの相対位置を検出し、これに基づく吊具の位置制御によって吊具に対するコンテナの連結時の位置決めを自動的に行う技術が示されている。
【０００７】
【発明が解決しようとする課題】
水平距離検出器によって吊具とコンテナ側面との間の距離を計測するものでは、水平距離検出器とコンテナとの干渉の問題があり、対象コンテナと吊りコンテナとの水平ずれ量が大きい段階で水平距離検出器を計測位置に位置させようとすると、水平距離検出器が対象コンテナに衝突する虞れがあり、実際には実用化することが難しい。
【０００８】
ＣＣＤカメラ等の撮像手段によって吊具下方を撮像し、それの画像データより画像処理技術によって対象コンテナのエッジを抽出するものは、干渉、衝突の虞れはないが、実際のクレーン運転環境においてＣＣＤカメラ等により撮像した画像データを処理して対象コンテナを誤りなく抽出することについては問題があった。実際の運転環境においては、天候条件の変化、太陽光強度の変化、クレーン自体、吊コンテナ、あるいは隣接するコンテナ積山等によってできる陰影等の影響に加え、コンテナ塗装のムラ、コンテナ表面の反射率の違い等が影響し、これらの影響を排除しなければ実用的な対象コンテナ抽出は実現できなかった。
【０００９】
この発明は、上述の如きＣＣＤカメラ等の撮像手段の画像データ処理による対象コンテナのエッジ抽出に関して、実際運転下での環境条件、対象コンテナの条件等の影響によって生ずる問題点を解消するためになされたものである。吊具に設置したＣＣＤカメラ等の撮像手段によって得た画像データの処理による対象コンテナのエッジ抽出を、実際の運転環境における各種状態、条件の影響を排除して信頼性高く、確実に行い、それを利用して対象コンテナと、吊コンテナとの相対位置検知を、精度よく、確実に行うことにより、荷役クレーンの自動運転化を推進する荷役クレーンにおけるコンテナ位置検知方法、およびその方法の実施に使用されるコンテナ位置検知装置、またはコンテナ着床、段積制御方法を提供することを目的としている。
【００１０】
【課題を解決するための手段】
上述の目的を達成する手段の基本的な着眼点は、（１）検出対象の形状が直方体であること、（２）対象コンテナ又はコンテナ積み付け場所の目標位置を表示するマークを上方から見た形状（長方形をなす）の各辺と、吊コンテナの応当する各辺は、ここには詳述しない他の方法により互いにほぼ平行をなすように保持されること、（３）吊コンテナと対象コンテナの概略相対高さは他の計測手段により既知であること、および、（４）対象コンテナと、吊コンテナの水平距離は、後に述べる方法により所定の範囲に保持されることにある。
【００１１】
上述（１）の、対象コンテナが直方体であることを利用するとは、吊具に設置したＣＣＤ等の撮像手段から得た対象コンテナの画像データを処理して、あらかじめ設定した値以上の輝度変化、または色相変化を生ずる画素群の配置を近似する直線をあてはめることができるとき、そのような直線で近似できる配置をなす画素群は、該コンテナの陵線、すなわち、コンテナのエッジを表すものとして、対象コンテナの位置を検知することである。しかしながら、対象コンテナ自身の色ムラ、さび、周辺の影等により、コンテナのエッジ以外の部分にも輝度変化を生じ、上述の様にして抽出した直線は一つに定まらないことが多い。
【００１２】
エッジを表す候補である複数の直線から、対象コンテナのエッジを確定するについては、上述（２）、（３）および（４）または、それらのいずれかを利用する。すなわち、吊具に設置した、ＣＣＤカメラ等の撮像手段を対象コンテナと吊コンテナとを同時に撮像可能に配置する。この様にすると、上述した画像処理によって得られた吊コンテナの辺に対応するエッジを表す直線と、対象コンテナの応当する辺に相当するエッジを表す直線を互いに対応して比較することができる。
【００１３】
対象コンテナのエッジを表す直線と、吊コンテナの応当するエッジを表す直線を対応させると、両者はほぼ平行の位置関係にあるものである。一方、吊コンテナと対象コンテナの概略相対高さが他の手段で検出されているので、吊具に設置したＣＣＤ等の撮像手段から得た画像データ平面上における対象コンテナのエッジ候補直線と吊コンテナの応当するエッジ直線間の関係から、両者間の実際の水平距離の概略の値を求めることができる。前記した通り、吊コンテナは対象コンテナに対してあらかじめ設定した水平距離の範囲内に位置決めされているので、画像データから求めた前記概略の水平距離について、あらかじめ設定した値の範囲内と判定された候補直線のみが、対象コンテナのエッジを表す直線である。
【００１４】
上述の解決手段を用いる場合は、吊コンテナの一辺を表す直線の抽出を最初に行う。吊コンテナは吊具に把持されており、吊具に設置したＣＣＤ等の撮像手段との相対位置関係が変化しない。そこで、該吊コンテナを目標位置近くまで移動する間に、ＣＣＤ等の撮像手段から得た画像データにつき、画素の輝度変化を調べ、あらかじめ設定した値以上の輝度変化を生ずる画素群の配置に対する、近似直線の当てはめ処理を繰り返して行い、画像データ平面内の同じ位置に常に直線を当てはめられるとき、その直線を吊コンテナのエッジとすることができる。ここで、画像データ平面とは、ＣＣＤカメラ等の撮像手段により得た画像データの画素が二次元的に分布する面を言う。各画素の位置は、画像データ平面に設定した二次元座標で定義される。
【００１５】
吊具を対象コンテナに着床させる場合は、吊具と対象コンテナの相対位置の検知が必要であり、吊具自体の位置を上述の吊コンテナについて説明したと同様に検知することが必要である。実際には、撮像手段を、吊具と対象コンテナを同時に撮像可能なように吊具上に配置することは困難であるが、吊具上での撮像手段の配置が既知であるから、撮像手段から得た画像データの平面に対して吊具のエッジを表す直線位置を仮想的に設定することが可能であり、吊コンテナのエッジ線との比較により対象コンテナのエッジ線を検知すると同様な方法で、吊具に対する対象コンテナエッジ検知を行うことができる。
【００１６】
画像データの処理によって対象コンテナのエッジ検出を行う場合は、前記した吊コンテナのエッジを表す画像データ平面内の直線に並行で、吊コンテナと対象コンテナ間のあらかじめ設定した水平距離範囲に相当する幅を持った帯状の画像データ平面の領域について、各画素の輝度または色相の変化を調べる。あらかじめ設定した値を超える輝度変化を生ずる画素群の配置を近似する直線の当てはめを行う。これら画素群の配列の近似として当てはめられた直線は、対象コンテナのエッジを表す候補となる直線である。
【００１７】
対象コンテナの塗装の反射率変化、隣接クレーンの陰影等のため、前記の処理の結果として複数の直線が検出される場合がある。そこで、エッジの候補として検出されたそれぞれの直線と吊コンテナの辺を表す直線との平行度をチェックし、ほぼ平行のものを抽出する。前記の平行度チェックの結果によっても複数の候補直線が検知された場合は、さらに、それらの内、最も長い直線を対象コンテナのエッジとして確定する。
【００１８】
なお、コンテナを地上に積み付ける場合には、コンテナ位置を検出する場合と同様な効果を有する形状、マーク等が積み付け位置に設置されているものとし、それら形状またはマークを同様な方法で検出することにより目的の機能を達成できる。
【００１９】
さらに、吊具の同一辺の両端部にそれぞれ配置された２台の撮像手段によって吊具下方を撮像した画像データから得たそれぞれの対象コンテナのエッジ候補直線を相互に比較、参照することにより、対象コンテナのエッジ検出を確実なものとすることができる。当該２台の撮像手段の吊具上での配置は、それらが取り付けられた一辺の中点に関して、両者がほぼ対称の位置関係にあるよう配置される。このように配置された２台の撮像手段によって吊具下方を撮像し、それぞれの画像データのにおいて前記した輝度または色相変化チェックとエッジ候補直線を検出する。別々に行って検出した候補直線どうしを比較し、ほぼ一つの直線をなすものを選択すると、それは、対象コンテナの同一の辺を検出したものであり、１台の撮像手段のみにより検出した場合よりも確度の高い検出を行うことが可能となる。
【００２０】
この発明によるコンテナ位置検知方法では、前記２台の撮像手段の画像データのそれぞれより対象コンテナのエッジを抽出する際、一方の撮像手段から得た画像データによっては、対象コンテナの当該撮像手段が設置された側のエッジ線が確定できない場合には、他方の撮像手段の画像データにおける対象コンテナのエッジ位置の検出結果を参照して、そのエッジ線の延長線に接近したものを、エッジを確定できなかった側のエッジ線として確定できる。
【００２１】
上述した方法を実施する場合には、ＣＣＤ等の撮像手段は吊具の外周を画する構造から張り出して設置し、吊具がコンテナを把持している場合にも、吊具が撮像手段の視野を遮らず、対象コンテナの像を確実にとらえることが可能な様に配置することが必要である。
【００２２】
また、吊具が把持したコンテナの荷重分布の不均等等の理由により、吊具が傾き、結果、撮像手段の視野中心方向が傾く場合には、吊具と対象コンテナの相対位置の検出量に誤差を生ずる。吊具の傾きの影響を補正する為、吊具に傾斜検出手段を設置して、その検出値によって相対位置検出値を補正する。吊具の傾きを検出する他の方法として、巻き上げロープの張力を検出し、張力差が傾きにほぼ比例関係にあることを利用して当該補正を行うこともできる。
【００２３】
コンテナの荷役を行うためには、対象コンテナの長手方向と短手方向について吊具に把持されたコンテナとの相対位置を検出する必要がある。この場合において、前記した撮像手段によって得た画像データの処理方法を長手方向および短手方向にそれぞれ適用すれば良い。しかし、装置が２重に必要であり経済性において問題がある。
【００２４】
前記した通り、撮像手段から得た画像データの処理により、長手あるいは短手方向のエッジの位置を表すものとして検出した直線は、ほぼその線上にあって、そこにおける輝度または色相の変化がほぼ等しい画素群が成すもの、またはその延長である。従って、この直線を長手方向のエッジ位置を表すものとして検出した場合には、対象コンテナの長手方向におけるコンテナの端部を越えた該直線の範囲では、対象コンテナのエッジに相当する範囲と同様な輝度または色相の変化を有する画素の分布密度は極めて低い。このような画素の分布密度が急激に変化する該直線上の点は、対象コンテナの長手方向端部の位置を表すものである。
【００２５】
対象コンテナの形状が直方体であることから、長手方向の端部位置が決定されれば、その点から、前記長手方向のエッジ位置を表す直線に直交している直線をもって短手側のエッジとして確定することができる。同様の方法は短手側についてエッジ位置を検出し、その結果を利用して長手方向のエッジ位置を検出する場合にも適用できる。すなわち、長手または短手方向のいずれかのエッジ検出により、他方のエッジ検出を行えるので、撮像手段等の設備を節約できる。
【００２６】
以上に説明した吊具または吊具に把持されたコンテナと対象コンテナとの相対位置を、吊具に設置した撮像手段によって得た画像データの処理によって検知する方法および装置を利用した、荷役クレーンの自動制御について、以下に記述する。この制御は、前記した、吊コンテナと対象コンテナの水平距離をあらかじめ設定した範囲に保持する機能をも含む。
【００２７】
荷役クレーンにおける自動制御は、第一の目標位置において、地上に積み上げたコンテナを吊具で掴み、第二の目標位置に該コンテナを移動し、さらに、第二の目標位置にある、地上に積み上げた他のコンテナ上に許容の位置ズレ内に積み付けることである。なお、第一の目標位置におけるコンテナは、トレーラ等の荷台上等にある場合があり、また、第二の目標位置におけるコンテナ積み付け位置は、地上、または、トレーラ等の荷台上であることもある。
【００２８】
第二の目標位置におけるコンテナ積み付け位置が、地上、または、トレーラ等の荷台上等である場合には、地上、または荷台等の周辺に、後述する、対象コンテナとの相対位置検知を行う場合と類似の効果を持つ形状、あるいは、マークが施されているものとする。
【００２９】
地上に置かれた対象コンテナの位置は、地上の基準点からの距離で与えられる。一方、荷役クレーンにおいては、吊荷の位置はクレーン機体上に設定した基準点からの距離として検知される。この場合において、自動制御を行うためには、クレーン上の基準点に対して検知された吊荷の位置を、地上の基準点に対するものに変換することが必要である。この変換は、まず通常、クレーンの脚部の位置を、前記地上の基準点に対して位置検知し、それに脚部から前記クレーン上の基準点までの位置のオフセットおよび該基準点から吊荷の支持点であるトロリーまでの位置のオフセットを加えて行う。
【００３０】
最終的には、さらに、トロリーを基準とした吊荷の位置オフセットを加えることが必要である。このような変換結果には、地上基準点に対するクレーン脚部の位置等、前記した変換に関与する全ての計測値の誤差が加算されるので、極めて高い精度の計測が必要であり、また、クレーンの構造変形等の影響の補正も必要である。特に、無軌道クレーンでは、クレーン脚位置の地上基準点に対する位置の高精度な計測が困難であり、また、走行車輪の変形に対する補正も困難で、自動運転を実施するには問題があった。前記した、クレーン上の基準点から検知した吊荷の位置を、地上の基準点に対すものに変換することを基礎とした自動制御を、絶対位置制御という。
【００３１】
吊具または、吊コンテナと、対象クレーンの相対位置を検知する、上述の検知方法を利用する場合は、絶対位置制御のような困難がなく、自動化を容易に実現できる。高精度な位置検知、位置制御を必要とするのは、最終的に吊具、または吊コンテナを、対象コンテナに着床し、段積みする時であるが、本発明に関る相対位置検知方法は、地上基準点に関係なく、直接に吊具、または吊コンテナと対象コンテナの相対位置を検知でき、相対位置のズレを無くす様にトロリー等の位置を制御することにより、自動的に着床、段積みを行える。前記した、相対位置検知と相対位置ズレをゼロにすることを基礎にした、制御方法を、相対位置制御モードという。
【００３２】
一方、前記相対位置検知は、吊具または、吊具に把持されたコンテナと、対象コンテナが水平方向について相互に適当な範囲内に位置している場合に可能である。吊具または、吊具に把持されたコンテナと、対象コンテナがともに水平方向について適当な範囲内に位置するように制御するには、前記した絶対位置制御と類似な制御を行う必要がある。すなわち、地上の基準点からの距離として与えられた対象コンテナの位置に合致するよう、クレーン脚位置、トロリー位置、吊具位置等のクレーンの各部位置が決められた位置に到達するように制御することが必要である。ただし、相対位置検知を利用した制御では、地上の基準点で与えられた対象コンテナ位置に対する位置決め制御は、上述の相対位置検知が機能し得る程度の範囲に達することを要求されるだけであり、低精度の制御で十分である。上記の、相対位置検知が可能な位置関係の範囲に、吊具を位置決めする制御を、絶対位置制御モードという。
【００３３】
以上の記述で明らかな通り、相対位置制御モードと絶対位置制御モードを組み合わせ、吊具、または吊コンテナが、対象コンテナ位置から離れている（相対位置検知が機能しない範囲）間は、絶対位置制御モードを、接近した（相対位置検知が機能する範囲）後は、相対位置制御モードに自動的に切り替えることにより、クレーン脚部位置、トロリー位置、トロリーに対する吊荷位置等の、高精度な位置検知、位置決め制御を必要とせず、また、クレーン機体の変形等の影響を受けない制御が実現できる。このような制御は、地上基準点に対するクレーン脚の位置の検知、位置決めが難しく、またクレーン構造、走行タイヤ車輪の変形の大きい無軌道クレーンにおいて特に顕著な効果がある。
【００３４】
吊具に把持されたコンテナをコンテナ蔵置ヤード地上の一段目に積み込む場合には、すでに積み付けられているコンテナのエッジ抽出により相対位置ズレを検知する前記した方法は使用できない。これを解決する手段としては、地上のコンテナ積み付け位置である長方形のエリアの周辺に、該長方形の外部で、吊具に設置した撮像手段による撮像が可能な範囲に、該長方形の一辺または複数の辺に平行に、地上の表面輝度、または色彩と異なる帯上の着色を施す（テープの貼り付け、塗装を含む）ことにより、積み付けられたコンテナのエッジを検知すると同様な方法で、吊コンテナと、地上の積み付けエリアとの相対位置を検知できる。なお、地上に着色する代わりに、直線の陵を持つ物体を同様な位置に配置することによっても同様な効果を得られる。
【００３５】
ここで、前記したコンテナ蔵置ヤード地上に施されたされた帯状の着色又は陵を持つ物体を目標位置マークと称する。目標位置マークはコンテナ蔵置ヤード地上の所定のコンテナ積み付け位置に対してあらかじめ決められた水平方向位置関係を持って配置される。従って、吊具に把持したコンテナの対象コンテナ又は目標位置マークに対する前記水平方向相対位置関係からの偏差を、本発明にかかるコンテナ位置検知方法を適用して検知し、当該偏差が許容値以下になった時に吊り具に把持したコンテナを対象コンテナ上や地上の所定位置に着床させることにより、吊具に把持したコンテナを地上の所定位置等に自動的に着床させる制御を行うことができる。なお、２段目以上の段積の場合にも、吊りコンテナと前記目標位置マークとの相対位置関係の検知量を、吊りコンテナと対象コンテナとの相対位置検出に代えて使用し、又はそれらを併用して段積を自動的に行う制御が可能である。
【００３６】
手動運転にて吊具に把持されたコンテナを積みつける場合にも、相対位置の検知結果を表示装置に表示し、運転操作の援助手段とすることができる。手動運転を行う場合、吊具に把持されたコンテナと対象コンテナの位置関係を目視できないことがあり、運転操作の困難性を増し、作業効率の低下を来す場合がある。上記の相対位置検知結果を、運転室等、運転者が利用し易い場所に配置した表示装置に表示し、表示された相対位置ズレをなくすよう運転操作を行うことにより、視野の制約による運転操作の困難性を解決し、作業効率を改善できる。
【００３７】
以上に述べた吊コンテナと対象コンテナ間の相対位置検知方法は、吊コンテナあるいは吊具と、対象コンテナに隣接するコンテナ積み山への衝突防止にも利用できる。すなわち、対象コンテナとの相対位置検出において設定した帯状の画像データチェック範囲を、隣接するコンテナ存在範囲に設定することにより、以上述べたと同様の画像処理により隣接コンテナに対する相対位置を検出し、吊具または吊コンテナが隣接コンテナに衝突しないよう制御できる。
【００３８】
【発明の実施の形態】
以下、添付の図を参照して、この発明にかかる荷役クレーンにおけるコンテナ位置検知方法および装置、またはコンテナ着床、段積制御方法の実施の形態を詳細に説明する。
【００３９】
まず、この発明によるコンテナ位置検知装置が適用されるクレーンの全体構成を図１を参照して説明する。このクレーンは、コンテナを段積みするタイヤ式ヤード用橋形クレーンであり、タイヤ式走行装置１１によって無軌道面上を走行する門形のクレーン走行機体１０を有している。クレーン走行機体１０の水平な上部梁１２には上部梁１２に沿って水平方向に移動する横行トロリー１３が設けられている。横行トロリー１３には巻上装置１４が搭載されており、巻上装置１４が巻き上げ、繰り出しを行う吊りワイヤ１５によってコンテナ用の吊具（スプレッダ）１６が吊り下げられている。吊具１６は吊り荷であるコンテナＡを係脱可能に保持（把持）することができる。
【００４０】
吊具１６の一つの辺１６ａの両端部にはそれぞれ吊具下方を撮像する２台のＣＣＤカメラ２０Ｒ、２０Ｌが下向きに取り付けられている。なお、この実施の形態では、辺１６ａと平行なもう一つの辺１６ｂの両端部にもそれぞれ吊具下方を撮像する２台のＣＣＤカメラ２１Ｒ、２１Ｌが下向きに取り付けられている。
【００４１】
これは、対象コンテナＢに対して吊りコンテナＡがいずれの側に偏倚していても、対象コンテナＢのエッジ抽出が行われ得るようにするためであり、ＣＣＤカメラ２０Ｒ、２０Ｌ、２１Ｒおよび２１Ｌは、適宜に対を成して扱われるので、ここでは、ＣＣＤカメラ２０Ｒ、２０Ｌが対になっている場合について説明する。
【００４２】
図２は、この発明によるコンテナ位置検知装置の一つの実施の形態を示している。コンテナ位置検知装置は、画像処理装置３０を含んでいる。画像処理装置３０は、画像処理用のコンピュータにより構成され、２台のＣＣＤカメラ２０Ｒ、２０Ｌのそれぞれより画像データを入力する。画像処理装置３０は、ＣＣＤカメラ２０Ｌおよび２０Ｒから取り込んだ画像データを処理して、対象コンテナ（Ｂ）のエッジを表す直線の候補群抽出部（３０Ａ）と、抽出したエッジ直線候補群からの対象コンテナ（Ｂ）のエッジ線確定部（３０Ｂ）、ならびに対象コンテナ（Ｂ）と吊コンテナ（Ａ）の相対位置検知部（３０Ｃ）を有している。３０Ｃにおいては、３０Ｂにおいて対象コンテナ（Ｂ）のエッジ線として画像データ平面内で確定した直線と、対象コンテナ（Ａ）のエッジ線として同平面において確定した直線との相対関係から、対象コンテナ（Ｂ）と吊コンテナ（Ａ）の相対位置を検知する。
【００４３】
なお、吊具に把持されたコンテナをコンテナ蔵置ヤード地上の一段目に積み込む場合には、地上のコンテナ積み付け位置である長方形のエリアの周辺に、該長方形の外部で、吊具に設置した撮像手段による撮像が可能な範囲に、該長方形の一辺または複数の辺に平行に、地上の表面輝度、または色彩と異なる帯上の着色を施し（テープの貼り付け、塗装を含む）、２台のＣＣＤカメラ２０Ｒ、２０Ｌおよび画像処理装置３０によってこの着色のエッジを検出して、吊コンテナと、地上の積み付けエリアとの相対位置を検知できる。また、地上に着色する代わりに、直線の陵を持つ物体を前記長方形のエリア周辺に配置して当該陵をエッジとして検出し、吊コンテナと、地上の積み付けエリアとの相対位置を検知してもよい。
【００４４】
図３は、図２における、対象コンテナ（Ｂ）のエッジを表す直線の候補群抽出部（３０Ａ）の処理内容を示す。図３において、３３は、吊コンテナ（Ａ）のエッジ線を検出する処理であって、該吊コンテナを吊具が把持した後、クレーンによって対象コンテナ（Ｂ）近傍まで移動する間に行う。処理内容は図３の３４、３４−１、３５、３６Ｌ並びに、図４に示す３７、３８および３９と同内容であるが、吊具と吊コンテナ（Ａ）の位置関係、すなわちＣＣＤカメラ（２０Ｌおよび２０Ｒ）と吊コンテナの位置が常に一定であることから、対象コンテナ（Ｂ）への移動中に、図３および図４に示す前記処理を繰り返し行うことにより検知することができる。
【００４５】
図３の３４以下に示す処理は、対象コンテナ近傍への移動後行う対象コンテナ（Ｂ）についての画像処理およびエッジ線検知の処理である。処理３４では、対象コンテナ（Ｂ）の画像を取り込み、図３の３４−１以下の画像処理部へ入力する。３４−１では、対象コンテナ（Ｂ）が、吊コンテナ（Ａ）とほぼ平行関係を持って、あらかじめ設定距離範囲内にあることから、画像データ平面における、処理３３で検知した吊コンテナ（Ａ）のエッジ線に対して平行で、あらかじめ設定した距離の幅を持つ帯状領域にある画像データの画素の輝度変化を調べる。画像データがカラーカメラにより撮像されたものである場合は、輝度に代えて色の変化を調べることでも良い。画像データの画素の変化を調べる帯状領域は図９に示す吊コンテナ（Ａ）のエッジ線に沿って設定したハッチングで示す領域である。３４−１においては、対象とする帯状領域の個々の画素について空間微分処理を行うことにより、輝度の変化する画素位置を検出する。輝度の変化が設定した閾値を越える画素群を抽出する。
【００４６】
図３の３５においては、前記３４−１の処理において抽出した画素群の配置を近似する直線を設定するため、それら画素群についてハフ（Hough）変換を行い、適合する直線を設定する。前記帯状の領域内においても、吊コンテナにより太陽光が遮られてできる影や、コンテナの表面塗装の反射率変化等により、輝度変化チェックとハフ変換によって設定される直線は複数となることがある。図３の３６Ｌでは、前記の理由により複数の直線が検出される場合に、それら全てを検出し、それら候補直線の中から対象コンテナ（Ｂ）のエッジを表す直線を確定する処理に入力する。
【００４７】
図３の３６Ｌ−１では、エッジ線確定処理に必要なデータであって、候補直線検出処理中に得た、各候補直線上に属し、輝度変化が設定した閾値を越える画素の個数、および、それら画素の画像データ平面内での位置データを保存する。なお、以上の説明は、吊具の左側に配置したＣＣＤカメラを対象として行ったが、右側についても同様に行う。図１０は同一輝度変化画素群の分布と、それらに対して設定した候補直線の関係を説明する図であって、候補直線は、画像データ空間に対して設定した二次元座標系において定められる。
【００４８】
図４、図５、図６および図７は、前記した処理によって得た対象コンテナのエッジ線候補直線から、対象コンテナのエッジ線を選択、確定するための処理を示す。図４の処理から開始して、これら処理を順次実行することにより、対象コンテナ（Ｂ）のエッジを確定するが、いずれかの処理段階で求める直線が確定すれば、必ずしも全ての処理を行うことを必要としないのは勿論である。
【００４９】
図４は、前記図３の３６Ｌの処理で得た、候補直線について、吊コンテナ（Ａ）のエッジ線との平行度チェックによって対象コンテナのエッジ線を確定する処理を示している。本図に示す処理は、左側のＣＣＤカメラと右側のＣＣＤカメラの画像データについてそれぞれ単独に行われる。以下の説明は、片側についてのみ行う。図４の３７では、各候補直線と吊コンテナ（Ａ）のエッジ線との平行度がチェックされ、３８においては、対象コンテナ（Ｂ）のエッジ線候補の中から、設定した閾値内で吊コンテナ（Ａ）のエッジ線と平行と判定した直線が選択される。図４の３９において、選択した候補直線が唯一に決まれば、その直線が対象コンテナ（Ｂ）のエッジ線として確定する。３９においても複数の候補直線が検出された場合は次の処理に進む。以上は右側ＣＣＤカメラの画像データについても同様に行われる。
【００５０】
図５は、候補直線から、最も長いものを対象コンテナ（Ｂ）のエッジ線として確定する処理を示す。この処理も、左右ＣＣＤカメラにつきそれぞれ単独に行う。候補直線の長さ比較には、図３の３６Ｌ−１で得た、候補直線に属する画素数のデータを利用し、その画素数が多いものを長い直線とするものである。
【００５１】
図６は、以上述べた図５までの処理により目的のエッジ線が確定しない場合、あるいは、図５までの処理で確定した目的のエッジ線をさらに重ねて確認をする場合の処理である。図６の処理は、左右カメラの吊具への配置が既知であることを利用して、両方のＣＣＤカメラ画像から得た候補直線をおのおの比較し、左右で合致するものが検出された時、それを目的のエッジ線とするものである。左右のＣＣＤカメラは、吊コンテナの底部陵の同一の一辺を撮像するものであるから、左右ＣＣＤカメラの配置を考慮して、一方のカメラの画像データから得た候補直線を、仮想的に他方のＣＣＤカメラの設置位置相当まで延長し、他方のＣＣＤカメラの画像から得たそれぞれの候補直線と比較すると、いずれか一つと合致するものがある。このように一致する一対の候補直線どうしは、対象コンテナ（Ｂ）のエッジ線である。
【００５２】
図１１（ａ）は、図６の処理内容を説明するものである。図１１（ａ）において、ＣＬは左側のＣＣＤカメラ画像に対する画像データ平面、ＣＲは右側カメラに対する同様の平面である。また、ＡＬは左側カメラがとらえた吊コンテナ（Ａ）のエッジ線、ＡＲは右側カメラによる吊コンテナ（Ａ）のエッジ線である。ＢＬ０１、ＢＬ０２は左側カメラによる対象コンテナ（Ｂ）のエッジ線の候補であり、ＢＲ０１、ＢＲ０２は右側カメラによる同様のエッジ線候補である。ＢＬＥ０１、ＢＬＥ０２、ＡＬＥは左側カメラによる対象コンテナ、吊コンテナのエッジ線候補及びエッジ線を右側カメラ設定位置まで仮想的に延長した線である。ＢＬ０２の延長であるＢＬＥ０２と最も合致するＢＲ０２を対象コンテナのエッジ線として確定する。
【００５３】
図７は、左右ＣＣＤカメラの画像から得た候補直線どうしの比較の他の方法を示すもので、一方のＣＣＤカメラから得た候補直線を他方へ延長する代わりに、左右カメラにより得たそれぞれの吊コンテナのエッジ線位置を一致させた場合に、左側ＣＣＤカメラの候補直線の右端部と右側ＣＣＤカメラの候補直線の左端部が最も接近し、且つ、それら候補直線の吊コンテナ（Ａ）のエッジ線に対してなす角が一致する時、それらを対象コンテナ（Ｂ）のエッジ線とするものである。
【００５４】
図１１（ｂ）は、図７の処理の説明である。図中の記号の意味は図１１（ａ）と同様である。左側ＣＣＤカメラと右側ＣＣＤカメラの画像データ処理によって得た吊コンテナ（Ａ）のエッジ線（ＡＬ及びＡＲ）が一致するように右側カメラの画像平面の対象コンテナ（Ｂ）のエッジ線候補（ＢＲ０１、ＢＲ０２、ＢＲ０３）を平行移動する。左側カメラによる画像平面において対象コンテナ（Ｂ）のエッジ線候補（ＢＬ０１、ＢＬ０２）の周辺に右側カメラのエッジ線候補との一致識別の閾値となる範囲を設定する（図１１のハッチングされた範囲。この範囲はＢＬ０２についてのみ表示してある）。設定された範囲内で一致する右側カメラによるエッジ線候補が一本に定まればそれが対象コンテナ（Ｂ）のエッジ線として確定される。この処理で一本に確定しない場合には、エッジ線候補が吊コンテナ（Ａ）のエッジ線となす角（Ｔ_L、Ｔ_R）が最も近いものを選択し、エッジ線を確定する。
【００５５】
図８は、対象コンテナの長手方向のエッジ検知結果を利用して、短手方向のエッジを検知する処理を示す。図３の３６Ｌ−１（または３６Ｒ−１）に示すとおり、候補直線設定の際、候補直線に属する画素の位置のデータを保存した。吊具の左側に配置したＣＣＤカメラから得た画像については、画像データ平面の右端部に近い位置にある対象コンテナ（Ｂ）のエッジ線の部分は、実際に存在する対象コンテナの辺を表しているが、エッジ線の左側端部はコンテナの辺は存在しないにもかかわらず単に右側から延長された部分である。従って直線の右側部分に属する画素の分布密度が高い。逆に画像データ平面の左側には対象コンテナの長手方向端部が存在するので（そのようにＣＣＤカメラを配置する）当該エッジ直線の左側には、属する画素密度が低下する点が存在し、その点は短手方向エッジの端部でもある。
【００５６】
図１２は、図８に示したエッジ直線に属する画素の分布を説明するものである。図の３６Ｌ−１で得た、画素の位置データを利用し、図８の５２の処理に示す様に、画像データ平面の右側から左に向かって（左側配置のＣＣＤカメラについて）順次隣あう画像間の距離を求める。左方向へ画像間の間隔を求める毎に、過去の間隔データを含めた平均を取る。左へ間隔を求めて行く途中で、図８の５４に示すように、過去の間隔の平均に対して設定した閾値より大きい間隔の点が発見されたとき、その一回前の画素をもってエッジ線の端部とするものである。
【００５７】
図８に示したフローは、ＣＣＤカメラ２０Ｌにより検知した対象コンテナ（Ｂ）の長手方向エッジ直線を利用して、対象コンテナ（Ｂ）の短手方向の左側エッジの検知の場合を示す。他の場合も同様な処理にて検知が可能である。
【００５８】
このようにして検出された吊具に把持したコンテナのエッジと、対象コンテナのエッジとの相対位置偏差量をクレーンの制御系へフィードバックして、同偏差量が許容値以内になった時に、吊具に把持したコンテナを対象コンテナ上に着床させることができる。また、吊具に把持したコンテナのエッジと、目標位置マークのエッジとの間に存在する所定の相対位置関係からの偏差量をフィードバックして、同偏差量が許容値以内になった時に、吊具に把持したコンテナを目標位置マークに対する所定位置に着床させることもできる。このようにすると、吊具に把持したコンテナを高い位置精度で、且つ迅速に対象コンテナ上や目標位置マークに対する所定位置へ着床させることができる。したがって、着床スペースのマージンを小さくすることができ、船内やコンテナ積み付け場所等のスペースを有効に利用できる。また、コンテナの積み付け作業に要する時間が短縮でき、さらに人手による細かい修正を要さないでも着床精度も高くできるので、積み付け作業に手間を要さない。
【００５９】
【発明の効果】
以上の説明から理解される如く、この発明による荷役クレーンにおけるコンテナ位置検知方法および装置、またはコンテナ着床、段積制御方法によれば、吊具の端部に配置されたＣＣＤカメラのような撮像手段の画像データを処理して、吊具や周辺コンテナによって生じる影の影響等の運転環境、条件の影響を排除して対象コンテナのエッジ抽出を行うことができ、これに基づく対象コンテナの位置検知を、精度よく、確実に行うことができる。このような相対位置検知を利用した荷役クレーンの自動制御は、絶対位置制御による場合のようにクレーン各部の高精度な位置検知、位置制御を必要とせず、信頼性が高く、安価である。
【図面の簡単な説明】
【図１】この発明によるコンテナ位置検知装置が適用されるクレーンの全体構成を示す斜視図である。
【図２】この発明によるコンテナ位置検知装置の一つの実施の形態を示すブロック図である。
【図３】この発明によるコンテナ位置検知装置において、画像データから対象コンテナのエッジ線の候補を検出する処理フローの説明図である。
【図４】この発明における、対象コンテナのエッジ線を、エッジ候補線群から選択確定する処理のうち、吊コンテナのエッジ線との平行度チェックによる処理フローの説明図である。
【図５】この発明における、対象コンテナのエッジ線を、エッジ候補線群から選択確定する処理のうち、最長の候補線を目的のエッジとする処理フローの説明図である。
【図６】この発明における、対象コンテナのエッジ線を、エッジ候補線群から選択確定する処理のうち、吊具の左右端部におのおの配置した画像撮像手段から得たエッジ候補直線どうしを比較して行う処理フローの説明図である。
【図７】この発明における、対象コンテナのエッジ線を、エッジ候補線群から選択確定する処理のうち、吊具の左右端部におのおの配置した画像撮像手段から得たエッジ候補直線どうしを比較して行う他の方法の処理フローの説明図である。
【図８】対象コンテナの一方の辺について検知したエッジ線を利用して、他の直交する辺のエッジ端部を検知する処理フローの説明図である。
【図９】図３に示した画像データに含まれる画素の輝度変化を調べる領域についての説明図である。
【図１０】図３に示した処理フローにおいて、エッジ線候補を検出する処理の説明図である。
【図１１】図６及び図７に示した２台のＣＣＤカメラの画像データから得たエッジ線の比較により、目的のエッジ線を確定する処理の説明図である。
【図１２】図８に示した対象コンテナの一方の辺に対応するエッジ線を利用して他の直交する辺のエッジ端部を検知する処理の説明図である。
【符号の説明】
１０クレーン走行機体
１３横行トロリー
１４巻上装置
１５吊りワイヤ
１６吊具
２０Ｒ、２０Ｌ、２１Ｒ、２１ＬＣＣＤカメラ
３０画像処理装置

Claims

吊具または吊具が把持している吊りコンテナを対象コンテナ上又はコンテナ積み付け場所の目標位置に着床または段積みする荷役クレーンにおけるコンテナ位置検知方法において、
吊具の一辺の端部に撮像手段を吊具下方の吊具に把持されたコンテナと、対象コンテナ又はコンテナ積み付け場所における着床目標位置を表示する為に設置した目標位置マークと、を同時に撮像可能なように配置し、
この撮像手段によって撮像した画像データついて、該画像データに含まれる画素の輝度または色相変化検出処理を行い、
設定した値以上の輝度または色相変化を生ずる画素群の配置を直線で近似することにより、当該吊具端部に配置した撮像手段の下方に位置する対象コンテナの端部付近のエッジ又は目標位置マークのエッジを表す候補である直線群を検出し、
また、前記撮像手段の画像データについて同様の処理を行って得た、該撮像手段下方に位置する吊具に把持されたコンテナの端部付近のエッジを表す直線を検出し、
同直線と前記対象コンテナのエッジ又は目標位置マークのエッジを表す候補直線群のおのおのについて平行度、相互の水平距離を比較し、
対象コンテナのエッジ又は目標位置マークのエッジを表す候補直線群に含まれる直線の内、吊具に把持されたコンテナのエッジを表す直線に対する角度および水平距離があらかじめ設定した値以内であるものを撮像手段下方の対象コンテナ端部のエッジ又は目標位置マークのエッジを表す直線として確定し、
このように確定された対象コンテナのエッジ線又は目標位置マークのエッジ線と吊具に把持されたコンテナのそれとの相対関係から、吊具又は吊具に把持されたコンテナと対象コンテナ又は目標位置マークの相対位置を検知することを特徴とするコンテナ位置検知方法。
吊具または吊具が把持している吊りコンテナを対象コンテナ上又はコンテナ積み付け場所の目標位置に着床または段積みする荷役クレーンにおけるコンテナ位置検知方法において、
請求項１に記載した方法によって検出された、撮像手段設置位置下方の対象コンテナの端部のエッジ又は目標位置のマークのエッジを表す直線候補群と吊具が把持している吊りコンテナの応当する端部エッジを表す直線をそれぞれ比較して対象コンテナのエッジ線又は目標位置マークのエッジ線を確定するについて、
請求項１に記述した、平行度、水平距離の比較によって選択した対象コンテナのエッジ又は目標位置マークのエッジ候補直線群の内、最も長いものを対象コンテナ又は目標位置マークのエッジ線として確定し、
このように確定された対象コンテナのエッジ線又は目標位置マークのエッジ線と吊具に把持されたコンテナのそれとの相対関係から、吊具又は吊具に把持されたコンテナと対象コンテナ又は目標位置マークの相対位置を検知することを特徴とするコンテナ位置検知方法。
吊具または吊具が把持している吊りコンテナを対象コンテナ上又はコンテナ積み付け場所の目標位置に着床または段積みする荷役クレーンにおけるコンテナ位置検知方法において、
請求項１に記載した撮像手段を、吊具の同一辺の左側と右側の両端部にそれぞれ一組配置し、各撮像手段下方端部付近の画像データについて前記した方法により、それぞれの側の端部付近の対象コンテナのエッジ又はコンテナ積み付け場所の目標位置を表示するマークのエッジを表す候補直線群と吊具に把持されたコンテナのエッジを表す直線を検出し、
一方の側の対象コンテナ又は目標位置マークのエッジ候補直線および吊具に把持されたコンテナのエッジ線を他方の撮像手段設置位置に相当する位置まで仮想的に延長し、
さらに当該一方の撮像手段による吊具に把持されたコンテナのエッジ線に対して、他方の撮像手段による吊具に把持されたコンテナのエッジ線位置を合致させ、
それに対応して同他方の撮像手段による対象コンテナ又は目標位置マークのエッジを表す候補直線群を相対的に移動した上で、前記の対象コンテナ又は目標位置マークのエッジ候補直線の延長と他方の対象コンテナ又は目標位置マークのエッジ候補直線どうしの比較を行い、最も合致するエッジ候補直線の一対を見出して、その一対を対象コンテナ又は目標位置マークのエッジ線として確定し、
このように確定された対象コンテナ又は目標位置マークのエッジ線と吊具に把持されたコンテナのそれとの相対関係から、吊具又は吊具に把持されたコンテナと対象コンテナ又は目標位置マークの相対位置を検知することを特徴とするコンテナ位置検知方法。
吊具または吊具が把持している吊りコンテナを対象コンテナ上又はコンテナ積み付け場所の目標位置に着床または段積みする荷役クレーンにおけるコンテナ位置検知において、請求項１に記載の方法により対象コンテナ又は目標位置マークの位置を検知することを特徴とするコンテナ位置検知装置。
吊具または吊具が把持している吊りコンテナを対象コンテナ上又はコンテナ積み付け場所の目標位置に着床または段積みする荷役クレーンにおける、請求項２に記載の方法により対象コンテナ又は目標位置マークの位置を検知することを特徴とするコンテナ位置検知装置。
吊具または吊具が把持している吊りコンテナを対象コンテナ上又はコンテナ積み付け場所の目標位置に着床または段積みする荷役クレーンにおける、請求項３に記載の方法により対象コンテナ又は目標位置マークの位置を検知することを特徴とするコンテナ位置検知装置。
吊具または吊具が把持している吊りコンテナを対象コンテナ上又はコンテナ積み付け場所の目標位置に着床または段積みする荷役クレーンにおける、請求項１、２あるいは３に記載の方法を自動的に選択適用して対象コンテナ又は目標位置マークの位置を検知することを特徴とするコンテナ位置検知装置。
吊具または吊具が把持している吊りコンテナを対象コンテナ上又はコンテナ積み付け場所の目標位置に着床または段積する荷役クレーンにおける、請求項４、同５、同６あるいは同７に記載したコンテナ位置検知装置の一又は二以上を組み合わせて構成される吊具または吊具が把持している吊りコンテナと対象コンテナ又は目標位置マークの相対位置検知手段を有し、前記検知手段により検知された吊具又は吊具に把持したコンテナと対象コンテナの相対位置偏差量、又は吊具に把持したコンテナと目標位置マークとの所定の相対位置関係からの偏差量をフィードバックして、同偏差量が許容値以内になった時に吊具又は吊具に把持したコンテナを対象コンテナ上に着床させ、あるいは吊具に把持したコンテナを目標位置マークに対する所定位置に着床させることを特徴とするコンテナ着床、段積制御方法。
吊具または吊具が把持している吊りコンテナを対象コンテナ上又はコンテナ積み付け場所の目標位置に着床または段積する荷役クレーンにおいて、
吊具または吊具に把持されたコンテナの位置を、対象コンテナ又は積み付け目標位置マークの位置を特定するために設定した基準点に対して検知する手段を有し、
該手段により検知された吊具または吊具が把持している吊りコンテナの位置データと前記基準点に対して与えられた対象コンテナ又は積み付け目標位置マークの位置データの偏差量をフィードバックして吊具または吊具に把持されたコンテナの位置制御を行う工程１と、
請求項４、同５、同６あるいは同７に記載したコンテナ位置検知装置の一又は二以上を組み合わせて構成される吊具または吊具が把持している吊りコンテナと対象コンテナ又は目標位置マークの相対位置検知手段を有し、
同相対位置検知手段により検知された吊具または吊具に把持したコンテナと対象コンテナの相対位置偏差量、又は吊具に把持したコンテナと目標位置マークとの所定の相対位置関係からの偏差量をフィードバックして、同偏差量が許容値以内になった時に吊具または吊具に把持したコンテナを対象コンテナ上に着床させ、あるいは吊具に把持したコンテナを目標位置マークに対する所定位置に着床させる制御を行う工程２を有し、
工程１により対象コンテナまたは積み付け目標位置マークの近傍で前記相対位置検出手段を使用できる範囲としてあらかじめ設定した領域内に、吊具または吊具に把持されたコンテナを移動した後に、自動的に工程２に切り替えて吊具または吊具に把持したコンテナを対象コンテナ上に着床させ、あるいは吊具に把持したコンテナを目標位置マークに対する所定位置に着床させることを特徴とするコンテナ着床、段積制御方法。