JP7290012B2 - クレーンの操作支援システムおよび操作支援方法 - Google Patents

Description

本発明は、クレーンの操作支援システムおよび操作支援方法に関し、より詳細には、オペレータによるクレーンの操作の作業性を向上できるクレーンの操作支援システムおよび操作支援方法に関する。

コンテナクレーンのトロリから吊り下げられた吊体（吊具または吊具が掴んだ吊荷）を着床ターゲット面（地面や置荷など）に着床させる着床操作を支援する方法として、トロリに設置した撮影装置（カメラ）で、吊体とその下方の着床ターゲット面を斜め方向から撮影して、撮影装置が撮影した撮影画像を表示装置（ディスプレイ装置）に表示するクレーンの運転方法が提案されている（例えば、特許文献１参照）。

特開平５－２４６６８３号公報

ところで、特許文献１に記載の運転方法のように、トロリに設置した撮影装置が撮影する撮影画像には、吊体や着床ターゲット面の他に、クレーンの構造体、コンテナターミナルや船舶に配置されているコンテナや設備、コンテナを運搬する運搬機（シャーシともいう）などの様々な被写体が写り込む。撮影画像には吊体や着床ターゲット面、吊体の荷役経路上に存在する障害物などの荷役作業を行う際にオペレータが認識する必要性の高い被写体と、その他の認識する必要性の低い被写体とが混在して写り込んでいるため、オペレータの目に入る情報量が非常に多い。それ故、表示装置に撮影画像をそのまま表示させるだけでは、オペレータが荷役作業を行う際に認識する必要性の高い特定の被写体が、認識する必要性の低いその他の被写体に紛れて把握しづらかった。

本発明は、上記の状況を鑑みてなされたものであり、その目的は、オペレータによるクレーンの操作の作業性を向上できるクレーンの操作支援システムおよび操作支援方法を提供することにある。

上記のような目的を達成するための本発明のクレーンの操作支援システムは、トロリから吊り下げられた吊体を含む撮影画像を撮影する撮影装置と、前記撮影画像に基づく映像を表示する表示装置とを備えたクレーンの操作支援システムにおいて、前記撮影装置および前記表示装置に接続された処理装置を備え、前記処理装置は、前記撮影画像に写り込む被写体のうち、前記吊体、前記吊体を着床させる着床ターゲット面、または前記吊体の荷役経路上に存在する障害物の少なくともいずれかを含む予め選定された前記被写体の視認性を、選定されていないその他の前記被写体の視認性に比して相対的に高くした処理画像を生成し、その生成した前記処理画像を前記表示装置に表示させる構成であり、前記処理画像が、前記撮影画像に比して前記その他の被写体の視認性を低下させた画像であることを特徴とする。

上記のような目的を達成するための本発明のクレーンの操作支援方法は、撮影装置によりトロリから吊り下げられた吊体を含む撮影画像を撮影し、その撮影装置が撮影した前記撮影画像に基づく映像を表示装置に表示させるクレーンの操作支援方法において、前記撮影装置により前記吊体を含む前記撮影画像を撮影するステップと、前記撮影画像に写り込む被写体の前記撮影画像における二次元座標を取得するステップと、その取得した前記二次元座標に基づいて、前記被写体のうち、前記吊体、前記吊体を着床させる着床ターゲット面、または前記吊体の荷役経路上に存在する障害物の少なくともいずれかを含む予め選定された前記被写体の視認性を、選定されていないその他の前記被写体の視認性に比して相対的に高くした処理画像を生成するステップと、その生成した前記処理画像を前記表示装置に表示させるステップと、を含み、前記処理画像として、前記撮影画像に比して前記その他の被写体の視認性を低下させた画像を表示させることを特徴とする。

本発明によれば、撮影装置が撮影した撮影画像に写っている被写体のうち、吊体、着床ターゲット面、または障害物の少なくともいずれかを含む予め選定された被写体の視認性を選定されていないその他の被写体の視認性よりも高めた処理画像を表示装置に表示させる。これにより、表示装置に撮影画像をそのまま表示させる場合よりも、クレーンを操作するオペレータが荷役作業を行う際に認識する必要性の高い特定の被写体（吊体、着床ターゲット面、または障害物の少なくともいずれか）をより把握し易くなる。それ故、オペレータによるクレーンの操作の作業性を向上できる。

本発明のクレーンの操作支援システムの実施形態を例示する構成図である。 図１の操作支援システムを例示するブロック図である。 図１の撮影装置が撮影した撮影画像を例示する説明図である。 図１の処理装置が生成した上層画像を例示する説明図である。 図１の表示装置に表示される処理画像を例示する説明図である。 本発明の操作支援方法の実施形態を例示するフロー図である。 表示装置に表示される別の処理画像を例示する説明図である。

以下、本発明のクレーンの操作支援システムおよび操作支援方法の実施形態について説明する。図中では、クレーン１のトロリ５の走行する方向をＸ方向、水平方向においてＸ方向に直交する方向をＹ方向、鉛直方向（上下方向）をＺ方向としている。

図１に例示する実施形態のクレーン１の操作支援システム２０は、オペレータによるクレーン１の操作を支援するシステムである。この操作支援システム２０は主に、トロリ５から吊り下げられた吊体３０を、吊体３０の下方に位置する着床ターゲット面３１に着床させる着床操作（以下、着床操作という）を支援する。なお、操作支援システム２０は着床操作以外のクレーン１の操作においても利用することができる。

前述した吊体３０は、クレーン１が備えている吊具７によって置荷を掴みに行く場合には吊具７単体であり、この場合の着床ターゲット面３１は荷役対象となる置荷の上面である。吊具７が掴んでいる吊荷を置きに行く場合の吊体３０は吊具７および吊荷であり、この場合の着床ターゲット面３１は、陸地３６や船舶３５に配置されている置荷の上面や、陸地３６、船舶３５の床面、運搬機３４の荷台の上面等である。

この実施形態では、船舶３５に対してコンテナ３２の荷役を行うクレーン１に搭載した場合の操作支援システム２０を例示する。以下では、クレーン１が備えているコンテナ用の吊具７（スプレッダともいう）を運搬機３４の荷台に載置されている隣り合った２つのコンテナ３２の上面に着床させる着床操作を行う場合を例示する。即ち、この実施形態における吊体３０は吊具７であり、着床ターゲット面３１は２つのコンテナ３２の上面である。

図１に例示するように、クレーン１は、脚構造体２と、脚構造体２の上部に支持されたＸ方向に延在する桁部４と、桁部４に支持されてＸ方向に移動するトロリ５と、トロリ５からワイヤ６により吊り下げられた吊具７とを備えている。脚構造体２は、Ｚ方向に延在する複数の脚２ａと、Ｘ方向に隣り合う脚２ａどうしを連結する水平桁２ｂと、Ｙ方向に隣り合う脚２ａどうしを連結する水平梁２ｃ（シルビームともいう）とを有して構成されている。それぞれの脚２ａの下端には、陸地に敷設されたＹ方向に延在するレールに沿って走行可能な走行装置３が設置されている。

脚構造体２の上部には機械室８が設けられていて、その機械室８にトロリ５をＸ方向に移動させる移動装置９と、ワイヤ６を巻き取るあるいは繰り出すことで吊具７をＺ方向に昇降させる昇降装置１０が設置されている。機械室８には、さらに、走行装置３、移動装置９、および昇降装置１０の制御を行うクレーン用制御装置１１が設置されている。移動装置９、昇降装置１０、およびクレーン用制御装置１１の設置位置は機械室８に限らず、例えば、トロリ５などの他の位置に配置することもできる。

この実施形態のクレーン１の操作室１２は、クレーン１と離間した位置に配置されている。操作室１２には、クレーン用制御装置１１に無線アンテナを介して通信可能に接続された操作装置１３が設置されている。クレーン１のオペレータは操作室１２において、操作装置１３を操作することにより、クレーン用制御装置１１を介してクレーン１（走行装置３、移動装置９、および昇降装置１０）の遠隔操作を行なう。なお、操作室１２がクレーン１の構造体に付設されている構成にすることもできる。

図２に例示するように、操作支援システム２０は、撮影装置２１、処理装置２２、表示装置２３、および入力手段２４を有して構成されている。処理装置２２は機能要素として、設定部２２ａ、位置情報取得部２２ｂ、生成部２２ｃ、および表示制御部２２ｄを有している。処理装置２２、表示装置２３、および入力手段２４は、操作室１２に配置されている。処理装置２２を構成する各機能要素は操作室１２以外の場所に配置することもできる。撮影装置２１、表示装置２３、および入力手段２４はそれぞれ処理装置２２に有線または無線によって通信可能に接続されている。

撮影装置２１は、吊体３０を撮影可能な位置に設置され、吊体３０を含む撮影画像Ｐ１を逐次撮影する。撮影装置２１としては、デジタルビデオカメラなどが例示できる。図１に例示するように、この実施形態の撮影装置２１は、側面視（Ｙ方向から見た視点）で、トロリ５のＸ方向の陸側端部に設置されている。撮影装置２１の撮影方向はＸ方向陸側からＸ方向海側に斜め下向きに設定されている。

トロリ５に設置した撮影装置２１により吊体３０を斜め方向から俯瞰で撮影することで、図３に例示するように、トロリ５に付設された運転室でクレーン操作を行っていた従来のオペレータの視界を再現した撮影画像Ｐ１を撮影している。なお、撮影装置２１は吊体３０を含む撮影画像Ｐ１を撮影できる条件であれば、設置位置や撮影方向は特に限定されない。撮影装置２１は例えば、脚構造体２や桁部４などに配置することもできるし、クレーン１から離間した位置に配置することもできる。撮影装置２１で撮影された撮影画像Ｐ１は処理装置２２に逐次入力される構成になっている。

処理装置２２は、撮影画像Ｐ１に写り込む被写体の撮影画像Ｐ１における二次元座標を取得する。そして、処理装置２２は、その取得した被写体の二次元座標に基づいて、図５に例示するように、撮影画像Ｐ１に写り込む被写体のうち、吊体３０、吊体３０を着床させる着床ターゲット面３１、または吊体３０の荷役経路上に存在する障害物３３の少なくともいずれかを含む予め選定された被写体の視認性を、選定されていないその他の被写体（以下、その他の被写体という）の視認性に比して相対的に高くした処理画像Ｐ３を生成する。そして、処理装置２２は、その生成した処理画像Ｐ３を表示装置２３に表示させる構成になっている。

撮影画像Ｐ１に写り込む被写体の中で、オペレータによるクレーン１の操作に関与する主な被写体は、吊体３０と、吊体３０を着床させる目標である着床ターゲット面３１と、吊体３０の荷役経路上にある障害物３３である。それ故、この操作支援システム２０では、処理装置２２によって撮影画像Ｐ１に対して画像処理を施して、オペレータが認識する必要性の高い吊体３０、着床ターゲット面３１、障害物３３の少なくともいずれかを撮影画像Ｐ１よりも視覚的により識別し易くした処理画像Ｐ３を生成する。

前述した障害物３３は、具体的には例えば、吊体３０の移動範囲内に位置して吊体３０に接触、衝突する可能性のある、水平梁２ｃや、脚構造体２に設置されている付帯設備、船舶３５の構造物や設備、船舶３５や陸地３６に載置されている着床ターゲット面３１以外の置荷や設備、吊体３０の荷役経路上に存在する人などである。

予め選定された被写体の視認性を、その他の被写体の視認性に比して相対的に高くする画像処理としては、撮影画像Ｐ１に対して選定された被写体の外縁部（エッジ）をより強調する加工を施す画像処理（所謂、シャープネス）や、選定された被写体のそれぞれの位置または形状を強調する付加標示５０を撮影画像Ｐ１の上に重畳させる画像処理や、撮影画像Ｐ１に比してその他の被写体の視認性を低下させる画像処理などが例示できる。

処理装置２２は、各種情報処理を行うＣＰＵ、その各種情報処理を行うために用いられるプログラムや情報処理結果を読み書き可能なうち内部記憶装置、および各種インターフェースなどから構成されるハードウェアである。処理装置２２を構成する設定部２２ａ、位置情報取得部２２ｂ、生成部２２ｃ、および表示制御部２２ｄは、プログラムとして内部記憶装置に記憶されていて、適時、ＣＰＵにより実行される。処理装置２２を構成する各機能要素は、プログラムの他にそれぞれが独立して機能するＰＬＣとしてもよい。

設定部２２ａは、視認性を相対的に高くする被写体を選定する。この実施形態の設定部２２ａは、さらに、生成部２２ｃで実行する撮影画像Ｐ１に対する画像処理の選定と、選定した画像処理における表示パターンの選定を行う構成になっている。設定部２２ａには、視認性を相対的に高くする被写体の候補として、吊体３０、着床ターゲット面３１、障害物３３のうちの少なくともいずれかを含む選択肢が予め記憶されている。この実施形態の設定部２２ａには、さらに、選択肢に含まれている被写体の視認性を相対的に高くする画像処理の種類の選択肢と、それぞれの画像処理における表示パターンの選択肢が記憶されている。

具体的には、設定部２２ａには、視認性を相対的に高くする被写体の候補として、例えば、吊体３０の外縁部３０ａや、吊体３０の外面部３０ｂ、吊体３０に設けられている係合金具３０ｃ、着床ターゲット面３１の外縁部３１ａ、着床ターゲット面３１の外面部３１ｂ、着床ターゲット面３１に設けられている被係合金具３１ｃ、障害物３３の外縁部３３ａ、障害物３３の外面部３３ｂなどを含んだ選択肢が記憶されている。設定部２２ａに視認性を相対的に高くする被写体の候補として、前述した候補以外の被写体が含まれている構成にすることもできる。

前述した吊体３０の外縁部３０ａは、吊具７や吊荷（コンテナ３２）の輪郭を示す部分（エッジなど）である。吊体３０の外面部３０ｂは、吊具７や吊荷の外側に露出している上面部分や側面部分である。吊体３０に設けられている係合金具３０ｃは、吊具７でコンテナ３２を掴む際にコンテナ３２の上部の四隅に設けられたそれぞれの被係合金具３１ｃに係合させる、吊具７の下部に突設された金具（所謂、ツイストロックピン）である。この実施形態では、吊具７の四隅の４ヶ所と吊具７の中央の４ヶ所の計８ヶ所にそれぞれ係合金具３０ｃが設けられているが、吊具７の四隅の４ヶ所だけに係合金具３０ｃが設けられている場合もある。

着床ターゲット面３１の外縁部３１ａは、陸地３６や船舶３５に配置されている荷役対象となる置荷（コンテナ３２）の上面や、陸地３６、船舶３５の床面、運搬機３４の荷台の上面などの、吊体３０を着床させる目標となる面の輪郭を示す部分である。着床ターゲット面３１の外面部３１ｂは、前述した吊体３０を着床させる目標となる面の面部分である。着床ターゲット面３１の被係合金具３１ｃは、荷役対象となるコンテナ３２の上部の四隅に設けられた係合金具３０ｃを係合させる金具（隅金具ともいう）である。

障害物３３の外縁部３３ａは、吊体３０が接触、衝突する可能性のある障害物３３の輪郭を示す部分（エッジなど）である。障害物３３の外面部３３ｂは、障害物３３の吊体３０が接触、衝突する可能性のある面部分である。

設定部２２ａには、選定された被写体の視認性を相対的に高くする画像処理の候補として、例えば、撮影画像Ｐ１に対して選定された被写体の外縁部（エッジ）をより強調する加工を施す画像処理や、選定された被写体のそれぞれの位置または形状を強調する付加標示５０を撮影画像Ｐ１の上に重畳させる画像処理や、撮影画像Ｐ１に比して選定されていないその他の被写体の視認性を低下させる画像処理などを含む画像処理の種類の選択肢が記憶されている。

前述した付加標示５０を撮影画像Ｐ１の上に重畳させる画像処理としては、例えば、選定された被写体の外縁部３０ａ、３１ａ、３３ａの上に強調線５１（イメージ線）を重ねて表示する画像処理や、選定された被写体の外面部３０ｂ、３１ｂ、３３ｂや係合金具３０ｃ、被係合金具３１ｃなどの上に着色部５２を重ねて表示する画像処理や、選定された被写体の位置を示す目印５３を選定された被写体の上や被写体の近傍に表示する画像処理などの選択肢が記憶されている。

その他の被写体の視認性を低下させる画像処理としては、例えば、その他の被写体の外縁部をぼかす画像処理や、その他の被写体が写っている領域をぼかす画像処理、その他の被写体が写っている領域の透過度を高める画像処理、その他の被写体が写っている領域を覆い隠す画像処理（マスキング）などの選択肢が記憶されている。

また、設定部２２ａには、画像処理における表示パターンを設定する項目として、例えば、被写体の外縁部（エッジ）を強調する度合いや、付加標示５０の線種や配色や形状、その他の被写体の視認性を低下させる度合い（解像度や透過率）などを設定する選択肢が記憶されている。

設定部２２ａに記憶されている選択肢に従って、オペレータが入力手段２４を用いて設定部２２ａにデータを入力することで、視認性を相対的に高くする被写体の選定と、生成部２２ｃで実行する画像処理の選定と、画像処理の表示パターンの選定とを行える構成になっている。

この実施形態では、設定部２２ａにおいて、視認性を相対的に高くする被写体として、吊体３０の外縁部３０ａおよび係合金具３０ｃ、着床ターゲット面３１の外縁部３１ａおよび被係合金具３１ｃ、障害物３３の外縁部３３ａおよび外面部３３ｂが選定された場合を例示する。また、生成部２２ｃで実行する画像処理として、付加標示５０を撮影画像Ｐ１の上に重畳させる画像処理が選定され、付加標示５０として、強調線５１、着色部５２、および目印５３が選定された場合を例示する。以下では、設定部２２ａにおいて選定された、視認性を相対的に高くする被写体のデータ、生成部２２ｃで実行する画像処理のデータ、および画像処理の表示パターンのデータをそれぞれ、被写体に関する選定データ、画像処理に関する選定データ、表示パターンに関する選定データとする。

設定部２２ａにおいて選定された被写体に関する選定データは、位置情報取得部２２ｂと生成部２２ｃにそれぞれ入力され、画像処理に関する選定データおよび表示パターンに関する選定データは生成部２２ｃに入力される構成になっている。なお、設定部２２ａに記憶されている被写体の選択肢や、画像処理の選択肢、表示パターンの選択肢は例示した選択肢に限定されず、その他の選択肢が記憶されている構成にすることもできる。

位置情報取得部２２ｂは、撮影装置２１から入力される撮影画像Ｐ１と、設定部２２ａから入力される被写体に関する選定データとに基づいて、設定部２２ａにおいて予め選定された被写体のそれぞれの撮影画像Ｐ１における二次元座標を逐次取得する。位置情報取得部２２ｂで取得した被写体の二次元座標は、生成部２２ｃに逐次入力される構成になっている。

この実施形態の位置情報取得部２２ｂは、撮影装置２１から入力される撮影画像Ｐ１の画像解析を行うことで、設定部２２ａにおいて選定されたそれぞれの被写体の撮影画像Ｐ１における二次元座標を取得する構成になっている。この実施形態の位置情報取得部２２ｂは、設定部２２ａにおいて選定された吊体３０の外縁部３０ａおよび係合金具３０ｃと、着床ターゲット面３１の外縁部３１ａおよび被係合金具３１ｃと、障害物３３（水平梁２ｃ）の外縁部３３ａおよび外面部３３ｂの、それぞれの撮影画像Ｐ１における二次元座標を取得している。

位置情報取得部２２ｂを構成する画像解析のプログラムやソフトなどは特に限定されず種々のプログラムやソフトを適用できる。位置情報取得部２２ｂは、具体的には例えば、公知の画像解析技術であるパターンマッチングや特徴ベースマッチングなどを利用したプログラムやソフトで構成できる。

位置情報取得部２２ｂは、撮影画像Ｐ１における被写体の二次元座標を取得できれば上記の構成に限定されず、他の構成にすることもできる。位置情報取得部２２ｂは例えば、センサや測定機器により撮影画像Ｐ１における被写体となる対象物の三次元位置座標を取得し、その取得した三次元位置座標と撮影装置２１の撮影条件（設置位置や撮影方向等）に基づいて、撮影画像Ｐ１における被写体の二次元座標を算出する構成にすることもできる。

被写体となる対象物の三次元位置座標を取得する手段は、例えば、吊体３０、着床ターゲット面３１、障害物３３などの被写体の形状を認識するトロリ５に設置した三次元レーザーセンサや、トロリ５に対する吊体３０の振れ角を検出する振れ角センサなどで構成できる。前述した手段は、他にも例えば、吊具７に設置したＧＰＳ受信器や、吊具７を吊り下げているワイヤ６の繰り出し量や巻き取り量を測定するセンサ、吊具７に設置された三次元レーザーセンサなどで構成することもできる。また、前述した手段は、例えば、吊体３０を含む複数の画像を撮影するステレオカメラと、そのステレオカメラで撮影した複数の画像に基づいて対象物の三次元位置情報を、マッチング技術を用いて検出する位置検出機器とで構成することもできる。

生成部２２ｃは、設定部２２ａから入力される被写体に関する選定データと、画像処理に関する選定データと、表示パターンに関する選定データと、位置情報取得部２２ｂから入力される被写体の二次元座標とに基づいて、撮影画像Ｐ１に対して画像処理を施す。そして、設定部２２ａにおいて予め選定された被写体の視認性を選定されていないその他の被写体の視認性に比して相対的に高くした処理画像Ｐ３を生成する。生成部２２ｃは、撮影画像Ｐ１を加工して処理画像Ｐ３を生成する構成にすることもできるし、撮影画像Ｐ１の上に上層画像Ｐ２を重畳させた複数のレイヤーからなる処理画像Ｐ３を生成する構成にすることもできる。

図４に例示するように、この実施形態では、生成部２２ｃにより、予め選定された被写体のそれぞれの位置または形状を強調する付加標示５０を含む上層画像Ｐ２を生成している。そして、図５に例示するように、その生成した上層画像Ｐ２を撮影画像Ｐ１の上に重畳させた処理画像Ｐ３を生成している。

図４および図５に例示するように、この実施形態で生成している上層画像Ｐ２には、付加標示５０として、吊体３０の外縁部３０ａと、着床ターゲット面３１の外縁部３１ａと、障害物３３の外縁部３３ａとをそれぞれ強調する強調線５１が含まれている。さらに、上層画像Ｐ２には、付加標示５０として、係合金具３０ｃと、被係合金具３１ｃと、障害物３３の外面部３３ｂとをそれぞれ撮影画像Ｐ１における色とは異なる色で着色して強調する着色部５２と、着床ターゲット面３１の中心位置を示す目印５３が含まれている。

図４および図５では、強調線５１を太線で示し、着色部５２を斜線部で示し、着床ターゲット面３１の中心位置を示す目印５３を白抜きの円と十字線を組み合わせた印で示している。付加標示５０は、被写体毎に線の太さや、線種、配色などを異ならせて互いに区別しやすい標示にするとよい。着床ターゲット面３１の中心位置を示す目印５３の形状や配色、表示サイズなどは、この実施形態に限定されず、他にも例えば多角形や二重丸、矢印などにすることもできる。生成部２２ｃで生成された処理画像Ｐ３は、表示制御部２２ｄに逐次入力される構成になっている。

表示制御部２２ｄは、生成部２２ｃから入力された処理画像Ｐ３を表示装置２３に逐次表示させる。表示装置２３は、処理装置２２から出力された処理画像Ｐ３が表示されるモニタである。この実施形態の表示装置２３は、入力手段２４が内蔵されたタッチパネル式のモニタで構成されている。

入力手段２４は設定部２２ａにデータを入力する手段であり、例えば、タッチパネルやタッチパッド、ボタン、ジョイスティック、マウス、キーボード等で構成される。この実施形態の入力手段２４は表示装置２３に内蔵されたタッチパネルで構成されている。入力手段２４は操作装置１３に付属させることもできる。

次にこの操作支援システム２０を利用したクレーン１の操作支援方法を説明する。

オペレータはクレーン１による荷役作業を開始する前に、操作支援システム２０の事前設定として、入力手段２４を操作して、視認性を相対的に高くする被写体の選定と、生成部２２ｃで実行する画像処理の選定と、画像処理における表示パターンの選定とを行う。この実施形態では、オペレータが、表示装置２３の画面に表示されている設定のアイコンをタップすると、表示装置２３の画面に、設定部２２ａに記憶されている、視認性を相対的に高くする被写体の選択肢と、画像処理の選択肢と、画像処理における表示パターンの選択肢とがそれぞれ表示される構成になっている。

オペレータが、表示装置２３の画面をタッチして視認性を相対的に高くする被写体、画像処理、および表示パターンの選定を完了すると、選定された被写体に関する選定データは位置情報取得部２２ｂおよび生成部２２ｃに入力され、画像処理に関する選定データおよび表示パターンに関する選定データは生成部２２ｃに入力される。以上により、操作支援システム２０の事前設定が完了する。

なお、この実施形態では、操作支援システム２０の事前設定をオペレータが行う場合を例示しているが、視認性を相対的に高くする被写体、画像処理、および表示パターンが予め選定されている事前設定データが設定部２２ａに予め記憶されている構成にすることもできる。この場合には、前述した事前設定の作業を省略できる。

図６に例示するように、操作支援システム２０の事前設定が完了し、オペレータが操作装置１３によりクレーン１の操作を開始すると、撮影装置２１により吊体３０を含む撮影画像Ｐ１が撮影され、その撮影された撮影画像Ｐ１のデータが生成部２２ｃに入力される（Ｓ１０）。次いで、位置情報取得部２２ｂにより、設定部２２ａにおいて予め選定された被写体の撮影画像Ｐ１における二次元座標が取得され、その取得された二次元座標のデータが生成部２２ｃに入力される（Ｓ２０）。

次いで、生成部２２ｃにより、撮影装置２１から入力された撮影画像Ｐ１のデータと位置情報取得部２２ｂから入力された被写体の二次元座標のデータとに基づいて、設定部２２ａにおいて予め選定されている被写体の視認性を、選定されていないその他の被写体の視認性に比して相対的に高くした処理画像Ｐ３が生成され、その生成された処理画像Ｐ３が表示制御部２２ｄに入力される（Ｓ３０）。

次いで、表示制御部２２ｄにより、生成部２２ｃから入力された処理画像Ｐ３が表示装置２３に表示される（Ｓ４０）。ステップＳ４０が完了するとスタートに戻る。上述したステップＳ１０からステップＳ４０が所定の周期で繰り返し連続して実行されることで、表示装置２３に、処理画像Ｐ３が連続して表示される映像がリアルタイムに近い状態で表示される。上述したステップＳ１０～ステップＳ４０は、オペレータが操作装置１３によるクレーン１の操作を終了するまで繰り返し実行される。

この操作支援システム２０では、ステップＳ１０からステップＳ４０が繰り返し実行されている間においても、事前設定を行ったときと同様の操作を行うことで、視認性を相対的に高くする被写体、画像処理、および表示パターンに関する選定データの変更、更新を行える構成になっている。選定データの変更、更新が行われると、次の周期からは、更新された選定データに基づいてステップＳ１０からステップＳ４０が実行される。

この実施形態では、さらに、表示装置２３の画面に表示された処理画像Ｐ３に写っている被写体の表示位置をタップすることで、視認性を相対的に高くする被写体、画像処理、および表示パターンに関する選定データの変更、更新を簡易に行える構成になっている。

具体的には、表示装置２３の画面における、視認性を相対的に高くする被写体として選定データに含まれている被写体の表示位置をロングタップするとその被写体が、選定データから除外され、選定データから除外されている被写体をロングタップするとその被写体が、視認性を相対的に高くする被写体として選定データに追加される構成になっている。例えば、オペレータが、障害物３３に付されている付加標示５０を消したい場合には、障害物３３の表示位置をロングタップすることで、障害物３３に付されている付加標示５０を簡易に消せるようになっている。

また、この実施形態では、表示装置２３の画面における、選定データに含まれている被写体の表示位置をダブルタップすると、その被写体に施す画像処理の種類が変更される構成になっている。例えば、オペレータが、吊体３０に対して、撮影画像Ｐ１に写る吊体３０の外縁部３０ａの上に強調線５１を重ねて表示する画像処理から、撮影画像Ｐ１を加工して吊体３０の外縁部３０ａ（エッジ）を強調する画像処理（シャープネス）に変更したい場合には、吊体３０の表示位置をダブルタップすることで、吊体３０に施す画像処理の種類を簡易に変更できるようになっている。

また、表示装置２３の画面における、画像処理が施されている被写体の表示位置をシングルタップすると、その被写体に施されている画像処理の表示パターンが変更される構成になっている。例えば、オペレータが、着床ターゲット面３１に付されている強調線５１の線の色を変更したい場合には、着床ターゲット面３１の表示位置をシングルタップすることで、強調線５１の線の色を簡易に変更できるようになっている。

なお、選定データの変更、更新を行う際のタッチパネルの操作方法は、上述した操作方法に限定されず他の操作方法に設定することもできる。即ち、例えば、視認性を相対的に高くする被写体を変更する操作をロングタップではなく、ダブルタップやシングルタップで行う構成にすることもできる。また、この実施形態では、入力手段２４がタッチパネルで構成されている場合を例示したが、例えば、入力手段２４をマウスやタッチパッドで構成して、処理画像Ｐ３上に表示されるカーソルを被写体の上に移動させてクリックすることで、選定データの変更、更新を行える構成にすることもできる。

このように、操作支援システム２０によれば、撮影装置２１が撮影した撮影画像Ｐ１に写っている被写体のうち、吊体３０、着床ターゲット面３１、または障害物３３の少なくともいずれかを含む予め選定された被写体の視認性を、選定されていないその他の被写体の視認性よりも高めた処理画像Ｐ３を表示装置２３に表示させる。これにより、表示装置２３に撮影画像Ｐ１をそのまま表示させる場合よりも、クレーン１を操作するオペレータが、荷役作業を行う際に認識する必要性の高い吊体３０や、着床ターゲット面３１、障害物３３などの特定の被写体の位置や形状をより把握し易くなる。それ故、オペレータによるクレーン１の操作の作業性を向上できる。さらに、オペレータが荷役作業中に注視する被写体を絞ることができ、認識する必要の低い被写体に必要以上に神経を使う必要がなくなるため、オペレータの軽労化を図ることができる。

この実施形態のように、処理画像Ｐ３が、撮影画像Ｐ１に比して吊体３０の外縁部３０ａ、外面部３０ｂ、または係合金具３０ｃの少なくともいずれかの視認性を高めた画像であると、荷役作業において認識する必要性の高い吊体３０の位置や形状を非常に把握し易くなる。それ故、クレーン１の操作の作業性を向上させるには有利になる。視認性を高める吊体３０の部位や画像処理の種類はこの実施形態に限定されず適宜設定できる。例えば、視認性を高める吊体３０の部位を吊体３０の四隅のコーナー部分のみに設定することもできるし、吊体３０の外面部３０ｂに着色部５２を重ねて表示する構成にすることもできる。

処理画像Ｐ３が撮影画像Ｐ１に比して着床ターゲット面３１の外縁部３１ａ、外面部３１ｂ、または被係合金具３１ｃの少なくともいずれかの視認性を高めた画像であると、着床操作において認識する必要性の高い着床ターゲット面３１の位置や形状を非常に把握し易くなる。それ故、着床操作の作業性を向上させるには有利になる。視認性を高める着床ターゲット面３１の部位や画像処理の種類はこの実施形態に限定されず適宜設定できる。例えば、視認性を高める着床ターゲット面３１の部位を着床ターゲット面３１の四隅のコーナー部分のみに設定することもできるし、着床ターゲット面３１の外面部３１ｂに着色部５２を重ねて表示する構成にすることもできる。

この実施形態のように、処理画像Ｐ３が撮影画像Ｐ１に比して吊体３０の係合金具３０ｃと着床ターゲット面３１の被係合金具３１ｃの視認性を高めた画像であると、オペレータが係合金具３０ｃと被係合金具３１ｃとの相対的な位置関係をより把握し易くなるので、着床操作における係合金具３０ｃと被係合金具３１ｃとの位置合わせをより行い易くなる。それ故、着床操作の作業性を向上させるには益々有利になる。

撮影画像Ｐ１では、吊体３０が接触、衝突する可能性がある障害物３３と、吊体３０が接触、衝突する可能性のないその他の被写体とを判別することは難しいが、この実施形態のように、処理画像Ｐ３が障害物３３の外縁部３３ａまたは外面部３３ｂの視認性を高めた画像であると、注意すべき障害物３３の位置や形状を非常に把握し易くなる。それ故、荷役作業中に吊体３０を障害物３３に接触、衝突させることを回避するには有利になる。

処理画像Ｐ３が、撮影画像Ｐ１の上に予め選定された被写体の位置または形状を強調する付加標示５０を重畳させた画像であると、被写体の外縁部や外面部、金具等の形状や位置を付加標示５０によって明瞭に示すことができるので、予め選定された被写体の形状や位置が非常に把握し易くなる。さらに、それぞれの被写体に付する付加標示５０の線種や配色などの表示パターンを異ならせれば、視認性を高めている被写体どうしがより見分け易くなる。

図７に本発明の操作支援システム２０の別の実施形態を例示する。

図７に例示するように、この実施形態の処理装置２２の生成部２２ｃは、撮影画像Ｐ１に比して選定されていない被写体の視認性を低下させる画像処理を行なうことで、予め選定された被写体の視認性を、選定されていないその他の被写体の視認性に比して相対的に高くした処理画像Ｐ３を生成している。より具体的には、この実施形態では、撮影画像Ｐ１に対して予め選定された被写体が写っていない範囲をぼかす画像処理（解像度を下げる画像処理等）を施して、選定されていないその他の被写体を目立たなくすることで、相対的に予め選定された被写体を視覚的により識別し易くした処理画像Ｐ３を生成している。図７では、予め選定された被写体を実線で示し、ぼかしを入れているその他の被写体を破線で示している。

選定されていないその他の被写体の視認性を低下させる画像処理としては、ぼかしを入れる画像処理の他に、透過度を高める画像処理や、覆い隠す画像処理（マスキング）、モザイクを入れる画像処理等が例示できる。被写体の視認性を低下させる画像処理は、撮影画像Ｐ１を加工する方法で行ってもよいし、撮影画像Ｐ１の上に上層画像Ｐ２を重畳させる方法で行ってもよい。

このように、処理画像Ｐ３が、撮影画像Ｐ１に比して選択されていないその他の被写体の視認性を低下させた画像であると、荷役作業中にオペレータの目に入る情報を、荷役作業中に視認する必要性の高い被写体に絞ることができる。それ故、オペレータの軽労化を図るには有利になる。

この実施形態では、さらに、予め選定された被写体の位置または形状を強調する付加標示５０として、吊体３０の係合金具３０ｃと着床ターゲット面３１の被係合金具３１ｃのそれぞれの位置を示す目印５３を処理画像Ｐ３に表示させている。図７では、目印５３を黒塗りの矢印で例示しているが目印５３の形状や色はこの実施形態に限定されず、種々の図形や配色を適用できる。このように、処理画像Ｐ３に被写体の位置を示す目印５３を表示させる構成にすると、オペレータが被写体の位置を非常に把握し易くなる。

なお、既述した実施形態では、予め選定された被写体の視認性を相対的に高くする画像処理として種々の画像処理を例示したが、生成部２２ｃで実行する画像処理の組み合わせは既述した実施形態に限定されず、適宜組み合わせることができる。例えば、撮影画像Ｐ１に対して、予め選定された被写体の外縁部を強調する画像処理と、選択されていないその他の被写体にぼかしを入れる画像処理とを両方適用して処理画像Ｐ３を生成することもできる。また、予め選定された被写体の視認性を選定されていないその他の被写体の視認性に比して相対的に高くする画像処理であれば、上記で例示した画像処理に限定されず、その他の画像処理を適用して処理画像Ｐ３を生成することもできる。

既述した実施形態では、岸壁クレーンに適用した操作支援システム２０を例示したが、操作支援システム２０は、岸壁クレーンに限らず、コンテナターミナルにおいて、運搬機や蔵置レーンに対してコンテナ３２の荷役をする門型クレーンや天井クレーンに適用することもできる。また、操作支援システム２０は、コンテナ３２の荷役をするコンテナクレーンに限らず、その他の荷役対象物の荷役をする様々なクレーンに適用することができる。

１ クレーン
２ 脚構造体
２ｃ 水平梁
５ トロリ
７ 吊具
２０ 操作支援システム
２１ 撮影装置
２２ 処理装置
２２ａ 設定部
２２ｂ 位置情報取得部
２２ｃ 生成部
２２ｄ 表示制御部
２３ 表示装置
２４ 入力手段
３０ 吊体
３１ 着床ターゲット面
３２ コンテナ
３３ 障害物
５０ 付加標示
Ｐ１ 撮影画像
Ｐ２ 上層画像
Ｐ３ 処理画像

Claims (6)

1. トロリから吊り下げられた吊体を含む撮影画像を撮影する撮影装置と、前記撮影画像に基づく映像を表示する表示装置とを備えたクレーンの操作支援システムにおいて、
   前記撮影装置および前記表示装置に接続された処理装置を備え、
   前記処理装置は、前記撮影画像に写り込む被写体のうち、前記吊体、前記吊体を着床させる着床ターゲット面、または前記吊体の荷役経路上に存在する障害物の少なくともいずれかを含む予め選定された前記被写体の視認性を、選定されていないその他の前記被写体の視認性に比して相対的に高くした処理画像を生成し、その生成した前記処理画像を前記表示装置に表示させる構成であり、前記処理画像が、前記撮影画像に比して前記その他の被写体の視認性を低下させた画像であることを特徴とするクレーンの操作支援システム。
2. 前記処理画像が、前記撮影画像に比して前記吊体の外縁部、前記吊体の外面部、または前記吊体に設けられた係合金具の少なくともいずれかの視認性を高めた画像である請求項１に記載のクレーンの操作支援システム。
3. 前記処理画像が、前記撮影画像に比して前記着床ターゲット面の外縁部、前記着床ターゲット面の外面部、または前記着床ターゲット面に設けられた被係合金具の少なくともいずれかの視認性を高めた画像である請求項１または２に記載のクレーンの操作支援システム。
4. 前記処理画像が、前記撮影画像に比して前記障害物の外縁部または外面部の視認性を高めた画像である請求項１～３のいずれか１項に記載のクレーンの操作支援システム。
5. 前記処理画像が、前記予め選定された被写体の位置または形状を強調する付加標示を前記撮影画像の上に重畳させた画像である請求項１～４のいずれか１項に記載のクレーンの操作支援システム。
6. 撮影装置によりトロリから吊り下げられた吊体を含む撮影画像を撮影し、その撮影装置が撮影した前記撮影画像に基づく映像を表示装置に表示させるクレーンの操作支援方法において、
   前記撮影装置により前記吊体を含む前記撮影画像を撮影するステップと、前記撮影画像に写り込む被写体の前記撮影画像における二次元座標を取得するステップと、その取得した前記二次元座標に基づいて、前記被写体のうち、前記吊体、前記吊体を着床させる着床ターゲット面、または前記吊体の荷役経路上に存在する障害物の少なくともいずれかを含む予め選定された前記被写体の視認性を、選定されていないその他の前記被写体の視認性に比して相対的に高くした処理画像を生成するステップと、その生成した前記処理画像を前記表示装置に表示させるステップと、を含み、前記処理画像として、前記撮影画像に比して前記その他の被写体の視認性を低下させた画像を表示させることを特徴とするクレーンの操作支援方法。

Images