JP6879579B2

JP6879579B2 - コンテナクレーンの遠隔操作システムおよび遠隔操作方法

Info

Publication number: JP6879579B2
Application number: JP2019035713A
Authority: JP
Inventors: 栢菅　信哉; 信哉栢菅
Original assignee: Mitsui E&S Machinery Co Ltd
Current assignee: Mitsui E&S Machinery Co Ltd
Priority date: 2019-02-28
Filing date: 2019-02-28
Publication date: 2021-06-02
Anticipated expiration: 2039-02-28
Also published as: JP2020138845A

Description

本発明は、コンテナクレーンの遠隔操作システムおよび遠隔操作方法に関し、より詳細には、吊体とその下方に位置する荷役対象面との相対的な位置関係をより把握しやすくするコンテナクレーンの遠隔操作システムおよび遠隔操作方法に関する。

コンテナクレーンの吊具を荷役対象面（置荷）に着床させる操作を支援する方法として、トロリに設置した撮影装置（カメラ）で、吊具とその下方の荷役対象面を撮影し、その撮像した画像を表示装置（ディスプレイ装置）に表示するクレーンの運転方法が提案されている（例えば、特許文献１参照）。

また、コンテナクレーンの吊具に設置した撮影装置によって、着床操作の位置合わせに必要な、吊体のコーナー部と、その吊体を着床させる荷役対象面の隅部（着地目標位置）とを撮影し、その撮像した画像を表示装置（テレビモニター画面）に表示するシステムが提案されている（例えば、特許文献２参照）。

特開平５−２４６６８３号公報特開２００３−０５４８７１号公報

ところで、コンテナクレーンでは、吊具によってコンテナを掴むために、吊具の四隅に設けられているツイストロックピンを、コンテナの上部の四隅に設けられた隅金具の係合孔に挿入する必要がある。それ故、オペレータが吊具を荷役対象面（コンテナの上面）に着床させる操作を行う際には、吊具の四方に位置するコーナー部と、その下方にある荷役対象面の四方に位置する隅部との位置を正確に合わせる必要がある。吊具が掴んでいるコンテナを荷役対象面（例えば、船舶に積載されているコンテナの上面やトラック等の運搬機の荷台上面等）に着床させる操作を行う際にも同様に、吊具が掴んでいるコンテナのコーナー部と、荷役対象面の隅部との位置を正確に合わせる必要がある。

特許文献１に記載の運転方法では、トロリに設置された撮影装置によって吊具を撮影し、その撮像した撮影画像をそのまま表示装置に表示させている。吊具はトロリにワイヤで吊り下げられているため、トロリを移動させた際などに吊具が水平方向に揺れる。この運転方法では、吊具が揺れると表示装置における吊具の表示位置が変化するため、未熟なオペレータにとっては、吊具と荷役対象面との相対的な位置関係を把握することが難しかった。

特許文献２に記載のシステムでは、吊具に設置した撮影装置で撮像した吊体の位置を基準にした撮影画像が表示装置に表示されるので、吊体が揺れているときにも吊体に対する荷役対象面の相対的な位置が把握しやすい。しかしながら、吊体を移動させる際や吊体を荷役対象面に着床させる際には、吊具に大きな衝撃（数十Ｇの加速度、まれに１００Ｇを超える）がかかることや、吊具が激しく振動することがあるため、撮影装置として採用できる機材は激しい環境で使用できる特殊な機材に限られる。また、振動や衝撃によって撮影装置が故障する可能性があるため、吊具に撮影装置を設置する方法は実用的ではない。

本発明の目的は、吊体とその下方に位置する荷役対象面との相対的な位置関係をより把握しやすくするコンテナクレーンの遠隔操作システムおよび遠隔操作方法を提供することにある。

上記のような目的を達成するための本発明のコンテナクレーンの遠隔操作システムは、コンテナクレーンのトロリに設置されて前記トロリからワイヤにより吊り下げられた吊体およびその吊体の下方に位置する荷役対象面を撮影する撮影装置と、前記撮影装置によって撮像された撮影画像に基づく画像が表示される表示装置とを備えたコンテナクレーンの遠隔操作システムにおいて、前記トロリに対する前記吊体の水平方向の相対変位を検出する水平変位検出装置と、前記水平変位検出装置から入力される前記水平方向の相対変位に基づいて前記撮影装置から入力される前記撮影画像に対して画像処理を施して、前記トロリに対して前記吊体が水平方向に相対変位した場合にも、前記トロリに設置された前記撮影装置によって上方から撮影された前記吊体のコーナー部が中央に写る画像を前記表示装置に表示させる制御装置とを有することを特徴とする。

上記のような目的を達成するための本発明のコンテナクレーンの遠隔操作方法は、コンテナクレーンのトロリに設置された撮影装置により、前記トロリからワイヤにより吊り下げられた吊体およびその吊体の下方に位置する荷役対象面を撮影し、その前記撮影装置によって撮像された撮影画像に基づく画像を表示装置に表示させるコンテナクレーンの遠隔操作方法において、
前記撮影装置により前記吊体および前記荷役対象面を撮影するステップと、水平変位検出装置により前記トロリに対する前記吊体の水平方向の相対変位を検出するステップと、制御装置により、前記水平変位検出装置から入力された前記水平方向の相対変位に基づいて前記撮影装置によって撮像された撮影画像に対して画像処理を施して前記トロリに設置された前記撮影装置によって上方から撮影された前記吊体のコーナー部が中央に写る画像を作成するステップと、その作成した前記画像を前記表示装置に表示させるステップと、を含むことを特徴とする。

本発明によれば、トロリに設置された撮影装置、水平変位検出装置、および制御装置により、トロリに対して吊体が水平方向に相対変位した場合にも、常に吊体のコーナー部が中央に写る画像を表示装置に表示させる。これにより、コンテナクレーンのオペレータは、吊体の位置を基準にして、吊体と荷役対象面との相対的な位置関係をより把握し易くなる。

本発明のコンテナクレーンの遠隔操作システムの実施形態を例示する構成図である。図１の遠隔操作システムを例示するブロック図である。図１の撮影装置で撮像した撮影画像と切り取り領域を例示する説明図である。図１の遠隔操作システムを利用したコンテナクレーンの遠隔操作方法を例示するフロー図である。図１の表示装置に表示される画像を例示する説明図であり、図５（ａ）は吊具を降下させる前の状態を例示し、図５（ｂ）は荷役対象面に向かって吊具を降下させている中途の状態を例示し、図５（ｃ）は吊具を荷役対象面に着床し終えた状態を例示している。本発明のコンテナクレーンの遠隔操作システムの別の実施形態を例示する構成図である。図６のＡ矢視図である。図６の遠隔操作システムを例示するブロック図である。図６の撮影装置で撮像した撮影画像と切り取り領域を例示する説明図である。図６の遠隔操作システムを利用したコンテナクレーンの遠隔操作方法を例示するフロー図である。図６の表示装置に表示される吊体の表示サイズを一定に維持した画像を例示する説明図であり、図１１（ａ）は吊具を降下させる前の状態を例示し、図１１（ｂ）は荷役対象面に向かって吊具を降下させている中途の状態を例示し、図１１（ｃ）は吊具を荷役対象面に着床し終えた状態を例示している。図６の表示装置に表示される吊体の表示サイズを一定に維持した画像を例示する説明図であり、図１２（ａ）は吊具およびコンテナを降下させる前の状態を例示し、図１２（ｂ）は荷役対象面に向かって吊具およびコンテナを降下させている中途の状態を例示し、図１２（ｃ）は吊具およびコンテナを荷役対象面に着床し終えた状態を例示している。図６の表示装置に表示される荷役対象面の表示サイズを一定に維持した画像を例示する説明図であり、図１３（ａ）は吊具を降下させる前の状態を例示し、図１３（ｂ）は荷役対象面に向かって吊具を降下させている中途の状態を例示し、図１３（ｃ）は吊具を荷役対象面に着床し終えた状態を例示している。図６の表示装置に表示される荷役対象面の表示サイズを一定に維持した画像を例示する説明図であり、図１４（ａ）は吊具およびコンテナを降下させる前の状態を例示し、図１４（ｂ）は荷役対象面に向かって吊具およびコンテナを降下させている中途の状態を例示し、図１４（ｃ）は吊具およびコンテナを荷役対象面に着床し終えた状態を例示している。本発明のコンテナクレーンの遠隔操作システムのさらに別の実施形態の表示装置に表示される画像を例示する説明図であり、図１５（ａ）は吊具を降下させる前の状態を例示し、図１５（ｂ）は荷役対象面に向かって吊具を降下させている中途の状態を例示し、図１５（ｃ）は吊具を荷役対象面に着床し終えた状態を例示している。

以下、本発明のコンテナクレーンの遠隔操作システムおよび遠隔操作方法の実施形態について説明する。図中では、コンテナクレーン１０（以下、クレーン１０という）の桁部１１の延在する方向をＸ方向、Ｘ方向に直交して走行装置１２ａによりクレーン１０が移動する方向をＹ方向、上下方向（鉛直方向）をＺ方向で示している。

図１に例示する遠隔操作システム２０は、クレーン１０の遠隔操作の作業性を向上させるシステムであり、主に、クレーン１０のトロリ１３からワイヤにより吊り下げられた吊体４０を、吊体４０の下方に位置する荷役対象面５０に着床させる着床操作（以下、着床操作という）の作業性を向上させる。

前述した吊体４０は、クレーン１０の吊具１４によってコンテナ６０を掴みに行く場合には吊具１４単体であり、荷役対象面５０は、コンテナ６０の上面である。吊具１４が掴んでいるコンテナ６０を置きに行く場合の吊体４０は吊具１４および吊具１４が掴んでいるコンテナ６０であり、荷役対象面５０は、船舶に積載されているコンテナ６０の上面や、船舶の床面、運搬機の荷台上面、地面、地面に積載されているコンテナ６０の上面等である。

図１に例示するように、クレーン１０は、Ｘ方向に延在する桁部１１と、桁部１１に支持されてＸ方向に移動するトロリ１３と、トロリ１３からワイヤにより吊り下げられたコンテナ用の吊具１４（スプレッダ）とを備えている。

桁部１１は、複数の脚体と水平梁を有して構成された脚構造体１２の上部に支持されている。桁部１１は、脚構造体１２から海側に張り出したブームと、脚構造体１２から陸側に張り出したガーダとで構成されている。脚構造体１２の下端には、岸壁に敷設されたＹ方向に延在するレールに沿って走行可能な走行装置１２ａが設置されている。

脚構造体１２の上部には機械室１７が設けられていて、その機械室１７にトロリ１３をＸ方向に移動させる図示しない移動装置と、ワイヤを巻き取るあるいは繰り出すことで吊具１４をＺ方向に昇降させる図示しない昇降装置が設置されている。クレーン１０としては、移動装置がトロリ１３に設置されるクレーンや、昇降装置がトロリ１３に設置されるクレーンとしてもよい。

クレーン１０（移動装置や昇降装置など）の操作を行う操作装置１５が設置された操作室（運転室）１６は、クレーン１０と離間した位置に配置されている。このクレーン１０では、操作室１６において、オペレータが操作装置１５によりクレーン１０を遠隔操作することで吊体４０の着床操作を行う。

吊具１４は、四隅にそれぞれコーナーブロック１４ａを有しており、それぞれのコーナーブロック１４ａに、コンテナ６０の上部の四隅に設けられた隅金具に係合させるツイストロックピンが挿設されている。

本明細書では、吊具１４を荷役対象面５０に着床させる着床操作を行う場合には、吊具１４の四隅に位置するコーナーブロック１４ａの外周角を含むコーナー部分をそれぞれ吊体４０のコーナー部４１とする。そして、そのコーナーブロック１４ａのコーナー部４１の側面を含む下側部分を吊体４０のコーナー部４１の下部４１ａとする。

吊具１４が掴んでいるコンテナ６０を荷役対象面５０に着床させる着床操作を行う場合には、吊具１４および吊具１４が掴んでいるコンテナ６０の四隅に位置する外周角を含むコーナー部分をそれぞれ吊体４０のコーナー部４１とする。そして、その吊具１４が掴んでいるコンテナ６０のコーナー部４１の側面を含む下側部分を吊体４０のコーナー部４１の下部４１ａとする。

また、荷役対象面５０が、コンテナ６０の上面である場合には、隅金具が配置されているコンテナ６０の四隅をそれぞれ荷役対象面５０の隅部５０ａとする。荷役対象面５０が、運搬機の荷台上面や、船舶の床面、地面などである場合には、吊具１４が掴んでいるコンテナ６０のコーナー部４１の下部４１ａを合わせる目標位置に設けられている金具や標示（例えば、コンテナ６０のコーナー部を合わせる位置を示すＬ字状の印等）をそれぞれ荷役対象面５０の隅部５０ａとする。

図２に例示するように、遠隔操作システム２０は、撮影装置２１、水平変位検出装置２２ａ、制御装置２３、および表示装置２４を有して構成されている。撮影装置２１と水平変位検出装置２２ａはそれぞれ、制御装置２３に通信可能に接続されている。制御装置２３は表示装置２４に通信可能に接続されている。

図１に例示するように、撮影装置２１はトロリ１３に撮影方向を下向きで設置されている。撮影装置２１は、吊体４０と吊体４０の下方に位置する荷役対象面５０とを逐次撮影して、所定の周期で撮影画像３０を撮像する。撮影装置２１としては、デジタルビデオカメラなどが例示できる。

この実施形態では、トロリ１３の真下に吊具１４が位置している状態で、Ｘ方向に関して、トロリ１３における吊具１４のＸ方向の端部よりも外側の位置に撮影装置２１を配置している。撮影装置２１の撮影方向を、吊体４０に向けて斜め下向きに設定し、図３に例示するように、撮影装置２１により吊体４０のコーナー部４１の下部４１ａが写る撮影画像３０を撮像する構成にしている。撮影装置２１の撮影範囲は、吊体４０が移動し得る全範囲を網羅する範囲に設定することが望ましい。図３の一点鎖線の四角枠で囲われた部分が、撮影装置２１によって撮像された撮影画像３０である。

水平変位検出装置２２ａは、トロリ１３に対する吊体４０の水平方向の相対変位を逐次検出する装置である。水平変位検出装置２２ａは、例えば、吊体４０の振れ止めを行うために使用されるトロリ１３と吊体４０の水平方向の移動情報（振れ量）を検出するセンサ（所謂、振れ止めセンサ）で構成される。水平変位検出装置２２ａによって検出されたトロリ１３に対する吊体４０の水平方向の相対変位のデータ（以下、水平変位データという）は、後述する制御装置２３の切り取り領域決定部２３ａに逐次入力される構成になっている。

水平変位検出装置２２ａは、少なくともトロリ１３に対する吊体４０の水平方向の相対変位を検出できれば上記の構成に限定されない。例えば、水平変位検出装置２２ａは、トロリ１３に設置されたレーザ距離計と、吊具１４の上部に設置された２つのターゲットとで構成することもできる。また、水平変位検出装置２２ａは、例えば、トロリ１３と吊具１４にそれぞれ設置したＧＰＳ受信器などで構成することもできる。

制御装置２３は、各種情報処理を行うＣＰＵ、その各種情報処理を行うために用いられるプログラムや情報処理結果を読み書き可能な内部記憶装置、および各種インターフェースなどから構成されるハードウェアである。この実施形態では、制御装置２３を操作室１６に配置しているが、制御装置２３は機械室１７などの他の場所に配置することもできる。

制御装置２３は、水平変位検出装置２２ａから入力された水平変位データに基づいて撮影画像３０に対して画像処理を施して吊体４０のコーナー部４１が中央に写る画像を作成する装置である。制御装置２３は、各機能要素として切り取り領域決定部２３ａ、切り取り部２３ｂ、および表示制御部２３ｃを有している。各機能要素は、プログラムとして内部記憶装置に記憶されていて、適時、ＣＰＵにより実行される。なお、各機能要素としては、プログラムの他にそれぞれが独立して機能する電気回路も例示される。また、各機能要素をＰＬＣ（ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＣｏｎｔｒｏｌｌｅｒ）で構成し、制御装置２３を複数のＰＬＣの集合体としてもよい。

図３に例示するように、切り取り領域決定部２３ａは、水平変位検出装置２２ａから入力される水平変位データに基づいて、撮影装置２１が撮像した撮影画像３０に対して切り取り領域３１を決定する機能要素である。この実施形態の切り取り領域決定部２３ａは、水平変位データに基づいて、撮影画像３０に対して吊体４０のコーナー部４１が中央に写る切り取り領域３１を決定する構成になっている。図３では、撮影画像３０の内側に位置する破線の四角枠で囲われた部分が切り取り領域３１を示している。

具体的には、例えば、切り取り領域決定部２３ａには、吊体４０がトロリ１３の真下の基準位置にある場合の基準の切り取り領域３１が、撮影装置２１が撮像する撮影画像３０に対して予め設定されている。切り取り領域決定部２３ａは、その基準の切り取り領域３１の位置を、水平変位検出装置２２ａから入力された水平変位データに基づいて基準位置からＸ方向およびＹ方向に補正することで、撮影画像３０に対して水平変位データに応じた切り取り領域３１を決定する。なお、撮影画像３０に対して吊体４０のコーナー部４１が中央に写る切り取り領域３１を決定できる方法であれば、切り取り領域３１の決定の仕方は、前述したロジックに限定されず、他のロジックで切り取り領域３１を決定することもできる。

切り取り部２３ｂは、撮影装置２１から入力された撮影画像３０に対して、切り取り領域決定部２３ａが決定した切り取り領域３１を切り取る画像処理を施すことで、撮影画像３０の一部の領域を切り取った切り取り画像３２を作成する機能要素である。即ち、図３の切り取り領域３１の内側の画像が切り取り画像３２となる。

表示制御部２３ｃは、切り取り部２３ｂから入力された切り取り画像３２を表示装置２４に出力して表示させる機能要素である。この実施形態の表示制御部２３ｃは、切り取り部２３ｂから入力された１つの切り取り画像３２を表示装置２４に出力して表示する構成になっている。

表示装置２４は、制御装置２３（表示制御部２３ｃ）から出力された画像処理後の画像（切り取り画像３２）を表示させる画面を有するディスプレイ（モニタ）である。表示装置２４は、オペレータがクレーン１０の操作中に見ることができる操作室１６の所定位置に設置される。

次に、この遠隔操作システム２０を利用したクレーン１０の遠隔操作方法を説明する。

図４に例示するように、この遠隔操作方法は、オペレータが操作装置１５によりクレーン１０の操作を開始するとスタートし、オペレータが操作装置１５によるクレーン１０の操作を終了するまで周期的に繰り返し行われる。オペレータが操作装置１５によりクレーン１０の操作を開始すると、撮影装置２１により吊体４０とその下方に位置する荷役対象面５０とを撮影する。そして、撮影装置２１が撮像した撮影画像３０を切り取り領域決定部２３ａに入力する（Ｓ１０）。

次いで、水平変位検出装置２２ａがトロリ１３に対する吊体４０の水平方向の相対変位を検出し、検出した水平変位データを切り取り領域決定部２３ａに入力する（Ｓ２０）。ステップＳ１０とステップＳ２０は順番を入れ替えてもよいし、ステップＳ１０とステップＳ２０とを並行して行ってもよい。

次いで、切り取り領域決定部２３ａが、入力された撮影画像３０と水平変位データとに基づいて、撮影画像３０に対して切り取り領域３１を決定する（Ｓ３０）。この実施形態の切り取り領域決定部２３ａは、１つの撮影画像３０に対して吊体４０の４ヶ所のコーナー部４１が中央に写る切り取り領域３１を決定する。

次いで、切り取り部２３ｂにより、撮影画像３０に対して、切り取り領域決定部２３ａが決定した切り取り領域３１を切り取る画像処理を施すことで、撮影画像３０の一部の領域を切り取った切り取り画像３２を作成する。そして、切り取り部２３ｂが作成した切り取り画像３２を表示制御部２３ｃに入力する（Ｓ４０）。次いで、表示制御部２３ｃにより表示装置２４に切り取り画像３２を出力して表示する（Ｓ５０）。

ステップＳ５０が完了するとスタートへ戻る。上述したステップＳ１０からステップＳ５０が所定の周期で繰り返し連続して実行されることで、図５に例示するように、表示装置２４に、吊体４０と荷役対象面５０との相対的な位置関係が写る映像（連続した画像）がリアルタイムに近い状態で表示される。表示装置２４には、トロリ１３に対して吊体４０が水平方向に相対変位した場合にも、常に吊体４０のコーナー部４１が中央に写る画像（切り取り画像３２）が表示される。図５では、表示装置２４に表示される画像の縦方向と横方向の中心線を２点鎖線で示している。

図５は、吊体４０がコンテナ６０を掴んでいない状態の吊具１４であり、荷役対象面５０がコンテナ６０の上面である場合を例示している。図５の（ａ）は、吊体４０を降下させる前の状態を例示している。図５の（ｂ）は、吊体４０を降下させている中途の状態を例示している。図５の（ｃ）は、吊体４０を荷役対象面５０に着床し終えた状態を例示している。この実施形態では、吊体４０のコーナー部４１の表示位置が常に画像の中央に維持された状態で、吊体４０を降下させるにつれて吊体４０の表示サイズが徐々に小さくなる映像が表示される。

このように、本発明によれば、トロリ１３に設置された撮影装置２１、水平変位検出装置２２ａ、および制御装置２３により、トロリ１３に対して吊体４０が水平方向に相対変位した場合にも、常に吊体４０のコーナー部４１が中央に写る画像を表示装置２４に表示させる。これにより、クレーン１０のオペレータは、吊体４０の位置を基準にして、吊体４０と荷役対象面５０との相対的な位置関係をより把握し易くなる。それ故、クレーン１０による着床作業の作業効率の向上を図ることができる。

さらに、吊具１４に比してトロリ１３にかかる衝撃や振動は小さいので、トロリ１３に撮影装置２１を設置することで、撮影装置２１として様々な機材を採用することが可能となり、撮影装置２１が故障する可能性も非常に低くなる。

本発明は、着床操作の作業性を向上するのに特に有益であるが、着床操作に限らず例えば、吊体４０を上昇させる操作やトロリ１３をＸ方向に移動させる操作を行うときなどにも、吊体４０と荷役対象面５０との相対的な位置関係を把握する手段として活用することができる。

なお、本発明では、あくまでも画像の中央に吊体４０のコーナー部４１の表示位置が維持されていればよく、表示装置２４の画面の中央に吊体４０のコーナー部４１が写る場合に限られない。例えば、表示装置２４の端に吊体４０を写した画像を表示する場合には、その端に表示される画像の中央に吊体４０のコーナー部４１が写っていればよい。

この実施形態のように、表示装置２４に吊体４０のコーナー部４１の下部４１ａが写る画像を表示させる構成にすると、着床操作時の吊体４０と荷役対象面５０との位置合わせに重要な、吊体４０のコーナー部４１の下部４１ａと荷役対象面５０の隅部５０ａとの相対的な位置関係をより把握しやすくなる。それ故、着床操作の作業性を大幅に向上できる。なお、本発明では、撮影装置２１によって少なくとも吊体４０の上部が撮影できればよく、表示装置２４に吊体４０のコーナー部４１の下部４１ａが写らない構成にすることもできる。

図６〜図１４に、本発明の遠隔操作システム２０の別の実施形態を例示する。図６〜図８に例示するように、この実施形態の遠隔操作システム２０は、トロリ１３に複数の撮影装置２１を有している。さらに、遠隔操作システム２０は、図１〜図５で例示した実施形態の遠隔操作システム２０に加えて、上下距離検出装置２２ｂを有している。上下距離検出装置２２ｂは制御装置２３に通信可能に接続されている。また、この実施形態の制御装置２３は、各機能要素として、切り取り領域決定部２３ａ、切り取り部２３ｂ、および表示制御部２３ｃに加えて、ズーム制御部２３ｄを有している。その他の構成は、図１〜図５で例示した実施形態と同じである。

図７に例示するように、この実施形態では、トロリ１３に吊体４０のそれぞれのコーナー部４１の下部４１ａとその下方の荷役対象面５０を撮影可能な撮影装置２１を計４台設置している。それぞれの撮影装置２１の撮影方向は真下に設定している。それぞれの撮影装置２１は、トロリ１３の真下に吊具１４が位置している状態で、Ｘ方向に関して、トロリ１３における吊具１４のＸ方向の端部よりも外側の位置に配置している。この実施形態では、Ｙ方向に関して、トロリ１３における吊具１４のＹ方向の端部よりも内側の位置に撮影装置２１を設置しているが、吊具１４のＹ方向の端部よりも外側の位置に撮影装置２１を設置することもできる。

図９は、この実施形態の撮影装置２１で撮像された撮影画像３０を例示している。図９の一点鎖線の四角枠で囲われた部分が、１台の撮影装置２１によって撮像された撮影画像３０、即ち、１台の撮影装置２１の撮影範囲を例示している。この実施形態では、４台の撮影装置２１によって同じ周期でそれぞれ吊体４０の異なるコーナー部４１の下部４１ａが写った４つの撮影画像３０が撮像される。

それぞれの撮影装置２１の撮影範囲は、撮影対象となる吊体４０のコーナー部４１が移動し得る全範囲を網羅する範囲に設定することが望ましい。それぞれの撮影装置２１によって撮像された撮影画像３０はそれぞれ切り取り領域決定部２３ａに逐次入力される構成になっている。

上下距離検出装置２２ｂは、トロリ１３に対する吊体４０または荷役対象面５０のいずれかのＺ方向の相対距離を検出する装置である。トロリ１３に対する吊体４０のＺ方向の相対距離を検出する上下距離検出装置２２ｂは、例えば、トロリ１３に設置され、トロリ１３と吊具１４とのＺ方向の離間距離を検出するレーザ距離計で構成できる。前述した上下距離検出装置２２ｂは、例えば、吊具１４を懸吊するワイヤの繰り出し量を検出するセンサで構成することもできるし、トロリ１３と吊具１４にそれぞれ設置したＧＰＳ受信器で構成することもできる。

トロリ１３に対する荷役対象面５０のＺ方向の相対距離を検出する上下距離検出装置２２ｂは、例えば、トロリ１３に設置されたレーザ距離計などで構成できる。なお、上下距離検出装置２２ｂは、トロリ１３に対する吊体４０または荷役対象面５０の少なくともいずれかのＺ方向の相対距離を検出できる構成であれば上記で例示した構成に限定されない。上下距離検出装置２２ｂによって検出されたトロリ１３に対する吊体４０または荷役対象面５０のいずれかのＺ方向の相対距離のデータ（以下、上下距離データという）は、ズーム制御部２３ｄに逐次入力される構成になっている。

ズーム制御部２３ｄは、上下距離検出装置２２ｂから入力される上下距離データに基づいて、撮影装置２１によって撮像される撮影画像３０に写る吊体４０または荷役対象面５０のいずれかの表示サイズを一定に維持する撮影装置２１のズーム制御（焦点距離の調節する光学ズームやデジタルズームの制御）を行う機能要素である。

上下距離検出装置２２ｂが、トロリ１３に対する吊体４０のＺ方向の相対距離を検出する場合には、ズーム制御部２３ｄは、撮影画像３０に写る吊体４０の表示サイズを一定に維持する撮影装置２１のズーム制御を行う。上下距離検出装置２２ｂが、トロリ１３に対する荷役対象面５０のＺ方向の相対距離を検出する場合には、ズーム制御部２３ｄは、撮影画像３０に写る荷役対象面５０の表示サイズを一定に維持する撮影装置２１のズーム制御を行う。

図９に例示するように、この実施形態の切り取り領域決定部２３ａは、撮影装置２１から入力された撮影画像３０と、水平変位検出装置２２ａから入力された水平変位データと、に基づいて、撮影画像３０における吊体４０のコーナー部４１が写る切り取り領域３１を決定する機能要素である。図９では、撮影画像３０の内側に位置する破線の四角枠で囲われた部分が切り取り領域３１を示している。切り取り領域決定部２３ａは、４台の撮影装置２１が同じ周期に撮像した４枚の撮影画像３０に対してそれぞれ切り取り領域３１を決定する。

具体的には、例えば、切り取り領域決定部２３ａには、吊体４０がトロリ１３の真下の基準位置にある場合の基準の切り取り領域３１が、それぞれの撮影装置２１の撮影画像３０に対して予め設定されている。切り取り領域決定部２３ａは、その基準の切り取り領域３１の位置を、水平変位検出装置２２ａから入力された水平変位データに基づいて基準位置からＸ方向およびＹ方向に補正することで、それぞれの撮影画像３０に対して、水平変位データに応じた切り取り領域３１を決定する。なお、撮影画像３０から、吊体４０のコーナー部４１が写る切り取り領域３１を決定できる方法であれば、切り取り領域３１の決定の仕方は、前述したロジックに限定されず、他のロジックで切り取り領域３１を決定することもできる。

この実施形態の切り取り部２３ｂは、４台の撮影装置２１から入力されたそれぞれの撮影画像３０に対して、切り取り領域決定部２３ａが決定したそれぞれの切り取り領域３１を切り取る画像処理を施すことで、４つの切り取り画像３２を作成する機能要素である。

この実施形態の表示制御部２３ｃは、切り取り部２３ｂによって作成された４つの切り取り画像３２を表示装置２４に出力して、表示装置２４に４枚の切り取り画像３２を組み合わせた１組の画像を表示させる機能要素である。

図１０に例示するように、この実施形態では、オペレータが操作装置１５によりクレーン１０の操作を開始すると、上下距離検出装置２２ｂにより、トロリ１３に対する吊体４０または荷役対象面５０のいずれかのＺ方向の相対変位を検出し、その検出した上下距離データをズーム制御部２３ｄに入力する（Ｓ１）。

次いで、ズーム制御部２３ｄにより、上下距離検出装置２２ｂから入力された上下距離データに基づいて、撮影画像３０に写る吊体４０または荷役対象面５０のいずれかの表示サイズを一定に維持する撮影装置２１のズーム制御を行う（Ｓ２）。次いで、それぞれの撮影装置２１により、吊体４０のコーナー部４１とその下方に位置する荷役対象面５０とを撮影し、撮像した撮影画像３０をそれぞれ切り取り領域決定部２３ａに入力する（Ｓ１０）。

次いで、水平変位検出装置２２ａが、トロリ１３に対する吊体４０の水平方向の相対変位を検出し、その検出した水平変位データを切り取り領域決定部２３ａに入力する（Ｓ２０）。次いで、切り取り領域決定部２３ａにより、撮影装置２１から入力された撮影画像３０と、水平変位検出装置２２ａから入力された水平変位データとに基づいて、それぞれの撮影画像３０における吊体４０のコーナー部４１の下部４１ａが写った切り取り領域３１を決定する（Ｓ３０）。

次いで、切り取り部２３ｂにより、それぞれの撮影画像３０に対して、切り取り領域決定部２３ａが決定した切り取り領域３１を切り取る画像処理を施すことで、撮影画像３０の一部の領域を切り取った切り取り画像３２を作成する（Ｓ４０）。この実施形態では、ステップＳ１〜ステップＳ４０を実行することで、４台の撮影装置２１が撮影した４つの撮影画像３０から吊体４０の四方のそれぞれのコーナー部４１の下部４１ａが写る４つの切り取り画像３２を作成している。

次いで、表示制御部２３ｃにより、切り取り部２３ｂが作成した４つの切り取り画像３２を表示装置２４に出力して、図１１〜図１４に例示するように、表示装置２４に４つの切り取り画像３２を組み合わせた１組の４分割の画像を表示する（Ｓ５０）。

表示装置２４には、１組の４分割の画像の左上、左下、右上、右下にそれぞれ、平面視における吊体４０の左上隅のコーナー部４１の下部４１ａ、左下隅のコーナー部４１の下部４１ａ、右上隅のコーナー部４１の下部４１ａ、右下隅のコーナー部４１の下部４１ａと、それぞれのコーナー部４１の下方に位置する荷役対象面５０が表示される。トロリ１３に対して吊体４０が水平方向に相対変位した場合にも、常に一組の４分割の画像の中央に吊体４０のコーナー部４１が表示された状態となる。

この実施形態では、さらに、表示制御部２３ｃにより、表示装置２４に、隣り合う切り取り画像３２どうしの境界を示す境界線３３を表示させている。なお、表示装置２４に境界線３３を表示させると切り取り画像３２どうしの継ぎ目の位置がより分かりやすくなるが、境界線３３を表示させない構成にすることもできる。

ステップＳ５０が完了するとスタートへ戻る。上述したステップＳ１からステップＳ５０が所定の周期で繰り返し連続して実行されることで、図１１〜１４に例示するように、表示装置２４に、吊体４０の四方のコーナー部４１の下部４１ａと荷役対象面５０との相対的な位置関係が写る映像（連続した画像）がリアルタイムに近い状態で表示される。

図１１と図１２はそれぞれ、上下距離検出装置２２ｂがトロリ１３に対する吊体４０のＺ方向の相対距離を検出する場合を例示している。図１１は、吊体４０がコンテナ６０を掴んでいない状態の吊具１４であり、荷役対象面５０がコンテナ６０の上面である場合を例示している。図１２は、吊体４０が吊具１４および吊具１４が掴んでいるコンテナ６０であり、荷役対象面５０が別のコンテナ６０の上面である場合を例示している。図１１の（ａ）と図１２の（ａ）は、吊体４０を降下させる前の状態を例示し、図１１の（ｂ）と図１２の（ｂ）は吊体４０を降下させている中途の状態を例示し、図１１の（ｃ）と図１２の（ｃ）は吊体４０を荷役対象面５０に着床し終えた状態を例示している。

図１１と図１２に例示するように、上下距離検出装置２２ｂがトロリ１３に対する吊体４０のＺ方向の相対距離を検出する場合には、トロリ１３に対して吊体４０が昇降した場合にも、表示装置２４に常に吊体４０のコーナー部４１が同じ位置に同じ表示サイズで表示される。即ち、トロリ１３に対する吊体４０のＺ方向の相対変位に応じて荷役対象面５０の表示サイズが変化する、吊体４０の高さ位置を基準にした映像が表示される。

図１３と図１４はそれぞれ、上下距離検出装置２２ｂがトロリ１３に対する荷役対象面５０のＺ方向の相対距離を検出する場合を例示している。図１３は、吊体４０がコンテナ６０を掴んでいない状態の吊具１４であり、荷役対象面５０がコンテナ６０の上面である場合を例示している。図１４は、吊体４０が吊具１４および吊具１４が掴んでいるコンテナ６０であり、荷役対象面５０が別のコンテナ６０の上面である場合を例示している。図１３の（ａ）と図１４の（ａ）は、吊体４０を降下させる前の状態を例示し、図１３の（ｂ）と図１４の（ｂ）は吊体４０を降下させている中途の状態を例示し、図１３（ｃ）と図１４の（ｃ）は吊体４０を荷役対象面５０に着床し終えた状態を例示している。

図１３と図１４に例示するように、上下距離検出装置２２ｂがトロリ１３に対する荷役対象面５０のＺ方向の相対距離を検出する場合には、着床操作の対象となる荷役対象面５０の絶対的な高さが異なる場合にも、表示装置２４に常に荷役対象面５０が同じ表示サイズで表示される。即ち、トロリ１３に対する吊体４０のＺ方向の相対変位に応じて吊体４０の表示サイズが変化する、荷役対象面５０の高さ位置を基準にした映像が表示される。

この実施形態のように、表示装置２４に吊体４０のそれぞれ異なるコーナー部４１が写る４つの切り取り画像３２を組み合わせた１組の画像を表示する構成にすると、吊体４０の全体を表示させる場合よりも、吊体４０の四方のコーナー部４１を抽出して大きく表示できる。それ故、吊体４０のコーナー部４１と荷役対象面５０の隅部５０ａとの相対的な位置関係をより把握しやすくなり、着床操作の作業性を向上させるにはより有利になる。

この実施形態では、上下距離検出装置２２ｂを備えて、表示装置２４に吊体４０または荷役対象面５０のいずれかの表示サイズを一定に維持した画像を表示する構成にしている。この構成にすると、オペレータは、吊体４０または荷役対象面５０のいずれかの高さ位置を基準にして、吊体４０と荷役対象面５０との相対的な位置関係を捉えることができる。それ故、未熟なオペレータであっても、吊体４０と荷役対象面５０との相対的な位置関係を容易に把握できる。

図１１および図１２に例示するように、表示装置２４に、吊体４０のコーナー部４１の表示サイズおよび表示位置を一定に維持した画像を表示すると、トロリ１３に対して吊体４０が水平方向およびＺ方向に相対移動した場合にも、常に吊体４０のコーナー部４１が同じサイズで同じ位置に表示された状態となる。そのため、オペレータが、吊体４０のコーナー４１に対する荷役対象面５０の隅部５０ａの相対的な位置をより一層把握しやすくなり、吊体４０の着床操作の作業性を向上させるには益々有利になる。

トロリ１３に対する吊体４０と荷役対象面５０のそれぞれのＺ方向の相対距離を検出可能な上下距離検出装置２２ｂを備え、吊体４０の表示サイズを一定に維持するモードと、荷役対象面５０の表示サイズを一定に維持するモードとをオペレータの好みに応じて切り替え可能な構成にすると、非常に汎用性の高い遠隔操作システム２０にすることができる。

なお、図１５に例示するように、上下距離検出装置２２ｂおよびズーム制御部２３ｄによる吊体４０または荷役対象面５０の表示サイズを一定に維持する撮影装置２１のズーム制御は、遠隔操作システム２０を構成する撮影装置２１が４台の場合に限らず、例えば、撮影装置２１が１台の場合やその他の台数の場合にも適用することができる。図１５の（ａ）〜（ｃ）は、撮影装置２１が１台で、吊体４０の表示サイズを一定に維持する場合を例示している。

既述した実施形態では、トロリ１３に対する吊体４０の水平方向の相対変位を直接検出する水平変位検出装置２２ａを例示したが、水平変位検出装置２２ａは、例えば、撮影装置２１が撮像した撮影画像３０を画像解析してトロリ１３に対する吊体４０の相対変位を検出する画像解析装置を有する構成にすることもできる。即ち、例えば、撮影装置２１から入力された撮影画像３０を画像解析装置によって画像解析することで水平変位検出装置２２ａが、トロリ１３に対する吊体４０の水平方向の相対変位を検出する。そして、撮影装置２１から入力された撮影画像３０と、水平変位検出装置２２ａ（画像解析装置）から入力された水平変位データとに基づいて、制御装置２３が切り取り画像３２を作成し、その作成した切り取り画像３２を表示装置２４に出力する構成にすることもできる。画像解析装置は、例えば、制御装置２３と同じハードウェアで構成することもできる。

既述した実施形態では、表示装置２４に吊体４０または荷役対象面５０のいずれかの表示サイズが一定に維持された画像を表示させる方法として、上下距離検出装置２２ｂが検出した上下距離データに基づいてズーム制御部２３ｄにより撮影装置２１のズーム制御を行う場合を例示したが、他の構成で表示装置２４に吊体４０または荷役対象面５０のいずれかの表示サイズが一定に維持された画像を表示させることもできる。

具体的には、例えば、一定のズーム倍率で撮影装置２１により吊体４０および荷役対象面５０を撮影し、水平変位検出装置２２ａが検出した水平変位データと上下距離検出装置２２ｂが検出した上下距離データとに基づいて、切り取り領域決定部２３ａが切り取り領域３１を決定して、切り取り部２３ｂが切り取り画像３２を作成する。そして、表示制御部２３ｃが、上下距離検出装置２２ｂが検出した上下距離データに基づいて、切り取り画像３２に対して拡大または縮小させる画像処理を施して作成した吊体４０または荷役対象面５０のいずれかの表示サイズが一定に維持された画像を、表示装置２４に表示させる構成にすることもできる。

既述した実施形態では、表示装置２４に、吊体４０の四方のコーナー部４１をすべて表示する場合を例示したが、表示装置２４に吊体４０の１カ所のコーナー部４１を表示する構成にしてもよいし、２カ所のコーナー部４１や３ヶ所のコーナー部４１を表示する構成にしてもよい。また、既述した実施形態では、１台の撮影装置２１の撮影範囲を４ヶ所のコーナー部４１が写る範囲に設定した場合と、１カ所のコーナー部４１が写る範囲に設定した場合とを例示しているが、例えば、吊具１４のＹ方向の中央に撮影装置２１を設置して、１台の撮影装置２１の撮影範囲を吊体４０のＹ方向に隣り合う２カ所のコーナー部４１が写る範囲に設定してもよい。

既述した実施形態では、本発明の遠隔操作システム２０および遠隔操作方法を岸壁クレーンに適用した場合を例示したが、本発明の遠隔操作システム２０および遠隔操作方法は、コンテナターミナルにおいて、運搬機や蔵置レーンに対してコンテナ６０の荷役をする門型クレーンや天井クレーンに適用することもできる。

１０コンテナクレーン
１３トロリ
１４吊具
１６操作室
２０遠隔操作システム
２１撮影装置
２２ａ水平変位検出装置
２２ｂ上下距離検出装置
２３制御装置
２４表示装置
３０撮影画像
３１切り取り領域
３２切り取り画像
４０吊体
４１コーナー部
５０荷役対象面
５０ａ隅部
６０コンテナ

Claims

コンテナクレーンのトロリに設置されて前記トロリからワイヤにより吊り下げられた吊体およびその吊体の下方に位置する荷役対象面を撮影する撮影装置と、前記撮影装置によって撮像された撮影画像に基づく画像が表示される表示装置とを備えたコンテナクレーンの遠隔操作システムにおいて、
前記トロリに対する前記吊体の水平方向の相対変位を検出する水平変位検出装置と、前記水平変位検出装置から入力される前記水平方向の相対変位に基づいて前記撮影装置から入力される前記撮影画像に対して画像処理を施して、前記トロリに対して前記吊体が水平方向に相対変位した場合にも、前記トロリに設置された前記撮影装置によって上方から撮影された前記吊体のコーナー部が中央に写る画像を前記表示装置に表示させる制御装置とを有することを特徴とするコンテナクレーンの遠隔操作システム。
前記トロリに対する前記吊体または前記荷役対象面のいずれかの上下方向の相対距離を検出する上下距離検出装置を備え、前記制御装置が、前記上下距離検出装置から入力される前記上下方向の相対距離に基づいて、前記表示装置に前記吊体または前記荷役対象面のいずれかの表示サイズが一定に維持された前記画像を表示させる構成にした請求項１に記載のコンテナクレーンの遠隔操作システム。
前記トロリに複数の前記撮影装置が互いに離間して設置されており、前記制御装置が、前記水平変位検出装置から入力される前記水平方向の相対変位に基づいて、複数の前記撮影装置から入力される複数の前記撮影画像に対してそれぞれ前記撮影画像の一部を切り取る画像処理を施して前記吊体のそれぞれ異なるコーナー部が写る４つの切り取り画像を作成し、その４つの切り取り画像を組み合わせた１組の前記画像を前記表示装置に表示させる構成にした請求項１または２に記載のコンテナクレーンの遠隔操作システム。
前記撮影装置が前記吊体のコーナー部の下部を含む範囲を撮影し、前記表示装置に前記吊体のコーナー部の下部が写る前記画像が表示される構成にした請求項１〜３のいずれか１項に記載のコンテナクレーンの遠隔操作システム。
コンテナクレーンのトロリに設置された撮影装置により、前記トロリからワイヤにより吊り下げられた吊体およびその吊体の下方に位置する荷役対象面を撮影し、その前記撮影装置によって撮像された撮影画像に基づく画像を表示装置に表示させるコンテナクレーンの遠隔操作方法において、
前記撮影装置により前記吊体および前記荷役対象面を撮影するステップと、水平変位検出装置により前記トロリに対する前記吊体の水平方向の相対変位を検出するステップと、制御装置により、前記水平変位検出装置から入力された前記水平方向の相対変位に基づいて前記撮影装置によって撮像された撮影画像に対して画像処理を施して前記トロリに設置された前記撮影装置によって上方から撮影された前記吊体のコーナー部が中央に写る画像を作成するステップと、その作成した前記画像を前記表示装置に表示させるステップと、を含むことを特徴とするコンテナクレーンの遠隔操作方法。