JP7099150B2 - クレーン及び情報共有システム - Google Patents

クレーン及び情報共有システム Download PDF

Info

Publication number
JP7099150B2
JP7099150B2 JP2018146243A JP2018146243A JP7099150B2 JP 7099150 B2 JP7099150 B2 JP 7099150B2 JP 2018146243 A JP2018146243 A JP 2018146243A JP 2018146243 A JP2018146243 A JP 2018146243A JP 7099150 B2 JP7099150 B2 JP 7099150B2
Authority
JP
Japan
Prior art keywords
image
map information
camera
information
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018146243A
Other languages
English (en)
Other versions
JP2020019644A (ja
Inventor
洋幸 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tadano Ltd
Original Assignee
Tadano Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tadano Ltd filed Critical Tadano Ltd
Priority to JP2018146243A priority Critical patent/JP7099150B2/ja
Priority to PCT/JP2019/030171 priority patent/WO2020027256A1/ja
Priority to US16/972,767 priority patent/US11358840B2/en
Priority to EP19844630.4A priority patent/EP3831766B1/en
Priority to EP23166336.0A priority patent/EP4219384A1/en
Publication of JP2020019644A publication Critical patent/JP2020019644A/ja
Application granted granted Critical
Publication of JP7099150B2 publication Critical patent/JP7099150B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • B66C13/18Control systems or devices
    • B66C13/22Control systems or devices for electric drives
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • B66C13/18Control systems or devices
    • B66C13/46Position indicators for suspended loads or for crane elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • B66C13/04Auxiliary devices for controlling movements of suspended loads, or preventing cable slack
    • B66C13/08Auxiliary devices for controlling movements of suspended loads, or preventing cable slack for depositing loads in desired attitudes or positions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C23/00Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
    • B66C23/06Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes with jibs mounted for jibbing or luffing movements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C23/00Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
    • B66C23/18Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes specially adapted for use in particular purposes
    • B66C23/36Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes specially adapted for use in particular purposes mounted on road or rail vehicles; Manually-movable jib-cranes for use in workshops; Floating cranes
    • B66C23/42Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes specially adapted for use in particular purposes mounted on road or rail vehicles; Manually-movable jib-cranes for use in workshops; Floating cranes with jibs of adjustable configuration, e.g. foldable
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C2700/00Cranes
    • B66C2700/03Cranes with arms or jibs; Multiple cranes
    • B66C2700/0321Travelling cranes
    • B66C2700/0357Cranes on road or off-road vehicles, on trailers or towed vehicles; Cranes on wheels or crane-trucks
    • B66C2700/0364Cranes on road or off-road vehicles, on trailers or towed vehicles; Cranes on wheels or crane-trucks with a slewing arm
    • B66C2700/0371Cranes on road or off-road vehicles, on trailers or towed vehicles; Cranes on wheels or crane-trucks with a slewing arm on a turntable

Description

本発明は、クレーン及び情報共有システムに関する。詳しくは、カメラの撮影領域外の作業範囲を含む作業範囲全体の情報を表示することができるとともに、複数のオペレータの間で、作業範囲全体において入力される情報の共有ができるクレーン及び情報共有システムに関する。
従来より、代表的な作業車両であるクレーンが知られている(特許文献1参照)。クレーンは、主に車両とクレーン装置で構成されている。車両は、複数の車輪を備え、走行自在に構成されている。クレーン装置は、ブームのほかにワイヤロープやフックを備え、荷物を運搬自在に構成されている。
ところで、複数のオペレータの間で情報の共有ができるクレーン作業支援システムが提案されている(特許文献2参照)。かかるクレーン作業支援システムは、ブームの先端部分に取り付けられたカメラが下方を撮影する。オペレータは、カメラによって撮影された画像上に表示させる情報を入力することができる。画像及び入力された情報は、他のオペレータが携帯する表示装置に表示され、作業現場の表示及び入力された情報の共有ができる。しかし、クレーンの作業範囲がカメラの撮影領域よりも広い場合は、作業範囲全体が画像上に表示されない。そのため、クレーン作業支援システムは、カメラの撮影領域外の作業範囲を含む作業範囲全体の情報を表示することができなかった。また、複数のオペレータの間で、作業範囲全体において入力される情報の共有がでなかった。そこで、カメラの撮影領域外の作業範囲を含む作業範囲全体の情報を表示することができるとともに、複数のオペレータの間で、作業範囲全体において入力される情報の共有ができるクレーン及び情報共有システムが求められていた。
特開2017-122003号公報 特開2016-175766号公報
カメラの撮影領域外の作業範囲を含む作業範囲全体の情報を表示することができるとともに、複数のオペレータの間で、作業範囲全体において入力される情報の共有ができるクレーン及び情報共有システムを提供する。
第一の発明は、
走行体と、
前記走行体によって支持されるブームと、
前記ブームによって支持されるカメラと、を備え、
前記カメラによって画像を撮影するクレーンにおいて、
制御装置と、
表示装置と、
前記カメラの座標を取得するセンサと、を具備し、
前記制御装置は、クレーンの作業範囲内の地図情報を取得し、
前記地図情報を前記表示装置に表示するとともに、前記地図情報上における前記カメラの座標位置に前記カメラが撮影した画像を表示することができる、ものである。
第二の発明は、第一の発明に係るクレーンにおいて、
前記制御装置は、前記カメラの撮影領域と同じ大きさの前記地図情報上の領域に前記画像を表示し、
前記地図情報の縮尺が変更されると、前記縮尺の変化率で前記撮影領域内の所定距離に対する前記画像上の距離の比率を変化させ、
前記撮影領域内の所定距離に対する前記画像上の距離の比率が変更されると、前記比率の変化率で前記地図情報の縮尺を変化させる、ものである。
第三の発明は、第二の発明に係るクレーンにおいて、
前記地図情報上と前記画像上に表示させる情報を入力する情報入力部を具備し、
前記表示装置が複数ある場合に、
一の前記表示装置には、前記地図情報と前記画像と前記情報入力部によって入力される情報が表示され、
他の前記表示装置には、前記地図情報と前記画像と前記情報が、一の前記表示装置と同様に表示される、ものである。
第四の発明は、
作業装置と、
作業装置に支持されるカメラと、
前記カメラの座標を取得するセンサと、を備える作業車両から前記カメラが撮影した画像を取得する情報共有システムにおいて、
制御装置と、
複数の表示装置と、
前記表示装置に表示させる情報を入力する情報入力部と、を具備し、
前記制御装置は、前記作業車両から前記作業車両の作業範囲を取得し、前記センサから前記カメラの座標を取得し、前記作業範囲内の地図情報を全ての前記表示装置に表示するとともに、前記地図情報上における前記カメラの座標位置であって前記カメラの撮影領域と同じ大きさの前記地図情報上の領域に前記カメラが撮影した画像を表示し、一の前記表示装置における前記地図情報の縮尺が変更されると、前記縮尺の変化率で他の前記表示装置に表示している前記地図情報の縮尺と全ての前記表示装置における前記撮影領域内の所定距離に対する前記画像上の距離の比率を変化させ、一の前記表示装置における前記撮影領域内の所定距離に対する前記画像上の距離の比率が変更されると、前記比率の変化率で全ての前記表示装置に表示している前記地図情報の縮尺と他の前記表示装置における前記撮影領域内の所定距離に対する前記画像上の距離の比率を変化させ、
前記情報入力部によって一の前記表示装置に入力された情報を他の前記表示装置に表示させる、ものである。
第一の発明に係るクレーンは、制御装置と、表示装置と、カメラの座標を取得するセンサと、を具備している。そして、制御装置は、クレーンの作業範囲内の地図情報を取得し、地図情報を表示装置に表示するとともに、地図情報上におけるカメラの座標位置にカメラが撮影した画像を表示することができる。かかるクレーンによれば、カメラの撮影領域外の作業範囲を含む作業範囲全体の情報を表示することができる。
第二の発明に係るクレーンは、制御装置は、カメラの撮影領域と同じ大きさの地図情報上の領域に画像を表示し、地図情報の縮尺が変更されると、縮尺の変化率で撮影領域内の所定距離に対する画像上の距離の比率を変化させ、撮影領域内の所定距離に対する画像上の距離の比率が変更されると、比率の変化率で地図情報の縮尺を変化させる。かかるクレーンによれば、地図情報の縮尺やカメラのズーム倍率が変更されても、地図情報上の領域とカメラの撮影領域が連動しているので、縮尺とズーム倍率に応じた情報が表示できる。
第三の発明に係るクレーンは、地図情報上と画像上に表示させる情報を入力する情報入力部を具備している。表示装置が複数ある場合に、一の表示装置には、地図情報と画像と情報入力部によって入力される情報が表示され、他の表示装置には、地図情報と画像と情報が、一の表示装置と同様に表示される。かかるクレーンによれば、各オペレータが情報を入力し、他のオペレータが携帯する表示装置に入力された情報を表示させることによって、各オペレータの判断で指示を出せるとともに、オペレータ同士で意思の疎通を取ることができる。
第四の発明に係る情報共有システムは、制御装置と、複数の表示装置と、表示装置に表示させる情報を入力する情報入力部と、を具備している。そして、制御装置は、地図情報上におけるカメラの座標位置であってカメラの撮影領域と同じ大きさの地図情報上の領域にカメラが撮影した画像を表示し、一の表示装置で地図情報の縮尺又は撮影領域内の所定距離に対する画像上の距離の比率が変更されると、全ての表示装置で地図情報上の領域とカメラの撮影領域を連動して表示させ、情報入力部によって一の表示装置に入力された情報を他の表示装置に表示させる。かかる情報共有システムによれば、カメラの撮影領域外の作業範囲を含む作業範囲全体の情報を表示することができるとともに、複数のオペレータの間で、作業範囲全体において入力される情報の共有ができる。
クレーンを示す図。 クレーンの制御構成を示す図。 表示装置を示す図。 地図情報上に表示される画像を示す図。 地図情報Mの縮尺が変更されたときの地図情報Mと画像Iの関係を示す図。 カメラのデジタルズームによる地図情報と画像の表示態様を示す図。 カメラの光学ズームによる地図情報と画像の表示態様を示す図。 カメラの光学ズームとデジタルズームの両方による地図情報と画像の表示態様を示す図。 カメラの光学ズームとデジタルズームを切り換える地図情報と画像の表示態様を示す図。 カメラの光学ズームとデジタルズームを切り換える地図情報と画像の表示態様を示す図。 地図情報上と画像上に表示させる情報の入力とその共有を示す図。 画像の非表示とその共有を示す図。 クレーン側表示端末と表示端末のうちの複数で同時に操作が行われたときの地図情報と画像の共有を示す図。 地図情報と画像の回転を示す図。 自動で制御して荷物が移動されるときの地図情報と画像の表示態様を示す図。 自動で制御して荷物が移動されるときの地図情報と画像の表示態様を示す図。 情報共有システムを示す図。
本願に開示する技術的思想は、以下に説明するクレーン1のほか、他のクレーンにも適用できる。
まず、図1を用いて、一実施形態に係るクレーン1について説明する。
クレーン1は、主に車両2とクレーン装置3で構成されている。
車両2は、左右一対の前輪4と後輪5を備えている。また、車両2は、荷物Wの運搬作業を行なう際に接地させて安定を図るアウトリガ6を備えている。なお、車両2は、その上部に支持するクレーン装置3をアクチュエータによって旋回自在としている。
クレーン装置3は、その後部から前方へ突き出すようにブーム7を備えている。ブーム7は、クレーン装置3を旋回させるアクチュエータによって旋回自在となっている(矢印A参照)。また、ブーム7は、アクチュエータによって伸縮自在となっている(矢印B参照)。更に、ブーム7は、アクチュエータによって起伏自在となっている(矢印C参照)。加えて、ブーム7には、ワイヤロープ8が架け渡されている。ブーム7の基端側には、ワイヤロープ8を巻き付けたウインチ9が配置され、ブーム7の先端側には、ワイヤロープ8によってフック10が垂下されている。ウインチ9は、アクチュエータと一体的に構成されており、ワイヤロープ8の巻き入れ及び巻き出しを可能としている。そのため、フック10は、アクチュエータによって昇降自在となっている(矢印D参照)。なお、クレーン装置3は、ブーム7の側方にキャビン11を備えている。キャビン11の内部には、旋回操作具21や伸縮操作具22、起伏操作具23、巻回操作具24が設けられている。また、クレーン側表示端末58が設けられている。
次に、図2及び図3を用いて、クレーン1の制御構成について説明する。クレーン1は、制御装置20を有している。以下では、クレーン1に乗車して操作を行うオペレータと、クレーン1に乗車せずに作業現場での作業を行うオペレータを「オペレータX」として説明する。
制御装置20には、各種操作具21~24が接続されている。また、制御装置20には、各種バルブ31~34が接続されている。
ブーム7は、アクチュエータによって旋回自在となっている(図1における矢印A参照)。本願においては、かかるアクチュエータを旋回用油圧モータ41と定義する。旋回用油圧モータ41は、方向制御弁である旋回用バルブ31によって適宜に稼動される。つまり、旋回用油圧モータ41は、旋回用バルブ31が作動油の流動方向を切り替えることで適宜に稼動される。なお、旋回用バルブ31は、オペレータXによる旋回操作具21の操作に基づいて稼動される。また、ブーム7の旋回角度は、図示しないセンサによって検出される。そのため、制御装置20は、ブーム7の旋回角度を認識することができる。
また、ブーム7は、アクチュエータによって伸縮自在となっている(図1における矢印B参照)。本願においては、かかるアクチュエータを伸縮用油圧シリンダ42と定義する。伸縮用油圧シリンダ42は、方向制御弁である伸縮用バルブ32によって適宜に稼動される。つまり、伸縮用油圧シリンダ42は、伸縮用バルブ32が作動油の流動方向を切り替えることで適宜に稼動される。なお、伸縮用バルブ32は、オペレータXによる伸縮操作具22の操作に基づいて稼動される。また、ブーム7の伸縮長さは、図示しないセンサによって検出される。そのため、制御装置20は、ブーム7の伸縮長さを認識することができる。
更に、ブーム7は、アクチュエータによって起伏自在となっている(図1における矢印C参照)。本願においては、かかるアクチュエータを起伏用油圧シリンダ43と定義する。起伏用油圧シリンダ43は、方向制御弁である起伏用バルブ33によって適宜に稼動される。つまり、起伏用油圧シリンダ43は、起伏用バルブ33が作動油の流動方向を切り替えることで適宜に稼動される。なお、起伏用バルブ33は、オペレータXによる起伏操作具23の操作に基づいて稼動される。また、ブーム7の起伏角度は、図示しないセンサによって検出される。そのため、制御装置20は、ブーム7の起伏角度を認識することができる。
フック10は、アクチュエータによって昇降自在となっている(図1における矢印D参照)。本願においては、かかるアクチュエータを巻回用油圧モータ44と定義する。巻回用油圧モータ44は、方向制御弁である巻回用バルブ34によって適宜に稼動される。つまり、巻回用油圧モータ44は、巻回用バルブ34が作動油の流動方向を切り替えることで適宜に稼動される。なお、巻回用バルブ34は、オペレータXによる巻回操作具24の操作に基づいて稼動される。また、フック10の吊下長さは、図示しないセンサによって検出される。そのため、制御装置20は、フック10の吊下長さを認識することができる。
更に、本クレーン1は、カメラ51とズーム操作具52とGNSS受信機53と方位センサ54と距離センサ55と地図情報受信装置56と通信機57とクレーン側表示端末58と表示端末59を有している。以下の実施形態において、制御装置20は、GNSS受信機53を用いてカメラ51の座標を取得するものとして説明するが、カメラ51が撮影した画像と地図情報における位置基準点を合わせ込み、撮影した画像の偏差でカメラ51の位置を把握してもよい。また、制御装置20は、カメラ51の近傍に取り付けられる通信機57の無線通信を用いて、通信機57の位置を把握することによって、カメラ51の位置を把握してもよい。
カメラ51は、画像を撮影する装置である。カメラ51は、作業現場を上方から撮影すべく、ブーム7の先端部分に取り付けられている(図1参照)。カメラ51の画角は、情報として制御装置20に保持されている。なお、カメラ51は、通信機57に接続されている。
ズーム操作具52は、カメラ51のズーム倍率を操作する操作具である。ズーム操作具52は、キャビン11の内部に取り付けられている。ズーム操作具52は、カメラ51の光学ズーム倍率とデジタルズーム倍率を操作することができる。デジタルズームは、画像処理によって画像を拡大又は縮小する処理である。そのため、カメラ51側でデジタルズームを行うのではなく、制御装置20側でカメラ51が撮影した画像を用いてデジタルズームを行ってもよい。なお、カメラ51は、制御装置20に接続されている。そのため、制御装置20は、ズーム操作具52の操作信号を認識することができる。
GNSS受信機53は、衛星から測距電波を受信し、座標である緯度、経度、標高を算出するセンサである。GNSS受信機53は、カメラ51と同様にブーム7の先端部分に取り付けられており、カメラ51の座標を算出できる。なお、GNSS受信機53は、通信機57に接続されている。
方位センサ54は、方位を検出するセンサである。方位センサ54は、車両2に取り付けられている。方位センサ54は、東西南北の方位を検出する。なお、方位センサ54は、制御装置20に接続されている。
距離センサ55は、距離を検出するセンサである。距離センサ55は、カメラ51と同様にブーム7の先端部分に取り付けられている。距離センサ55は、例えば、レーザ距離センサやマイクロ波距離センサである。距離センサ55は、地面や地物までの距離を検出できる。なお、距離センサ55は、通信機57に接続されている。
地図情報受信装置56は、クレーン1の作業範囲を含む地図情報を取得する装置である。地図情報受信装置56は、ブーム7の先端部分に取り付けられている。地図情報受信装置56は、ネットワーク70を介して作業範囲を含む地図情報を取得できる。作業範囲(例えばクレーン1から半径50m以内)は、ブーム7の最大長さ、最小長さ、最大起伏角度及び最小起伏角度によって定まり、制御装置20が情報として保持している。なお、ネットワーク70を介して作業範囲を含む地図情報を取得するのではなく、予め制御装置20に作業現場の地図情報を記憶させておいてもよい。また、地図情報受信装置56は、通信機57に接続されている。
通信機57は、電波信号に変換された情報を送受信する装置である。通信機57は、地物等による電波への影響を低減すべく、少なくともアンテナがブーム7の先端部分に取り付けられている。なお、通信機57は、制御装置20のほか、表示端末59に接続されている。そのため、通信機57は、制御装置20から表示端末59に情報を伝達することができる。また、通信機57は、制御装置20から地図情報受信装置56にクレーン1の作業範囲を伝達することができる。更に、通信機57は、制御装置20からカメラ51にズーム操作具52の操作信号を伝達することができる。加えて、通信機57は、表示端末59から制御装置20に情報を伝達することができる。加えて、通信機57は、カメラ51によって撮影された画像、カメラ51の座標、カメラ51から地面や地物までの距離、クレーン1の作業範囲を含む地図情報を制御装置20に伝達することができる。
クレーン側表示端末58は、様々な画像を表示する表示装置である。クレーン側表示端末58は、オペレータXが各種操作具21~24を操作しながら視認できるよう、キャビン11の内部における前方側に取り付けられている。クレーン側表示端末58は、地図情報とカメラ51によって撮影された画像を表示できる。クレーン側表示端末58は、タッチパネルを備えるディスプレイであり、情報を入力する情報入力部でもある。そのため、クレーン側表示端末58は、地図情報の縮尺の変更、カメラ51のズーム倍率の変更、クレーン側表示端末58に表示させる情報の入力等ができる。なお、タッチパネルを用いて情報の入力をするのではなく、マウス等のその他の入力装置で情報の入力ができるようにしてもよい。また、クレーン側表示端末58は、制御装置20に接続されている。そのため、制御装置20は、クレーン側表示端末58を通じ、オペレータXに情報を提供することができる。また、クレーン側表示端末58は、オペレータXが入力した情報を制御装置20に伝達することができる。
表示端末59は、様々な画像を表示する表示装置である。表示端末59は、地図情報とカメラ51によって撮影された画像を表示できる。表示端末59は、タッチパネルを備えるタブレット端末であり、情報を入力する情報入力部でもある。そのため、表示端末59は、地図情報の縮尺の変更、カメラ51のズーム倍率の変更、クレーン側表示端末58に表示させる情報の入力等ができる。なお、タッチパネルを用いて情報の入力をするのではなく、マウス等のその他の入力装置で情報の入力ができるようにしてもよい。また、表示端末59は、電波信号を介して前述した制御装置20に接続されている。そのため、制御装置20は、表示端末59を通じ、オペレータXへ情報を提供することができる。また、表示端末59は、オペレータXが入力した情報を制御装置20に伝達することができる。
次に、図4を用いて、地図情報M上に表示される画像Iについて説明する。ここで、カメラ51の撮影領域とは、カメラ51が画像Iとして撮影する作業現場の領域のことである。
まず、制御装置20は、GNSS受信機53によってカメラ51の座標を取得し、方位センサ54によって車両2が向いている方位を取得する。また、制御装置20は、カメラ51の座標とブーム7の旋回角度、伸縮長さ、起伏角度に基づいて、ブーム7の旋回中心の座標を算出する。そして、制御装置20は、ブーム7の旋回中心の座標とクレーン1の作業範囲を用いて、地図情報受信装置56によってクレーン1の作業範囲を含む地図情報Mを取得する。制御装置20は、取得した地図情報Mを初期設定されている所定の縮尺でクレーン側表示端末58と表示端末59に表示させる。例えば、表示される地図情報Mには、建築物と道路を示す建築物画像Ma、建築物画像Mb、建築物画像Mc、道路画像Mdが表示されている。また、ブーム7の旋回中心の座標と車両2の向いている方位に基づいて、クレーン1を示すクレーン画像M1が表示されている。更に、クレーン1の作業範囲に基づいて、作業範囲の境界線Lが表示されている。
また、制御装置20は、車両2が向いている方位とブーム7の旋回角度から、画像I上の方位を算出する。更に、制御装置20は、距離センサ55によって、その下方の地面又は地物までの距離を検出する。制御装置20は、検出した距離とカメラ51の画角に基づいて、地図情報M上のカメラ51の撮影領域を算出する。そして、制御装置20は、地図情報M上におけるカメラ51の座標位置と画像Iの中心を一致させるとともに、地図情報M上の方位と画像I上の方位を一致させて、カメラ51の撮影領域と同じ大きさの地図情報M上の領域に画像Iを重畳して表示させる。このとき、制御装置20は、カメラ51の撮影領域と同じ大きさの地図情報M上の領域に画像Iが表示されるように、画像Iの大きさを大きく又は小さくして表示させている。
また、制御装置20は、ブーム7の旋回中心から画像Iの中心へ伸びるように、ブーム7を示すブーム画像M7を表示させる。更に、制御装置20は、地図情報M上に方位を示す方位画像Meを表示し、画像I上に北方向を示す方位画像Iaを表示している。加えて、表示端末59にもGNSS受信機を取り付け、表示端末59の座標を算出することによって、画像Iの中心部分に対する表示端末59の方向を示す表示端末画像Ibを表示してもよい。オペレータXがタッチパネルに触れた状態で、指を動かすいわゆるスワイプ操作を行うと、制御装置20は、地図情報Mと画像Iをスクロールさせて、地図情報Mと画像Iの任意の位置を表示させる。例えば、施工要領で定まっている所定の位置を表示するようにスワイプ操作が行われると、制御装置20は、その所定の位置を表示させる。
以上のように、本クレーン1は、制御装置20と、表示装置(クレーン側表示端末58・表示端末59)と、カメラ51の座標を取得するセンサ(GNSS受信機53)と、を具備している。そして、制御装置20は、クレーン1の作業範囲内の地図情報Mを取得し、地図情報Mを表示装置(58・59)に表示するとともに、地図情報M上におけるカメラ51の座標位置にカメラ51が撮影した画像Iを表示することができる。かかるクレーン1によれば、カメラ51の撮影領域外の作業範囲を含む作業範囲全体の情報を表示することができる。
次に、図5を用いて、地図情報Mの縮尺が変更されたときの地図情報Mと画像Iの関係について説明する。以下の実施形態において、地図情報Mの縮尺を大きくすることは、地図情報Mを拡大することである。また、地図情報Mの縮尺を小さくすることは、地図情報Mを縮小することである。更に、カメラ51の撮影領域内の所定距離に対する画像I上の距離の比率(以降「距離比率」という)を大きくすることは、カメラ51のズーム倍率を大きくすることである。加えて、画像Iの距離比率を小さくすることは、カメラ51のズーム倍率を小さくすることである。なお、地図情報Mには、地図情報MのスケールであるスケールSと、スケールSの上に地図情報Mの縮尺が表示されている。
オペレータXが2本の指でクレーン側表示端末58又は表示端末59のタッチパネルに触れた状態で、指が離れるように操作するいわゆるピンチアウト操作を行うと、制御装置20は、地図情報Mの縮尺を大きくする。また、オペレータXが2本の指でクレーン側表示端末58又は表示端末59のタッチパネルに触れた状態で、指が近づくように操作するいわゆるピンチイン操作を行うと、制御装置20は、地図情報Mの縮尺を小さくする。
ここで、地図情報Mの縮尺が変更される前における、地図情報Mの縮尺がa、画像I上の荷物Wの横幅がbであるとする(図5の(A)参照)。ピンチアウト操作によって、地図情報Mの縮尺が変更された後における、地図情報Mの縮尺がcであるとする(図5の(B)参照)。そして、実際の荷物Wの横幅がeであるとする(図示しない)。
このとき、縮尺の変化率は、c/aである。制御装置20は、縮尺の変化率であるc/aで、カメラ51のズーム倍率を変更して、画像Iの距離比率を変化させる。縮尺cで表示されている地図情報M上に表示すべき画像I上の荷物Wの横幅をYとする。地図情報Mの縮尺が変更される前の距離比率は、b/eであり、地図情報Mの縮尺が変更された後の距離比率は、Y/eである。距離比率の変化率は、Y/e・e/b=Y/bである。縮尺の変化率c/aと距離比率の変化率Y/bが等しいため、c/a=Y/b、つまり、Y=b・c/aとなる。従って、Y=b・c/aになるように画像Iを表示することで、制御装置20は、地図情報Mの縮尺が変更されても、カメラ51の撮影領域と同じ大きさの地図情報M上の領域に画像Iを表示できる。
次に、図5を用いて、カメラ51のズーム倍率が変更されたときの地図情報Mの表示について説明する。
オペレータXは、クレーン1のズーム操作具52を操作することによって、カメラ51のズーム倍率を変更する。このとき、制御装置20は、ズーム倍率の変化率で画像Iの距離比率を変化させるとともに、地図情報Mの縮尺を変化させる。すなわち、制御装置20は、距離比率の変化率で、地図情報Mの縮尺を変化させる。
ここで、カメラ51のズーム倍率が変更される前における、地図情報Mの縮尺がa、画像I上の荷物Wの横幅がbであるとする(図5の(A)参照)。ズーム操作具52の操作によって、カメラ51のズーム倍率が変更された後における、画像I上の荷物Wの横幅がdであるとする(図5の(B)参照)。そして、実際の荷物Wの横幅がeであるとする(図示しない)。
地図情報Mの縮尺が変更される前の距離比率は、b/eであり、地図情報Mの縮尺が変更された後の距離比率は、d/eである。このとき、距離比率の変化率は、d/e・e/b=d/bである。制御装置20は、距離比率の変化率d/bで、地図情報Mの縮尺を変化させる。距離比率d/bで表示されている画像Iとともに表示すべき地図情報Mの縮尺をZとする。縮尺の変化率は、Z/aである。縮尺の変化率Z/aと距離比率の変化率d/eが等しいため、Z/a=d/b、つまり、Z=a・d/bとなる。従って、Z=a・d/bになるように地図情報Mを表示することで、制御装置20は、カメラ51のズーム倍率が変更されても、カメラ51の撮影領域と同じ大きさの地図情報M上の領域に画像Iを表示できる。
次に、図6を用いて、第一実施形態として、カメラ51のデジタルズームによる地図情報Mと画像Iの表示態様について説明する。まず、カメラ51のズーム倍率が変更する操作が行われた場合について説明する。
地図情報M上に画像Iを表示させた状態でカメラ51のズーム倍率を大きくする操作が行われた場合(図6の(A)参照)、制御装置20は、カメラ51のデジタルズームによって画像Iの距離比率を大きくするとともに、距離比率の変化率で地図情報Mの縮尺を大きくする(図6の(B)参照)。このとき、制御装置20は、距離比率に応じて画像Iの大きさを大きくする。画像Iが表示画面全体に表示される状態までカメラ51のズーム倍率を大きくする操作が行われると、制御装置20は、画像Iのみをクレーン側表示端末58又は表示端末59に表示させる(図6の(C)参照)。これにより、オペレータXは、荷物Wの状態とその周囲の詳細な情報を画像Iによって取得することができる。なお、画像Iの大きさが一定になるように、画像処理によって画像Iの中心部分を切り取って表示するようにしてもよい。
画像Iのみを表示させた状態でカメラ51のズーム倍率を小さくする操作が行われた場合(図6の(C)参照)、制御装置20は、カメラ51のデジタルズームによって画像Iの距離比率を小さくするとともに、距離比率の変化率で地図情報Mの縮尺を小さくする(図6の(B)及び(A)参照)。このとき、制御装置20は、距離比率に応じて画像Iの大きさを小さくする。その結果、制御装置20は、地図情報Mと画像Iをクレーン側表示端末58又は表示端末59に表示させる。これにより、オペレータXは、荷物Wの状態とその周囲の地物の情報を画像Iと地図情報Mによって取得することができる。
次に、図6を用いて、地図情報Mの縮尺を変更する操作が行われた場合について説明する。
地図情報M上に画像Iを表示させた状態でピンチアウト操作が行われた場合(図6の(A)参照)、制御装置20は、地図情報Mの縮尺を大きくするともに、縮尺の変化率でカメラ51のデジタルズームによって画像Iの距離比率を大きくする(図6の(B)参照)。画像Iが表示画面全体に表示される状態までピンチアウト操作が行われると、制御装置20は、画像Iのみをクレーン側表示端末58又は表示端末59に表示させる(図6の(C)参照)。
画像Iのみを表示させた状態でピンチイン操作が行われた場合(図6の(C)参照)、制御装置20は、地図情報Mの縮尺を小さくするともに、縮尺の変化率でカメラ51のデジタルズームによって画像Iの距離比率を小さくする(図6の(B)及び(A)参照)。その結果、制御装置20は、地図情報Mと画像Iをクレーン側表示端末58又は表示端末59に表示させる。
次に、図7を用いて、第二実施形態として、カメラ51の光学ズームによる地図情報Mと画像Iの表示態様について説明する。まず、カメラ51の光学ズーム倍率を変更する操作が行われた場合について説明する。
地図情報M上に画像Iを表示させた状態でカメラ51の光学ズーム倍率を大きくする操作が行われた場合(図7の(A)参照)、制御装置20は、カメラ51の光学ズームによって画像Iの距離比率を大きくするとともに、距離比率の変化率で地図情報Mの縮尺を大きくする(図7の(B)参照)。地図情報Mの縮尺が大きくなるとともに、縮尺の変化率と同じ変化率で画像Iの撮影範囲が小さくなるため、画像Iの大きさは、変化しない。これにより、オペレータXは、荷物Wの状態とその周囲の詳細な情報を画像Iによって鮮明に取得することができる。
地図情報M上に画像Iを表示させた状態でカメラ51の光学ズーム倍率を小さくする操作が行われた場合(図7の(B)参照)、制御装置20は、光学ズームによって画像Iの距離比率を小さくするとともに、画像Iの距離比率の変化率で地図情報Mの縮尺を小さくする(図7(A)参照)。このとき、地図情報Mの縮尺が小さくなるとともに、縮尺の変化率と同じ変化率で画像Iの撮影範囲が大きくなるため、画像Iの大きさは、変化しない。これにより、オペレータXは、荷物Wの状態とその周囲の地物の情報を画像Iと地図情報Mによって取得することができる。
次に、図7を用いて、地図情報Mの縮尺を変更する操作が行われた場合について説明する。
地図情報M上に画像Iを表示させた状態でピンチアウト操作が行われた場合(図7の(A)参照)、制御装置20は、地図情報Mの縮尺を大きくするとともに、縮尺の変化率でカメラ51の光学ズームによって画像Iの距離比率を大きくする(図7の(B)参照)。このとき、地図情報Mの縮尺が大きくなるとともに、縮尺の変化率と同じ変化率で画像Iの撮影範囲が小さくなるため、画像Iの大きさは、変化しない。
地図情報M上に画像Iを表示させた状態でピンチイン操作が行われた場合(図7の(B)参照)、制御装置20は、地図情報Mの縮尺を小さくするとともに、縮尺の変化率でカメラ51の光学ズームによって画像Iの距離比率を小さくする(図7の(A)参照)。このとき、地図情報Mの縮尺が小さくなるとともに、縮尺の変化率と同じ変化率で画像Iの撮影範囲が大きくなるため撮影範囲が大きくなるため、画像Iの大きさは、変化しない。
次に、図8を用いて、第三実施形態として、カメラ51の光学ズームとデジタルズームの両方による地図情報Mと画像Iの表示態様について説明する。まず、カメラ51のズーム倍率を変更する操作が行われた場合について説明する。
地図情報M上に画像Iを表示させた状態でカメラ51のズーム倍率を大きくする操作が行われた場合(図8の(A)参照)、制御装置20は、カメラ51のデジタルズーム倍率と光学ズーム倍率を掛け合わせた倍率で画像Iの距離比率を大きくするとともに、距離比率の変化率で地図情報Mの縮尺を大きくする(図8の(B)参照)。具体的に説明すると、制御装置20は、カメラ51のデジタルズームによって画像Iの距離比率を大きくするとともに、距離比率の変化率で地図情報Mの縮尺を大きくする。このとき、制御装置20は、距離比率に応じて画像Iの大きさを大きくする。同時に、制御装置20は、カメラ51の光学ズームによって画像Iの距離比率を大きくするとともに、距離比率の変化率で地図情報Mの縮尺を大きくする。地図情報Mの縮尺が大きくなるとともに、縮尺の変化率と同じ変化率で画像Iの撮影範囲が小さくなるため、画像Iの大きさは、変化しない。そのため、カメラ51のデジタルズームによる距離比率の変化率だけ画像Iの大きさが大きくなって表示される。これにより、オペレータXは、荷物Wの状態と広範囲の周囲の詳細な情報を画像Iによって鮮明に取得することができる。なお、カメラ51のデジタルズーム倍率と光学ズーム倍率の割合は、任意の割合とすることができる。
地図情報M上に画像Iを表示させた状態でカメラ51のズーム倍率を小さくする操作が行われた場合(図8の(B)参照)、制御装置20は、カメラ51のデジタルズーム倍率と光学ズーム倍率を掛け合わせた倍率で画像Iの距離比率を小さくするともに、距離比率の変化率で地図情報Mの縮尺を小さくする(図8の(A)参照)。具体的に説明すると、制御装置20は、カメラ51のデジタルズームによって画像Iの距離比率を小さくするとともに、距離比率の変化率で地図情報Mの縮尺を小さくする。このとき、制御装置20は、距離比率に応じて画像Iの大きさを小さくする。同時に、制御装置20は、カメラ51の光学ズームによって画像Iの距離比率を小さくするとともに、距離比率の変化率で地図情報Mの縮尺を小さくする。地図情報Mの縮尺が小さくなるとともに、縮尺の変化率と同じ変化率で画像Iの撮影範囲が大きくなるため、画像Iの大きさは、変化しない。そのため、カメラ51のデジタルズームによる距離比率の変化率だけ画像Iの大きさが小さくなって表示される。これにより、オペレータXは、荷物Wの状態とその周囲の地物の情報を画像Iと地図情報Mによって取得することができる。
次に、図8を用いて、地図情報Mの縮尺を変更する操作が行われた場合について説明する。
地図情報M上に画像Iを表示させた状態でピンチアウト操作が行われた場合(図8の(A)参照)、制御装置20は、地図情報Mの縮尺を大きくするとともに、縮尺の変化率でカメラ51のデジタルズームと光学ズームによって画像Iの距離比率を大きくする(図8の(B)参照)。このとき、制御装置20は、カメラ51のデジタルズーム倍率と光学ズーム倍率を掛け合わせた倍率と縮尺の変化率が等しくなるように制御している。
地図情報M上に画像Iを表示させた状態でピンチイン操作が行われた場合(図8の(B)参照)、制御装置20は、地図情報Mの縮尺を小さくするとともに、縮尺の変化率でカメラ51のデジタルズームと光学ズームによって画像Iの距離比率を小さくする(図8の(A)参照)。このとき、制御装置20は、カメラ51のデジタルズーム倍率と光学ズーム倍率を掛け合わせた倍率と縮尺の変化率が等しくなるように制御している。
次に、図9及び図10を用いて、第四実施形態として、カメラ51の光学ズームとデジタルズームを切り換える地図情報Mと画像Iの表示態様について説明する。まず、カメラ51のズーム倍率を変更する操作が行われた場合について説明する。
地図情報M上に画像Iを表示させた状態でカメラ51のズーム倍率を大きくする操作が行われた場合(図9の(A)参照)、制御装置20は、カメラ51の光学ズームによって画像Iの距離比率を大きくするとともに、距離比率の変化率で地図情報Mの縮尺を大きくする(図9の(B)参照)。地図情報Mの縮尺が大きくなるとともに、縮尺の変化率と同じ変化率で画像Iの撮影範囲が小さくなるため、画像Iの大きさは、変化しない。そして、カメラ51の光学ズーム倍率が最大倍率のときに、カメラ51のズーム倍率を大きくする操作が行われると、制御装置20は、カメラ51のデジタルズームによって画像Iの距離比率を大きくするとともに、距離比率の変化率で地図情報Mの縮尺を大きくする(図9の(C)参照)。このとき、制御装置20は、距離比率に応じて画像Iの大きさを大きくする。これにより、オペレータXは、カメラ51の光学ズームが最大倍率の場合でも、荷物Wの状態とその周囲の詳細な情報を画像Iによって取得することができる。
地図情報M上に画像Iを表示させた状態でカメラ51のズーム倍率を小さくする操作が行われた場合(図10の(A)参照)、制御装置20は、カメラ51の光学ズームによって画像Iの距離比率を小さくするとともに、画像Iの距離比率の変化率で地図情報Mの縮尺を小さくする(図10の(B)参照)。そして、カメラ51の光学ズーム倍率が最小倍率のときに、カメラ51のズーム倍率を小さくする操作が行われると、制御装置20は、カメラ51のデジタルズームによって画像Iの距離比率を小さくするとともに、距離比率の変化率で地図情報Mの縮尺を小さくする(図10の(C)参照)。このとき、制御装置20は、距離比率に応じて画像Iの大きさを小さくする。これにより、オペレータXは、カメラ51の光学ズームが最小倍率の場合でも、荷物Wの状態と広範囲の周囲の地物の情報を画像Iと地図情報Mによって取得することができる。
次に、図9及び図10を用いて、地図情報Mの縮尺を変更する操作が行われた場合について説明する。
地図情報M上に画像Iを表示させた状態でピンチアウト操作が行われた場合(図9の(A)参照)、制御装置20は、地図情報Mの縮尺を大きくするとともに、縮尺の変化率でカメラ51の光学ズームによって画像Iの距離比率を大きくする(図9の(B)参照)。このとき、地図情報Mの縮尺が大きくなるとともに、縮尺の変化率と同じ変化率で画像Iの撮影範囲が小さくなるため、画像Iの大きさは、変化しない。そして、カメラ51の光学ズーム倍率が最大倍率のときに、ピンチアウト操作を行われると、制御装置20は、地図情報Mの縮尺を大きくするとともに、縮尺の変化率でカメラ51のデジタルズームによって画像Iの距離比率を大きくする(図9の(C)参照)。
地図情報M上に画像Iを表示させた状態でピンチイン操作が行われた場合(図10の(A)参照)、制御装置20は、地図情報Mの縮尺を小さくするとともに、縮尺の変化率でカメラ51の光学ズームによって画像Iの距離比率を小さくする(図10の(B)参照)。このとき、地図情報Mの縮尺が小さくなるとともに、縮尺の変化率と同じ変化率で画像Iの撮影範囲が大きくなるため、画像Iの大きさは、変化しない。そして、カメラ51の光学ズーム倍率が最小倍率のときに、ピンチイン操作が行われると、制御装置20は、縮尺の変化率でカメラ51のデジタルズームによって画像Iの距離比率を小さくする(図10の(C)参照)。
以上のように、本クレーン1は、制御装置20は、カメラ51の撮影領域と同じ大きさの地図情報M上の領域に画像Iを表示し、地図情報Mの縮尺が変更されると、縮尺の変化率で撮影領域内の所定距離に対する画像I上の距離の比率(距離比率)を変化させ、撮影領域内の所定距離に対する画像I上の距離の比率(距離比率)が変更されると、比率の変化率で地図情報Mの縮尺を変化させる。かかるクレーン1によれば、地図情報Mの縮尺やカメラ51のズーム倍率が変更されても、地図情報M上の領域とカメラ51の撮影領域が連動しているので、縮尺とズーム倍率に応じた情報が表示できる。
次に、図11を用いて、第五実施形態として、入力された情報を共有する表示態様について説明する。
制御装置20は、カメラ51の撮影領域と同じ大きさの地図情報M上の領域に画像Iを表示させている。そして、クレーン側表示端末58と表示端末59のうちの一つにおいて、オペレータXが地図情報M上と画像I上に表示させる情報の入力を行う。表示させる情報の入力は、タッチパネル上の手書きの入力やマークの配置によって行われる。例えば、地図情報M上には、荷物Wの設置位置を示すマークの設置位置画像Mf1と設置位置画像Mf2が表示されている(図11の(A)参照)。また、地図情報M上には、玉掛する位置を示す手書きの玉掛け位置画像Mgが表示されている。更に、地図情報M上には、荷物Wの搬送経路を示す手書きの搬送経路画像Mhが表示されている。加えて、地図情報M上には、進入禁止の指示を示す手書きの進入禁止指示画像Mi1と、マークの進入禁止指示画像Mi2が表示されている。制御装置20は、進入禁止指示画像Mi2と重なっている進入禁止指示画像Mi1の領域を進入禁止領域として自動的に認識し、進入禁止領域に荷物Wやブーム7が進入しないように制御を行う。
情報が入力されたクレーン側表示端末58又は表示端末59は、入力された情報を制御装置20に伝達する。そして、制御装置20は、情報が入力されていないクレーン側表示端末58と表示端末59に入力された情報を伝達して表示させる(図11の(B)参照)。例えば、荷物Wの設置位置を把握している鳶や現場監督は、表示端末59に荷物Wの設置位置を入力することによって、キャビン11内で荷物Wを運搬する操作を行うオペレータと、荷物Wの設置位置の情報を共有することができる。地図情報M上と画像I上に荷物Wの設置位置が表示されるため、無線を用いた音声による指示よりもわかりやすく、鳶や現場監督とオペレータの間で、荷物Wの設置位置について認識の相違が生じにくい。また、鳶や現場監督とオペレータの間で、作業現場の状況を共有できるため、安全かつ作業効率が上がる。更に、荷物Wの搬送方向を基準とする操作方法において、地図情報M上の方向を荷物Wの操作方向として用いることができるため、制御装置20は、荷物Wの搬送方向を基準とする操作方法と連携を取りやすい。
次に、図12を用いて、画像Iの非表示とその共有について説明する。
制御装置20は、カメラ51の撮影領域と同じ大きさの地図情報M上の領域に画像Iを表示させている。そして、クレーン側表示端末58と表示端末59のうちの一つにおいて、オペレータXが画像Iを非表示する操作を行う。例えば、オペレータXが画像Iをタッチすることによって、画像Iを非表示にしている(図12の(A)参照)。
操作が行われたクレーン側表示端末58と表示端末59は、画像Iを非表示にする操作が行われたことを制御装置20に伝達する。そして、制御装置20は、操作が行われていないクレーン側表示端末58と表示端末59に画像Iを非表示にする指示を伝達し、画像Iを非表示にする(図12の(B)参照)。そのため、オペレータX、画像Iの表示によって地図情報Mが見えにくい場合に、画像Iを非表示にして地図情報Mのみを表示させることができる。なお、操作が行われたクレーン側表示端末58と表示端末59のみが画像Iを非表示にして、操作が行われていないクレーン側表示端末58と表示端末59は、画像Iを表示したままにするとしてもよい。
また、クレーン側表示端末58と表示端末59のうちの一つは、地図情報Mの縮尺やカメラ51のズーム倍率を変更する操作が行われた場合、地図情報Mの縮尺やカメラ51のズーム倍率が変更する操作が行われたこと制御装置20に伝達する。そして、制御装置20は、操作が行われていないクレーン側表示端末58と表示端末59の地図情報Mの縮尺やカメラ51のズーム倍率を変更して表示させる。
次に、図13を用いて、クレーン側表示端末58と表示端末59のうちの複数で同時に操作が行われたときの地図情報Mと画像Iの共有について説明する。
クレーン側表示端末58と表示端末59のうちの複数で、情報の入力、画像Iの非表示、地図情報Mの縮尺やカメラ51のズーム倍率の変更の操作が同時に行われた場合、情報の入力中に地図情報Mの縮尺が変更されてしまう等の混乱が生じる可能性がある。そのため、クレーン側表示端末58と表示端末59のうちの複数で同時に、地図情報Mと画像Iと入力される情報が共有されないようにしてもよい。例えば、クレーン側表示端末58と表示端末59のうちの一つにおいて、オペレータXが情報の入力を行っている(図13の(A)参照)。このとき、情報が入力されていないクレーン側表示端末58又は表示端末59において、他のオペレータXが地図情報Mの縮尺を変更した場合(図13の(B)参照)、情報が入力されているクレーン側表示端末58又は表示端末59の地図情報Mの縮尺を変更しないようにする。
次に、図14を用いて、地図情報Mと画像Iの回転について説明する。
オペレータXが所望するように地図情報Mと画像Iを回転させて、クレーン側表示端末58又は表示端末59で個別に表示できるようにしてもよい。例えば、クレーン側表示端末58と表示端末59のうちの一つにおいて、オペレータXがタッチパネルに触れた状態で、2本の指をひねるように動かして地図情報Mと画像Iを回転させる操作を行っている(図14の(A)参照)。このとき、操作が行われていないクレーン側表示端末58と表示端末59において、地図情報Mと画像Iは、回転されていない(図14の(B)参照)。
以上のように、本クレーン1は、地図情報M上と画像I上に表示させる情報(設置位置画像Mf1・設置位置画像Mf2・玉掛け位置画像Mg・搬送経路画像Mh・進入禁止指示画像Mi1・進入禁止指示画像Mi2)を入力する情報入力部(クレーン側表示端末58・表示端末59)を具備している。表示装置(58・59)が複数ある場合に、一の表示装置(58・59)には、地図情報Mと画像Iと情報入力部によって入力される情報(Mf1・Mf2・Mg・Mh・Mi1・Mi2)が表示され、他の表示装置(58・59)には、地図情報Mと画像Iと情報(Mf1・Mf2・Mg・Mh・Mi1・Mi2)が、一の表示装置(58・59)と同様に表示される。かかるクレーン1によれば、各オペレータXが情報(Mf1・Mf2・Mg・Mh・Mi1・Mi2)を入力し、他のオペレータXが携帯する表示装置(58・59)に入力された情報(Mf1・Mf2・Mg・Mh・Mi1・Mi2)を表示させることによって、各オペレータXの判断で指示を出せるとともに、オペレータX同士で意思の疎通を取ることができる。
次に、図15及び図16を用いて、自動で制御して荷物Wが移動されるときの地図情報Mと画像Iの表示態様について説明する。自動で制御して荷物Wが移動されるときに、オペレータXが荷物Wの設置位置を指示することにより、制御装置20が荷物Wの搬送経路を自動的に生成する。クレーン1は、生成した荷物Wの搬送経路に沿って荷物Wを自動的に移動させる。
図15に示すように、クレーン側表示端末58と表示端末59のうちの一つにおいて、オペレータXによって荷物Wの設置位置が入力され、荷物Wの設置位置を示すマークの設置位置画像Mjが表示されている(図15の(A)参照)。制御装置20は、荷物Wの現在位置と荷物Wの設置位置に基づいて、荷物Wの搬送経路を生成し、搬送経路画像Mkを表示させている。このため、制御装置20は、オペレータXが荷物Wの移動経路を地図情報M上で確認できるように表示することができる。生成された搬送経路に沿って荷物Wが自動的に搬送されるときに、カメラ51の座標に応じた地図情報M上の位置に画像Iが移動しながら表示される(図15の(B)参照)。このため、制御装置20は、搬送中の荷物Wの周囲における実際の状況をオペレータXが監視、確認できるように表示することができる。また、制御装置20は、オペレータXが荷物Wの移動を直感的に認識しやすいように表示することができる。制御装置20は、荷物Wの吊り下げを開始する場合又は荷物Wが設置位置から所定の範囲内に入った場合、カメラ51のデジタルズーム又は光学ズームによって画像Iの距離比率を大きくして画像Iを表示させる(図15の(C)参照)。このため、制御装置20は、オペレータXが荷物Wの周囲の状況及び設置位置の周囲の状況を監視、確認したり、荷物Wの設置位置等を調節、指定したりしやすいように表示することができる。
図16に示すように、クレーン側表示端末58又は表示端末59の画面上における画像Iの表示位置を固定して表示させてもよい。具体的に説明すると、生成された搬送経路に沿って荷物Wが自動的に搬送されるときに、クレーン側表示端末58又は表示端末59の画面上における画像Iの表示位置を固定した状態で、カメラ51の座標に応じて画像Iの位置と地図情報Mの位置が一致するように地図情報Mが表示される(図16の(B)参照)。このとき、地図情報Mは、クレーン側表示端末58又は表示端末59の画面上をカメラ51の座標に応じてスクロールして表示される。これにより、制御装置20は、オペレータXが荷物Wから一定範囲内を常に監視、確認しやすいように表示することができる。クレーン側表示端末58又は表示端末59の画面上における画像Iの表示位置を固定する以外は、クレーン側表示端末58又は表示端末59の画面上における画像Iの表示位置を変化させる場合と、同様の表示態様である(図16の(A)及び(C)参照)。なお、荷物Wが移動されるときの地図情報Mと画像Iの表示態様について、荷物Wの搬送経路を自動的に生成し、生成した搬送経路に沿って荷物Wを自動的に移動させるものとして説明したが、手動の操作によって荷物Wを移動させる場合でも、同様の表示態様で地図情報Mと画像Iを表示することが可能である。
次に、図17を用いて、情報共有システム12について説明する。ここで、クレーン13は、地図情報受信装置56、表示端末59を備えておらず、地図情報Mと画像Iと入力された情報の表示を行わない点がクレーン1と相違する。
情報共有システム12における作業車両は、クレーン13であり、作業装置は、クレーン装置3(図1参照)である。作業車両は、クレーン13以外にも、作業装置に取り付けられるカメラによって上方から画像を撮影する他の作業車両にも適用できる。例えば、高所作業車にも適用できる。
システム側制御装置80は、情報共有システム12の制御装置である。システム側制御装置80は、ブーム7の先端部分に取り付けられている。なお、システム側制御装置80は、通信機57に接続されている。そのため、システム側制御装置80は、通信機57を介して制御装置20から画像I、カメラ51の座標、ズーム操作具52の操作信号、車両2が向いている方位、画像I上の方位を取得することができる。
システム側制御装置80は、クレーン13から取得した情報に基づいて、複数の表示端末59にカメラ51の撮影領域と同じ大きさの地図情報M上の領域に画像Iを表示させる。そして、システム側制御装置80は、地図情報Mの縮尺が変更された場合、カメラ51のズーム倍率が変更された場合、情報が入力された場合、画像Iが非表示にされた場合等に、前述の各実施形態と同様の表示態様で表示させる。なお、表示端末59は、タブレット端末であるため、キャビン11内に配置することでオペレータXが使用することができる。
このように、情報共有システム12は、通信機57を介して作業車両の制御装置に接続し、作業車両から必要な情報を取得することによって、容易に、前述の各実施形態と同様の表示態様を表示するシステムを構成することができる。
以上のように、本情報共有システム12は、制御装置(システム側制御装置80)と、複数の表示装置(表示端末59)と、表示装置(59)に表示させる情報(設置位置画像Mf1・設置位置画像Mf2・玉掛け位置画像Mg・搬送経路画像Mh・進入禁止指示画像Mi1・進入禁止指示画像Mi2)を入力する情報入力部と、を具備している。そして、制御装置(80)は、地図情報M上におけるカメラ51の座標位置であってカメラ51の撮影領域と同じ大きさの地図情報M上の領域にカメラ51が撮影した画像Iを表示し、一の表示装置(59)で地図情報Mの縮尺又は撮影領域内の所定距離に対する画像I上の距離の比率が変更されると、全ての表示装置(59)で地図情報M上の領域とカメラ51の撮影領域が連動して表示させ、情報入力部によって一の表示装置(59)に入力された情報(Mf1・Mf2・Mg・Mh・Mi1・Mi2)を他の表示装置(59)に表示させる。かかる情報共有システム12によれば、カメラ51の撮影領域外の作業範囲を含む作業範囲全体の情報を表示することができるとともに、複数のオペレータXの間で、作業範囲全体において入力される情報(Mf1・Mf2・Mg・Mh・Mi1・Mi2)の共有ができる。
但し、図4から図16を用いて説明した操作方法は、あくまで適用し得る操作方法の一例であり、他の操作方法で地図情報Mと画像Iの任意の位置の表示や、地図情報Mの縮尺とカメラ51のズーム倍率の変更、地図情報M上と画像I上に表示させる情報の入力、画像Iの非表示、地図情報Mと画像Iの回転の操作を行ってもよい。
前述の実施形態では表示端末59としてタブレット端末を例に説明したが、いわゆるヘッドマウントディスプレイや、クレーン1の遠隔操作端末に設けられている表示装置でも同様に適用することができる。オペレータXは、ヘッドマウントディスプレイに表示される地図情報Mと画像Iに対して操作を行う場合、オペレータXの動きから操作の内容を認識するジェスチャー操作や、オペレータXの頭の向きや視線の方向から地図情報M上と画像I上の位置を認識するポインタ操作等によって、地図情報Mと画像Iに対して操作を行うことができる。
最後に、本願に開示する技術的思想は、地図情報M以外にも作業現場の三次元データや施工図面、BIM(Building Information Model)施工データ、ドローンを用いて撮影された航空写真、ブーム7の旋回等によって異なる位置からカメラ51が撮影した画像を足し合わせた画像にも適用できる。三次元データとは、レーザースキャナ等によって検出される作業現場の三次元形状のデータである。BIMと連携することによって、施工手順変更の自動通知などの様々な機能を付与することもできる。
1 クレーン
2 車両
3 クレーン装置(作業装置)
7 ブーム
12 情報共有システム
13 クレーン(作業車両)
20 制御装置
51 カメラ
53 センサ(GNSS受信機)
58 クレーン側表示端末(表示装置)
59 表示端末(表示装置)
80 システム側制御装置(制御装置)
I 画像
M 地図情報
W 荷物

Claims (4)

  1. 走行体と、
    前記走行体によって支持されるブームと、
    前記ブームによって支持されるカメラと、を備え、
    前記カメラによって画像を撮影するクレーンにおいて、
    制御装置と、
    表示装置と、
    前記カメラの座標を取得するセンサと、を具備し、
    前記制御装置は、クレーンの作業範囲内の地図情報を取得し、
    前記地図情報を前記表示装置に表示するとともに、前記地図情報上における前記カメラの座標位置に前記カメラが撮影した画像を表示することができる、ことを特徴とするクレーン。
  2. 前記制御装置は、前記カメラの撮影領域と同じ大きさの前記地図情報上の領域に前記画像を表示し、
    前記地図情報の縮尺が変更されると、前記縮尺の変化率で前記撮影領域内の所定距離に対する前記画像上の距離の比率を変化させ、
    前記撮影領域内の所定距離に対する前記画像上の距離の比率が変更されると、前記比率の変化率で前記地図情報の縮尺を変化させる、ことを特徴とする請求項1に記載のクレーン。
  3. 前記地図情報上と前記画像上に表示させる情報を入力する情報入力部を具備し、
    前記表示装置が複数ある場合に、
    一の前記表示装置には、前記地図情報と前記画像と前記情報入力部によって入力される情報が表示され、
    他の前記表示装置には、前記地図情報と前記画像と前記情報が、一の前記表示装置と同様に表示される、ことを特徴とする請求項1又は請求項2に記載のクレーン。
  4. 作業装置と、
    作業装置に支持されるカメラと、
    前記カメラの座標を取得するセンサと、を備える作業車両から前記カメラが撮影した画像を取得する情報共有システムにおいて、
    制御装置と、
    複数の表示装置と、
    前記表示装置に表示させる情報を入力する情報入力部と、を具備し、
    前記制御装置は、前記作業車両から前記作業車両の作業範囲を取得し、前記センサから前記カメラの座標を取得し、前記作業範囲内の地図情報を全ての前記表示装置に表示するとともに、前記地図情報上における前記カメラの座標位置であって前記カメラの撮影領域と同じ大きさの前記地図情報上の領域に前記カメラが撮影した画像を表示し、一の前記表示装置における前記地図情報の縮尺が変更されると、前記縮尺の変化率で他の前記表示装置に表示している前記地図情報の縮尺と全ての前記表示装置における前記撮影領域内の所定距離に対する前記画像上の距離の比率を変化させ、一の前記表示装置における前記撮影領域内の所定距離に対する前記画像上の距離の比率が変更されると、前記比率の変化率で全ての前記表示装置に表示している前記地図情報の縮尺と他の前記表示装置における前記撮影領域内の所定距離に対する前記画像上の距離の比率を変化させ、
    前記情報入力部によって一の前記表示装置に入力された情報を他の前記表示装置に表示させる、ことを特徴とする情報共有システム。
JP2018146243A 2018-08-02 2018-08-02 クレーン及び情報共有システム Active JP7099150B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018146243A JP7099150B2 (ja) 2018-08-02 2018-08-02 クレーン及び情報共有システム
PCT/JP2019/030171 WO2020027256A1 (ja) 2018-08-02 2019-08-01 クレーン及び情報共有システム
US16/972,767 US11358840B2 (en) 2018-08-02 2019-08-01 Crane and information-sharing system
EP19844630.4A EP3831766B1 (en) 2018-08-02 2019-08-01 Crane
EP23166336.0A EP4219384A1 (en) 2018-08-02 2019-08-01 Information-sharing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018146243A JP7099150B2 (ja) 2018-08-02 2018-08-02 クレーン及び情報共有システム

Publications (2)

Publication Number Publication Date
JP2020019644A JP2020019644A (ja) 2020-02-06
JP7099150B2 true JP7099150B2 (ja) 2022-07-12

Family

ID=69231104

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018146243A Active JP7099150B2 (ja) 2018-08-02 2018-08-02 クレーン及び情報共有システム

Country Status (4)

Country Link
US (1) US11358840B2 (ja)
EP (2) EP3831766B1 (ja)
JP (1) JP7099150B2 (ja)
WO (1) WO2020027256A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7416065B2 (ja) * 2019-06-20 2024-01-17 株式会社タダノ 可動範囲表示システムおよび可動範囲表示システムを備えるクレーン
WO2023187967A1 (ja) * 2022-03-29 2023-10-05 本田技研工業株式会社 サーバ装置及びその制御方法、地図作成システム、並びにプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250589A (ja) 2012-05-30 2013-12-12 Hitachi Consumer Electronics Co Ltd 情報処理装置、情報処理方法、及び、プログラム
JP2016175766A (ja) 2015-03-20 2016-10-06 株式会社タダノ クレーン作業支援システム
JP2018039648A (ja) 2016-09-09 2018-03-15 株式会社タダノ 画像表示システム
JP2019094199A (ja) 2017-11-27 2019-06-20 住友重機械搬送システム株式会社 クレーンシステム及び画像合成装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6894621B2 (en) * 1997-02-27 2005-05-17 Jack B. Shaw Crane safety devices and methods
JP6121670B2 (ja) * 2012-09-05 2017-04-26 株式会社タダノ 作業計画確認装置
US9300954B2 (en) * 2012-09-21 2016-03-29 Tadano Ltd. Surrounding information-obtaining device for working vehicle
WO2015119264A1 (ja) * 2014-02-06 2015-08-13 ヤンマー株式会社 併走作業システムの遠隔操作装置
JP2017122003A (ja) 2016-01-08 2017-07-13 株式会社タダノ 移動式クレーン
JP6880648B2 (ja) * 2016-10-21 2021-06-02 株式会社タダノ クレーン車
DE102016012786A1 (de) * 2016-10-26 2018-04-26 Liebherr-Werk Biberach Gmbh Fernsteuer-Einrichtung für Kran, Baumaschine und/oder Flurförderzeug
JP6916609B2 (ja) * 2016-11-21 2021-08-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 交差点情報配信装置及び交差点情報配信方法
JP6760030B2 (ja) * 2016-12-09 2020-09-23 株式会社タダノ クレーン
SE540869C2 (en) * 2017-04-11 2018-12-11 Cargotec Patenter Ab A three dimensional presentation system using an orientation sensor and a digital curtain
KR102494864B1 (ko) * 2017-12-27 2023-02-02 현대자동차주식회사 차량 및 그 제어방법
US10654692B2 (en) * 2018-05-04 2020-05-19 Rowan Companies, Inc. System and method for remote crane operations on offshore unit

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250589A (ja) 2012-05-30 2013-12-12 Hitachi Consumer Electronics Co Ltd 情報処理装置、情報処理方法、及び、プログラム
JP2016175766A (ja) 2015-03-20 2016-10-06 株式会社タダノ クレーン作業支援システム
JP2018039648A (ja) 2016-09-09 2018-03-15 株式会社タダノ 画像表示システム
JP2019094199A (ja) 2017-11-27 2019-06-20 住友重機械搬送システム株式会社 クレーンシステム及び画像合成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
秋山 健次 Kenji Akiyama,社会インフラを支えるシステム技術 System Technologies Supporting Social Infrastructure,三菱電機技報 第89巻 第2号,三菱電機エンジニアリング株式会社,2015年02月20日,第89巻,第43-46ページ

Also Published As

Publication number Publication date
US11358840B2 (en) 2022-06-14
EP4219384A1 (en) 2023-08-02
EP3831766B1 (en) 2024-03-06
EP3831766A4 (en) 2022-10-12
JP2020019644A (ja) 2020-02-06
EP3831766A1 (en) 2021-06-09
US20210238017A1 (en) 2021-08-05
WO2020027256A1 (ja) 2020-02-06

Similar Documents

Publication Publication Date Title
CN110062744B (zh) 远程操作终端及具备远程操作终端的作业车辆
JP7416063B2 (ja) 遠隔操作端末および遠隔操作端末を備える移動式クレーン
JP7099150B2 (ja) クレーン及び情報共有システム
JP7091729B2 (ja) 遠隔操作端末および遠隔操作端末を備える作業車両
EP3763659A1 (en) Remote operation terminal and mobile crane comprising remote operation terminal
JP7114950B2 (ja) 遠隔操作端末及び作業車両
JP7172199B2 (ja) 遠隔操作端末及び作業車両
JP6919548B2 (ja) 遠隔操作端末および遠隔操作端末を備える作業車両
US20230019162A1 (en) Crane, crane body, and non-transitory computer readable medium storing program
JP7172253B2 (ja) 作業車両
JP7380685B2 (ja) 遠隔操作端末および遠隔操作端末を備える移動式クレーン
JP7114949B2 (ja) 作業車両
JP7253740B2 (ja) カメラの制御システム
WO2019172408A1 (ja) 作業車両
WO2020256106A1 (ja) 可動範囲表示システムおよび可動範囲表示システムを備えるクレーン
JP7167469B2 (ja) 遠隔操作端末および遠隔操作端末を備える作業車両
JP7167464B2 (ja) 遠隔操作端末および遠隔操作端末を備える作業車両
JP7006442B2 (ja) クレーン
JP2022015504A (ja) 移動式クレーン
US11981546B2 (en) Work vehicle having an operation terminal that provides a sense of direction for an operator
EP3925922A1 (en) Crane and path generation system
JP2022081069A (ja) 作業車両
JP2022015237A (ja) 作業機の干渉判定装置、作業機の干渉判定システム、及び作業機の干渉判定方法
JP2019163122A (ja) 作業車両及び遠隔操作端末
JP2022002993A (ja) 移動式クレーン

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220613

R150 Certificate of patent or registration of utility model

Ref document number: 7099150

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150