JP7402728B2 - ガイド表示システムおよびこれを備えたクレーン - Google Patents

ガイド表示システムおよびこれを備えたクレーン Download PDF

Info

Publication number
JP7402728B2
JP7402728B2 JP2020056814A JP2020056814A JP7402728B2 JP 7402728 B2 JP7402728 B2 JP 7402728B2 JP 2020056814 A JP2020056814 A JP 2020056814A JP 2020056814 A JP2020056814 A JP 2020056814A JP 7402728 B2 JP7402728 B2 JP 7402728B2
Authority
JP
Japan
Prior art keywords
suspended load
dimensional map
load
display system
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020056814A
Other languages
English (en)
Other versions
JP2021155175A (ja
Inventor
巖 石川
孝幸 小阪
勁太 間嶋
諭 窪田
成典 田中
匡哉 中原
光貴 中畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tadano Ltd
Kansai University
Original Assignee
Tadano Ltd
Kansai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tadano Ltd, Kansai University filed Critical Tadano Ltd
Priority to JP2020056814A priority Critical patent/JP7402728B2/ja
Priority to PCT/JP2021/012010 priority patent/WO2021193642A1/ja
Priority to US17/911,315 priority patent/US12110213B2/en
Priority to EP21774541.3A priority patent/EP4129881A4/en
Publication of JP2021155175A publication Critical patent/JP2021155175A/ja
Application granted granted Critical
Publication of JP7402728B2 publication Critical patent/JP7402728B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • B66C13/18Control systems or devices
    • B66C13/46Position indicators for suspended loads or for crane elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • B66C13/18Control systems or devices
    • B66C13/20Control systems or devices for non-electric drives
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C23/00Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
    • B66C23/18Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes specially adapted for use in particular purposes
    • B66C23/36Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes specially adapted for use in particular purposes mounted on road or rail vehicles; Manually-movable jib-cranes for use in workshops; Floating cranes
    • B66C23/42Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes specially adapted for use in particular purposes mounted on road or rail vehicles; Manually-movable jib-cranes for use in workshops; Floating cranes with jibs of adjustable configuration, e.g. foldable
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C23/00Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
    • B66C23/62Constructional features or details
    • B66C23/64Jibs
    • B66C23/66Outer or upper end constructions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/56Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Control And Safety Of Cranes (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、ガイド表示システムおよびこれを備えたクレーンに関する。
従来より、吊荷と吊荷周辺の地物について、位置および標高に関する情報をオペレータに提示できるガイド表示システムが公知となっている。かかるガイド表示システムは、特許文献1に開示されている。
特許文献1に開示されたガイド表示システムは、レーザスキャナが取得した点群データを用いて複数の面を作成するとともに複数の面によって三次元地図を作成するデータ処理部を備えている。データ処理部は、吊荷や地物を取り囲むガイド枠図形などのガイド情報を生成し、カメラが撮影した映像に対してガイド情報を重ね合わせてデータ表示部に表示する。このようなガイド表示システムによれば、吊荷と吊荷周辺の地物について、位置および標高に関する情報をオペレータに提示できる。
特開2019-24150号公報
特許文献1に開示されたガイド表示システムでは、オペレータが映像上で吊荷を指定することで、その指定位置に存在する平面が吊荷の上面を表すものとして設定される。そのため、吊荷が大きく揺れた場合などに吊荷が指定位置から外れてしまうことがあった。吊荷が指定位置から外れてしまうと吊荷のガイド情報が適切に表示されないため、オペレータがクレーンを操作する上で負担となる可能性があった。そこで、吊荷を追跡してガイド情報を表示できるガイド表示システムおよびこれを備えたクレーンが求められていた。
本発明は、このような課題を鑑みてなされたものであり、吊荷を追跡してガイド情報を表示できるガイド表示システムを提供することを目的としている。また、かかるガイド情報システムを備えたクレーンを提供することを目的としている。
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
即ち、第一の発明は、
吊荷の上方から当該吊荷を含む点群データを取得するレーザスキャナと、
前記レーザスキャナが取得した点群データを用いて複数の面を作成するとともに当該複数の面によって三次元地図を作成するデータ処理部と、を備え、
所定時間ごとに前記三次元地図を作成するクレーンのガイド表示システムであって、
前記レーザスキャナは、地表面の上方から当該地表面を含む点群データを取得し、
前記データ処理部は、
前記三次元地図における前記吊荷に基準位置を設定し、
過去の前記基準位置から所定距離内に存在する現在の前記面を前記吊荷の面として設定することによって前記三次元地図における前記吊荷を追跡し、
前記基準位置を前記吊荷の重心位置に設定し、
前記吊荷が前記地表面に置かれているときの前記三次元地図における当該吊荷と当該地表面との標高値の差を当該吊荷の高さ寸法として設定し、前記吊荷の高さ寸法を用いて当該吊荷の重心位置を算出する、としたものである。
第二の発明は、
吊荷の上方から当該吊荷を含む点群データを取得するレーザスキャナと、
前記レーザスキャナが取得した点群データを用いて複数の面を作成するとともに当該複数の面によって三次元地図を作成するデータ処理部と、を備え、
所定時間ごとに前記三次元地図を作成するクレーンのガイド表示システムであって、
前記レーザスキャナは、地物の上方から当該地物を含む点群データを取得し、
前記データ処理部は、
前記三次元地図における前記吊荷に基準位置を設定し、
過去の前記基準位置から所定距離内に存在する現在の前記面を前記吊荷の面として設定することによって前記三次元地図における前記吊荷を追跡し、
前記基準位置を前記吊荷の重心位置に設定し、
前記吊荷が前記地物上に置かれているときの前記三次元地図における当該吊荷と当該地物との標高値の差を当該吊荷の高さ寸法として設定し、前記吊荷の高さ寸法を用いて当該吊荷の重心位置を算出する、としたものである。
の発明は、
吊荷の上方から当該吊荷を含む点群データを取得するレーザスキャナと、
前記レーザスキャナが取得した点群データを用いて複数の面を作成するとともに当該複数の面によって三次元地図を作成するデータ処理部と、を備え、
所定時間ごとに前記三次元地図を作成するクレーンのガイド表示システムであって、
前記レーザスキャナは、地表面の上方から当該地表面を含む点群データを取得するとともに、地物の上方から当該地物を含む点群データを取得し、
前記データ処理部は、
前記三次元地図における前記吊荷に基準位置を設定し、
過去の前記基準位置から所定距離内に存在する現在の前記面を前記吊荷の面として設定することによって前記三次元地図における前記吊荷を追跡し、
前記基準位置を前記吊荷の重心位置に設定し、
前記吊荷が前記地表面に置かれているときの前記三次元地図における当該吊荷と当該地表面との標高値の差を当該吊荷の高さ寸法として設定し、前記吊荷の高さ寸法を用いて当該吊荷の重心位置を算出し、
前記吊荷が前記地物上に置かれているときの前記三次元地図における当該吊荷と当該地物との標高値の差を当該吊荷の高さ寸法として設定し、前記吊荷の高さ寸法を用いて当該吊荷の重心位置を算出する、としたものである。
の発明は、
前記吊荷の上方から当該吊荷を含む映像を撮影するカメラを備え、
前記データ処理部は、前記三次元地図における前記吊荷を追跡できなかった場合に前記映像における前記吊荷を画像解析により追跡する、としたものである。
の発明は、
吊荷の上方から当該吊荷を含む映像を撮影するカメラと、
前記吊荷の上方から当該吊荷を含む点群データを取得するレーザスキャナと、
前記レーザスキャナが取得した点群データを用いて複数の面を作成するとともに当該複数の面によって三次元地図を作成するデータ処理部と、を備え、
所定時間ごとに前記三次元地図を作成するクレーンのガイド表示システムであって、
前記データ処理部は、
前記三次元地図における前記吊荷に基準位置を設定し、
過去の前記基準位置から所定距離内に存在する現在の前記面を前記吊荷の面として設定することによって前記三次元地図における前記吊荷を追跡し、
前記三次元地図における前記吊荷を追跡できなかった場合に前記映像における前記吊荷を画像解析により追跡する、としたものである。
の発明は、
吊荷の上方から当該吊荷を含む映像を撮影するカメラと、
前記吊荷の上方から当該吊荷を含む点群データを取得するレーザスキャナと、
前記レーザスキャナが取得した点群データを用いて複数の面を作成するとともに当該複数の面によって三次元地図を作成するデータ処理部と、を備え、
所定時間ごとに前記三次元地図を作成するクレーンのガイド表示システムであって、
前記データ処理部は、
前記三次元地図における前記吊荷に基準位置を設定し、
前記基準位置を前記吊荷の重心位置に設定し、
過去の前記基準位置から所定距離内に存在する現在の前記面を前記吊荷の面として設定することによって前記三次元地図における前記吊荷を追跡し、
前記三次元地図における前記吊荷を追跡できなかった場合に前記映像における前記吊荷を画像解析により追跡する、としたものである。
の発明は、第一から第の発明に係るガイド表示システムを備えたクレーンである、としたものである。
本発明の効果として、以下に示すような効果を奏する。
第一の発明に係るガイド表示システムは、三次元地図における吊荷に基準位置を設定し、過去の基準位置から所定距離内に存在する現在の面を吊荷の面として設定することによって三次元地図における吊荷を追跡し、基準位置を吊荷の重心位置に設定し、吊荷が地表面に置かれているときの三次元地図における吊荷と地表面との標高値の差を吊荷の高さ寸法として設定し、吊荷の高さ寸法を用いて吊荷の重心位置を算出する、としたものである。かかるガイド表示システムによれば、吊荷を追跡してガイド情報を表示できる。また、吊荷の重心位置から所定距離内にある面を吊荷の面として設定するため、より正確に吊荷の面の設定ができる。さらに、吊荷が地表面に置かれているときに吊荷の高さ寸法を自動的に設定できる。
第二の発明に係るガイド表示システムは、三次元地図における吊荷に基準位置を設定し、過去の基準位置から所定距離内に存在する現在の面を吊荷の面として設定することによって三次元地図における吊荷を追跡し、基準位置を吊荷の重心位置に設定し、吊荷が地物上に置かれているときの三次元地図における吊荷と地物との標高値の差を吊荷の高さ寸法として設定し、吊荷の高さ寸法を用いて当該吊荷の重心位置を算出する、としたものである。かかるガイド表示システムによれば、吊荷を追跡してガイド情報を表示できる。また、吊荷の重心位置から所定距離内にある面を吊荷の面として設定するため、より正確に吊荷の面の設定ができる。さらに、トラックの荷台などの地物上に吊荷が置かれているときでも吊荷の高さ寸法を自動的に設定できる。
の発明に係るガイド表示システムは、地表面の上方から地表面を含む点群データを取得するとともに、地物の上方から地物を含む点群データを取得し、三次元地図における吊荷に基準位置を設定し、過去の基準位置から所定距離内に存在する現在の面を吊荷の面として設定することによって三次元地図における吊荷を追跡し、基準位置を吊荷の重心位置に設定し、吊荷が地表面に置かれているときの三次元地図における吊荷と地表面との標高値の差を吊荷の高さ寸法として設定し、吊荷の高さ寸法を用いて吊荷の重心位置を算出し、吊荷が地物上に置かれているときの三次元地図における吊荷と地物との標高値の差を吊荷の高さ寸法として設定し、吊荷の高さ寸法を用いて吊荷の重心位置を算出する、としたものである。かかるガイド表示システムによれば、吊荷を追跡してガイド情報を表示できる。また、吊荷の重心位置から所定距離内にある面を吊荷の面として設定するため、より正確に吊荷の面の設定ができる。さらに、吊荷が地表面に置かれているときに吊荷の高さ寸法を自動的に設定できる。また、トラックの荷台などの地物上に吊荷が置かれているときでも吊荷の高さ寸法を自動的に設定できる。
の発明に係るガイド表示システムは、吊荷の上方から吊荷を含む映像を撮影するカメラを備え、三次元地図における吊荷を追跡できなかった場合に映像における吊荷を画像解析により追跡する、としたものである。かかるガイド表示システムによれば、前述の効果に加え、吊荷の点群データを取得できなかった場合でも、吊荷を追跡してガイド情報を表示できる。
の発明に係るガイド表示システムは、吊荷の上方から吊荷を含む映像を撮影するカメラを備え、三次元地図における吊荷に基準位置を設定し、過去の基準位置から所定距離内に存在する現在の面を吊荷の面として設定することによって三次元地図における吊荷を追跡し、三次元地図における吊荷を追跡できなかった場合に映像における吊荷を画像解析により追跡する、としたものである。かかるガイド表示システムによれば、吊荷を追跡してガイド情報を表示できる。また、吊荷の点群データを取得できなかった場合でも、吊荷を追跡してガイド情報を表示できる。
の発明に係るガイド表示システムは、吊荷の上方から吊荷を含む映像を撮影するカメラを備え、三次元地図における吊荷に基準位置を設定し、基準位置を吊荷の重心位置に設定し、過去の基準位置から所定距離内に存在する現在の面を吊荷の面として設定することによって三次元地図における吊荷を追跡し、三次元地図における吊荷を追跡できなかった場合に映像における吊荷を画像解析により追跡する、としたものである。かかるガイド表示システムによれば、吊荷を追跡してガイド情報を表示できる。また、吊荷の重心位置から所定距離内にある面を吊荷の面として設定するため、より正確に吊荷の面の設定ができる。さらに、吊荷の点群データを取得できなかった場合でも、吊荷を追跡してガイド情報を表示できる。
の発明に係るクレーンは、第一から第の発明に係るガイド表示システムを備えた、としたものである。かかるクレーンによれば、前述の効果と同様の効果を奏する。
本発明の一実施形態に係るクレーンを示す図。 本発明の一実施形態に係るガイド表示システムを示す図。 レーザスキャナによる走査態様を示す図。 データ処理部による処理の流れを示す図。 点群データ補正工程の概要を示す図。 三次元地図作成工程の概要を示す図。 クラスタリング工程の概要を示す図。 作業領域可視化工程の概要を示す図。 同一領域推定処理の流れを示す図。 同一領域推定処理の概要を示す図。 同一領域推定処理の流れを示す図。 同一領域推定処理の概要を示す図。 同一領域推定処理の流れを示す図。 同一領域推定処理を経て生成されたガイド情報を示す図。
まず、本発明の第一実施形態に係るクレーン1について説明する。
図1に示すように、クレーン1は、不特定の場所に移動可能な移動式クレーンである。クレーン1は、走行車両2とクレーン装置6を備えている。
走行車両2は、クレーン装置6を搬送するものである。走行車両2は、複数の車輪3を有し、エンジン4を動力源として走行する。走行車両2には、アウトリガ5が設けられている。アウトリガ5は、走行車両2の幅方向に延伸するビームと地表面Fに接地して走行車両2を支持するジャッキシリンダで構成されている。
クレーン装置6は、吊荷Wを吊り上げた状態で搬送するものである。クレーン装置6は、ブーム7を備えている。ブーム7には、ワイヤロープ8が架け渡されている。ブーム7の先端部分から垂下するワイヤロープ8には、フック9が取り付けられている。また、ブーム7の基端側近傍には、ウインチ10が配置されている。尚、クレーン装置6は、ブーム7の側方にキャビン11を備えている。キャビン11の内部には、旋回操作具19や伸縮操作具20、起伏操作具21、巻回操作具22などが設けられている(図2参照)。
ブーム7は、アクチュエータによって旋回自在となっている。本願においては、かかるアクチュエータを旋回用モータ12と定義する。旋回用モータ12は、電磁比例切換弁である旋回用バルブ23によって適宜に稼動する(図2参照)。つまり、旋回用モータ12は、旋回用バルブ23が作動油の流量や流動方向を切り替えることで適宜に稼動する。尚、旋回用バルブ23は、制御装置18の指示に基づいて稼動する。ブーム7の旋回角度は、旋回用センサ27によって検出される(図2参照)。
また、ブーム7は、アクチュエータによって伸縮自在となっている。本願においては、かかるアクチュエータを伸縮用シリンダ13と定義する。伸縮用シリンダ13は、電磁比例切換弁である伸縮用バルブ24によって適宜に稼動する(図2参照)。つまり、伸縮用シリンダ13は、伸縮用バルブ24が作動油の流量や流動方向を切り替えることで適宜に稼動する。尚、伸縮用バルブ24は、制御装置18の指示に基づいて稼動する。ブーム7の伸縮長さは、伸縮用センサ28によって検出される(図2参照)。
更に、ブーム7は、アクチュエータによって起伏自在となっている。本願においては、かかるアクチュエータを起伏用シリンダ14と定義する。起伏用シリンダ14は、電磁比例切換弁である起伏用バルブ25によって適宜に稼動する(図2参照)。つまり、起伏用シリンダ14は、起伏用バルブ25が作動油の流量や流動方向を切り替えることで適宜に稼動する。尚、起伏用バルブ25は、制御装置18の指示に基づいて稼動する。ブーム7の起伏角度は、起伏用センサ29によって検出される(図2参照)。
加えて、フック9は、アクチュエータによって昇降自在となっている。本願においては、かかるアクチュエータを巻回用モータ15と定義する。巻回用モータ15は、電磁比例切換弁である巻回用バルブ26によって適宜に稼動する(図2参照)。つまり、巻回用モータ15は、巻回用バルブ26が作動油の流量や流動方向を切り替えることで適宜に稼動する。尚、巻回用バルブ26は、制御装置18の指示に基づいて稼動する。フック9の吊下長さは、巻回用センサ30によって検出される(図2参照)。
ところで、本願においては、クレーン1に対してXYZ座標系を規定している。XYZ座標系におけるX軸方向(奥行方向とも呼ぶ)は、ブーム7の起伏支点の軸方向に対して垂直、かつ重力方向に対して垂直な方向となっている。また、XYZ座標系におけるY軸方向(水平方向とも呼ぶ)は、ブーム7の起伏支点の軸方向に対して平行、かつ重力方向に対して垂直な方向となっている。更に、XYZ座標系におけるZ軸方向(鉛直方向とも呼ぶ)は、ブーム7の起伏支点の軸方向に対して垂直、かつ重力方向に対して平行な方向となっている。
次に、本発明の一実施形態に係るガイド表示システム50について説明する。
図2に示すように、ガイド表示システム50は、クレーン1の制御装置18と連携している。ガイド表示システム50は、データ取得部60とデータ処理部70とデータ表示部80とデータ入力部90を備えている。
データ取得部60は、後述するガイド情報を生成するために必要な情報を取得するものである。データ取得部60は、カメラ61とレーザスキャナ62と慣性計測装置63と第一測位装置64が一体に構成されたセンサユニット66を有している。センサユニット66は、ブーム7の先端部分にジンバルを介して取り付けられている(図1参照)。
カメラ61は、作業領域の一部を撮影するものである。カメラ61は、適宜なスペックを有しており、撮影した映像i(図8(A)参照)をデータ処理部70へ出力する。尚、カメラ61は、吊荷Wの上方から吊荷Wならびに吊荷W周辺の地表面F(地物Eを含む)を含む映像iを撮影する。そのため、データ処理部70は、吊荷Wならびに吊荷W周辺の地表面F(地物Eを含む)についての映像iを取得することができる。
レーザスキャナ62は、作業領域の一部について点群データPを取得するものである(図3参照)。レーザスキャナ62は、適宜なスペックを有しており、取得した点群データPをデータ処理部70へ出力する。尚、レーザスキャナ62は、吊荷Wの上方から吊荷Wならびに吊荷W周辺の地表面F(地物Eを含む)を走査する。つまり、レーザスキャナ62は、作業領域の一部にある吊荷W、地表面F(地物Eを含む)を含む点群データPを取得する。そのため、データ処理部70は、吊荷Wならびに吊荷W周辺の地表面F(地物Eを含む)についての点群データPを取得することができる。
慣性計測装置(Inertial Measurement Unit:以下「IMU」とする)63は、センサユニット66の姿勢に関する情報(具体的にはカメラ61とレーザスキャナ62の姿勢に関する情報)を取得するものである。IMU63は、適宜なスペックを有しており、取得したカメラ61とレーザスキャナ62の姿勢に関する情報をデータ処理部70へ出力する。そのため、データ処理部70は、カメラ61とレーザスキャナ62の姿勢に関する情報を取得することができる。
第一測位装置(Global Navigation Satellite System:以下「GNSS受信機」とする)64は、GNSS衛星から発せられた電波を受信することでセンサユニット66の緯度、経度、標高値(具体的にはレーザスキャナ62の座標値)を取得するものである。GNSS受信機64は、適宜なスペックを有しており、取得したレーザスキャナ62の座標値をデータ処理部70へ出力する。そのため、データ処理部70は、レーザスキャナ62の座標値を取得することができる。
加えて、データ取得部60においては、第二測位装置65がクレーン装置6の旋回中心位置に配置されている。第二測位装置(Global Navigation Satellite System:以下「GNSS受信機」とする)65は、GNSS衛星から発せられた電波を受信することでクレーン装置6の旋回中心の緯度、経度、標高値(具体的にはクレーン装置6の旋回中心の座標値)を取得するものである。GNSS受信機65は、適宜なスペックを有しており、取得した旋回中心の座標値をデータ処理部70へ出力する。そのため、データ処理部70は、クレーン装置6の旋回中心の座標値を取得することができる。
このように、ガイド表示システム50は、レーザスキャナ62の座標値とクレーン装置6の旋回中心の座標値によってブーム7を基線としたGNSSコンパスを構成している。このため、データ処理部70は、レーザスキャナ62の向きを算出することができる。また、ガイド表示システム50では、点群データPおよびIMU63の計測時刻がGNSS衛星の原子時計の時刻(以下「GNSS時刻」とする)で同期していることを要件としている。尚、GNSS受信機64とGNSS受信機65には、測位精度の高いRTK(Real Time Kinematic)測位方式を採用している。但し、RTK測位方式に限定せず、他の測位方式を採用していてもよい。
データ処理部70は、データ取得部60と接続されており、様々な処理を行うものである。データ処理部70は、例えば汎用のコンピュータによって構成されている。尚、データ処理部70は、センサユニット66の近傍に配置されている。但し、データ処理部70は、キャビン11の内部など他の場所に配置されていてもよい。もちろん持ち運び可能なものであってもよい。
データ表示部80は、データ処理部70と接続されており、様々な情報を映し出すものである。データ表示部80は、例えば汎用のモニタによって構成されている。尚、データ表示部80は、キャビン11の内部に配置されている。そのため、クレーン1のオペレータに対して情報を提示できる。もちろんデータ処理部70が持ち運び可能なものである場合などでは、一体となったモニタであってもよい。
データ入力部90は、データ処理部70と接続されており、様々な数値を入力或いは設定を変更するものである。データ入力部90は、例えば汎用のキーボードやマウス、タッチパネルによって構成されている。尚、データ入力部90も、キャビン11の内部に配置されている。そのため、クレーン1のオペレータが自在に数値を入力或いは設定を変更できる。もちろんデータ処理部70が持ち運び可能なものである場合などでは、一体となったキーボードやマウス、タッチパネルであってもよい。
次に、レーザスキャナ62による走査態様について説明する。
図3に示すように、レーザスキャナ62は、地表面Fに対して上方からレーザ光を照射する。レーザスキャナ62は、複数のレーザ発信機ならびにレーザ受信機を備えており、同時に複数本のレーザ光を照射して同時に複数個の点データp(点データpの集合が点群データPである)を取得できる。
具体的に説明すると、レーザスキャナ62は、合計16個のレーザ発信機を備えており、同時に16本のレーザ光を照射できる。それぞれのレーザ発信機は、Y軸方向を中心に2°ずつ照射角度を異にしている。また、それぞれのレーザ発信機は、X軸を中心に連続的に位相角を変えて照射可能に構成されている。そのため、レーザスキャナ62は、地表面Fの所定範囲に対してレーザ光を照射できる。
更に、レーザスキャナ62は、合計16個のレーザ受信機を備えており、同時に16本のレーザ光の反射光を検出できる。それぞれのレーザ受信機は、Y軸方向を中心に2°ずつ検出角度を異にしている。また、それぞれのレーザ受信機は、レーザ発信機から発信されたレーザ光と同じ光路で反射光を検出可能に構成されている。こうして、レーザスキャナ62は、地表面Fを覆う点群データPを取得できるのである。尚、点群データPを取得できる範囲は、カメラ61によって撮影される範囲である計測領域Rを含んでいる。
このように構成することで、データ処理部70は、計測領域Rを含む範囲について点群データPを取得できる。レーザスキャナ62は、吊荷Wの上方から吊荷Wならびに吊荷W周辺の地表面F(地物Eを含む)を走査するため、点群データPには、吊荷W、地表面F、地物Eが表れることとなる(図8(B)参照)。点群データPを構成する各点データpには、IMU63やGNSS受信機64・65によって取得された様々な情報が付加される。例えば姿勢情報や位置情報などである。
次に、データ処理部70による処理の流れについて説明する。
図4に示すように、データ処理部70は、点群データ補正工程STEP-1と三次元地図作成工程STEP-2とクラスタリング工程STEP-3と作業領域可視化工程STEP-4を行う。これらの工程は、所定時間(1フレーム時間)ごとに繰り返し行われる。尚、フレームとは、ある時刻の点群データPに基づいて作成される三次元地図Mを指している(図8(B)参照)。
点群データ補正工程STEP-1は、レーザスキャナ62、IMU63、GNSS64・65による情報を基に現在時刻から最も近い時刻の点群データP、姿勢情報および位置情報を取得し、レーザスキャナ62の向きを算出する。そして、姿勢情報、位置情報および向きを用いて点群データPの位置と傾きを補正し、これを補正済みの点群データPとして出力する(図5参照)。
具体的に説明すると、点群データ補正工程STEP-1は、時刻同期処理STEP-11と剛体変換処理STEP-12で構成されている。
時刻同期処理STEP-11は、現在時刻から最も近い時刻で、かつ計測領域Rの端から端までを一巡したレーザスキャナ62、IMU63、GNSS64・65による情報同士をGNSS時刻にて同期する。そして、同期済みの点データp、姿勢情報、位置情報の組み合わせを出力する。
剛体変換処理STEP-12は、同期済みの点データp、姿勢情報、位置情報の組み合わせを一つ取得する。そして、取得した姿勢情報を用いて点データpの座標値を剛体変換し、点データpの座標系を平面直角座標系に変換して傾き、位置および向きを補正した点群データPを出力する。
三次元地図作成工程STEP-2は、異なる時期や位置から取得した補正済みの点群データP同士を重ね合わせ、格子状のグリッド(複数の点データpを含む格子状に分割された領域である)Gに分割し、グリッドGごとに代表点Prを算出する(図6(A)参照)。そして、代表点Prに基づいて面を作成することで、これを作業領域の三次元地図Mとして出力する(図6(B)参照)。つまり、点群データPを用いて複数の面を作成するとともに複数の面によって三次元地図Mを作成する。
具体的に説明すると、三次元地図作成工程STEP-2は、グリッド生成処理STEP-21と三次元地図更新処理STEP-22で構成されている。
グリッド生成処理STEP-21は、補正済みの点群データP同士を重ね合わせて格子状のグリッドGに分割する。そして、グリッドGに含まれる点データpの標高値(座標値の高さ成分)について平均値を算出し、グリッドGの重心位置に高さ成分を平均値とした代表点Prを設定する。
三次元地図更新処理STEP-22は、グリッドGごとに新たに設定された代表点Prを取得する。また、前回に設定された既存の代表点Prも取得する。そして、新たに設定された代表点Prと既存の代表点Prが異なる場合に新たに設定された代表点Prに基づく面を作成して三次元地図Mを出力する。
クラスタリング工程STEP-3は、上下左右に隣り合うグリッドGの代表点Prについて互いの代表点Prの高さ成分の関係性から特定領域に対してラベルLを付与する(図7(A)参照)。なお、図7(A)等に示す丸囲み数字がラベルLを表している。そして、同じラベルLが付された特定領域について吊荷Wに相当する特定領域を吊荷Wとし、地表面Fに相当する特定領域を地表面Fとして出力する(図7(B)参照)。更に、それ以外の特定領域を地物Eとして出力する(図7(C)参照)。
具体的に説明すると、クラスタリング工程STEP-3は、ラベリング処理STEP-31と同一領域推定処理STEP-32と地物領域推定処理STEP-33で構成されている。
ラベリング処理STEP-31は、格子状に並ぶグリッドGを画素に見立てる。また、各グリッドGに存在する代表点Prの高さ成分を輝度値に見立てる。そして、上下左右に隣り合うグリッドGの輝度値を所定の定めに基づいて比較し、特定領域に対してラベルLを付与する。
同一領域推定処理STEP-32は、同じラベルLが付された特定領域を一つの平面に見立てる。そして、後述する処理により追跡される特定領域を吊荷Wとして出力する。また、最も点データpが多い特定領域を地表面Fとして出力する。
地物領域推定処理STEP-33は、吊荷Wや地表面Fとされた特定領域以外について代表点Prの集合を特定領域として取得する。そして、この特定領域に最も近い地表面Fとされた特定領域を取得した上で高さ成分の平均値を算出し、平均値の差が同じ特定領域の高さ成分の差以下の場合に地物Eとして出力する。
作業領域可視化工程STEP-4は、吊荷Wや地物Eを取り囲むガイド枠図形GD1などのガイド情報(標高を表す数値GD2・GD3を含む)を生成し、カメラ61が撮影した映像iに対してガイド情報を重ね合わせてデータ表示部80に出力する(図8(A)参照)。また、吊荷W、地表面F、地物Eの三次元的な位置関係を表す三次元地図Mについて可視化して出力する(図8(B)参照)。
具体的に説明すると、作業領域可視化工程STEP-4は、領域可視化処理STEP-41と三次元地図可視化処理STEP-42で構成されている。
領域可視化処理STEP-41は、レーザスキャナ62の位置と向きに基づいて吊荷Wや地物Eの映像iにおける位置を算出する。そして、吊荷Wや地物Eを取り囲むガイド枠図形GD1を生成し、映像iにおける吊荷Wや地物Eに対してガイド枠図形GD1を重ね合わせて出力する。また、吊荷Wの標高を表す数値GD2や地物Eの標高を表す数値GD3についても出力する。
三次元地図可視化処理STEP-42は、ラベルLが付された吊荷W、地表面F、地物EについてグリッドGごとに代表点Prの座標値を取得する。そして、グリッドGごとに代表点Prを重心とする面を作成する。このとき、面の一辺の幅は、グリッドGの幅と同じとする。その後、吊荷W、地表面F、地物Eごとに着色を行って、これを三次元地図Mとして可視化するのである。
次に、同一領域推定処理STEP-32の流れについて説明する。尚、本実施形態において、吊荷Wの高さ寸法hは、その値(例えば実測値)が設定されているものとして説明する。
前述したように、データ処理部70は、クラスタリング工程STEP-3にて同一領域推定処理STEP-32を行う。
図9に示すように、同一領域推定処理STEP-32は、複数の処理によって構成されている。以下に説明する処理の流れは、本ガイド表示システム50に採用された一例である。但し、本願に掲げる発明を実現できればよく、処理の流れについて限定するものではない。
第一処理STEP-321において、データ処理部70は、オペレータの手動操作によって指定される映像i上の指定位置Spを取得する(図10(A)参照)。そして、指定位置Spに存在する特定領域を吊荷Wとして出力する。このようにすることで、三次元地図Mにおける吊荷Wの位置が取得される。吊荷Wの位置を取得した後には、第二処理STEP-322へ移行する。
第二処理STEP-322において、データ処理部70は、過去の基準位置Rpから所定距離D内に存在する現在の面Sを吊荷Wの面Sとして設定する(図10(B)参照)。そして、吊荷Wの面Sで構成される特定領域にラベルL(例えば新たに採番されるラベルL)を再度付与し、この特定領域を吊荷Wとして出力する。基準位置Rpとは、吊荷Wの面Sであるか否かを判断するための基準となる位置であり、後述の第四処理STEP-324が行われるごと(1フレームごと)に設定される。過去の基準位置Rpとは、例えば所定時間前(1フレーム前)に設定された基準位置Rpである。現在の面Sとは、最新(現在フレーム)の三次元地図Mに含まれる面Sである。所定距離Dとは、吊荷Wの面Sであるか否かを判断するための基準となる距離であり、所定時間内の吊荷Wの移動距離として想定される最大距離よりも大きく設定されることが好ましい。これは、想定される最大速度で吊荷Wが移動したとしても、適切に吊荷Wの面Sを設定できるようにするためである。過去の基準位置Rpから所定距離D内に存在する現在の面Sを吊荷Wの面Sとして設定した後には、第三処理STEP-323へ移行する。
尚、第二処理STEP-322において、過去の基準位置Rpが設定されていない場合(第一処理STEP-321において、吊荷Wの位置を取得した直後の場合)は、第一処理STEP-321において出力した吊荷Wの特定領域の面Sを吊荷Wの面Sとして設定する。
第三処理STEP-323において、データ処理部70は、吊荷Wの面Sを結合する(図10(C)参照)。このとき、吊荷Wの高さ寸法hを用いることで、三次元地図Mにおける吊荷Wの形状が定められる。吊荷Wの面Sを結合した後には、第四処理STEP-324へ移行する。
第四処理STEP-324において、データ処理部70は、三次元地図Mにおける吊荷Wに基準位置Rpを設定する(図10(D)参照)。例えば基準位置Rpは、三次元地図Mにおける吊荷Wの表面又は内部に設定される。
基準位置Rpが設定された後の同一領域推定処理STEP-32において、データ処理部70は、第一処理STEP-321を行わず、第二処理STEP-322から第四処理STEP-324までを行う。つまり、1フレームごとに第二処理STEP-322から第四処理STEP-324までを繰り返す。
図14に示すように、データ処理部70は、吊荷Wが大きく揺れた場合などに吊荷Wが指定位置Spから外れてしまったとしても、吊荷Wに対してガイド情報(ガイド枠図形GD1、吊荷Wの標高を表す数値GD2)を表示できる。具体的には、データ処理部70は、吊荷W上に指定位置Spが位置するとき(図10(A)参照)に、第一処理STEP-321において、指定位置Spに基づいて三次元地図Mにおける吊荷Wの位置を取得している。その後、データ処理部70は、第二処理STEP-322から第四処理STEP-324までを繰り返して、1フレームごとに吊荷Wの面Sの設定、吊荷Wの面Sの結合、基準位置Rpの設定を行っている。このようにすることで、データ処理部70は、吊荷Wが大きく揺れた場合などに移動する吊荷Wを追跡して、吊荷Wに対してガイド情報(ガイド枠図形GD1、吊荷Wの標高を表す数値GD2)を表示している。
このように、ガイド表示システム50は、三次元地図Mにおける吊荷Wに基準位置Rpを設定し、過去の基準位置Rpから所定距離D内に存在する現在の面Sを吊荷Wの面Sとして設定することによって三次元地図Mにおける吊荷Wを追跡する、としたものである。かかるガイド表示システム50によれば、吊荷Wを追跡してガイド情報(ガイド枠図形GD1、吊荷Wの標高を表す数値GD2)を表示できる。
次に、第二実施形態に係るガイド表示システム50について説明する。本実施形態においては、吊荷Wを吊り上げる前にオペレータが指定位置Spを指定しているものとして説明する。尚、以下においては、第一実施形態に係るガイド表示システム50の説明で用いた名称と符号を用いることで、同じものを指すこととする。また、第一実施形態に係るガイド表示システム50に対して相違する部分を中心に説明する。
図11に示すように、第五処理STEP-325において、データ処理部70は、吊荷Wが地表面Fに置かれているか否かを判断する。例えば前述の格子状に並ぶグリッドGにおいて、吊荷Wの外縁に隣接するグリッドGが地表面Fのみの場合に吊荷Wが地表面Fに置かれていると判断することができる(図7(C)参照)。或いは、吊荷Wが地表面Fに置かれていることをオペレータがデータ入力部90に入力し、入力された情報に基づいて吊荷Wが地表面Fに置かれていると判断してもよい。吊荷Wが地表面Fに置かれている場合には、第六処理STEP-326へ移行し、吊荷Wが地表面Fに置かれていない場合には、第七処理STEP-327へ移行する。
第六処理STEP-326において、データ処理部70は、三次元地図Mにおける吊荷Wと地表面Fとの標高値の差を吊荷Wの高さ寸法hとして設定する(図12(A)参照)。例えば地表面Fの標高値は、吊荷Wの下面の外縁に隣接する地表面Fの標高値が用いられる。吊荷Wの高さ寸法hを設定した後には、第二処理STEP-322へ移行する。
第七処理STEP-327において、データ処理部70は、三次元地図Mにおける吊荷Wと地物Eとの標高値の差を吊荷Wの高さ寸法hとして設定する(図12(B)参照)。例えば地物Eの標高値は、吊荷Wの下面の外縁に隣接する地物Eの標高値が用いられる。吊荷Wの高さ寸法hを設定した後には、第二処理STEP-322へ移行する。
第八処理STEP-328において、データ処理部70は、基準位置Rpを吊荷Wの重心位置Gpに設定する(図12(C)参照)。吊荷Wの重心位置Gpは、吊荷Wの高さ寸法hを用いて算出される。
このように、ガイド表示システム50は、基準位置Rpを吊荷Wの重心位置Gpに設定する、としたものである。かかるガイド表示システム50によれば、前述の効果に加え、吊荷Wの重心位置Gpから所定距離D内にある面Sを吊荷Wの面Sと設定するため、より正確に吊荷Wの面Sの設定ができる。
加えて、ガイド表示システム50は、地表面Fの上方から地表面Fを含む点群データPを取得し、吊荷Wが地表面Fに置かれているときの三次元地図Mにおける吊荷Wと地表面Fとの標高値の差を吊荷Wの高さ寸法hとして設定し、吊荷Wの高さ寸法hを用いて吊荷Wの重心位置Gpを算出する、としたものである。かかるガイド表示システム50によれば、前述の効果に加え、吊荷Wが地表面Fに置かれているときに吊荷Wの高さ寸法hを自動的に設定できる。
加えて、ガイド表示システム50は、地物Eの上方から地物Eを含む点群データPを取得し、吊荷Wが地物E上に置かれているときの三次元地図Mにおける吊荷Wと地物Eとの標高値の差を吊荷Wの高さ寸法hとして設定し、吊荷Wの高さ寸法hを用いて吊荷Wの重心位置Gpを算出する、としたものである。かかるガイド表示システム50によれば、前述の効果に加え、トラックの荷台などの地物E上に吊荷Wが置かれているときでも吊荷Wの高さ寸法hを自動的に設定できる。
次に、第三実施形態に係るガイド表示システム50について説明する。
図13に示すように、第九処理STEP-329において、データ処理部70は、三次元地図Mにおける吊荷Wを追跡できた否かを判断する。三次元地図Mにおける吊荷Wを追跡できなかった場合は、例えば吊荷Wにレーザ光が照射されず、基準位置Rpから所定距離D内に存在する面Sが存在しないなどの状況で生じる。つまり、基準位置Rpから所定距離D内に存在する面Sが存在しない場合などに三次元地図Mにおける吊荷Wを追跡できなかったと判断する。三次元地図Mにおける吊荷Wを追跡できた場合には、第三処理STEP-323へ移行し、三次元地図Mにおける吊荷Wを追跡できなかった場合には、第十処理STEP-3210へ移行する。
第十処理STEP-3210において、データ処理部70は、映像iにおける吊荷Wを画像解析により追跡する。そして、映像iと三次元地図Mを対応付けることで、三次元地図Mにおける吊荷Wの面Sの設定を行う。例えば画像解析による追跡手法として、機械学習アルゴリズムを用いたCSRT(Channel and Spatial Reliability Tracking)法などを採用できる。吊荷Wを追跡した後には、第三処理STEP-323へ移行する。
このように、ガイド表示システム50は、吊荷Wの上方から吊荷Wを含む映像iを撮影するカメラ61を備え、三次元地図Mにおける吊荷Wを追跡できなかった場合に映像iにおける吊荷Wを画像解析により追跡する、としたものである。かかるガイド表示システム50によれば、前述の効果に加え、吊荷Wの点群データPを取得できなかった場合でも、吊荷Wを追跡してガイド情報(ガイド枠図形GD1、吊荷Wの標高を表す数値GD2)を表示できる。
最後に、発明の対象をガイド表示システム50からガイド表示システム50を備えたクレーン1とすることも考えられる。
即ち、クレーン1は、ガイド表示システム50を備えている、としたものである。かかるクレーン1によれば、前述の効果と同様の効果を奏する。
1 クレーン
50 ガイド表示システム
60 データ取得部
61 カメラ
62 レーザスキャナ
63 慣性計測装置(IMU)
64 第一測位装置(GNSS受信機)
65 第二測位装置(GNSS受信機)
66 センサユニット
70 データ処理部
80 データ表示部
90 データ入力部
D 所定距離
E 地物
F 地表面
G グリッド
GD1 ガイド情報(ガイド枠図形)
GD2 ガイド情報(吊荷の標高を表す数値)
Gp 重心位置
h 吊荷の高さ寸法
i 映像
M 三次元地図
P 点群データ
p 点データ
Pr 代表点
Rp 基準位置
S 面
W 吊荷

Claims (7)

  1. 吊荷の上方から当該吊荷を含む点群データを取得するレーザスキャナと、
    前記レーザスキャナが取得した点群データを用いて複数の面を作成するとともに当該複数の面によって三次元地図を作成するデータ処理部と、を備え、
    所定時間ごとに前記三次元地図を作成するクレーンのガイド表示システムであって、
    前記レーザスキャナは、地表面の上方から当該地表面を含む点群データを取得し、
    前記データ処理部は、
    前記三次元地図における前記吊荷に基準位置を設定し、
    過去の前記基準位置から所定距離内に存在する現在の前記面を前記吊荷の面として設定することによって前記三次元地図における前記吊荷を追跡し、
    前記基準位置を前記吊荷の重心位置に設定し、
    前記吊荷が前記地表面に置かれているときの前記三次元地図における当該吊荷と当該地表面との標高値の差を当該吊荷の高さ寸法として設定し、前記吊荷の高さ寸法を用いて当該吊荷の重心位置を算出する、ことを特徴とするガイド表示システム。
  2. 吊荷の上方から当該吊荷を含む点群データを取得するレーザスキャナと、
    前記レーザスキャナが取得した点群データを用いて複数の面を作成するとともに当該複数の面によって三次元地図を作成するデータ処理部と、を備え、
    所定時間ごとに前記三次元地図を作成するクレーンのガイド表示システムであって、
    前記レーザスキャナは、地物の上方から当該地物を含む点群データを取得し、
    前記データ処理部は、
    前記三次元地図における前記吊荷に基準位置を設定し、
    過去の前記基準位置から所定距離内に存在する現在の前記面を前記吊荷の面として設定することによって前記三次元地図における前記吊荷を追跡し、
    前記基準位置を前記吊荷の重心位置に設定し、
    前記吊荷が前記地物上に置かれているときの前記三次元地図における当該吊荷と当該地物との標高値の差を当該吊荷の高さ寸法として設定し、前記吊荷の高さ寸法を用いて当該吊荷の重心位置を算出する、ことを特徴とするガイド表示システム。
  3. 吊荷の上方から当該吊荷を含む点群データを取得するレーザスキャナと、
    前記レーザスキャナが取得した点群データを用いて複数の面を作成するとともに当該複数の面によって三次元地図を作成するデータ処理部と、を備え、
    所定時間ごとに前記三次元地図を作成するクレーンのガイド表示システムであって、
    前記レーザスキャナは、地表面の上方から当該地表面を含む点群データを取得するとともに、地物の上方から当該地物を含む点群データを取得し、
    前記データ処理部は、
    前記三次元地図における前記吊荷に基準位置を設定し、
    過去の前記基準位置から所定距離内に存在する現在の前記面を前記吊荷の面として設定することによって前記三次元地図における前記吊荷を追跡し、
    前記基準位置を前記吊荷の重心位置に設定し、
    前記吊荷が前記地表面に置かれているときの前記三次元地図における当該吊荷と当該地表面との標高値の差を当該吊荷の高さ寸法として設定し、前記吊荷の高さ寸法を用いて当該吊荷の重心位置を算出し、
    前記吊荷が前記地物上に置かれているときの前記三次元地図における当該吊荷と当該地物との標高値の差を当該吊荷の高さ寸法として設定し、前記吊荷の高さ寸法を用いて当該吊荷の重心位置を算出する、ことを特徴とするガイド表示システム。
  4. 前記吊荷の上方から当該吊荷を含む映像を撮影するカメラを備え、
    前記データ処理部は、前記三次元地図における前記吊荷を追跡できなかった場合に前記映像における前記吊荷を画像解析により追跡する、ことを特徴とする請求項1から請求項3のいずれか一項に記載のガイド表示システム。
  5. 吊荷の上方から当該吊荷を含む映像を撮影するカメラと、
    前記吊荷の上方から当該吊荷を含む点群データを取得するレーザスキャナと、
    前記レーザスキャナが取得した点群データを用いて複数の面を作成するとともに当該複数の面によって三次元地図を作成するデータ処理部と、を備え、
    所定時間ごとに前記三次元地図を作成するクレーンのガイド表示システムであって、
    前記データ処理部は、
    前記三次元地図における前記吊荷に基準位置を設定し、
    過去の前記基準位置から所定距離内に存在する現在の前記面を前記吊荷の面として設定することによって前記三次元地図における前記吊荷を追跡
    前記三次元地図における前記吊荷を追跡できなかった場合に前記映像における前記吊荷を画像解析により追跡する、ことを特徴とするガイド表示システム。
  6. 吊荷の上方から当該吊荷を含む映像を撮影するカメラと、
    前記吊荷の上方から当該吊荷を含む点群データを取得するレーザスキャナと、
    前記レーザスキャナが取得した点群データを用いて複数の面を作成するとともに当該複数の面によって三次元地図を作成するデータ処理部と、を備え、
    所定時間ごとに前記三次元地図を作成するクレーンのガイド表示システムであって、
    前記データ処理部は、
    前記三次元地図における前記吊荷に基準位置を設定し、
    前記基準位置を前記吊荷の重心位置に設定し、
    過去の前記基準位置から所定距離内に存在する現在の前記面を前記吊荷の面として設定することによって前記三次元地図における前記吊荷を追跡
    前記三次元地図における前記吊荷を追跡できなかった場合に前記映像における前記吊荷を画像解析により追跡する、ことを特徴とするガイド表示システム。
  7. 請求項1から請求項のいずれか一項に記載のガイド表示システムを備えたクレーン。
JP2020056814A 2020-03-26 2020-03-26 ガイド表示システムおよびこれを備えたクレーン Active JP7402728B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020056814A JP7402728B2 (ja) 2020-03-26 2020-03-26 ガイド表示システムおよびこれを備えたクレーン
PCT/JP2021/012010 WO2021193642A1 (ja) 2020-03-26 2021-03-23 ガイド表示装置およびこれを備えたクレーン
US17/911,315 US12110213B2 (en) 2020-03-26 2021-03-23 Guide display device, and crane provided with same
EP21774541.3A EP4129881A4 (en) 2020-03-26 2021-03-23 GUIDE INDICATOR DEVICE AND CRANE EQUIPPED THEREWITH

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020056814A JP7402728B2 (ja) 2020-03-26 2020-03-26 ガイド表示システムおよびこれを備えたクレーン

Publications (2)

Publication Number Publication Date
JP2021155175A JP2021155175A (ja) 2021-10-07
JP7402728B2 true JP7402728B2 (ja) 2023-12-21

Family

ID=77892190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020056814A Active JP7402728B2 (ja) 2020-03-26 2020-03-26 ガイド表示システムおよびこれを備えたクレーン

Country Status (4)

Country Link
US (1) US12110213B2 (ja)
EP (1) EP4129881A4 (ja)
JP (1) JP7402728B2 (ja)
WO (1) WO2021193642A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2022258326A1 (en) * 2021-04-12 2023-11-23 Structural Services, Inc. Systems and methods for assisting a crane operator
US20230257241A1 (en) * 2021-04-12 2023-08-17 Structural Services, Inc. Systems and methods for identifying and locating building material objects
JP2023152333A (ja) * 2022-04-04 2023-10-17 日鉄テックスエンジ株式会社 天井クレーン監視システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012073856A (ja) 2010-09-29 2012-04-12 Secom Co Ltd 監視用センサ
JP2019024150A (ja) 2017-07-21 2019-02-14 株式会社タダノ ガイド情報表示装置およびクレーン
JP2019023774A (ja) 2017-07-21 2019-02-14 株式会社タダノ 測定対象物の上面推定方法、ガイド情報表示装置およびクレーン

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366977A (ja) 2001-06-08 2002-12-20 Pasuko:Kk 地物形状作成システム及び3次元地図作成システム
AU2012259523B2 (en) * 2011-05-20 2017-04-06 Optilift As System, device and method for tracking position and orientation of vehicle, loading device and cargo in loading device operations
FI127606B (fi) * 2015-04-01 2018-10-15 Konecranes Oyj Menetelmä, kuormankäsittelylaite, tietokoneohjelma ja tietokoneohjelmatuote tartuntavälineiden paikantamiseksi

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012073856A (ja) 2010-09-29 2012-04-12 Secom Co Ltd 監視用センサ
JP2019024150A (ja) 2017-07-21 2019-02-14 株式会社タダノ ガイド情報表示装置およびクレーン
JP2019023774A (ja) 2017-07-21 2019-02-14 株式会社タダノ 測定対象物の上面推定方法、ガイド情報表示装置およびクレーン

Also Published As

Publication number Publication date
EP4129881A4 (en) 2024-04-17
EP4129881A1 (en) 2023-02-08
JP2021155175A (ja) 2021-10-07
US20230055311A1 (en) 2023-02-23
WO2021193642A1 (ja) 2021-09-30
US12110213B2 (en) 2024-10-08

Similar Documents

Publication Publication Date Title
JP7402728B2 (ja) ガイド表示システムおよびこれを備えたクレーン
JP6805781B2 (ja) クレーン
CN109467010B (zh) 用于借助起重机移动负载的方法
CN111943050B (zh) 引导信息显示装置、具有该引导信息显示装置的起重机和引导信息显示方法
WO2020122025A1 (ja) 地表面推定方法、計測領域表示システムおよびクレーン
WO2021193639A1 (ja) ガイド表示装置およびこれを備えたクレーン
WO2021193641A1 (ja) ガイド表示装置およびこれを備えたクレーン
CN111928782B (zh) 引导信息显示装置、引导信息显示方法及作业机
CN111882597A (zh) 测量对象物的上表面推测方法、引导信息显示装置以及起重机
WO2020122028A1 (ja) 地表面推定方法、計測領域表示システムおよびクレーン
WO2021193638A1 (ja) ガイド表示装置およびこれを備えたクレーン
WO2021193640A1 (ja) ガイド表示装置およびこれを備えたクレーン
WO2020122026A1 (ja) 領域推定方法、計測領域表示システムおよびクレーン
JP2018084544A (ja) 位置推定装置、地図情報作製装置、移動体、位置推定方法及びプログラム
JP7537131B2 (ja) 操作システム、前記操作システムで操作される作業装置を備える高所作業車および作業車

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231211

R150 Certificate of patent or registration of utility model

Ref document number: 7402728

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150