JP7460415B2 - ガイド表示システムおよびこれを備えたクレーン - Google Patents

ガイド表示システムおよびこれを備えたクレーン Download PDF

Info

Publication number
JP7460415B2
JP7460415B2 JP2020056811A JP2020056811A JP7460415B2 JP 7460415 B2 JP7460415 B2 JP 7460415B2 JP 2020056811 A JP2020056811 A JP 2020056811A JP 2020056811 A JP2020056811 A JP 2020056811A JP 7460415 B2 JP7460415 B2 JP 7460415B2
Authority
JP
Japan
Prior art keywords
dimensional map
feature
value
grid
display system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020056811A
Other languages
English (en)
Other versions
JP2021155172A (ja
Inventor
巖 石川
孝幸 小阪
勁太 間嶋
諭 窪田
成典 田中
匡哉 中原
光貴 中畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tadano Ltd
Kansai University
Original Assignee
Tadano Ltd
Kansai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tadano Ltd, Kansai University filed Critical Tadano Ltd
Priority to JP2020056811A priority Critical patent/JP7460415B2/ja
Priority to US17/911,049 priority patent/US20230106308A1/en
Priority to PCT/JP2021/012004 priority patent/WO2021193639A1/ja
Priority to EP21774318.6A priority patent/EP4130658A4/en
Publication of JP2021155172A publication Critical patent/JP2021155172A/ja
Application granted granted Critical
Publication of JP7460415B2 publication Critical patent/JP7460415B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C15/00—Safety gear
    • B66C15/06—Arrangements or use of warning devices
    • B66C15/065—Arrangements or use of warning devices electrical
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Control And Safety Of Cranes (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、ガイド表示システムおよびこれを備えたクレーンに関する。
従来より、吊荷と吊荷周辺の地物について、位置および標高に関する情報をオペレータに提示できるガイド表示システムが公知となっている。かかるガイド表示システムは、特許文献１に開示されている。
特許文献１に開示されたガイド表示システムは、レーザスキャナが取得した点群データを用いてグリッドごとに代表点を算出するとともに代表点に基づいて三次元地図を作成するデータ処理部を備えている。データ処理部は、吊荷や地物を取り囲むガイド枠図形などのガイド情報を生成し、カメラが撮影した映像に対してガイド情報を重ね合わせてデータ表示部に表示する。このようなガイド表示システムによれば、吊荷と吊荷周辺の地物について、位置および標高に関する情報をオペレータに提示できる。
特開２０１９－２４１５１号公報
しかしながら、特許文献１に開示されたガイド表示システムは、作業領域における地物を認識できるものの、その地物が動体であるか否かを区別して認識できないという問題があった。つまり、図１８に示すように、作業領域における地物を認識できるものの、その地物が作業員や作業車両などの動体であるか否かを区別して認識できないという問題があったのである。
本発明は、このような課題を鑑みてなされたものであり、作業領域における地物について動体であるか否かを区別して認識できるガイド表示システムを提供することを目的としている。また、かかるガイド表示システムを備えたクレーンを提供することを目的としている。
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
即ち、第一の発明は、
吊荷の上方から当該吊荷ならびに地表面を走査するレーザスキャナと、
前記レーザスキャナが取得した点群データを用いてグリッドごとに代表点を算出するとともに当該代表点に基づいて三次元地図を作成するデータ処理部と、を備えたクレーンのガイド表示システムにおいて、
連続するフレームごとに前記三次元地図を作成し、
現在時刻から最も近い時刻に作成された前記三次元地図について前記グリッドごとの標高値を第一標高値として取得し、
現在時刻から最も近い時刻に作成された前記三次元地図を除く他の所定枚数の前記三次元地図について前記グリッドごとの標高値を取得するとともに当該標高値の平均を第二標高値として算出し、
前記第一標高値と前記第二標高値との差が所定の閾値を超えた場合に動体であると判断する、としたものである。
第二の発明は、
吊荷の上方から当該吊荷ならびに地表面を走査するレーザスキャナと、
前記レーザスキャナが取得した点群データを用いてグリッドごとに代表点を算出するとともに当該代表点に基づいて三次元地図を作成するデータ処理部と、を備えたクレーンのガイド表示システムにおいて、
連続するフレームごとに前記三次元地図を作成し、
現在時刻から最も近い時刻に作成された前記三次元地図を含む所定枚数の前記三次元地図について前記グリッドごとの標高値を取得するとともに当該標高値の平均を第一平均値として算出し、
現在時刻から最も近い時刻に作成された前記三次元地図を除く他の所定枚数の前記三次元地図について前記グリッドごとの標高値を取得するとともに当該標高値の平均を第二平均値として算出し、
前記第一平均値と前記第二平均値との差が所定の閾値を超えた場合に動体であると判断する、としたものである。
第三の発明は、
吊荷の上方から当該吊荷ならびに地表面を走査するレーザスキャナと、
前記レーザスキャナが取得した点群データを用いてグリッドごとに代表点を算出するとともに当該代表点に基づいて三次元地図を作成するデータ処理部と、を備えたクレーンのガイド表示システムにおいて、
連続するフレームごとに前記三次元地図を作成し、
それぞれの前記三次元地図について前記グリッドごとに地表面又は地物を表すラベル値を付与し、
現在時刻から最も近い時刻に作成された前記三次元地図について前記グリッドごとの前記ラベル値を第一ラベル値として取得し、
現在時刻から最も近い時刻に作成された前記三次元地図を除く他の所定枚数の前記三次元地図について前記グリッドごとの前記ラベル値を取得するとともに当該ラベル値の平均を第二ラベル値として算出し、
前記第一ラベル値と前記第二ラベル値との差が所定の閾値を超えた場合に動体であると判断する、としたものである。
第四の発明は、
吊荷の上方から当該吊荷ならびに地表面を走査するレーザスキャナと、
前記レーザスキャナが取得した点群データを用いてグリッドごとに代表点を算出するとともに当該代表点に基づいて三次元地図を作成するデータ処理部と、を備えたクレーンのガイド表示システムにおいて、
連続するフレームごとに前記三次元地図を作成し、
それぞれの前記三次元地図について地物を特定し、
現在時刻から最も近い時刻に作成された前記三次元地図における前記地物の位置を第一地物位置として取得し、
現在時刻から最も近い時刻に作成された前記三次元地図を除く他の前記三次元地図における前記地物の位置を第二地物位置として取得し、
前記第一地物位置と前記第二地物位置との差が所定の閾値を超えた場合に動体であると判断する、としたものである。
第五の発明は、第一から第四の発明に係るガイド表示システムを備えたクレーンである、としたものである。
本発明の効果として、以下に示すような効果を奏する。
第一の発明に係るガイド表示システムは、連続するフレームごとに三次元地図を作成する。そして、現在時刻から最も近い時刻に作成された三次元地図についてグリッドごとの標高値を第一標高値として取得し、現在時刻から最も近い時刻に作成された三次元地図を除く他の所定枚数の三次元地図についてグリッドごとの標高値を取得するとともに標高値の平均を第二標高値として算出し、第一標高値と第二標高値との差が所定の閾値を超えた場合に動体であると判断する、としたものである。かかるガイド表示システムによれば、作業領域における地物について動体であるか否かを区別して認識できる。
第二の発明に係るガイド表示システムは、連続するフレームごとに三次元地図を作成する。そして、現在時刻から最も近い時刻に作成された三次元地図を含む所定枚数の三次元地図についてグリッドごとの標高値を取得するとともに標高値の平均を第一平均値として算出し、現在時刻から最も近い時刻に作成された三次元地図を除く他の所定枚数の三次元地図についてグリッドごとの標高値を取得するとともに標高値の平均を第二平均値として算出し、第一平均値と第二平均値との差が所定の閾値を超えた場合に動体であると判断する、としたものである。かかるガイド表示システムによれば、作業領域における地物について動体であるか否かを区別して認識できる。
第三の発明に係るガイド表示システムは、連続するフレームごとに三次元地図を作成する。そして、それぞれの三次元地図についてグリッドごとに地表面又は地物を表すラベル値を付与し、現在時刻から最も近い時刻に作成された三次元地図についてグリッドごとのラベル値を第一ラベル値として取得し、現在時刻から最も近い時刻に作成された三次元地図を除く他の所定枚数の三次元地図についてグリッドごとのラベル値を取得するとともにラベル値の平均を第二ラベル値として算出し、第一ラベル値と第二ラベル値との差が所定の閾値を超えた場合に動体であると判断する、としたものである。かかるガイド表示システムによれば、作業領域における地物について動体であるか否かを区別して認識できる。
第四の発明に係るガイド表示システムは、連続するフレームごとに三次元地図を作成する。そして、それぞれの三次元地図について地物を特定し、現在時刻から最も近い時刻に作成された三次元地図における地物の位置を第一地物位置として取得し、現在時刻から最も近い時刻に作成された三次元地図を除く他の三次元地図における地物の位置を第二地物位置として取得し、第一地物位置と第二地物位置との差が所定の閾値を超えた場合に動体であると判断する、としたものである。かかるガイド表示システムによれば、作業領域における地物について動体であるか否かを区別して認識できる。
第五の発明に係るクレーンは、第一から第四の発明に係るガイド表示システムを備えた、としたものである。かかるクレーンによれば、前述の効果と同様の効果を奏する。
本発明の一実施形態に係るクレーンを示す図。 本発明の一実施形態に係るガイド表示システムを示す図。 レーザスキャナによる走査態様を示す図。 データ処理部による処理の流れを示す図。 点群データ補正工程の概要を示す図。 三次元地図作成工程の概要を示す図。 クラスタリング工程の概要を示す図。 作業領域可視化工程の概要を示す図。 第一形態に係る同一領域推定処理の流れを示す図。 第一形態に係る同一領域推定処理の概要を示す図。 第二形態に係る同一領域推定処理の流れを示す図。 第二形態に係る同一領域推定処理の概要を示す図。 第三形態に係る同一領域推定処理の流れを示す図。 第三形態に係る同一領域推定処理の概要を示す図。 第四形態に係る同一領域推定処理の流れを示す図。 第四形態に係る同一領域推定処理の概要を示す図。 同一領域推定処理を経て生成されたガイド情報を示す図。 地物が動体であるか否かを区別して認識できない状況を示す図。
まず、本発明の一実施形態に係るクレーン１について説明する。
図１に示すように、クレーン１は、不特定の場所に移動可能な移動式クレーンである。クレーン１は、走行車両２とクレーン装置６を備えている。
走行車両２は、クレーン装置６を搬送するものである。走行車両２は、複数の車輪３を有し、エンジン４を動力源として走行する。走行車両２には、アウトリガ５が設けられている。アウトリガ５は、走行車両２の幅方向に延伸するビームと地表面Ｆに接地して走行車両２を支持するジャッキシリンダで構成されている。
クレーン装置６は、吊荷Ｗを吊り上げた状態で搬送するものである。クレーン装置６は、ブーム７を備えている。ブーム７には、ワイヤロープ８が架け渡されている。ブーム７の先端部分から垂下するワイヤロープ８には、フック９が取り付けられている。また、ブーム７の基端側近傍には、ウインチ１０が配置されている。尚、クレーン装置６は、ブーム７の側方にキャビン１１を備えている。キャビン１１の内部には、旋回操作具１９や伸縮操作具２０、起伏操作具２１、巻回操作具２２などが設けられている（図２参照）。
ブーム７は、アクチュエータによって旋回自在となっている。本願においては、かかるアクチュエータを旋回用モータ１２と定義する。旋回用モータ１２は、電磁比例切換弁である旋回用バルブ２３によって適宜に稼動する（図２参照）。つまり、旋回用モータ１２は、旋回用バルブ２３が作動油の流量や流動方向を切り替えることで適宜に稼動する。尚、旋回用バルブ２３は、制御装置１８の指示に基づいて稼動する。ブーム７の旋回角度は、旋回用センサ２７によって検出される（図２参照）。
また、ブーム７は、アクチュエータによって伸縮自在となっている。本願においては、かかるアクチュエータを伸縮用シリンダ１３と定義する。伸縮用シリンダ１３は、電磁比例切換弁である伸縮用バルブ２４によって適宜に稼動する（図２参照）。つまり、伸縮用シリンダ１３は、伸縮用バルブ２４が作動油の流量や流動方向を切り替えることで適宜に稼動する。尚、伸縮用バルブ２４は、制御装置１８の指示に基づいて稼動する。ブーム７の伸縮長さは、伸縮用センサ２８によって検出される（図２参照）。
更に、ブーム７は、アクチュエータによって起伏自在となっている。本願においては、かかるアクチュエータを起伏用シリンダ１４と定義する。起伏用シリンダ１４は、電磁比例切換弁である起伏用バルブ２５によって適宜に稼動する（図２参照）。つまり、起伏用シリンダ１４は、起伏用バルブ２５が作動油の流量や流動方向を切り替えることで適宜に稼動する。尚、起伏用バルブ２５は、制御装置１８の指示に基づいて稼動する。ブーム７の起伏角度は、起伏用センサ２９によって検出される（図２参照）。
加えて、フック９は、アクチュエータによって昇降自在となっている。本願においては、かかるアクチュエータを巻回用モータ１５と定義する。巻回用モータ１５は、電磁比例切換弁である巻回用バルブ２６によって適宜に稼動する（図２参照）。つまり、巻回用モータ１５は、巻回用バルブ２６が作動油の流量や流動方向を切り替えることで適宜に稼動する。尚、巻回用バルブ２６は、制御装置１８の指示に基づいて稼動する。フック９の吊下長さは、巻回用センサ３０によって検出される（図２参照）。
ところで、本願においては、クレーン１に対してＸＹＺ座標系を規定している。ＸＹＺ座標系におけるＸ軸方向（奥行方向とも呼ぶ）は、ブーム７の起伏支点の軸方向に対して垂直、かつ重力方向に対して垂直な方向となっている。また、ＸＹＺ座標系におけるＹ軸方向（水平方向とも呼ぶ）は、ブーム７の起伏支点の軸方向に対して平行、かつ重力方向に対して垂直な方向となっている。更に、ＸＹＺ座標系におけるＺ軸方向（鉛直方向とも呼ぶ）は、ブーム７の起伏支点の軸方向に対して垂直、かつ重力方向に対して平行な方向となっている。
次に、本発明の一実施形態に係るガイド表示システム５０について説明する。
図２に示すように、ガイド表示システム５０は、クレーン１の制御装置１８と連携している。ガイド表示システム５０は、データ取得部６０とデータ処理部７０とデータ表示部８０とデータ入力部９０を備えている。
データ取得部６０は、後述するガイド情報を生成するために必要な情報を取得するものである。データ取得部６０は、カメラ６１とレーザスキャナ６２と慣性計測装置６３と第一測位装置６４が一体に構成されたセンサユニット６６を有している。センサユニット６６は、ブーム７の先端部分にジンバルを介して取り付けられている（図１参照）。
カメラ６１は、作業領域の一部を撮影するものである。カメラ６１は、適宜なスペックを有しており、撮影した映像をデータ処理部７０へ出力する。尚、カメラ６１は、吊荷Ｗの上方から吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）を撮影する。そのため、データ処理部７０は、吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）についての映像を取得することができる。
レーザスキャナ６２は、作業領域の一部について点群データＰを取得するものである（図３参照）。レーザスキャナ６２は、適宜なスペックを有しており、取得した点群データＰをデータ処理部７０へ出力する。尚、レーザスキャナ６２は、吊荷Ｗの上方から吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）を走査する。そのため、データ処理部７０は、吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）についての点群データＰを取得することができる。
慣性計測装置（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ：以下「ＩＭＵ」とする）６３は、センサユニット６６の姿勢に関する情報（具体的にはカメラ６１とレーザスキャナ６２の姿勢に関する情報）を取得するものである。ＩＭＵ６３は、適宜なスペックを有しており、取得したカメラ６１とレーザスキャナ６２の姿勢に関する情報をデータ処理部７０へ出力する。そのため、データ処理部７０は、カメラ６１とレーザスキャナ６２の姿勢に関する情報を取得することができる。
第一測位装置（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ：以下「ＧＮＳＳ受信機」とする）６４は、ＧＮＳＳ衛星から発せられた電波を受信することでセンサユニット６６の緯度、経度、標高値（具体的にはレーザスキャナ６２の座標値）を取得するものである。ＧＮＳＳ受信機６４は、適宜なスペックを有しており、取得したレーザスキャナ６２の座標値をデータ処理部７０へ出力する。そのため、データ処理部７０は、レーザスキャナ６２の座標値を取得することができる。
加えて、データ取得部６０においては、第二測位装置６５がクレーン装置６の旋回中心位置に配置されている。第二測位装置（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ：以下「ＧＮＳＳ受信機」とする）６５は、ＧＮＳＳ衛星から発せられた電波を受信することでクレーン装置６の旋回中心の緯度、経度、標高値（具体的にはクレーン装置６の旋回中心の座標値）を取得するものである。ＧＮＳＳ受信機６５は、適宜なスペックを有しており、取得した旋回中心の座標値をデータ処理部７０へ出力する。そのため、データ処理部７０は、クレーン装置６の旋回中心の座標値を取得することができる。
このように、ガイド表示システム５０は、レーザスキャナ６２の座標値とクレーン装置６の旋回中心の座標値によってブーム７を基線としたＧＮＳＳコンパスを構成している。このため、データ処理部７０は、レーザスキャナ６２の向きを算出することができる。また、ガイド表示システム５０では、点群データＰおよびＩＭＵ６３の計測時刻がＧＮＳＳ衛星の原子時計の時刻（以下「ＧＮＳＳ時刻」とする）で同期していることを要件としている。尚、ＧＮＳＳ受信機６４とＧＮＳＳ受信機６５には、測位精度の高いＲＴＫ（Ｒｅａｌ Ｔｉｍｅ Ｋｉｎｅｍａｔｉｃ）測位方式を採用している。但し、ＲＴＫ測位方式に限定せず、他の測位方式を採用していてもよい。
データ処理部７０は、データ取得部６０と接続されており、様々な処理を行うものである。データ処理部７０は、例えば汎用のコンピュータによって構成されている。尚、データ処理部７０は、センサユニット６６の近傍に配置されている。但し、データ処理部７０は、キャビン１１の内部など他の場所に配置されていてもよい。もちろん持ち運び可能なものであってもよい。
データ表示部８０は、データ処理部７０と接続されており、様々な情報を映し出すものである。データ表示部８０は、例えば汎用のモニタによって構成されている。尚、データ表示部８０は、キャビン１１の内部に配置されている。そのため、クレーン１のオペレータに対して情報を提示できる。もちろんデータ処理部７０が持ち運び可能なものである場合などでは、一体となったモニタであってもよい。
データ入力部９０は、データ処理部７０と接続されており、様々な数値を入力或いは設定を変更するものである。データ入力部９０は、例えば汎用のキーボードやマウス、タッチパネルによって構成されている。尚、データ入力部９０も、キャビン１１の内部に配置されている。そのため、クレーン１のオペレータが自在に数値を入力或いは設定を変更できる。もちろんデータ処理部７０が持ち運び可能なものである場合などでは、一体となったキーボードやマウス、タッチパネルであってもよい。
次に、レーザスキャナ６２による走査態様について説明する。
図３に示すように、レーザスキャナ６２は、地表面Ｆに対して上方からレーザ光を照射する。レーザスキャナ６２は、複数のレーザ発信機ならびにレーザ受信機を備えており、同時に複数本のレーザ光を照射して同時に複数個の点データｐ（点データｐの集合が点群データＰである）を取得できる。
具体的に説明すると、レーザスキャナ６２は、合計１６個のレーザ発信機を備えており、同時に１６本のレーザ光を照射できる。それぞれのレーザ発信機は、Ｙ軸方向を中心に２°ずつ照射角度を異にしている。また、それぞれのレーザ発信機は、Ｘ軸を中心に連続的に位相角を変えて照射可能に構成されている。そのため、レーザスキャナ６２は、地表面Ｆの所定の範囲に対してレーザ光を照射できる。
更に、レーザスキャナ６２は、合計１６個のレーザ受信機を備えており、同時に１６本のレーザ光の反射光を検出できる。それぞれのレーザ受信機は、Ｙ軸方向を中心に２°ずつ検出角度を異にしている。また、それぞれのレーザ受信機は、レーザ発信機から発信されたレーザ光と同じ光路で反射光を検出可能に構成されている。こうして、レーザスキャナ６２は、地表面Ｆを覆う点群データＰを取得できるのである。尚、点群データＰを取得できる範囲は、カメラ６１によって撮影される範囲である計測領域Ｒを含んでいる。
このように構成することで、データ処理部７０は、計測領域Ｒを含む範囲について点群データＰを取得できる。レーザスキャナ６２は、吊荷Ｗの上方から吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）を走査するため、点群データＰには、吊荷Ｗ、地表面Ｆ、地物Ｅが表れることとなる。点群データＰを構成する各点データｐには、ＩＭＵ６３やＧＮＳＳ受信機６４・６５によって取得された様々な情報が付加される。例えば姿勢情報や位置情報などである。
次に、データ処理部７０による処理の流れについて説明する。
図４に示すように、データ処理部７０は、点群データ補正工程ＳＴＥＰ－１と三次元地図作成工程ＳＴＥＰ－２とクラスタリング工程ＳＴＥＰ－３と作業領域可視化工程ＳＴＥＰ－４を行う。これらの工程は、所定時間ごとに繰り返し行われる。
点群データ補正工程ＳＴＥＰ－１は、レーザスキャナ６２、ＩＭＵ６３、ＧＮＳＳ６４・６５による情報を基に現在時刻から最も近い時刻の点群データＰ、姿勢情報および位置情報を取得し、レーザスキャナ６２の向きを算出する。そして、姿勢情報、位置情報および向きを用いて点群データＰの位置と傾きを補正し、これを補正済みの点群データＰとして出力する（図５参照）。
具体的に説明すると、点群データ補正工程ＳＴＥＰ－１は、時刻同期処理ＳＴＥＰ－１１と剛体変換処理ＳＴＥＰ－１２で構成されている。
時刻同期処理ＳＴＥＰ－１１は、現在時刻から最も近い時刻で、かつ計測領域Ｒの端から端までを一巡したレーザスキャナ６２、ＩＭＵ６３、ＧＮＳＳ６４・６５による情報同士をＧＮＳＳ時刻にて同期する。そして、同期済みの点データｐ、姿勢情報、位置情報の組み合わせを出力する。
剛体変換処理ＳＴＥＰ－１２は、同期済みの点データｐ、姿勢情報、位置情報の組み合わせを一つ取得する。そして、取得した姿勢情報を用いて点データｐの座標値を剛体変換し、点データｐの座標系を平面直角座標系に変換して傾き、位置および向きを補正した点群データＰを出力する。
三次元地図作成工程ＳＴＥＰ－２は、異なる時期や位置から取得した補正済みの点群データＰ同士を重ね合わせ、格子状のグリッド（複数の点データｐを含む格子状に分割された領域である）Ｇに分割し、グリッドＧごとに代表点Ｐｒを算出する（図６（Ａ）参照）。そして、代表点Ｐｒに基づいて面を生成することで、これを作業領域の三次元地図Ｍとして出力する（図６（Ｂ）参照）。
具体的に説明すると、三次元地図作成工程ＳＴＥＰ－２は、グリッド生成処理ＳＴＥＰ－２１と三次元地図更新処理ＳＴＥＰ－２２で構成されている。
グリッド生成処理ＳＴＥＰ－２１は、補正済みの点群データＰ同士を重ね合わせて格子状のグリッドＧに分割する。そして、グリッドＧに含まれる点データｐの標高値（座標値の高さ成分）について平均値を算出し、グリッドＧの重心位置に高さ成分を平均値とした代表点Ｐｒを算出する。
三次元地図更新処理ＳＴＥＰ－２２は、グリッドＧごとに新たに算出された代表点Ｐｒを取得する。また、前回に算出された既存の代表点Ｐｒも取得する。そして、新たに算出された代表点Ｐｒと既存の代表点Ｐｒが異なる場合に新たに算出された代表点Ｐｒに基づく面を生成して三次元地図Ｍを出力する。
クラスタリング工程ＳＴＥＰ－３は、上下左右に隣り合うグリッドＧの代表点Ｐｒについて互いの代表点Ｐｒの高さ成分の関係性から特定領域に対してラベルＬを付与する（図７（Ａ）参照）。なお、図７（Ａ）等に示す丸囲み数字がラベルＬを表している。そして、同じラベルＬが付された特定領域について吊荷Ｗに相当する特定領域を吊荷Ｗとし、地表面Ｆに相当する特定領域を地表面Ｆとして出力する（図７（Ｂ）参照）。更に、それ以外の特定領域を地物Ｅとして出力する（図７（Ｃ）参照）。
具体的に説明すると、クラスタリング工程ＳＴＥＰ－３は、ラベリング処理ＳＴＥＰ－３１と同一領域推定処理ＳＴＥＰ－３２と地物領域推定処理ＳＴＥＰ－３３で構成されている。
ラベリング処理ＳＴＥＰ－３１は、格子状に並ぶグリッドＧを画素に見立てる。また、各グリッドＧに存在する代表点Ｐｒの高さ成分を輝度値に見立てる。そして、上下左右に隣り合うグリッドＧの輝度値を所定の定めに基づいて比較し、特定領域に対してラベルＬを付与する。
同一領域推定処理ＳＴＥＰ－３２は、同じラベルＬが付された特定領域を一つの平面に見立てる。そして、同じラベルＬが付された特定領域の中でオペレータが手動操作によって選択した特定領域を吊荷Ｗとして出力する。また、最も点データｐが多い特定領域を地表面Ｆとして出力する。
地物領域推定処理ＳＴＥＰ－３３は、吊荷Ｗや地表面Ｆとされた特定領域以外について代表点Ｐｒの集合を特定領域として取得する。そして、この特定領域に最も近い地表面Ｆとされた特定領域を取得した上で高さ成分の平均値を算出し、平均値の差が同じ特定領域の高さ成分の差以下の場合に地物Ｅとして出力する。
作業領域可視化工程ＳＴＥＰ－４は、吊荷Ｗや地物Ｅを取り囲むガイド枠図形ＧＤ１などのガイド情報（標高を表す数値ＧＤ２・ＧＤ３を含む）を生成し、カメラ６１が撮影した映像に対してガイド情報を重ね合わせてデータ表示部８０に出力する（図８（Ａ）参照）。また、吊荷Ｗ、地表面Ｆ、地物Ｅの三次元的な位置関係を表す三次元地図Ｍについて可視化して出力する（図８（Ｂ）参照）。
具体的に説明すると、作業領域可視化工程ＳＴＥＰ－４は、領域可視化処理ＳＴＥＰ－４１と三次元地図可視化処理ＳＴＥＰ－４２で構成されている。
領域可視化処理ＳＴＥＰ－４１は、レーザスキャナ６２の位置と向きに基づいて吊荷Ｗや地物Ｅの映像上における位置を算出する。そして、吊荷Ｗや地物Ｅを取り囲むガイド枠図形ＧＤ１を生成し、カメラ６１が撮影した映像における吊荷Ｗや地物Ｅに対してガイド枠図形ＧＤ１を重ね合わせて出力する。また、吊荷Ｗの標高を表す数値ＧＤ２や地物Ｅの標高を表す数値ＧＤ３についても出力する。
三次元地図可視化処理ＳＴＥＰ－４２は、ラベルＬが付された吊荷Ｗ、地表面Ｆ、地物ＥについてグリッドＧごとに代表点Ｐｒの座標値を取得する。そして、グリッドＧごとに代表点Ｐｒを重心とする面を生成する。このとき、面の一辺の幅は、グリッドＧの幅と同じとする。その後、吊荷Ｗ、地表面Ｆ、地物Ｅごとに着色を行って、これを三次元地図Ｍとして可視化するのである。
次に、第一形態に係る地物領域推定処理ＳＴＥＰ－３３の流れについて詳しく説明する。ここでは、既に地物Ｅが特定されているものとする。
前述したように、データ処理部７０は、クラスタリング工程ＳＴＥＰ－３にて地物領域推定処理ＳＴＥＰ－３３を行う。
図９に示すように、地物領域推定処理ＳＴＥＰ－３３は、グリッドＧごとに行われる複数の処理によって構成されている。以下に説明する処理の流れは、ガイド表示システム５０に採用できる一例である。但し、本願に掲げる発明を実現できればよく、処理の流れについて限定するものではない。
第一処理ＳＴＥＰ－３３１において、データ処理部７０は、時系列に並んだ複数のフレームｆ・ｆ・ｆ・・・を取得する（図１０（Ａ）参照）。「フレームｆ」とは、ある時刻の点群データＰに基づいて作成された三次元地図Ｍと同義といえる。三次元地図Ｍ・Ｍ・Ｍ・・・を取得した後には、第二処理ＳＴＥＰ－３３２へ移行する。
第二処理ＳＴＥＰ－３３２において、データ処理部７０は、現在時刻から最も近い時刻ｔに作成された三次元地図ＭについてグリッドＧごとの標高値（代表点Ｐｒの高さ成分）を第一標高値Ｅｎ１として取得する（図１０（Ｂ）参照）。第一標高値Ｅｎ１を取得した後には、第三処理ＳＴＥＰ－３３３へ移行する。
第三処理ＳＴＥＰ－３３３において、データ処理部７０は、現在時刻から最も近い時刻ｔに作成された三次元地図Ｍを除く所定枚数の三次元地図Ｍ・Ｍ・Ｍ・・・についてグリッドＧごとの標高値（代表点Ｐｒの高さ成分）を取得するとともに標高値の平均を第二標高値Ｅｎ２として算出する（図１０（Ｃ）参照）。本ガイド表示システム５０では、「所定枚数」を過去へ遡って連続する３０枚（ｔ－１番目からｔ－３０番目までの３０枚）としている。第二標高値Ｅｎ２を取得した後には、第四処理ＳＴＥＰ－３３４へ移行する。
第四処理ＳＴＥＰ－３３４において、データ処理部７０は、第一標高値Ｅｎ１と第二標高値Ｅｎ２との差が閾値を超えるか否かを判断する。本ガイド表示システム５０では、「閾値」を０．６メートルとしている。これらの差が閾値を超えている場合には、第五処理ＳＴＥＰ－３３５へ移行し、これらの差が閾値を超えていない場合には、第六処理ＳＴＥＰ－３３６へ移行する。
第五処理ＳＴＥＰ－３３５において、データ処理部７０は、かかるグリッドＧを含む地物Ｅを動体であると判断する（図１７の矢印ｍ参照）。このため、データ処理部７０は、この地物Ｅについて動体であることを認識できる。尚、データ表示部８０には、動体であると認定された地物Ｅに対して他の地物（静止体と認定された地物）Ｅとは異なる色のガイド枠図形ＧＤ１を表示する。また、他の地物（静止体と認定された地物）Ｅとは異なる色の標高を表す数値ＧＤ３を表示する。
他方、第六処理ＳＴＥＰ－３３６において、データ処理部７０は、かかるグリッドＧを含む地物Ｅを静止体であると判断する（図１７の矢印ｓ参照）。このため、データ処理部７０は、この地物Ｅについて静止体であることを認識できる。尚、データ表示部８０には、静止体であると認定された地物Ｅに対して他の地物（動体と認定された地物）Ｅとは異なる色のガイド枠図形ＧＤ１を表示する。また、他の地物（動体と認定された地物）Ｅとは異なる色の標高を表す数値ＧＤ３を表示する。
このように、本ガイド表示システム５０は、連続するフレームｆ・ｆ・ｆ・・・ごとに三次元地図Ｍを作成する。そして、現在時刻から最も近い時刻ｔに作成された三次元地図ＭについてグリッドＧごとの標高値（代表点Ｐｒの高さ成分）を第一標高値Ｅｎ１として取得し、現在時刻から最も近い時刻ｔに作成された三次元地図Ｍを除く所定枚数の三次元地図Ｍ・Ｍ・Ｍ・・・についてグリッドＧごとの標高値（代表点Ｐｒの高さ成分）を取得するとともに標高値の平均を第二標高値Ｅｎ２として算出し、第一標高値Ｅｎ１と第二標高値Ｅｎ２との差が所定の閾値を超えた場合に動体であると判断する、としたものである。かかるガイド表示システム５０によれば、作業領域における地物Ｅについて動体であるか否かを区別して認識できる。
ところで、本ガイド表示システム５０においては、現在時刻から最も近い時刻ｔに作成された三次元地図Ｍにおける地物Ｅの位置を取得し、現在時刻から最も近い時刻ｔに作成された三次元地図Ｍを除く他の三次元地図Ｍにおける地物Ｅの位置を取得（一つ前の三次元地図Ｍを用いて地物Ｅの位置を取得するが、かかる三次元地図Ｍに同じ地物Ｅが表れていない場合は、更に遡った三次元地図Ｍを用いて地物Ｅの位置を取得する）し、これらの位置が重なる場合に静止体であると判断する、との構成を追加できる。このような構成を追加した場合、該当の地物Ｅが静止体であるとの判断を行うことができる。そして、静止体と判断された地物Ｅを除くことにより、その他の地物Ｅについて動体であるとの判断をより確実に行える。
次に、第二形態に係る地物領域推定処理ＳＴＥＰ－３３の流れについて詳しく説明する。ここでは、既に地物Ｅが特定されているものとする。
前述したように、データ処理部７０は、クラスタリング工程ＳＴＥＰ－３にて地物領域推定処理ＳＴＥＰ－３３を行う。
図１１に示すように、地物領域推定処理ＳＴＥＰ－３３は、グリッドＧごとに行われる複数の処理によって構成されている。以下に説明する処理の流れは、ガイド表示システム５０に採用できる一例である。但し、本願に掲げる発明を実現できればよく、処理の流れについて限定するものではない。
第一処理ＳＴＥＰ－３３１において、データ処理部７０は、時系列に並んだ複数のフレームｆ・ｆ・ｆ・・・を取得する（図１２（Ａ）参照）。「フレームｆ」とは、ある時刻の点群データＰに基づいて作成された三次元地図Ｍと同義といえる。三次元地図Ｍ・Ｍ・Ｍ・・・を取得した後には、第二処理ＳＴＥＰ－３３２へ移行する。
第二処理ＳＴＥＰ－３３２において、データ処理部７０は、現在時刻から最も近い時刻ｔに作成された三次元地図Ｍを含む所定枚数の三次元地図Ｍ・Ｍ・Ｍ・・・についてグリッドＧごとの標高値（代表点Ｐｒの高さ成分）を取得するとともに標高値の平均を第一平均値Ａｎ１として算出する（図１２（Ｂ）参照）。本ガイド表示システム５０では、「所定枚数」を過去へ遡って連続する３０枚（ｔ番目からｔ－２９番目までの３０枚）としている。第一平均値Ａｎ１を取得した後には、第三処理ＳＴＥＰ－３３３へ移行する。
第三処理ＳＴＥＰ－３３３において、データ処理部７０は、現在時刻から最も近い時刻ｔに作成された三次元地図Ｍを除く所定枚数の三次元地図Ｍ・Ｍ・Ｍ・・・についてグリッドＧごとの標高値（代表点Ｐｒの高さ成分）を取得するとともに標高値の平均を第二平均値Ａｎ２として算出する（図１２（Ｃ）参照）。本ガイド表示システム５０では、「所定枚数」を過去へ遡って連続する３０枚（ｔ－１番目からｔ－３０番目までの３０枚）としている。第二平均値Ａｎ２を取得した後には、第四処理ＳＴＥＰ－３３４へ移行する。
第四処理ＳＴＥＰ－３３４において、データ処理部７０は、第一平均値Ａｎ１と第二平均値Ａｎ２との差が閾値を超えるか否かを判断する。本ガイド表示システム５０では、「閾値」を０．４メートルとしている。これらの差が閾値を超えている場合には、第五処理ＳＴＥＰ－３３５へ移行し、これらの差が閾値を超えていない場合には、第六処理ＳＴＥＰ－３３６へ移行する。
第五処理ＳＴＥＰ－３３５において、データ処理部７０は、かかるグリッドＧを含む地物Ｅを動体であると判断する（図１７の矢印ｍ参照）。このため、データ処理部７０は、この地物Ｅについて動体であることを認識できる。尚、データ表示部８０には、動体であると認定された地物Ｅに対して他の地物（静止体と認定された地物）Ｅとは異なる色のガイド枠図形ＧＤ１を表示する。また、他の地物（静止体と認定された地物）Ｅとは異なる色の標高を表す数値ＧＤ３を表示する。
他方、第六処理ＳＴＥＰ－３３６において、データ処理部７０は、かかるグリッドＧを含む地物Ｅを静止体であると判断する（図１７の矢印ｓ参照）。このため、データ処理部７０は、この地物Ｅについて静止体であることを認識できる。尚、データ表示部８０には、静止体であると認定された地物Ｅに対して他の地物（動体と認定された地物）Ｅとは異なる色のガイド枠図形ＧＤ１を表示する。また、他の地物（動体と認定された地物）Ｅとは異なる色の標高を表す数値ＧＤ３を表示する。
このように、本ガイド表示システム５０は、連続するフレームｆ・ｆ・ｆ・・・ごとに三次元地図Ｍを作成する。そして、現在時刻から最も近い時刻ｔに作成された三次元地図Ｍを含む所定枚数の三次元地図Ｍ・Ｍ・Ｍ・・・についてグリッドＧごとの標高値（代表点Ｐｒの高さ成分）を取得するとともに標高値の平均を第一平均値Ａｎ１として算出し、現在時刻から最も近い時刻ｔに作成された三次元地図Ｍを除く所定枚数の三次元地図Ｍ・Ｍ・Ｍ・・・についてグリッドＧごとの標高値（代表点Ｐｒの高さ成分）を取得するとともに標高値の平均を第二平均値Ａｎ２として算出し、第一平均値Ａｎ１と第二平均値Ａｎ２との差が所定の閾値を超えた場合に動体であると判断する、としたものである。かかるガイド表示システム５０によれば、作業領域における地物Ｅについて動体であるか否かを区別して認識できる。
ところで、本ガイド表示システム５０においても、現在時刻から最も近い時刻ｔに作成された三次元地図Ｍにおける地物Ｅの位置を取得し、現在時刻から最も近い時刻ｔに作成された三次元地図Ｍを除く他の三次元地図Ｍにおける地物Ｅの位置を取得（一つ前の三次元地図Ｍを用いて地物Ｅの位置を取得するが、かかる三次元地図Ｍに同じ地物Ｅが表れていない場合は、更に遡った三次元地図Ｍを用いて地物Ｅの位置を取得する）し、これらの位置が重なる場合に静止体であると判断する、との構成を追加できる。このような構成を追加した場合、該当の地物Ｅが静止体であるとの判断を行うことができる。そして、静止体と判断された地物Ｅを除くことにより、その他の地物Ｅについて動体であるとの判断をより確実に行える。
次に、第三形態に係る地物領域推定処理ＳＴＥＰ－３３の流れについて詳しく説明する。ここでは、既に地物Ｅが特定されているものとする。
前述したように、データ処理部７０は、クラスタリング工程ＳＴＥＰ－３にて地物領域推定処理ＳＴＥＰ－３３を行う。
図１３に示すように、地物領域推定処理ＳＴＥＰ－３３は、グリッドＧごとに行われる複数の処理によって構成されている。以下に説明する処理の流れは、ガイド表示システム５０に採用できる一例である。但し、本願に掲げる発明を実現できればよく、処理の流れについて限定するものではない。
第一処理ＳＴＥＰ－３３１において、データ処理部７０は、時系列に並んだ複数のフレームｆ・ｆ・ｆ・・・を取得する（図１４（Ａ）参照）。「フレームｆ」とは、ある時刻の点群データＰに基づいて作成された三次元地図Ｍと同義といえる。三次元地図Ｍ・Ｍ・Ｍ・・・を取得した後には、第二処理ＳＴＥＰ－３３２へ移行する。
第二処理ＳＴＥＰ－３３２において、データ処理部７０は、それぞれの三次元地図Ｍ・Ｍ・Ｍ・・・についてグリッドＧごとに地表面Ｆ又は地物Ｅを表すラベル値Ｌｎを付与する（図１４（Ｂ）参照）。地表面Ｆに対しては、ラベル値Ｌｎとして「０」が付与され、地物Ｅに対しては、ラベル値Ｌｎとして「１」が付与される。ラベル値Ｌｎを付与した後には、第三処理ＳＴＥＰ－３３３へ移行する。
第三処理ＳＴＥＰ－３３３において、データ処理部７０は、現在時刻から最も近い時刻ｔに作成された三次元地図ＭについてグリッドＧごとのラベル値（地表面Ｆが「０」で地物Ｅが「１」）Ｌｎを第一ラベル値Ｌｎ１として取得する（図１４（Ｃ）参照）。第一ラベル値Ｌｎ１を取得した後には、第四処理ＳＴＥＰ－３３４へ移行する。
第四処理ＳＴＥＰ－３３４において、データ処理部７０は、現在時刻から最も近い時刻ｔに作成された三次元地図Ｍを除く所定枚数の三次元地図Ｍ・Ｍ・Ｍ・・・についてグリッドＧごとのラベル値（地表面Ｆが「０」で地物Ｅが「１」）Ｌｎを取得するとともにラベル値Ｌｎの平均を第二ラベル値Ｌｎ２として算出する（図１４（Ｄ）参照）。本ガイド表示システム５０では、「所定枚数」を過去へ遡って連続する２０枚（ｔ－１番目からｔ－２０番目までの２０枚）としている。第二ラベル値Ｌｎ２を取得した後には、第五処理ＳＴＥＰ－３３５へ移行する。
第五処理ＳＴＥＰ－３３５において、データ処理部７０は、第一ラベル値Ｌｎ１と第二ラベル値Ｌｎ２との差が閾値を超えるか否かを判断する。本ガイド表示システム５０では、「閾値」を０．８５メートルとしている。これらの差が閾値を超えている場合には、第六処理ＳＴＥＰ－３３６へ移行し、これらの差が閾値を超えていない場合には、第七処理ＳＴＥＰ－３３７へ移行する。
第六処理ＳＴＥＰ－３３６において、データ処理部７０は、かかるグリッドＧを含む地物Ｅを動体であると判断する（図１７の矢印ｍ参照）。このため、データ処理部７０は、この地物Ｅについて動体であることを認識できる。尚、データ表示部８０には、動体であると認定された地物Ｅに対して他の地物（静止体と認定された地物）Ｅとは異なる色のガイド枠図形ＧＤ１を表示する。また、他の地物（静止体と認定された地物）Ｅとは異なる色の標高を表す数値ＧＤ３を表示する。
他方、第七処理ＳＴＥＰ－３３７において、データ処理部７０は、かかるグリッドＧを含む地物Ｅを静止体であると判断する（図１７の矢印ｓ参照）。このため、データ処理部７０は、この地物Ｅについて静止体であることを認識できる。尚、データ表示部８０には、静止体であると認定された地物Ｅに対して他の地物（動体と認定された地物）Ｅとは異なる色のガイド枠図形ＧＤ１を表示する。また、他の地物（動体と認定された地物）Ｅとは異なる色の標高を表す数値ＧＤ３を表示する。
このように、本ガイド表示システム５０は、連続するフレームｆ・ｆ・ｆ・・・ごとに三次元地図Ｍを作成する。そして、それぞれの三次元地図Ｍ・Ｍ・Ｍ・・・についてグリッドＧごとに地表面Ｆ又は地物Ｅを表すラベル値Ｌｎを付与し、現在時刻から最も近い時刻ｔに作成された三次元地図ＭについてグリッドＧごとのラベル値Ｌｎを第一ラベル値Ｌｎ１として取得し、現在時刻から最も近い時刻ｔに作成された三次元地図Ｍを除く所定枚数の三次元地図Ｍ・Ｍ・Ｍ・・・についてグリッドＧごとのラベル値Ｌｎを取得するとともにラベル値Ｌｎ・Ｌｎ・Ｌｎ・・・の平均を第二ラベル値Ｌｎ２として算出し、第一ラベル値Ｌｎ１と第二ラベル値Ｌｎ２との差が所定の閾値を超えた場合に動体であると判断する、としたものである。かかるガイド表示システム５０によれば、作業領域における地物Ｅについて動体であるか否かを区別して認識できる。
ところで、本ガイド表示システム５０においても、現在時刻から最も近い時刻ｔに作成された三次元地図Ｍにおける地物Ｅの位置を取得し、現在時刻から最も近い時刻ｔに作成された三次元地図Ｍを除く他の三次元地図Ｍにおける地物Ｅの位置を取得（一つ前の三次元地図Ｍを用いて地物Ｅの位置を取得するが、かかる三次元地図Ｍに同じ地物Ｅが表れていない場合は、更に遡った三次元地図Ｍを用いて地物Ｅの位置を取得する）し、これらの位置が重なる場合に静止体であると判断する、との構成を追加できる。このような構成を追加した場合、該当の地物Ｅが静止体であるとの判断を行うことができる。そして、静止体と判断された地物Ｅを除くことにより、その他の地物Ｅについて動体であるとの判断をより確実に行える。
次に、第四形態に係る地物領域推定処理ＳＴＥＰ－３３の流れについて詳しく説明する。ここでは、既に地物Ｅが特定されているものとする。
前述したように、データ処理部７０は、クラスタリング工程ＳＴＥＰ－３にて地物領域推定処理ＳＴＥＰ－３３を行う。
図１５に示すように、地物領域推定処理ＳＴＥＰ－３３は、グリッドＧごとに行われる複数の処理によって構成されている。以下に説明する処理の流れは、ガイド表示システム５０に採用できる一例である。但し、本願に掲げる発明を実現できればよく、処理の流れについて限定するものではない。
第一処理ＳＴＥＰ－３３１において、データ処理部７０は、時系列に並んだ複数のフレームｆ・ｆ・ｆ・・・を取得する（図１６（Ａ）参照）。「フレームｆ」とは、ある時刻の点群データＰに基づいて作成された三次元地図Ｍと同義といえる。三次元地図Ｍ・Ｍ・Ｍ・・・を取得した後には、第二処理ＳＴＥＰ－３３２へ移行する。
第二処理ＳＴＥＰ－３３２において、データ処理部７０は、現在時刻から最も近い時刻ｔに作成された三次元地図Ｍにおける地物Ｅの位置（座標値）を第一地物位置Ｅｐ１として取得する（図１６（Ｂ）参照）。第一地物位置Ｅｐ１を取得した後には、第三処理ＳＴＥＰ－３３３へ移行する。
第三処理ＳＴＥＰ－３３３において、データ処理部７０は、現在時刻から最も近い時刻ｔに作成された三次元地図Ｍを除く他の三次元地図Ｍにおける地物Ｅの位置（座標値）を第二地物位置Ｅｐ２として取得する（図１６（Ｃ）参照）。本ガイド表示システム５０では、一つ前の三次元地図Ｍを用いて第二地物位置Ｅｐ２を取得するが、かかる三次元地図Ｍに相応の地物Ｅが表れていない場合は、更に遡った三次元地図Ｍを用いて第二地物位置Ｅｐ２を取得する。第二地物位置Ｅｐ２を取得した後には、第四処理ＳＴＥＰ－３３４へ移行する。
第四処理ＳＴＥＰ－３３４において、データ処理部７０は、第一地物位置Ｅｐ１と第二地物位置Ｅｐ２との差（水平方向への変位量）が閾値を超えるか否かを判断する。本ガイド表示システム５０では、「閾値」をグリッドＧの座標値で規定している。これらの差が閾値を超えている場合には、第五処理ＳＴＥＰ－３３５へ移行し、これらの差が閾値を超えている場合には、第六処理ＳＴＥＰ－３３６へ移行する。
第五処理ＳＴＥＰ－３３５において、データ処理部７０は、かかるグリッドＧを含む地物Ｅを動体であると判断する（図１７の矢印ｍ参照）。このため、データ処理部７０は、この地物Ｅについて動体であることを認識できる。尚、データ表示部８０には、動体であると認定された地物Ｅに対して他の地物（静止体と認定された地物）Ｅとは異なる色のガイド枠図形ＧＤ１を表示する。また、他の地物（静止体と認定された地物）Ｅとは異なる色の標高を表す数値ＧＤ３を表示する。
他方、第六処理ＳＴＥＰ－３３６において、データ処理部７０は、かかるグリッドＧを含む地物Ｅを静止体であると判断する（図１７の矢印ｓ参照）。このため、データ処理部７０は、この地物Ｅについて静止体であることを認識できる。尚、データ表示部８０には、静止体であると認定された地物Ｅに対して他の地物（動体と認定された地物）Ｅとは異なる色のガイド枠図形ＧＤ１を表示する。また、他の地物（動体と認定された地物）Ｅとは異なる色の標高を表す数値ＧＤ３を表示する。
このように、本ガイド表示システム５０は、連続するフレームｆ・ｆ・ｆ・・・ごとに三次元地図Ｍを作成する。そして、それぞれの三次元地図Ｍ・Ｍ・Ｍ・・・について地物Ｅを特定し、現在時刻から最も近い時刻ｔに作成された三次元地図Ｍにおける地物Ｅの位置を第一地物位置Ｅｐ１として取得し、現在時刻から最も近い時刻ｔに作成された三次元地図Ｍを除く他の三次元地図Ｍにおける地物Ｅの位置を第二地物位置Ｅｐ２として取得し、第一地物位置Ｅｐ１と第二地物位置Ｅｐ２との差が所定の閾値を超えた場合に動体であると判断する、としたものである。かかるガイド表示システム５０によれば、作業領域における地物Ｅについて動体であるか否かを区別して認識できる。
ところで、本ガイド表示システム５０においても、現在時刻から最も近い時刻ｔに作成された三次元地図Ｍにおける地物Ｅの位置を取得し、現在時刻から最も近い時刻ｔに作成された三次元地図Ｍを除く他の三次元地図Ｍにおける地物Ｅの位置を取得（一つ前の三次元地図Ｍを用いて地物Ｅの位置を取得するが、かかる三次元地図Ｍに同じ地物Ｅが表れていない場合は、更に遡った三次元地図Ｍを用いて地物Ｅの位置を取得する）し、これらの位置が重なる場合に静止体であると判断する、との構成を追加できる。このような構成を追加した場合、該当の地物Ｅが静止体であるとの判断を行うことができる。そして、静止体と判断された地物Ｅを除くことにより、その他の地物Ｅについて動体であるとの判断をより確実に行える。
最後に、発明の対象をガイド表示システム５０からガイド表示システム５０を備えたクレーン１とすることも考えられる。
即ち、クレーン１は、ガイド表示システム５０を備えている、としたものである。かかるクレーン１によれば、前述の効果と同様の効果を奏する。
１ クレーン
５０ ガイド表示システム
６０ データ取得部
６１ カメラ
６２ レーザスキャナ
６３ 慣性計測装置（ＩＭＵ）
６４ 第一測位装置（ＧＮＳＳ受信機）
６５ 第二測位装置（ＧＮＳＳ受信機）
６６ センサユニット
７０ データ処理部
８０ データ表示部
９０ データ入力部
ｆ フレーム
ｔ 時刻
Ｅ 地物
Ｆ 地表面
Ｇ グリッド
Ｍ 三次元地図
Ｐ 点群データ
Ｗ 吊荷
Ｐｒ 代表点
Ｅｎ１ 第一標高値
Ｅｎ２ 第二標高値
Ａｎ１ 第一平均値
Ａｎ２ 第二平均値
Ｌｎ１ 第一ラベル値
Ｌｎ２ 第二ラベル値
Ｅｐ１ 第一地物位置
Ｅｐ２ 第二地物位置

Claims (5)

  1. 吊荷の上方から当該吊荷ならびに地表面を走査するレーザスキャナと、
    前記レーザスキャナが取得した点群データを用いてグリッドごとに代表点を算出するとともに当該代表点に基づいて三次元地図を作成するデータ処理部と、を備えたクレーンのガイド表示システムにおいて、
    連続するフレームごとに前記三次元地図を作成し、
    現在時刻から最も近い時刻に作成された前記三次元地図について前記グリッドごとの標高値を第一標高値として取得し、
    現在時刻から最も近い時刻に作成された前記三次元地図を除く他の所定枚数の前記三次元地図について前記グリッドごとの標高値を取得するとともに当該標高値の平均を第二標高値として算出し、
    前記第一標高値と前記第二標高値との差が所定の閾値を超えた場合に動体であると判断する、ことを特徴とするガイド表示システム。
  2. 吊荷の上方から当該吊荷ならびに地表面を走査するレーザスキャナと、
    前記レーザスキャナが取得した点群データを用いてグリッドごとに代表点を算出するとともに当該代表点に基づいて三次元地図を作成するデータ処理部と、を備えたクレーンのガイド表示システムにおいて、
    連続するフレームごとに前記三次元地図を作成し、
    現在時刻から最も近い時刻に作成された前記三次元地図を含む所定枚数の前記三次元地図について前記グリッドごとの標高値を取得するとともに当該標高値の平均を第一平均値として算出し、
    現在時刻から最も近い時刻に作成された前記三次元地図を除く他の所定枚数の前記三次元地図について前記グリッドごとの標高値を取得するとともに当該標高値の平均を第二平均値として算出し、
    前記第一平均値と前記第二平均値との差が所定の閾値を超えた場合に動体であると判断する、ことを特徴とするガイド表示システム。
  3. 吊荷の上方から当該吊荷ならびに地表面を走査するレーザスキャナと、
    前記レーザスキャナが取得した点群データを用いてグリッドごとに代表点を算出するとともに当該代表点に基づいて三次元地図を作成するデータ処理部と、を備えたクレーンのガイド表示システムにおいて、
    連続するフレームごとに前記三次元地図を作成し、
    それぞれの前記三次元地図について前記グリッドごとに地表面又は地物を表すラベル値を付与し、
    現在時刻から最も近い時刻に作成された前記三次元地図について前記グリッドごとの前記ラベル値を第一ラベル値として取得し、
    現在時刻から最も近い時刻に作成された前記三次元地図を除く他の所定枚数の前記三次元地図について前記グリッドごとの前記ラベル値を取得するとともに当該ラベル値の平均を第二ラベル値として算出し、
    前記第一ラベル値と前記第二ラベル値との差が所定の閾値を超えた場合に動体であると判断する、ことを特徴とするガイド表示システム。
  4. 吊荷の上方から当該吊荷ならびに地表面を走査するレーザスキャナと、
    前記レーザスキャナが取得した点群データを用いてグリッドごとに代表点を算出するとともに当該代表点に基づいて三次元地図を作成するデータ処理部と、を備えたクレーンのガイド表示システムにおいて、
    連続するフレームごとに前記三次元地図を作成し、
    それぞれの前記三次元地図について地物を特定し、
    現在時刻から最も近い時刻に作成された前記三次元地図における前記地物の位置を第一地物位置として取得し、
    現在時刻から最も近い時刻に作成された前記三次元地図を除く他の前記三次元地図における前記地物の位置を第二地物位置として取得し、
    前記第一地物位置と前記第二地物位置との差が所定の閾値を超えた場合に動体であると判断する、ことを特徴とするガイド表示システム。
  5. 請求項１から請求項４のいずれか一項に記載のガイド表示システムを備えたクレーン。
JP2020056811A 2020-03-26 2020-03-26 ガイド表示システムおよびこれを備えたクレーン Active JP7460415B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020056811A JP7460415B2 (ja) 2020-03-26 2020-03-26 ガイド表示システムおよびこれを備えたクレーン
US17/911,049 US20230106308A1 (en) 2020-03-26 2021-03-23 Guide display device and crane equipped with same
PCT/JP2021/012004 WO2021193639A1 (ja) 2020-03-26 2021-03-23 ガイド表示装置およびこれを備えたクレーン
EP21774318.6A EP4130658A4 (en) 2020-03-26 2021-03-23 GUIDE INDICATOR DEVICE AND CRANE EQUIPPED THEREWITH

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020056811A JP7460415B2 (ja) 2020-03-26 2020-03-26 ガイド表示システムおよびこれを備えたクレーン

Publications (2)

Publication Number Publication Date
JP2021155172A JP2021155172A (ja) 2021-10-07
JP7460415B2 true JP7460415B2 (ja) 2024-04-02

Family

ID=77890421

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020056811A Active JP7460415B2 (ja) 2020-03-26 2020-03-26 ガイド表示システムおよびこれを備えたクレーン

Country Status (4)

Country Link
US (1) US20230106308A1 (ja)
EP (1) EP4130658A4 (ja)
JP (1) JP7460415B2 (ja)
WO (1) WO2021193639A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366977A (ja) 2001-06-08 2002-12-20 Pasuko:Kk 地物形状作成システム及び３次元地図作成システム
JP2011134234A (ja) 2009-12-25 2011-07-07 Honda Motor Co Ltd 移動可能領域抽出装置、移動可能領域抽出システム、移動可能領域抽出方法、およびプログラム
JP2013221887A (ja) 2012-04-18 2013-10-28 Seiko Epson Corp 情報処理装置、移動体、高度計測システム及び高度計測方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4479372B2 (ja) * 2004-06-25 2010-06-09 ソニー株式会社 環境地図作成方法、環境地図作成装置、及び移動型ロボット装置
JP5649298B2 (ja) * 2009-11-05 2015-01-07 三菱重工業株式会社 対象物検出装置および対象物検出方法
JP6965050B2 (ja) 2017-07-21 2021-11-10 株式会社タダノ ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366977A (ja) 2001-06-08 2002-12-20 Pasuko:Kk 地物形状作成システム及び３次元地図作成システム
JP2011134234A (ja) 2009-12-25 2011-07-07 Honda Motor Co Ltd 移動可能領域抽出装置、移動可能領域抽出システム、移動可能領域抽出方法、およびプログラム
JP2013221887A (ja) 2012-04-18 2013-10-28 Seiko Epson Corp 情報処理装置、移動体、高度計測システム及び高度計測方法

Also Published As

Publication number Publication date
JP2021155172A (ja) 2021-10-07
US20230106308A1 (en) 2023-04-06
EP4130658A4 (en) 2024-04-24
EP4130658A1 (en) 2023-02-08
WO2021193639A1 (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
CN111943050B (zh) 引导信息显示装置、具有该引导信息显示装置的起重机和引导信息显示方法
CN111928782B (zh) 引导信息显示装置、引导信息显示方法及作业机
CN111882597A (zh) 测量对象物的上表面推测方法、引导信息显示装置以及起重机
JP2018095367A (ja) クレーン
JP7402728B2 (ja) ガイド表示システムおよびこれを備えたクレーン
WO2020122028A1 (ja) 地表面推定方法、計測領域表示システムおよびクレーン
WO2020122026A1 (ja) 領域推定方法、計測領域表示システムおよびクレーン
JP7460415B2 (ja) ガイド表示システムおよびこれを備えたクレーン
JP7369654B2 (ja) ガイド表示システムおよびこれを備えたクレーン
WO2020122025A1 (ja) 地表面推定方法、計測領域表示システムおよびクレーン
KR102564594B1 (ko) 삼차원 재구성 장치, 삼차원 재구성 시스템, 삼차원 재구성 방법, 및 삼차원 재구성 프로그램
WO2021193638A1 (ja) ガイド表示装置およびこれを備えたクレーン
WO2021193640A1 (ja) ガイド表示装置およびこれを備えたクレーン
US12032657B2 (en) Ground surface estimation method, measurement area display system, and crane

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240321

R150 Certificate of patent or registration of utility model

Ref document number: 7460415

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150