JP6928499B2 - ガイド情報表示装置および作業機 - Google Patents
ガイド情報表示装置および作業機 Download PDFInfo
- Publication number
- JP6928499B2 JP6928499B2 JP2017142193A JP2017142193A JP6928499B2 JP 6928499 B2 JP6928499 B2 JP 6928499B2 JP 2017142193 A JP2017142193 A JP 2017142193A JP 2017142193 A JP2017142193 A JP 2017142193A JP 6928499 B2 JP6928499 B2 JP 6928499B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- suspended load
- processing unit
- point
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/18—Control systems or devices
- B66C13/46—Position indicators for suspended loads or for crane elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/16—Applications of indicating, registering, or weighing devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C1/00—Measuring angles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Optics & Photonics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Remote Sensing (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Radar, Positioning & Navigation (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Control And Safety Of Cranes (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
このような特許文献1〜3記載の三次元点群解析方法では、複数の地物を表す広域の三次元点群データを用い、主成分分析という統計的手法を用いることによって、建物ごとの側面を決定している。
このため、特許文献1〜3に記載された従来技術では、測定対象物の上面を推定することは可能であるが、上面を推定するための計算が複雑になり、また、点群データの取得にも手間が掛かっている。
一方、測定対象物の上面に対応する点群データは、上空からのほぼ一回の測定で確実に取得することができるため、測定対象物の上面に対応する点群データのみを用いて、測定対象物の上面を推定することができる技術の開発が望まれている。
このような構成のガイド情報表示装置によれば、レーザスキャナで取得した測定対象物の上面に対応する点群データに基づいて、測定対象物の上面を推定することができる。
このような構成のガイド情報表示装置によれば、レーザスキャナで取得した測定対象物の上面に対応する点群データに基づいて、容易に上面の幅および奥行を推定することができる。
このような構成の作業機によれば、レーザスキャナで取得した測定対象物の上面に対応する点群データに基づいて、測定対象物の上面を推定することができる。
図1に示す如く、クレーン1は、本発明の一実施形態に係るガイド情報表示装置を備えたクレーンの一例であり、所望の場所に移動可能な移動式クレーンである。
クレーン1は、走行車両10、クレーン装置20を備えている。
走行車両10の四方角部には、アウトリガ12が設けられている。アウトリガ12は、走行車両10の幅方向両側に油圧によって延伸可能な張り出しビーム12aと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダ12bとから構成されている。そして、走行車両10は、ジャッキシリンダ12bを接地させることにより、クレーン1を作業可能な状態とすることができ、張り出しビーム12aの延伸長さを大きくすることにより、クレーン1の作業可能範囲(作業半径)を広げることができる。
クレーン装置20は、メインフックブロック23の他に、吊荷Wを引掛けて吊り下げるためのサブフックブロック24をさらに備えており、サブフックブロック24には、吊荷Wを吊るサブフック33が設けられている。
メインウインチ26は、メインワイヤロープ27が巻きつけられるメインドラムがメイン用油圧モータによって回転されるように構成されている。メインウインチ26は、メイン用油圧モータが一方向へ回転するように作動油が供給されることでメインドラムに巻きつけられているメインワイヤロープ27を繰り出し、メイン用油圧モータが他方向へ回転するように作動油が供給されることでメインワイヤロープ27をメインドラムに巻きつけて繰り入れるように構成されている。
X軸方向(側線方向とも呼ぶ)は、伸縮ブーム22の起伏支点の軸方向に対して平行な水平方向である。また、Y軸方向(標高方向とも呼ぶ)は、鉛直方向である。さらに、Z軸方向(奥行方向とも呼ぶ)は、伸縮ブーム22の起伏支点の軸方向に対して垂直な水平方向である。即ち、XYZ座標系は、図2に示すように、伸縮ブーム22を基準としたローカル座標系として規定している。
クレーン1は、図3に示すようなガイド情報表示装置50を備えている。
ガイド情報表示装置50は、本発明に係るガイド情報表示装置の一例であり、図1に示すようなクレーン1による作業を効率よく、かつ、安全に行うことを可能にするために、吊荷Wを含む領域(以下、吊荷領域WAと言う)の情報(以下、ガイド情報と言う)を映像で表示し、オペレータに提示するための装置である。
「吊荷領域WA」は、クレーン1における伸縮ブーム22のトップブーム部材22fの直下を含む領域として設定され、吊荷領域WA内に存在する吊荷W、地表面F、地物Cが、ガイド情報表示装置50による測定対象物となる。「吊荷領域WA」は、伸縮ブーム22の旋回動作、起伏動作、伸縮動作に応じて変位する。
ガイド情報表示装置50では、レーザスキャナ62によって、リアルタイムに平面的な三次元点群データを取得する。
フレーム体64は、5枚の板材を組み合わせて構成された略直方体状の物体である。フレーム体64は、4枚の板材で直方体の四方の側面部を構成するとともに、残り1枚の板材で、直方体の上面部を構成し、下方に開口部を有する形状に構成されている。データ取得部60では、カメラ61とレーザスキャナ62を、フレーム体64の側面部内側に付設し、IMU63を、フレーム体64の上面部に付設している。図7(A)に示すように、カメラ61の撮像素子中心位置とレーザスキャナ62のレーザ中心位置は、Y軸方向視において、Z軸方向に距離Δzhで離間している。なお、レーザ中心位置とは、レーザスキャナ62におけるレーザの回転中心であり、Z軸上に位置している。
また、図7(B)に示すように、カメラ61の撮像素子中心位置とレーザスキャナ62のレーザ中心位置は、X軸方向視において、Y軸方向に距離Δyvで離間している。
データ取得部60は、フレーム体64の四方の側面部のうち、対面する一対の側面部の一方がZ軸に対して垂直となり、対面する一対の側面部の他方がX軸に対して垂直となる姿勢で配置される。また、データ取得部60は、フレーム体64の上面部が、Y軸に対して垂直となる姿勢で配置される。
尚、以下の数式では、カメラ61の撮像素子とレーザ中心の位置の水平方向の差分をΔzhとし(図7(A)参照)、カメラ画像の横幅をwh、カメラ61の水平画角をθh、一時変数をtmp1としている。
tmp1=(y−Δzh)×tan(π×θh/360)・・・(1)
Xc=wh/2−wh×x/(2×tmp1)・・・(2)
図5(B)に示すように、点(y,z)からレーザ中心までのZ軸方向の距離をdv、カメラ61の水平方向の最大画面幅をwvとしている。また、点(y,z)は、画面中心からZ軸方向の位置をzとしている。このとき、カメラ空間における点(y,z)のZc座標は、以下の数式(3)(4)で表される。
尚、以下の数式では、カメラ61の撮像素子とレーザスキャナ62のレーザ中心の位置の垂直方向の差分をΔyv(図7(B)参照)、カメラ画像の縦幅をwv、カメラ61の垂直画角をθv、一時変数をtmp2としている。
tmp2=Y×tan(π×θv/360)・・・(3)
Zc=wv/2+wv×(Z−Δyv)/(2×tmp2)・・・(4)
また、データ処理部70は、クレーン1のコントローラ34と電気的に接続されており、コントローラ34から出力される「クレーン情報」が、データ処理部70に入力される。
データ表示部80には、図8(A)に示すように、カメラ61によって撮影した吊荷領域WAの映像Mをリアルタイムに表示する。
そして、データ表示部80には、データ処理部70で生成したガイド情報GDと映像Mが重畳して表示される。
データ取得部60とデータ処理部70間のデータの伝送は、有線LANによることが好ましい。尚、データ取得部60とデータ処理部70間のデータの伝送は、無線LANを採用してもよく、あるいは、電力線通信を採用してもよい。
データ取得部60では、カメラ61によって、吊荷領域WAを連続的に撮影し、吊荷領域WAの映像Mを取得する。
データ処理部70による点群データPのデータ処理では、点群データPのストリームデータから、1フレーム分の点群データPを切り出して出力する。1フレーム分の点群データPは、レーザスキャナ62によるレーザの照射方向がZ軸回りに1周する間に取得する点データpの集合である。
データ処理部70は、1フレーム分の点群データPに含まれる点データpを、IMU63によって取得した姿勢データQと同期させる。
具体的には、個々の点データpにおいて、その点データpの取得時間tpに最も近い個別姿勢データqの取得時間tqを探索し、該取得時間tqにおける個別姿勢データqを、その点データpに対応付けることで同期する。
そして、図11に示すように、データ処理部70は、距離aおよび照射角度bとに基づいて、レーザスキャナ62のレーザ中心位置から点データpまでの距離hを算出する。尚、ここで言う「距離h」は、レーザスキャナ62のレーザ中心位置から点データpが存在する水平面までの距離である。
ガイド情報表示装置50では、このような構成によって、オペレータに対して、より的確なガイド情報GDを提示することが可能になっている。
ガイド情報表示装置50では、データ表示部80およびデータ入力部90において地表面の位置を指定することで、基準となる地表面Fを決定することができる。
手動による場合、まず図14上図に示すように、オペレータがデータ表示部80に表示される映像上で、地表面であることが明らかな位置を指定する。すると、データ処理部70は、図14中図に示すように、その指定された位置(点)を中心とする所定半径の基準円を生成する。そして、データ処理部70は、図14下図に示すように、レーザ側線上にある点データpとの重なりを検出し、基準円内に含まれる複数の点データpを選択する。
そして、データ処理部70は、距離hと基準高H0から、点データpの標高値Hを算出する。図10に示すように、標高値Hは、点データpの基準高H0からの高さである。
上記説明ではオペレータが地表面Fを指定する構成を示したが、ガイド情報表示装置50では、データ処理部70によって、地表面Fを自動的に推定する構成としてもよい。
データ処理部70は、まずこのような1フレーム分の点群データPを取得する。点群データPは、測定対象物たる吊荷Wおよび地物Cの上方から、吊荷Wおよび地物Cを含む吊荷領域WAにおいて取得したものである。
データ処理部70は、図16上図に示すような吊荷領域WAにおいて取得した点群データPを、図16中図に示すように、Y軸方向に所定の厚みdで層状に分割し、点群データPを複数のグループに振り分ける(図13(B)参照)。
このときデータ処理部70は、分割した各グループに個別のグループID(ここでは、ID:001〜006とする)を付与し、各点データpをグループIDに関連付ける。
そして、データ処理部70は、各グループにおいて、そのグループに含まれる複数の点データpを用いて、平面を推定する。ここで言う「平面」は、吊荷Wおよび地物Cにおいて上向きに存在する平面であり、即ち、吊荷Wおよび地物Cの「上面」である。
まず、データ処理部70は、図17および図18上図に示すように、同一グループに含まれる複数の点データp・p・・・から2つの点データp・pを選択する(2点選択工程:STEP−201)。
そして、データ処理部70は、図17および図18下図に示すように、選択した2つの点データp・pの2点間距離L1を算出する(点間距離算出工程:STEP−202)。
そして、データ処理部70は、図17および図20下図に示すように、近傍点たる点データpが見つかれば(STEP−207)、その近傍点たる点データpも、先に選択した2つの点データp・pと同一平面上にあるものとみなす(近傍点平面みなし工程:STEP−208)。
そして、データ処理部70は、新たな重心を算出しながら近傍点を探索し、近傍点たる点データpが検出される度に、(STEP−205)から(STEP−208)までの処理を順に繰り返して行う。この処理は、近傍点たる点データpが検出されなくなるまで繰り返す。
データ処理部70は、点群データPを、同一平面上にあるとみなされた点データpに切り分けて、平面クラスタCL1を設定する(図16下図参照)。平面クラスタCL1に属する各点データpによれば、平面(即ち、吊荷Wおよび地物Cの「上面」)を規定することができる。尚、同一のグループIDが付与されたグループ内には、複数の平面クラスタCL1が存在する場合もある。
データ処理部70は、このようにして、推定した平面クラスタCL1から平面を規定する。尚、ここで規定する平面は、矩形以外の多角形であってもよい。
即ち、本発明に係る測定対象物の上面推定方法は、例えば、ブームを備える作業車両(例えば、高所作業車等)のブーム先端部やドローン等にレーザスキャナを設けて、上空からその鉛直下方に存在する測定対象物の点群データを取得し、取得した点群データに基づいて測定対象物の上面を推定する場合に広く適用することができる。
データ処理部70は、図23および図24上図に示すように、推定された平面クラスタCL1のうち、異なるグループIDが付与された2つの平面クラスタCL1・CL1を選択し、各平面クラスタCL1の標高値Hの差異dHを算出する(STEP−301:標高値差異算出工程)。ここでは、一のグループに属する平面クラスタCL1と、一のグループ以外の他のグループに属する平面クラスタCL1を選択している。ここで選択した2つの平面クラスタCL1・CL1の内、一方の平面クラスタCL1は、結合の基準となる上面(基準上面)であり、他方の平面クラスタCL1は、基準上面の近傍に存在する上面(近傍上面)である。
つまり、データ処理部70は、平面結合工程(STEP−305)の後で、更新された基準上面である平面クラスタCL1に対する標高値Hの差異dHが閾値r2以下となる近傍上面である平面クラスタCL1を新たに探索し、標高値Hの差異dHが閾値r2以下となる近傍上面たる新たな平面クラスタCL1が発見された場合には、さらに重なり検出工程(STEP−303、304)、平面結合工程(STEP−305)、を順に行う。
平面クラスタCL1によって規定される平面は、吊荷Wおよび地物Cにおいて上向きに存在する平面であり、即ち、吊荷Wおよび地物Cの上面である。
また、このような平面の推定方法では、吊荷Wや地物Cの上面を推定することによって、吊荷Wや地物Cの側面の点データpを取得せずに、吊荷Wや地物Cの立体的形状を把握することができる。
ここで、二つの平面クラスタCL1・CL1が、Y軸方向視において重なっている場合には、データ処理部70は、図25下図に示すように、これらの平面クラスタCL1・CL1を「同一領域」にあるものとみなし、これらの平面クラスタCL1・CL1によって、同一領域クラスタCL2を形成する。
データ処理部70は、「同一領域のクラスタリング処理」において作成した地物Cの木構造を取得する。そして、データ処理部70は、木構造を構成する各平面クラスタCL1に含まれる点データpを取得する。
次に、データ処理部70は、図27上図に示すように、「子」の平面クラスタCL1の点データpから、Z軸方向において最も奥に位置するレーザ側線上の各点データpを取得する。そして、データ処理部70は、隣り合うレーザ側線との距離の1/2だけZ軸方向に離れており、かつ、各点データpを囲むことができるX軸方向の幅を有する矩形を作成する。
そして、データ処理部70は、対象となるレーザ側線上の点データpが無くなるまで隣接するレーザ側線上に点データpを探索し、上記処理を繰り返す。
最後に、データ処理部70は、選択した木構造に含まれる全ての平面クラスタCL1を外包する外形線を作成する。
ガイド枠GD1として出力する条件は、例えば、図28(A)に示すように、地物Cの大枠たる外形線のみを表示する条件を選択することができる。この条件を選択した場合には、データ表示部80には、その地物Cに対して、地物Cの全体を囲む一つのガイド枠GD1が表示される。
ここでは、図5(A)(B)に示した通り、XYZ座標系で取得した点群データPをカメラ空間座標系の座標値に変換して、カメラ61によって撮影した映像M上に同期(位置合わせ)して、データ表示部80へと出力する。
データ処理部70は、生成した同一領域クラスタCL2の情報に基づいて、ガイド情報GDを生成し、データ表示部80に出力する。
尚、「ガイド表示処理」に際しては、クレーン1のコントローラ34から出力される「クレーン情報」を利用する。ここで利用する「クレーン情報」には、伸縮ブーム22の長さ、起伏角度、クレーン1の作業半径、吊荷Wの重量等に係る情報が含まれる。
ガイド情報表示装置50では、データ表示部80によって、ガイド情報GDを表示する。データ表示部80によって表示するガイド情報GDには、図8(B)に示すような、オペレータによる地表面Fの指定位置に係る情報が含まれている。
地表面Fと吊荷Wの指定位置に係る情報は、円等の図形で表したマーカーによって表示される。
ガイド情報表示装置50では、このような構成によって、吊荷Wの高さ情報GD2と地物Cの高さ情報GD3を見間違えることがないようにしている。
ガイド情報表示装置50では、オペレータが、吊荷Wに係る情報(以下「吊荷情報」と呼ぶ)を、予めデータ処理部70に入力する。このオペレータによる「吊荷情報」の入力は、データ入力部90から行われる。そして、データ処理部70は、「吊荷情報」を利用して、吊荷Wの高さを取得する。
ガイド情報表示装置50では、このような構成によって、地物Cと高さ情報GD3の対応関係を明確にしている。
ガイド情報表示装置50では、このような構成によって、オペレータがガイド枠GD1を見ることで、吊荷Wや地物Cのおおまかな標高値(高さ)を感覚的に知覚することができる。このため、ガイド情報表示装置50では、吊荷Wと地物Cの高さをより的確に提示することができる。
ガイド情報表示装置50では、このような構成によって、オペレータが高さ情報GD2を見ることで、吊荷Wや地物Cのおおまかな標高値(高さ)を感覚的に知覚できる。このため、ガイド情報表示装置50では、吊荷Wと地物Cの高さをより的確に提示することができる。
データ処理部70は、「クレーン情報」に基づいて、クレーン1の作業半径を算出し、その作業半径を示す円弧を生成し、作業半径情報GD4として出力する。
また、データ処理部70は、「クレーン情報」に基づいて、伸縮ブーム22の軸線方向を算出し、その軸線方向を示す直線を生成し、軸線情報GD5として出力する。
ガイド情報表示装置50では、破線の長さや間隔を基準長さ(例えば、1m)で表示することで、オペレータが、ガイド情報GDから吊荷Wや地物Cのスケール感を感じることができる構成としている。
データ処理部70は、吊荷Wと地物Cを水平面に投影した際の水平距離が、所定の閾値(例えば、1m)以下であり、かつ、鉛直方向の距離が所定の閾値(例えば、1m)以下であった場合に、接触の恐れがあるものと判断する。
50 ガイド情報表示装置
60 データ取得部
70 データ処理部(データ処理手段)
80 データ表示部
62 レーザスキャナ
P 点群データ
p 点データ
W 吊荷
C 地物
WA 吊荷領域
CL1 平面クラスタ
L1 (点データの)2点間距離
r1 閾値
G1 重心
G2 重心
GD1 ガイド枠
Claims (3)
- データ表示部と、
カメラにより撮影された吊荷領域の映像データと、レーザスキャナにより前記吊荷領域内の吊荷および地物を含む物体を上面からスキャンして得た点群データ、を取得するデータ取得部と、
前記点群データをクラスタ化した平面クラスタからガイド枠を生成し、生成した前記ガイド枠を前記映像データ内の前記物体に重畳させて、前記データ表示部に表示させるデータ処理部と、を有し、
前記データ処理部は、前記点群データを前記レーザスキャナからの距離方向に階層化し、同一階層に属する前記点群データのうち、点間距離が閾値以下にある複数の点の重心を算出し、該重心との距離が閾値以内の点データを同一の平面クラスタとみなして前記ガイド枠を生成する、ガイド情報表示装置。 - 前記データ処理部は、
前記同一の平面クラスタであると見なされた複数の点のうち、前記レーザスキャナからの距離方向の平面視において、前記平面クラスタの幅方向において最も離間している2点の点間距離から前記平面クラスタの幅を推定し、
前記平面クラスタの奥行方向において最も離間している2点の点間距離から前記平面クラスタの奥行を推定する、請求項1に記載のガイド情報表示装置。 - 請求項1または請求項2に記載のガイド情報表示装置を備える、作業機。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017142193A JP6928499B2 (ja) | 2017-07-21 | 2017-07-21 | ガイド情報表示装置および作業機 |
CN201880047717.8A CN110892226A (zh) | 2017-07-21 | 2018-07-19 | 测定对象物的上表面推定方法、引导信息显示装置以及起重机 |
EP18834810.6A EP3657121B1 (en) | 2017-07-21 | 2018-07-19 | Measurement target top-surface estimation method, guide information display device, and crane |
EP20209999.0A EP3809367B1 (en) | 2017-07-21 | 2018-07-19 | Measurement target top-surface estimation method, guide information display device, and crane |
PCT/JP2018/027087 WO2019017430A1 (ja) | 2017-07-21 | 2018-07-19 | 測定対象物の上面推定方法、ガイド情報表示装置およびクレーン |
US16/632,731 US11414305B2 (en) | 2017-07-21 | 2018-07-19 | Measurement target top-surface estimation method, guide information display device, and crane |
CN202010690132.7A CN111928782B (zh) | 2017-07-21 | 2018-07-19 | 引导信息显示装置、引导信息显示方法及作业机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017142193A JP6928499B2 (ja) | 2017-07-21 | 2017-07-21 | ガイド情報表示装置および作業機 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019023568A JP2019023568A (ja) | 2019-02-14 |
JP6928499B2 true JP6928499B2 (ja) | 2021-09-01 |
Family
ID=65016438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017142193A Active JP6928499B2 (ja) | 2017-07-21 | 2017-07-21 | ガイド情報表示装置および作業機 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11414305B2 (ja) |
EP (2) | EP3657121B1 (ja) |
JP (1) | JP6928499B2 (ja) |
CN (2) | CN110892226A (ja) |
WO (1) | WO2019017430A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6907061B2 (ja) * | 2017-07-21 | 2021-07-21 | 株式会社タダノ | 測定対象物の上面推定方法、ガイド情報表示装置およびクレーン |
CN109501241B (zh) * | 2018-11-05 | 2020-12-04 | 北京工业大学 | 立体视觉监视的高强度多方向fdm 3d打印方法 |
JP7468002B2 (ja) | 2020-03-10 | 2024-04-16 | 日本電気株式会社 | 異常箇所表示装置、異常箇所表示システム、異常箇所表示方法、及び異常箇所表示プログラム |
US11555693B2 (en) * | 2020-05-12 | 2023-01-17 | The Boeing Company | Measurement of surface profiles using unmanned aerial vehicles |
CN215326521U (zh) * | 2021-08-21 | 2021-12-28 | 中国建筑第二工程局有限公司 | 一种用于塔吊垂直度实时监测的装置 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4574609B2 (ja) * | 2006-12-14 | 2010-11-04 | 国立大学法人豊橋技術科学大学 | レーザーポインタを用いた天井クレーンによる搬送方法及び天井クレーンシステム |
JP5488882B2 (ja) * | 2009-10-08 | 2014-05-14 | 株式会社日立製作所 | 固定映像表示システム |
EP2327652B1 (de) * | 2009-11-30 | 2012-09-19 | Siemens Aktiengesellschaft | Verfahren zur Ermittlung von Position und Orientierung eines dreidimensionalen Objekts, Steuerungsprogramm und Postionierungserfassungssystem |
US8620089B1 (en) * | 2009-12-22 | 2013-12-31 | Hrl Laboratories, Llc | Strip histogram grid for efficient segmentation of 3D point clouds from urban environments |
CN101975951B (zh) * | 2010-06-09 | 2013-03-20 | 北京理工大学 | 一种融合距离和图像信息的野外环境障碍检测方法 |
US9396545B2 (en) * | 2010-06-10 | 2016-07-19 | Autodesk, Inc. | Segmentation of ground-based laser scanning points from urban environment |
US9449233B2 (en) * | 2010-12-01 | 2016-09-20 | The Trustees Of The University Of Pennsylvania | Distributed target tracking using self localizing smart camera networks |
JP5876679B2 (ja) * | 2011-07-08 | 2016-03-02 | 株式会社タダノ | 性能線表示装置 |
JP6017782B2 (ja) * | 2011-12-09 | 2016-11-02 | 株式会社タダノ | 吊荷周辺の物体の高さ情報通知システム |
CN102590823B (zh) * | 2012-01-06 | 2014-05-07 | 中国测绘科学研究院 | 一种机载lidar数据电力线快速提取及重构方法 |
JP5963353B2 (ja) | 2012-08-09 | 2016-08-03 | 株式会社トプコン | 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム |
CN104662389B (zh) * | 2012-09-21 | 2017-06-16 | 株式会社多田野 | 作业车的周围信息获取装置 |
JP6080642B2 (ja) | 2013-03-25 | 2017-02-15 | 株式会社ジオ技術研究所 | 3次元点群解析方法 |
JP6080640B2 (ja) | 2013-03-25 | 2017-02-15 | 株式会社ジオ技術研究所 | 3次元点群解析方法 |
JP6080641B2 (ja) | 2013-03-25 | 2017-02-15 | 株式会社ジオ技術研究所 | 3次元点群解析方法 |
CN103500329B (zh) * | 2013-10-16 | 2016-07-06 | 厦门大学 | 基于车载移动激光扫描点云的路灯自动提取方法 |
JP2017096840A (ja) * | 2015-11-26 | 2017-06-01 | トヨタ自動車株式会社 | 車両用物標検出装置 |
CN105630905A (zh) * | 2015-12-14 | 2016-06-01 | 西安科技大学 | 一种基于散乱点云数据的分层式压缩方法及装置 |
CN106204547B (zh) * | 2016-06-29 | 2018-08-14 | 山东科技大学 | 从车载激光扫描点云中自动提取杆状地物空间位置的方法 |
CN106918311A (zh) * | 2017-01-20 | 2017-07-04 | 山东科技大学 | 基于车载激光点云数据的单株树树冠投影面积自动计算方法 |
US11472029B2 (en) * | 2019-01-03 | 2022-10-18 | Lucomm Technologies, Inc. | Robotic post system |
-
2017
- 2017-07-21 JP JP2017142193A patent/JP6928499B2/ja active Active
-
2018
- 2018-07-19 EP EP18834810.6A patent/EP3657121B1/en active Active
- 2018-07-19 US US16/632,731 patent/US11414305B2/en active Active
- 2018-07-19 EP EP20209999.0A patent/EP3809367B1/en active Active
- 2018-07-19 WO PCT/JP2018/027087 patent/WO2019017430A1/ja unknown
- 2018-07-19 CN CN201880047717.8A patent/CN110892226A/zh active Pending
- 2018-07-19 CN CN202010690132.7A patent/CN111928782B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
EP3657121A1 (en) | 2020-05-27 |
EP3809367A1 (en) | 2021-04-21 |
CN111928782B (zh) | 2022-03-04 |
CN110892226A (zh) | 2020-03-17 |
JP2019023568A (ja) | 2019-02-14 |
EP3809367B1 (en) | 2024-05-08 |
EP3657121B1 (en) | 2022-08-31 |
CN111928782A (zh) | 2020-11-13 |
US11414305B2 (en) | 2022-08-16 |
EP3657121A4 (en) | 2021-04-21 |
WO2019017430A1 (ja) | 2019-01-24 |
US20210147193A1 (en) | 2021-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7008851B2 (ja) | ガイド情報表示装置、ガイド情報表示方法、および作業機 | |
JP6965050B2 (ja) | ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法 | |
JP6895835B2 (ja) | ガイド情報表示装置およびクレーン | |
JP6907061B2 (ja) | 測定対象物の上面推定方法、ガイド情報表示装置およびクレーン | |
JP6928499B2 (ja) | ガイド情報表示装置および作業機 | |
JP6871097B2 (ja) | ガイド情報表示装置およびこれを備えた作業機およびガイド情報表示方法 | |
JP6832806B2 (ja) | ガイド情報表示装置、クレーンおよびガイド情報の生成方法 | |
JP2019023567A (ja) | 地表面推定方法、ガイド情報表示装置およびクレーン |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210713 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210806 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6928499 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |