JP6895835B2 - ガイド情報表示装置およびクレーン - Google Patents

Description

本発明は、オペレータによるクレーン作業を補助するガイド情報表示装置と、これを備えたクレーンの技術に関する。

従来、モニタに表示されたガイド情報に基づいて、吊荷や吊荷の周囲の状態を確認し、クレーン作業の効率化を図る技術が知られている。斯かる技術は、例えば、以下の特許文献１に開示されている。

特許文献１には、吊荷周辺の物体高さを通知する高さ情報通知システムに係る技術が開示されている。特許文献１記載の吊荷周辺の物体の高さ情報通知システムでは、レーザ距離センサ、マイクロ波距離センサ、ステレオカメラ等の距離計測手段によって、ブームの先端から吊荷周辺までの距離を計測する。そして、距離の測定結果を用いて吊荷周辺の物体の位置を検出するとともに高さを算出し、カメラによって撮像された撮像画像に吊荷周辺の物体の位置および高さを対応させた処理画像（ガイド情報）を作成し、そのガイド情報をモニタに表示する構成としている。
このような特許文献１記載のガイド情報表示装置（高さ情報通知システム）では、ガイド情報によって、吊荷および吊荷周辺の物体の位置情報と高さ情報をオペレータに伝えることで、吊荷が周辺の物体に接触することを抑制している。

特開２０１３−１２０１７６号公報

しかしながら、特許文献１に記載された従来技術のように、距離測定手段によって取得した局所的な計測データを利用して、吊荷および吊荷周辺の物体の位置情報を取得する構成では、吊荷やその周辺に存在する地物の形状、および地表面の高さを精度良く取得することが困難であり、精度のよいガイド情報を提示することが困難であった。
このため、従来のガイド情報表示装置では、ガイド情報に基づいて、オペレータが吊荷やその周辺に存在する地物の形状を的確に把握することが困難であった。

本発明は、斯かる現状の課題に鑑みてなされたものであり、吊荷と吊荷の周辺に存在する地物について、その形状および高さを示すガイド情報を的確に提示することが可能なガイド情報表示装置、およびこれを備えたクレーンを提供することを目的としている。

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。

即ち、本発明に係るガイド情報表示装置は、吊荷の上方から、前記吊荷と前記吊荷の下方に存在する地表面と、を少なくとも含む領域の映像を撮影するカメラと、前記領域において、前記吊荷の上方から点群データを取得するレーザスキャナと、を備えたデータ取得部と、前記レーザスキャナで取得した前記点群データに基づいて、前記吊荷の上面と、前記領域に存在する前記地表面と、前記領域に存在する地物の上面と、を推定し、前記吊荷の上面および前記地物の上面をそれぞれ囲むガイド枠を生成するデータ処理部と、前記データ処理部で生成した前記ガイド枠と、前記カメラで撮影した前記映像と、を重畳したガイド情報を表示するデータ表示部と、を備えることを特徴とする。
このような構成のガイド情報表示装置によれば、吊荷と吊荷の周辺に存在する地物について、その形状および高さを示すガイド情報を的確に提示することができる。

また、本発明に係るガイド情報表示装置において、前記データ処理部は、推定した前記地物の上面が複数ある場合において、標高値が最大である第一の前記地物の上面と、第一の前記地物の上面に対する標高値の差分が閾値以内であり、かつ、第一の前記地物の上面と平面視において重なっている第二の前記地物の上面と、があるとき、第一の前記地物の上面と第二の前記地物の上面とをまとめて囲む前記ガイド枠を生成することを特徴とする。
このような構成のガイド情報表示装置によれば、より詳細で見易いガイド情報を提示することができる。

また、本発明に係るガイド情報表示装置において、前記データ処理部は、前記吊荷の上面および前記地物の上面の標高値を算出し、前記吊荷の上面および前記地物の上面の高さ情報を含む前記ガイド情報を生成することを特徴とする。
このような構成のガイド情報表示装置によれば、吊荷と地物の高さに係る情報をより的確に提示することができる。

また、本発明に係るガイド情報表示装置において、前記データ処理部は、算出した前記吊荷の上面および前記地物の上面の標高値に応じて、前記ガイド枠および前記高さ情報を変色させることを特徴とする。
このような構成のガイド情報表示装置によれば、吊荷と地物の高さに係る情報をより的確に提示することができる。

また、本発明に係るクレーンは、請求項１から請求項４の何れか一項に記載のガイド情報表示装置を備えることを特徴とする。
このような構成のクレーンによれば、クレーンを操作するオペレータに対して、吊荷と地物の高さに係る情報をより的確に提示することができる。

本発明の効果として、以下に示すような効果を奏する。

本発明に係るガイド情報表示装置によれば、吊荷と吊荷の周辺に存在する地物について、その形状および高さを示すガイド情報を的確に提示することができる。

本発明に係るクレーンによれば、クレーンを操作するオペレータに対して、吊荷と吊荷の周辺に存在する地物について、その形状および高さを示すガイド情報を的確に提示することができる。

本発明の一実施形態に係るクレーンの全体構成を示す模式図。 吊荷領域を説明する平面模式図。 本発明の一実施形態に係るガイド情報表示装置の全体構成を示す模式図。 吊荷領域を説明する側面模式図。 カメラ空間座標系およびカメラの画角の説明図、（Ａ）Ｚ軸方向視模式図、（Ｂ）Ｘ軸方向視模式図。 レーザスキャナによるレーザの照射状況の説明図、（Ａ）Ｘ軸方向視模式図、（Ｂ）Ｙ軸方向視模式図。 データ取得部を示す模式図、（Ａ）Ｙ軸方向視見上げ図、（Ｂ）図７（Ａ）におけるＡ−Ａ断面図。 ガイド情報の表示状態を示す図、（Ａ）映像Ｍを表示したデータ表示部を示す図、（Ｂ）映像Ｍとガイド情報ＧＤを重畳表示したデータ表示部を示す図。 ガイド情報表示装置の別構成を示す模式図、（Ａ）データ処理部、データ表示部、データ入力部をタブレットＰＣで構成した場合、（Ｂ）データ表示部、データ入力部をタッチパネル式ディスプレイ装置で構成した場合。 吊荷領域とレーザ側線の関係を示す模式図。 レーザスキャナによるレーザの照射状況を説明するＺ軸方向視模式図。 データ処理部によるデータ処理の流れを示すフロー図。 データ取得部によって取得した点群データを示す図、（Ａ）点群データをＸＹＺ座標系にプロットした図、（Ｂ）ＸＹＺ座標系にプロットした点群データを複数のグループに分けた図。 オペレータによる地表面の指定状況を示す模式図。 地表面の指定時における基準高の算出方法の説明図、（Ａ）基準高の算出方法を示す図、（Ｂ）吊荷領域の分割状況を示す模式図。 平面クラスタの生成方法の説明図。 平面の推定手順を示すフロー図。 平面の推定手順（ＳＴＥＰ−２０１〜２０２）の説明図。 平面の推定手順（ＳＴＥＰ−２０３〜２０５）の説明図。 平面の推定手順（ＳＴＥＰ−２０６〜２０８）の説明図。 平面の推定手順（ＳＴＥＰ−２０６〜２０８（２回目））の説明図。 平面の推定手順（上面の推定状況）の説明図。 異なるグループに存在する平面の結合方法のフロー図。 異なるグループに存在する平面の結合方法の説明図。 同一領域のクラスタリング処理の説明図。 階層的クラスタリングの説明図、（Ａ）第一の例の地物の場合、（Ｂ）第二の例の地物の場合。 ガイド枠の生成手順の説明図。 階層的クラスタリングにおける同一領域クラスタの設定例を示す図、（Ａ）全体を囲む同一領域クラスタとする場合、（Ｂ）標高値が最も高い平面クラスタを別の同一領域クラスタとして設定する場合、（Ｃ）標高値の差分が閾値以上である平面クラスタを全て含む別の同一領域クラスタを設定する場合。 データ表示部における警報表示を示す模式図。 除外領域の設定状況の説明図。

次に、発明の実施の形態を説明する。
図１に示す如く、クレーン１は、本発明の一実施形態に係るガイド情報表示装置の適用対象たるクレーンの一例であり、所望の場所に移動可能な移動式クレーンである。
クレーン１は、走行車両１０、クレーン装置２０を備えている。

走行車両１０は、クレーン装置２０を搬送するものであり、複数（本実施形態では４個）の車輪１１を有し、エンジン（図示せず）を動力源として走行する。
走行車両１０の四方角部には、アウトリガ１２が設けられている。アウトリガ１２は、走行車両１０の幅方向両側に油圧によって延伸可能な張り出しビーム１２ａと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダ１２ｂとから構成されている。そして、走行車両１０は、ジャッキシリンダ１２ｂを接地させることにより、クレーン１を作業可能な状態とすることができ、張り出しビーム１２ａの延伸長さを大きくすることにより、クレーン１の作業可能範囲（作業半径）を広げることができる。

クレーン装置２０は、吊荷Ｗをワイヤロープによって吊り上げるものであり、旋回台２１、伸縮ブーム２２、メインフックブロック２３、サブフックブロック２４、起伏シリンダ２５、メインウインチ２６、メインワイヤロープ２７、サブウインチ２８、サブワイヤロープ２９、キャビン３０を備えている。

旋回台２１は、クレーン装置２０を旋回可能に構成するものであり、円環状の軸受を介して走行車両１０のフレーム上に設けられる。円環状の軸受は、その回転中心が走行車両１０の設置面に対して垂直になるように配置されている。旋回台２１は、円環状の軸受の中心を回転中心として一方向と他方向とに回転自在に構成されている。また、旋回台２１は、油圧式の旋回モータ（図示せず）によって回転される。

伸縮ブーム２２は、吊荷Ｗを吊り上げ可能な状態にワイヤロープを支持するものである。伸縮ブーム２２は、複数のブーム部材であるベースブーム部材２２ａ、セカンドブーム部材２２ｂ、サードブーム部材２２ｃ、フォースブーム部材２２ｄ、フィフスブーム部材２２ｅ、トップブーム部材２２ｆから構成されている。各ブーム部材は、断面積の大きさの順に入れ子式に挿入されている。伸縮ブーム２２は、各ブーム部材を図示しない伸縮シリンダで移動させることで軸方向に伸縮自在に構成されている。伸縮ブーム２２は、ベースブーム部材２２ａの基端が旋回台２１上に揺動可能に設けられている。これにより、伸縮ブーム２２は、走行車両１０のフレーム上で水平回転可能かつ揺動自在に構成されている。

メインフックブロック２３は、吊荷Ｗを引掛けて吊り下げるためのものであり、メインワイヤロープ２７が巻き掛けられる複数のフックシーブと、吊荷Ｗを吊るメインフック３２とが設けられている。
クレーン装置２０は、メインフックブロック２３の他に、吊荷Ｗを引掛けて吊り下げるためのサブフックブロック２４をさらに備えており、サブフックブロック２４には、吊荷Ｗを吊るサブフック３３が設けられている。

起伏シリンダ２５は、伸縮ブーム２２を起立および倒伏させ、伸縮ブーム２２の姿勢を保持するものである。起伏シリンダ２５はシリンダ部とロッド部とからなる油圧シリンダから構成されている。

メインウインチ２６は、メインワイヤロープ２７の繰り入れ（巻き上げ）および繰り出し（巻き下げ）を行うものであり、本実施形態では油圧ウインチによって構成している。
メインウインチ２６は、メインワイヤロープ２７が巻きつけられるメインドラムがメイン用油圧モータによって回転されるように構成されている。メインウインチ２６は、メイン用油圧モータが一方向へ回転するように作動油が供給されることでメインドラムに巻きつけられているメインワイヤロープ２７を繰り出し、メイン用油圧モータが他方向へ回転するように作動油が供給されることでメインワイヤロープ２７をメインドラムに巻きつけて繰り入れるように構成されている。

また、サブウインチ２８は、サブワイヤロープ２９の繰り入れおよび繰り出しを行うものであり、本実施形態では、油圧ウインチによって構成している。

キャビン３０は、オペレータが着座する運転座席３１を覆うものであり、旋回台２１における伸縮ブーム２２の側方に設けられている。

このように構成されるクレーン１は、走行車両１０を走行させることで、任意の位置にクレーン装置２０を移動させることができ、また、起伏シリンダ２５で伸縮ブーム２２を任意の起伏角度に起立させることで、伸縮ブーム２２を任意の伸縮ブーム長さに延伸させることができる。

また、クレーン１は、旋回台２１、伸縮ブーム２２、起伏シリンダ２５等の動作（即ち、クレーン１の動作）を制御するコントローラ３４を備えている。コントローラ３４は、旋回台２１、伸縮ブーム２２、起伏シリンダ２５等の動作状態に係る情報や、クレーン１固有の性能に係る情報、および吊荷Ｗの重量等を外部に出力することが可能である。

尚、本説明では、伸縮ブーム２２の起伏支点の軸方向を基準として、図１に示すようなＸＹＺ座標系を規定している（以下の説明においても同様）。
Ｘ軸方向（側線方向とも呼ぶ）は、伸縮ブーム２２の起伏支点の軸方向に対して平行な水平方向である。また、Ｙ軸方向（標高方向とも呼ぶ）は、鉛直方向である。さらに、Ｚ軸方向（奥行方向とも呼ぶ）は、伸縮ブーム２２の起伏支点の軸方向に対して垂直な水平方向である。即ち、ＸＹＺ座標系は、図２に示すように、伸縮ブーム２２を基準としたローカル座標系として規定している。

次に、本発明の一実施形態に係るガイド情報表示装置について、説明する。
クレーン１は、図３に示すようなガイド情報表示装置５０を備えている。
ガイド情報表示装置５０は、本発明に係るガイド情報表示装置の一例であり、図１に示すようなクレーン１による作業を効率よく、かつ、安全に行うことを可能にするために、吊荷Ｗを含む領域（以下、吊荷領域ＷＡと言う）の情報（以下、ガイド情報と言う）を映像で表示し、オペレータに提示するための装置である。

ここでいう「吊荷領域ＷＡ」とは、図２および図４に示すように、クレーン１の作業領域ＳＡ内で、Ｙ軸方向視において吊荷Ｗを含む領域として設定されるものであり、「ガイド情報」を生成する対象となる領域である。
「吊荷領域ＷＡ」は、クレーン１における伸縮ブーム２２のトップブーム部材２２ｆの直下を含む領域として設定され、吊荷領域ＷＡ内に存在する吊荷Ｗ、地表面Ｆ、地物Ｃが、ガイド情報表示装置５０による測定対象物となる。「吊荷領域ＷＡ」は、伸縮ブーム２２の旋回動作、起伏動作、伸縮動作に応じて変位する。

また、ここで言う「ガイド情報」は、オペレータがクレーン１によって吊荷Ｗを搬送するときに、伸縮ブーム２２の長さ・旋回位置・起伏角度、ワイヤロープの巻き出し量等の良否について、オペレータの判断を補助する情報であり、吊荷領域ＷＡの映像情報、吊荷Ｗおよび地物Ｃの形状に係る情報、吊荷Ｗの高さ情報、地物Ｃの高さ情報、吊荷Ｗの動線に係る情報等が含まれる。

図３および図４に示す如く、ガイド情報表示装置５０は、データ取得部６０と、データ処理部７０と、データ表示部８０と、データ入力部９０によって、構成されている。

データ取得部６０は、吊荷領域ＷＡにおけるガイド情報を生成するために必要なデータを取得する部位であり、図３に示すように、カメラ６１、レーザスキャナ６２、慣性計測装置（ＩＭＵ）６３を備えている。

図４に示すように、データ取得部６０は、クレーン１の伸縮ブーム２２の先端に位置しているトップブーム部材２２ｆに付設されており、吊荷Ｗの真上に位置するブーム先端から真下の状況を捉えることができる状態で配置されている。尚、ここでいう吊荷Ｗの「真上」は、吊荷Ｗの鉛直上方の位置と、その位置を基準とした一定範囲（例えば、吊荷Ｗの上面の範囲）の位置と、を含む概念である。

データ取得部６０は、伸縮ブーム２２の先端部のトップブーム部材２２ｆに対してジンバル６７（図１参照）を介して付設されており、伸縮ブーム２２が起伏動作、旋回動作、伸縮動作をしたときに、データ取得部６０の姿勢（Ｙ軸方向に向けた姿勢）を略一定に保持することができるように構成されている。これにより、カメラ６１とレーザスキャナ６２を常に吊荷Ｗに向けておくことができる。このため、データ取得部６０は、カメラ６１とレーザスキャナ６２によって、吊荷Ｗとその下方に存在する地表面Ｆ（即ち、吊荷領域ＷＡ）から、常にデータを取得することができる。また、吊荷領域ＷＡに地物Ｃが存在する場合には、カメラ６１とレーザスキャナ６２によって、地物Ｃのデータを取得することができる。

図５（Ａ）（Ｂ）に示すように、カメラ６１は、吊荷領域ＷＡの映像を撮影するためのデジタルビデオカメラであり、撮影した映像をリアルタイムで外部に出力する機能を有している。カメラ６１は、図５（Ａ）（Ｂ）に示すような画角（水平画角θｈおよび垂直画角θｖ）を有している。また、カメラ６１は、適切なガイド情報の生成に必要なデータ量を考慮した画素数、フレームレート、画像伝送レートを有している。

図３に示すように、レーザスキャナ６２は、測定対象物にレーザを照射し、そのレーザの測定対象物における反射光を受光することによって、その反射点に係る情報を取得し、測定対象物の点群データを取得する装置である。レーザスキャナ６２の測定対象物は、吊荷Ｗ、地物Ｃ、地表面Ｆである。また、レーザスキャナ６２には、測定時刻を取得するための第一ＧＮＳＳ受信機６５が接続されている。
ガイド情報表示装置５０では、レーザスキャナ６２によって、リアルタイムに平面的な三次元点群データを取得する。

図６に示すように、レーザスキャナ６２は、合計１６個のレーザ送受信センサを備えており、同時に１６本のレーザを測定対象物に照射して、測定対象物の点群データを取得することができるものである。レーザスキャナ６２の１６個の各レーザ送受信センサは、Ｚ軸方向において２°ずつ照射角度を異ならせて配置されており、測定対象物に対して、全体で３０°の拡がりを持ってレーザを照射可能に構成されている。また、レーザスキャナ６２の各レーザ送受信センサは、Ｚ軸回りに３６０°（全方位）回転可能に構成されている。尚、以下の説明では、吊荷領域ＷＡに向けて照射されるレーザが描く軌跡をレーザ側線と呼ぶ。レーザ側線は、Ｘ軸方向に対して平行であり、レーザスキャナ６２では、１６本のレーザ側線が同時に描かれる。

そして、レーザスキャナ６２は、レーザ側線がＸ軸方向に対して平行となるように配置されている。また、レーザスキャナ６２は、レーザの照射角度を変更する基準軸が、Ｚ軸方向に対して平行とされている。

図３に示すように、慣性計測装置（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ、以下ＩＭＵと呼ぶ）６３は、データ取得時におけるカメラ６１とレーザスキャナ６２の姿勢データを取得するための装置である。ＩＭＵ６３は、リアルタイムで姿勢角を測定することが可能であり、レーザスキャナ６２によって取得した点群データの補正に利用可能な測定精度を有している。また、ＩＭＵ６３には、測定時刻を取得するための第二ＧＮＳＳ受信機６６が接続されている。

図７（Ａ）（Ｂ）に示すように、データ取得部６０はカメラ６１、レーザスキャナ６２、慣性計測装置（ＩＭＵ）６３をフレーム体６４に対して固定し、一体に構成したセンサユニットである。
フレーム体６４は、５枚の板材を組み合わせて構成された略直方体状の物体である。フレーム体６４は、４枚の板材で直方体の四方の側面部を構成するとともに、残り１枚の板材で、直方体の上面部を構成し、下方に開口部を有する形状に構成されている。データ取得部６０では、カメラ６１とレーザスキャナ６２を、フレーム体６４の側面部内側に付設し、ＩＭＵ６３を、フレーム体６４の上面部に付設している。図７（Ａ）に示すように、カメラ６１の撮像素子中心位置とレーザスキャナ６２のレーザ中心位置は、Ｙ軸方向視において、Ｚ軸方向に距離Δｚｈで離間している。なお、レーザ中心位置とは、レーザスキャナ６２におけるレーザの回転中心であり、Ｚ軸上に位置している。
また、図７（Ｂ）に示すように、カメラ６１の撮像素子中心位置とレーザスキャナ６２のレーザ中心位置は、Ｘ軸方向視において、Ｙ軸方向に距離Δｙｖで離間している。
データ取得部６０は、フレーム体６４の四方の側面部のうち、対面する一対の側面部の一方がＺ軸に対して垂直となり、対面する一対の側面部の他方がＸ軸に対して垂直となる姿勢で配置される。また、データ取得部６０は、フレーム体６４の上面部が、Ｙ軸に対して垂直となる姿勢で配置される。

次に、ＸＹＺ座標系における点（ｘ，ｙ）のＸ座標を、カメラ空間座標系におけるＸｃ座標に変換する方法について、説明する。

ガイド情報表示装置５０では、カメラ６１で撮影した映像Ｍ上に後述するガイド情報ＧＤを重畳してデータ表示部８０に表示するために、ＸＹＺ座標系とカメラ空間座標系の間で座標値の変換処理を行う。ガイド情報表示装置５０では、カメラ６１の映像空間において、三次元のカメラ空間座標系Ｘｃ・Ｙｃ・Ｚｃを規定している。

図５（Ａ）に示すように、カメラ６１のレンズ中心から延ばした垂線から点（ｘ，ｙ）までのＸ軸方向の距離をｄｈ、カメラ６１の水平方向の最大画面幅をｗｈとする。また、点（ｘ，ｙ）は、画面中心からＸ軸方向の位置をｘとしている。このとき、カメラ空間における点（ｘ，ｙ）のＸｃ座標は、以下の数式（１）（２）で表される。
尚、以下の数式では、カメラ６１の撮像素子とレーザ中心の位置の水平方向の差分をΔｚｈとし（図７（Ａ）参照）、カメラ画像の横幅をｗｈ、カメラ６１の水平画角をθｈ、一時変数をｔｍｐ１としている。
ｔｍｐ１＝（ｙ−Δｚｈ）×ｔａｎ（π×θｈ／３６０）・・・（１）
Ｘｃ＝ｗｈ／２−ｗｈ×ｘ／（２×ｔｍｐ１）・・・（２）

次に、ＸＹＺ座標系における点（ｙ，ｚ）のＺ座標を、カメラ空間座標系におけるＺｃ座標に変換する方法について、説明する。
図５（Ｂ）に示すように、点（ｙ，ｚ）からレーザ中心までのＺ軸方向の距離をｄｖ、カメラ６１の水平方向の最大画面幅をｗｖとしている。また、点（ｙ，ｚ）は、画面中心からＺ軸方向の位置をｚとしている。このとき、カメラ空間における点（ｙ，ｚ）のＺｃ座標は、以下の数式（３）（４）で表される。
尚、以下の数式では、カメラ６１の撮像素子とレーザスキャナ６２のレーザ中心の位置の垂直方向の差分をΔｙｖ（図７（Ｂ）参照）、カメラ画像の縦幅をｗｖ、カメラ６１の垂直画角をθｖ、一時変数をｔｍｐ２としている。
ｔｍｐ２＝Ｙ×ｔａｎ（π×θｖ／３６０）・・・（３）
Ｚｃ＝ｗｖ／２＋ｗｖ×（Ｚ−Δｙｖ）／（２×ｔｍｐ２）・・・（４）

ガイド情報表示装置５０では、上記数式（１）〜（４）を用いて、ＸＹＺ座標系においてレーザスキャナ６２等によって取得した点群データの座標を、カメラ空間座標系に変換することによって、カメラ６１で撮影した映像Ｍ上にガイド情報ＧＤを位置合わせして表示する。

尚、レーザスキャナ６２としては、伸縮ブーム２２の最高到達高さを考慮して、その最高到達高さ（例えば、約１００ｍ）から測定対象物の三次元形状を測定可能な機器を選択する。また、レーザスキャナ６２としては、適切なガイド情報を生成するために必要なデータ量およびデータ精度を考慮して、測定スピード、測定ポイント数、測定精度等の各仕様について所定の性能を有する機器を選択する。

尚、本実施形態では、合計１６個のレーザ送受信センサを備えたレーザスキャナ６２を用いる場合を例示しているが、本発明に係るガイド情報表示装置は、レーザスキャナを構成するレーザ送受信センサの個数によっては限定されない。即ち、本発明に係るガイド情報表示装置では、クレーンのブーム（ジブ）の最高到達高さ等に応じて、最適な仕様のレーザスキャナを適宜選択する。

データ取得部６０によって吊荷領域ＷＡにおいて取得するデータには、吊荷Ｗと、吊荷Ｗの下方の地表面Ｆと、吊荷Ｗの周囲に存在する地物Ｃをカメラ６１によって撮影した映像データが含まれる。また、データ取得部６０によって吊荷領域ＷＡにおいて取得するデータには、吊荷Ｗと、地表面Ｆと、地物Ｃをレーザスキャナ６２によってスキャンして取得した点群データが含まれる。尚、ここでいう地表面Ｆには、吊荷Ｗの搬送元および搬送先となる面を広く含み、地上面のみならず、建物屋上の床面や屋根面等も含まれる。

図３に示すように、データ処理部７０は、データ取得部６０で取得したデータを処理して、オペレータに提示するガイド情報ＧＤを生成するための部位であり、本実施形態では、所定のデータ処理プログラムがインストールされた汎用のパーソナルコンピュータによって構成している。
また、データ処理部７０は、クレーン１のコントローラ３４と電気的に接続されており、コントローラ３４から出力される「クレーン情報」が、データ処理部７０に入力される。

データ表示部８０は、オペレータに提示するガイド情報ＧＤを表示するための部位であり、データ処理部７０に接続されたディスプレイ装置により構成される。
データ表示部８０には、図８（Ａ）に示すように、カメラ６１によって撮影した吊荷領域ＷＡの映像Ｍをリアルタイムに表示する。

ガイド情報ＧＤには、図８（Ｂ）に示すように、吊荷Ｗ・地物ＣのＹ軸方向視における外形形状を表すガイド枠ＧＤ１や、吊荷Ｗの下面の高さ情報ＧＤ２、地物Ｃの上面の高さ情報ＧＤ３、吊荷Ｗの動線を示す作業半径情報ＧＤ４、伸縮ブーム２２の軸線方向を示す軸線情報ＧＤ５等が含まれる。
そして、データ表示部８０には、データ処理部７０で生成したガイド情報ＧＤと映像Ｍが重畳して表示される。

図３に示す如く、データ入力部９０は、データ処理部７０に対して、設定値等を入力するための部位であり、タッチパネル、マウス、キーボード装置等により構成される。

尚、ガイド情報表示装置５０は、図９（Ａ）に示すように、データ処理部７０とデータ表示部８０とデータ入力部９０をタブレット型の汎用パーソナルコンピュータ（以下、タブレットＰＣとも呼ぶ）によって、一体的に構成することが好ましい。また、ガイド情報表示装置５０は、図９（Ｂ）に示すように、データ表示部８０とデータ入力部９０をタッチパネル式ディスプレイ装置によって一体で構成し、当該タッチパネル式ディスプレイ装置に汎用ＰＣたるデータ処理部７０を接続する構成としてもよい。

図４に示すように、データ表示部８０とデータ入力部９０は、キャビン３０内の運転座席３１の前方のオペレータが見やすい位置に配置する。データ処理部７０は、データ取得部６０の近傍に配置することが好ましい。尚、データ処理部７０とデータ表示部８０とデータ入力部９０をタブレットＰＣによって一体的に構成した場合には、データ処理部７０をキャビン３０内に配置する構成としてもよい。
データ取得部６０とデータ処理部７０間のデータの伝送は、有線ＬＡＮによることが好ましい。尚、データ取得部６０とデータ処理部７０間のデータの伝送は、無線ＬＡＮを採用してもよく、あるいは、電力線通信を採用してもよい。

尚、ガイド情報表示装置５０は、図９（Ａ）に示すように、データ処理部７０とデータ表示部８０とデータ入力部９０をタブレット型の汎用パーソナルコンピュータ（以下、タブレットＰＣとも呼ぶ）によって、一体的に構成することが好ましい。また、ガイド情報表示装置５０は、図９（Ｂ）に示すように、データ表示部８０とデータ入力部９０をタッチパネル式ディスプレイ装置によって一体で構成し、当該タッチパネル式ディスプレイ装置に汎用ＰＣたるデータ処理部７０を接続する構成としてもよい。

ここで、データ取得部６０によるデータの取得状況を説明する。
データ取得部６０では、カメラ６１によって、吊荷領域ＷＡを連続的に撮影し、吊荷領域ＷＡの映像Ｍを取得する。

図１０に示すように、データ取得部６０では、レーザスキャナ６２によって、吊荷領域ＷＡを連続的にスキャンし、吊荷領域ＷＡにおける測定対象物の点群データを取得する。以下では、レーザスキャナ６２によって取得する点群データを、点群データＰと呼ぶ。点群データＰは、点データｐの集合であり、点データｐは、吊荷領域ＷＡに存在する地表面Ｆ、吊荷Ｗ、地物Ｃの上面に位置する点を表している。そして、点データｐには、図１１に示すように、測定対象物（例えば地物Ｃ）からレーザスキャナ６２までの距離ａと、その点データｐを取得したときのレーザスキャナ６２の照射角度ｂの情報が含まれている。

図３に示すように、レーザスキャナ６２には、第一ＧＮＳＳ受信機６５を接続しており、点群データＰを取得すると同時に、第一ＧＮＳＳ受信機６５によって複数の測位衛星から時間情報を受信する。そして、データ処理部７０は、点データｐに対して、該点データｐの取得時間に係る情報を付与する。即ち、点データｐに係る情報には、距離ａ、照射角度ｂの他、取得時間ｔｐが含まれている。

また、データ取得部６０では、レーザスキャナ６２によって、点群データＰを取得すると同時に、ＩＭＵ６３によって、所定の周期でレーザスキャナ６２の姿勢データＱを取得する。姿勢データＱには、レーザスキャナ６２のＸ・Ｙ・Ｚ軸の各軸方向に対する角度と加速度に係る情報が含まれる。尚、ＩＭＵ６３による姿勢データＱの取得周期は、レーザスキャナ６２による点群データＰの取得周期よりも短くする。姿勢データＱは、測定周期ごとに測定される個別姿勢データｑの集合である。

ＩＭＵ６３には、第二ＧＮＳＳ受信機６６を接続しており、姿勢データＱを取得すると同時に、第二ＧＮＳＳ受信機６６によって、複数の測位衛星から時間情報を受信する。データ処理部７０は、個別姿勢データｑに対して、該個別姿勢データｑの取得時間に係る情報として取得時間ｔｑを付与する。即ち、個別姿勢データｑに係る情報には、取得時間ｔｑが含まれている。

次に、データ処理部７０によるデータの処理状況を説明する。

図１２に示す如く、データ処理部７０によるデータ処理では、まず「フレーム抽出処理」を行う（ＳＴＥＰ−１０１）。
データ処理部７０による点群データＰのデータ処理では、点群データＰのストリームデータから、１フレーム分の点群データＰを切り出して出力する。１フレーム分の点群データＰは、レーザスキャナ６２によるレーザの照射方向がＺ軸回りに１周する間に取得する点データｐの集合である。

図１２に示す如く、データ処理部７０によるデータ処理では、次に「点群データと姿勢データの同期処理」を行う（ＳＴＥＰ−１０２）。
データ処理部７０は、１フレーム分の点群データＰに含まれる点データｐを、ＩＭＵ６３によって取得した姿勢データＱと同期させる。
具体的には、個々の点データｐにおいて、その点データｐの取得時間ｔｐに最も近い個別姿勢データｑの取得時間ｔｑを探索し、該取得時間ｔｑにおける個別姿勢データｑを、その点データｐに対応付けることで同期する。

このようにしてデータ処理部７０は、個別姿勢データｑに同期された点データｐを出力する。
そして、図１１に示すように、データ処理部７０は、距離ａおよび照射角度ｂとに基づいて、レーザスキャナ６２のレーザ中心位置から点データｐまでの距離ｈを算出する。尚、ここで言う「距離ｈ」は、レーザスキャナ６２のレーザ中心位置から点データｐが存在する水平面までの距離である。

また、データ処理部７０では、点データｐの距離ｈを算出する際に、その点データｐに対応する個別姿勢データｑを用いて補正を行う。これによって、レーザスキャナ６２の姿勢に起因する誤差を解消し、より精度よく点データｐの距離ｈを算出することができる。

即ち、ガイド情報表示装置５０において、データ取得部６０は、レーザスキャナ６２の姿勢データＱを取得するＩＭＵ６３を備え、データ処理部７０は、ＩＭＵ６３で取得したレーザスキャナ６２の姿勢データＱに基づいて、点群データＰを補正している。
ガイド情報表示装置５０では、このような構成によって、オペレータに対して、より的確なガイド情報ＧＤを提示することが可能になっている。

１フレーム分の点群データＰをＸＹＺ座標系にプロットすると、図１３（Ａ）のように表される。図１３（Ａ）はＺ軸方向から見た点群データＰ（点データｐの集合）である。

図１２に示す如く、データ処理部７０によるデータ処理では、次に「地表面推定処理」を行う（ＳＴＥＰ−１０３）。データ処理部７０は、地表面Ｆを推定する処理を行う。

まず、映像上の特定の位置を基準として、地表面Ｆを推定する場合を説明する。尚、ここでは、映像上の特定の位置を、オペレータが手動で指定する場合を例示するが、データ処理部７０が、映像上の特定の位置を自動的に決定し指定する構成としてもよい。
ガイド情報表示装置５０では、データ表示部８０およびデータ入力部９０において地表面の位置を指定することで、基準となる地表面Ｆを決定することができる。
手動による場合、まず図１４上図に示すように、オペレータがデータ表示部８０に表示される映像上で、地表面であることが明らかな位置を指定する。すると、データ処理部７０は、図１４中図に示すように、その指定された位置（点）を中心とする所定半径の基準円を生成する。そして、データ処理部７０は、図１４下図に示すように、レーザ側線上にある点データｐとの重なりを検出し、基準円内に含まれる複数の点データｐを選択する。

そして、データ処理部７０は、図１５（Ａ）に示すように、選択された複数の点データｐからまず、距離ｈが最大距離ｈｍａｘである点データｐを抽出する。最大距離ｈｍａｘである点データｐは、最も低い位置に存在している点データｐであると推測される。そして、データ処理部７０は、最大距離ｈｍａｘを基準として、距離ｈの離れ量Ｄが一定範囲内（本実施形態では７ｃｍ以内）にある点データｐを抽出し、抽出した点データｐの距離ｈの平均値を算出する。データ処理部７０は、このようにして算出した平均値を地表面Ｆまでの距離ｈであると推定し、これに基づいて、地表面Ｆの高さ（以下、基準高Ｈ０と呼ぶ）を決定する。
そして、データ処理部７０は、距離ｈと基準高Ｈ０から、点データｐの標高値Ｈを算出する。図１０に示すように、標高値Ｈは、点データｐの基準高Ｈ０からの高さである。

ガイド情報表示装置５０では、上記処理によって精度よく取得した地表面Ｆの基準高Ｈ０に基づいて、ガイド情報ＧＤを生成する構成としている。このため、ガイド情報表示装置５０では、地表面Ｆの高さに基づいて、吊荷Ｗやその周辺に存在する地物Ｃの形状を、精度良く算出することできる。

次に、地表面Ｆを自動的に推定する場合を説明する。
上記説明ではオペレータが地表面Ｆを指定する構成を示したが、ガイド情報表示装置５０では、データ処理部７０によって、地表面Ｆを自動的に推定する構成としてもよい。

データ処理部７０によって地表面Ｆを自動的に推定する場合、図１５（Ｂ）に示すように、データ処理部７０は、吊荷領域ＷＡを、面積が等しい複数（本実施例では１６０個）の小領域Ｓに分割する。

次に、データ処理部７０は、各小領域Ｓにおいて、距離ｈが最も大きい（距離ｈが最大距離ｈｍａｘである）点データｐを抽出し、図１５（Ａ）に示すように、最大距離ｈｍａｘを基準として、距離ｈの離れ量Ｄが一定範囲内（本実施形態では離れ量Ｄが７ｃｍ以内）にある点データｐを抽出する。

次に、データ処理部７０は、各小領域Ｓにおいて、抽出した点データｐの距離ｈの平均値を算出する。データ処理部７０は、このようにして算出した距離ｈの平均値から、各小領域Ｓにおける地表面Ｆの基準高Ｈ０を自動的に推定する。

もしくは、データ処理部７０は、各小領域Ｓにおいて算出した距離ｈの平均値をさらに全ての小領域Ｓで平均し、この平均値から吊荷領域ＷＡの地表面Ｆの基準高Ｈ０として自動的に推定する。この場合、データ処理部７０は、各小領域Ｓの距離ｈの平均値の中の最大値を基準として、この最大値からの離れ量Ｄが所定の閾値以内の小領域Ｓだけを用いて、基準高Ｈ０を算出する。

図１２に示す如く、データ処理部７０によるデータ処理では、次に「平面の推定処理」を行う（ＳＴＥＰ−１０４）。データ処理部７０は、以下に示す上面推定方法によって、吊荷領域ＷＡに存在する測定対象物たる吊荷Ｗと地物Ｃの上面を推定する。

１フレーム分の点群データＰをＸＹＺ座標系で示した吊荷領域ＷＡ上にプロットすると、図１３（Ａ）に示すように表される。そして、このような吊荷領域ＷＡにある点群データＰを模式的に表すと、図１６上図のように表される。

データ処理部７０は、図１６上図に示すような吊荷領域ＷＡにおいて取得した点群データＰを、図１６中図に示すように、Ｙ軸方向に所定の厚みｄで層状に分割し、点群データＰを複数のグループに振り分ける（図１３（Ｂ）参照）。
このときデータ処理部７０は、分割した各グループに個別のグループＩＤ（ここでは、ＩＤ：００１〜００６とする）を付与し、各点データｐをグループＩＤに関連付ける。

そして、データ処理部７０は、各グループにおいて、そのグループに含まれる複数の点データｐを用いて、平面を推定する。ここで言う「平面」は、吊荷Ｗおよび地物Ｃにおいて上向きに存在する平面であり、即ち、吊荷Ｗおよび地物Ｃの「上面」である。

具体的には、まず、データ処理部７０は、図１７および図１８上図に示すように、同一グループに含まれる複数の点データｐ・ｐ・・・から２つの点データｐ・ｐを選択する（２点選択工程：ＳＴＥＰ−２０１）。
そして、データ処理部７０は、図１７および図１８下図に示すように、選択した２つの点データｐ・ｐの２点間距離Ｌ１を算出する（点間距離算出工程：ＳＴＥＰ−２０２）。

次に、データ処理部７０は、図１７および図１９上図に示すように、２点間距離Ｌ１が所定の閾値ｒ１以下であれば（ＳＴＥＰ−２０３）、その２点（点線で示した２つの点データｐ・ｐ）は同一平面上にあるものとみなす（２点平面みなし工程：ＳＴＥＰ−２０４）。そして、データ処理部７０は、図１７および図１９下図に示すように、同一平面上にあるとみなされた各点（ここでは、選択した２点）の重心Ｇ１を算出する（重心算出工程：ＳＴＥＰ−２０５）。仮に、（ＳＴＥＰ−２０３）において、「ｎｏ」と判定された場合には、（ＳＴＥＰ−２０１）に戻って、新たな２点を選択し直す。

次に、データ処理部７０は、図１７および図２０上図に示すように、算出した重心Ｇ１に対する近傍点となる点データｐを探索する（近傍点探索工程：ＳＴＥＰ−２０６）。ここで言う「近傍点」とは、重心Ｇ１に対する点間距離が閾値ｒ１以下の点である。
そして、データ処理部７０は、図１７および図２０下図に示すように、近傍点たる点データｐが見つかれば（ＳＴＥＰ−２０７）、その近傍点たる点データｐも、先に選択した２つの点データｐ・ｐと同一平面上にあるものとみなす（近傍点平面みなし工程：ＳＴＥＰ−２０８）。

そして、データ処理部７０は、図１７および図２１上図に示すように、（ＳＴＥＰ−２０５）に戻って、同一平面上にあるとみなされた各点（ここでは、点線で示した３つの点データｐ・ｐ・ｐ）から、新たな重心Ｇ２を算出する。

データ処理部７０は、（ＳＴＥＰ−２０６）に移行して、重心Ｇ２に対する近傍点となる点データｐをさらに探索する。そして、データ処理部７０は、図１７および図２１下図に示すように、近傍点たる点データｐがさらに見つかれば（ＳＴＥＰ−２０７）、その近傍点たる点データｐも、先に選択した各点と同一平面上にある点データｐであるものとみなす（ＳＴＥＰ−２０８）。
そして、データ処理部７０は、新たな重心を算出しながら近傍点を探索し、近傍点たる点データｐが検出されなくなるまで（ＳＴＥＰ−２０５）から（ＳＴＥＰ−２０８）までの処理を順に繰り返して行う。

そして、データ処理部７０は、図１７に示すように、新たな近傍点が見つからなければ、（ＳＴＥＰ−２０７）で「ｎｏ」と判定し、図２２に示すように、同一平面上にあるとみなされた点データｐの部分集合（クラスタ）をクラスタリングして、平面を推定する（ＳＴＥＰ−２０９）。ここで言う「クラスタリング」とは、点データｐの集合である点群データＰをクラスタに切り分けて、各クラスタに含まれる点データｐが、同一平面上にあるという共通の特徴を持つようにする処理である。
データ処理部７０は、点群データＰを、同一平面上にあるとみなされた点データｐに切り分けて、平面クラスタＣＬ１を設定する（図１６下図参照）。平面クラスタＣＬ１に属する各点データｐによれば、平面（即ち、吊荷Ｗおよび地物Ｃの「上面」）を規定することができる。尚、同一のグループＩＤが付与されたグループ内には、複数の平面クラスタＣＬ１が存在する場合もある。

そして、データ処理部７０は、平面クラスタＣＬ１に属する点データｐの、Ｘ座標の最大値と最小値から平面の「幅」を推定し、Ｚ座標の最大値と最小値から平面の「奥行」を推定する。データ処理部７０は、このようにして、平面クラスタＣＬ１が形成する平面を規定する。尚、ここで規定する平面は、矩形以外の多角形であってもよい。

このような上面推定方法では、レーザスキャナ６２で取得した上面に対応する点群データＰのみに基づいて吊荷Ｗおよび地物Ｃの上面を推定することができる。このため本実施形態で示した上面推定方法では、レーザスキャナ６２で取得した点群データＰに基づいて、短時間で吊荷Ｗおよび地物Ｃの上面を推定することが可能になり、ひいては、リアルタイムで吊荷Ｗおよび地物Ｃの上面を推定することが実現できる。

また、このような上面推定方法では、統計的手法を用いずに吊荷Ｗおよび地物Ｃの上面を推定することができ、統計的手法を用いる場合に比べて、吊荷Ｗおよび地物Ｃの上面の推定に要する計算量を低減することができる。このため本実施形態で示した上面推定方法では、レーザスキャナ６２で取得した点群データＰに基づいて、より短時間で吊荷Ｗおよび地物Ｃの上面を推定することが可能になる。

尚、本実施形態で示した吊荷Ｗおよび地物Ｃの上面推定方法では、クレーン１において、伸縮ブーム２２のトップブーム部材２２ｆにデータ取得部６０を設け、レーザスキャナ６２によって、吊荷Ｗの上方から吊荷Ｗ、地物Ｃ、地表面Ｆに係る点群データＰを取得する場合を例示しているが、本発明に係る測定対象物の上面推定方法は、クレーンの吊荷とその吊荷の周囲に存在するものを測定対象物とする場合に適用するものとして限定されるものではない。
即ち、本実施形態で示した上面推定方法は、例えば、ブームを備える作業車両（例えば、高所作業車等）のブーム先端部やドローン等にレーザスキャナを設けて、上空からその鉛直下方に存在する測定対象物の点群データを取得し、取得した点群データに基づいて測定対象物の上面を推定する場合に広く適用することができる。

次に、データ処理部７０は、推定した各平面クラスタＣＬ１（上面）を結合する。
データ処理部７０は、図２３および図２４上図に示すように、推定された平面クラスタＣＬ１のうち、異なるグループＩＤが付与された２つの平面クラスタＣＬ１・ＣＬ１を選択し、各平面クラスタＣＬ１の標高値Ｈの差異ｄＨを算出する（ＳＴＥＰ−３０１：標高値差異算出工程）。

ここで、データ処理部７０は、差異ｄＨが閾値ｒ２以内である組み合わせを探索する（ＳＴＥＰ−３０２）。ここでいう平面クラスタＣＬ１の標高値Ｈとは、平面クラスタＣＬ１に属する各点データｐの標高値Ｈの平均値である。

次に、データ処理部７０は、図２３および図２４中図に示すように、標高値Ｈの差異ｄＨが閾値ｒ２以内である平面クラスタＣＬ１の組み合わせが検出されたときには、それらの平面クラスタＣＬ１・ＣＬ１についてＸ軸方向における重なりｄＷを検出する（ＳＴＥＰ−３０３：重なり検出工程）。ここでいう「重なり」とは、平面クラスタＣＬ１によって規定される平面のＸ軸方向における重複度合および離間度合であり、図２３および図２４に示すように、「幅」の重複量ｄＷ１が検出された場合（ｄＷ１＞０）か、もしくは、離間量ｄＷ２が所定の閾値ｒ３以下である場合（０≦ｄＷ２≦ｒ３）に、「重なり」を検出するものとする。

そして、データ処理部７０は、図２３および図２４に示すように、「重なり」が検出された場合には（ＳＴＥＰ−３０４）、それらの平面クラスタＣＬ１・ＣＬ１に属する点データｐが同一平面上に存在するものとみなし、二つの平面クラスタＣＬ１・ＣＬ１を結合し、新たな平面クラスタＣＬ１として更新する（ＳＴＥＰ−３０５：平面結合工程）。また、このとき、新たな平面クラスタＣＬ１に属する各点データｐから、新たな標高値Ｈを算出する。

データ処理部７０は、図２３に示すように、以上の処理を、条件を満たす平面クラスタＣＬ１・ＣＬ１の組み合わせが無くなるまで繰り返して行い（ＳＴＥＰ−３０６）、複数のグループに跨って存在する平面を推定する。

そして、データ処理部７０は、以上の結合処理によって結合した平面（即ち、平面クラスタＣＬ１）を出力する。
平面クラスタＣＬ１によって規定される平面は、吊荷Ｗおよび地物Ｃにおいて上向きに存在する平面であり、即ち、吊荷Ｗおよび地物Ｃの上面である。

このような平面の推定方法では、点群データＰの法線ベクトルを用いずに平面を推定することができる。このため、点群データＰの法線ベクトルを用いて平面を推定する場合に比べて、計算量が少なくて済むという特徴がある。
また、このような平面の推定方法では、吊荷Ｗや地物Ｃの上面を推定することによって、吊荷Ｗや地物Ｃの側面の点データｐを取得せずに、吊荷Ｗや地物Ｃの立体的形状を把握することができる。

図１２に示す如く、データ処理部７０によるデータ処理では、次に「同一領域のクラスタリング処理」を行う（ＳＴＥＰ−１０５）。ここで言う「クラスタリング」とは、データの集合である点群データＰを、クラスタに切り分けて、各クラスタに含まれる点データｐが、「同一領域」にあるという共通の特徴を持つようにする処理である。

ここで行う「同一領域のクラスタリング処理」は、生成した平面クラスタＣＬ１（平面）を、同一平面を構成するか否かとは無関係に、「同一領域」に存在するか否かという異なる観点でクラスタリングする処理である。

具体的には、図２５上図に示すように、データ処理部７０は、標高値Ｈが最大値Ｈｈである点データｐを含む平面クラスタＣＬ１と、この平面クラスタＣＬ１に未結合である平面クラスタＣＬ１を抽出する。そして、データ処理部７０は、抽出した各平面クラスタＣＬ１の標高値Ｈの差分ΔＨを算出し、差分ΔＨが所定の閾値以下であれば、次の判定に移行する。

次の判定に移行すると、データ処理部７０は、図２５中図に示すように、差分ΔＨが所定の閾値以下の二つの平面クラスタＣＬ１・ＣＬ１について、Ｙ軸方向視における重なりを確認する。
ここで、二つの平面クラスタＣＬ１・ＣＬ１が、Ｙ軸方向視において重なっている場合には、データ処理部７０は、図２５下図に示すように、これらの平面クラスタＣＬ１・ＣＬ１を「同一領域」にあるものとみなし、これらの平面クラスタＣＬ１・ＣＬ１によって、同一領域クラスタＣＬ２を形成する。

そして、データ処理部７０は、標高値Ｈの最大値Ｈｈを有する点データｐを含む平面クラスタＣＬ１と、この平面クラスタＣＬ１に未結合である平面クラスタＣＬ１をさらに探索し、未結合の平面クラスタＣＬ１が抽出されれば、差分ΔＨによる判定と、Ｙ軸方向視における重なりの確認を行い、上記条件に合致する平面クラスタＣＬ１があれば、上記同一領域クラスタＣＬ２にさらに追加する。

データ処理部７０は、このような処理を、標高値Ｈの最大値Ｈｈを有する点データｐを含む平面クラスタＣＬ１に対して未結合の平面クラスタＣＬ１が見つからなくなるまで繰り返して行う。データ処理部７０は、以上のような処理によって、同一領域クラスタＣＬ２を形成する。

そして、このようにして形成された同一領域クラスタＣＬ２に属する点データｐは、後述するガイド情報ＧＤの表示において、形状的に一つのまとまりがあるものとして扱われ、同一領域クラスタＣＬ２を囲むようにガイド枠ＧＤ１が表示される。

尚、このような「同一領域のクラスタリング処理」は、図２６（Ａ）（Ｂ）に示すような、標高値に基づく木構造を用いた階層的クラスタリングとすることが好ましい。データ処理部７０は、「同一領域のクラスタリング処理」において、地物Ｃごとに、標高値Ｈを用いて木構造を作成する。ここでは、図２６（Ａ）に示した第一の例の地物Ｃについて木構造を用いた階層的クラスタリングを行った場合と、図２６（Ｂ）に示した第二の例の地物Ｃについて木構造を用いた階層的クラスタリングを行った場合を例示している。

標高値に基づく木構造を用いた階層的クラスタリングでは、データ処理部７０は、標高値Ｈの平均値が最も小さい平面クラスタＣＬ１を「根（ルート）」として設定する。また、データ処理部７０は、「根」を構成する平面クラスタＣＬ１に対して、Ｙ軸方向視において重なりを持つ平面クラスタＣＬ１があれば、「根」から「枝（ブランチ）」を伸ばし、「枝」の先に、その重なりを持つ平面クラスタＣＬ１を追加する。そして、データ処理部７０は、標高値Ｈの平均値が最も大きい平面クラスタＣＬ１を「子」として設定する。

ここで、ガイド枠ＧＤ１の生成方法について、説明する。
データ処理部７０は、「同一領域のクラスタリング処理」において作成した地物Ｃの木構造を取得する。そして、データ処理部７０は、木構造を構成する各平面クラスタＣＬ１に含まれる点データｐを取得する。
次に、データ処理部７０は、図２７上図に示すように、「子」の平面クラスタＣＬ１の点データｐから、Ｚ軸方向において最も奥に位置するレーザ側線上の各点データｐを取得する。そして、データ処理部７０は、隣り合うレーザ側線との距離の１／２だけＺ軸方向に離れており、かつ、各点データｐを囲むことができるＸ軸方向の幅を有する矩形を作成する。

次に、データ処理部７０は、作成した矩形に隣接するレーザ側線上に点データｐが存在する場合には、図２７下図に示すように、該当するレーザ側線上の点データｐを全て含むように矩形を変形させて、外形線を作成する。
そして、データ処理部７０は、対象となるレーザ側線上の点データｐが無くなるまで隣接するレーザ側線上に点データｐを探索し、上記処理を繰り返す。
最後に、データ処理部７０は、選択した木構造に含まれる全ての平面クラスタＣＬ１を外包する外形線を作成する。

そして、データ処理部７０は、作成した外形線の中から、条件に合う外形線のみをガイド枠ＧＤ１として出力する。
ガイド枠ＧＤ１として出力する条件は、例えば、図２８（Ａ）に示すように、地物Ｃの大枠たる外形線のみを表示する条件を選択することができる。この条件を選択した場合には、データ表示部８０には、その地物Ｃに対して、地物Ｃの全体を囲む一つのガイド枠ＧＤ１が表示される。

また、ガイド枠ＧＤ１として出力する条件としては、例えば、図２８（Ｂ）に示すように、地物Ｃの大枠たる外形線に加えて、「根」に対する標高値Ｈの差（差分ΔＨ）が、閾値以上である外形線（小枠）のうち、各枝で標高値Ｈが最も高い平面クラスタＣＬ１に係る外形線を表示する条件を選択することができる。この条件を選択した場合には、データ表示部８０には、その地物Ｃの全体を囲む一つ目のガイド枠ＧＤ１と、一つ目のガイド枠ＧＤ１の内側に包含される二つ目のガイド枠ＧＤ１が表示され、地物Ｃの立体的形状が考慮されたより詳細なガイド情報ＧＤが表示される。

さらに、ガイド枠ＧＤ１として出力する条件としては、例えば、図２８（Ｃ）に示すように、地物Ｃの大枠たる外形線に加えて、「根」に対する標高値Ｈの差（差分ΔＨ）が、閾値以上である外形線（小枠）を全て表示する条件を選択することができる。この条件を選択した場合にも、データ表示部８０には、地物Ｃの全体を囲む一つ目のガイド枠ＧＤ１と、その内側に包含される二つ目のガイド枠ＧＤ１が表示され、地物Ｃの立体的形状が考慮されたより詳細なガイド情報ＧＤが表示される。

このような表示条件は、差分ΔＨの閾値を調整することによっても行うことができる。オペレータは、ガイド情報ＧＤの表示がより見易くなるように、ガイド枠ＧＤ１の表示条件を適宜選択することができる。

即ち、ガイド情報表示装置５０では、同一領域クラスタＣＬ２に基づいてガイド枠ＧＤ１を生成することによって、地物Ｃの立体的形状を考慮して、地物Ｃをより詳細に表現したガイド枠ＧＤ１を生成することが可能になる。また、ガイド情報表示装置５０では、同一領域に存在する平面クラスタＣＬ１をまとめて囲むガイド枠ＧＤ１を生成することが可能になる。即ち、ガイド情報表示装置５０によれば、より詳細で見易いガイド情報ＧＤを提示することができる。

図１２に示す如く、データ処理部７０によるデータ処理では、次に「点群データとカメラ映像の同期処理」を行う（ＳＴＥＰ−１０６）。
ここでは、図５（Ａ）（Ｂ）に示した通り、ＸＹＺ座標系で取得した点群データＰをカメラ空間座標系の座標値に変換して、カメラ６１によって撮影した映像Ｍ上に同期（位置合わせ）して、データ表示部８０へと出力する。

図１２に示す如く、データ処理部７０によるデータ処理では、次に「ガイド表示処理」を行う（ＳＴＥＰ−１０７）。
データ処理部７０は、生成した同一領域クラスタＣＬ２の情報に基づいて、ガイド情報ＧＤを生成し、データ表示部８０に出力する。
尚、「ガイド表示処理」に際しては、クレーン１のコントローラ３４から出力される「クレーン情報」を利用する。ここで利用する「クレーン情報」には、伸縮ブーム２２の長さ、起伏角度、クレーン１の作業半径、吊荷Ｗの重量等に係る情報が含まれる。

データ処理部７０によるデータ処理の一連の流れを説明したが、このような構成では、測定対象物の側面における点データｐを取得する必要がなく、少ない演算量で、吊荷Ｗや地物Ｃの立体的形状を的確に把握して、ガイド情報ＧＤを生成することができる。このような構成は、データ演算量が少なくて済むため、リアルタイムに吊荷Ｗや地物Ｃの形状を把握する用途に適しており、簡易なハードウェア構成のデータ処理部７０を用いることができる。

次に、ガイド情報ＧＤの内容について、説明する。
ガイド情報表示装置５０では、データ表示部８０によって、ガイド情報ＧＤを表示する。データ表示部８０によって表示するガイド情報ＧＤには、図８（Ｂ）に示すような、オペレータによる地表面Ｆの指定位置に係る情報が含まれている。

また、ガイド情報表示装置５０では、吊荷Ｗを指定することができる。オペレータが地表面Ｆを指定する場合と同様に、画面上で吊荷Ｗを指示することで、その指定位置に存在する平面（上面）が吊荷Ｗの上面を表すものとして設定される。吊荷Ｗとして指定された後は、吊荷Ｗに係るガイド枠ＧＤ１と地物Ｃに係るガイド枠ＧＤ１は、線色や線太さ等を変えて区別して表示することが好ましい。
地表面Ｆと吊荷Ｗの指定位置に係る情報は、円等の図形で表したマーカーによって表示される。

また、データ表示部８０によって表示するガイド情報ＧＤには、データ処理部７０によって生成したガイド枠ＧＤ１が含まれている。

データ処理部７０は、設定された同一領域クラスタＣＬ２に基づいて、ガイド枠ＧＤ１を出力する。尚、データ処理部７０は、吊荷Ｗのガイド枠ＧＤ１としては、衝突を確実に回避するための余裕を設けることができ、吊荷Ｗの外形線から所定の距離だけ外側にオフセットさせた枠線を、ガイド枠ＧＤ１として出力することができる。このようなガイド枠ＧＤ１は、吊荷Ｗおよび地物Ｃにおいて推定された上面（平面クラスタＣＬ１）を線分で囲う枠表示となっている。

また、データ表示部８０によって表示するガイド情報ＧＤには、基準高Ｈ０から吊荷Ｗの下面までの高さ情報ＧＤ２と、基準高Ｈ０から地物Ｃの上面までの高さ情報ＧＤ３と、が含まれている。

吊荷Ｗの高さ情報ＧＤ２は、データ表示部８０の画面上の見やすい位置に独立したエリアを設けて、そのエリアに表示する構成とすることが好ましい。
ガイド情報表示装置５０では、このような構成によって、吊荷Ｗの高さ情報ＧＤ２と地物Ｃの高さ情報ＧＤ３を見間違えることがないようにしている。

データ処理部７０は、高さ情報ＧＤ２を、吊荷Ｗの上面であると推定した平面クラスタＣＬ１の上面高さから吊荷Ｗの高さを引くことによって算出する。
ガイド情報表示装置５０では、オペレータが、吊荷Ｗに係る情報（以下「吊荷情報」と呼ぶ）を、予めデータ処理部７０に入力する。このオペレータによる「吊荷情報」の入力は、データ入力部９０から行われる。そして、データ処理部７０は、「吊荷情報」を利用して、吊荷Ｗの高さを取得する。

ガイド情報表示装置５０では、地物Ｃの高さ情報ＧＤ３を、地物Ｃを囲むガイド枠ＧＤ１の内側に表示する構成としている。あるいは、ガイド情報表示装置５０では、ガイド枠ＧＤ１が小さい場合には、ガイド枠ＧＤ１と一部が重なるように表示する構成としている。
ガイド情報表示装置５０では、このような構成によって、地物Ｃと高さ情報ＧＤ３の対応関係を明確にしている。

また、ガイド情報表示装置５０では、データ処理部７０によって、そのガイド枠ＧＤ１に対応する平面クラスタＣＬ１の標高値Ｈに応じて、ガイド枠ＧＤ１の線色を変える構成としている。
ガイド情報表示装置５０では、このような構成によって、オペレータがガイド枠ＧＤ１を見ることで、吊荷Ｗや地物Ｃのおおまかな標高値（高さ）を感覚的に知覚することができる。このため、ガイド情報表示装置５０では、吊荷Ｗと地物Ｃの高さをより的確に提示することができる。

さらに、ガイド情報表示装置５０では、データ処理部７０によって、そのガイド枠ＧＤ１に対応する平面クラスタＣＬ１の標高値Ｈに応じて、高さ情報ＧＤ２のフォント色を変える構成としている。
ガイド情報表示装置５０では、このような構成によって、オペレータが高さ情報ＧＤ２を見ることで、吊荷Ｗや地物Ｃのおおまかな標高値（高さ）を感覚的に知覚できる。このため、ガイド情報表示装置５０では、吊荷Ｗと地物Ｃの高さをより的確に提示することができる。

さらに、ガイド情報表示装置５０によって行うガイド情報ＧＤの表示には、吊荷Ｗの動線情報が含まれている。吊荷Ｗの動線情報には、吊荷Ｗの作業半径情報ＧＤ４と、クレーン１の伸縮ブーム２２の軸線情報ＧＤ５が含まれる。

作業半径情報ＧＤ４は、現状から伸縮ブーム２２を旋回動作させるときの吊荷Ｗの動線の目安となるものであり、吊荷Ｗは作業半径情報ＧＤ４として示す円弧に沿って移動する。

また、軸線情報ＧＤ５は、現状から伸縮ブーム２２を起伏動作および伸縮動作させるときの吊荷Ｗの動線の目安となるものであり、吊荷Ｗは作業半径情報ＧＤ４として示す直線に沿って移動する。

ガイド情報表示装置５０では、吊荷Ｗの作業半径情報ＧＤ４と伸縮ブーム２２の軸線情報ＧＤ５を、「クレーン情報」に基づいて生成している。
データ処理部７０は、「クレーン情報」に基づいて、クレーン１の作業半径を算出し、その作業半径を示す円弧を生成し、作業半径情報ＧＤ４として出力する。
また、データ処理部７０は、「クレーン情報」に基づいて、伸縮ブーム２２の軸線方向を算出し、その軸線方向を示す直線を生成し、軸線情報ＧＤ５として出力する。

また、ガイド情報表示装置５０では、作業半径情報ＧＤ４と軸線情報ＧＤ５を表示する線を破線で表して、かつ、その破線の長さおよび間隔を目安となる長さ（以下、基準長さと呼ぶ）で表示する構成としている。例えば、基準長さを１ｍとした場合、作業半径情報ＧＤ４と軸線情報ＧＤ５は、データ表示部８０に表示される吊荷領域ＷＡの大きさに応じて表示上では破線の長さおよび間隔を変更し、そのときのスケールにおいて、地表面Ｆで１ｍに相当する長さおよび間隔として表示される。
ガイド情報表示装置５０では、破線の長さや間隔を基準長さ（例えば、１ｍ）で表示することで、オペレータが、ガイド情報ＧＤから吊荷Ｗや地物Ｃのスケール感を感じることができる構成としている。

また、データ処理部７０は、「クレーン情報」に基づいて、データ取得部６０の高さを算出するとともに、吊荷領域ＷＡの大きさおよびデータ表示部８０の表示範囲の大きさを算出し、その算出結果に応じて、作業半径情報ＧＤ４と軸線情報ＧＤ５として表示する破線のスケール（破線およびその間隔の大きさ）を変更する。

さらに、ガイド情報表示装置５０によって行うガイド情報ＧＤの表示には、吊荷Ｗと地物Ｃの接触を防止するための警報表示が含まれている。
データ処理部７０は、吊荷Ｗと地物Ｃを水平面に投影した際の水平距離が、所定の閾値（例えば、１ｍ）以下であり、かつ、鉛直方向の距離が所定の閾値（例えば、１ｍ）以下であった場合に、接触の恐れがあるものと判断する。

このときデータ処理部７０は、図２９に示すように、吊荷Ｗと接触する恐れがある地物Ｃのガイド枠ＧＤ１および高さ情報ＧＤ２を強調させる態様で、地物Ｃのガイド枠ＧＤ１および高さ情報ＧＤ２を出力する。あるいは、データ処理部７０は、地物Ｃのガイド枠ＧＤ１および高さ情報ＧＤ２を点滅させる態様で、地物Ｃのガイド枠ＧＤ１および高さ情報ＧＤ２を出力する。ガイド情報表示装置５０では、データ処理部７０によって、警報表示たる地物Ｃのガイド枠ＧＤ１および高さ情報ＧＤ２を出力し、データ表示部８０に表示することで、オペレータの注意を促すことができる。

また、ガイド情報表示装置５０では、データ処理部７０によってガイド情報ＧＤを生成するにあたって、図３０に示すように、吊荷Ｗとトップブーム部材２２ｆの間に除外領域ＪＡを設定する。そして、データ処理部７０は、当該除外領域ＪＡ内で取得された点データｐを、データ処理の対象から除外する構成としている。

除外領域ＪＡには、メインワイヤロープ２７が通過している。ガイド情報表示装置５０では、メインワイヤロープ２７をガイド情報ＧＤの生成対象（測定対象物）に含めないようにすることで、より正確で見やすいガイド情報ＧＤを提示する構成としている。尚、除外領域ＪＡは、吊荷Ｗのガイド枠ＧＤ１の生成に影響を及ぼさないように考慮して、その下端高さを、吊荷Ｗの上面から所定の距離だけ離れた位置に設定することが好ましい。

このような構成のガイド情報表示装置５０では、クレーン１のオペレータに対して、吊荷Ｗと吊荷Ｗの周辺に存在する地物Ｃについて、その形状を示すガイド枠ＧＤ１と、高さを示す高さ情報ＧＤ２・ＧＤ３を含むガイド情報ＧＤを的確に提示することができる。そして、このような構成のガイド情報表示装置５０を用いれば、例えば、オペレータが吊荷Ｗを直接視認することができない状況においても、オペレータは、ガイド情報表示装置５０によって提示されるガイド情報ＧＤに基づいて、効率よく、かつ、安全にクレーン１による作業を行うことができる。

１ クレーン
５０ ガイド情報表示装置
６０ データ取得部
６１ カメラ
６２ レーザスキャナ
７０ データ処理部
８０ データ表示部
Ｐ 点群データ
Ｗ 吊荷
Ｆ 地表面
Ｃ 地物
Ｍ （カメラで撮影した）映像
ＧＤ ガイド情報
ＧＤ１ ガイド枠
ＧＤ２ （吊荷下面の）高さ情報
ＧＤ３ （地物上面の）高さ情報
ＷＡ 吊荷領域
ＣＬ１ 平面クラスタ
ＣＬ２ 同一領域クラスタ

Claims (5)

1. 吊荷の上方から、前記吊荷と前記吊荷の下方に存在する地表面と、を少なくとも含む領域の映像を撮影するカメラと、
   前記領域において、前記吊荷の上方から点群データを取得するレーザスキャナと、
   を備えたデータ取得部と、
   前記レーザスキャナで取得した前記点群データに基づいて、前記吊荷の上面と、前記領域に存在する前記地表面と、前記領域に存在する地物の上面と、を推定し、前記吊荷の上面および前記地物の上面をそれぞれ囲むガイド枠を生成するデータ処理部と、
   前記データ処理部で生成した前記ガイド枠と、前記カメラで撮影した前記映像と、を重畳したガイド情報を表示するデータ表示部と、
   を備える、
   ことを特徴とするガイド情報表示装置。
2. 前記データ処理部は、
   推定した前記地物の上面が複数ある場合において、
   標高値が最大である第一の前記地物の上面と、
   第一の前記地物の上面に対する標高値の差分が閾値以内であり、かつ、第一の前記地物の上面と平面視において重なっている第二の前記地物の上面と、
   があるとき、
   第一の前記地物の上面と第二の前記地物の上面とをまとめて囲む前記ガイド枠を生成する、
   ことを特徴とする請求項１に記載のガイド情報表示装置。
3. 前記データ処理部は、
   前記吊荷の上面および前記地物の上面の標高値を算出し、前記吊荷の上面および前記地物の上面の高さ情報を含む前記ガイド情報を生成する、
   ことを特徴とする請求項１または請求項２に記載のガイド情報表示装置。
4. 前記データ処理部は、
   算出した前記吊荷の上面および前記地物の上面の標高値に応じて、前記ガイド枠および前記高さ情報を変色させる、
   ことを特徴とする請求項３に記載のガイド情報表示装置。
5. 請求項１〜請求項４の何れか一項に記載のガイド情報表示装置を備える、
   ことを特徴とするクレーン。

Images