JP7070802B2 - クレーン情報表示システム - Google Patents

Description

本発明は、クレーン情報表示システムに関する。

従来、クレーンの情報を表示するクレーン情報表示システムが知られている（例えば、特許文献１参照）。

特許文献１には、クレーンの稼働状態をオペレータに表示したり、携帯端末を利用してクレーンの外にいる人間に表示したりする構成が開示されている。これにより、クレーンの外にいる人間でもクレーンの稼働状態を把握することができる。

特開２０１４－２２７２８１号公報

しかしながら、特許文献１に記載の構成では、実際のクレーンの稼働状態を単に表示するものであり、クレーンの設置を予定している場所にクレーンを配置せずにクレーンの作業計画をすることができない、という問題がある。

そこで、本発明は、クレーンの設置を予定している場所にクレーンを配置せずにクレーンの作業計画をすることができるクレーン情報表示システムを提供することを目的とする。

前述した課題を解決する主たる本開示は、
カメラを有する端末装置を備え、前記カメラにて、クレーンの情報を表示する第１情報表示部を撮影してカメラ画像を得るクレーン情報表示システムであって、
前記カメラ画像から、前記第１情報表示部の表示情報を読み取り、前記クレーンの情報を取得するクレーン情報取得部と、
前記クレーン情報取得部の取得した前記クレーンの情報に基づいて、前記クレーンの三次元画像に相当する仮想クレーンの画像情報を生成する仮想クレーン生成部と、
前記カメラ画像から、前記第１情報表示部の表示情報を読み取り、前記第１情報表示部の基準形状の情報を取得すると共に、前記カメラ画像に映る前記第１情報表示部の輪郭形状の情報を抽出して、前記第１情報表示部の前記基準形状及び前記第１情報表示部の前記輪郭形状の情報に基づいて、前記カメラ画像内で、前記仮想クレーンを配置すべき位置と前記仮想クレーンの取るべき姿勢とを算出する位置姿勢算出部と、
前記仮想クレーン生成部が生成した前記仮想クレーンの画像情報を、前記位置姿勢算出部が算出した前記仮想クレーンの前記位置と前記姿勢に対応した画像情報に変換する情報処理部と、
前記情報処理部にて画像情報の変換処理が施された前記仮想クレーンを、前記カメラ画像に重ねて表示する画像表示部と、
を備えるクレーン情報表示システムである。

このように構成された本発明のクレーン情報表示システムは、クレーンの設置を予定している場所にクレーンを配置せずにクレーンの作業計画をすることができる。

実施例１のクレーン情報表示システムを示す図である。 実施例１のクレーンを示す側面図である。 実施例１のクレーン情報表示システムの機能構成を示すブロック図である。 実施例１の画像表示部に表示される画像を示す図である。 実施例１のクレーン情報表示システムの制御部による処理の流れを示すフローチャートである。

以下、本発明によるクレーン情報表示システムを実現する実施形態を、図面に示す実施例１に基づいて説明する。

［クレーン情報表示システムの構成］
図１は、実施例１のクレーン情報表示システムを示す図である。図２は、実施例１のクレーンを示す側面図である。以下、実施例１のクレーン情報表示システムの構成を説明する。なお、実際のクレーンをクレーン１とし、仮想クレーンを仮想クレーン１Ａとする。また、クレーン１の前後方向を前後方向Ｄとする。

図１に示すように、実施例１のクレーン情報表示システム１００は、カメラ５１を備えたユーザ端末としてのタブレット端末５０で、作業者Ｍがクレーン１の設置予定の作業現場を撮影する例について説明する。

［クレーンの構成］
図２に示すように、クレーン１は、走行体１０と、旋回体２０と、ブーム３０とを備える。

走行体１０は、車体フレーム１１と、アウトリガー８０と、道路や作業現場を自走するための走行装置等を備える。

アウトリガー８０は、走行体１０の車体フレーム１１のリア側面に取り付けられたリアアウトリガー８１と、車体フレーム１１のフロント側面に取り付けられたフロントアウトリガー８２と、で構成される。アウトリガー８０は、走行時には、車体フレーム１１に収納される。一方、アウトリガー８０は、作業時には、水平方向及び垂直方向に張り出し、車体全体を持ち上げて、姿勢を安定させる。

旋回体２０は、走行体１０の上方に設けられ、走行体１０に対して、鉛直軸Ｃ１回りに回転可能となっている。旋回体２０は、キャビン２１を備える。キャビン２１は、走行体１０の走行を制御するための操作部（例えば、ステアリング、シフトレバー、アクセルペダル、及びブレーキペダル等）を有する。また、キャビン２１は、旋回体２０やブーム３０やウインチ等を操作する操作部を有する。キャビン２１に搭乗した作業者は、操作部を操作して、旋回体２０を旋回させ、ブーム３０を起伏及び伸縮させ、ウインチを回転させて作業を行う。

ブーム３０は、基端側が旋回体２０に支持されて、旋回体２０に対して起伏可能に取り付けられる。ブーム３０は、旋回体２０に設けられた起伏シリンダ２２によって起伏され、伸縮シリンダ（不図示）によって伸縮される。

ブーム３０は、基端側の基端ブーム３１から先端側の先端ブーム３６までの間に、中間ブーム３２～３５を備える。中間ブーム３２～３５と先端ブーム３６は、順次、基端ブーム３１の内部に格納される入れ子式になっている。

先端ブーム３６の先端に設けられたブームヘッド３６ａには、シーブ３７が配置されている。旋回体２０の、ブーム３０の基端近くに設けられたウインチには、吊り荷用のワイヤロープ３８が巻かれている。ワイヤロープ３８は、ウインチからシーブ３７までブーム３０の軸方向に沿って配置され、シーブ３７に掛け回されたワイヤロープ３８は、シーブ３７から鉛直方向の下方に吊り下げられる。ワイヤロープ３８の最下部には、フック３９が設けられている。

フック３９に荷物が吊られ、ウインチに巻かれたワイヤロープ３８を繰り出すことで、フック３９が降下し、ワイヤロープ３８を巻き上げることで、フック３９は上昇する。

このように構成されたクレーン１は、ウインチによるワイヤロープ３８の繰り出し・巻き上げ、ブーム３０の起伏及び伸縮、並びに旋回体２０の旋回により、フック３９に吊られた荷物を所定の位置に移動させる。

［タブレット端末の構成］
図１に示すように、タブレット端末５０は、カメラ５１と、画像表示部５２と、入力部５３と、を備える。

カメラ５１で撮影した画像は、画像表示部５２に表示される。画像表示部５２は、入力部５３としてのタッチパネルとしても構成される。

［第１情報表示部の構成］
図１に示すように、第１情報表示部４１（即ち、マーカー）は、立て看板等の支持部材４５に取り付けられる。第１情報表示部４１が取り付けられた支持部材４５は、クレーン１の設置予定の場所に設置される。

第１情報表示部４１は、エイプリルタグ（AprilTag）とすることができる。第１情報表示部４１には、クレーン１の機種の情報と、第１情報表示部４１の形状とサイズと、クレーン１の所定の位置の情報と、が記録される。クレーン１の所定の位置の情報は、例えば、走行体１０の車体フレーム１１の左側面の中央とすることができる。

［第２情報表示部の構成］
図１に示すように、第２情報表示部４２（即ち、マーカー）は、クレーン１による吊荷の積み下ろし予定位置、例えば、ビルＢの屋上に設置される。第２情報表示部４２は、エイプリルタグ（AprilTag）とすることができる。第２情報表示部４２には、第２情報表示部４２の形状とサイズが記録される。
第１情報表示部４１及び第２情報表示部４２は、例えば、それぞれ、その表面に付された文字、符号、記号、又はパターン等によって、別個の表示情報（即ち、コード情報）を保有する。第１情報表示部４１及び第２情報表示部４２それぞれの保有する表示情報（即ち、コード情報）は、予め制御部６０（後述）等に記憶された解読プログラムを用いて、カメラ５１により生成されたカメラ画像から読み取り可能となっている。又、第１情報表示部４１と第２情報表示部４２とは、それぞれが保有する表示情報（即ち、コード情報）から、識別可能となっている。尚、第１情報表示部４１及び第２情報表示部４２に記録された形状とサイズは、例えば、これらを、所定距離離れた正面から撮影した際に得られる形状とサイズである（以下、「基準形状」及び「基準サイズ」と称する）。

［クレーン情報表示システムの機能構成］
図３は、実施例１のクレーン情報表示システム１００の機能構成を示すブロック図である。図４は、実施例１の画像表示部５２に表示される画像を示す図である。以下、実施例１のクレーン情報表示システム１００の機能構成を説明する。

図３に示すように、クレーン情報表示システム１００は、第１情報表示部４１をカメラ５１で撮影した画像と、第２情報表示部４２をカメラ５１で撮影した画像と、入力部５３で入力された入力情報とが、制御部６０（本実施形態では、タブレット端末５０に内蔵された制御部）に入力され、制御部６０で制御された情報が、画像表示部５２で出力される。

カメラ５１は、例えば一般的なタブレット端末５０に備わるカメラ５１とすることができる。カメラ５１は、クレーン１を設置予定の作業現場や、第１情報表示部４１や、第２情報表示部４２を撮影することができる。

入力部５３は、アウトリガー８０の水平方向の張り出し量や、吊荷荷重や、ブーム３０の長さ等を入力することができる。ブーム３０の長さは、先端ブーム３６と、中間ブーム３２～３５とが、基端ブーム３１に格納された状態（全縮状態）のブーム３０の長さや、先端ブーム３６が伸張した状態のブーム３０の長さや、先端ブーム３６と中間ブーム３２～３５とが伸張した状態（全伸状態）の長さ等である。

制御部６０は、記憶部６１と、クレーン情報取得部６２と、仮想クレーン生成部６５と、位置姿勢算出部６６と、位置算出部６７と、情報処理部６８と、を備える。尚、制御部６０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及び、ＲＯＭ（Read Only Memory）等によって構成された周知のマイコンであり、制御部６０が有する機能（クレーン情報取得部６２、仮想クレーン生成部６５、位置姿勢算出部６６、及び、位置算出部６７と、情報処理部６８）は、例えば、ＣＰＵが、記憶部６１（例えば、ＨＤＤ）、ＲＯＭ又はＲＡＭに格納された制御プログラムや各種データを参照することによって実現される。

記憶部６１は、各種クレーンの形状情報と、各種クレーンの性能情報と、を記憶する。性能情報には、例えば、アウトリガー８０の形状に関する情報と、アウトリガー８０の張り出し量とブーム３０の長さとに応じた水平方向の作業可能領域の情報と高さ方向の作業可能領域の情報や、ブームの起伏角度範囲の情報や、負荷率に関する情報や、テールスイング領域に関する情報等を含む。

クレーン情報取得部６２は、カメラ５１で撮影した第１情報表示部４１に基づいて、クレーン１の機種の情報を取得し、取得したクレーン１の機種の形状情報と性能情報を記憶部６１から取得する。すなわち、クレーン情報取得部６２は、カメラ５１で撮影した第１情報表示部４１を読み込んで（即ち、カメラ画像から、第１情報表示部４１の表示情報を読み取って）、クレーン１の機種を取得し、取得した機種の形状情報と性能情報を記憶部６１から取得する。

クレーン情報取得部６２は、仮想アウトリガー生成部６３と、作業可能領域算出部６４と、を備える。

仮想アウトリガー生成部６３は、記憶部６１に記憶されたアウトリガー８０の形状に関する情報（即ち、情報表示部４０の表示情報から特定されたクレーン１の機種に対応するアウトリガー８０の形状）と、入力部５３に対して入力されたアウトリガー８０の水平方向の張り出し量と、に基づいて、クレーン１の情報として、仮想アウトリガー８０Ａの３次元データを生成する。

作業可能領域算出部６４は、情報表示部４０の表示情報から特定されたクレーン１の機種の情報を参照すると共に、入力部５３に対して入力された吊荷荷重と、ブーム３０の長さと、に基づいて、クレーン１の情報として、クレーン１の作業可能領域を算出する。作業可能領域算出部６４は、複数の負荷率の作業可能領域を算出することができる。実施例１では、作業可能領域算出部６４は、８０％の負荷率の作業可能領域と、１００％の負荷率の作業可能領域と、を算出する。なお、作業可能領域とは、クレーン１の設置面における、クレーン１の水平方向の作業可能な領域をいう。

仮想クレーン生成部６５は、クレーン情報取得部６２の取得したクレーン１の情報に基づいて、仮想クレーン１Ａの３次元データを生成する。

位置姿勢算出部６６は、カメラ５１で撮影した第１情報表示部４１に基づいて、仮想クレーン１Ａの位置と姿勢（即ち、カメラ５１の画像内で、仮想クレーン１Ａを配置すべき位置と仮想クレーン１Ａの取るべき姿勢）を算出する。

具体的には、位置姿勢算出部６６は、カメラ５１で撮影された第１情報表示部４１の形状（以下、「情報表示部４０の輪郭形状」と称する）と、第１情報表示部４１に記録された第１情報表示部４１の基準形状と、に基づいて、仮想クレーン１Ａの姿勢の情報を取得する。即ち、位置姿勢算出部６６は、カメラ５１の画像から、第１情報表示部４１の表示情報（即ち、コード情報）を読み取って、第１情報表示部４１の基準形状に係る情報を取得すると共に、カメラ５１の画像から、公知のパターンマッチング等によって、カメラ５１に映る第１情報表示部４１の輪郭形状を抽出する。そして、位置姿勢算出部６６は、カメラ５１の画像に映る第１情報表示部４１の輪郭形状と、第１情報表示部４１の基準形状と、を比較することで、カメラ５１の画像内で、仮想クレーン１Ａを配置すべき位置と仮想クレーン１Ａの取るべき姿勢を算出する。

例えば、カメラ５１で撮影した第１情報表示部４１の形状が、第１情報表示部４１に記録された矩形状である場合（即ち、カメラ５１の画像に映る第１情報表示部４１の輪郭形状と、第１情報表示部４１の表示情報から特定される第１情報表示部４１の基準形状とが、共に矩形状である場合）、仮想クレーン１Ａの左側面が、カメラ５１に対して真正面に向く姿勢にある。カメラ５１で撮影した第１情報表示部４１の形状が、第１情報表示部４１に記録された矩形状ではなく、情報表示部４０の左縁が、右縁より長い（高い）台形である場合（即ち、カメラ５１の画像に映る第１情報表示部４１の輪郭形状が、左縁が右縁より長い台形であり、且つ、第１情報表示部４１の表示情報から特定される第１情報表示部４１の基準形状が矩形状である場合）、仮想クレーン１Ａの左側面が、カメラ５１に対して、真正面から若干左側を向いた姿勢にある。カメラ５１で撮影した第１情報表示部４１が、第１情報表示部４１に記録された矩形状ではなく、情報表示部４０の右縁が、左縁より長い台形の場合（即ち、カメラ５１の画像に映る第１情報表示部４１の輪郭形状が、右縁が左縁より長い台形であり、且つ、第１情報表示部４１の表示情報から特定される第１情報表示部４１の基準形状が矩形状である場合）、仮想クレーン１Ａの左側面は、カメラ５１に対して、真正面から若干右側を向いた姿勢にある。

すなわち、位置姿勢算出部６６は、カメラ５１で撮影された第１情報表示部４１の輪郭形状と、第１情報表示部４１に記録された第１情報表示部４１の基準形状とを比較し、仮想クレーン１Ａの姿勢の情報を取得する。

また、位置姿勢算出部６６は、カメラ５１で撮影された第１情報表示部４１の輪郭形状のサイズと、第１情報表示部４１に記録された第１情報表示部４１の基準サイズと、に基づいて、仮想クレーン１Ａの位置の情報を取得する。具体的には、位置姿勢算出部６６は、第１情報表示部４１に記録された第１情報表示部４１の基準サイズと、カメラ５１で撮影された第１情報表示部４１の輪郭形状のサイズとを比較し、カメラ５１から第１情報表示部４１までの距離を算出する。

位置算出部６７は、カメラ５１で撮影された第２情報表示部４２に基づいて、第１情報表示部４１からの第２情報表示部４２の相対的な位置の情報を算出する。具体的には、位置算出部６７は、カメラ５１で撮影された第２情報表示部４２を読み込んで（即ち、カメラ５１の画像から、第２情報表示部４２の表示情報を読み取って）、第１情報表示部４１の位置を基準として、第１情報表示部４１からの距離と方向を算出する。すなわち、位置算出部６７は、第１情報表示部４１を基準とした、第２情報表示部４２の水平方向の距離の情報と、高さ方向の距離の情報を算出する。
より詳細には、位置算出部６７は、カメラ５１の画像内に、第１情報表示部４１と第２情報表示部４２の両方が映っている状態で機能する。位置算出部６７は、例えば、第２情報表示部４２の基準形状を取得すると共に、カメラ５１の画像に映る第２情報表示部４２の輪郭形状を抽出して、第２情報表示部４２の基準形状及び第２情報表示部４２の輪郭形状の情報に基づいて、カメラ５１の画像内における第２情報表示部４２の位置を特定する。そして、位置算出部６７は、位置姿勢算出部６６に算出されたカメラ５１の画像内における第１情報表示部４１の位置、自身が算出したカメラ５１の画像内における第２情報表示部４２の位置とを参照することで、第１情報表示部４１からの第２情報表示部４２の相対的な位置の情報を算出する。但し、ＳＬＡＭ技術等によって、第１情報表示部４１が映ったカメラ５１の画像と第２情報表示部４２が映ったカメラ５１の画像との位置関係を特定できれば、位置算出部６７の機能は、一枚の画像内に、第１情報表示部４１と第２情報表示部４２の両方が映っていない状態であっても実現可能である。

情報処理部６８は、仮想クレーン生成部６５が生成した仮想クレーン１Ａを、位置姿勢算出部６６が算出した仮想クレーン１Ａの位置と姿勢に対応した情報に処理する。換言すると、情報処理部６８は、仮想クレーン生成部６５が生成した仮想クレーン１Ａの画像情報を、位置姿勢算出部６６が算出したカメラ５１の画像内で、仮想クレーン１Ａを配置すべき位置と仮想クレーン１Ａの取るべき姿勢とに対応した画像情報に変換する。情報処理部６８は、例えば、カメラ５１の撮影位置からクレーン設置予定位置（即ち、第１情報表示部４１の設置位置）を見たときに、仮想クレーン１Ａの三次元画像が、実際にクレーン１が存在する状態を模擬した画像となるように、仮想クレーン１Ａの画像情報を変換する。尚、情報処理部６８のかかる画像処理は、公知の座標変換処理等によって、実現される。

また、情報処理部６８は、クレーン情報取得部６２が取得したクレーン１の性能情報と、仮想アウトリガー生成部６３が生成した仮想アウトリガー８０Ａと、作業可能領域算出部６４が算出したクレーン１の作業可能領域と、を位置姿勢算出部６６が算出した仮想クレーン１Ａの位置と姿勢に対応した情報に処理する。すなわち、情報処理部６８は、クレーン情報取得部６２が取得したクレーン１の情報を、位置姿勢算出部６６が算出した仮想クレーン１Ａの位置と姿勢に対応した情報に処理する。

また、情報処理部６８は、クレーン情報取得部６２が取得したクレーン１の情報を、位置算出部６７が算出した位置情報に基づいて、第２情報表示部４２を基準とした、位置姿勢算出部６６が算出した仮想クレーン１Ａの位置と姿勢に対応した情報に処理する。言い換えると、情報処理部６８は、位置姿勢算出部６６が算出した仮想クレーン１Ａの位置と姿勢に対応させたクレーン１の情報を、第２情報表示部４２を基準とした情報に処理する。即ち、情報処理部６８は、位置算出部６７が算出した第１情報表示部４１からの第２情報表示部４２の相対位置に基づいて、クレーン情報取得部６２が取得したクレーン１の情報（例えば、クレーン１の作業可能領域７５，７６）を、クレーン１にて吊荷を積み下ろすときの作業位置に対応させて三次元の画像情報に変換する。

画像表示部５２は、情報処理部６８が処理した情報を、カメラ５１の画像に重ねて表示する。具体的には、図４に示すように、画像表示部５２は、カメラ５１で撮影したクレーン１を設置予定の作業現場の画像に、仮想クレーン１Ａと、クレーン情報取得部６２が取得したクレーン１のテールスイング領域７３と、仮想アウトリガー生成部６３が生成した仮想アウトリガー８０Ａと、作業可能領域算出部６４が算出したクレーン１の設置面における作業可能領域７１，７２と、第２情報表示部４２が配置された高さにおけるクレーン１の作業可能領域７５，７６と、を重畳して表示する。また、画像表示部５２は、入力部５３に入力された吊荷荷重を表示する。

仮想アウトリガー８０Ａは、仮想フロントアウトリガー８２Ａと、仮想リアアウトリガー８１Ａから構成される。クレーン１の設置面における作業可能領域は、８０％の負荷率の作業可能領域７２と、１００％の負荷率の作業可能領域７１とから構成される。第２情報表示部４２が配置された高さにおける作業可能領域は、８０％の負荷率の作業可能領域７６と、１００％の負荷率の作業可能領域７５とから構成される。
即ち、画像表示部５２は、ユーザが、クレーン１を現場で実際に稼働した際に、クレーン１の各部位が現場環境にどのような影響を与えるか等を、３次元で検討することができるように、カメラ５１の画像に映る周辺環境に重ね合わせるように、仮想クレーン１Ａ、クレーン１の作業可能領域７１，７２（７５，７６）、仮想アウトリガー８０Ａ、及び、クレーン１のテールスイング領域７３を、３次元画像で表示する。尚、画像表示部５２は、例えば、カメラ５１の画像内で、仮想クレーン１Ａのアウトリガーの位置に、仮想アウトリガー８０Ａを表示する。又、画像表示部５２は、例えば、カメラ５１の画像内で、仮想クレーン１Ａを中心として、その周囲に、クレーン１の作業可能領域７１，７２を表示する。又、画像表示部５２は、例えば、カメラ５１の画像内で、仮想クレーン１Ａの旋回台を中心として、その周囲に、クレーン１のテールスイング領域７３を表示する。

［制御部による処理の流れ］
図５は、実施例１のクレーン情報表示システム１００の制御部６０による処理の流れを示すフローチャートである。以下、実施例１のクレーン情報表示システム１００の制御部６０による処理の流れを説明する。

作業者Ｍが、タブレット端末５０に取り付けられたカメラ５１によって、クレーン１が設置される予定の作業現場に設置された支持部材４５に取り付けられた第１情報表示部４１と、その周辺の現場環境を撮影すると、図５に示すように、クレーン情報取得部６２は、カメラ５１で撮影した第１情報表示部４１を読み込む（ステップＳ１０１）。

次いで、クレーン情報取得部６２は、取得したクレーン１の機種の形状情報と性能情報を記憶部６１から取得する（ステップＳ１０２）。

次いで、仮想クレーン生成部６５は、クレーン情報取得部６２の取得したクレーン１の情報に基づいて、仮想アウトリガーの３次元データを生成する（ステップＳ１０３）。

次いで、位置姿勢算出部６６は、カメラ５１で撮影した第１情報表示部４１に基づいて、仮想クレーン１Ａの位置と姿勢を算出する（ステップＳ１０４）。

次いで、制御部６０は、アウトリガー８０の張り出し量が入力部５３に入力されたか否かを判断する（ステップＳ１０５）。アウトリガー８０の張り出し量が入力部５３に入力されたと判断した場合（ステップＳ１０５でＹＥＳ）、仮想アウトリガー生成部６３は、仮想アウトリガー８０Ａを生成し（ステップＳ１０６）、ステップＳ１０７に進む。一方、アウトリガー８０の張り出し量が入力部５３に入力されていない場合（ステップＳ１０５でＮＯ）、ステップＳ１０７に進む。

次いで、制御部６０は、吊荷荷重とブーム３０の長さが入力部５３に入力されたか否かを判断する（ステップＳ１０７）。吊荷荷重とブーム３０の長さが入力部５３に入力されたと判断した場合（ステップＳ１０７でＹＥＳ）、作業可能領域算出部６４は、作業可能領域７１，７２を算出し（ステップＳ１０８）、ステップ１０９に進む。一方、吊荷荷重とブーム３０の長さが入力部５３に入力されていないと判断した場合（ステップＳ１０８でＮＯ）、ステップＳ１０９に進む。

次いで、情報処理部６８は、仮想アウトリガー生成部６３が生成した仮想アウトリガー８０Ａと、クレーン情報取得部６２が取得したクレーン１の情報と、を位置姿勢算出部６６が算出したクレーン１の位置と姿勢に対応した情報に処理する（ステップＳ１０９）。

次いで、位置算出部６７は、カメラ５１で撮影された第２情報表示部４２を読み込む（ステップＳ１１０）。

次いで、位置算出部６７は、第２情報表示部４２の第１情報表示部４１からの位置情報を算出する（ステップＳ１１１）。

次いで、情報処理部６８は、クレーン情報取得部６２が取得したクレーン１の情報を、位置算出部６７が算出した位置情報に基づいて、第２情報表示部４２を基準とした、位置姿勢算出部６６が算出した仮想クレーン１Ａの位置と姿勢に対応した情報に処理する（ステップＳ１１２）。

次いで、画像表示部５２は、カメラ５１で撮影した、クレーン１が設置される予定の作業現場の画像に、仮想クレーン１Ａと、クレーン情報取得部６２が取得したクレーン１のテールスイング領域７３と、仮想アウトリガー生成部６３が生成した仮想アウトリガー８０Ａと、仮想クレーン１Ａの設置面における作業可能領域７１，７２と、第２情報表示部４２の配置された高さにおける作業可能領域７５，７６と、を重畳して表示して（ステップＳ１１３）、処理を終了する。

このようにして、クレーン１の設置場所を検討し、クレーン１の設置場所が決定した場合、作業現場に置かれた支持部材４５に取り付けられた第１情報表示部４１に、実際のクレーン１の所定の位置（例えば、走行体１０の車体フレーム１１の左側面の中央）を一致させるように、クレーン１を搬送して設置する。

［クレーン情報表示システムの作用］

以下、実施例１のクレーン情報表示システム１００の作用を説明する。

実施例１のクレーン情報表示システム１００は、クレーン１の情報を表示する第１情報表示部４１をカメラ５１で撮影して、クレーン１の情報を取得するクレーン情報取得部６２と、クレーン情報取得部６２の取得したクレーン１の情報に基づいて、クレーン１の立体の仮想クレーン１Ａを生成する仮想クレーン生成部６５と、カメラ５１で撮影した第１情報表示部４１に基づいて、仮想クレーン１Ａの位置と姿勢を算出する位置姿勢算出部６６と、仮想クレーン生成部６５が生成した仮想クレーン１Ａを、位置姿勢算出部６６が算出した仮想クレーン１Ａの位置と姿勢に対応した情報に処理する情報処理部６８と、情報処理部６８が処理した情報を、カメラ５１で撮影した画像に重ねて表示する画像表示部５２と、を備える（図３及び図４）。

これにより、クレーン１の設置を予定している場所の風景画像に、仮想クレーン１Ａを配置して表示することができる。そのため、クレーン１の設置を予定している場所に実際にはクレーン１を配置せずに、クレーン１の配置の検討を３次元の画像ですることができる。その結果、クレーン１の作業計画を簡易に検討することができる。

実施例１のクレーン情報表示システム１００において、情報処理部６８は、クレーン情報取得部６２が取得したクレーン１の情報を、位置姿勢算出部６６が算出した仮想クレーン１Ａの位置と姿勢に対応した情報に処理する（図３及び図４）。

これにより、仮想クレーン１Ａが配置された画像に、クレーン１の情報を重ね合わせて表示することができる。そのため、仮想クレーン１Ａと、その周辺の現場環境と、クレーン１の情報とを、リアルタイムに３次元の画像で確認することができる。その結果、クレーン１の設置を予定している場所に実施のクレーン１を配置せずに、クレーン１の作業計画を簡易に検討することができる。

実施例１のクレーン情報表示システム１００において、クレーン１による吊荷の積み下ろし位置に配置された第２情報表示部４２を有し、第２情報表示部４２をカメラ５１で撮影して、第２情報表示部４２の第１情報表示部４１からの位置情報を算出する位置算出部６７と、情報処理部６８は、位置算出部６７が算出した位置情報に基づいて、クレーン情報取得部６２が取得したクレーン１の情報を、第２情報表示部４２を基準とした、位置姿勢算出部６６が算出した仮想クレーン１Ａの位置と姿勢に対応した情報に処理する（図３及び図４）

これにより、第２情報表示部４２が設置された高さにおける作業可能領域７５，７６を表示することができる。そのため、例えば、図４に示すように、ビルＢの屋上等の高い位置で、吊荷の積み下ろし作業をするような場合、第２情報表示部４２を設置した高さにおける、クレーン１の作業可能領域７５，７６を表示することができる。その結果、吊荷の積み下ろし位置が、クレーン１の設置面と異なる高さにある場合でも、クレーン１の作業計画を簡易に検討することができる。

実施例１のクレーン情報表示システム１００において、仮想クレーン１Ａのアウトリガー８０の張り出し量を入力する入力部５３を備え、クレーン情報取得部６２は、入力部５３への入力値に基づいて、立体の仮想アウトリガー８０Ａを生成する仮想アウトリガー生成部６３を備える（図３及び図４）。

これにより、クレーン１の設置を予定している場所に配置された仮想クレーン１Ａとその周囲を撮影した画像上に、入力値に対応した張り出し量の仮想アウトリガー８０Ａを重ね合わせて表示することができる。そのため、作業現場において、アウトリガー８０の張り出し量をリアルタイムに３次元の画像上で確認することができる。

実施例１のクレーン情報表示システム１００において、吊荷荷重と、クレーン１のブーム３０の長さと、を入力する入力部５３を備え、クレーン情報取得部６２は、入力部５３への入力値に基づいて、クレーン１の作業可能領域７１，７２を算出する作業可能領域算出部６４を備える（図３及び図４）。

これにより、クレーン１の設置を予定している場所に配置された仮想クレーン１Ａとその周囲を撮影した画像上に、ブーム３０の長さに基づいて、所定の吊荷荷重に対する作業可能領域７１，７２を重ね合わせて表示することができる。そのため、作業現場において、作業可能領域７１，７２をリアルタイムに３次元の画像で確認することができる。

実施例１のクレーン情報表示システム１００において、クレーン１の情報は、クレーン１のテールスイング領域７３が含まれる（図３及び図４）。

これにより、クレーン１の設置を予定している場所に配置された仮想クレーン１Ａとその周囲を撮影した画像上に、テールスイング領域７３を重ね合わせて表示することができる。そのため、作業現場においいて、テールスイング領域７３をリアルタイムに３次元の画像で確認することができる。

以上、本発明のクレーン情報表示システムを実施例１に基づき説明してきた。しかし、具体的な構成については、この実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。

実施例１では、第１情報表示部４１に記憶されるクレーン１の所定の位置の情報を、走行体１０の車体フレーム１１の左側面の中央とする例を示した。しかし、第１情報表示部４１に記憶されるクレーン１の所定の位置の情報は、車体フレーム１１の左側面の中央に限定されるものではない。また、第１情報表示部４１に記憶されるクレーン１の所定の位置の情報として、車体フレーム１１の左側面以外に、車体フレーム１１の前面と、後面と、右側面とを記憶し、作業者Ｍが入力部５３から適宜選択できるようにしてもよい。

実施例１では、第１情報表示部４１に１つのクレーン１の機種の情報が記憶される例を示した。しかし、第１情報表示部４１に複数のクレーンの機種の情報が記憶されていて、作業者Ｍが入力部５３から適宜選択できるようにしてもよい。

実施例１では、情報表示部４０をエイプリルタグとする例を示した。しかし、情報表示部は、この態様に限定されず、例えばＱＲコード（登録商標）等の２次元コードとしてもよい。また、情報表示部をクレーン自体として、深層学習を使用した画像認識によって、クレーンの情報を取得してもよい。

実施例１では、８０％の負荷率の作業可能領域７２，７６と、１００％の負荷率の作業可能領域７１，７５を画像表示部５２に表示する例を示した。しかし、画像表示部には、１つの作業可能領域を表示しても良いし、３つ以上の作業可能領域を表示してもよい。また、作業可能領域の負荷率は、８０％や１００％に限定されるものではない。

実施例１では、ユーザ端末を、カメラ５１と入力部５３と画像表示部５２を備えるタブレット端末５０とする例を示した。しかし、ユーザ端末は、スマートフォンであってもよい。また、ユーザ端末は、カメラと画像表示部が別体のものであってもよい。

実施例１では、クレーン１の形状情報と性能情報を記憶部６１に記憶する例を示した。しかし、クレーンの形状情報と性能情報は、第１情報表示部に記憶させてもよい。

２０１９年９月２７日出願の特願２０１９－１７６７８２の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

１ クレーン
１Ａ 仮想クレーン
４１ 第１情報表示部
４２ 第２情報表示部
５０ タブレット端末
５１ カメラ
５２ 画像表示部
６２ クレーン情報取得部
６３ 仮想アウトリガー生成部
６４ 作業可能領域算出部
６５ 仮想クレーン生成部
６６ 位置姿勢算出部
６７ 位置算出部
６８ 情報処理部
７１，７２ 作業可能領域
７５，７６ 作業可能領域
７３ テールスイング領域
８０Ａ 仮想アウトリガー
１００ クレーン情報表示システム

Claims (4)

1. カメラを有する端末装置を備え、前記カメラにて、クレーンの情報を表示する第１情報表示部を撮影してカメラ画像を得るクレーン情報表示システムであって、
   前記カメラ画像から、前記第１情報表示部の表示情報を読み取り、前記クレーンの情報を取得するクレーン情報取得部と、
   前記クレーン情報取得部の取得した前記クレーンの情報に基づいて、前記クレーンの三次元画像に相当する仮想クレーンの画像情報を生成する仮想クレーン生成部と、
   前記カメラ画像から、前記第１情報表示部の表示情報を読み取り、前記第１情報表示部の基準形状の情報を取得すると共に、前記カメラ画像に映る前記第１情報表示部の輪郭形状の情報を抽出して、前記第１情報表示部の前記基準形状及び前記第１情報表示部の前記輪郭形状の情報に基づいて、前記カメラ画像内で、前記仮想クレーンを配置すべき位置と前記仮想クレーンの取るべき姿勢とを算出する位置姿勢算出部と、
   前記仮想クレーン生成部が生成した前記仮想クレーンの画像情報を、前記位置姿勢算出部が算出した前記仮想クレーンの前記位置と前記姿勢に対応した画像情報に変換する情報処理部と、
   前記情報処理部にて画像情報の変換処理が施された前記仮想クレーンを、前記カメラ画像に重ねて表示する画像表示部と、
   前記カメラ画像から、前記クレーンによる吊荷の積み下ろし予定位置に配置された第２情報表示部の表示情報を読み取り、前記第２情報表示部の基準形状の情報を取得すると共に、前記カメラ画像に映る前記第２情報表示部の輪郭形状の情報を抽出して、前記第２情報表示部の前記基準形状及び前記第２情報表示部の前記輪郭形状の情報に基づいて、前記第１情報表示部からの前記第２情報表示部の相対位置を算出する位置算出部と、
   を備え、
   前記情報処理部は、前記第１情報表示部からの前記第２情報表示部の相対位置に基づいて、前記クレーン情報取得部が取得した前記クレーンの情報を、前記クレーンにて前記吊荷を積み下ろすときの作業位置に対応させた三次元の画像情報に変換し、
   前記画像表示部は、前記情報処理部にて変換処理が施された前記クレーンの情報を、前記仮想クレーンの画像とともに前記カメラ画像に表示する、
   クレーン情報表示システム。
2. 前記仮想クレーンのアウトリガーの張り出し量を入力する入力部を備え、
   前記クレーン情報取得部は、前記第１情報表示部の表示情報から特定される前記クレーンのアウトリガーの情報と、前記入力部への入力値とに基づいて、表示対象の前記クレーンの情報として、前記アウトリガーの三次元画像に相当する仮想アウトリガーの画像情報を生成する、
   請求項１に記載のクレーン情報表示システム。
3. 吊荷荷重と、前記クレーンのブームの長さと、を入力する入力部を備え、
   前記クレーン情報取得部は、前記第１情報表示部の表示情報から特定される前記クレーンの機種の情報と、前記入力部への入力値とに基づいて、表示対象の前記クレーンの情報として、前記クレーンの作業可能領域を算出する、
   請求項１に記載のクレーン情報表示システム。
4. 前記クレーンの情報は、前記クレーンのテールスイング領域の情報を含む、
   請求項１に記載のクレーン情報表示システム。
   

Images