JP6616423B2 - 建設機械及び施工管理システム - Google Patents

建設機械及び施工管理システム Download PDF

Info

Publication number
JP6616423B2
JP6616423B2 JP2017544207A JP2017544207A JP6616423B2 JP 6616423 B2 JP6616423 B2 JP 6616423B2 JP 2017544207 A JP2017544207 A JP 2017544207A JP 2017544207 A JP2017544207 A JP 2017544207A JP 6616423 B2 JP6616423 B2 JP 6616423B2
Authority
JP
Japan
Prior art keywords
data
display
image data
imaging
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017544207A
Other languages
English (en)
Other versions
JPWO2017061515A1 (ja
Inventor
千佳史 四家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Publication of JPWO2017061515A1 publication Critical patent/JPWO2017061515A1/ja
Application granted granted Critical
Publication of JP6616423B2 publication Critical patent/JP6616423B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2054Fleet management
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/008Registering or indicating the working of vehicles communicating information to a remotely located station
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、建設機械及び施工管理システムに関する。
特許文献1に開示されているように、建設機械に設けられたステレオカメラを使って施工現場の画像データを取得する技術が知られている。
特開2013−036243号公報
施工現場の施工には、建設機械の運転者、施工現場で働く作業者、及び施工現場の外部で働く管理者など、多くの人員が関与する。これら人員が施工現場の画像データを円滑に確認できる技術が確立されれば、施工管理が円滑に行われ、施工現場の生産性の向上に寄与することができる。
本発明の態様は、施工現場の画像データを円滑に確認できる建設機械及び施工管理システムを提供することを目的とする。
本発明の第1の態様に従えば、車体と、前記車体に設けられた複数の撮像装置と、複数の前記撮像装置によって取得された2次元画像データのそれぞれを画像処理して3次元画像データを生成するデータ処理部と、前記2次元画像データを前記車体に対応付けられた表示装置に出力するデータ出力部と、を備える建設機械が提供される。
本発明の第2の態様に従えば、建設機械に設けられた複数の撮像装置によって取得された前記建設機械の2次元画像データのそれぞれを画像処理して3次元画像データを生成するデータ処理部と、前記2次元画像データの少なくとも一つを含み、前記建設機械に対応付けられた表示データを表示装置に出力するデータ出力部と、を備える施工管理システムが提供される。
本発明の態様によれば、施工現場の画像データを円滑に確認できる建設機械及び施工管理システムが提供される。
図1は、本実施形態に係る建設機械の一例を模式的に示す斜視図である。 図2は、本実施形態に係る建設機械の一例を模式的に示す側面図である。 図3は、本実施形態に係る建設機械の一例を模式的に示す背面図である。 図4は、本実施形態に係る建設機械の運転室の近傍を示す斜視図である。 図5は、本実施形態に係る建設機械の制御システムを含む施工管理システムの一例を示す機能ブロック図である。 図6は、本実施形態に係る施工管理方法の一例を示すフローチャートである。 図7は、本実施形態に係る施工管理システムの一例を模式的に示す図である。 図8は、本実施形態に係る表示装置の表示例を示す図である。 図9は、本実施形態に係る表示装置の表示例を示す図である。 図10は、本実施形態に係る表示装置の表示例を示す図である。 図11は、本実施形態に係る表示装置の表示例を示す図である。 図12は、本実施形態に係る表示装置の表示例を示す図である。 図13は、本実施形態に係る表示装置の表示例を示す図である。 図14は、本実施形態に係る表示装置の表示例を示す図である。 図15は、本実施形態に係る表示装置の表示例を示す図である。 図16は、本実施形態に係る施工管理システムの一例を模式的に示す図である。
以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する各実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
[第1実施形態]
<建設機械>
図1は、本実施形態に係る建設機械100の一例を示す斜視図である。本実施形態においては、建設機械100が油圧ショベルである例について説明する。以下の説明においては、建設機械100を適宜、油圧ショベル100、と称する。
図1に示すように、油圧ショベル100は、油圧により作動する作業機1と、作業機1を支持する車体2と、車体2を支持する走行装置3と、油圧ショベル1を制御する制御装置50とを備える。車体2は、走行装置3に支持された状態で旋回軸RXを中心に旋回可能である。車体2は、走行装置3の上に配置される。以下の説明においては、車体2を適宜、上部旋回体2、と称し、走行装置3を適宜、下部走行体3、と称する。
上部旋回体2は、オペレータが搭乗する運転室4と、エンジン及び油圧ポンプ等が収容される機械室5と、カウンタウェイト6とを有する。なお、図1では、図2に示すGPSアンテナ31Aの図示が省略されている。
下部走行体3は、一対のクローラ3Cを有する。クローラ3Cの回転により、油圧ショベル100が走行する。なお、下部走行体3が車輪(タイヤ)でもよい。
作業機1は、上部旋回体2に支持される。作業機1は、刃先10を有するバケット11と、バケット11に連結されるアーム12と、アーム12に連結されるブーム13とを有する。バケット11の刃先10は、バケット11に設けられた凸形状の刃の先端部でもよい。バケット11の刃先10は、バケット11に設けられたストレート形状の刃の先端部でもよい。
バケット11とアーム12とは、バケットピン11Pを介して連結される。バケット11は、回転軸AX1を中心に回転可能にアーム12に支持される。アーム12とブーム13とは、アームピン12Pを介して連結される。アーム12は、回転軸AX2を中心に回転可能にブーム13に支持される。ブーム13と上部旋回体2とは、ブームピン13Pを介して連結される。ブーム13は、回転軸AX3を中心に回転可能に上部旋回体2に支持される。
回転軸AX1と、回転軸AX2と、回転軸AX3とは、平行である。回転軸AX1,AX2,AX3と、旋回軸RXと平行な軸とは、直交する。以下の説明においては、回転軸AX1,AX2,AX3の軸方向を適宜、上部旋回体2の車幅方向、と称し、回転軸AX1,AX2,AX3及び旋回軸RXの両方と直交する方向を適宜、上部旋回体2の前後方向、と称する。
運転室4は、上部旋回体2の前部に設けられる。カウンタウェイト6は、上部旋回体2の後部に設けられる。機械室5は、運転室4の後方に配置される。作業機1は、上部旋回体2の前部に連結される。
油圧ショベル100は、バケット11を駆動するバケットシリンダ21と、アーム12を駆動するアームシリンダ22と、ブーム13を駆動するブームシリンダ23とを有する。バケットシリンダ21、アームシリンダ22、及びブームシリンダ23は、作動油によって駆動される油圧シリンダである。
バケットシリンダ21の先端部は、トップピン21Aを介して、リンク部材7の一端部及びリンク部材8の一端部に連結される。リンク部材7の他端部は、リンクピン7Pを介して、アーム12の先端部に連結される。リンク部材8の他端部は、リンクピン8Pを介してバケット11に連結される。バケットシリンダ21の基端部は、フートピン21Bを介してアーム12に連結される。
アームシリンダ22の先端部は、トップピン22Aを介して、アーム12に連結される。アームシリンダ22の基端部は、フートピン22Bを介して、ブーム13に連結される。
ブームシリンダ23の先端部は、トップピン23Aを介して、ブーム13に連結される。ブームシリンダ23の基端部は、フートピン23Bを介して、上部旋回体2に連結される。
なお、バケット11は、チルトバケットでもよい。チルトバケットとは、バケットチルトシリンダの作動により、車幅方向にチルト傾斜可能なバケットである。バケット11が車幅方向にチルト傾斜することにより、油圧ショベル100は、斜面又は平地を自由に成形又は整地することができる。
制御装置50は、コンピュータシステムを含む。制御装置50は、CPU(central processing unit)のようなプロセッサを含む演算装置と、ROM(read only memory)又はRAM(random access memory)のようなメモリ及びストレージを含む記憶装置と、入出力インターフェース装置とを有する。
図2は、本実施形態に係る油圧ショベル100を模式的に示す側面図である。図3は、本実施形態に係る油圧ショベル100を模式的に示す背面図である。
図2に示すように、油圧ショベル100は、バケットシリンダ21に配置されたバケットシリンダストロークセンサ14と、アームシリンダ22に配置されたアームシリンダストロークセンサ15と、ブームシリンダ23に配置されたブームシリンダストロークセンサ16とを有する。バケットシリンダストロークセンサ14は、バケットシリンダ21のストローク長であるバケットシリンダ長を検出する。アームシリンダストロークセンサ15は、アームシリンダ22のストローク長であるアームシリンダ長を検出する。ブームシリンダストロークセンサ16は、ブームシリンダ23のストローク長であるブームシリンダ長を検出する。
図2及び図3に示すように、油圧ショベル100は、上部旋回体2に設けられた撮像装置30と、グローバル座標系で規定される上部旋回体2の位置を検出する位置検出器31と、上部旋回体2の姿勢を検出する姿勢検出器32と、上部旋回体2の方位を検出する方位検出器33と、バケット11の刃先10の位置を検出する刃先位置検出器34と、上部旋回体2を特定するための特定データを含む電波を発信する発信器35とを有する。
グローバル座標系(XgYgZg座標系)とは、GPS(Global Positioning System:全地球測位システム)により規定される絶対位置を示す座標系である。ローカル座標系(XmYmZm座標系)とは、油圧ショベル100の上部旋回体2を基準位置Psとした相対位置を示す車体座標系である。上部旋回体2の基準位置Psは、例えば、上部旋回体2の旋回中心RXに設定される。なお、上部旋回体2の基準位置Psは、回転軸AX3に設定されてもよい。
位置検出器31によって、グローバル座標系で規定される上部旋回体2の3次元位置が検出される。姿勢検出器32によって、水平面(XgYg平面)に対する上部旋回体2の傾斜角度が検出される。方位検出器33によって、基準方位に対する上部旋回体2の方位が検出される。
位置検出器31は、GPS受信機を含む。位置検出器31は、グローバル座標系で規定される上部旋回体2の3次元位置を検出する。位置検出器31は、上部旋回体2のXg方向の位置、Yg方向の位置、及びZg方向の位置を検出する。
上部旋回体2に複数のGPSアンテナ31Aが設けられる。GPSアンテナ31Aは、GPS衛星から電波を受信して、受信した電波に基づく信号を位置検出器31に出力する。位置検出器31は、GPSアンテナ31Aから供給された信号に基づいて、グローバル座標系で規定されるGPSアンテナ31Aの設置位置P1を検出する。位置検出器31は、GPSアンテナ31Aの設置位置P1に基づいて、上部旋回体2の絶対位置Pgを検出する。
GPSアンテナ31Aは、車幅方向に2つ設けられる。位置検出器31は、一方のGPSアンテナ31Aの設置位置P1a及び他方のGPSアンテナ31Aの設置位置P1bのそれぞれを検出する。位置検出器31は、設置位置P1aと設置位置P1bとに基づいて演算処理を実施して、上部旋回体2の絶対位置Pg及び方位を検出する。本実施形態において、上部旋回体2の絶対位置Pgは、設置位置P1aである。なお、上部旋回体2の絶対位置Pgは、設置位置P1bでもよい。
姿勢検出器32は、慣性計測装置(inertial measurement unit:IMU)を含む。姿勢検出器32は、上部旋回体2に設けられる。姿勢検出器32は、例えば運転室4の下部に配置される。上述のように、姿勢検出器32は、上部旋回体2の姿勢を検出する。上部旋回体2の姿勢は、水平面に対する上部旋回体2の傾斜角度を含む。水平面に対する上部旋回体2の傾斜角度は、車幅方向における上部旋回体2の傾斜角度θaと、前後方向における上部旋回体2の傾斜角度θbとを含む。
方位検出器33は、一方のGPSアンテナ31Aの設置位置P1aと他方のGPSアンテナ31Aの設置位置P1bとに基づいて、グローバル座標系で規定される基準方位に対する上部旋回体2の方位を検出する。基準方位は、例えば北である。方位検出器33は、設置位置P1aと設置位置P1bとに基づいて演算処理を実施して、基準方位に対する上部旋回体2の方位を検出する。方位検出器33は、設置位置P1aと設置位置P1bとを結ぶ直線を算出し、算出した直線と基準方位とがなす角度に基づいて、基準方位に対する上部旋回体2の方位を検出する。
なお、方位検出器33は、磁気センサを用いて上部旋回体2の方位を検出してもよい。
刃先位置検出器34は、上部旋回体2の基準位置Psに対する刃先10の相対位置を検出する。本実施形態において、刃先位置検出器34は、バケットシリンダストロークセンサ14の検出結果と、アームシリンダストロークセンサ15の検出結果と、ブームシリンダストロークセンサ16の検出結果と、バケット11の長さL11と、アーム12の長さL12と、ブーム13の長さL13とに基づいて、上部旋回体2の基準位置Psに対する刃先10の相対位置を算出する。
刃先位置検出器34は、バケットシリンダストロークセンサ14で検出されたバケットシリンダ長に基づいて、アーム12に対するバケット11の刃先10の傾斜角θ11を算出する。刃先位置検出器34は、アームシリンダストロークセンサ15で検出されたアームシリンダ長に基づいて、ブーム13に対するアーム12の傾斜角θ12を算出する。刃先位置検出器34は、ブームシリンダストロークセンサ16で検出されたブームシリンダ長に基づいて、上部旋回体2のZ軸に対するブーム13の傾斜角θ13を算出する。
バケット11の長さL11は、バケット11の刃先10と回転軸AX1(バケットピン11P)との距離である。アーム12の長さL12は、回転軸AX1(バケットピン11P)と回転軸AX2(アームピン12P)との距離である。ブーム13の長さL13は、回転軸AX2(アームピン12P)と回転軸AX3(ブームピン13P)との距離である。
刃先位置検出器34は、傾斜角θ11、傾斜角θ12、傾斜角θ13、長さL11、長さL12、及び長さL13に基づいて、上部旋回体2の基準位置Psに対する刃先10の相対位置を算出する。
また、刃先位置検出器34は、位置検出器31で検出された上部旋回体2の絶対位置Pgと、上部旋回体2の基準位置Psと刃先10との相対位置とに基づいて、刃先10の絶対位置Pbを算出する。絶対位置Pgと基準位置Psとの相対位置は、油圧ショベル100の諸元データから導出される既知データである。したがって、刃先位置検出器34は、上部旋回体2の絶対位置Pgと、上部旋回体2の基準位置Psと刃先10との相対位置と、油圧ショベル100の諸元データとに基づいて、刃先10の絶対位置Pbを算出可能である。
なお、刃先位置検出器34は、ポテンショメータ又は傾斜計等の角度センサを含んでもよい。その角度センサが、バケット11の傾斜角θ11、アーム12の傾斜角θ12、及びブーム13の傾斜角θ13を検出してもよい。
発信器35は、上部旋回体2に搭載される。発信器35は、油圧ショベル100の特定データを含む電波を発信する。本実施形態において、発信器35は、ビーコン端末である。ビーコン端末は、特定データが含まれた電波を発信することができる。
図4は、本実施形態に係る油圧ショベル100の運転室4の近傍を上部旋回体2の前方から見た斜視図である。図4に示すように、油圧ショベル100は、運転者が着座する運転席24と、作業機1を操作するための操作装置25と、撮像装置30を操作するための操作装置26と、表示データを表示可能な表示装置27と、2次元画像データを取得可能な撮像装置30とを有する。運転席24、操作装置25、操作装置26、及び表示装置27は、運転室4に配置される。撮像装置30は、上部旋回体2の前部に設けられる。なお、撮像装置30が設けられる位置は、上部旋回体2の前部でなくてもよい。撮像装置30は、油圧ショベル100の前方を撮影可能な位置に設けられていればよい。
操作装置25は、油圧ショベル100の運転者に操作される操作部材を含む。操作部材は、操作レバー又はジョイスティックを含む。本実施形態において、操作装置25は、右操作レバー25Rと、左操作レバー25Lとを含む。操作装置25が操作されることにより、作業機1又は上部旋回体2が操作される。
操作装置26は、油圧ショベル100の運転者に操作される操作部材を含む。操作部材は、押ボタンスイッチを含む。本実施形態において、操作装置26が操作されることにより、撮像装置30による撮影が実施される。操作装置26には、撮像装置30及び制御装置50が操作装置26の操作信号を受付可能状態であることを運転者に知らせるための報知部が設けられている。本実施形態において、報知部は、発光ダイオード(light emitting diode:LED)ランプである。LEDランプが点灯状態において、操作装置26の操作信号が撮像装置30及び制御装置50に受け付けられる。LEDランプが消灯状態において、操作装置26の操作信号が撮像装置30及び制御装置50に受け付けられない。
表示装置27は、液晶ディスプレイ(liquid crystal display:LCD)又は有機ELディスプレイ(organic electro luminescence display:OLED)のようなフラットパネルディスプレイを含む。なお、表示装置27は、タッチパネルでもよい。
撮像装置30は、油圧ショベル100の車外の2次元画像データを取得可能である。撮像装置30は、凸レンズ、凹レンズ、及び凹凸レンズのような光学素子と、CCD(couple charged device)イメージセンサ又はCMOS(complementary metal oxide semiconductor)イメージセンサのような撮像素子とを有する。撮像装置30は、油圧ショベル100の車外の静止画データを取得する。油圧ショベル100の運転者によりシャッターボタンとしての機能を有する操作部材が操作されることにより、撮像装置30は、静止画データを取得する。また、撮像装置30は、所定のサンプリング周期で複数の静止画データを連続して取得可能である。以下の説明においては、所定のサンプリング周期で取得される複数の静止画データを適宜、連続静止画データ、と称する。連続静止画データは、シャッターボタンが操作されなくても、連続的に取得される。
撮像装置30は、少なくとも2つ設けられる。一対の撮像装置30により、ステレオカメラシステムが構成される。本実施形態において、撮像装置30は、撮像装置30A、撮像装置30B、撮像装置30C、及び撮像装置30Dを含む。撮像装置30Aと撮像装置30Bとにより、第1のステレオカメラシステムが構成される。撮像装置30Cと撮像装置30Dとにより、第2のステレオカメラシステムが構成される。
撮像装置30(30A,30B,30C,30D)は、運転室4の前部かつ上部に配置される。また、撮像装置30は、例えば運転室4の内部であって運転室4の前面ガラスの内側に配置される。撮像装置30は、撮像装置30の光学素子の入射面が上部旋回体3の前方を向くように配置される。これにより、撮像装置30は、上部旋回体2の前方に存在する対象物を撮影することができる。本実施形態において、撮像装置30に撮影される対象物は、施工現場の施工対象物を含む。
撮像装置30Aと撮像装置30Bとは、撮像装置30Aの光学素子の光軸と撮像装置30Bの光学素子の光軸とが、例えば平行となるように、間隔をあけて車幅方向に配置される。換言すれば、撮像装置30Aと撮像装置30Bとは同方向を向くように配置される。撮像装置30A及び撮像装置30Bは、対象物をステレオ撮影する。
撮像装置30Cと撮像装置30Dとは、撮像装置30Cの光学素子の光軸と撮像装置30Dの光学素子の光軸とが、例えば平行となるように、間隔をあけて車幅方向に配置される。換言すれば、撮像装置30Cと撮像装置30Dとは同方向を向くように配置される。撮像装置30C及び撮像装置30Dは、対象物をステレオ撮影する。
図4に示すように、車幅方向において、撮像装置30Aは、撮像装置30Bよりも作業機1に近い。車幅方向において、撮像装置30Cは、撮像装置30Dよりも作業機1に近い。撮像装置30Aと撮像装置30Bとはほぼ横一列になるように配置される。撮像装置30Cと撮像装置30Dとほぼ横一列になるように配置される。
油圧ショベル100が水平面に配置された状態において、撮像装置30A,30Bは、撮像装置30A,30Bの光学素子の光軸が、例えば水平面と平行となるように、上部旋回体2に固定される。
油圧ショベル100が水平面に配置された状態において、撮像装置30C,30Dは、撮像装置30C,30Dの光学素子の光軸が上部旋回体2の前方に向かって、例えば下方に傾斜するように、上部旋回体2に固定される。撮像装置30C,30Dは、バケット11で施工対象物を掘削するとき、その施工対象物の2次元画像データが光学素子の視野に入るように、上部旋回体2に固定されている。すなわち、第1のステレオカメラシステムと第2のステレオカメラシステムとによって、油圧ショベル100の少なくとも上下の広い範囲の対象物を撮影することができる。
本実施形態において、撮像装置座標系(XsYsZs座標系)が規定される。撮像装置座標系とは、複数の撮像装置30のうち特定の撮像装置30を基準位置(原点)とした相対位置を示す座標系である。本実施形態において、撮像装置座標系の基準位置が定められる撮像装置30は、撮像装置30Cである。撮像装置座標系の基準位置は、例えば、撮像装置30Cの光学素子の光軸に定められる。なお、基準位置は、撮像装置30Cの撮像素子の中心に定められてもよい。
<制御システム及び施工管理システム>
図5は、本実施形態に係る油圧ショベル100の制御システム200及び施工管理システム300の一例を示す機能ブロック図である。図5に示すように、油圧ショベル100の制御システム200は、撮像装置30(30A,30B,30C,30D)と、撮像装置30を操作する操作装置26と、上部旋回体2の位置を検出する位置検出器31と、上部旋回体2の姿勢を検出する姿勢検出器32と、上部旋回体2の方位を検出する方位検出器33と、刃先10の位置を検出する刃先位置検出器34と、上部旋回体2の特定データを含む電波を発信する発信器35と、時間を計測するタイマー36と、表示装置27と、制御装置50と、通信装置70とを備える。
施工管理システム300は、サーバ301を有する。油圧ショベル100は、通信装置70を介して、施工管理システム300と無線通信可能である。また、施工管理システム300は、携帯機器80と無線通信可能である。携帯機器80は、スマートフォン又はタブレット型パーソナルコンピュータのような携帯型コンピュータを含む。
制御装置50は、入出力部51と、画像データ取得部52と、位置データ取得部53と、姿勢データ取得部54と、撮影可能判定部55と、データ処理部56と、記憶部57と、データ出力部58と、データ受信部59とを有する。
制御装置50のプロセッサは、画像データ取得部52、位置データ取得部53、姿勢データ取得部54、撮影可能判定部55、データ処理部56、データ出力部58、及びデータ受信部59の機能を扱う。制御装置50の記憶装置は、記憶部57の機能を扱う。制御装置50の入出力インターフェース装置は、入出力部51の機能を扱う。
入出力部51は、撮像装置30、操作装置26、位置検出器31、姿勢検出器32、方位検出器33、刃先位置検出器34、発信器35、タイマー36、及び表示装置27のそれぞれとの間において、信号又はデータの送受信を実施する。
画像データ取得部52は、複数の撮像装置30(30A,30B,30C,30D)によって取得された車外の2次元画像データを取得する。車外の2次元画像データは、静止画データを含む。画像データ取得部52は、複数の撮像装置30によって取得された車外の2次元画像データをデータ処理部56に供給する。
位置データ取得部53は、位置検出器31によって取得された上部旋回体2の絶対位置を示す位置データを取得する。位置データ取得部53は、位置検出器31によって取得された上部旋回体2の位置データをデータ処理部56に供給する。
姿勢データ取得部54は、姿勢検出器32によって取得された上部旋回体2の姿勢を示す姿勢データを取得する。また、姿勢検出器32は、IMUを含み、上部旋回体2の動きを検出可能である。姿勢データ取得部54は、姿勢検出器32によって取得された上部旋回体2の動きを含む姿勢データをデータ処理部56に供給する。
撮影可能判定部55は、姿勢検出器32の検出信号に基づいて、操作装置26の操作を許可する。撮影可能判定部55は、姿勢検出器32の検出信号に基づいて、上部旋回体2が静止していると判定したとき、操作装置26の操作を許可し、撮像装置30が操作装置26の操作信号を受付可能状態にする。撮影可能判定部55は、姿勢検出器32の検出信号に基づいて、上部旋回体2が動いていると判定したとき、操作装置26の操作を禁止し、撮像装置30が操作装置26の操作信号を受付不可能状態にする。
データ処理部56は、複数の撮像装置30によって取得された車外の2次元画像データを画像処理して3次元画像データを生成する。本実施形態において、データ処理部56は、車外の静止画データを画像処理して3次元画像データを生成する。なお、データ処理部56は、車外の連続静止画データを画像処理して3次元画像データを生成してもよい。データ処理部56は、一対の撮像装置30で取得された施工現場の同一対象物の2次元画像データにステレオ方式による画像処理を実施して、対象物の3次元画像データを生成する。データ処理部56によって生成される3次元画像データは、例えば、施工現場の3次元地形データである。
記憶部57は、データ処理部56に処理を実行させるためのコンピュータプログラムを記憶する。データ処理部57は、記憶部57に記憶されているコンピュータプログラムに従って、処理を実施する。
また、記憶部57は、油圧ショベル100の固有データを記憶する。油圧ショベル100の固有データは、油圧ショベル100を識別するための識別データを含む。固有データは、例えば、油圧ショベル100の製造番号を含む。なお、固有データが、油圧ショベル100に搭載されている撮像装置30の固有データを含んでもよい。撮像装置30の固有データは、例えば、撮像装置30の製造番号を含む。
サーバ301は、インターネット経由で、通信装置70を介して、油圧ショベル100の制御装置50と無線通信可能である。制御装置50にIPアドレス(internet protocol address)のような識別データ(識別番号)が付与されている。油圧ショベル100の制御装置50とその油圧ショベル100に設けられている撮像装置30とは関連付けられている。サーバ301には、複数の油圧ショベル100それぞれの制御装置50の識別データが登録されている。サーバ301は、その識別データに基づいて、インターネット経由で取得した2次元画像データ又は3次元画像データが、どの油圧ショベル100の撮像装置30に基づいて生成された2次元画像データ又は3次元画像データであるのかを判定することができる。
以下の説明においては、2次元画像データ及び3次元画像データの一方又は両方を含むデータを適宜、表示データ、と称する。すなわち、表示データは、2次元画像データを含むデータ、3次元画像データを含むデータ、及び2次元画像データと3次元画像データとの両方を含むデータの少なくとも一つのデータである。本実施形態において、表示データにおける2次元画像データ及び3次元画像データは、静止画データである。表示データは、特定の表示装置に表示させるためのデータである。表示データは、油圧ショベル100(車体2)に対応付けられたデータである。
表示データは、撮像装置30による撮像時データを更に含む。撮像装置30による撮像時データとは、表示データの基となる2次元画像データを取得する撮像装置30がその2次元画像データを取得したときに取得されるデータをいう。撮像装置30が2次元画像データを取得したときは、操作装置26が操作されたとき、及び画像データ取得部52が撮像装置30から2次元画像データを取得したときの少なくとも一方を含む。撮像装置30が2次元画像データを取得したときは、例えば、操作装置26が操作されることによって操作装置26によって生成された操作信号が入出力部51を介してデータ処理部56に入力されたときである。データ処理部56は、画像データ取得部52から2次元画像データが供給されたとき又は操作装置26から操作信号が供給されたときに基づいて、撮像装置30が2次元画像データを取得したときを判定することができる。
本実施形態において、撮像装置30による撮像時データは、撮像装置30の撮像時における油圧ショベル100の位置データ、油圧ショベル100の姿勢データ、及び時刻データの少なくとも一つを含む。データ処理部56は、位置検出器31から位置データ取得部53を介して、2次元画像データが取得された時点の上部旋回体2の絶対位置を示す位置データを取得する。データ処理部56は、姿勢検出器32から姿勢データ取得部54を介して、2次元画像データが取得された時点の上部旋回体2の姿勢又は動きを含む姿勢データを取得する。データ処理部56は、タイマー36から、2次元画像データが取得された時点を示す時刻データを取得する。なお、時刻データは、2次元画像データが取得された日付を含んでもよい。
本実施形態において、データ処理部56は、撮像装置30による撮像時データを2次元画像データ及び3次元画像データの少なくとも一方に付与して、表示データを生成する。
データ出力部58は、データ処理部56で生成された、特定の表示装置に表示させるための表示データを制御装置50から出力する。データ出力部58は、油圧ショベル100又はその油圧ショベル100に設けられている撮像装置30に対応付けられた表示データを特定の表示装置に出力する。本実施形態において、データ出力部58は、表示データを通信装置70に出力する。
また、データ出力部58は、所定のサンプリング周期で、撮像装置30によって取得された車外の連続静止画データをサーバ301に出力する。
データ受信部59は、通信装置70が受信した信号又はデータを取得する。
通信装置70は、施工管理システム300のサーバ301と無線通信可能である。通信装置70は、表示データをサーバ301に送信する。本実施形態において、通信装置70は、インターネット経由で、表示データをサーバ301に送信する。なお、通信装置70は、携帯電話網又は衛星通信のような他の通信形態を利用して、表示データをサーバ301に送信してもよい。
また、通信装置70は、所定のサンプリング周期で、撮像装置30によって取得された車外の連続静止画データタをサーバ301に送信する。
サーバ301は、コンピュータシステムを含む。サーバ301は、CPUのようなプロセッサを含む演算装置302と、ROM又はRAMのようなメモリ及びストレージを含む記憶装置303と、液晶ディスプレイ又は有機ELディスプレイのようなフラットパネルディスプレイを含む表示装置304と、通信装置305とを有する。
油圧ショベル100の通信装置70から送信された表示データは、サーバ301の通信装置305に受信される。サーバ301の通信装置305に受信された表示データは、記憶装置303に記憶される。
また、サーバ301は、油圧ショベル100から供給された表示データを、通信装置305を介して携帯機器80に送信することができる。また、サーバ301は、油圧ショベル100の撮像装置30から供給された連続静止画データを、通信装置305を介して携帯機器80に送信することができる。
携帯機器80は、操作装置81と、表示装置82と、入出力部83と、処理部84と、記憶部85と、通信部86と、受信部87とを有する。
操作装置81は、例えばタッチパネル又はキーボードのような入力デバイスを含む。操作部81が操作されることにより、操作信号が生成される。
表示装置82は、液晶ディスプレイ又は有機ELディスプレイのようなフラットパネルディスプレイを含む。
入出力部83は、操作装置81及び表示装置82と、処理部84との間において、信号又はデータの送受信を実施するインターフェース回路を含む。
処理部84は、CPUのようなプロセッサを含む。記憶部85は、ROM又はRAMのようなメモリ及びストレージを含む。
通信部86は、サーバ301と無線通信可能である。通信部86は、インターネット経由で、サーバ301と無線通信可能である。通信部86は、サーバ301から表示データを受信可能である。また、通信部86は、操作部81が操作されることにより生成された操作信号をサーバ301に送信可能である。
サーバ301は、インターネット経由で、通信部86を介して、携帯機器80の処理部84と無線通信可能である。処理部86にIPアドレス又はメールアドレスのような識別データが付与されている。サーバ301には、複数の携帯機器80それぞれの処理部86の識別データが登録されている。サーバ301は、その識別データに基づいて、インターネット経由で取得した操作信号が、どの携帯機器80から供給されたのかを判定することができる。また、サーバ301は、その識別データに基づいて、どの携帯機器80に表示データを送信するのかを判定することができる。すなわち、サーバ301は、サーバ301に登録されている識別データに対応付けられた携帯機器80の表示装置82に表示データを出力することができる。なお、サーバ301と携帯機器80とは、携帯電話網又は衛星通信網等を利用して無線通信してもよい。
受信部87は、油圧ショベル100に設けられているビーコン端末を含む発信器35からの電波を受信する。
<施工管理方法>
次に、本実施形態に係る施工管理方法について説明する。図6は、本実施形態に係る施工管理方法の一例を示すフローチャートである。
施工現場において油圧ショベル100が稼働する。油圧ショベル100は、運転室4に搭乗している運転者によって操作される。油圧ショベル100の稼働において、油圧ショベル100の位置データが取得される。また、油圧ショベル100の稼働において、油圧ショベル100の姿勢データが取得される(ステップS10)。
撮像装置30は、油圧ショベル100の車外の連続静止画データを取得する。撮像装置30で取得された連続静止画データは、所定のサンプリング周期でサーバ301に送信される。撮像装置30で取得された連続静止画データは、サーバ301を経由して、携帯機器80にリアルタイムに逐次送信される。携帯機器80の表示装置82は、撮像装置30で取得された連続静止画データをリアルタイムで表示する。
撮影可能判定部55は、姿勢検出器32の検出信号に基づいて、撮像装置30による撮影が可能な状態か否かを判定する(ステップS20)。
例えば、下部走行体3が走行中又は上部旋回体2が旋回中においては、撮像装置30が動いたり振動したりする。撮像装置30が動いたり振動したりしている状態で撮像装置30による撮影が実施されると、撮像装置30がぶれてしまい、取得される2次元画像データの質が低下する可能性がある。姿勢検出器32は、上部旋回体2の動きを検出可能である。上部旋回体2が動いている場合、姿勢検出器32の検出信号は、例えば大きくなったり、大きく変動したりする。上部旋回体2が静止している場合、姿勢検出器32の検出信号は、例えば小さくなる。撮影可能判定部55は、姿勢検出器32の検出信号に基づいて、上部旋回体2が静止しているか否かを判定することができる。
撮影可能判定部55は、姿勢検出器32の検出信号をモニタする。姿勢検出器32の検出信号が予め設定されている閾値以上である場合、上部旋回体2が動いていて撮像装置30がぶれるため、撮影可能判定部55は、撮影不可能状態であると判定する。姿勢検出器32の検出信号が閾値よりも小さい場合、上部旋回体2がほぼ静止していて撮像装置30がぶれないため、撮影可能判定部55は、撮影可能状態であると判定する。
ステップS20において、撮影不可能状態であると判定された場合(ステップS20:No)、撮影可能判定部55は、操作装置26の操作を禁止し、撮像装置30が操作装置26の操作信号を受付不可能状態にする。撮像装置30が操作装置26の操作信号を受付不可能状態である場合、操作装置26に設けられているLEDランプは消灯する。これにより、油圧ショベル100の運転者は、撮像装置30が操作装置26の操作信号を受付不可能状態であることを認識することができる。
ステップS20において、撮影可能状態であると判定された場合(ステップS20:Yes)、撮影可能判定部55は、操作装置26の操作を許可し、撮像装置30が操作装置26の操作信号を受付可能状態にする。撮像装置30が操作装置26の操作信号を受付可能状態である場合、操作装置26に設けられているLEDランプは点灯する。これにより、油圧ショベル100の運転者は、撮像装置30が操作装置26の操作信号を受付可能状態であることを認識することができる。
なお、本実施形態において、撮影可能判定部55は、姿勢検出器32の検出信号が閾値よりも小さい状態が所定期間(例えば3秒間)継続した後、操作装置26の操作を許可する。
操作装置26の操作が許可され、操作装置26のLEDランプが点灯した後、例えば施工現場の測量のために、撮像装置30による撮影が実施される。油圧ショベル100の運転者は、操作装置26を操作する。操作装置26が操作されることにより、操作信号26で生成された操作信号が、制御装置50の入出力部51に送信される。入出力部51は、操作装置26の操作信号を取得する(ステップS30)。
操作装置26の操作信号が入出力部51に取得されることにより、その操作信号は、複数の撮像装置30A,30B,30C,30Dのそれぞれに供給される。複数の撮像装置30A,30B,30C,30Dは、供給された操作信号に基づいて、施工現場の対象物の2次元画像データを同時に取得する。本実施形態において、2次元画像データは、操作部材が操作されることにより撮像装置30で取得される静止画データである。本実施形態において、2次元画像データは、ビットマップ画像データである。複数の撮像装置30A,30B,30C,30Dのそれぞれで取得された複数の2次元画像データは、画像データ取得部52に取得される。本実施形態においては、4つの撮像装置30A,30B,30C,30Dによって取得された4枚の2次元画像データが、画像データ取得部52に取得される。画像データ取得部52は、複数の撮像装置30によって取得された複数の2次元画像データをデータ処理部56に出力する。
また、撮像装置30が2次元画像データを取得した時点と同じ時点において取得された撮像時データが入出力部51に取得される。上述のように、撮像時データは、撮像装置30が撮像したときにおける油圧ショベル1の位置データ、油圧ショベル1の姿勢データ、及び時刻データの少なくとも一つを含む。
データ処理部56は、複数の2次元画像データ及び撮像時画像データを取得する(ステップS40)。
データ処理部56は、複数の撮像装置30によって取得された2次元画像データをステレオ方式で画像処理して、3次元画像データを生成する。3次元画像データは、上部旋回体2の位置データを基準として生成される。すなわち、3次元画像データを構成する各ビットの位置は、グローバル座標系に基づく座標によって規定される。
また、データ処理部56は、2次元画像データ及び3次元画像データの一方又は両方に、撮像時データを付与する。本実施形態においては、2次元画像データ及び3次元画像データの両方に、撮像時データが付与される。これにより、2次元画像データと撮像時データとを含む第1の表示データと、3次元画像データと撮像時データとを含む第2の表示データとが生成される(ステップS50)。
なお、本実施形態においては、データ処理部56は、生成した3次元画像データを、姿勢データに基づいて補正する。例えば、上部旋回体2が水平面に対して傾斜した状態で2次元画像データが取得された場合、生成される3次元画像データも、水平面に対して傾斜したデータとなる。データ処理部56は、生成される3次元画像データが、重力方向に垂直な水平面に載った状態の油圧ショベル100によって撮影されたデータになるように、姿勢データに基づいて3次元画像データの傾き補正を実施する。
データ出力部58は、データ処理部56で生成された表示データを通信装置70に出力する(ステップS60)。3次元画像データが傾き補正されている場合、補正後の3次元画像データがデータ出力部58から出力される。
通信装置70は、表示データをサーバ301に送信する(ステップS70)。データ処理部56は、2次元画像データを、例えばJPEG(joint photographic experts group)方式で圧縮して、JPEGファイルに変換する。通信装置70は、圧縮された2次元画像データを送信する。
制御装置50の記憶部57には、送信先のサーバ301を特定するためのサーバ特定データが記憶される。
サーバ301の通信装置305は、表示データを受信する。サーバ301の記憶装置303は、受信した表示データを記憶する。
図7は、サーバ301が複数の油圧ショベル100から表示データを受信する状態を模式的に示す図である。図7に示すように、複数の施工現場において複数の油圧ショベル100が稼働する。なお、図7は一例であって、図5に示した制御システム200等を備えた油圧ショベル100が一つの施工現場に少なくとも一台稼働してもよい。サーバ301は、複数の油圧ショベル100から、2次元画像データ及び3次元画像データの少なくとも一方を含む表示データを収集する。収集された表示データは、サーバ301の記憶装置304に記憶される。
なお、本実施形態において、サーバ301の記憶装置303には、表示データを受信する対象となる油圧ショベル100の制御装置50のIPアドレスが予め登録されている。演算装置302は、油圧ショベル100から送信され通信装置305で受信した表示データと、記憶装置303に登録されているIPアドレスとを照合する。演算装置302は、記憶装置303に登録されている油圧ショベル100から送信された表示データを受け付ける。油圧ショベル100から送信された表示データが記憶装置303に記憶される。
図7に示すように、油圧ショベル100の運転者Ma又は施工現場で働く作業者Mbが携帯機器80を所持する場合、携帯機器80は、携帯機器80に設けられた表示装置82に表示データを表示可能である。
表示装置82に表示データを表示させる場合、例えば携帯機器80にインストールされているアプリケーションソフトが起動される。アプリケーションソフトが起動し、起動画面が表示装置82に表示された後、ログイン画面が表示装置82に表示される。運転者Ma又は作業者Mbにはログインアカウントが付与されている。運転者Ma又は作業者Mbは、ログイン画面を見ながら識別情報(ID)及びパスワード等の認証データを入力する。
携帯機器80の表示装置82に表示データを表示させる場合、携帯機器80からサーバ301に、表示データを要求する要求信号が送信される(ステップS80)。本実施形態においては、携帯機器80の操作装置81が運転者Ma又は作業者Mbによって操作されることにより、処理部84において要求信号が生成される。携帯機器80の操作装置81が操作され、運転者Ma又は作業者Mbのログインアカウントが入力されることにより、要求信号が生成される。
生成された要求信号は、通信部86を介してサーバ301に送信される。
なお、ステップS80の処理は行われなくてもよい。例えば予めサーバ301の記憶装置303に登録された携帯機器80の識別データと制御装置50の識別データとを対応付けておき、サーバ301が表示データを受信した場合、表示データとともに受信した制御装置50の識別データ(IPアドレス)と記憶装置303に登録されている識別データ(IPアドレス)とを照合する。照合の結果、サーバ301は、受信した制御装置50の識別データ(IPアドレス)に対応付けられた携帯機器80(表示装置)の識別データ(IPアドレス)を記憶装置303から抽出し、抽出された識別データ(IPアドレス)に対応する携帯機器80に表示データを送信する。つまり、データ出力部58から出力された表示データは、建設機械(例えば油圧ショベル100)と携帯機器80(表示装置)との対応関係に基づいて携帯機器80(表示装置)に出力される。この対応関係は、サーバ301の記憶装置303に予め記憶されている。
また、データ出力部58から出力された表示データは、自動的に、サーバ301を経由して、記憶装置303に登録されている携帯機器80に送信されてもよい。なお、運転者Ma又は作業者Mbにより操作された携帯機器80からの要求に基づいて、すなわち、手動により、データ出力部58から出力された表示データが、サーバ301を経由して、携帯機器80に送信されてもよい。
また、上述したように、本実施形態においては、撮像装置30で取得された連続静止画データは、サーバ301を経由して、携帯機器80にリアルタイムに逐次送信される。携帯機器80の表示装置82は、撮像装置30で取得された連続静止画データをリアルタイムで表示することができる。
携帯機器80からサーバ301に要求信号が送信され、携帯機器80がサーバ301にアクセスすると、記憶装置303に記憶されている複数の表示データの一覧データが、サーバ301から携帯機器80に送信される。サーバ301は、そのサーバ301に登録されている携帯機器80のIPアドレスのような識別データを参照して、要求信号を送信した携帯機器80に一覧データを送信する。
図8は、サーバ301から携帯機器80に送信された一覧データが携帯機器80の表示装置82に表示されている状態を模式的に示す図である。
図8に示すように、一覧データとして、例えば、2次元画像データが取得された時刻、2次元画像データが取得された施工現場及びその施工現場における位置、2次元画像データを取得した油圧ショベル100、及び表示データのファイル名が表示される。表示データは、油圧ショベル100を特定するデータと、撮像時データとを含む。そのため、表示装置82は、一覧データとして、表示データのファイル名に加えて、2次元画像データが取得された時刻及び位置と、2次元画像データを取得した油圧ショベル100とを表示させることができる。
また、一覧データとして、2次元画像データが取得された位置の緯度及び経度が表示されてもよいし、2次元画像データが取得された地名が表示されてもよい。また、一覧データとして、2次元画像データ又は3次元画像データのサムネイルが表示されてもよい。
また、一覧データとして、ログインアカウントに紐付けられた施工現場の一覧が表示されてもよい。例えば、ある運転者Ma又は作業者Mbが複数の施工現場を担当している場合、それら複数の施工現場の一覧が表示装置82に表示されてもよい。また、運転者Ma又は作業者Mbが表示装置82に表示された複数の施工現場のうち特定の施工現場を選択したとき、その選択された施工現場に存在する複数の油圧ショベル100の一覧が表示装置82に表示されてもよい。
運転者Ma又は作業者Mbは、操作装置81を操作し、一覧データのなかから、表示装置82に表示させたい表示データを選択する。例えば、施工現場に存在する複数の油圧ショベル100の一覧が表示装置82に表示されている場合、運転者Ma又は作業者Mbは、操作装置81を操作して、複数の油圧ショベル100のなかから、表示装置82に表示させたい画像データを取得した油圧ショベル100を選択してもよい。操作装置81が操作されることによって生成された要求信号は、通信部86を介して、サーバ301に送信される。サーバ301は、受信した要求信号に基づいて、選択された表示データを携帯機器80の表示装置82に送信する(ステップS90)。
サーバ301から送信された表示データは、通信部86を介して携帯機器80の処理部84に供給される。処理部84は、携帯機器80の表示装置82に表示データを表示させる(ステップS100)。
図9は、2次元画像データのサムネイルが表示装置82に表示されている例を示す。図9に示すように、複数の2次元画像データのサムネイルが表示装置82に表示される。図9に示す例では、2次元画像データのサムネイルとともに、2次元画像データが取得された日時が表示される。なお、2次元画像データのサムネイルとともに、2次元画像データが取得された位置、及び2次元画像データを取得した油圧ショベル100の製造番号が表示装置82に表示されてもよい。
また、3次元画像データのサムネイルが表示装置82に表示される。
図10及び図11は、表示装置82に表示される表示データの一例を示す図である。運転者Ma又は作業者Mbが図9に示したサムネイルからある画像データを選択することにより、図10に示す表示データ及び図11に示す表示データの少なくとも一方が表示装置82に表示される。
図10は、表示データとして2次元画像データが表示される例を示す。図11は、表示データとして3次元画像データが表示される例を示す。図10及び図11に示すように、表示装置82の表示画面の上部には、「2次元」及び「3次元」のインジケータが表示される。運転者Ma又は作業者Mbにより2次元画像データの表示が指示されることにより、図10に示すように「2次元」のインジケータが選択され、2次元画像データが表示される。運転者Ma又は作業者Mbにより3次元画像データの表示が指示されることにより、図11に示すように「3次元」のインジケータが選択され、3次元画像データが表示される。
また、図10に示すように、2次元画像データとともに、撮像時データである、撮影時刻を示すデータが表示装置82に表示される。なお、2次元画像データとともに、撮影場所(施工現場及び地面)を示すデータ、及び2次元画像データを取得した油圧ショベル100の製造番号が、表示装置82に表示されてもよい。
図11及び図12は、表示装置82に表示される表示データの一例を示す図である。図11及び図12は、表示データとして3次元画像データが表示される例を示す。
図11に示すように、施工現場のある部分の3次元画像データが表示されてもよい。図11は、3次元画像データがメッシュにより表示される例を示す。また、3次元画像データとともに、撮影時データである、撮影時刻を示すデータが表示装置82に表示される。なお、3次元画像データとともに、3次元画像データとともに、撮像時データである、撮影時刻を示すデータと、撮影場所(施工現場及び地面)を示すデータ、及び3次元画像データを取得した油圧ショベル100の製造番号とが、表示装置82に表示されてもよい。
図12に示すように、施工現場全体の3次元画像データが表示されてもよい。図12に示す例では、3次元画像データとともに、撮像時データである、撮影時刻を示すデータと、撮影場所(施工現場及び地面)を示すデータとが、表示装置82に表示される。また、2次元画像データを取得した油圧ショベル100の製造番号が、表示装置82に表示される。また、他の表示データ(2次元画像データ)のサムネイルが、表示装置82に表示される。
なお、表示装置82に、2次元画像データと3次元画像データとが同時に表示されてもよい。
このように、本実施形態においては、油圧ショベル100のデータ出力部58から出力された表示データは、サーバ301を介して、携帯機器80の表示装置82に出力される。データ出力部58は、油圧ショベル100又はその油圧ショベル100に設けられている携帯機器80に対応付けられた表示データを、サーバ301を介して携帯機器80の表示装置82に出力する。
[効果]
以上説明したように、本実施形態によれば、上部旋回体2に設けられた複数の撮像装置30を使って、施工現場の測量が実施される。複数の撮像装置30によって取得された2次元画像データは、データ処理部56によってステレオ方式で画像処理され、3次元画像データに変換される。2次元画像データ及び3次元画像データの一方又は両方を含む表示データが携帯機器80の表示装置82に表示されることにより、運転者Ma又は作業者Mbは、表示装置82の表示結果に基づいて、施工現場の現況地形又は施工現場の施工の進捗状況を把握することができる。
また、油圧ショベル100の運転者Maは、表示装置82の表示結果に基づいて、撮像装置30による撮像状況の不備の有無を確認することができる。撮像状況の不備とは、例えば、撮影すべき場所とは異なる場所が複数の撮像装置30による撮影されること、及び複数の撮像装置30による撮影が行われたときに対象物とは関係ない機械又は設備機器等が映りこんでしまい撮影が正しく行われないことの少なくとも一方を含む。油圧ショベル100の運転者Maは、表示装置82を視認して、自身が撮像装置30を使って取得した2次元画像データ又は3次元画像データの良し悪しを認識することができる。例えば、表示装置82を視認して、撮影状況に不備が発見された場合には、運転者Maは、再度撮影し直すといった措置を講ずることができる。
このように、本実施形態においては、運転者Ma又は作業者Mbが、施工現場の2次元画像データ又は3次元画像データを円滑に確認することができるため、施工管理が円滑に行われ、施工現場の生産性が向上する。
また、本実施形態においては、表示装置82に表示させるための表示データは、2次元画像データ及び3次元画像データの一方又は両方を含む。表示データは、撮像を行った撮像装置30が設けられている油圧ショベル100と対応付けられている。そのため、運転者Ma又は作業者Mbは、表示装置82に表示される表示データが、どの油圧ショベル100の撮像装置30に基づいて生成された表示データなのかを認識することができる。したがって、表示データの管理、及びその表示データに基づく施工管理は円滑に実施される。
また、本実施形態においては、表示データは、撮像装置30による撮像時データを含む。表示データが撮像時データを含むことにより、表示データの管理及び施工管理をより適切に実施することができる。
また、撮影時データが、撮像装置30の撮像時における油圧ショベル100の位置データ、油圧ショベル100の姿勢データ、及び時刻データを含むことにより、2次元画像データ又は3次元画像データが、どの油圧ショベル100の撮像装置30に基づいて生成されたのかという情報のみならず、いつ、どこで、どのような状況で撮像されたかという情報も得ることができる。
また、本実施形態においては、姿勢検出器32の検出信号に基づいて、操作装置26の操作を許可する撮影可能判定部55が設けられる。そのため、上部旋回体2が動いていたり振動していたりした状態において撮像装置30による撮像が実施されてしまうことが防止される。したがって、良質な画像データ(2次元画像データ又は3次元画像データ)を取得することができる。
また、表示データが携帯機器80の表示装置82に表示されることにより、油圧ショベル100の運転者Ma及び施工現場で働く作業者Mbのみならず、例えば施工現場から離れた場所に存在する管理者も、携帯機器80を所持することにより、表示データをその場で確認することができる。
また、本実施形態によれば、油圧ショベル100のデータ出力部58から出力された表示データは、サーバ301を介して、携帯機器80の表示装置82に出力される。これにより、施工現場の施工に関与する多くの人員に、サーバ301を介して表示データを円滑に配信することができる。
また、本実施形態によれば、施工管理システム300のサーバ301は、複数の油圧ショベル100から表示データを収集する。施工管理システム300は、サーバ301により収集された複数の表示データに基づいて、複数の施工現場を管理することができる。例えば、施工現場Aの油圧ショベル100から所定期間毎(例えば1日毎)送信される表示データに基づいて、施工現場Aの施工の進捗状況を管理することができる。同様に、施工現場Bから送信された表示データに基づいて、施工現場Bの施工の進捗状況を管理することができ、施工現場Cから送信された表示データに基づいて、施工現場Cの施工の進捗状況を管理することができる。また、一つの施工現場内において収集された複数の表示データに基づいて、施工の進捗状況を管理することもできる。
また、本実施形態においては、携帯機器80の操作装置81が操作されることにより生成された要求信号がサーバ301に送信されることによって、サーバ301から携帯機器80に一覧データ又は表示データが送信される。運転者Ma又は作業者Mbの要求に応じて、表示装置82に一覧データ又は表示データが表示されるので、通信設備の負荷が低減される。
<第2実施形態>
第2実施形態について説明する。図13は、本実施形態に係る表示装置82に表示される表示データの一例を示す図である。図13は、複数の表示データが継ぎ合わされて表示される例を示す。各表示データは、グローバル座標系で規定されている。各表示データのエッジ(継部)の緯度及び経度は、撮像時データの位置データから導出される既知データである。そのため、隣り合う表示データの緯度及び経度が合致するように複数の表示データが継ぎ合わせられることにより、広範囲な施工現場の表示データを表示させることができる。
複数の表示データの継ぎ合わせは、撮像時データの時刻データに基づいて実施される。施工の進行により、施工現場の地形は時々刻々と変化する。継ぎ合わせられる複数の表示データの撮像時刻が異なる場合、一方の表示データは施工が進行する前の表示データであり、他方の表示データは施工が進行した後の表示データである可能性がある。このような場合、複数の表示データを継ぎ合わせても、施工現場の現況を正確に把握できない可能性がある。撮像時データの時刻データに基づいて、実質的に同一時刻に撮像された2次元画像データに基づく表示データ同士を継ぎ合わせることにより、施工現場の現況を正確に把握することができる。
なお、複数の表示データが継ぎ合わされた表示データを生成する処理は、油圧ショベル100のデータ処理部56が実施してもよいし、サーバ301の演算装置302が実施してもよいし、携帯機器80の処理部84が実施してもよい。
なお、図13では、2つの表示データが継ぎ合わせられる例を示す。3つの表示データが継ぎ合わせられてもよいし、4つの表示データが継ぎ合わせられてもよいし、5つ以上の任意の数の表示データが継ぎ合わせられてもよい。
<第3実施形態>
第3実施形態について説明する。図14は、本実施形態に係る表示装置82に表示される表示データの一例を示す図である。図14は、3次元画像データから導出された、3次元地形の断面を表示する例を示す。断面を導出する処理は、油圧ショベル100のデータ処理部56が実施してもよいし、サーバ301の演算装置302が実施してもよいし、携帯機器80の処理部84が実施してもよい。
<第4実施形態>
第4実施形態について説明する。図15は、本実施形態に係る表示装置82に表示される表示データの一例を示す図である。図15に示すように、表示装置82に少なくとも2つの表示データが同時に表示されてもよい。図15に示す例では、表示装置82の表示画面82に、施工現場の現況地形を示す3次元画像データと、その現況地形の断面を示す断面データとが、並列に同時に表示される。なお、施工現場の現況地形を上空から見た2次元画像データと、その現況地形の断面を示す断面データとが、表示装置82の表示画面に並列に同時に表示されてもよい。
<第5実施形態>
第5実施形態について説明する。図16は、本実施形態に係る施工管理方法の一例を模式的に示す図である。本実施形態においては、発信器35を使った施工管理方法について説明する。
上述したように、発信器35は、その発信器35が搭載されている油圧ショベル100の特定データを含む電波を発信するビーコン端末である。本実施形態においては、油圧ショベル100の発信器35及び携帯機器80の受信部87を使って、携帯機器80の操作装置81を操作して要求信号を出力することなく、サーバ301から特定の表示データを携帯機器80の表示装置82に表示させる例について説明する。
図16に示すように、油圧ショベル100に電波を発信する発信器35が設けられている。携帯機器80は、発信器35からの電波を受信する受信部87を備えている。
油圧ショベル100及び携帯機器80はそれぞれ、施工管理システム300のサーバ301と通信可能である。
発信器35は、油圧ショベル100に搭載される。発信器35は、油圧ショベル100の特定データを含む電波を発信する。発信器35と携帯機器80とは、無線通信する。携帯機器80の受信部87は、発信器35から発信された特定データを含む電波を受信する。本実施形態において、発信器35は、ビーコン端末である。ビーコン端末は、特定データが含まれた電波を発信することができる。
特定データは、発信器35及びその発信器35が設けられる油圧ショベル100を特定するデータを含む。発信器35は、複数の油圧ショベル100のそれぞれに搭載される。発信器35は、油圧ショベル100に関連付けられる。複数の発信器35はそれぞれ、その発信器35が設けられる油圧ショベル100の特定データを含む電波を発信する。例えば、複数の油圧ショベル100のうち、第1の油圧ショベル100に設けられる発信器35は、第1の油圧ショベル100を特定する第1の特定データを含む電波を発信する。複数の油圧ショベル100のうち、第2の油圧ショベル100に設けられる発信器35は、第2の油圧ショベル100を特定する第2の特定データを含む電波を発信する。
携帯機器80は、油圧ショベル100の運転者Ma又は作業者Mbに所持される。携帯機器80には、発信器35からの電波を受信するためのアプリケーションソフトがインストールされている。
表示装置82に表示データを表示させる場合、例えば携帯機器80にインストールされているアプリケーションソフトが起動される。アプリケーションソフトが起動し、起動画面が表示装置82に表示された後、ログイン画面が表示装置82に表示される。運転者Ma又は作業者Mbにはログインアカウントが付与されている。運転者Ma又は作業者Mbは、ログイン画面を見ながら識別情報(ID)及びパスワード等の認証データを入力する。
発信器35から発信された電波を受信すると、携帯機器80は、アプリケーションソフトに基づいて、処理を実施する。
携帯機器80は、受信した電波に含まれる特定データに基づいて、複数の発信器35のうちから電波を発信した発信器35を特定することができる。発信器35は、油圧ショベル100に関連付けられている。携帯機器80は、受信した電波に含まれる特定データに基づいて、電波を発信した発信器35が設けられた油圧ショベル100を特定する。例えば、携帯機器80は、第1の特定データを含む電波を受信したとき、その電波が第1の油圧ショベル100の発信器35から発信された電波であることを特定する。携帯機器80は、第2の特定データを含む電波を受信したとき、その電波が第2の油圧ショベル100の発信器35から発信された電波であることを特定する。
油圧ショベル100の特定データは、油圧ショベル100を特定するための識別データを含む。油圧ショベル100の特定データは、機種データ及び機番データの少なくとも一方を含む。
携帯機器80は、受信した電波の強度を検出する。発信器35からの距離に基づいて、携帯機器80に受信される電波の強度は変化する。携帯機器80の受信部87は、検出した電波の強度に基づいて、発信器35と携帯機器80との距離を導出可能である。
図16に示すように、発信器35は、通信エリアCAを有する。発信器35の通信エリアCAは、発信器35から発信された電波を所定値よりも高い強度で受信できるエリアである。図16に示すように、携帯機器80は、発信器35の通信エリアCAに存在するとき、発信器35からの電波を受信することができる。携帯機器80は、発信器35の通信エリアCAの外に存在するとき、発信器35からの電波を受信することができない。発信器35と携帯機器80とが無線通信可能な距離は、近距離である。発信器35と携帯機器80とが無線通信可能な距離の最大値は、例えば20[m]である。
次に、本実施形態に係る施工管理方法の一例について説明する。サーバ301の記憶装置303には、複数の油圧ショベル100から収集された複数の表示データが記憶されている。
油圧ショベル100に設けられている発信器35は、その油圧ショベル100の特定データを含む電波を発信する。携帯機器80を所持した運転者Ma(又は作業者Mb)が油圧ショベル100に接近し、携帯機器80が通信エリアCAに進入すると、携帯機器80の受信部87は、発信器35から発信された電波を受信する。
携帯機器80の処理部84は、受信部87で受信した電波から油圧ショベル100の特定データを取得する。以下の説明においては、携帯機器80が受信した電波を発信した発信器35を有する油圧ショベル100を適宜、特定油圧ショベル100、と称する。
携帯機器80の受信部87が特定油圧ショベル100の発信器35から電波を受信すると、携帯機器80の処理部84は、要求信号を生成する。処理部84によって生成される要求信号は、特定油圧ショベル100の撮像装置30によって取得された2次元画像データに基づく表示データの送信をサーバ301に要求する信号である。処理部84によって生成された要求信号は、通信部86を介して、サーバ301に送信される。
サーバ301の記憶装置303には、特定油圧ショベル100のデータ出力部58から出力された表示データが既に記憶されている。サーバ301は、受信した要求信号に基づいて、特定油圧ショベル100によって取得された表示データを、要求信号を送信した携帯機器80に送信する。
このように、特定油圧ショベル100のデータ出力部58は、特定油圧ショベル100から発信された電波を受信した携帯機器80の表示装置82に、特定油圧ショベル100の表示データを出力する。
これにより、携帯機器80の表示装置82は、特定油圧ショベル100の表示データを表示することができる。
以上説明したように、本実施形態によれば、発信器35及び受信部87を使うことによって、携帯機器80を所持した運転者Ma又は作業者Mbが特定油圧ショベル100に接近するだけで、自動的に、携帯機器80の表示装置82に特定油圧ショベル100の表示データを表示させることができる。
なお、サーバ301の記憶装置303に、特定油圧ショベル100から供給された表示データが複数記憶されている場合、発信器35からの電波を受信して携帯機器80が要求信号を送信した後、サーバ301から携帯機器80に表示データが送信される前に、特定油圧ショベル100から収集された複数の表示データの一覧データがサーバ301から携帯機器80に送信されてもよい。運転者Ma又は作業者Mbは、一覧データから特定の表示データを選択し、操作装置81を操作する。操作装置81が操作されることにより、選択された表示データを要求する要求信号がサーバ301に送信される。サーバ301は、選択された表示データを携帯機器80に送信する。これにより、携帯機器80の表示装置82は、選択された表示データを表示することができる。
なお、本実施形態において、特定油圧ショベル100の記憶部57に、特定油圧ショベル100のデータ処理部54で生成された表示データが記憶され、特定油圧ショベル100のデータ出力部58は、特定油圧ショベル100が発信した電波を受信した携帯機器80の表示装置82に、サーバ301を介さずに、特定油圧ショベル100の表示データを出力してもよい。特定油圧ショベル100の通信装置70と携帯機器80の通信部86とは無線通信可能である。そのため、データ出力部58は、通信装置70を介して、表示データを携帯機器80に送信することができる。
なお、本実施形態において、発信器35が無くても、グローバル座標系によって規定される施工現場の位置データ(範囲データ)が携帯機器80及びサーバ301に登録され、その携帯機器80の識別データ(例えばIPアドレス又はメールアドレス)がサーバ301に登録されている場合、携帯機器80のGPS機能により、サーバ301は、携帯機器80が施工現場に存在するか否かを判定することができる。サーバ301は、携帯機器80が施工現場に進入したと判定したとき、その施工現場に存在する油圧ショベル100に係る一覧データを、識別データ(メールアドレス)が登録されている携帯機器80に送信してもよい。運転者Ma又は作業者Mbは、その一覧データから表示データを選択することにより、その表示データを携帯機器80の表示装置82に表示させることができる。
なお、本実施形態においては、油圧ショベル100と携帯機器80との近接無線通信装置としてビーコン端末を用いることとした。近接無線通信装置として、ブルートゥース(Bluetooth)(登録商標)規格に基づいて無線通信する装置が使用されてもよいし、ジグビー(ZigBee)規格に基づいて無線通信する装置が使用されてもよい。また、油圧ショベル100に搭載された発信器35は、単独でバッテリなどの電源を有し、油圧ショベル100が停止している場合でも携帯機器80に電波を発信させることができるようにしてもよいし、油圧ショベル100に搭載された図示しないバッテリから電源の供給を受けて、携帯機器80に電波を発信させてもよい。
<その他の実施形態>
なお、上述の実施形態において、撮像装置30で取得された2次元画像データ及び3次元画像データに少なくとも一方に、記憶部57に記憶されている固有データが付与された状態で、サーバ301に送信されてもよい。こうすることによっても、サーバ301は、固有データに基づいて、取得した2次元画像データ又は3次元画像データが、どの油圧ショベル100の撮像装置30に基づいて生成された2次元画像データ又は3次元画像データであるのかを判定することができる。
なお、上述の各実施形態において、油圧ショベル100と携帯機器80の表示装置82とが関連付けられてサーバ301に登録されていてもよい。特定の油圧ショベル100のデータ出力部58からサーバ301に表示データが出力され、記憶装置303に記憶された場合、演算装置302は、表示データに含まれている油圧ショベル100の固有データに基づいて、その特定の油圧ショベル100に関連付けられている携帯機器80の表示装置82に、その特定の油圧ショベル100から収集した表示データを出力する。これにより、その携帯機器80には、予め関連付けられている油圧ショベル100によって取得された表示データが表示される。油圧ショベル100と携帯機器80との関連付けは、油圧ショベル100の製造番号のような油圧ショベル100側の固有データと、携帯機器80のメールアドレスのような携帯機器80側の固有データとの関連付けを含む。
なお、上述の各実施形態において、2次元画像データの表示データを表示装置82に表示させる場合、撮像装置30A,30B,30C,30Dのそれぞれで撮像された4つの2次元画像データが、表示装置30の表示画面に並列に同時に表示されてもよい。なお、4つの撮像装置30A,30B,30C,30Dのうち、少なくとも、作業機1に近い撮像装置30A,30Cによって取得された2次元画像データが表示装置82に表示されることが好ましい。作業機1に近い撮像装置30A,30Cによって取得された2次元画像データが表示装置82に表示されることにより、作業機1による施工状況を把握し管理することができる。
なお、上述の各実施形態において、油圧ショベル100から携帯機器80に送信される2次元画像データ、3次元画像データ、及び撮像時データは、サーバ301を介さずに、油圧ショベル100の通信装置70から携帯機器80の通信部86にダイレクトに送信されてもよい。
なお、上述の各実施形態においては、表示データが携帯機器80の表示装置82に表示されることとした。施工管理システム300の表示装置304に表示データが表示されてもよい。管理者は、表示装置304を視認して、施工状況の把握及び施工管理の実施を行うことができる。
なお、上述の各実施形態において、表示データが、油圧ショベル100の表示装置27に表示されてもよい。油圧ショベル100の運転者Maは、表示装置27を視認して、自身が撮像装置30を使って取得した2次元画像データ又は3次元画像データの状態を認識することができる。例えば、表示装置27を視認して、撮影状況に不備が発見された場合には、再度撮影し直すといった措置を講ずることができる。表示装置27は、油圧ショベル100に関連付けられている。データ出力部58は、油圧ショベル100のデータ処理部56で生成された表示データを、サーバ301を介して、表示装置27に出力してもよいし、サーバ301を介さずに、ダイレクトに表示装置27に出力してもよい。
なお、上述の各実施形態においては、3次元画像データの生成及び表示データの生成を、油圧ショベル100に設けられた制御装置50が実施することとした。撮像装置30で取得された2次元画像データ及び撮像時データが、通信装置70を介してサーバ301に送信され、サーバ301の演算装置302が、送信された2次元画像データ及び撮像時データに基づいて、3次元画像データを含む表示データの生成を実施してもよい。その場合、データ処理部81及びデータ出力部82に相当する機能は、サーバ301の演算装置302に設けられる。サーバ301において生成された表示データが、油圧ショベル100の表示装置27及び携帯機器80の表示装置82の一方又は両方に出力(配信)されてもよい。
あるいは、撮像装置30で取得された2次元画像データ及び撮像時データが、通信装置70及びサーバ301を介して携帯機器80に送信され、携帯機器80の処理部84が、送信された2次元画像データ及び撮像時データに基づいて、3次元画像データを含む表示データの生成を実施してもよい。その場合、データ処理部81及びデータ出力部82に相当する機能は、携帯機器80の処理部84に設けられる。携帯機器80の処理部84において生成された表示データが、携帯機器80の表示装置82に出力されたり、油圧ショベル100の表示装置27及びサーバ301の表示装置304の一方又は両方に出力(配信)されてもよい。
なお、上述の各実施形態において、撮影可能判定部55は省略されてもよい。
なお、上述の各実施形態において、撮像装置30の撮像に基づく2次元画像データ又は3次元画像データがサーバ301に送信された後、サーバ301は、その2次元画像データ又は3次元画像データの質の良否を自動的に判定し、画像の質が悪いと判定した場合、その2次元画像データ又は3次元画像データを、IPアドレスに基づいて、油圧ショベル100又は携帯機器80等に自動的に通知してもよい。なお、施工現場の施工をサポートするサポートセンターが設けられている場合、撮像装置30の撮像に基づく2次元画像データ又は3次元画像データがサポートセンターに送信された後、サポートセンターの演算処理装置が、その2次元画像データ又は3次元画像データの質の良否を自動的に判定し、質が悪いと判定した場合、その2次元画像データ又は3次元画像データの質が悪いことを、IPアドレスに基づいて、油圧ショベル100又は携帯機器80等に自動的に通知してもよい。こうすることにより、撮像のやり直し等の措置を講ずることができる。
1 作業機、2 上部旋回体(車体)、3 下部走行体(走行装置)、3C クローラ、4 運転室、5 機械室、6 カウンタウェイト、7 リンク部材、8 リンク部材、10 刃先、11 バケット、12 アーム、13 ブーム、14 バケットシリンダストロークセンサ、15 アームシリンダストロークセンサ、16 ブームシリンダストロークセンサ、21 バケットシリンダ、22アームシリンダ、23 ブームシリンダ、24 運転席、25 操作装置、26 操作装置、27 表示装置、30 撮像装置、31 位置検出器、32 姿勢検出器、33 方位検出器、34 刃先位置検出器、35 発信器、36 タイマー、50 制御装置、51 入出力部、52 画像データ取得部、53 位置データ取得部、54 姿勢データ取得部、55 撮影可能判定部、56 データ処理部、57 記憶部、58 データ出力部、59 データ受信部、80 携帯機器、81 操作装置、82 表示装置、83 入出力部、84 処理部、85 記憶部、86 通信部、87 受信部、100 油圧ショベル(建設機械)、200 制御システム、300 施工管理システム、301 サーバ、302 演算装置、303 記憶装置、304 表示装置、305 通信装置、RX 旋回軸。

Claims (14)

  1. 車体と、
    前記車体に設けられた複数の撮像装置と、
    複数の前記撮像装置によって取得された2次元画像データのそれぞれを画像処理して3次元画像データを生成するデータ処理部と、
    前記2次元画像データ及び前記3次元画像データの一方又は両方を含む表示データを前記車体に対応付けられた表示装置に出力するデータ出力部と、
    前記撮像装置を操作する操作装置と、
    前記車体の動きを検出する姿勢検出器と、
    前記姿勢検出器の検出信号に基づいて、前記操作装置の操作を許可する撮影可能判定部と、を備える、
    建設機械。
  2. 前記表示装置は、前記車体に設けられる、
    請求項1に記載の建設機械。
  3. 前記車体の特定データを含む電波を発信する発信器を備え、
    前記データ出力部は、前記電波を受信した前記表示装置に前記表示データを出力する、
    請求項1に記載の建設機械。
  4. 前記表示データは、前記撮像装置による撮像時データを更に含む、
    請求項1から請求項3のいずれか一項に記載の建設機械。
  5. 前記撮時データは、前記撮像装置の撮像時における前記車体の位置データ、前記車体の姿勢データ、及び時刻データの少なくとも一つを含む、
    請求項4に記載の建設機械。
  6. 建設機械に設けられた複数の撮像装置によって取得された前記建設機械の2次元画像データのそれぞれを画像処理して3次元画像データを生成するデータ処理部と、
    前記2次元画像データ及び前記3次元画像データの一方又は両方を含み、前記建設機械に対応付けられた表示データを表示装置に出力するデータ出力部と、
    前記撮像装置を操作する操作装置と、
    前記建設機械の車体の動きを検出する姿勢検出器と、
    前記姿勢検出器の検出信号に基づいて、前記操作装置の操作を許可する撮影可能判定部と、を備える、
    施工管理システム。
  7. 前記表示装置は、携帯機器に設けられる、
    請求項に記載の施工管理システム。
  8. サーバを備え、
    前記データ出力部から出力された前記表示データは、前記建設機械と前記表示装置との対応関係に基づいて表示装置に出力される、
    請求項又は請求項に記載の施工管理システム。
  9. 前記サーバは、複数の前記建設機械から前記表示データを収集する、
    請求項に記載の施工管理システム。
  10. 前記表示装置は、携帯機器に設けられ、
    前記携帯機器は操作装置を有し、
    前記携帯機器の操作装置が操作されることにより生成された要求信号が前記サーバに送信され、
    前記サーバは、前記要求信号に基づいて、前記表示データを前記表示装置に送信する、
    請求項又は請求項に記載の施工管理システム。
  11. 前記データ出力部は、前記建設機械に設けられた発信器から発信された前記建設機械の特定データを含む電波を受信した前記表示装置に前記表示データを出力する、
    請求項から請求項10のいずれか一項に記載の施工管理システム。
  12. 前記データ出力部は、前記建設機械に関連付けられた前記表示装置に前記表示データを出力する、
    請求項から請求項11のいずれか一項に記載の施工管理システム。
  13. 前記表示データは、前記撮像装置による撮像時データを更に含む、
    請求項から請求項12のいずれか一項に記載の施工管理システム。
  14. 前記撮時データは、前記撮像装置の撮像時における前記建設機械の位置データ、前記建設機械の姿勢データ、及び時刻データの少なくとも一つを含む、
    請求項13に記載の施工管理システム。
JP2017544207A 2015-10-05 2016-10-05 建設機械及び施工管理システム Active JP6616423B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015198085 2015-10-05
JP2015198085 2015-10-05
PCT/JP2016/079705 WO2017061515A1 (ja) 2015-10-05 2016-10-05 建設機械及び施工管理システム

Publications (2)

Publication Number Publication Date
JPWO2017061515A1 JPWO2017061515A1 (ja) 2018-08-02
JP6616423B2 true JP6616423B2 (ja) 2019-12-04

Family

ID=58487770

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017544207A Active JP6616423B2 (ja) 2015-10-05 2016-10-05 建設機械及び施工管理システム

Country Status (5)

Country Link
US (1) US10822773B2 (ja)
JP (1) JP6616423B2 (ja)
AU (1) AU2016336318B2 (ja)
DE (1) DE112016003683T5 (ja)
WO (1) WO2017061515A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019003431A1 (ja) * 2017-06-30 2019-01-03 株式会社小松製作所 撮像装置、建設機械および撮像システム
JP6856467B2 (ja) * 2017-07-14 2021-04-07 株式会社小松製作所 作業機械システムおよび制御方法
WO2019012993A1 (ja) 2017-07-14 2019-01-17 株式会社小松製作所 稼働情報送信装置、施工管理システム、稼働情報送信方法及びプログラム
JP6840645B2 (ja) * 2017-09-08 2021-03-10 株式会社小松製作所 施工管理装置および施工管理方法
JP7242169B2 (ja) 2017-10-31 2023-03-20 株式会社小松製作所 通信監視装置、通信監視システム、および通信監視方法
WO2019146679A1 (ja) * 2018-01-26 2019-08-01 株式会社タダノ 無線通信機、作業車、および、作業車の無線通信システム
JP2019193062A (ja) * 2018-04-24 2019-10-31 パイルフォーラム株式会社 映像による杭施工現場監視システム
JP7197315B2 (ja) * 2018-09-14 2022-12-27 株式会社小松製作所 ホイールローダの表示システムおよびその制御方法
JP7197314B2 (ja) * 2018-09-14 2022-12-27 株式会社小松製作所 作業機械の表示システムおよびその制御方法
JP7286287B2 (ja) * 2018-09-14 2023-06-05 株式会社小松製作所 作業機械の表示システムおよびその制御方法
JP2020051168A (ja) * 2018-09-28 2020-04-02 コベルコ建機株式会社 取付状態表示装置
JP2020143476A (ja) * 2019-03-05 2020-09-10 住友重機械工業株式会社 作業機械用画像取得装置、情報管理システム、情報端末、作業機械用画像取得プログラム
JP7419348B2 (ja) * 2019-04-04 2024-01-22 株式会社小松製作所 作業機械を含むシステム、コンピュータによって実行される方法、および学習済みの姿勢推定モデルの製造方法
JP7376264B2 (ja) * 2019-07-01 2023-11-08 株式会社小松製作所 作業機械を含むシステム、および作業機械
JP2021008747A (ja) * 2019-07-01 2021-01-28 株式会社小松製作所 学習済みの作業分類推定モデルの製造方法、学習用データ、コンピュータによって実行される方法、および作業機械を含むシステム
US20220147933A1 (en) * 2020-11-06 2022-05-12 Moovila, Inc. Systems and methods for characterizing work by working eqiupment based on proximity to a worker's computing device

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4671317B2 (ja) * 2001-05-02 2011-04-13 株式会社小松製作所 地形形状計測装置およびガイダンス装置
JP4703917B2 (ja) * 2001-09-10 2011-06-15 コマツレンタル株式会社 レンタルシステム及びレンタル業務支援方法
US8155698B2 (en) * 2009-03-25 2012-04-10 Embarq Holdings LLC System and method for storing and displaying data with digital images
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
JP2010248777A (ja) * 2009-04-15 2010-11-04 Caterpillar Sarl 作業機械の管理システム
JP5802476B2 (ja) 2011-08-09 2015-10-28 株式会社トプコン 建設機械制御システム
US9596398B2 (en) * 2011-09-02 2017-03-14 Microsoft Technology Licensing, Llc Automatic image capture
CA2912432C (en) 2012-05-15 2020-09-15 Tesman Inc. Mapping of mining excavations
EP3235773B8 (en) 2012-09-21 2023-09-20 Tadano Ltd. Surrounding information-obtaining device for working vehicle
JP5888348B2 (ja) * 2014-01-23 2016-03-22 カシオ計算機株式会社 撮像装置、撮像制御方法、及びプログラム
WO2016056088A1 (ja) * 2014-10-08 2016-04-14 三菱電機株式会社 車載カメラ制御装置

Also Published As

Publication number Publication date
US20180216318A1 (en) 2018-08-02
AU2016336318B2 (en) 2019-03-14
AU2016336318A1 (en) 2018-03-01
WO2017061515A1 (ja) 2017-04-13
JPWO2017061515A1 (ja) 2018-08-02
US10822773B2 (en) 2020-11-03
DE112016003683T5 (de) 2018-05-03

Similar Documents

Publication Publication Date Title
JP6616423B2 (ja) 建設機械及び施工管理システム
US20210325876A1 (en) System and method for autonomous operation of a machine
WO2017061518A1 (ja) 施工管理システム、施工管理方法、及び管理装置
US20170255895A1 (en) Evaluation device and evaluation method
JP6322612B2 (ja) 施工管理システム及び形状計測方法
JP6867132B2 (ja) 作業機械の検出処理装置及び作業機械の検出処理方法
JP2010248777A (ja) 作業機械の管理システム
JP6585697B2 (ja) 施工管理システム
AU2018333191A1 (en) Display system, display method, and display apparatus
CN108432234B (zh) 终端装置、控制装置、数据统合装置、作业车辆、拍摄系统以及拍摄方法
WO2021019948A1 (ja) 建設機械の位置特定システム
JP6606230B2 (ja) 形状計測システム
WO2020121933A1 (ja) 建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置
JP2017071914A (ja) 施工方法、作業機械の制御システム及び作業機械
JP7166326B2 (ja) 施工管理システム
JP6841885B2 (ja) 建設機械
JP2017032276A (ja) 位置計測システム
US20220398512A1 (en) Work assist server, work assist method, and work assist system
JP7349947B2 (ja) 情報処理装置、作業機械、情報処理方法、情報処理プログラム
JP7187594B2 (ja) 建設機械の管理システム、建設機械、及び建設機械の停止方法
JP2020143476A (ja) 作業機械用画像取得装置、情報管理システム、情報端末、作業機械用画像取得プログラム
JP2023151682A (ja) ショベル及びショベル支援システム
JP2023006464A (ja) 情報処理装置、情報処理装置の制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191107

R150 Certificate of patent or registration of utility model

Ref document number: 6616423

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250