JP7291739B2 - 稼働情報送信装置、施工管理システム、稼働情報送信方法及びプログラム - Google Patents

稼働情報送信装置、施工管理システム、稼働情報送信方法及びプログラム Download PDF

Info

Publication number
JP7291739B2
JP7291739B2 JP2021042434A JP2021042434A JP7291739B2 JP 7291739 B2 JP7291739 B2 JP 7291739B2 JP 2021042434 A JP2021042434 A JP 2021042434A JP 2021042434 A JP2021042434 A JP 2021042434A JP 7291739 B2 JP7291739 B2 JP 7291739B2
Authority
JP
Japan
Prior art keywords
operation information
image data
working medium
type
information transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021042434A
Other languages
English (en)
Other versions
JP2021093219A (ja
Inventor
喜之 大西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Publication of JP2021093219A publication Critical patent/JP2021093219A/ja
Application granted granted Critical
Publication of JP7291739B2 publication Critical patent/JP7291739B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08Construction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Operation Control Of Excavators (AREA)
  • Alarm Systems (AREA)
  • Component Parts Of Construction Machinery (AREA)

Description

本発明は、稼働情報送信装置、施工管理システム、稼働情報送信方法及びプログラムに関する。
本願は、2017年7月14日に日本に出願された特願2017-138509号について優先権を主張し、その内容をここに援用する。
特許文献1に開示されているように、作業機械に備えられたステレオカメラを用いて施工現場の画像データを取得し、当該画像データを用いて三次元データを作成する技術が知られている。施工現場の地形の三次元データを作成することで、施工現場の進捗管理が可能となる。
特開2013-036243号公報
施工現場の地形の三次元データのみならず、当該施工現場にて作業を行う作業媒体のそれぞれの動作や状態(稼働しているか否か、等)を詳細に把握したい、という要望がある。
本発明は、上記課題を解決するためになされたものであって、施工現場で作業を行う作業媒体の状態を詳細に把握することができる稼働情報送信装置、施工管理システム、稼働情報送信方法及びプログラムを提供することを目的とする。
本発明の第1の態様によれば、稼働情報送信装置は、施工現場で作業を行う作業媒体ごとの状態をサーバ装置に送信する稼働情報送信装置であって、前記作業媒体を含む異なるタイミングの画像データを取得する画像データ取得部と、取得した前記画像データに対して複数の作業媒体の特徴パターンに基づく画像抽出処理を行うことで作業媒体の像を抽出し、抽出に用いた前記特徴パターンに基づいて前記画像データに含まれる作業媒体の種別を特定し、前記異なるタイミングの画像データの差分に基づいて、前記画像データに含まれる作業媒体の状態を特定する種別・状態特定部と、前記画像データに基づいて、前記作業媒体が存在する三次元位置を特定する位置特定部と、特定された前記作業媒体の種別状態および三次元位置を示す稼働情報を前記サーバ装置に送信する稼働情報送信部と、を備える。
上記態様のうち少なくとも1つの態様によれば、施工現場で作業を行う作業媒体の状態を詳細に把握することができる。
第1の実施形態に係る施工管理システムの全体構成を示す概略図である。 第1の実施形態に係る稼働情報送信装置等の機能構成を示す図である。 第1の実施形態に係る情報提供装置の機能構成を示す図である。 第1の実施形態に係る稼働情報送信装置の処理フローを示す図である。 第1の実施形態に係る稼働情報送信装置の機能を説明するための第1図である。 第1の実施形態に係る稼働情報送信装置の機能を説明するための第2図である。 第1の実施形態に係る情報提供装置の処理フローを示す図である。
<第1の実施形態>
(施工管理システムの全体構成)
図1は、第1の実施形態に係る施工管理システムの全体構成を示す概略図である。
図1に示すように、施工管理システム1は、稼働情報送信装置10と、ステレオカメラ11と、情報提供装置2と、出力装置3と、を備えている。
稼働情報送信装置10は、施工現場Fごとに設置される現場事務所内に設置されるコンピュータである。稼働情報送信装置10は、複数の施工現場Fのそれぞれに1つずつ設置され、当該施工現場Fで施工作業を行う複数の作業媒体12の種別及びその状態を、広域通信網Gを通じて、サーバ装置である情報提供装置2に送信する。なお、広域通信網Gは、いわゆるインターネット通信網、LTE/3G等のモバイル通信網などである。また、「作業媒体」とは、例えば油圧ショベルやホイールローダー等の作業機械、ダンプトラック、作業員など、施工現場F内に存在し、当該施工現場Fでの施工作業に関する全ての人、物の総称を意味するものとする。
また、稼働情報送信装置10は、施工現場Fに設置された撮像装置、例えばステレオカメラ11と有線(又は無線)により通信可能に接続され、当該ステレオカメラ11による撮影によって生成される動画データを取得する。稼働情報送信装置10は施工現場Fから離れた場所に設置されていてもよい。
ステレオカメラ11は、施工現場F全体を撮影可能に設置されたステレオカメラである。本実施形態に係るステレオカメラ11は、動画を撮影可能とされる。ここで、ステレオカメラ11の動画撮影により生成される動画データは、「連続撮影によって生成された複数の画像データ」の一態様である。更に、本実施形態における「画像データ」とは、1枚の「静止画像」を構成するデータを意味するものとする。
また、本実施形態に係るステレオカメラ11は、後述する画像抽出処理の精度を高めるため、高解像度カメラであることが望ましい。
なお、本実施形態では、ステレオカメラ11は、1つの施工現場Fに一台設置される態様としているが、他の実施形態においてはこの態様に限定されない。他の実施形態に係る施工管理システム1は、施工現場F内に複数台のステレオカメラ11が設置される態様であってもよい。
情報提供装置2は、施工現場Fの各々に設置された稼働情報送信装置10から、広域通信網Gを通じて稼働情報を収集するサーバ装置であって、稼働情報送信装置10の各々から受信した各稼働情報を閲覧可能に加工し、インターネット等を介して利用者に提供する装置である。
出力装置3は、広域通信網Gを通じて、情報提供装置2から提供される稼働情報を受信して、当該稼働情報を利用者に知らせる。例えば、ある施工現場Fで施工作業を行う作業員M1は、自身が所持する出力装置3、例えばタブレット端末を通じてその場で稼働情報を取得することができる。また、施工現場Fから離れた遠隔地Dに位置する管理者M2(全体管理者等)も、自身が所持する出力装置3を通じて稼働情報を取得することができる。また、進捗情報を取得し、プリンター等で出力することもできる。
油圧ショベル12a、ホイールローダー12b、ダンプトラック12c、作業員12dは、施工現場F内で施工作業を行う作業媒体12の一態様である。その他、作業媒体12には、ブルドーザーやロードローラーなどの各種作業機械、上空から施工現場Fの撮影を行う小型無人航空機(ドローン)等が含まれていてもよい。
(稼働情報送信装置等の機能構成)
図2は、第1の実施形態に係る稼働情報送信装置等の機能構成を示す図である。
図2に示すように、稼働情報送信装置10は、CPU100と、メモリ101と、広域通信インタフェース102と、接続インタフェース103と、記録媒体104と、を備えている。
CPU100は、稼働情報送信装置10の動作全体を司るプロセッサである。CPU100は、記録媒体104等に格納されたプログラムやデータをメモリ101上に読み出し、当該プログラムに規定される処理を実行することで、後述の各機能を実現する。
メモリ101は、CPU100のワークエリア等として用いられる揮発性のメモリ(RAM)である。
広域通信インタフェース102は、稼働情報送信装置10が、広域通信網Gを通じて、情報提供装置2と情報を送受信するための接続インタフェースである。広域通信インタフェース102は、稼働情報送信装置10と広域通信網Gとを有線接続するものであってもよいし、無線接続するものであってもよい。
接続インタフェース103は、施工現場F内に設置されたステレオカメラ11と有線又は無線で通信可能に接続するための接続インタフェースである。
記録媒体104は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)等の大容量記録デバイスにより実現され、OS(Operation System)、アプリケーションプログラム、及び、各種データ等を記憶する。本実施形態においては、記録媒体104には、ステレオカメラ11による撮影で生成された画像データ(動画データ)が記録保存される。
CPU100は、上述のプログラムに基づいて動作することで、図2に示す画像データ取得部1001、種別・状態特定部1002、位置特定部1003及び稼働情報送信部1004としての機能を発揮する。
画像データ取得部1001は、接続インタフェース103を通じて、ステレオカメラ11による撮影によって生成された動画データを取得する。この動画データには、施工現場Fで作業を行う作業媒体12の像が含まれる。
種別・状態特定部1002は、画像データ取得部1001が取得した動画データに対して画像抽出処理を行い、当該動画データに含まれる作業媒体12の種別(油圧ショベル12a、ホイールローダー12b、ダンプトラック12c、作業員12d、・・)、及び、各作業媒体12別の状態(稼働、走行、停止、歩行、・・)を特定する。ここで、画像抽出処理とは、例えばある画像データに対し、作業媒体12の種別ごとに予め規定された“特徴パターン”とのパターンマッチング処理を行い、当該画像データから作業媒体12の像を抽出する処理である。
位置特定部1003は、画像データ取得部1001が取得した動画データに基づいて、撮影された作業媒体12が存在する位置を特定する。具体的には、位置特定部1003は、ステレオカメラ11の撮影によって生成されたステレオ画像に対し、ステレオマッチング処理を施し、当該ステレオ画像に含まれる作業媒体12の三次元位置(X,Y,Z)を特定する。
稼働情報送信部1004は、種別・状態特定部1002及び位置特定部1003によって特定された作業媒体12の種別、状態、及び、作業媒体12別の位置を示す稼働情報を、広域通信網Gを通じて情報提供装置2に送信する。
(情報提供装置の機能構成)
図3は、第1の実施形態に係る情報提供装置の機能構成を示す図である。
図3に示すように、情報提供装置2は、CPU200と、メモリ201と、広域通信インタフェース202と、記録媒体203とを備えている。
CPU200は、情報提供装置2の動作全体を司るプロセッサである。CPU200は、記録媒体203等に格納されたプログラムやデータをメモリ201上に読み出し、当該プログラムに規定される処理を実行することで、後述の各機能を実現する。
メモリ201は、CPU200のワークエリア等として用いられる揮発性のメモリ(RAM)である。
広域通信インタフェース202は、情報提供装置2が、広域通信網Gを通じて、複数の稼働情報送信装置10から稼働情報を受信するための接続インタフェースである。広域通信インタフェース202は、情報提供装置2と広域通信網Gとを有線接続するものであってもよいし、無線接続するものであってもよい。
記録媒体203は、例えば、HDD、SSD等の大容量記録デバイスにより実現され、OS、アプリケーションプログラム、及び、各種データ等を記憶する。本実施形態においては、記録媒体203には、稼働情報送信装置10から受信した、施工現場Fごとの稼働情報の履歴等が記録保存される。
CPU200は、上述のプログラムに基づいて動作することで、図3に示す稼働情報受信部2001及び稼働情報送信部2002としての機能を発揮する。
稼働情報受信部2001は、広域通信網Gを通じて、複数の稼働情報送信装置10の各々から、当該稼働情報送信装置10が設置された施工現場Fの作業媒体12の種別及びそれらの状態等を示す稼働情報を受信する。
稼働情報送信部2002は、利用者(作業員M1、管理者M2等)が所持する出力装置3からのリクエストに応じて、稼働情報受信部2001が受信した稼働情報を出力装置3に送信する。
(稼働情報送信装置の処理フロー)
図4は、第1の実施形態に係る稼働情報送信装置の処理フローを示す図である。
また、図5、図6は、第1の実施形態に係る稼働情報送信装置の機能を説明するための第1図、第2図である。
以下、図4~図6を参照しながら、稼働情報送信装置10の処理の流れについて説明する。
図4に示す稼働情報送信装置10の処理フローは、ステレオカメラ11による動画撮影が行われている間、継続的に繰り返し実行される。
稼働情報送信装置10の画像データ取得部1001(CPU100)は、ステレオカメラ11から、撮影によって生成された動画データを受信する(ステップS00)。
次に、種別・状態特定部1002(CPU100)は、ステップS00でされた動画データに対し、画像抽出処理、種別特定処理及び状態特定処理(ステップS01~S03)を行う。
ここで、種別・状態特定部1002が行う各処理(ステップS01~S03)について、図5を参照しながら詳細に説明する。
図5に示すように、動画データMVは、一定周期(例えば、1/60秒)で連続撮影された複数の画像データI1、I2、I3、I4、・・によって構成される。
ある時刻で新たに画像データI1が取得された場合、種別・状態特定部1002は、当該画像データI1に対し、画像抽出処理を行う(図4のステップS01)。ここで、種別・状態特定部1002は、画像データI1に対し、作業媒体12の種別ごとに用意された特徴パターンとの照合を行い、各作業媒体12の像が映されている領域を抽出する。例えば、種別・状態特定部1002は、パターンマッチング処理により、画像データI1から、油圧ショベル12aの特徴パターンに合致する領域G1を抽出する。また、種別・状態特定部1002は、画像データI1から、作業員12dの特徴パターンに合致する領域G2、G3を抽出する。他の領域(領域G4~G6)についても同様である。
次に、種別・状態特定部1002は、各領域G1~G6に含まれる作業媒体12の種別を特定する(図4のステップS02)。例えば、種別・状態特定部1002は、油圧ショベルの特徴パターンに基づいて抽出した1つの領域G1に対し、種別が「油圧ショベル」であることを示す識別子「HE01」を付す。同様に、種別・状態特定部1002は、作業員の特徴パターンに基づいて抽出した2つの領域G2、G3に対し、それぞれ、種別が「作業員」であることを示す識別子「作業員01」、「作業員02」を付す。同様に、種別・状態特定部1002は、ダンプトラックの特徴パターンに基づいて抽出した2つの領域G4、G6に対し、それぞれ、種別が「ダンプトラック」であることを示す識別子「DT01」、「DT02」を付す。
次に、種別・状態特定部1002は、連続して取得された複数の画像データI1、I2、・・の差分に基づいて、各領域G1~G6に含まれる作業媒体12の状態を特定する(図4のステップS03)。
例えば、種別・状態特定部1002は、連続して取得された複数の画像データI1、I2、・・の各々において、油圧ショベルの特徴パターンに基づいて抽出した領域G1を抽出する。ここで、種別・状態特定部1002は、画像データI1上における領域G1の像(油圧ショベルの像)と、時系列上で1つ前に取得された画像データI2上における領域G1の像とを対比し、その像が異なっているか否かを判定する。図5に示す例では、各画像データI1、I2、・・における領域G1に含まれる像が変化していないことから、種別・状態特定部1002は、油圧ショベル「HE01」が「停止」していると判定する。
また、種別・状態特定部1002は、連続して取得された複数の画像データI1、I2、・・各々において、ダンプトラックの特徴パターンに基づいて抽出した領域G3を抽出している。この場合、種別・状態特定部1002は、画像データI1上における領域G3の像(ダンプトラックの像)の位置と、画像データI2上における領域G3の像の位置とを対比し、各画像データ上におけるダンプトラックの像の位置が所定距離以上異なっているか否かを判定する。図5に示す例では、各画像データI1、I2、・・において、領域G3に含まれるダンプトラックの像の位置が変化していることから、種別・状態特定部1002は、当該ダンプトラック「DT01」が「走行」しているものと判定する。
図4に戻り、次に、位置特定部1003(CPU100)は、動画データに基づいて、ステップS01~S03で特定した各作業媒体12の位置を特定する(ステップS04)。ここで、ステレオカメラ11の撮影により取得された動画データ(画像データI1、I2、・・(図5))は、2つのカメラによって同時に撮影されて生成されたステレオ画像である。位置特定部1003は、各ステレオ画像に対しステレオマッチング処理を施すことで、抽出された各作業媒体12の三次元位置(X,Y,Z)を特定する。
稼働情報送信部1004は、ステップS02~S04の各種特定処理で特定された情報をまとめて、稼働情報を作成し、情報提供装置2に向けて送信する(ステップS05)。
ここで、図6は、稼働情報送信部1004が作成、送信する稼働情報の例である。図6に示すように、稼働情報は、施工現場Fを特定するための識別情報(F-1)とともに、当該施工現場Fで作業を行う作業媒体12の“種別”、“状態”及び“位置”が関連付けられてなる。
(情報提供装置の処理フロー)
図7は、第1の実施形態に係る情報提供装置の処理フローを示す図である。
図7に示す処理フローは、情報提供装置2のCPU200によって定期的に繰り返し実行される。
情報提供装置2の稼働情報受信部2001(CPU200)は、広域通信網Gを通じて、複数の稼働情報送信装置10の各々から稼働情報(図6参照)を受信する(ステップS10)。ここで受信した稼働情報は、直ちに、Webブラウザ等で閲覧可能な状態に加工される。
稼働情報送信部2002(CPU200)は、利用者(作業員M1、管理者M2)が保持する出力装置3からの閲覧リクエストに応じて、ステップS10で作成された稼働情報を、各出力装置3へ送信する(ステップS11)。これにより、利用者は、各出力装置3の表示パネルを通じて、所望する施工現場Fにおける各作業媒体12の稼働情報をいつでも確認することができる。
(作用・効果)
以上の通り、第1の実施形態に係る施工管理システム1によれば、稼働情報送信装置10は、施工現場Fに設置されたステレオカメラ11から、施工現場F内で作業を行う作業媒体12を写す動画データ(複数の画像データ)を受信する。
また、稼働情報送信装置10は、動画データに対し画像抽出処理を行い、当該画像データに含まれる作業媒体の種別及びその状態を特定する。
そして、稼働情報送信装置10は、特定された作業媒体12の種別及びその状態を示す稼働情報を、広域通信網Gを通じて情報提供装置2に送信する。
ここで、施工を行う作業機械の中には、自機の状態(稼働、停止、走行、積込など)や位置、方位及び姿勢を検出可能なセンサ群を搭載し、ネットワーク(広域通信網G)を介して逐次サーバ装置へ送信する機能(ICT機能)を有する作業機械(ICT建機)が開発されている。しかし、建設現場で利用されている全ての作業機械がICT機能を有しているとは限らない。即ち、施工現場によっては、ICT機能を有していない建機(標準建機)も存在し得る。
本実施形態の上記構成とすれば、ICT建機、標準建機にかかわらず、ステレオカメラ11によって撮影される全ての作業媒体12の状態を把握できるので、簡素な構成で、施工現場ごとの全ての作業媒体の稼働状態を詳細に把握することができる。
また、第1の実施形態に係る施工管理システム1によれば、稼働情報送信装置10は、動画データに基づいて、作業媒体12が存在する位置を特定する。
このようにすることで、ICT建機、標準建機にかかわらず、ステレオカメラ11によって撮影される全ての作業媒体12の位置を把握できる。
<変形例>
以上、第1の実施形態に係る施工管理システム1について詳細に説明したが、施工管理システム1の具体的な態様は、上述のものに限定されることはなく、要旨を逸脱しない範囲内において種々の設計変更等を加えることは可能である。
第1の実施形態に係る稼働情報送信装置10は、「設置されたカメラ」(ステレオカメラ11)から、動画データを取得する態様で説明したが、他の実施形態においてはこの態様に限定されない。他の実施形態において、施工現場Fを撮影するカメラは、必ずしも設置されている必要はなく、例えば、小型無人航空機や作業機械等に搭載されているものであってもよい。
また、第1の実施形態に係る稼働情報送信装置10は、ステレオカメラ11から「動画データ」を取得するものとして説明したが、他の実施形態においてはこの態様に限定されない。他の実施形態に係る稼働情報送信装置10は、例えば、所定の時間間隔(例えば、数秒間隔)で画像データ(静止画像)を取得する態様であってもよい。
この場合、種別・状態特定部1002は、このように取得された各画像データに対する画像抽出処理に基づいて、各作業媒体12の種別及び状態を特定するものとする。
また、他の実施形態に係る稼働情報送信装置10は、取得された画像データに含まれる作業媒体12そのものを個々に識別する機能を有していてもよい。例えば、図5において、稼働情報送信装置10は、領域G4、G6の各々に含まれるダンプトラックの外観から読取可能な固有的特徴に基づいて、ダンプトラックの個体(ダンプトラックA、ダンプトラックB等)を識別できるようにしてもよい。
この場合、稼働情報送信装置10は、作業媒体12(ダンプトラック)ごとに固有に付された識別媒体(固有マーク、バーコード、二次元コード等)を画像データから読み取って個体識別してもよいし、ダンプトラックごとに元々存在する外観上の固有的特徴(車体デザイン等)に基づいて特定してもよい。
また、第1の実施形態においては、広域通信網Gはインターネット通信回線であるものとして説明したが、他の実施形態においてはこの態様に限定されない。広域通信網Gは、例えば、複数の施工現場Fに渡って構築された専用の通信回線であってもよい。
また、上述の各実施形態においては、上述した稼働情報送信装置10及び情報提供装置2の各種処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって上記各種処理が行われる。また、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
上記稼働情報送信装置によれば、施工現場で作業を行う作業媒体の状態を詳細に把握することができる。
1 施工管理システム
10 稼働情報送信装置
100 CPU
1001 画像データ取得部
1002 種別・状態特定部
1003 位置特定部
1004 稼働情報送信部
101 メモリ
102 広域通信インタフェース
103 接続インタフェース
104 記録媒体
11 ステレオカメラ
12 作業媒体
12a 油圧ショベル
12b ホイールローダー
12c ダンプトラック
12d 作業員
2 情報提供装置
200 CPU
2001 稼働情報受信部
2002 稼働情報送信部
201 メモリ
202 広域通信インタフェース
203 記録媒体

Claims (5)

  1. 施工現場で作業を行う作業媒体ごとの状態をサーバ装置に送信する稼働情報送信装置であって、
    前記作業媒体を含む異なるタイミングのステレオ画像データを取得するステレオ画像データ取得部と、
    取得した前記ステレオ画像データを構成する2つの画像データの少なくとも一方の画像データに対して複数の作業媒体の特徴パターンに基づく画像抽出処理を行うことで作業媒体の像を抽出し、抽出に用いた前記特徴パターンに基づいて前記画像データに含まれる作業媒体の種別を特定し、前記異なるタイミング間における前記像の変化の有無又は前記像の位置の変化の有無に基づいて、前記画像データに含まれる作業媒体の状態を特定する種別・状態特定部と、
    前記ステレオ画像データのステレオマッチング処理に基づいて、前記作業媒体が存在する三次元位置を特定する位置特定部と、
    特定された前記作業媒体の種別、状態および三次元位置を示す稼働情報を前記サーバ装置に送信する稼働情報送信部と、
    を備える稼働情報送信装置。
  2. 前記ステレオ画像データ取得部は、連続撮影によって生成された複数のステレオ画像データを取得し、
    前記種別・状態特定部は、前記複数のステレオ画像データそれぞれを構成する2つの画像データの少なくとも一方の画像データにおける前記像の変化の有無又は前記像の位置の変化の有無に基づいて前記作業媒体の状態を特定する
    請求項1に記載の稼働情報送信装置。
  3. 請求項1または請求項2に記載の稼働情報送信装置と、
    前記サーバ装置と、
    を備え、
    前記サーバ装置は、
    前記稼働情報送信装置から、広域通信網を通じて前記稼働情報を受信する稼働情報受信部と、
    受信した前記稼働情報を、広域通信網を通じて利用者の出力装置に送信する稼働情報送信部と、
    を備える施工管理システム。
  4. 稼働情報送信装置を用いて、施工現場で作業を行う作業媒体ごとの状態をサーバ装置に送信する稼働情報送信方法であって、
    前記稼働情報送信装置が前記作業媒体を含む異なるタイミングのステレオ画像データを取得するステレオ画像データ取得ステップと、
    前記稼働情報送信装置が取得した前記ステレオ画像データを構成する2つの画像データの少なくとも一方の画像データに対して複数の作業媒体の特徴パターンに基づく画像抽出処理を行うことで作業媒体の像を抽出し、抽出に用いた前記特徴パターンに基づいて前記画像データに含まれる作業媒体の種別を特定し、前記異なるタイミング間における前記像の変化の有無又は前記像の位置の変化の有無に基づいて、前記画像データに含まれる作業媒体の状態を特定する種別・状態特定ステップと、
    前記ステレオ画像データのステレオマッチング処理に基づいて、前記作業媒体が存在する三次元位置を特定する位置特定ステップと、
    前記稼働情報送信装置が特定された前記作業媒体の種別、状態および三次元位置を示す稼働情報を前記サーバ装置に送信する稼働情報送信ステップと、
    を有する稼働情報送信方法。
  5. 施工現場で作業を行う作業媒体ごとの状態をサーバ装置に送信する稼働情報送信装置のコンピュータを、
    前記作業媒体を含む異なるタイミングのステレオ画像データを取得するステレオ画像データ取得部、
    取得した前記ステレオ画像データを構成する2つの画像データの少なくとも一方の画像データに対して複数の作業媒体の特徴パターンに基づく画像抽出処理を行うことで作業媒体の像を抽出し、抽出に用いた前記特徴パターンに基づいて前記画像データに含まれる作業媒体の種別を特定し、前記異なるタイミング間における前記像の変化の有無又は前記像の位置の変化の有無に基づいて、前記画像データに含まれる作業媒体の状態を特定する種別・状態特定部、
    前記ステレオ画像データのステレオマッチング処理に基づいて、前記作業媒体が存在する三次元位置を特定する位置特定部、
    特定された前記作業媒体の種別、状態および三次元位置を示す稼働情報を前記サーバ装置に送信する稼働情報送信部、
    として機能させるプログラム。
JP2021042434A 2017-07-14 2021-03-16 稼働情報送信装置、施工管理システム、稼働情報送信方法及びプログラム Active JP7291739B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017138509 2017-07-14
JP2017138509 2017-07-14

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019529046A Division JPWO2019012993A1 (ja) 2017-07-14 2018-06-27 稼働情報送信装置、施工管理システム、稼働情報送信方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2021093219A JP2021093219A (ja) 2021-06-17
JP7291739B2 true JP7291739B2 (ja) 2023-06-15

Family

ID=65001680

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019529046A Pending JPWO2019012993A1 (ja) 2017-07-14 2018-06-27 稼働情報送信装置、施工管理システム、稼働情報送信方法及びプログラム
JP2021042434A Active JP7291739B2 (ja) 2017-07-14 2021-03-16 稼働情報送信装置、施工管理システム、稼働情報送信方法及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019529046A Pending JPWO2019012993A1 (ja) 2017-07-14 2018-06-27 稼働情報送信装置、施工管理システム、稼働情報送信方法及びプログラム

Country Status (6)

Country Link
US (1) US11076130B2 (ja)
JP (2) JPWO2019012993A1 (ja)
CN (1) CN110520890B (ja)
AU (3) AU2018299289A1 (ja)
DE (1) DE112018001594T5 (ja)
WO (1) WO2019012993A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7277256B2 (ja) * 2019-05-24 2023-05-18 コニカミノルタ株式会社 作業分析システム、作業分析装置、および作業分析プログラム
JP7310408B2 (ja) * 2019-07-29 2023-07-19 コベルコ建機株式会社 建設機械の作業情報生成システム
JP7420504B2 (ja) * 2019-08-05 2024-01-23 株式会社フジタ 作業状態管理装置
JP7409074B2 (ja) 2019-12-25 2024-01-09 コベルコ建機株式会社 作業支援サーバ、撮像装置の選択方法
JP2022157458A (ja) 2021-03-31 2022-10-14 株式会社小松製作所 施工管理システム、データ処理装置、及び施工管理方法
JP2023086501A (ja) 2021-12-10 2023-06-22 株式会社小松製作所 表示システム及び表示方法
JP2023086534A (ja) 2021-12-10 2023-06-22 株式会社小松製作所 表示システム及び表示方法
JP2023086500A (ja) * 2021-12-10 2023-06-22 株式会社小松製作所 施工管理システム及び施工管理方法
CN116758493B (zh) * 2023-08-22 2023-11-21 中国水利水电第七工程局有限公司 基于图像处理的隧道施工监测方法、装置及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003132116A (ja) 2001-10-29 2003-05-09 Sanwa Kizai Co Ltd 施工情報管理システム
JP2003329448A (ja) 2002-05-10 2003-11-19 Komatsu Ltd 現場の3次元情報生成システム
JP2005250990A (ja) 2004-03-05 2005-09-15 Mitsubishi Electric Corp 作業支援装置
JP2017033047A (ja) 2015-07-28 2017-02-09 株式会社コンピュータシステム研究所 安全管理支援装置、安全管理支援プログラムおよび記憶媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4246039B2 (ja) * 2003-11-18 2009-04-02 日立建機株式会社 建設機械の稼働情報管理装置
JP2006031452A (ja) * 2004-07-16 2006-02-02 Canon Inc 画像形成装置、制御方法、制御プログラムおよびジョブ管理装置、ジョブ処理方法、ジョブ管理プログラム
JP5052468B2 (ja) * 2008-09-19 2012-10-17 日立建機株式会社 施工管理システム
AU2011201189B2 (en) 2010-03-16 2014-08-28 The University Of Sydney Vehicle localization in open-pit mining using GPS and monocular camera
JP5802476B2 (ja) 2011-08-09 2015-10-28 株式会社トプコン 建設機械制御システム
KR20160110642A (ko) 2015-03-10 2016-09-22 인하대학교 산학협력단 건설장비의 작업 현황 모니터링 장치 및 그 방법
US9685009B2 (en) 2015-04-01 2017-06-20 Caterpillar Inc. System and method for managing mixed fleet worksites using video and audio analytics
WO2017061515A1 (ja) 2015-10-05 2017-04-13 株式会社小松製作所 建設機械及び施工管理システム
JP6050525B2 (ja) * 2015-10-15 2016-12-21 株式会社小松製作所 位置計測システム、作業機械及び位置計測方法
JP6666142B2 (ja) * 2015-12-25 2020-03-13 株式会社小松製作所 作業車両および作業車両の制御方法
JP6626710B2 (ja) * 2015-12-25 2019-12-25 株式会社小松製作所 作業車両および作業車両の制御方法
JP6638435B2 (ja) 2016-02-04 2020-01-29 カシオ計算機株式会社 感情推定器の個人適応方法、感情推定装置及びプログラム
AU2016216347B2 (en) 2016-03-01 2019-05-23 Komatsu Ltd. Evaluation device and evaluation method
US20180357583A1 (en) * 2017-06-12 2018-12-13 Optical Operations LLC Operational monitoring system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003132116A (ja) 2001-10-29 2003-05-09 Sanwa Kizai Co Ltd 施工情報管理システム
JP2003329448A (ja) 2002-05-10 2003-11-19 Komatsu Ltd 現場の3次元情報生成システム
JP2005250990A (ja) 2004-03-05 2005-09-15 Mitsubishi Electric Corp 作業支援装置
JP2017033047A (ja) 2015-07-28 2017-02-09 株式会社コンピュータシステム研究所 安全管理支援装置、安全管理支援プログラムおよび記憶媒体

Also Published As

Publication number Publication date
JPWO2019012993A1 (ja) 2019-11-07
AU2018299289A1 (en) 2019-10-17
JP2021093219A (ja) 2021-06-17
US11076130B2 (en) 2021-07-27
AU2023222996A1 (en) 2023-09-21
CN110520890B (zh) 2023-12-22
DE112018001594T5 (de) 2019-12-19
WO2019012993A1 (ja) 2019-01-17
CN110520890A (zh) 2019-11-29
US20200053321A1 (en) 2020-02-13
AU2021204071A1 (en) 2021-07-15

Similar Documents

Publication Publication Date Title
JP7291739B2 (ja) 稼働情報送信装置、施工管理システム、稼働情報送信方法及びプログラム
JP7050683B2 (ja) 三次元情報処理方法及び三次元情報処理装置
JPWO2019012988A1 (ja) 地形情報送信装置、施工管理システム及び地形情報送信方法
JP6193912B2 (ja) ドライブレコーダ
JP2018055191A (ja) データ収集システム
KR102162445B1 (ko) 차량용 영상 처리 장치 및 이를 이용한 이벤트 처리 방법
JP6382118B2 (ja) 画像調整方法、サーバ及び動画撮影システム
US20150179002A1 (en) System and Method for Sharing Real-Time Recording
JP6528609B2 (ja) 中継サーバ、中継方法、および中継プログラム
KR20140128832A (ko) 차량용 영상 처리 장치 및 이를 이용한 데이터 공유 방법
KR101329935B1 (ko) 이종 마커를 이용해서 원격으로 증강현실 서비스를 공유하는 증강현실 시스템 및 그 방법
KR20130092522A (ko) 카메라들의 협력을 위한 방법 및 장치
JP2016207004A (ja) データ処理装置、データ処理システム、データ処理方法及びプログラム
JP2018133055A (ja) 動画収集システム、動画収集装置、および動画収集方法
KR20180113214A (ko) 이미지 획득 방법, 피제어 기기 및 서버
JP7151449B2 (ja) 情報処理システム、プログラム、及び情報処理方法
JP2016194783A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
KR102111758B1 (ko) 차량용 영상 처리 장치 및 이를 이용한 데이터 공유 방법
JP2012227611A (ja) 録画配信装置及び録画配信システム
US10943102B2 (en) Computer vision system that provides information relative to animal wellness and habitat/intervention design
JP7074138B2 (ja) 分析システム、分析方法およびコンピュータプログラム
CN112927394A (zh) 一种基于行车记录仪的共享系统
JPWO2019220630A1 (ja) 情報収集装置
JP7270359B2 (ja) 情報処理装置、撮影装置、追跡システム、情報処理装置の制御方法、および、プログラム
JP2013050922A (ja) 撮像装置、その制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230605

R151 Written notification of patent or utility model registration

Ref document number: 7291739

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151