JP6767241B2 - 端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法 - Google Patents
端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法 Download PDFInfo
- Publication number
- JP6767241B2 JP6767241B2 JP2016213793A JP2016213793A JP6767241B2 JP 6767241 B2 JP6767241 B2 JP 6767241B2 JP 2016213793 A JP2016213793 A JP 2016213793A JP 2016213793 A JP2016213793 A JP 2016213793A JP 6767241 B2 JP6767241 B2 JP 6767241B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- imaging
- dimensional data
- unit
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 383
- 230000010354 integration Effects 0.000 title claims description 72
- 238000010276 construction Methods 0.000 claims description 185
- 230000005540 biological transmission Effects 0.000 claims description 90
- 238000005259 measurement Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 description 65
- 230000008569 process Effects 0.000 description 58
- 238000010586 diagram Methods 0.000 description 34
- 238000012546 transfer Methods 0.000 description 30
- 238000009430 construction management Methods 0.000 description 23
- 238000013500 data storage Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000007726 management method Methods 0.000 description 8
- 238000003825 pressing Methods 0.000 description 8
- 238000012790 confirmation Methods 0.000 description 6
- 238000013523 data management Methods 0.000 description 6
- 238000009434 installation Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000012876 topography Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/2054—Fleet management
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Mechanical Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Human Computer Interaction (AREA)
- Component Parts Of Construction Machinery (AREA)
- Closed-Circuit Television Systems (AREA)
- Operation Control Of Excavators (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Studio Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
《施工管理システム》
図1は、第1の実施形態に係る施工管理システムの構成を示す概略図である。
施工管理システム1は、複数の建設機械100と、複数の端末装置200と、サーバ装置300とを備える。図1は、複数の建設機械100と、複数の端末装置200とを備えた施工管理システム1を示すが、施工管理システム1は1台の建設機械100と複数の端末装置200とを備えるものであってもよいし、複数の端末装置200と1台の端末装置200とを備えるものであってもよい。また、施工管理システム1は1台の建設機械100と1台の端末装置200とを備えるものであってもよい。施工管理システム1は、建設機械100や人手による施工の進捗状況を管理するシステムである。具体的には、施工管理システム1は、建設機械100に備えられたステレオカメラが撮像した撮像データから施工現場の三次元データを生成する。施工管理システム1は、撮像システムの一例である。建設機械100の運転者Dは、端末装置200を操作することが可能な撮影者である。
端末装置200としては、例えば、携帯電話、スマートフォン、携帯型コンピュータを用いることができる。端末装置200は、建設機械100に備えられたステレオカメラ125のうち、後述する第1カメラ1251による撮像データ(第1撮像データ)を表示する。端末装置200は、運転者の入力に従って建設機械100に三次元データの生成に用いられる撮像データ(第2撮像データ)の取得指示を送信する。第2撮像データは、後述するステレオカメラ125の全てのカメラ(第1カメラ1251、第2カメラ1252、第3カメラ1253、第4カメラ1254)によって撮像された撮像データである。第2撮像データは、過去に取得した第1撮像データを含むものであっても、過去に取得した第1撮像データを含まないものであってもよい。つまり、第2撮像データが、過去に取得した第1撮像データを含む場合、同タイミングで取得した第2撮像データであって、第1撮像データを含む第2撮像データを後述する制御装置126の図示しない記憶部に記憶させておき、それらの撮像データを用いて三次元データを生成してもよい。また、第2撮像データが、過去に取得した第1撮像データを含まない場合、後述するように撮影者がステレオカメラ125の撮影範囲や撮影内容を確認するための第1撮像データとは別の第1撮像データを含む第2撮像データにより、三次元データを生成してもよい。
サーバ装置300は、建設機械100から撮像データおよび三次元データを受信する。サーバ装置300は、複数の三次元データを統合して施工現場全体を表す統合三次元データを生成することができる。
建設機械100、端末装置200、およびサーバ装置300は、互いにネットワークNを介して接続される。なお、ネットワークNは、携帯通信網または衛星通信網を含む。
図2は、第1の実施形態に係る建設機械の構成を示す斜視図である。
建設機械100は、油圧により作動する作業機110と、作業機110を支持する上部旋回体としての車体120と、車体120を支持する下部走行体としての走行装置130とを備える。
車体120には、運転者Dが搭乗する運転室121と、車体120の位置を検出する位置検出器122と、車体120が向く方位を検出する方位検出器123と、車体120の姿勢を検出する姿勢検出器124と、車体120の前方(+Y方向)を撮像するステレオカメラ125と、建設機械100を制御する制御装置126とを備える。なお、方位検出器123は、車体120の位置を検出する位置検出器の一部としても機能する。運転室121は、車体120の前方(+Y方向)かつ作業機110の左側(−X側)に設置される。
図3は、第1の実施形態に係る建設機械の制御装置の構成を示すブロック図である。
制御装置126は、ビーコン発信部1261、指示受信部1262、撮像データ取得部1263、車両情報取得部1264、三次元データ生成部1265、データ送信部1266を備える。
撮像データ取得部1263は、指示受信部1262が撮像指示を受信すると、ステレオカメラ125から、第1カメラ1251が撮像した撮像データ(第1撮像データ)を一定周期で取得する処理を開始する。例えば、撮像データ取得部1263は、撮像指示の受信以降、5秒ごとに第1撮像データを取得する。撮像データ取得部1263は、指示受信部1262が取得指示を受信したときに、ステレオカメラ125(第1カメラ1251、第2カメラ1252、第3カメラ1253、第4カメラ1254)のそれぞれが撮像した撮像データ(第2撮像データ)を取得する。
車両情報取得部1264は、位置検出器122、方位検出器123、および姿勢検出器124から、それぞれ位置情報、方位情報、および姿勢情報といった車両情報を取得する。
図4は、第1の実施形態に係る端末装置の構成を示すブロック図である。
端末装置200は、ビーコン受信部201、データ受信部202、表示制御部203、入力受付部204、対象車両記憶部205、指示送信部206、表示部RPを備える。
データ受信部202は、サーバ装置300から、建設機械100のステレオカメラ125によって撮像された撮像データ、あるいは施工現場を表す三次元データを受信する。データ受信部202は、撮像データ受信部および三次元データ受信部の一例である。
表示制御部203は、受信したデータを表示部RPであるディスプレイに表示させる。端末装置200のディスプレイの例としては、タッチパネル、液晶ディスプレイ、有機EL(Electroluminescence)ディスプレイが挙げられる。具体的に、表示制御部203は、ビーコン受信部201が受信した車両IDが示す車両の一覧、ステレオカメラ125によって撮像された撮像データ、あるいは施工現場を表す三次元データを、ディスプレイに表示させる。
対象車両記憶部205は、撮像指示および取得指示の宛先となる建設機械100の車両IDを記憶する。
図5は、第1の実施形態に係るサーバ装置の構成を示すブロック図である。
サーバ装置300は、指示転送部301、接続関係記憶部302、データ転送部303、データ受信部304、データ記憶部305、三次元データ統合部306、指示受信部307、データ送信部308、現場情報記憶部309を備える。
データ転送部303は、建設機械100から受信した撮像データを、接続関係記憶部302において当該建設機械100の車両IDに関連付けられた端末IDが示す端末装置200に転送する。
データ記憶部305は、データ受信部304が受信した三次元データおよび撮像データ、ならびに出来形を表す三次元データを記憶する。データ記憶部305は、三次元データおよび撮像データを、これらのデータの生成元の建設機械100を識別するための車両IDに関連付けて記憶する。
三次元データ統合部306は、データ記憶部305が記憶する2以上の三次元データを1つの三次元データに統合する。三次元データ統合部306は、統合された三次元データをデータ記憶部305に記憶させる。サーバ装置300は、データ統合装置の一例である。
指示受信部307は、端末装置200から三次元データまたは撮像データの送信指示を受信する。
データ送信部308は、指示受信部307が受信した送信指示に基づいて、データ記憶部305が記憶する三次元データまたは撮像データを、送信指示の送信元の端末装置200に送信する。
現場情報記憶部309は、施工現場を識別するための現場IDに関連付けて、当該施工現場で作業を行う建設機械100を識別する車両IDを記憶する。
ここで、第1の実施形態に係る施工管理システム1による撮像方法について説明する。
図6は、第1の実施形態に係る端末装置の動作を示すフローチャートである。
運転者Dは端末装置200を操作し、端末装置200に、第1の実施形態に係る撮像方法を行うための撮像制御プログラムを実行させる。端末装置200が撮像制御プログラムの実行を開始すると、ビーコン受信部201は、ビーコン信号の受信処理を開始する(ステップS101)。端末装置200が建設機械100のビーコン信号の到達距離内に存在する場合、ビーコン受信部201は、当該建設機械100が発するビーコン信号を受信することができる。つまり、ビーコン受信部201は、近傍の建設機械100からビーコン信号を受信する。ビーコン受信部201は、受信されたビーコン信号のうち、受信強度が最も強いビーコン信号に含まれる車両IDを特定する(ステップS102)。ビーコン受信部201は、特定した車両IDを、対象車両記憶部205に記憶させる(ステップS103)。端末装置200が、運転者Dによって建設機械100の運転室121に持ち込まれることで、当該端末装置200が受信するビーコン信号のうち、当該建設機械100が発信するビーコン信号の強度が最も高くなる。これにより、端末装置200は、運転者Dが運転する建設機械100を対象車両として特定することができる。対象車両が特定されることで、端末装置200の操作により出力される撮像指示および取得指示は、対象車両記憶部205が記憶する車両IDが示す建設機械100に送信される。なお、撮像指示と取得指示とは、同時に対象車両に送信されてもよいし、撮像指示が対象車両に送信された場合に取得指示が自動的に対象車両に送信されてもよい。
対象車両記憶部205に車両IDが記憶されると、表示制御部203は、表示部RPであるディスプレイに三次元データの生成制御処理の実行ボタンB1および三次元データの管理処理の実行ボタンB2を含む処理選択画面を表示させる(ステップS104)。入力受付部204は、表示された生成制御処理の実行ボタンB1または管理処理の実行ボタンB2の押下の入力を受け付ける(ステップS105)。生成制御処理の実行ボタンB1が押下された場合(ステップS105:生成制御処理)、端末装置200は、三次元データの生成制御処理を実行する(ステップS106)。他方、管理処理の実行ボタンB2が押下された場合(ステップS105:管理処理)、端末装置200は、三次元データの管理処理を実行する(ステップS107)。
端末装置200がステップS106にて三次元データの生成制御処理を開始すると、指示送信部206は、対象車両記憶部205が記憶する車両IDを含む撮像指示を、サーバ装置300に送信する(ステップS211)。サーバ装置300の指示転送部301は端末装置200から、撮像指示を受信すると、当該撮像指示に含まれる車両IDと、当該撮像指示の送信元の端末装置200を示す端末IDとを、関連付けて接続関係記憶部302に記憶させる(ステップS221)。接続関係記憶部302に記憶された車両IDと端末IDとの関係は、少なくとも端末装置200とサーバ装置300との接続が切断されるまで保持される。次に、指示転送部301は受信した撮像指示を、当該撮像指示に含まれる車両IDが示す建設機械100に転送する(ステップS222)。
図9に示すように、撮像範囲確認画面は、第1撮像データの表示領域Rと取得指示の送信ボタンB3とを含む。第1撮像データの表示領域Rには、三次元データの生成に用いられる範囲を示す枠Fが表示される。三次元データの生成に用いられる範囲とは、対をなすカメラの撮像範囲の重複する部分であり、地形を計測する範囲である。つまり、表示制御部203は、第1カメラ1251の撮像範囲のうち第3カメラ1253の撮像範囲と重複する部分を示す枠Fを、計測範囲情報としてディスプレイに表示させる。枠Fの大きさは既知の撮像範囲に基づいており、グラフィックデータとして例えば表示制御部203に記憶されている。図9に示す例では、枠Fは破線で表わされるが、他の実施形態では、計測範囲情報として、枠Fが破線に代えて例えば赤色の実線などにより強調表示されてもよい。また、表示制御部203は、枠Fとともに撮像範囲を示す文字を計測範囲情報として示させてもよい。これにより、撮影者である運転者Dは、三次元データの生成に用いられる範囲内に所望の地形が写っていること(撮像範囲や撮像内容)を確認してから、三次元データの生成に用いられる撮像データの取得指示の送信ボタンを押下することができる。
端末装置200が取得指示の送信ボタンを表示した後、運転者Dが送信ボタンを押下すると、指示送信部206は、三次元データの生成に用いられる撮像データの取得指示をサーバ装置300に送信する(ステップS213)。取得指示には、対象車両記憶部205が記憶する車両IDが含まれる。サーバ装置300の指示転送部301は、受信した取得指示を、当該取得指示に含まれる車両IDが示す建設機械100に転送する(ステップS225)。
これにより、端末装置200は、運転者Dに三次元データの生成に用いられる撮像範囲や撮像内容を確認させた後に、三次元データの生成に用いられる撮像データの取得指示を建設機械100に送信することができる。
端末装置200がステップS107にて三次元データの管理処理を指示すると、指示送信部206は、サーバ装置300に三次元データおよび撮像データのリストの送信指示を送信する(ステップS311)。送信指示には、対象車両記憶部205が記憶する車両IDが含まれる。サーバ装置300の指示受信部307が送信指示を受信すると、データ送信部308は、データ記憶部305が記憶する三次元データおよび撮像データのリストを生成し、端末装置200に送信する(ステップS321)。このとき、データ送信部308は、データ記憶部305が記憶するデータのうち、送信指示に含まれる車両IDに関連付けられたデータをデータ記憶部305から抽出することで、リストを生成する。当該リストは、三次元データと当該三次元データの生成に用いた撮像データの組み合わせを1つの構成単位とする。端末装置200のデータ受信部202がリストを受信すると、表示制御部203は、受信したリストを表示部RPであるディスプレイに表示させる(ステップS312)。
ここで、ステップS323に示す統合処理について詳述する。図13は、第1の実施形態に係る統合処理を示すフローチャートである。
三次元データ統合部306は、指示受信部307が受信した統合指示に含まれる識別情報が示す三次元データを読み出す(ステップS401)。次に、三次元データ統合部306は、読み出した三次元データに関連付けられたタイムスタンプが示す時刻、タイムスタンプの時間幅(最も古い時刻と最も新しい時刻の差の時間)を算出する(ステップS402)。次に、三次元データ統合部306は、算出した時間幅が所定時間未満であるか否かを判定する(ステップS403)。時間幅が所定時間以上である場合(ステップS403:NO)、三次元データ統合部306は、端末装置200に三次元データの統合ができない旨を通知し(ステップS404)、統合処理を終了する。これは、統合対象となる三次元データどうしの生成時刻が所定時間以上離れている場合、古い三次元データが生成されてから新しい三次元データが生成されるまでの間に、掘削や盛り土などの何らかの施工がなされて地形が変化している可能性があるためである。
このように第1の実施形態によれば、端末装置200は、ステレオカメラ125が撮像した撮像データを受信し、受信した撮像データを表示部RPに表示させ、建設機械100に三次元データの生成に用いられる撮像データの取得指示を送信する。これにより、端末装置200は、取得指示の送信に際し、ステレオカメラ125によって撮像される範囲や撮像内容を撮影者である運転者Dに確認させることができる。したがって、運転者Dは、所望の地点に係る三次元データを制御装置126に生成させることができる。
第1の実施形態では、端末装置200がステップS102で対象車両を特定する際に、受信強度が最も強いビーコン信号に含まれる車両IDを特定するが、他の実施形態ではこれに限られない。例えば、他の実施形態においては、ビーコン受信部201は、所定時間の間継続して、受信強度が所定強度以上であるビーコン信号のうち、受信強度が最も強いビーコン信号に含まれる車両IDを特定してもよい。また例えば、他の実施形態においては、ビーコン受信部201は、受信強度が所定強度以上であるビーコン信号に含まれる車両IDのリストを端末装置200などに表示させ、その中から選択された車両IDを特定してもよい。
《施工管理システム》
図14は、第2の実施形態に係る施工管理システムの構成を示す概略図である。
第1の実施形態に係る施工管理システム1は、運転者Dが端末装置200を操作して建設機械100に撮像および三次元データの生成を指示する。これに対し、第2の実施形態に係る施工管理システム1は、施工現場の管理者Aが撮影者となり、管理者Aが端末装置200を操作して建設機械100に撮像および三次元データの生成を指示する。第2の実施形態に係る端末装置200としては、例えばスマートフォン、携帯電話、携帯型コンピュータを用いることができる。また、端末装置200は、例えば施工現場から離れた事務所に設けられる、表示部を備えたパーソナルコンピュータ(PC)であってよい。
第2の実施形態に係る端末装置200は、第1の実施形態に係る端末装置200のビーコン受信部201に代えて、車両リスト記憶部207を備える。車両リスト記憶部207は、施工現場を識別する複数の現場IDと、各施工現場で動作する建設機械100の車両IDとを管理づけたリストを記憶する。
第2の実施形態に係る建設機械100は、ビーコン発信部1261を備えなくてもよい。
図16は、第2の実施形態に係る端末装置の動作を示すフローチャートである。
運転者Dは端末装置200を操作し、端末装置200に、第2の実施形態に係る撮像方法を行うための撮像制御プログラムを実行させる。端末装置200が撮像制御プログラムの実行を開始すると、表示制御部203は、車両リスト記憶部207が記憶する施工現場のリストをディスプレイに表示させる(ステップS1101)。ディスプレイには、例えば施工現場の住所によって施工現場を表すリストが表示される。入力受付部204は、表示されたリストの中から1つの現場IDの選択の入力を受け付ける(ステップS1102)。入力受付部204は、入力された現場IDに関連付けられた建設機械100のリストをディスプレイに表示させる(ステップS1103)。ディスプレイには、例えば建設機械100の機種および号機の組み合わせによって建設機械100を表すリストが表示される。入力受付部204は、表示されたリストの中から1つの車両IDの選択の入力を受け付ける(ステップS1104)。入力受付部204は、入力された車両IDを対象車両記憶部205に記憶させる(ステップS1105)。これにより、端末装置200は、ビーコン信号を受信することなく対象車両を特定することができる。
このように、第2の実施形態によれば、端末装置200は、予め記憶されたリストの中から車両IDの選択の入力を受け付けることで、対象車両を特定する。これにより、端末装置200は、ビーコン信号を受信することなく対象車両を特定することができる。したがって、撮影者である管理者Aは、ステレオカメラ125によって撮像される範囲や撮像内容を確認したうえで、所望の地点に係る三次元データを制御装置126に生成させることができる。
第2の実施形態では、端末装置200が車両リスト記憶部207が記憶するリストを表示するが、他の実施形態ではこれに限られない。例えば、他の実施形態においては、端末装置200がサーバ装置300に対象となる施工現場の現場IDを送信し、サーバ装置300が現場情報記憶部309から当該現場IDに関連付けられた建設機械100のリストを端末装置200に送信してもよい。つまり、他の実施形態に係る施工管理システム1は、管理者Aまたは運転者Dに、複数の施工現場の中から対象となる施工現場を選択させた後に、建設機械100を選択させるものであってもよい。
《施工管理システム》
第1の実施形態に係る施工管理システム1は、建設機械100および端末装置200は、サーバ装置300を介して指示およびデータを送受信する。これに対し、第3の実施形態に係る施工管理システム1は、三次元データの生成制御処理において、建設機械100と端末装置200とが、サーバ装置300を介さずに直接通信することで、指示およびデータを送受信する。端末装置200は、管理者Aあるいは運転者Dによって操作される。
図17は、第3の実施形態に係る三次元データの生成制御処理を示す第1のシーケンス図である。
端末装置200がステップS106にて三次元データの生成制御処理を開始すると、指示送信部206は、対象車両記憶部205が記憶する車両IDが示す建設機械100に、近距離無線通信によって撮像指示を送信する(ステップS2211)。近距離無線通信の例としては、運転者Dや管理者Aが、特別な認証や免許を持っていなくても使用可能な、無線LAN(Local Area Network)、Bluetooth(登録商標)、NFC(Near field radio communication)が挙げられる。建設機械100の指示受信部1262が端末装置200から撮像指示を受信すると、撮像データ取得部1263は、第1カメラ1251から撮像データ(第1撮像データ)を取得する(ステップS2231)。データ送信部1266は、撮像データ取得部1263が取得した第1撮像データを、撮像指示の送信元の端末装置200に送信する(ステップS2232)。なお、他の実施形態においては、建設機械100の所定の記憶装置に、建設機械100毎に割り当てられた車両識別情報である車両IDを記憶しておき、データ送信部1266は、車両IDを当該所定の記憶装置から読み出して、第1撮像データとともに車両IDを端末装置200に送信するようにしてもよい。この場合、端末装置200の対象車両記憶部205は、受信した車両IDを記憶する。そして、上記のステップS2211で行う撮像指示を出す際に、過去に入手した車両IDを端末装置200の対象車両記憶部205から選択し、選択された車両IDに対応する建設機械100に対して撮像指示を送信することができる。以下、建設機械100は、端末装置200との接続が切断されるまで、第1撮像データの取得および送信を、一定時間(例えば、5秒)が経過する度に実行する。端末装置200のデータ受信部202が第1撮像データを受信すると、表示制御部203は、取得指示の送信ボタンと受信した第1撮像データとを含む撮像範囲確認画面を、ディスプレイに表示させる(ステップS2212)。
端末装置200が取得指示の送信ボタンを表示した後、運転者Dが送信ボタンを押下すると、指示送信部206は、対象車両記憶部205が記憶する車両IDが示す建設機械100に取得指示を送信する(ステップS2213)。建設機械100の指示受信部1262が取得指示を受信すると、撮像データ取得部1263は、ステレオカメラ125の全てのカメラから撮像データ(第2撮像データ)を取得する(ステップS2233)。車両情報取得部1264は、位置検出器122、方位検出器123、および姿勢検出器124から、それぞれ位置情報、方位情報、および姿勢情報といった車両情報を取得する(ステップS2234)。三次元データ生成部1265は、取得された第2撮像データ、ならびに位置情報、方位情報、および姿勢情報に基づいて、ステレオカメラ125による撮像範囲の三次元データを生成する(ステップS2235)。
なお、端末装置200は、第1の実施形態と同様に図11に示す手順によって、データの表示、データの統合、およびデータの反映(三次元データの管理処理)を実行することができる。つまり、管理者Aあるいは運転者Dは、端末装置200がステップS312で表示されたリストから確認すべきデータを選択し、ステップS314でデータの閲覧を選択することで、そのデータがサーバ装置300から端末装置200に送信され、端末装置200にそのデータが表示される。これにより、管理者Aあるいは運転者Dは、建設機械100の制御装置126によって適切な範囲を表す三次元データが生成されたか否かを確認することができる。
このように、第3の実施形態によれば、端末装置200は、近距離無線通信により建設機械100との通信を行う。これにより、ネットワークNおよびサーバ装置300を介して通信する場合と比較し、端末装置200と建設機械100との間の通信における応答時間を短くすることができる。また、第3の実施形態においても、撮影者である管理者Aあるいは運転者Dは、ステレオカメラ125によって撮像される範囲や撮像内容を確認したうえで、所望の地点に係る三次元データを制御装置126に生成させることができる。
第3の実施形態に係る端末装置200は、建設機械100と近距離無線通信により接続される。これに対し、第4の実施形態に係る建設機械100は端末装置200を備え、端末装置200と制御装置126とが有線で接続される。端末装置200は、運転室121内の座席の前方(+Y方向)に設置される。これにより、運転者Dは、建設機械100の運転中に端末装置200を確認することができる。
第1の実施形態に係る建設機械100は、取得指示を受信したときに、ステレオカメラ125から第2撮像データを取得する。これに対し、第5の実施形態に係る建設機械100は、記憶しておいた複数の第1撮像データの中から、第2撮像データとして用いるものを取得する。
第5の実施形態に係る建設機械100の制御装置126は、第1の実施形態の構成に加え、さらに撮像データ記録部1267および撮像データ記憶部1268を備える。撮像データ記録部1267は、撮像データ取得部1263がステレオカメラ125から取得した第1撮像データと、第1撮像データを特定するための画像識別情報としての撮像IDと、車両情報取得部1264が取得した車両情報とを関連付けて、撮像データ記憶部1268に記憶する。撮像IDの例としては、撮像日時およびシリアルナンバーが挙げられる。
端末装置200が図6に示したステップS106にて三次元データの生成制御処理を開始すると、指示送信部206は、対象車両記憶部205が記憶する車両IDを含む撮像指示を、サーバ装置300に送信する(ステップS3211)。サーバ装置300の指示転送部301は端末装置200から、撮像指示を受信すると、当該撮像指示に含まれる車両IDと、当該撮像指示の送信元の端末装置200を示す端末IDとを、関連付けて接続関係記憶部302に記憶させる(ステップS3221)。次に、指示転送部301は受信した撮像指示を、当該撮像指示に含まれる車両IDが示す建設機械100に転送する(ステップS3222)。
端末装置200が送信ボタンB3を表示した後、運転者Dが送信ボタンB3を押下すると、指示送信部206は、データ受信部202が最後に受信した第1撮像データに付された撮像IDを特定する(ステップS3213)。これにより、送信ボタンB3が押下されたときにディスプレイに表示されていた第1撮像データの撮像IDを特定することができる。指示送信部206は、第2撮像データの取得指示をサーバ装置300に送信する(ステップS3214)。取得指示には、特定した撮像IDおよび対象車両記憶部205が記憶する車両IDが含まれる。サーバ装置300の指示転送部301は、受信した取得指示を、当該取得指示に含まれる車両IDが示す建設機械100に転送する(ステップS3225)。
これにより、端末装置200は、運転者Dが送信ボタンB3を押下したときに表示された撮像データの取得指示を建設機械100に送信することができる。
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上述した実施形態に係る端末装置200が送信する撮像指示には、送信元の端末IDが含まれるが、これに限られない。例えば、他の実施形態に係る撮像指示には、撮像データの送信先の端末IDとして、当該端末装置200以外の装置を示す端末IDが含まれても良い。つまり、撮像指示を送信する端末装置200と、撮像データを受信し、表示する端末装置200とが異なるものであってよい。
図22は、少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ99は、プロセッサ991、メインメモリ992、ストレージ993、インタフェース994を備える。
上述した実施形態に係る制御装置126、端末装置200、およびサーバ装置300は、コンピュータ99を備える。上述した各処理部の機能は、プログラムとしてストレージ993に記憶されている。プロセッサ991は、プログラムをストレージ993から読み出してメインメモリ992に展開し、当該プログラムに従って上述した処理を実行する。プロセッサ991は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ992に確保する。ストレージ993は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース994を介して接続される光ディスク、磁気ディスク、光磁気ディスクおよび半導体メモリが挙げられる。
Claims (16)
- 作業車両に備えられた、三次元データを生成可能な撮像装置が撮像した第1撮像データを受信する撮像データ受信部と、
前記撮像データ受信部が受信した前記第1撮像データを表示する表示部と、
三次元データの生成に用いるために、前記撮像装置によって撮像された第2撮像データ並びに前記作業車両の位置、方位及び姿勢を含む車両情報を前記作業車両に取得させる取得指示を送信する取得指示送信部と
を備える端末装置。 - 前記第1撮像データが表示された後に、前記取得指示の送信トリガの入力を受け付ける入力受付部をさらに備え、
前記取得指示送信部は、前記送信トリガが入力されたときに、前記取得指示を送信する 請求項1に記載の端末装置。 - 作業車両の識別情報を含む撮像指示を送信する撮像指示送信部をさらに備え、
前記撮像データ受信部は、前記撮像指示に含まれる前記識別情報が示す前記作業車両から、前記第1撮像データを受信する
請求項1または請求項2に記載の端末装置。 - 前記撮像装置が撮像した撮像データに基づいて生成された三次元データを受信する三次元データ受信部をさらに備え、
前記表示部は、前記三次元データ受信部が受信した前記三次元データを表示する
請求項1から請求項3の何れか1項に記載の端末装置。 - 前記表示部は、前記第1撮像データと共に、三次元データの生成に用いられる範囲を示す計測範囲情報を表示する
請求項1から請求項4の何れか1項に記載の端末装置。 - 前記撮像装置は、複数の撮像装置であり、
前記第1撮像データは、前記複数の撮像装置のうち1つの撮像装置が撮像した撮像データである
請求項1から請求項5の何れか1項に記載の端末装置。 - 作業車両と端末装置とを備え、
前記作業車両は、
車体と、
前記車体に備えられ、奥行方向の情報を取得可能な撮像装置と、
前記撮像装置が撮像した第1撮像データを前記端末装置に送信する撮像データ送信部と、
三次元データの生成に用いる第2撮像データの取得指示を受信する取得指示受信部と、 前記取得指示に従って前記撮像装置から前記第2撮像データを取得する撮像データ取得部と
を備え、
前記端末装置は、
前記作業車両から前記第1撮像データを受信する撮像データ受信部と、
前記撮像データ受信部が受信した前記第1撮像データを表示する表示部と、
三次元データの生成に用いるために、前記撮像装置によって撮像された第2撮像データ並びに前記作業車両の位置、方位及び姿勢を含む車両情報を前記作業車両に取得させる取得指示を送信する取得指示送信部と
を備える撮像システム。 - 前記作業車両は、
前記第2撮像データ及び前記車両情報を用いて三次元データを生成する三次元データ生成部をさらに備える
請求項7に記載の撮像システム。 - 作業車両に備えられた、奥行方向の情報を取得可能な撮像装置が撮像した第1撮像データを受信することと、
受信した前記第1撮像データを端末装置に表示させることと、
三次元データの生成に用いるために、前記撮像装置によって撮像された第2撮像データ並びに前記作業車両の位置、方位及び姿勢を含む車両情報を前記作業車両に取得させる取得指示を送信することと
を含む撮像方法。 - 作業車両に備えられた、奥行方向の情報を取得可能な撮像装置が撮像した第1撮像データを端末装置に送信する撮像データ送信部と、
三次元データの生成に用いるために、前記撮像装置によって撮像された第2撮像データ並びに前記作業車両の位置、方位及び姿勢を含む車両情報の取得指示を受信する取得指示受信部と、
前記取得指示に従って前記撮像装置から前記第2撮像データを取得する撮像データ取得部と、
前記取得指示に従って前記作業車両の車両情報を取得する車両情報取得部と、
を備える制御装置。 - 作業車両に備えられた撮像装置が施工現場を撮像した撮像データに基づいて生成された複数の三次元データを取得する三次元データ取得部と、
前記複数の三次元データに関連付けられた時刻の時間幅が所定時間未満である場合に、前記三次元データ取得部が取得した前記複数の三次元データを統合して統合三次元データを生成する三次元データ統合部と
を備えるデータ統合装置。 - 前記複数の三次元データに、同一の平面座標について高さ情報を有する複数の三次元データである複数の共通三次元データが含まれる場合に、前記三次元データ統合部は、前記共通三次元データのうち前記平面座標に係る高さの平均値を算出し、当該平均値を用いて前記統合三次元データを生成する
請求項11に記載のデータ統合装置。 - 前記複数の三次元データに、同一の平面座標について高さ情報を有する複数の三次元データである複数の共通三次元データが含まれる場合に、前記三次元データ統合部は、前記共通三次元データのうち最も新しいものに係る高さを用いて前記統合三次元データを生成する
請求項11に記載のデータ統合装置。 - 前記三次元データ統合部は、複数の作業車両に備えられた前記撮像装置が撮像した前記撮像データに基づいて生成された前記複数の三次元データを統合して前記統合三次元データを生成する
請求項11から請求項13の何れか1項に記載のデータ統合装置。 - 車体と、
前記車体に備えられた撮像装置と、
前記撮像装置が撮像した複数の撮像データのそれぞれに基づいて、複数の三次元データを生成する三次元データ生成部と、
前記複数の三次元データに関連付けられた時刻の時間幅が所定時間未満である場合に、前記三次元データ生成部が生成した複数の三次元データを統合して統合三次元データを生成する三次元データ統合部と
を備える作業車両。 - 作業車両とデータ統合装置とを備え、
前記作業車両は、
車体と、
前記車体に備えられた撮像装置と、
前記撮像装置が撮像した複数の撮像データのそれぞれに基づいて、複数の三次元データを生成する三次元データ生成部と、
前記複数の三次元データを前記データ統合装置に送信するデータ送信部と
を備え、
前記データ統合装置は、
前記作業車両から前記複数の三次元データを受信するデータ受信部と、
前記複数の三次元データに関連付けられた時刻の時間幅が所定時間未満である場合に、前記データ受信部が受信した前記複数の三次元データを統合して統合三次元データを生成する三次元データ統合部と
を備える撮像システム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
AU2017242392A AU2017242392B2 (en) | 2016-03-30 | 2017-03-08 | Terminal device, control device, data-integrating device, work vehicle, image-capturing system, and image-capturing method |
US16/069,573 US10805597B2 (en) | 2016-03-30 | 2017-03-08 | Terminal device, control device, data-integrating device, work vehicle, image-capturing system, and image-capturing method |
DE112017000244.3T DE112017000244T5 (de) | 2016-03-30 | 2017-03-08 | Endgerät-vorrichtung, steuerungs-vorrichtung, vorrichtung zum integrieren von daten, arbeitsfahrzeug, bildaufnahme-system, bildaufnahme-verfahren |
CN201780005627.8A CN108432234B (zh) | 2016-03-30 | 2017-03-08 | 终端装置、控制装置、数据统合装置、作业车辆、拍摄系统以及拍摄方法 |
PCT/JP2017/009287 WO2017169598A1 (ja) | 2016-03-30 | 2017-03-08 | 端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016069691 | 2016-03-30 | ||
JP2016069691 | 2016-03-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017186870A JP2017186870A (ja) | 2017-10-12 |
JP6767241B2 true JP6767241B2 (ja) | 2020-10-14 |
Family
ID=60046286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016213793A Active JP6767241B2 (ja) | 2016-03-30 | 2016-10-31 | 端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10805597B2 (ja) |
JP (1) | JP6767241B2 (ja) |
CN (1) | CN108432234B (ja) |
AU (1) | AU2017242392B2 (ja) |
DE (1) | DE112017000244T5 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101777518B1 (ko) * | 2016-04-07 | 2017-09-11 | 엘지전자 주식회사 | 인테리어 카메라 장치, 이를 포함하는 차량 운전 보조장치 및 이를 포함하는 차량 |
JPWO2019172424A1 (ja) * | 2018-03-08 | 2021-03-18 | 住友重機械工業株式会社 | 作業機械、情報処理装置、情報処理方法、プログラム |
CN109610545A (zh) * | 2018-12-24 | 2019-04-12 | 上海新储集成电路有限公司 | 一种远程操作清淤协作设备系统 |
CN110798615A (zh) * | 2019-10-14 | 2020-02-14 | 深圳酷派技术有限公司 | 一种拍摄方法、装置、存储介质以及终端 |
JP7516068B2 (ja) * | 2020-02-21 | 2024-07-16 | 株式会社小松製作所 | 作業機械の遠隔操作システム |
JP2023170027A (ja) * | 2022-05-18 | 2023-12-01 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理システム及び情報処理方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1072851A (ja) * | 1996-08-30 | 1998-03-17 | Shin Caterpillar Mitsubishi Ltd | 侵入移動体検出装置 |
JP4712237B2 (ja) * | 2001-07-26 | 2011-06-29 | 株式会社小松製作所 | 移動体の始動ロック装置 |
JP3799019B2 (ja) * | 2002-01-16 | 2006-07-19 | オリンパス株式会社 | ステレオ撮影装置及びステレオ撮影装置の撮影方法 |
JP2006013851A (ja) * | 2004-06-25 | 2006-01-12 | Sharp Corp | 撮像表示装置および撮像表示方法 |
JP4980606B2 (ja) * | 2005-11-15 | 2012-07-18 | 株式会社岩根研究所 | 移動型自動監視装置 |
JP2009193240A (ja) * | 2008-02-13 | 2009-08-27 | Toyota Motor Corp | 移動ロボット及び環境地図の生成方法 |
JP5390813B2 (ja) * | 2008-09-02 | 2014-01-15 | 東急建設株式会社 | 空間情報表示装置及び支援装置 |
JP5375531B2 (ja) * | 2009-11-06 | 2013-12-25 | 株式会社リコー | 距離画像取得装置及び距離画像取得処理方法 |
JP5802476B2 (ja) * | 2011-08-09 | 2015-10-28 | 株式会社トプコン | 建設機械制御システム |
JP2014123208A (ja) * | 2012-12-20 | 2014-07-03 | Mitsubishi Electric Corp | 3次元復元装置 |
CN203086581U (zh) | 2013-01-30 | 2013-07-24 | 海口欧科科技有限公司 | 带有gps定位的三维视频录制装置 |
CN103236160B (zh) * | 2013-04-07 | 2015-03-18 | 水木路拓科技(北京)有限公司 | 基于视频图像处理技术的路网交通状态监测系统 |
TW201529381A (zh) | 2014-01-17 | 2015-08-01 | Primax Electronics Ltd | 行車影像輔助系統 |
JP2015164847A (ja) * | 2015-05-07 | 2015-09-17 | 株式会社小松製作所 | 建設機械管理システム |
-
2016
- 2016-10-31 JP JP2016213793A patent/JP6767241B2/ja active Active
-
2017
- 2017-03-08 AU AU2017242392A patent/AU2017242392B2/en active Active
- 2017-03-08 US US16/069,573 patent/US10805597B2/en active Active
- 2017-03-08 CN CN201780005627.8A patent/CN108432234B/zh active Active
- 2017-03-08 DE DE112017000244.3T patent/DE112017000244T5/de active Pending
Also Published As
Publication number | Publication date |
---|---|
AU2017242392A1 (en) | 2018-07-26 |
US10805597B2 (en) | 2020-10-13 |
AU2017242392B2 (en) | 2019-12-05 |
US20190020867A1 (en) | 2019-01-17 |
CN108432234B (zh) | 2021-11-12 |
DE112017000244T5 (de) | 2018-09-06 |
CN108432234A (zh) | 2018-08-21 |
JP2017186870A (ja) | 2017-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6767241B2 (ja) | 端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法 | |
US11940789B2 (en) | System and method for autonomous operation of a machine | |
US10822773B2 (en) | Construction machine and construction management system | |
CN109661494B (zh) | 作业机械的检测处理装置及作业机械的检测处理方法 | |
JP2024028464A (ja) | 表示制御システムおよび表示制御方法 | |
WO2021124654A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
JP2019156299A (ja) | 車両遠隔操作装置及び車両遠隔操作方法 | |
WO2021153187A1 (ja) | 作業支援サーバおよび作業支援システム | |
WO2021176883A1 (ja) | 作業支援サーバ、作業支援方法 | |
WO2021131161A1 (ja) | 作業支援サーバ、撮像装置の選択方法 | |
WO2017169598A1 (ja) | 端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法 | |
CN114730440A (zh) | 作业支援服务器、作业支援方法及作业支援系统 | |
US20220398512A1 (en) | Work assist server, work assist method, and work assist system | |
US20230266754A1 (en) | Work area overlay on operator display | |
JP2023151682A (ja) | ショベル及びショベル支援システム | |
JP2024057362A (ja) | 作業支援システム、遠隔操作支援システム、作業支援方法および表示装置 | |
JP2022152338A (ja) | 作業支援システムおよび作業支援複合システム | |
NZ787784A (en) | System and method for autonomous operation of a machine |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161130 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200806 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200901 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200917 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6767241 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |