WO2023106323A1 - 施工管理システム及び施工管理方法 - Google Patents

施工管理システム及び施工管理方法 Download PDF

Info

Publication number
WO2023106323A1
WO2023106323A1 PCT/JP2022/045053 JP2022045053W WO2023106323A1 WO 2023106323 A1 WO2023106323 A1 WO 2023106323A1 JP 2022045053 W JP2022045053 W JP 2022045053W WO 2023106323 A1 WO2023106323 A1 WO 2023106323A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
dimensional position
dimensional
construction site
construction management
Prior art date
Application number
PCT/JP2022/045053
Other languages
English (en)
French (fr)
Inventor
駿 川本
翼 蓮實
翔大 平間
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Publication of WO2023106323A1 publication Critical patent/WO2023106323A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction

Definitions

  • This disclosure relates to a construction management system and a construction management method.
  • construction management systems such as those disclosed in Patent Document 1 are known.
  • the purpose of this disclosure is to confirm the position of a person at a construction site.
  • an image data acquisition unit that acquires image data representing an image of a construction site where a work machine operates; a person identifying unit that identifies the person in the construction site, a two-dimensional position identifying unit that identifies the two-dimensional position of the person in the image, and the three-dimensional position of the person at the construction site based on the two-dimensional position and the topographic data.
  • a construction management system comprising: a three-dimensional position identifying unit;
  • FIG. 1 is a schematic diagram showing a construction management system according to an embodiment.
  • FIG. 2 is a diagram showing an aircraft according to the embodiment.
  • FIG. 3 is a functional block diagram showing the construction management system according to the embodiment.
  • FIG. 4 is a flow chart showing a construction management method according to the embodiment.
  • FIG. 5 is a diagram showing a method of specifying a person according to the embodiment.
  • FIG. 6 is a diagram showing a method of specifying a three-dimensional position of a person according to the embodiment.
  • FIG. 7 is a diagram showing a usage form of a person's three-dimensional position according to the embodiment.
  • FIG. 8 is a block diagram showing a computer system according to the embodiment.
  • FIG. 9 is a diagram showing a method of specifying a three-dimensional position of a person according to another embodiment.
  • FIG. 1 is a schematic diagram showing a construction management system 1 according to an embodiment.
  • a construction management system 1 manages construction at a construction site 2 .
  • a plurality of work machines 20 operate at the construction site 2 .
  • work machine 20 includes excavator 21 , bulldozer 22 , and crawler dumper 23 .
  • a person WM exists at the construction site 2 .
  • a worker who works at the construction site 2 is exemplified as the person WM.
  • the person WM may be a supervisor who manages construction.
  • the person WM may be a spectator.
  • the construction management system 1 includes a management device 3, a server 4, an information terminal 5, and an aircraft 8.
  • the management device 3 includes a computer system located at the construction site 2.
  • the management device 3 is supported by the travel device 6 .
  • the management device 3 can travel on the construction site 2 by the travel device 6 .
  • Examples of the traveling device 6 include an aerial work vehicle, a truck, and a traveling robot.
  • the server 4 includes a computer system.
  • the server 4 may be located at the construction site 2 or may be located at a remote location from the construction site 2 .
  • the information terminal 5 is a computer system located at a remote location 9 of the construction site 2.
  • a personal computer and a smart phone are exemplified as the information terminal 5 .
  • the management device 3, the server 4, and the information terminal 5 communicate via the communication system 10.
  • Examples of the communication system 10 include the Internet, a local area network (LAN), a mobile phone communication network, and a satellite communication network.
  • the flying object 8 flies over the construction site 2.
  • an unmanned aerial vehicle UAV: Unmanned Aerial Vehicle
  • the flying object 8 and management device 3 are connected by a cable 7 .
  • the management device 3 includes a power source or generator. The management device 3 can supply power to the aircraft 8 via the cable 7 .
  • FIG. 2 is a diagram showing the flying object 8 according to the embodiment.
  • a three-dimensional sensor 11 , a camera 12 , a position sensor 14 and an attitude sensor 15 are mounted on the flying object 8 .
  • the three-dimensional sensor 11 detects the construction site 2.
  • the three-dimensional sensor 11 acquires three-dimensional data representing the three-dimensional shape of the topography of the construction site 2 .
  • Detection data of the three-dimensional sensor 11 includes three-dimensional data of the construction site 2 .
  • a three-dimensional sensor 11 is arranged on the flying vehicle 8 .
  • the three-dimensional sensor 11 detects the construction site 2 from above the construction site 2 .
  • a laser sensor LIDAR: Light Detection and Ranging
  • the three-dimensional sensor 11 may be an infrared sensor that detects an object by emitting infrared light or a radar sensor (RADAR: Radio Detection and Ranging) that detects an object by emitting radio waves. Note that the three-dimensional sensor 11 may be a three-dimensional camera such as a stereo camera.
  • RADAR Radio Detection and Ranging
  • the camera 12 images the construction site 2.
  • Camera 12 acquires image data representing an image of construction site 2 .
  • the imaging data of the camera 12 includes image data of the construction site 2 .
  • a camera 12 is arranged on the aircraft 8 .
  • the camera 12 images the construction site 2 from above the construction site 2 .
  • Camera 12 is a two-dimensional camera such as a monocular camera.
  • the camera 12 may be a visible light camera or an infrared camera.
  • the image data acquired by the camera 12 may be moving image data or still image data.
  • the stereo camera may be used as the camera 12 .
  • the position sensor 14 detects the position of the flying object 8.
  • a position sensor 14 detects the position of the aircraft 8 using the Global Navigation Satellite System (GNSS).
  • the position sensor 14 includes a GNSS receiver (GNSS sensor) and detects the position of the aircraft 8 in the global coordinate system.
  • GNSS Global Navigation Satellite System
  • Each of the three-dimensional sensor 11 and camera 12 is fixed to the flying vehicle 8 .
  • the position sensor 14 can detect the position of the three-dimensional sensor 11 and the position of the camera 12 by detecting the position of the flying object 8 .
  • Detection data of the position sensor 14 includes position data of the three-dimensional sensor 11 and position data of the camera 12 .
  • the attitude sensor 15 detects the attitude of the flying object 8. Attitude includes, for example, roll angle, pitch angle, and yaw angle. As the attitude sensor 15, an inertial measurement unit (IMU: Inertial Measurement Unit) is exemplified. Each of the three-dimensional sensor 11 and camera 12 is fixed to the flying vehicle 8 . The attitude sensor 15 can detect the attitude of the three-dimensional sensor 11 and the attitude of the camera 12 by detecting the attitude of the flying object 8 . Detection data of the orientation sensor 15 includes orientation data of the three-dimensional sensor 11 and orientation data of the camera 12 .
  • IMU Inertial Measurement Unit
  • the data detected by the three-dimensional sensor 11 , the data captured by the camera 12 , the data detected by the position sensor 14 , and the data detected by the orientation sensor 15 are each transmitted to the management device 3 via the cable 7 .
  • Each of the detection data of the three-dimensional sensor 11, the imaging data of the camera 12, the detection data of the position sensor 14, and the detection data of the orientation sensor 15 received by the management device 3 is transmitted to the server 4 via the communication system 10. be.
  • FIG. 3 is a functional block diagram showing the construction management system 1 according to the embodiment.
  • the construction management system 1 includes an aircraft 8, a management device 3 arranged at the construction site 2, a server 4, and an information terminal 5 arranged at a remote location 9 of the construction site 2. have.
  • the flying object 8 has a three-dimensional sensor 11, a camera 12, a position sensor 14, and an attitude sensor 15.
  • the information terminal 5 has a display control section 51 and a display device 52 .
  • the display device 52 displays display data.
  • the administrator at the remote location 9 can confirm the display data displayed on the display device 52 .
  • the display device 52 is exemplified by a flat panel display such as a liquid crystal display (LCD) or an organic electroluminescence display (OELD).
  • LCD liquid crystal display
  • OELD organic electroluminescence display
  • the server 4 includes a three-dimensional data acquisition unit 41, a terrain data calculation unit 42, a terrain data storage unit 43, an image data acquisition unit 44, a person identification unit 45, a two-dimensional location identification unit 46, a three-dimensional location It has a specifying unit 47 and an output unit 48 .
  • the three-dimensional data acquisition unit 41 acquires detection data of the three-dimensional sensor 11 . That is, the three-dimensional data acquisition unit 41 acquires three-dimensional data of the construction site 2 from the three-dimensional sensor 11 .
  • the terrain data calculation unit 42 calculates terrain data representing the three-dimensional shape of the terrain of the construction site 2 based on the three-dimensional data of the construction site 2 acquired by the three-dimensional data acquisition unit 41 .
  • the terrain data calculation unit 42 acquires the position of the three-dimensional sensor 11 from the position sensor 14 when the three-dimensional sensor 11 detects the construction site 2, and the three-dimensional sensor when the three-dimensional sensor 11 detects the construction site 2. 11 is acquired from the attitude sensor 15 .
  • the three-dimensional data of the construction site 2 includes point cloud data consisting of a plurality of detection points.
  • the three-dimensional data of the construction site 2 includes relative distances and relative positions between the three-dimensional sensor 11 and each of a plurality of detection points defined as detection targets.
  • the terrain data calculation unit 42 calculates the three-dimensional data of the construction site 2 acquired by the three-dimensional data acquisition unit 41, the position of the three-dimensional sensor 11 detected by the position sensor 14, and the three-dimensional data detected by the orientation sensor 15. For example, terrain data in a local coordinate system defined for the construction site 2 can be calculated based on the attitude of the sensor 11 .
  • the terrain data storage unit 43 stores terrain data indicating the three-dimensional shape of the terrain of the construction site 2 calculated by the terrain data calculation unit 42 .
  • the image data acquisition unit 44 acquires imaging data of the camera 12 . That is, the image data acquisition unit 44 acquires image data representing an image of the construction site 2 from the camera 12 .
  • the image acquired from camera 12 is a two-dimensional image of construction site 2 .
  • the person identification unit 45 identifies the person WM in the image of the construction site 2 acquired by the image data acquisition unit 44 .
  • the person identification unit 45 identifies a person WM using artificial intelligence (AI) that analyzes input data by an algorithm and outputs output data.
  • AI artificial intelligence
  • the person identification unit 45 identifies the person WM using, for example, a neural network.
  • the two-dimensional position specifying unit 46 specifies the two-dimensional position of the person WM in the image of the construction site 2 acquired by the image data acquiring unit 44 .
  • the three-dimensional position specifying unit 47 is based on the two-dimensional position of the person WM in the image of the construction site 2 specified by the two-dimensional position specifying unit 46 and the topographic data of the construction site 2 stored in the topographic data storage unit 43. to identify the three-dimensional position of the person WM at the construction site 2 .
  • the three-dimensional position specifying unit 47 determines the position of the camera 12 detected by the position sensor 14, the two-dimensional position of the person WM in the image of the construction site 2 specified by the two-dimensional position specifying unit 46, the terrain Based on the terrain data of the construction site 2 stored in the data storage unit 43, the three-dimensional position of the person WM at the construction site 2 is identified.
  • the output unit 48 outputs the three-dimensional position of the person WM at the construction site 2 specified by the three-dimensional position specifying unit 47 to the information terminal 5 .
  • the output unit 48 transmits the three-dimensional position of the person WM at the construction site 2 to the information terminal 5 via the communication system 10 .
  • the output unit 48 transmits to the display control unit 51 a control command to cause the display device 52 to display the three-dimensional position of the person WM at the construction site 2 .
  • the display control unit 51 controls the display device 52 based on the control command transmitted from the output unit 48 so that the three-dimensional position of the person WM at the construction site 2 is displayed on the display device 52 .
  • FIG. 4 is a flow chart showing a construction management method according to the embodiment.
  • the detection range of the three-dimensional sensor 11 and at least part of the imaging range of the camera 12 overlap.
  • the detection processing of the construction site 2 by the three-dimensional sensor 11 and the imaging processing of the construction site 2 by the camera 12 are performed simultaneously.
  • the three-dimensional sensor 11 and camera 12 are fixed to the flying object 8 .
  • Calibration for obtaining the relative position between the three-dimensional sensor 11 and the camera 12 and the relative orientation between the three-dimensional sensor 11 and the camera 12 before the detection processing by the three-dimensional sensor 11 and the imaging processing by the camera 12 are performed.
  • application processing is performed.
  • the detection processing of the construction site 2 by the three-dimensional sensor 11 and the imaging processing of the construction site 2 by the camera 12 are started.
  • the three-dimensional data acquisition unit 41 acquires three-dimensional data of the construction site 2 from the three-dimensional sensor 11 (step S1).
  • the terrain data calculation unit 42 calculates terrain data representing the three-dimensional shape of the terrain of the construction site 2 based on the three-dimensional data of the construction site 2 acquired in step S1 (step S2).
  • the terrain data calculation unit 42 calculates, for example, Topographic data in the local coordinate system defined for the construction site 2 is calculated.
  • the terrain data storage unit 43 stores terrain data indicating the three-dimensional shape of the terrain of the construction site 2 calculated in step S2 (step S3).
  • the image data acquisition unit 44 acquires image data representing an image of the construction site 2 from the camera 12 .
  • the image acquired by the image data acquiring unit 44 is a two-dimensional image of the construction site 2 (step S4).
  • the person identification unit 45 identifies the person WM in the image of the construction site 2 acquired in step S4.
  • the person identification unit 45 identifies the person WM using artificial intelligence (AI) (step S5).
  • AI artificial intelligence
  • FIG. 5 is a diagram showing a method of identifying a person WM according to the embodiment.
  • the person identifying unit 45 has a learning model generated by learning the feature amount of an object.
  • the person identification unit 45 identifies the person WM from the two-dimensional image based on the learning model.
  • the person identifying unit 45 performs machine learning using, for example, a learning image including an image of a person as teacher data, thereby generating a learning model that takes as input the feature amount of an object and outputs a person (the presence or absence of a person).
  • the person identification unit 45 inputs the feature amount of the object extracted from the image data representing the image of the construction site 2 acquired in step S4 to the learning model to identify the person WM in the two-dimensional image.
  • the two-dimensional position specifying unit 46 specifies the two-dimensional position of the person WM in the two-dimensional image. In the embodiment, the two-dimensional position specifying unit 46 specifies the two-dimensional position of the feet of the person WM (step S6).
  • the three-dimensional position identification unit 47 Based on the two-dimensional position of the person WM in the two-dimensional image of the construction site 2 identified in step S6 and the topography data of the construction site 2 stored in the topography data storage unit 43, the three-dimensional position identification unit 47 The three-dimensional position of the person WM at the construction site 2 is identified (step S7).
  • FIG. 6 is a diagram showing a method of specifying the three-dimensional position of a person WM according to the embodiment.
  • the three-dimensional position of the person WM is, for example, the three-dimensional position in the topography data of the construction site 2 .
  • a perspective projection plane is defined between the optical center of the camera 12 and the person WM.
  • a perspective projection surface is an image plane that is virtually defined based on a perspective projection model.
  • the three-dimensional position specifying unit 47 specifies the three-dimensional position of the person WM on the construction site 2 based on the intersection of the terrain and the vector connecting the optical center of the camera 12 and the person WM on the perspective projection plane.
  • the terrain data of the construction site 2 includes point cloud data consisting of a plurality of detection points.
  • the three-dimensional position specifying unit 47 specifies the detection point having the maximum inner product with the vector from the plurality of detection points as the three-dimensional position of the person WM.
  • a vector is set to pass through the feet of the person WM in the perspective projection plane.
  • the three-dimensional position specifying unit 47 specifies the three-dimensional position of the feet of the person WM as the three-dimensional position of the person WM.
  • the output unit 48 transmits the three-dimensional position of the person WM identified in step S7 to the information terminal 5 via the communication system 10.
  • the output unit 48 transmits a control command to the display control unit 51 to cause the display device 52 to display the three-dimensional position of the person WM at the construction site 2 .
  • the display control unit 51 causes the display device 52 to display the three-dimensional position of the person WM at the construction site 2 based on the control command transmitted from the output unit 48 (step S8).
  • FIG. 7 is a diagram showing a form of utilization of the three-dimensional position of the person WM according to the embodiment.
  • the information terminal 5 can recognize the situation of the construction site 2 based on the three-dimensional position of the person WM.
  • the information terminal 5 analyzes the flow line of the worker based on the three-dimensional position of the person WM, and can improve work efficiency, for example.
  • the information terminal 5 can propose a work procedure with high work efficiency based on the three-dimensional position of the person WM.
  • the information terminal 5 can notify a warning to the person WM based on the three-dimensional position of the person WM.
  • the information terminal 5 can issue a warning to the information terminal possessed by the worker, for example, so as to ensure the safety of the worker.
  • FIG. 8 is a block diagram illustrating a computer system 1000 according to an embodiment.
  • the server 4 described above includes a computer system 1000 .
  • a computer system 1000 includes a processor 1001 such as a CPU (Central Processing Unit), a main memory 1002 including non-volatile memory such as ROM (Read Only Memory) and volatile memory such as RAM (Random Access Memory), It has a storage 1003 and an interface 1004 including an input/output circuit.
  • the functions of the server 4 described above are stored in the storage 1003 as computer programs.
  • the processor 1001 reads a computer program from the storage 1003, develops it in the main memory 1002, and executes the above-described processing according to the program. Note that the computer program may be distributed to the computer system 1000 via a network.
  • the computer program or computer system 1000 acquires image data representing an image of the construction site 2 on which the work machine 20 operates, and stores terrain data representing the three-dimensional shape of the terrain of the construction site 2, according to the above-described embodiments. identifying the person WM in the image; identifying the two-dimensional position of the person WM in the image; can be specified and performed.
  • the server 4 can specify the three-dimensional position of the person WM on the construction site 2 . Thereby, for example, the manager can confirm the three-dimensional position of the person WM at the construction site 2 .
  • Identifying the person WM from the two-dimensional image acquired by the camera 12 can be performed with high accuracy.
  • the three-dimensional position of the person WM is calculated. is identified with high accuracy.
  • the three-dimensional position specifying unit 47 determines the three-dimensional position of the person WM based on the position of the camera 12 detected by the position sensor 14, the two-dimensional position of the person WM in the two-dimensional image, and the terrain data of the construction site 2. can be specified.
  • the three-dimensional position specifying unit 47 determines the three-dimensional position of the person WM based on the intersection of the vector connecting the optical center of the camera 12 and the person WM on the perspective projection plane with the terrain. can be specified.
  • the relationship between the person WM and the terrain is specified with high accuracy.
  • the construction site 2 is imaged over a wide range.
  • the three-dimensional sensor 11 on the flying object 8 which is a moving object, the topography of the construction site 2 is detected over a wide range.
  • the person identification unit 45 can use artificial intelligence to identify the person WM from the two-dimensional image with high accuracy.
  • the flying object 8 is a wired flying object connected to the cable 7 .
  • the flying object 8 may be a wireless flying object that is not connected to the cable 7 .
  • the two-dimensional position specifying unit 46 specifies the two-dimensional position of the feet of the person WM.
  • the two-dimensional position specifying unit 46 may specify the two-dimensional position of the head of the person WM, may specify the two-dimensional position of any part of the person WM, or may specify an article worn by the person WM. may be identified.
  • the position sensor 14 is used to detect the position of the flying object 8
  • the attitude sensor 15 is used to detect the attitude of the flying object 8.
  • the position and attitude of the aircraft 8 may be detected using SLAM (Simultaneous Localization and Mapping).
  • the position and attitude of the aircraft 8 may be detected using geomagnetism or a barometer.
  • the person identification unit 45 may identify the person WM based on, for example, a pattern matching method without using artificial intelligence.
  • the person identification unit 45 can identify the person WM by matching the template indicating the person WM with the image data of the construction site 2 .
  • the person identification unit 45 may identify the person WM based on the amount of heat of the person WM detected by the infrared camera.
  • the management device 3 is supported by the traveling device 6 and can travel on the construction site 2.
  • the management device 3 may be mounted on the work machine 20 or installed at a predetermined position on the construction site 2 .
  • the information terminal 5 does not have to be located at the remote location 9 of the construction site 2.
  • the information terminal 5 may be mounted on the work machine 20, for example.
  • the functions of the server 4 may be provided in the management device 3, may be provided in the information terminal 5, or may be provided in the computer system mounted on the aircraft 8.
  • a three-dimensional data acquisition unit 41, a terrain data calculation unit 42, a terrain data storage unit 43, an image data acquisition unit 44, a person identification unit 45, a two-dimensional position identification unit 46, a three-dimensional position identification unit 47, and an output unit 48. may be provided in the management device 3, may be provided in the information terminal 5, or may be provided in the computer system mounted on the aircraft 8.
  • the three-dimensional data acquisition unit 41, the terrain data calculation unit 42, the terrain data storage unit 43, the image data acquisition unit 44, the person identification unit 45, the two-dimensional position identification unit 46, the three-dimensional position identification unit 47, and the output unit 48 may be configured by separate hardware.
  • At least one of the three-dimensional sensor 11 and the camera 12 may not be arranged on the flying vehicle 8. At least one of the three-dimensional sensor 11 and the camera 12 may be arranged on the work machine 20, for example.
  • FIG. 9 is a diagram showing a method of specifying the three-dimensional position of a person WM according to another embodiment.
  • camera 12 is mounted on work machine 20 .
  • the three-dimensional position specifying unit 47 determines the three-dimensional position of the person WM at the construction site 2 based on the intersection of the vector connecting the optical center of the camera 12 mounted on the work machine 20 and the person WM on the perspective projection plane and the terrain. location may be specified.
  • At least one of the three-dimensional sensor 11 and the camera 12 may be arranged on a moving body different from the flying body 8 and the work machine 20. Moreover, at least one of the three-dimensional sensor 11 and the camera 12 may be arranged on a structure present at the construction site 2 . Also, a plurality of three-dimensional sensors 11 may be installed at the construction site 2 to detect the terrain of the construction site 2 over a wide range. A plurality of cameras 12 may be installed at the construction site 2 to capture images of the construction site 2 over a wide range.
  • the detection processing by the three-dimensional sensor 11 and the imaging processing by the camera 12 are performed simultaneously.
  • the imaging processing of the construction site 2 by the camera 12 may be performed.
  • the three-dimensional position specifying unit 47 detects the person.
  • the three-dimensional position of the person WM at the construction site 2 can be specified based on the two-dimensional position of the WM and the terrain data.
  • the work machine 20 may be a work machine other than the hydraulic excavator 21, the bulldozer 22, and the crawler dump 23.
  • Work machine 20 may include, for example, a wheel loader.
  • SYMBOLS 1... Construction management system, 2... Construction site, 3... Management apparatus, 4... Server (data processing apparatus), 5... Information terminal, 6... Traveling apparatus, 7... Cable, 8... Aircraft, 9... Remote location, 10 Communication system 11 Three-dimensional sensor 12 Camera 14 Position sensor 15 Attitude sensor 20 Work machine 21 Hydraulic excavator 22 Bulldozer 23 Crawler dump 41 Three-dimensional data acquisition unit , 42 ... terrain data calculation unit 43 ... terrain data storage unit 44 ... image data acquisition unit 45 ... person identification unit 46 ... two-dimensional position identification unit 47 ... three-dimensional position identification unit 48 ... output unit 51 Display control unit 52 Display device 1000 Computer system 1001 Processor 1002 Main memory 1003 Storage 1004 Interface WM Person.

Landscapes

  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

施工管理システムは、作業機械が稼働する施工現場の画像を示す画像データを取得する画像データ取得部と、施工現場の地形の３次元形状を示す地形データを記憶する地形データ記憶部と、画像における人を特定する人特定部と、画像における人の２次元位置を特定する２次元位置特定部と、２次元位置と地形データとに基づいて、施工現場における人の３次元位置を特定する３次元位置特定部と、を備える。

Description

施工管理システム及び施工管理方法
　本開示は、施工管理システム及び施工管理方法に関する。
　施工管理システムに係る技術分野において、特許文献１に開示されているような施工管理システムが知られている。
国際公開第２０１９／０１２９９３号
　施工現場に人が存在する場合がある。施工現場の施工効率の低下を抑制するためには、人の位置を確認できることが好ましい。
　本開示は、施工現場における人の位置を確認することを目的とする。
　本開示に従えば、作業機械が稼働する施工現場の画像を示す画像データを取得する画像データ取得部と、施工現場の地形の３次元形状を示す地形データを記憶する地形データ記憶部と、画像における人を特定する人特定部と、画像における人の２次元位置を特定する２次元位置特定部と、２次元位置と前記地形データとに基づいて、施工現場における人の３次元位置を特定する３次元位置特定部と、を備える、施工管理システムが提供される。
　本開示によれば、施工現場における人の位置を確認することができる。
図１は、実施形態に係る施工管理システムを示す模式図である。 図２は、実施形態に係る飛行体を示す図である。 図３は、実施形態に係る施工管理システムを示す機能ブロック図である。 図４は、実施形態に係る施工管理方法を示すフローチャートである。 図５は、実施形態に係る人の特定方法を示す図である。 図６は、実施形態に係る人の３次元位置の特定方法を示す図である。 図７は、実施形態に係る人の３次元位置の利用形態を示す図である。 図８は、実施形態に係るコンピュータシステムを示すブロック図である。 図９は、他の実施形態に係る人の３次元位置の特定方法を示す図である。
　以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示は実施形態に限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
［施工管理システム］
　図１は、実施形態に係る施工管理システム１を示す模式図である。施工管理システム１は、施工現場２の施工を管理する。施工現場２において複数の作業機械２０が稼働する。実施形態において、作業機械２０は、油圧ショベル２１、ブルドーザ２２、及びクローラダンプ２３を含む。施工現場２に人ＷＭが存在する。人ＷＭとして、施工現場２で作業する作業者が例示される。なお、人ＷＭは、施工を管理する監督者でもよい。人ＷＭは、見学者でもよい。
　図１に示すように、施工管理システム１は、管理装置３と、サーバ４と、情報端末５と、飛行体８とを備える。
　管理装置３は、施工現場２に配置されるコンピュータシステムを含む。管理装置３は、走行装置６に支持される。管理装置３は、走行装置６により施工現場２を走行することができる。走行装置６として、高所作業車、トラック、及び走行ロボットが例示される。
　サーバ４は、コンピュータシステムを含む。サーバ４は、施工現場２に配置されてもよいし、施工現場２の遠隔地に配置されてもよい。
　情報端末５は、施工現場２の遠隔地９に配置されるコンピュータシステムである。情報端末５として、パーソナルコンピュータ及びスマートフォンが例示される。
　管理装置３とサーバ４と情報端末５とは、通信システム１０を介して通信する。通信システム１０として、インターネット（internet）、ローカルエリアネットワーク（ＬＡＮ：Local　Area　Network）、携帯電話通信網、及び衛星通信網が例示される。
　飛行体８は、施工現場２を飛行する。飛行体８として、ドローンのような無人航空機（ＵＡＶ：Unmanned　Aerial　Vehicle）が例示される。実施形態において、飛行体８と管理装置３とは、ケーブル７により接続される。管理装置３は、電源又は発電機を含む。管理装置３は、ケーブル７を介して飛行体８に電力を供給することができる。
［飛行体］
　図２は、実施形態に係る飛行体８を示す図である。飛行体８には、３次元センサ１１と、カメラ１２と、位置センサ１４と、姿勢センサ１５とが搭載される。
　３次元センサ１１は、施工現場２を検出する。３次元センサ１１は、施工現場２の地形の３次元形状を示す３次元データを取得する。３次元センサ１１の検出データは、施工現場２の３次元データを含む。３次元センサ１１は、飛行体８に配置される。３次元センサ１１は、施工現場２の上空から施工現場２を検出する。３次元センサ１１として、レーザ光を射出することにより検出対象を検出するレーザセンサ（ＬＩＤＡＲ：Light　Detection　and　Ranging）が例示される。なお、３次元センサ１１は、赤外光を射出することにより物体を検出する赤外線センサ又は電波を射出することにより物体を検出するレーダセンサ（ＲＡＤＡＲ：Radio　Detection　and　Ranging）でもよい。なお、３次元センサ１１は、ステレオカメラのような３次元カメラでもよい。
　カメラ１２は、施工現場２を撮像する。カメラ１２は、施工現場２の画像を示す画像データを取得する。カメラ１２の撮像データは、施工現場２の画像データを含む。カメラ１２は、飛行体８に配置される。カメラ１２は、施工現場２の上空から施工現場２を撮像する。カメラ１２は、単眼カメラのような２次元カメラである。カメラ１２は、可視光カメラでもよいし、赤外線カメラでもよい。カメラ１２により取得される画像データは、動画データでもよいし静止画データでもよい。また、３次元センサ１１がステレオカメラである場合、ステレオカメラをカメラ１２としてもよい。
　位置センサ１４は、飛行体８の位置を検出する。位置センサ１４は、全地球航法衛星システム（ＧＮＳＳ）を利用して飛行体８の位置を検出する。位置センサ１４は、ＧＮＳＳ受信機（ＧＮＳＳセンサ）を含み、飛行体８のグローバル座標系の位置を検出する。３次元センサ１１及びカメラ１２のそれぞれは、飛行体８に固定される。位置センサ１４は、飛行体８の位置を検出することにより、３次元センサ１１の位置及びカメラ１２の位置を検出することができる。位置センサ１４の検出データは、３次元センサ１１の位置データ及びカメラ１２の位置データを含む。
　姿勢センサ１５は、飛行体８の姿勢を検出する。姿勢は、例えばロール角、ピッチ角、及びヨー角を含む。姿勢センサ１５として、慣性計測装置（ＩＭＵ：Inertial　Measurement　Unit）が例示される。３次元センサ１１及びカメラ１２のそれぞれは、飛行体８に固定される。姿勢センサ１５は、飛行体８の姿勢を検出することにより、３次元センサ１１の姿勢及びカメラ１２の姿勢を検出することができる。姿勢センサ１５の検出データは、３次元センサ１１の姿勢データ及びカメラ１２の姿勢データを含む。
　３次元センサ１１の検出データ、カメラ１２の撮像データ、位置センサ１４の検出データ、及び姿勢センサ１５の検出データのそれぞれは、ケーブル７を介して管理装置３に送信される。管理装置３に受信された３次元センサ１１の検出データ、カメラ１２の撮像データ、位置センサ１４の検出データ、及び姿勢センサ１５の検出データのそれぞれは、通信システム１０を介してサーバ４に送信される。
［サーバ］
　図３は、実施形態に係る施工管理システム１を示す機能ブロック図である。図３に示すように、施工管理システム１は、飛行体８と、施工現場２に配置される管理装置３と、サーバ４と、施工現場２の遠隔地９に配置される情報端末５とを有する。
　飛行体８は、３次元センサ１１と、カメラ１２と、位置センサ１４と、姿勢センサ１５とを有する。
　情報端末５は、表示制御部５１と表示装置５２とを有する。
　表示装置５２は、表示データを表示する。遠隔地９の管理者は、表示装置５２に表示された表示データを確認することができる。表示装置５２として、液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic　Electroluminescence　Display）のようなフラットパネルディスプレイが例示される。
　サーバ４は、３次元データ取得部４１と、地形データ算出部４２と、地形データ記憶部４３と、画像データ取得部４４と、人特定部４５と、２次元位置特定部４６と、３次元位置特定部４７と、出力部４８とを有する。
　３次元データ取得部４１は、３次元センサ１１の検出データを取得する。すなわち、３次元データ取得部４１は、３次元センサ１１から施工現場２の３次元データを取得する。
　地形データ算出部４２は、３次元データ取得部４１により取得された施工現場２の３次元データに基づいて、施工現場２の地形の３次元形状を示す地形データを算出する。地形データ算出部４２は、３次元センサ１１が施工現場２を検出したときの３次元センサ１１の位置を位置センサ１４から取得し、３次元センサ１１が施工現場２を検出したときの３次元センサ１１の姿勢を姿勢センサ１５から取得する。施工現場２の３次元データは、複数の検出点からなる点群データを含む。施工現場２の３次元データは、３次元センサ１１と検出対象に規定される複数の検出点のそれぞれとの相対距離及び相対位置を含む。地形データ算出部４２は、３次元データ取得部４１により取得された施工現場２の３次元データと、位置センサ１４により検出された３次元センサ１１の位置と、姿勢センサ１５により検出された３次元センサ１１の姿勢とに基づいて、例えば施工現場２に規定されたローカル座標系における地形データを算出することができる。
　地形データ記憶部４３は、地形データ算出部４２により算出された施工現場２の地形の３次元形状を示す地形データを記憶する。
　画像データ取得部４４は、カメラ１２の撮像データを取得する。すなわち、画像データ取得部４４は、カメラ１２から施工現場２の画像を示す画像データを取得する。カメラ１２から取得される画像は、施工現場２の２次元画像である。
　人特定部４５は、画像データ取得部４４により取得された施工現場２の画像における人ＷＭを特定する。人特定部４５は、入力データをアルゴリズムにより解析して出力データを出力する人工知能（ＡＩ：Artificial　Intelligence）を利用して人ＷＭを特定する。人特定部４５は、例えばニューラルネットワークを利用して人ＷＭを特定する。
　２次元位置特定部４６は、画像データ取得部４４により取得された施工現場２の画像における人ＷＭの２次元位置を特定する。
　３次元位置特定部４７は、２次元位置特定部４６により特定された施工現場２の画像における人ＷＭの２次元位置と地形データ記憶部４３に記憶されている施工現場２の地形データとに基づいて、施工現場２における人ＷＭの３次元位置を特定する。実施形態において、３次元位置特定部４７は、位置センサ１４により検出されたカメラ１２の位置と、２次元位置特定部４６により特定された施工現場２の画像における人ＷＭの２次元位置と、地形データ記憶部４３に記憶されている施工現場２の地形データとに基づいて、施工現場２における人ＷＭの３次元位置を特定する。
　出力部４８は、３次元位置特定部４７により特定された施工現場２における人ＷＭの３次元位置を情報端末５に出力する。出力部４８は、通信システム１０を介して、施工現場２における人ＷＭの３次元位置を情報端末５に送信する。
　出力部４８は、施工現場２における人ＷＭの３次元位置を表示装置５２に表示させる制御指令を表示制御部５１に送信する。表示制御部５１は、出力部４８から送信された制御指令に基づいて、施工現場２における人ＷＭの３次元位置が表示装置５２に表示されるように、表示装置５２を制御する。
［施工管理方法］
　図４は、実施形態に係る施工管理方法を示すフローチャートである。実施形態において、３次元センサ１１の検出範囲とカメラ１２の撮像範囲の少なくとも一部とは重複する。また、３次元センサ１１による施工現場２の検出処理とカメラ１２による施工現場２の撮像処理とは同時に実施される。３次元センサ１１とカメラ１２とは、飛行体８に固定されている。３次元センサ１１による検出処理とカメラ１２による撮像処理とが実施される前に、３次元センサ１１とカメラ１２との相対位置、及び３次元センサ１１とカメラ１２との相対姿勢のそれぞれを求めるキャリブレーション処理が実施される。
　飛行体８が施工現場２の上空において飛行を開始すると、３次元センサ１１による施工現場２の検出処理とカメラ１２による施工現場２の撮像処理とが開始される。
　３次元データ取得部４１は、３次元センサ１１から施工現場２の３次元データを取得する（ステップＳ１）。
　地形データ算出部４２は、ステップＳ１において取得された施工現場２の３次元データに基づいて、施工現場２の地形の３次元形状を示す地形データを算出する（ステップＳ２）。
　地形データ算出部４２は、施工現場２の３次元データと、位置センサ１４により検出された３次元センサ１１の位置と、姿勢センサ１５により検出された３次元センサ１１の姿勢とに基づいて、例えば施工現場２に規定されたローカル座標系における地形データを算出する。
　地形データ記憶部４３は、ステップＳ２において算出された施工現場２の地形の３次元形状を示す地形データを記憶する（ステップＳ３）。
　画像データ取得部４４は、カメラ１２から施工現場２の画像を示す画像データを取得する。画像データ取得部４４が取得する画像は、施工現場２の２次元画像である（ステップＳ４）。
　人特定部４５は、ステップＳ４において取得された施工現場２の画像における人ＷＭを特定する。人特定部４５は、人工知能（ＡＩ：Artificial　Intelligence）を利用して人ＷＭを特定する（ステップＳ５）。
　図５は、実施形態に係る人ＷＭの特定方法を示す図である。人特定部４５は、物体の特徴量を学習することにより生成された学習モデルを保有する。人特定部４５は、学習モデルに基づいて、２次元画像から人ＷＭを特定する。人特定部４５は、例えば人の画像を含む学習画像を教師データとして機械学習することにより、物体の特徴量を入力とし人（人物の存否）を出力とする学習モデルを生成する。人特定部４５は、ステップＳ４において取得された施工現場２の画像を示す画像データから抽出された物体の特徴量を学習モデルに入力して、２次元画像における人ＷＭを特定する。
　ステップＳ５において人ＷＭが特定された後、２次元位置特定部４６は、２次元画像における人ＷＭの２次元位置を特定する。実施形態において、２次元位置特定部４６は、人ＷＭの足元の２次元位置を特定する（ステップＳ６）。
　３次元位置特定部４７は、ステップＳ６において特定された施工現場２の２次元画像における人ＷＭの２次元位置と地形データ記憶部４３に記憶されている施工現場２の地形データとに基づいて、施工現場２における人ＷＭの３次元位置を特定する（ステップＳ７）。
　図６は、実施形態に係る人ＷＭの３次元位置の特定方法を示す図である。人ＷＭの３次元位置は、例えば、施工現場２の地形データにおける３次元位置である。図６に示すように、カメラ１２の光学中心と人ＷＭとの間に透視投影面が規定される。上述のキャリブレーション処理により、３次元センサ１１とカメラ１２との相対位置、及び３次元センサ１１とカメラ１２との相対姿勢のそれぞれは、既知である。透視投影面（Perspective　Projection　Surface）は、透視投影モデルに基づいて仮想的に規定される画像面である。３次元位置特定部４７は、カメラ１２の光学中心と透視投影面における人ＷＭとを結ぶベクトルと、地形との交点に基づいて、施工現場２における人ＷＭの３次元位置を特定する。施工現場２の地形データは、複数の検出点からなる点群データを含む。３次元位置特定部４７は、複数の検出点からベクトルとの内積が最大となる検出点を人ＷＭの３次元位置として特定する。ベクトルは、透視投影面における人ＷＭの足元を通るように設定される。３次元位置特定部４７は、人ＷＭの３次元位置として、人ＷＭの足元の３次元位置を特定する。
　出力部４８は、ステップＳ７において特定された人ＷＭの３次元位置を、通信システム１０を介して情報端末５に送信する。出力部４８は、施工現場２における人ＷＭの３次元位置を表示装置５２に表示させる制御指令を表示制御部５１に送信する。表示制御部５１は、出力部４８から送信された制御指令に基づいて、施工現場２における人ＷＭの３次元位置を表示装置５２に表示させる（ステップＳ８）。
［人の３次元位置の利用形態］
　図７は、実施形態に係る人ＷＭの３次元位置の利用形態を示す図である。情報端末５は、人ＷＭの３次元位置に基づいて、施工現場２の状況を認識することができる。情報端末５は、人ＷＭの３次元位置に基づいて、作業者の動線を解析して、例えば作業効率の改善を図ることができる。情報端末５は、人ＷＭの３次元位置に基づいて、作業効率が高い作業手順を提案することができる。情報端末５は、人ＷＭの３次元位置に基づいて、人ＷＭに警告を通知することができる。情報端末５は、人ＷＭの３次元位置に基づいて、例えば作業者の安全が確保されるように、作業者が所持する情報端末に警告を通知することができる。
［コンピュータシステム］
　図８は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述のサーバ４は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central　Processing　Unit）のようなプロセッサ１００１と、ＲＯＭ（Read　Only　Memory）のような不揮発性メモリ及びＲＡＭ（Random　Access　Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述のサーバ４の機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。
　コンピュータプログラム又はコンピュータシステム１０００は、上述の実施形態に従って、作業機械２０が稼働する施工現場２の画像を示す画像データを取得することと、施工現場２の地形の３次元形状を示す地形データを記憶することと、画像における人ＷＭを特定することと、画像における人ＷＭの２次元位置を特定することと、２次元位置と地形データとに基づいて、施工現場２における人ＷＭの３次元位置を特定することと、を実行することができる。
［効果］
　以上説明したように、実施形態によれば、サーバ４は、施工現場２における人ＷＭの３次元位置を特定することができる。これにより、例えば管理者は、施工現場２における人ＷＭの３次元位置を確認することができる。
　３次元センサ１１の検出データからのみでは人ＷＭを特定することが困難な可能性がある。カメラ１２により取得された２次元画像から人ＷＭを特定することは高精度に実施可能である。実施形態においては、３次元センサ１１の検出データから算出される施工現場２の地形と、カメラ１２の撮像データから特定される人ＷＭの２次元位置とを組み合わせることにより、人ＷＭの３次元位置が高精度に特定される。
　３次元位置特定部４７は、位置センサ１４により検出されるカメラ１２の位置と、２次元画像における人ＷＭの２次元位置と、施工現場２の地形データとに基づいて、人ＷＭの３次元位置を特定することができる。
　透視投影面が規定されることにより、３次元位置特定部４７は、カメラ１２の光学中心と透視投影面における人ＷＭとを結ぶベクトルと、地形との交点に基づいて、人ＷＭの３次元位置を特定することができる。
　人ＷＭの足元の位置が特定されることにより、人ＷＭと地形との関係が高精度に特定される。
　カメラ１２が移動体である飛行体８に配置されることにより、施工現場２が広範囲に亘って撮像される。３次元センサ１１が移動体である飛行体８に配置されることにより、施工現場２の地形が広範囲に亘って検出される。
　人特定部４５は、人工知能を利用して２次元画像から人ＷＭを高精度に特定することができる。
　特定された人ＷＭの３次元位置が表示装置５２に表示されることにより、図７を参照して説明したように、作業効率の低下の抑制及び施工現場２の労働環境の低下の抑制が図られる。
［その他の実施形態］
　上述の実施形態において、飛行体８は、ケーブル７に接続される有線飛行体であることとした。飛行体８は、ケーブル７に接続されない無線飛行体でもよい。
　上述の実施形態において、２次元位置特定部４６は、人ＷＭの足元の２次元位置を特定することとした。２次元位置特定部４６は、人ＷＭの頭部の２次元位置を特定してもよいし、人ＷＭの任意の部位の２次元位置を特定してもよいし、人ＷＭに装着された物品の２次元位置を特定してもよい。
　上述の実施形態において、位置センサ１４を利用して飛行体８の位置を検出し、姿勢センサ１５を利用して飛行体８の姿勢を検出することとした。ＳＬＡＭ(Simultaneous　Localization　and　Mapping)を利用して飛行体８の位置及び姿勢を検出してもよい。地磁気又は気圧計を用いて飛行体８の位置及び姿勢が検出されてもよい。
　上述の実施形態において、人特定部４５は、人工知能を利用せずに、例えばパターンマッチング法に基づいて人ＷＭを特定してもよい。人特定部４５は、人ＷＭを示すテンプレートと施工現場２の画像データとを照合することにより、人ＷＭを特定することができる。人特定部４５は、赤外線カメラにより検出される人ＷＭの熱量に基づいて人ＷＭを特定してもよい。
　上述の実施形態において、管理装置３は、走行装置６に支持され、施工現場２を走行することができることとした。管理装置３は、作業機械２０に搭載されてもよいし、施工現場２の所定の位置に設置されてもよい。
　上述の実施形態において、情報端末５は、施工現場２の遠隔地９に配置されなくてもよい。情報端末５は、例えば作業機械２０に搭載されてもよい。
　上述の実施形態において、サーバ４の機能が管理装置３に設けられてもよいし、情報端末５に設けられてもよいし、飛行体８に搭載されたコンピュータシステムに設けられてもよい。例えば、３次元データ取得部４１、地形データ算出部４２、地形データ記憶部４３、画像データ取得部４４、人特定部４５、２次元位置特定部４６、３次元位置特定部４７、及び出力部４８の少なくとも一つの機能が、管理装置３に設けられてもよいし、情報端末５に設けられてもよいし、飛行体８に搭載されたコンピュータシステムに設けられてもよい。
　上述の実施形態において、３次元データ取得部４１、地形データ算出部４２、地形データ記憶部４３、画像データ取得部４４、人特定部４５、２次元位置特定部４６、３次元位置特定部４７、及び出力部４８のそれぞれが、別々のハードウエアにより構成されてもよい。
　上述の実施形態において、３次元センサ１１及びカメラ１２の少なくとも一方は、飛行体８に配置されなくてもよい。３次元センサ１１及びカメラ１２の少なくとも一方は、例えば作業機械２０に配置されてもよい。
　図９は、他の実施形態に係る人ＷＭの３次元位置の特定方法を示す図である。図９に示すように、カメラ１２は、作業機械２０に搭載される。３次元位置特定部４７は、作業機械２０に搭載されたカメラ１２の光学中心と透視投影面における人ＷＭとを結ぶベクトルと、地形との交点に基づいて、施工現場２における人ＷＭの３次元位置を特定してもよい。
　また、３次元センサ１１及びカメラ１２の少なくとも一方は、飛行体８及び作業機械２０とは別の移動体に配置されてもよい。また、３次元センサ１１及びカメラ１２の少なくとも一方は、施工現場２に存在する構造物に配置されてもよい。また、３次元センサ１１が施工現場２に複数設置され、施工現場２の地形が広範囲に亘って検出されてもよい。カメラ１２が施工現場２に複数設置され、施工現場２が広範囲に亘って撮像されてもよい。
　上述の実施形態において、３次元センサ１１による検出処理とカメラ１２による撮像処理とが同時に実施されることとした。３次元センサ１１による検出処理が実施され、施工現場２の地形データが地形データ記憶部４３に記憶された後、カメラ１２による施工現場２の撮像処理が実施されてもよい。施工現場２を検出するときの３次元センサ１１の位置及び姿勢が検出され、施工現場２を撮像するときのカメラ１２の位置及び姿勢が検出されることにより、３次元位置特定部４７は、人ＷＭの２次元位置と地形データとに基づいて、施工現場２における人ＷＭの３次元位置を特定することができる。
　上述の実施形態において、作業機械２０は、油圧ショベル２１、ブルドーザ２２、及びクローラダンプ２３とは別の作業機械でもよい。作業機械２０は、例えばホイールローダを含んでもよい。
　１…施工管理システム、２…施工現場、３…管理装置、４…サーバ（データ処理装置）、５…情報端末、６…走行装置、７…ケーブル、８…飛行体、９…遠隔地、１０…通信システム、１１…３次元センサ、１２…カメラ、１４…位置センサ、１５…姿勢センサ、２０…作業機械、２１…油圧ショベル、２２…ブルドーザ、２３…クローラダンプ、４１…３次元データ取得部、４２…地形データ算出部、４３…地形データ記憶部、４４…画像データ取得部、４５…人特定部、４６…２次元位置特定部、４７…３次元位置特定部、４８…出力部、５１…表示制御部、５２…表示装置、１０００…コンピュータシステム、１００１…プロセッサ、１００２…メインメモリ、１００３…ストレージ、１００４…インターフェース、ＷＭ…人。

Claims (18)

  1. 　作業機械が稼働する施工現場の画像を示す画像データを取得する画像データ取得部と、
    　前記施工現場の地形の３次元形状を示す地形データを記憶する地形データ記憶部と、
    　前記画像における人を特定する人特定部と、
    　前記画像における前記人の２次元位置を特定する２次元位置特定部と、
    　前記２次元位置と前記地形データとに基づいて、前記施工現場における前記人の３次元位置を特定する３次元位置特定部と、を備える、
    　施工管理システム。
  2. 　前記画像データ取得部は、前記施工現場を撮像するカメラから画像データを取得し、
    　前記３次元位置特定部は、前記カメラの位置と前記２次元位置と前記地形データとに基づいて、前記３次元位置を特定する、
    　請求項１に記載の施工管理システム。
  3. 　前記カメラの光学中心と前記人との間に透視投影面が規定され、
    　前記３次元位置特定部は、前記光学中心と前記透視投影面における前記人とを結ぶベクトルと、前記地形との交点に基づいて、前記３次元位置を特定する、
    　請求項２に記載の施工管理システム。
  4. 　前記ベクトルは、前記透視投影面における前記人の部位を通るように設定される、
    　請求項３に記載の施工管理システム。
  5. 　前記人の部位は、前記人の足元である、
    　請求項４に記載の施工管理システム。
  6. 　前記カメラは、移動体に配置される、
    　請求項２から請求項５のいずれか一項に記載の施工管理システム。
  7. 　前記移動体は、飛行体及び作業機械の少なくとも一方を含む、
    　請求項６に記載の施工管理システム。
  8. 　前記人特定部は、物体の特徴量を入力とし人を出力とする学習モデルに基づいて、前記人を特定する、
    　請求項１から請求項７のいずれか一項に記載の施工管理システム。
  9. 　前記３次元位置を表示装置に表示させる表示制御部を備える、
    　請求項１から請求項８のいずれか一項に記載の施工管理システム。
  10. 　作業機械が稼働する施工現場の画像を示す画像データを取得することと、
    　前記施工現場の地形の３次元形状を示す地形データを記憶することと、
    　前記画像における人を特定することと、
    　前記画像における前記人の２次元位置を特定することと、
    　前記２次元位置と前記地形データとに基づいて、前記施工現場における前記人の３次元位置を特定することと、を含む、
    　施工管理方法。
  11. 　前記画像データは、前記施工現場を撮像するカメラから取得され、
    　前記カメラの位置と前記２次元位置と前記地形データとに基づいて、前記３次元位置を特定する、
    　請求項１０に記載の施工管理方法。
  12. 　前記カメラの光学中心と前記人との間に透視投影面が規定され、
    　前記光学中心と前記透視投影面における前記人とを結ぶベクトルと、前記地形との交点に基づいて、前記３次元位置を特定する、
    　請求項１１に記載の施工管理方法。
  13. 　前記ベクトルは、前記透視投影面における前記人の部位を通るように設定される、
    　請求項１２に記載の施工管理方法。
  14. 　前記人の部位は、前記人の足元である、
    　請求項１３に記載の施工管理方法。
  15. 　前記カメラは、移動体に配置される、
    　請求項１１から請求項１４のいずれか一項に記載の施工管理方法。
  16. 　前記移動体は、飛行体及び作業機械の少なくとも一方を含む、
    　請求項１５に記載の施工管理方法。
  17. 　物体の特徴量を入力とし人を出力とする学習モデルに基づいて、前記人を特定する、
    　請求項１０から請求項１６のいずれか一項に記載の施工管理方法。
  18. 　前記３次元位置を表示装置に表示させることを含む、
    　請求項１０から請求項１７のいずれか一項に記載の施工管理方法。
PCT/JP2022/045053 2021-12-10 2022-12-07 施工管理システム及び施工管理方法 WO2023106323A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021201058A JP2023086500A (ja) 2021-12-10 2021-12-10 施工管理システム及び施工管理方法
JP2021-201058 2021-12-10

Publications (1)

Publication Number Publication Date
WO2023106323A1 true WO2023106323A1 (ja) 2023-06-15

Family

ID=86730526

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/045053 WO2023106323A1 (ja) 2021-12-10 2022-12-07 施工管理システム及び施工管理方法

Country Status (2)

Country Link
JP (1) JP2023086500A (ja)
WO (1) WO2023106323A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003329448A (ja) * 2002-05-10 2003-11-19 Komatsu Ltd 現場の３次元情報生成システム
JP2005250990A (ja) * 2004-03-05 2005-09-15 Mitsubishi Electric Corp 作業支援装置
JP2017033047A (ja) * 2015-07-28 2017-02-09 株式会社コンピュータシステム研究所 安全管理支援装置、安全管理支援プログラムおよび記憶媒体
WO2019012988A1 (ja) * 2017-07-14 2019-01-17 株式会社小松製作所 地形情報送信装置、施工管理システム及び地形情報送信方法
WO2019012993A1 (ja) * 2017-07-14 2019-01-17 株式会社小松製作所 稼働情報送信装置、施工管理システム、稼働情報送信方法及びプログラム
US20190114847A1 (en) * 2017-10-13 2019-04-18 Deere & Company Unmanned aerial vehicle (uav)-assisted worksite data acquisition

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003329448A (ja) * 2002-05-10 2003-11-19 Komatsu Ltd 現場の３次元情報生成システム
JP2005250990A (ja) * 2004-03-05 2005-09-15 Mitsubishi Electric Corp 作業支援装置
JP2017033047A (ja) * 2015-07-28 2017-02-09 株式会社コンピュータシステム研究所 安全管理支援装置、安全管理支援プログラムおよび記憶媒体
WO2019012988A1 (ja) * 2017-07-14 2019-01-17 株式会社小松製作所 地形情報送信装置、施工管理システム及び地形情報送信方法
WO2019012993A1 (ja) * 2017-07-14 2019-01-17 株式会社小松製作所 稼働情報送信装置、施工管理システム、稼働情報送信方法及びプログラム
US20190114847A1 (en) * 2017-10-13 2019-04-18 Deere & Company Unmanned aerial vehicle (uav)-assisted worksite data acquisition

Also Published As

Publication number Publication date
JP2023086500A (ja) 2023-06-22

Similar Documents

Publication Publication Date Title
CN115597659B (zh) 一种变电站智能安全管控方法
KR20190051704A (ko) 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
US11183056B2 (en) Electronic device for generating map data and operating method therefor
JP6829513B1 (ja) 位置算出方法及び情報処理システム
JP2021193538A (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
WO2023112083A1 (ja) 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ
US11009887B2 (en) Systems and methods for remote visual inspection of a closed space
WO2023106323A1 (ja) 施工管理システム及び施工管理方法
KR20240090459A (ko) 시공 관리 시스템 및 시공 관리 방법
CN115790610A (zh) 一种无人机精准定位系统及方法
JPWO2019188704A1 (ja) 自己位置推定装置、自己位置推定方法、プログラム及び記憶媒体
US20220316188A1 (en) Display system, remote operation system, and display method
WO2023106324A1 (ja) 表示システム及び表示方法
US20240135469A1 (en) Construction management system, data processing device, and construction management method
US20240127372A1 (en) Construction management system, data processing device, and construction management method
JP2016156629A (ja) 外界認識装置、方法および車両
Nowicki et al. Laser-based localization and terrain mapping for driver assistance in a city bus
WO2023106076A1 (ja) 表示システム及び表示方法
KR20240093869A (ko) 표시 시스템 및 표시 방법
CN115979251B (zh) 地图的生成方法和机器人
JP6896670B2 (ja) 放射線量分布表示装置及び放射線量分布表示方法
JP6724834B2 (ja) 表示装置の制御方法および表示装置
KR20240095351A (ko) 표시 시스템 및 표시 방법
IT202100022310A1 (it) Acquisizione autonoma di dati mediante sistemi aerei senza pilota (UAS) con consapevolezza del contesto
JP2024037105A (ja) 電子機器、段差検出方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22904251

Country of ref document: EP

Kind code of ref document: A1