WO2020122025A1 - 地表面推定方法、計測領域表示システムおよびクレーン - Google Patents

地表面推定方法、計測領域表示システムおよびクレーン Download PDF

Info

Publication number
WO2020122025A1
WO2020122025A1 PCT/JP2019/048133 JP2019048133W WO2020122025A1 WO 2020122025 A1 WO2020122025 A1 WO 2020122025A1 JP 2019048133 W JP2019048133 W JP 2019048133W WO 2020122025 A1 WO2020122025 A1 WO 2020122025A1
Authority
WO
WIPO (PCT)
Prior art keywords
grid
ground surface
continuous area
area
elevation value
Prior art date
Application number
PCT/JP2019/048133
Other languages
English (en)
French (fr)
Inventor
巖 石川
孝幸 小阪
諭 窪田
田中 成典
中村 健二
雄平 山本
匡哉 中原
Original Assignee
株式会社タダノ
学校法人 関西大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社タダノ, 学校法人 関西大学 filed Critical 株式会社タダノ
Priority to EP19896114.6A priority Critical patent/EP3896391A4/en
Priority to US17/296,847 priority patent/US12032657B2/en
Publication of WO2020122025A1 publication Critical patent/WO2020122025A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • B66C13/04Auxiliary devices for controlling movements of suspended loads, or preventing cable slack
    • B66C13/08Auxiliary devices for controlling movements of suspended loads, or preventing cable slack for depositing loads in desired attitudes or positions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • B66C13/18Control systems or devices
    • B66C13/22Control systems or devices for electric drives
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • B66C13/18Control systems or devices
    • B66C13/46Position indicators for suspended loads or for crane elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00Tracing profiles
    • G01C7/02Tracing profiles of land surfaces
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures

Definitions

  • the present invention relates to a ground surface estimation method, a measurement area display system, and a crane.
  • Patent Document 1 Japanese Patent Document 1 below, for example.
  • Patent Document 1 discloses a technology related to a height information notification system that notifies the height of an object around a suspended load (luggage).
  • a distance measuring unit such as a laser distance sensor, a microwave distance sensor, and a stereo camera.
  • the position of the object around the suspended load is detected and the height is calculated, and the position and height of the object around the suspended load are calculated in the captured image (camera image) captured by the camera (camera image).
  • the processed image (guide information) corresponding to the height is created (generated), and the processed image is displayed on the monitor.
  • Patent Document 1 does not have a configuration for estimating the ground surface in the area around the suspended load. Therefore, the prior art only provides information on the height of the divided area when there is an area divided by another area. In other words, the information provided for the divided areas does not include information that allows the operator to determine whether or not the ground surface. When such information is used for crane work, even if the ground surface exists, the operator may mistakenly recognize that there is a feature of the displayed height.
  • An object of the present invention is to provide a ground surface estimation method, a measurement area display system and a crane for estimating the ground surface in an area divided by another area.
  • a laser scanner is used to irradiate a laser on a measurement region to acquire point cloud data, and a point cloud data acquisition step of calculating an elevation value of an irradiation point from the point cloud data, and the point cloud data.
  • the measurement area is divided into a plurality of grids by a data processing means for calculating, and for each of the grids, the barycentric position of the grid and the average elevation value of the point cloud data in the grid are calculated, and the grid Grid generation processing step of setting the barycentric position at the average elevation value of the point cloud data as the position of the representative point for each grid, and among the plurality of grids, another grid adjacent to the representative point of one grid If the difference in elevation value with the representative point is less than or equal to the threshold value between the grids, a continuous area recognition step of recognizing the continuous area as a continuous area of the one grid and the other grid, and the continuous area Among them, the first ground surface estimation step of estimating the continuous area with the most number of the grid as the ground surface, and each non-adjacent continuous area that is a continuous area that is not adjacent to the continuous area estimated as the ground surface, The average elevation value of the representative points of the grid in the non-adjacent continuous area is calculated, the average elevation value of the representative points of
  • the predetermined range of the continuous area estimated to be the ground surface is composed of a grid adjacent to the continuous area between the non-adjacent continuous area and the continuous area estimated to be the ground surface. This is a method for estimating the ground surface, which is characterized by the range.
  • the second ground surface estimation step if the distance between the non-adjacent continuous area and the continuous area estimated to be the ground surface is a predetermined distance or more, the non-adjacent continuous area. It is a method of estimating the ground surface, which is characterized in that is not estimated as the ground surface.
  • a data acquisition unit including a laser scanner that irradiates a measurement region with laser to acquire point cloud data, a data processing unit that performs arithmetic processing on the acquired point cloud data, and a data display unit.
  • the data processing unit acquires the point cloud data from the data acquisition unit, calculates the elevation value of the irradiation point from the point cloud data, divides the measurement region into a plurality of grids, for each grid, Calculate the barycentric position of the grid and the average elevation value of the point cloud data in the grid, and set the barycentric position at the average elevation value of the point cloud data in the grid as the position of the representative point for each grid.
  • the one grid and the other grid are Recognized as a continuous area that is a continuous area, of the continuous areas, the continuous area with the largest number of grids is estimated as the ground surface, and in the continuous area that is not adjacent to the continuous area estimated as the ground surface.
  • the average elevation value of the representative points of the grid in the non-adjacent continuous area is calculated, and the average elevation value of the representative points of the grid in a predetermined range of the continuous area estimated to be the ground surface is calculated.
  • the difference between the average elevation value of the representative points of the grid in the non-adjacent continuous area and the average elevation value of the representative points of the grid in a predetermined range of the continuous area estimated to be the ground surface is less than or equal to a threshold value between areas.
  • the measurement area display system is characterized in that the non-adjacent continuous area is estimated to be the ground surface, and the continuous area estimated to be the ground surface is displayed on the data display unit separately from other areas.
  • a swivel base a boom provided on the swivel base, a laser scanner attached to the boom for acquiring point cloud data, a control device for performing arithmetic processing on the acquired point cloud data, and a display device.
  • a crane including, by irradiating a laser while moving the laser scanner in accordance with a turning operation of the swivel base, a telescopic operation of the boom, and a hoisting operation, a position of the laser scanner during laser irradiation.
  • the control device acquires the point cloud data for each position at the time of laser irradiation of the laser scanner, the laser based on the position and the attitude of the laser scanner at the time of laser irradiation.
  • the point cloud data for each position at the time of irradiation is superposed, the elevation value of the irradiation point is calculated, the measurement area of the laser scanner is divided into a plurality of grids, and the position of the center of gravity of the grid and the grid are divided for each grid.
  • the continuous area with the largest number of grids is estimated as the ground surface, and each non-adjacent continuous area that is a continuous area that is not adjacent to the continuous area estimated as the ground surface,
  • the average elevation value of the representative points of the grid in the non-adjacent continuous area is calculated, the average elevation value of the representative points of the grid in a predetermined range of the continuous area estimated as the ground surface is calculated, and in the non-adjacent continuous area
  • the non-adjacent continuous area where the difference between the average elevation value of the representative points of the grid and the average elevation value of the representative points of the grid in a predetermined range of the continuous area estimated to be the ground surface is less than or equal to a threshold value between areas
  • a continuous area estimated to be the ground surface is displayed on the display device while being distinguished from other areas.
  • the present invention has the following effects.
  • the non-adjacent continuous area is estimated to be the ground surface. As a result, it is possible to estimate the ground surface for a region divided by another region.
  • the altitude value of the portion that is closest to the non-adjacent continuous area is used for determination, so that the ground surface having a large difference in altitude value is not affected. As a result, it is possible to estimate the ground surface for a region divided by another region.
  • the dense non-adjacent continuous areas are recognized in more detail by reducing the width of the grid when dividing the measurement area into a plurality of grids. .. As a result, it is possible to estimate the ground surface for a region divided by another region.
  • the uncertainty that the altitude value of the ground surface in the divided area becomes higher than the threshold value increases. Therefore, false estimation is suppressed by not estimating the non-adjacent continuous area where the distance between the non-adjacent continuous area and the continuous area estimated to be the ground surface is equal to or more than a predetermined distance as the ground surface. It As a result, it is possible to estimate the ground surface for a region divided by another region.
  • the point cloud data in the working area of the crane is acquired along with the operation of the swivel base and the boom, and even if the elevation value of the non-adjacent continuous area is different from the elevation value of the ground surface, the difference in the range If so, the non-adjacent continuous region is estimated to be the ground surface.
  • the ground surface can be estimated for the area divided by other areas.
  • FIG. 3A is a schematic diagram viewed from the Y-axis direction
  • FIG. 3B is a schematic view viewed from the Z-axis direction.
  • the plane schematic diagram explaining a measurement area, an individual measurement area, and a work area.
  • the schematic diagram which shows the relationship between an individual measurement area
  • 6A is an explanatory diagram of grid generation processing, FIG.
  • FIG. 6A is an explanatory diagram of division of point cloud data, grid slice, calculation of average elevation value
  • FIG. 6B is an explanatory diagram of representative point setting
  • FIG. 7A is an explanatory diagram of the three-dimensional map update processing
  • FIG. 7A is an explanatory diagram of representative points for each set grid and representative points of a three-dimensional map generated before the current time
  • FIG. 7B is a plurality of representatives in the same grid. Explanatory drawing of deletion of a representative point when a point exists.
  • 9A is a schematic diagram of a grid of a three-dimensional map
  • FIG. 9B is an explanatory diagram of labeling
  • FIG. 9A is a schematic diagram of a grid of a three-dimensional map
  • FIG. 9B is an explanatory diagram of labeling
  • FIG. 9A is a schematic diagram of a grid of a three-dimensional map
  • FIG. 10A is an explanatory diagram of a feature region estimation process
  • FIG. 10A is an explanatory diagram of a continuous region to be estimated and a predetermined range
  • FIG. 10B is an explanatory diagram of an average elevation value
  • FIG. 10C is an estimation of a feature and a ground surface.
  • Explanatory drawing FIG. 10D is explanatory drawing of a predetermined range. The figure which shows the display state of guide information
  • FIG. 11A is a figure which shows the data display part which displayed the camera image
  • FIG. 11B is the figure which shows the data display part which superimposed and displayed the camera image and guide information.
  • the flowchart which shows the flow of the data processing by a data processing part The flowchart which shows a grid generation process.
  • FIG. 18A is an explanatory diagram of changing the width of the grid in the grid generation process
  • FIG. 18A is an explanatory diagram of a predetermined range and a continuous region within the range
  • FIG. 18B is a description of a region of the ground surface after changing the width of the grid.
  • Fig. The flowchart which shows a grid generation process. Explanatory drawing in the case where a non-adjacent continuous area is not estimated as the ground surface in the feature area estimation processing. The flowchart which shows a feature area estimation process.
  • the crane 1 equipped with the measurement area display system 50 according to the first embodiment of the present invention will be described below.
  • a mobile crane rough terrain crane
  • a truck crane or the like may be used.
  • the crane 1 is a mobile crane that can move to an unspecified place.
  • the crane 1 has a vehicle 2 and a crane device 6.
  • the vehicle 2 is a traveling vehicle that carries the crane device 6.
  • the vehicle 2 has a plurality of wheels 3 and runs with the engine 4 as a power source.
  • the vehicle 2 is provided with an outrigger 5.
  • the outrigger 5 is composed of a projecting beam that can be hydraulically extended on both sides in the width direction of the vehicle 2 and a hydraulic jack cylinder that can be extended in a direction perpendicular to the ground.
  • the crane device 6 is a work device for lifting the luggage W with a wire rope.
  • the crane device 6 includes a swivel base 7, a boom 9, a jib 9a, a main hook block 10, a sub hook block 11, an undulating hydraulic cylinder 12, a main winch 13, a main wire rope 14, a sub winch 15, a sub wire rope 16, a cabin. 17, a control device 18 (see FIG. 2) and the like.
  • the swivel base 7 is a drive device that allows the crane device 6 to swivel.
  • the swivel base 7 is provided on the frame of the vehicle 2 via an annular bearing.
  • the swivel base 7 is configured to be rotatable around the center of an annular bearing as the center of rotation.
  • the revolving base 7 is provided with a hydraulic revolving hydraulic motor 8 as an actuator.
  • the turning hydraulic motor 8 is an actuator that is rotated by a turning valve 23 (see FIG. 2) that is an electromagnetic proportional switching valve.
  • the turning valve 23 can control the flow rate of the hydraulic oil supplied to the turning hydraulic motor 8 to an arbitrary flow rate. That is, the swivel base 7 is configured to be controllable to an arbitrary swivel speed via the swivel hydraulic motor 8 which is rotationally operated by the swivel valve 23.
  • the swivel base 7 is provided with a swivel sensor 27 (see FIG. 2) which is a swivel angle detecting means for detecting the swivel position (angle) and swivel speed of the swivel base 7.
  • the boom 9 is a movable column that supports the wire rope so that the luggage W can be lifted.
  • the boom 9 is composed of a plurality of boom members.
  • the boom 9 is configured to be extendable/contractible in the axial direction by moving each boom member by an extension/contraction hydraulic cylinder (not shown) which is an actuator.
  • the boom 9 is provided such that the base end of the base boom member is swingable substantially at the center of the swivel base 7.
  • a telescopic hydraulic cylinder (not shown) is an actuator that is telescopically operated by a telescopic valve 24 (see FIG. 2) that is an electromagnetic proportional switching valve.
  • the expansion/contraction valve 24 can control the flow rate of the hydraulic oil supplied to the expansion/contraction hydraulic cylinder to an arbitrary flow rate. That is, the boom 9 is configured to be controllable to an arbitrary boom length by the telescopic valve 24.
  • the boom 9 is provided with an extension/contraction sensor 28 (see FIG. 2) which is extension/contraction length detecting means for detecting the length of the boom 9.
  • the main hook block 10 and the sub hook block 11 are suspenders for suspending the luggage W.
  • the main hook block 10 is provided with a plurality of hook sheaves around which the main wire rope 14 is wound, and a main hook 10a for hanging the luggage W.
  • the sub-hook block 11 is provided with a sub-hook 11a for hanging the luggage W.
  • the undulating hydraulic cylinder 12 is expanded and contracted by an undulating valve 25 (see FIG. 2) which is an electromagnetic proportional switching valve.
  • the undulation valve 25 can control the flow rate of the hydraulic oil supplied to the undulation hydraulic cylinder 12 to an arbitrary flow rate. That is, the boom 9 is configured to be controllable to an arbitrary hoisting speed by the hoisting valve 25.
  • the boom 9 is provided with a hoisting sensor 29 (see FIG. 2) that is a turning angle detection unit that detects the hoisting angle of the boom 9, a weight sensor that detects the weight of the luggage W, and the like.
  • the main winch 13 and the sub winch 15 are winding devices for retracting (winding) and unwinding (winding) the main wire rope 14 and the sub wire rope 16.
  • the main winch 13 is rotated by a main hydraulic motor (not shown) whose main drum around which the main wire rope 14 is wound is an actuator
  • the sub winch 15 is a sub drum (not shown) around which the sub drum around which the sub wire rope 16 is wound is an actuator. It is configured to be rotated by a hydraulic motor for use.
  • the main hydraulic motor is rotated by a main valve 26m (see FIG. 2) which is an electromagnetic proportional switching valve.
  • the main valve 26m can control the flow rate of the hydraulic oil supplied to the main hydraulic motor to an arbitrary flow rate.
  • the main winch 13 is configured to be controllable to an arbitrary feeding and feeding speed by the main valve 26m.
  • the sub winch 15 is configured to be controllable to an arbitrary feeding and drawing speed by a sub valve 26s (see FIG. 2) which is an electromagnetic proportional switching valve.
  • Each of the main winch 13 and the sub winch 15 is provided with a winding sensor 30 (see FIG. 2) that detects the unwinding amount of the main wire rope 14 and the sub wire rope 16.
  • Cabin 17 covers the driver's seat.
  • an operation tool for operating the vehicle 2 and a turning operation tool 19 for operating the crane device 6, a telescopic operation tool 20, a hoisting operation tool 21, a main drum operation tool 22m, a sub-drum operation tool 22s, etc. are provided (see FIG. 2).
  • the turning operation tool 19 can operate the turning hydraulic motor 8.
  • the extension/contraction operation tool 20 can operate an extension/contraction hydraulic cylinder.
  • the hoisting operation tool 21 can operate the hoisting hydraulic cylinder 12.
  • the main drum operation tool 22m can operate the main hydraulic motor.
  • the sub-drum operation tool 22s can operate the sub hydraulic motor.
  • the crane 1 configured as described above can move the crane device 6 to an arbitrary position by moving the vehicle 2.
  • the hoisting operation tool 21 is operated to raise the boom 9 to an arbitrary hoisting angle by the hoisting hydraulic cylinder 12, and the telescopic operation tool 20 is operated to extend the boom 9 to an arbitrary boom length.
  • the lifting height and working radius of the crane device 6 can be expanded.
  • the crane 1 can transport the load W by lifting the load W with the main drum operation tool 22m or the like and turning the turntable 7 by operating the turning operation tool 19.
  • the control device 18 controls the actuator of the crane device 6 via each valve.
  • the control device 18 is provided in the cabin 17.
  • the control device 18 may have a configuration in which a CPU, a ROM, a RAM, a HDD, and the like are connected by a bus, or may be a configuration including a one-chip LSI or the like.
  • the control device 18 stores various programs and data for controlling the operation of each actuator, sensor and the like.
  • the control device 18 is connected to a turning operation tool 19, a telescopic operation tool 20, a hoisting operation tool 21, a main drum operation tool 22m, and a sub-drum operation tool 22s, and the turning operation tool 19, the telescopic operation tool 20, the hoisting operation tool 21, the main operation.
  • the operation amount of each of the drum operation tool 22m and the sub-drum operation tool 22s can be acquired.
  • the control device 18 is connected to the swing valve 23, the expansion/contraction valve 24, the undulation valve 25, the main valve 26m, and the sub valve 26s, and the rotation valve 23, the expansion/contraction valve 24, the undulation valve 25, and the main valve 26s.
  • a control signal can be transmitted to the valve 26m and the sub valve 26s.
  • the control device 18 is connected to the turning sensor 27, the extension/contraction sensor 28, the hoisting sensor 29, the weight sensor, and the winding sensor 30, and the turning position of the swivel base 7, the boom length, the hoisting angle, and the weight of the luggage W.
  • the amount of extension of the main wire rope 14 and the sub wire rope 16 can be acquired.
  • the control device 18 provides the measurement area display system 50 with information about the crane 1 such as the turning position of the swivel base 7, the boom length, the hoisting angle, the weight of the luggage W, and the amount of extension of the main wire rope 14 and the sub wire rope 16. Can be communicated.
  • the XYZ coordinate system as shown in FIG. 1 is defined with reference to the axial direction of the undulating fulcrum of the boom 9 (the same applies in the following description).
  • the X-axis direction (also referred to as the depth direction) is a direction that is vertical and horizontal to the axial direction of the undulating fulcrum of the boom 9.
  • the Y-axis direction (also referred to as the horizontal direction) is a direction parallel to and horizontal to the axial direction of the undulating fulcrum of the boom 9.
  • the Z-axis direction is a vertically downward direction. That is, the XYZ coordinate system is defined as a local coordinate system with the boom 9 as a reference (see FIG. 4).
  • the crane 1 includes a measurement area display system 50 as shown in FIG.
  • the measurement area display system 50 is an example of the measurement area display system 50 according to the present invention, and the measurement area display system 50 is provided to enable the work by the crane 1 as shown in FIG. 1 to be performed efficiently and safely.
  • the display system 50 is a system for displaying information (hereinafter, referred to as guide information) of an area to be measured (hereinafter, referred to as measurement area KA (see FIG. 4)) as an image and presenting it to an operator.
  • the measurement region display system 50 includes a data acquisition unit 60, a data processing unit 70, a data display unit 80, and a data input unit 90.
  • the data acquisition unit 60 is a part that acquires data necessary for generating guide information in the measurement area KA, and includes a camera 61, a laser scanner 62, an inertial measurement device (IMU) 63, a first GNSS receiver 64a, and a first GNSS receiver 64a. Two GNSS receivers 64b are provided.
  • the camera 61, the laser scanner 62, the inertial measurement unit (IMU) 63, and the first GNSS receiver 64a are fixed to the frame body to form an integrated sensor unit 65.
  • the sensor unit 65 is attached to the tip portion of the boom 9 of the crane 1, and is arranged in a state in which the situation directly below can be captured from the tip portion of the boom 9 located directly above the luggage W (FIG. 1). reference).
  • the term "directly above” the luggage W is a concept including a position vertically above the luggage W and a position within a certain range (for example, a range of the upper surface of the luggage W) with respect to the position. ..
  • the sensor unit 65 is attached to the tip end portion of the boom 9 via a gimbal 66 (see FIG. 1), and when the swivel operation of the swivel base 7, the hoisting operation of the boom 9, and the telescopic operation are performed,
  • the sensor unit 65 is configured so that the attitude (the attitude toward the Z-axis direction) can be kept substantially constant. Thereby, the camera 61 and the laser scanner 62 can be always directed toward the luggage W. Therefore, the sensor unit 65 can always obtain data from the luggage W and the ground surface F therebelow by the camera 61 and the laser scanner 62. When the feature E exists on the ground surface F below the luggage W, the data of the feature E can be acquired by the camera 61 and the laser scanner 62.
  • the camera 61 is a digital video camera for capturing an image of a region below the sensor unit 65 (hereinafter, referred to as an individual measurement region ka (see FIG. 4)), and has a function of outputting the captured camera image to the outside in real time. have. Further, the camera 61 has the number of pixels, the angle of view, the frame rate, and the image transmission rate in consideration of the amount of data required to generate appropriate guide information.
  • the laser scanner 62 is a device that irradiates a measurement target with a laser and receives reflected light from the measurement target of the laser to acquire information about the reflection point and acquire point cloud data of the measurement target. Is.
  • the laser scanner 62 is attached to the tip portion of the boom 9 via the sensor unit 65.
  • the measurement objects of the laser scanner 62 are the baggage W, the feature E, and the ground surface F.
  • the laser scanner 62 is connected with a third GNSS receiver 64c for acquiring the measurement time.
  • the laser scanner 62 is arranged so that the locus drawn by the laser emitted toward the individual measurement area ka is parallel to the Y-axis direction (see FIG. 3B). Further, in the laser scanner 62, the reference axis for changing the laser irradiation angle is parallel to the X-axis direction.
  • the measurement region display system 50 uses the laser scanner 62 to acquire planar three-dimensional point cloud data in real time.
  • An inertial measurement device (Internal Measurement Unit, hereinafter referred to as IMU) 63 is a device for acquiring attitude data of the camera 61 and the laser scanner 62 at the time of data acquisition.
  • the IMU 63 can measure the posture angle in real time, and has a measurement accuracy that can be used to correct the point cloud data acquired by the laser scanner 62. Further, the IMU 63 is connected with a fourth GNSS receiver 64d for acquiring the measurement time.
  • the first GNSS receiver 64a is a device for receiving a distance measurement radio wave from a satellite and calculating latitude, longitude, and altitude values which are coordinates.
  • the distance at which the first GNSS receiver 64a and the laser scanner 62 are separated is set, and the coordinates of the laser scanner 62 can be calculated in real time based on the set distance.
  • the second GNSS receiver 64b is a device for receiving distance measurement radio waves from a satellite and calculating latitude, longitude, and altitude values which are coordinates.
  • the second GNSS receiver 64b is arranged at the turning center position of the turning table 7.
  • the second GNSS receiver 64b can calculate the coordinates of the swing center of the swivel base 7 in real time.
  • the first GNSS receiver 64a and the second GNSS receiver 64b adopt the RTK-GPS (Real Time Kinematic GPS) positioning method with high measurement accuracy.
  • RTK-GPS Real Time Kinematic GPS
  • the RTK-GPS positioning method it is possible to improve the measurement accuracy of the position of the laser scanner 62 and the position of the swing center of the swivel base 7.
  • the RTK-GPS positioning method is not limited to this, and another positioning method may be adopted.
  • the first GNSS receiver 64a is arranged such that the straight line connecting the first GNSS receiver 64a and the second GNSS receiver 64b, the measurement axis of the laser scanner 62, and the measurement axis of the IMU 63 are on the same straight line. To be done. Further, the coordinates of the laser scanner 62 calculated by the first GNSS receiver 64a and the coordinates of the turning center of the swivel base 7 calculated by the second GNSS receiver 64b constitute a GNSS compass with the boom 9 as a base line. The orientation (direction) of the laser scanner 62 can be calculated. The first GNSS receiver 64a and the second GNSS receiver 64b have measurement accuracy that can be used to correct the point cloud data acquired by the laser scanner 62.
  • the laser scanner 62 includes a total of 16 laser transmission/reception sensors, and can simultaneously irradiate 16 lasers onto a measurement target to acquire point cloud data of the measurement target. It is a device that can. As shown in FIG. 3A, each of the 16 laser transmission/reception sensors of the laser scanner 62 is arranged so that the irradiation angle is different by 2° in the X-axis direction, and a total of 30° with respect to the measurement object. It is configured to be able to irradiate a laser with a spread. Further, each laser transmission/reception sensor of the laser scanner 62 is configured to be rotatable about the X axis by 360° (omnidirectional). As shown in FIG. 3B, the locus drawn by the laser irradiated toward the individual measurement region ka is parallel to the Y-axis direction, and the laser scanner 62 draws 16 loci at the same time.
  • a device capable of measuring the three-dimensional shape of the measurement target is selected from the highest reach height (for example, about 100 m) in consideration of the highest reach height of the boom 9.
  • the laser scanner 62 selects a device having a predetermined performance for each specification such as the measurement speed, the number of measurement points, the measurement accuracy, etc., in consideration of the data amount and the data accuracy required to generate appropriate guide information. To be done.
  • the laser scanner 62 including a total of 16 laser transmission/reception sensors is used as an example.
  • the measurement area display system 50 according to the present invention is a laser transmission/reception sensor that constitutes the laser scanner 62. It is not limited depending on the number of. That is, in the measurement area display system 50 according to the present invention, the laser scanner 62 having the optimum specifications is appropriately selected according to the maximum reach height of the boom 9 (jib 9a) of the crane 1.
  • the data acquired by the sensor unit 65 in the individual measurement area ka includes image data obtained by photographing the luggage W, the ground surface F below the luggage W, and the feature E existing on the ground surface F below the luggage W by the camera 61. included.
  • the data acquired by the sensor unit 65 in the individual measurement area ka includes point cloud data acquired by scanning the luggage W, the ground surface F, and the feature E with the laser scanner 62.
  • the ground surface F here includes a wide range of surfaces serving as a transport source and a transport destination of the luggage W, and includes not only the ground surface but also the floor surface or roof surface of the building roof.
  • the data processing unit 70 which is a data processing unit, is a unit for performing arithmetic processing on the data acquired by the data acquisition unit 60 to generate guide information to be presented to the operator.
  • a predetermined data processing program is used. It is configured by a general-purpose personal computer installed with.
  • the data processing unit 70 is electrically connected to the control device 18 of the crane 1 and is output from the control device 18 to indicate the turning position of the swivel base 7, the boom length, the hoisting angle, the weight of the load W, the main body of the crane W, and the main body. Information about the crane 1 such as the amount of extension of the wire rope 14 and the sub wire rope 16 is input.
  • the data display unit 80 is a unit for displaying guide information presented to the operator, and is configured by a display device connected to the data processing unit 70.
  • the data display unit 80 displays the three-dimensional map of the measurement area KA and the camera image of the individual measurement area ka in real time.
  • the measurement area KA is an area for which guide information is generated. As shown in FIG. 4, the measurement area display system 50 measures the luggage W, the ground surface F, and the feature E existing in the individual measurement area ka below the sensor unit 65. The sensor unit 65 moves in response to a turning operation of the swivel base 7, a hoisting operation, and a telescopic operation of the boom 9. Therefore, the individual measurement area ka also moves according to the movement of the sensor unit 65.
  • the measurement area KA is an area including the individual measurement areas ka measured from different positions.
  • the measurement area KA is an area including a work area SA in which the tip portion of the boom 9 is operable when the measurement area display system 50 measures the entire measurable area.
  • the guide information referred to here is good or bad about the length of the boom 9, the turning position, the hoisting angle, the amount of extension of the main wire rope 14 and the sub wire rope 16, and the like when the operator conveys the load W by the crane 1. This is information that assists the operator in making a decision.
  • the guide information includes a three-dimensional map of the measurement area KA, camera image information, information on the shape of the luggage W and the feature E, height information of the luggage W, height information of the feature E, and a flow line of the luggage W. Information, etc.
  • the data input unit 90 is a unit for inputting setting values and the like to the data processing unit 70, and is configured by an input device such as a touch panel, a mouse, a keyboard device.
  • the data display unit 80 and the data input unit 90 are arranged in a position in front of the driver's seat in the cabin 17 where the operator can easily see the data.
  • the data processing unit 70 is preferably arranged near the sensor unit 65. In the measurement area display system 50, when the data processing unit 70, the data display unit 80, and the data input unit 90 are integrally configured by the tablet PC, the data processing unit 70 may be arranged in the cabin 17. Good.
  • Data transmission between the data acquisition unit 60 and the data processing unit 70 is preferably performed by a wired LAN.
  • a wireless LAN may be adopted or power line communication may be adopted.
  • the data acquisition unit 60 continuously captures the individual measurement area ka with the camera 61 and acquires a camera image of the individual measurement area ka.
  • the data acquisition unit 60 continuously scans the individual measurement area ka with the laser scanner 62, and acquires the point cloud data of the measurement target in the individual measurement area ka.
  • the point cloud data acquired by the laser scanner 62 will be referred to as point cloud data P.
  • the point cloud data P is a set of point data p, and the point data p represents points located on the ground surface F, the luggage W, and the feature E existing in the individual measurement area ka.
  • the data acquisition unit 60 acquires the point cloud data P by the laser scanner 62 and simultaneously receives time information from a plurality of positioning satellites by the third GNSS receiver 64c. Then, the data processing unit 70 gives the point data p information regarding the acquisition time tp of the point data p.
  • the data acquisition unit 60 acquires the point cloud data P by the laser scanner 62, and at the same time, acquires the attitude data Q of the laser scanner 62 by the IMU 63 at a predetermined cycle to receive the first GNSS receiver 64a and the second GNSS reception.
  • the position data R and the azimuth data K of the laser scanner 62 are acquired by the machine 64b.
  • the data processing unit 70 is based on the position of the turning center of the swivel base 7 acquired by the second GNSS receiver 64b, the swivel position of the swivel base 7, the boom length, and the undulation angle output from the control device 18. Then, the position and orientation of the laser scanner 62 may be calculated.
  • the attitude data Q includes information about the angle and acceleration of the laser scanner 62 with respect to the X, Y, and Z axes with respect to each axial direction. Note that the acquisition cycle of the attitude data Q by the IMU 63 is shorter than the acquisition cycle of the point cloud data P by the laser scanner 62.
  • the posture data Q is a set of individual posture data q measured in each measurement cycle.
  • the data acquisition unit 60 acquires the attitude data Q by the IMU 63 and simultaneously receives time information from a plurality of positioning satellites by the fourth GNSS receiver 64d.
  • the data processing unit 70 adds the acquisition time tq to the individual attitude data q as information on the acquisition time of the individual attitude data q.
  • the position data R includes information on the position of the laser scanner 62 in the XYZ coordinate system.
  • the acquisition cycle of the position data R by the first GNSS receiver 64a and the second GNSS receiver 64b is shorter than the acquisition cycle of the point cloud data P by the laser scanner 62.
  • the position data R is a set of individual position data r measured in each measurement cycle.
  • the data processing unit 70 calculates the individual orientation data k based on the individual position data r.
  • the azimuth data K is a set of individual azimuth data k measured in each measurement cycle.
  • the first GNSS receiver 64a and the second GNSS receiver 64b acquire position data R and azimuth data K, and at the same time, receive time information from a plurality of positioning satellites.
  • the data processing unit 70 gives the acquisition time tr to the position data R and the azimuth data K as information relating to the acquisition time of the position data R and the azimuth data K.
  • a ground surface estimation method includes a point cloud data acquisition step, a grid generation processing step, a continuous area recognition step, a first ground surface estimation step, and a second ground surface estimation step.
  • the data processing unit 70 acquires measurement data. Specifically, the data processing unit 70 cuts out the point cloud data P for one frame from the stream data of the point cloud data P and outputs it.
  • the point cloud data P for one frame is a set of point data p acquired while the laser irradiation direction of the laser scanner 62 makes one revolution around the X axis. Further, the data processing unit 70 acquires, as measurement data, the camera image of the camera 61, the attitude data Q of the IMU 63, the position data R and the orientation data K acquired by the first GNSS receiver 64a and the second GNSS receiver 64b. ..
  • the data processing unit 70 includes the posture data Q acquired by the IMU 63 and the position data acquired by the first GNSS receiver 64a and the second GNSS receiver 64b for the point data p included in the point cloud data P for one frame.
  • the R and the azimuth data K are associated with each other by time (see the time association process (STEP-101) in FIG. 13).
  • the data processing unit 70 searches the individual point data p for the acquisition time tq of the individual posture data q that is closest to the acquisition time tp of the point data p, and acquires the acquisition time tq.
  • the individual posture data q in is associated with the point data p.
  • the data processing unit 70 searches the position data R and the azimuth data K for each point data p for the acquisition time tr of the position data R and the azimuth data K that is closest to the acquisition time tp of the point data p.
  • the individual position data r and the individual orientation data k at the acquisition time tr are associated with the point data p.
  • the data processing unit 70 outputs the point data p in which the individual posture data q, the individual position data r, and the individual azimuth data k are associated by time.
  • the data processing unit 70 performs a rigid body transformation process on the combination of the point data p, the individual posture data q, the individual position data r, and the individual orientation data k associated by time (the rigid body transformation process (STEP- 102)). Specifically, the data processing unit 70 performs an affine transformation of the point cloud data P based on the individual posture data q, the individual position data r, and the individual orientation data k to convert the point cloud data P into a plane rectangular coordinate system. Convert. As a result, the point cloud data P whose inclination, position, and orientation have been corrected is output.
  • the elevation value of the point data p is the value of the Z coordinate of the point data p whose inclination, position, and orientation have been corrected.
  • the elevation value of the irradiation point of the laser scanner 62 is calculated as the value of the Z coordinate of the point data p.
  • the Z axis is a vertically downward axis, the altitude becomes lower as the value of the Z coordinate increases.
  • the data processing unit 70 divides the entire corrected point group data P into a grid g having a certain size, and sets a representative point pr of the grid g (grid generation processing in FIG. 13). A (STEP-103)). Specifically, first, the data processing unit 70 superimposes the corrected point cloud data P. As shown in FIG. 6A, next, the data processing unit 70 divides the entire superposed point group data P into a grid g having a constant size.
  • the overlapped point cloud data P may include point data p obtained by irradiating the side surfaces of the feature E or the ground surface F with a laser, as well as the top surfaces of the feature E or the ground surface F. ..
  • the data processing unit 70 first slices the grid g in the horizontal direction at arbitrary intervals for each grid g. Then, the data processing unit 70, of the layers L1, L2, L3,... Formed by slicing for each grid g, has the point data p and has the highest elevation in the layer L1.
  • An average elevation value H which is the average of the elevation values of the point data p (point group data P), is calculated.
  • the data processing unit 70 also calculates the position of the center of gravity of the grid g for each grid g. As shown in FIG. 6B, finally, the data processing unit 70 sets, for each grid g, the barycentric position of the grid g at the calculated average elevation value H as the position of the representative point pr of the grid g. Thereby, even if the ground surface F has unevenness and the side surface of the unevenness of the ground surface F is irradiated with the laser, the data processing unit 70 is presumed that the upper surface of the unevenness of the ground surface F is irradiated with the laser and acquired.
  • the representative point pr of the point cloud data P can be set.
  • the layer for calculating the average elevation value H is not limited to the layer L1 and may be a layer selected based on the number of the point data p, the position of the point data p, and the density of the point data p in each layer. Good.
  • the layer having the largest number of point data p may be selected from the respective layers.
  • the highest layer may be selected from the layers having an arbitrary number of point data p or more.
  • the layer in which the point data p is evenly seen in the Z direction is likely to be the point data p irradiated on the upper surface of the feature E, the layer in which the point data p is evenly seen in the Z direction is high. May be selected.
  • the data processing unit 70 updates the entire three-dimensional map generated before the current time using the set representative points pr for each grid g (three-dimensional map update process B in FIG. 13). (STEP-104)).
  • the left diagram of FIG. 7A is a diagram showing only the representative points pr1 on the grid g, with the representative point pr for each set grid g as the representative point pr1.
  • the right diagram of FIG. 7A is a diagram showing only the representative points pr2 in the grid g, with the representative points pr2 of the three-dimensional map generated before the current time as the representative points pr2.
  • the data processing unit 70 acquires a representative point pr1 and a representative point pr2 for each grid g. As shown in FIG.
  • the data processing unit 70 deletes the representative point pr2 when there are a plurality of representative points pr in the same grid g.
  • the data processing unit 70 generates a surface having the size of the grid g for every representative point pr after the deletion, and outputs it as a three-dimensional map of the measurement area KA. As shown in FIG. 8, when the three-dimensional map M is displayed on the data display unit 80, the color of the surface S is displayed darker as the altitude value of the representative point pr of the grid g increases.
  • the data processing unit 70 assigns a label to each continuous region using a three-dimensional map (see labeling process C (STEP-105) in FIG. 13).
  • the continuous area is an area in which the difference in elevation value between the representative points pr of the adjacent grids g is equal to or less than a grid threshold value which is a threshold value between the grids g.
  • the grid threshold value is set based on the measurement error of the laser scanner 62 in the Z-axis direction, and is set to 0.1 m, for example. Labels are numbered in order starting from number 1.
  • the altitude value of the representative point pr of the grid g is the height from the representative point pr which is the reference, with the altitude value of the representative point pr existing at the lowest altitude position as a reference.
  • the data processing unit 70 selects the attention grid ga from the grid g of the three-dimensional map.
  • the elevation value of the representative point pr of the grid of interest ga is compared with the elevation value of the representative point pr of each of the grids g in the upper left, upper, upper right, and left 4 neighborhoods (hereinafter, simply referred to as 4 neighborhoods). ..
  • the grid of interest ga is selected from the left end to the right from the upper left of the three-dimensional map, and from the left end to the right of the next lower row when the right grid is reached.
  • the data processing unit 70 if any of the differences between the elevation value of the representative point pr of the grid of interest ga and the elevation values of the representative points pr of each of the four grids g near the grid point is less than or equal to the grid threshold value, the difference in elevation value.
  • the same label as the grid g whose grid is less than or equal to the grid threshold is given to the attention grid ga, and the difference between the elevation value of the representative point pr of the attention grid ga and the elevation value of the representative point pr of each grid g in the four neighborhoods is If all are larger than the grid threshold, a new label is given.
  • the new label is a label having a number increased by 1 from the highest number among the label numbers given up to this point.
  • the data processing unit 70 determines that the type of the label of the grid g in which the difference between the elevation value of the representative point pr of the grid of interest ga and the elevation value of the representative point pr of each grid g in the four neighborhoods is equal to or less than the grid threshold value.
  • the label with the smallest number is given among the labels of the grid g whose difference in elevation value is less than or equal to the grid threshold value.
  • the data processing unit 70 sets the elevation value of the representative point pr of the attention grid ga and the elevation value of the representative point pr of each grid g in the four neighborhoods thereof. All differences are calculated to be 0.5 m. Since the difference between the elevation value of the representative point pr of the grid of interest ga and the elevation value of the representative point pr of each grid g in the four neighborhoods thereof is larger than the grid threshold value of 0.1 m, the data processing unit 70 is the first. The number 2 label obtained by increasing the label number by 1 is given to the grid of interest ga.
  • the data processing unit 70 selects the target grid ga from the grid g again after all the grids g have been labeled.
  • the order of selecting the grid of interest ga is selected from the left end to the right from the upper left of the three-dimensional map as the starting point, and when the right end is reached, the order is selected from the left end to the right of the next lower row, as in the case of labeling.
  • the data processing unit 70 compares the elevation value of the representative point pr of the grid of interest ga with the elevation value of the representative point pr of each grid g in the four neighborhoods. If the difference in elevation value is less than or equal to the grid threshold and a label different from the attention grid ga is given to the grids g near the attention grid ga, the data processing unit 70 determines the difference in elevation value as the grid threshold. In the following, the label of the grid g to which a label different from the target grid ga is given is overwritten with the label of the target grid ga.
  • the data processing unit 70 calculates the difference in elevation value between the representative points pr of the grids g on the left and the upper right thereof as 0 m, respectively, and The difference in elevation value between the representative points pr of the upper left and upper grids g is calculated as 2 m, respectively.
  • the grid g to the left of the grid of interest ga is labeled with label No. 5, which is different from the label with label No. 3 assigned to grid of interest ga. Therefore, the grid g to the left of the grid of interest ga is labeled with a difference in elevation value of 0.1 m or less and a label different from that of the grid of interest ga.
  • the data processing unit 70 overwrites the label of the grid g on the left of the grid of interest ga with the third label.
  • the data processing unit 70 outputs the three-dimensional map in which the grid g is labeled. In this way, the data processing unit 70 compares the elevation values of the representative points pr between the adjacent grids g, and recognizes the grids g to which the same label is given as a continuous area regardless of the presence or absence of inclination. doing.
  • the data processing unit 70 estimates labels indicating the ground surface F, the luggage W, and the other regions from the labeled three-dimensional map (same region estimation process (STEP-106) in FIG. 13). Specifically, since the data processing unit 70 is considered to have the widest area of the ground surface F, the same label having the largest number of grids g is set as the label assigned to the grid g of the ground surface F. That is, the data processing unit 70 estimates the continuous area having the largest number of grids g among the continuous areas as the ground surface F. As shown in FIG. 9E, for example, the data processing unit 70 estimates that the continuous area of the 1st label is the ground surface F because the grid g of the 1st label is the most (see the blank portion). When the data processing unit 70 displays the three-dimensional map M on the data display unit 80, the region of the ground surface F is displayed with the other regions distinguished in color and shade (see FIG. 12).
  • the data processing unit 70 acquires the label of the grid point g of the representative point pr having the lowest altitude value among the representative points pr of the grid g in the range of the package W (see FIG. 11B) that is manually input,
  • the label is given to the grid g of the package W. This is because if the grid g of the luggage W and the grid g of hooks or wires are included in the grid g, the representative point pr in the grid g of the luggage W is higher than the elevation value of the representative point pr in the grid g of the hooks or wire ropes. This is because the elevation value of is lower.
  • the height (length in the Z-axis direction) of the load W is measured and input to the data processing unit 70 because the side surface and the lower part of the load W cannot be measured from the tip of the boom 9.
  • the data processing unit 70 uses the label attached to the grid g to determine the ground surface F or the ground for each continuous area other than the ground surface F and the luggage W estimated by the same area estimation processing.
  • the object E is estimated (feature region estimation processing D (STEP-107) in FIG. 13).
  • a non-adjacent continuous area Ja that is a continuous area that is not adjacent to the continuous area estimated to be the ground surface F
  • an adjacent continuous area that is a continuous area that is even partially adjacent to the continuous area estimated to be the ground surface F. Jb and will be implemented.
  • “adjacent” means adjacent to each other vertically or horizontally or diagonally.
  • the data processing unit 70 calculates an average elevation value of the representative points pr of the grid g in the non-adjacent continuous area Ja to be estimated (hereinafter, simply referred to as “average elevation value of the non-adjacent continuous area Ja”).
  • the data processing unit 70 calculates the average elevation value of the representative points pr of the grid g in the predetermined range Na with respect to the non-adjacent continuous area Ja to be estimated (hereinafter, simply referred to as “average elevation value of the predetermined range Na”). calculate.
  • the predetermined range Na is a range within the continuous area estimated to be the ground surface F, and is also an adjacent continuous area between the non-adjacent continuous area Ja to be estimated and the continuous area estimated to be the ground surface F. This is a range formed by the grid g adjacent to Jb (see FIG. 10A).
  • the predetermined range Na is not limited to this range, and can be set to any range depending on the situation of the ground surface F.
  • the data processing unit 70 determines the non-adjacent continuous area Ja to be estimated. Presumed to be surface F.
  • the data processing unit 70 estimates the non-adjacent continuous area Ja to be estimated as the feature E.
  • the area threshold value is set based on the measurement error of the laser scanner 62 in the Z-axis direction similarly to the grid threshold value, and is set to 0.1 m, for example.
  • the data processing unit 70 also calculates the average elevation value of the representative points pr of the grid g in the adjacent continuous area Jb to be estimated (hereinafter, simply referred to as the “average elevation value of the adjacent continuous area Jb”). Next, the data processing unit 70 calculates the average elevation value of the representative points pr of the grid g in the predetermined range Nb with respect to the adjacent continuous area Jb to be estimated (hereinafter, simply referred to as “average elevation value of the predetermined range Nb”). To do.
  • the predetermined range Nb is a range within the continuous area estimated to be the ground surface F.
  • the predetermined range Nb is a range formed by the grid g adjacent to the adjacent continuous region Jb when there is no other adjacent continuous region Jb adjacent to the adjacent continuous region Jb to be estimated (see FIG. 10A).
  • the predetermined range Nb includes the adjacent continuous region Jb to be estimated, and a plurality of adjacent continuous regions Jb adjacent to each other are adjacent regions Jc. Is a range formed by the grid g adjacent to the adjacent region Jc (see FIG. 10D).
  • the predetermined range Nb is not limited to this range, and can be set to any range depending on the situation of the ground surface F.
  • the data processing unit 70 estimates the adjacent continuous area Jb to be estimated as the ground surface F, and determines the adjacent continuous area Jb.
  • the adjacent continuous area Jb to be estimated is estimated as the feature E.
  • the continuous area of the 1st label is estimated to be the ground surface F
  • the continuous area of the 4th label and the 6th label is the ground area. It is assumed that the surface F or the luggage W is not estimated.
  • the continuous area with the label No. 6 is not adjacent to the continuous area estimated to be the ground surface F, and thus is a non-adjacent continuous area Ja.
  • the continuous area with the label No. 4 is adjacent to the continuous area estimated to be the ground surface F, and thus is the adjacent continuous area Jb.
  • the predetermined range Na for the continuous area of the label No. 6 and the predetermined range Nb for the continuous area of the label No. 4 are grids adjacent to the continuous area of the label No. 4 in the continuous area estimated to be the ground surface F. The range is defined by g (hatched portion in FIG. 10A).
  • the data processing unit 70 calculates the average elevation value of the continuous area of label 6 as 0.3 m.
  • the data processing unit 70 calculates the average elevation value of the continuous area of the label No. 4 as 1.75 m.
  • the data processing unit 70 calculates the average elevation value of the predetermined range Na and the predetermined range Nb as 0.35 m.
  • the data processing unit 70 makes the label of No. 6 label.
  • the continuous area of is estimated to be the ground surface F. Since the difference between the average elevation value of the continuous area of the label No. 4 and the average elevation value of the predetermined range Nb is larger than the area threshold value of 0.1 m, the data processing unit 70 sets the continuous area of the label No. 4 to the feature E. It is estimated that
  • the data processing unit 70 outputs a set of representative points pr of the grid g for each of the luggage W, the ground surface F, and the feature E based on the label given to the grid g. In this way, the data processing unit 70 can estimate the area divided by the feature E from the surrounding ground surface F as the ground surface F. The data processing unit 70 can automatically perform such estimation of the ground surface F in real time.
  • the predetermined range Nb when at least part of the adjacent continuous area Jb is not adjacent to the continuous area estimated to be the ground surface F will be described.
  • the continuous area between the 7th label and the 8th label is not estimated to be the ground surface F or the luggage W. Since the continuous area of the 7th label and the 8th label is adjacent to the continuous area estimated to be the ground surface F, it is the adjacent continuous area Jb.
  • the two grids g in the continuous area with the label No. 8 are not adjacent to the continuous area estimated to be the ground surface F.
  • the predetermined range Nb for the continuous area of the 7th label and the continuous area of the 8th label is adjacent to the continuous area of the 7th label and the 8th label in the continuous area estimated to be the ground surface F.
  • the area is defined by the grid g (hatched area in FIG. 10D).
  • the measurement area display system 50 that implements such a ground surface estimation method is not The adjacent continuous area Ja is estimated to be the ground surface F.
  • the measurement region display system 50 estimates that the adjacent continuous region Jb is the ground surface F if the difference between the average altitude value of the adjacent continuous region Jb and the average altitude value of the predetermined range Nb is within a threshold range. To be done.
  • the predetermined range Na and the predetermined range Nb are set to the ranges of the above-described embodiment, of the regions that are estimated to be the ground surface F, the portions that are closest to the non-adjacent continuous region Ja or the adjacent continuous region Jb. Since it is determined by the altitude value, it is not affected by the ground surface F having a large difference in altitude value. As a result, it is possible to estimate the ground surface F even in an area divided by another area.
  • the measurement area display system 50 has been described as a configuration independent of the crane 1, but various sensors 61 to 64d included in the data acquisition unit 60, a display device included in the data display unit 80, and an input included in the data input unit 90.
  • the crane 1 may include the device, and the control device 18 may perform the data processing performed by the data processing unit 70.
  • the point cloud data P in the work area SA of the crane 1 is acquired along with the operation of the swivel base 7 and the boom 9, and the average elevation value of the non-adjacent continuous area Ja and the average of the predetermined range Na are acquired. If the difference from the altitude value is within the threshold range, the non-adjacent continuous area Ja is estimated to be the ground surface F. Further, in the crane 1, if the difference between the average elevation value of the adjacent continuous area Jb and the average elevation value of the predetermined range Nb is within the threshold range, the adjacent continuous area Jb is estimated to be the ground surface F. ..
  • the predetermined range Na and the predetermined range Nb are set to the ranges of the above-described embodiment, of the regions that are estimated to be the ground surface F, the portions that are closest to the non-adjacent continuous region Ja or the adjacent continuous region Jb. Since it is determined by the altitude value, it is not affected by the ground surface F having a large difference in altitude value. Accordingly, in the work area SA of the crane 1, the ground surface F can be estimated even in the area divided by other areas.
  • the measurement area display system 50 can also be used for other work vehicles other than the crane 1. For example, it can also be used for an aerial work vehicle or the like.
  • the data processing unit 70 visualizes the size and height of each luggage W and each feature E on the camera image using the set of representative points pr of the grid g (region visualization processing (STEP-108) in FIG. 13). Specifically, first, the data processing unit 70 calculates the position and orientation (azimuth) of the laser scanner 62 at the current time from the measurement data of the first GNSS receiver 64a and the second GNSS receiver 64b. Next, the data processing unit 70 determines a coordinate axis based on the calculated position and orientation of the laser scanner 62, and displays the representative point pr of the baggage W, the feature E, or the like on the camera image together.
  • the data processing unit 70 uses the positions of the representative points pr of the baggage W, the feature E, and the like on the camera image I to outline the package W and the feature E on the camera image I. A line is calculated, and the outline figure formed by the outline is displayed on the camera image I as guide information GD1. Finally, the data processing unit 70 displays the difference value between the altitude value of the package W or the feature E and the altitude value of the ground surface F on the guide information GD1 as guide information GD2 (height information). The drawing color of the guide information GD1 is displayed in a predetermined color whose shade is changed according to the height of the luggage W or the feature E. The number of significant digits of the height of the luggage W and the feature E is the first decimal place.
  • the data processing unit 70 uses the three-dimensional map of the measurement area KA labeled for each of the luggage W, the ground surface F, and the feature E to determine the positional relationship in each three-dimensional space.
  • the size is visualized (three-dimensional map visualization process (STEP-109) in FIG. 13). Specifically, first, the data processing unit 70 generates a surface S having the representative point pr as the center of gravity, based on the position of the representative point pr for each of the luggage W, the ground surface F, and the feature E and the altitude value. .. At this time, the width of the surface S is the width of the grid g used when the representative point pr is generated. Then, the data processing unit 70 colors the surface S for each of the luggage W, the ground surface F, and the feature E, and visualizes it on the data display unit 80 as the three-dimensional map M in the three-dimensional space.
  • the width of the grid g is changed according to the situation of the crane 1 and the measurement area KA, and the visibility of the three-dimensional map M is adjusted. For example, when the width of the grid g is reduced as the height of the tip portion of the boom 9 is increased, the data processing unit 70 sets a wide measurement area KA measured from a high position to a tertiary surface of a finer surface S. It can be visualized on the original map M. When the plurality of features E whose height difference is within the grid threshold value are close to each other in the measurement area KA and the widths of the grid g are increased, the data processing unit 70 converts the plurality of features E into one feature. The object E can be visualized on the three-dimensional map M.
  • the control mode of the measurement area display system 50 will be specifically described below.
  • the data processing unit 70 receives the measurement data and shifts to STEP-101.
  • the data processing unit 70 performs time correspondence processing in STEP-101, and shifts to STEP-102.
  • the data processing unit 70 performs rigid body conversion processing in STEP-102, and shifts to STEP-103.
  • the data processing unit 70 starts the grid generation processing A in STEP-103 and shifts to STEP-201 (see FIG. 14). Then, when the grid generation processing A is completed, the process proceeds to STEP-104.
  • the data processing unit 70 starts the three-dimensional map update processing B in STEP-104 and shifts to STEP-301 (see FIG. 15). Then, when the three-dimensional map update process B is completed, the process proceeds to STEP-105.
  • the data processing unit 70 newly generates a three-dimensional map if the three-dimensional map has not been generated before the current time.
  • the data processing unit 70 starts the labeling process C in STEP-105 and shifts to STEP-401 (see FIG. 16). Then, when the labeling process C is completed, the process proceeds to STEP-106.
  • the data processing unit 70 performs the same area estimation process in STEP-106, and shifts to STEP-107.
  • the data processing unit 70 starts the feature area estimation process D in STEP-107 and shifts to STEP-501 (see FIG. 17). When the feature area estimation process D is completed, the process proceeds to STEP-108.
  • the data processing unit 70 performs area visualization processing in STEP-108, and shifts to STEP-109.
  • the data processing unit 70 performs a three-dimensional map visualization process and outputs the visualization result.
  • the visualization result is the three-dimensional map M, camera image information, or the like.
  • the data processing unit 70 starts the grid generation processing A, superimposes the corrected point cloud data P, and shifts to STEP-202.
  • the data processing unit 70 divides the superposed point group data P into a grid g of a certain size, and shifts to STEP-203.
  • the data processing unit 70 slices the grid g in which the point cloud data P exists in the horizontal direction at arbitrary intervals to form a plurality of layers L1, L2, L3,. Move to.
  • the data processing unit 70 calculates the average elevation value H of the point data p of the layer L1 in which the point data p exists and the altitude is the highest among the layers, and in STEP-205. Transition.
  • the data processing unit 70 calculates the position of the center of gravity of the grid g in STEP-205, and shifts to STEP-206.
  • the data processing unit 70 sets the gravity center position of the grid g at the calculated average elevation value H as the representative point pr of the grid g, and shifts to STEP-207.
  • the data processing unit 70 determines whether the setting of the representative point pr has been completed for all the grids g in which the point cloud data P exists. As a result, when the setting of the representative point pr is completed for all the grids g in which the point cloud data P exist, the data processing unit 70 ends the grid generation processing A and proceeds to STEP-104. On the other hand, when the setting of the representative point pr is not completed for all the grids g in which the point cloud data P exist, the data processing unit 70 moves to STEP-203 and the representative point pr is not set. STEP-203 is performed on the grid g.
  • the data processing unit 70 starts the three-dimensional map updating process B, sets the representative point pr in the grid g, and the three-dimensional map generated before the current time.
  • the representative point pr of the map is acquired.
  • the data processing unit 70 determines whether or not there are a plurality of representative points pr in the same grid g. As a result, the data processing unit 70 proceeds to STEP-303 when there are a plurality of representative points pr in the same grid g. On the other hand, when the plurality of representative points pr do not exist in the same grid g, the data processing unit 70 moves to STEP-304.
  • the data processing unit 70 deletes the representative point pr of the three-dimensional map generated before the current time and moves to STEP-304.
  • the data processing unit 70 determines whether or not STEP-301 and STEP-302 have been completed for all grids g. As a result, the data processing unit 70 shifts to STEP-305 when STEP-301 and 302 are completed in all the grids g. On the other hand, when STEP-301 and 302 have not been completed for all grids g, the data processing unit 70 shifts to STEP-301 and performs STEP-301 for the grid g for which STEP-301 and 302 have not been performed. Perform 301.
  • the data processing unit 70 In STEP-305, the data processing unit 70 generates a surface having the same size as the grid g, outputs the 3D map of the measurement area KA, ends the 3D map update processing B, and shifts to STEP-105. To do.
  • the data processing unit 70 starts the labeling process C, and the elevation value of the representative point pr of the grid of interest ga and the elevations of the representative points pr of the respective grids g in the four neighborhoods thereof. The difference from the value is calculated, and the process proceeds to STEP-402.
  • the data processing unit 70 determines whether any of the calculated differences in altitude value is less than or equal to the grid threshold value. If there is no grid g in the vicinity of 4 (the grid of interest ga is at the upper left of the three-dimensional map), the data processing unit 70 proceeds to STEP-404 and assigns the first label to the grid of interest ga. As a result, the data processing unit 70 proceeds to STEP-403 when any of the calculated differences in altitude value is equal to or less than the grid threshold value. On the other hand, the data processing unit 70 proceeds to STEP-404 when all the differences in the calculated altitude values are larger than the grid threshold value.
  • the data processing unit 70 assigns the label with the smallest number in the grid g having the difference in elevation value equal to or less than the grid threshold to the attention grid ga, and shifts to STEP-405.
  • the data processing unit 70 gives a new label to the grid of interest ga and shifts to STEP-405.
  • the data processing unit 70 determines whether or not labeling has been completed for all grids g. As a result, the data processing unit 70 proceeds to STEP-406 when the labeling of all grids g is completed. On the other hand, if the labeling has not been completed for all the grids g, the data processing unit 70 proceeds to STEP-401 and sets the grid g on the right side of the grid of interest ga or the grid g of the next row to the grid of next grid. STEP-401 is performed as ga.
  • the data processing unit 70 calculates the difference between the elevation value of the representative point pr of the grid of interest ga and the elevation value of the representative point pr of each grid g in the four neighborhoods thereof, and shifts to STEP-407. ..
  • the data processing unit 70 determines whether or not a difference in elevation value is less than or equal to the grid threshold value and a label different from the grid of interest ga is given to the grids g near the grid of interest ga. .. As a result, the data processing unit 70 proceeds to STEP-408 when the difference in elevation value is less than or equal to the grid threshold value and the label different from the target grid ga is given to the grids g near the target grid ga. To do. On the other hand, when the difference in elevation value is less than or equal to the grid threshold and the label different from the grid of interest ga is not given to the grids g near four of the grid of interest ga, the data processing unit 70 proceeds to STEP-409. ..
  • the data processing unit 70 overwrites the label of the grid g to which the difference in elevation value is equal to or less than the grid threshold value and which is labeled with a label different from the grid of interest ga with the label of the grid of interest ga. Move to 409.
  • the data processing unit 70 determines whether or not the processing of STEP-406 and 407 has been completed for all grids g. As a result, when the processes of STEP-406 and 407 are completed for all grids g, the data processing unit 70 moves to STEP-410. On the other hand, when the processing of STEP-406 and 407 is not completed for all grids g, the data processing unit 70 shifts to STEP-406 and selects the grid g on the right side of the target grid ga or the grid g of the next row. STEP-406 is performed as the next grid of interest ga.
  • the data processing unit 70 outputs the three-dimensional map with the label attached to the grid g, ends the labeling processing C processing, and shifts to STEP-106.
  • the data processing unit 70 starts the feature area estimation processing D and determines whether the continuous area to be estimated is the non-adjacent continuous area Ja. As a result, the data processing unit 70 proceeds to STEP-502 when the continuous area to be estimated is the non-adjacent continuous area Ja. On the other hand, if the continuous area to be estimated is not the non-adjacent continuous area Ja, the data processing unit 70 proceeds to STEP-506.
  • the data processing unit 70 calculates the average elevation value of the non-adjacent continuous area Ja and the average elevation value of the predetermined range Na, and shifts to STEP-503.
  • the data processing unit 70 determines whether the difference between the average elevation value of the non-adjacent continuous area Ja and the average elevation value of the predetermined range Na is less than or equal to the area threshold value. As a result, when the difference between the average elevation value of the non-adjacent continuous area Ja and the average elevation value of the predetermined range Na is less than or equal to the area threshold value, the data processing unit 70 proceeds to STEP-504. On the other hand, when the difference between the average elevation value of the non-adjacent continuous area Ja and the average elevation value of the predetermined range Na is larger than the area threshold, the data processing unit 70 proceeds to STEP-505.
  • the data processing unit 70 estimates the non-adjacent continuous area Ja to be estimated as the ground surface F, and shifts to STEP-510.
  • the data processing unit 70 estimates the non-adjacent continuous area Ja to be estimated as the feature E, and shifts to STEP-510.
  • the data processing unit 70 calculates the average elevation value of the adjacent continuous area Jb and the average elevation value of the predetermined range Nb, and shifts to STEP-507.
  • the data processing unit 70 determines whether the difference between the average elevation value of the adjacent continuous area Jb and the average elevation value of the predetermined range Nb is less than or equal to the area threshold. As a result, when the difference between the average elevation value of the adjacent continuous area Jb and the average elevation value of the predetermined range Nb is equal to or less than the area threshold, the data processing unit 70 proceeds to STEP-508. On the other hand, when the difference between the average elevation value of the adjacent continuous area Jb and the average elevation value of the predetermined range Nb is larger than the area threshold value, the data processing unit 70 proceeds to STEP-509.
  • the data processing unit 70 estimates the adjacent continuous area Jb to be estimated as the ground surface F, and shifts to STEP-510.
  • the data processing unit 70 estimates the adjacent continuous area Jb to be estimated as the feature E, and shifts to STEP-510.
  • the data processing unit 70 determines whether or not the estimation of the ground surface F or the feature E has been completed in all continuous regions except the ground surface F and the luggage W. As a result, the data processing unit 70 proceeds to STEP-511 when the estimation of the ground surface F or the feature E is completed in all continuous regions except the ground surface F and the luggage W. On the other hand, if the estimation of the ground surface F or the feature E has not been completed in all continuous regions except the ground surface F and the luggage W, the data processing unit 70 proceeds to STEP-501, and then the ground surface F or the feature E. STEP-501 is performed on the continuous region in which the estimation is not performed.
  • the data processing unit 70 outputs a set of representative points pr of the grid g for each of the luggage W, the ground surface F, and the feature E, ends the feature area estimation process D, and proceeds to STEP-108. Transition.
  • the ground surface estimation method for changing the width of the grid g when the measurement area KA is divided into a plurality of grids g according to the number of continuous areas within a predetermined range of the non-adjacent continuous area Ja will be described below.
  • the data processing unit 70 determines the width of the grid g when the measurement area KA is divided into a plurality of grids g according to the number of continuous areas in a predetermined range Nc of the non-adjacent continuous areas Ja. change. Specifically, first, the data processing unit 70 moves the predetermined range Nc on the grid g of the non-adjacent continuous area Ja.
  • the predetermined range Nc is set according to the situation of the feature E, and is, for example, a square range having a length and width of 2 grids.
  • the data processing unit 70 changes the width of the grid g according to the number of continuous areas in the predetermined range Nc, and performs the labeling processing C again.
  • the rate of change of the width of the grid g is set arbitrarily.
  • the data processing unit 70 changes the width of the grid g according to the number of continuous areas in the predetermined range Nc of the non-adjacent continuous area Ja. This is because, in a predetermined range Nc of the non-adjacent continuous area Ja, the areas such as the feature E are clustered as the number of continuous areas increases, and it is necessary to recognize the non-adjacent continuous area Ja in more detail. This is because there is nature.
  • the data processing unit 70 moves a predetermined range Nc on the grid g of the non-adjacent continuous area Ja, it is assumed that there are continuous areas with labels 3 to 5 in the predetermined range Nc. It is assumed that the data processing unit 70 is set to reduce the width of the grid g by half when there are three continuous areas in the predetermined range Nc. The data processing unit 70 reduces the width of the grid g by half and performs the labeling process C again because there are three continuous regions in the predetermined range Nc. As shown in FIG. 18B, the data processing unit 70 recognizes the continuous region of the 3rd label and the 4th label in more detail by reducing the width of the grid g. The data processing unit 70 may return the width of the grid g to the width before the reduction if the shape of the continuous region does not change even if the width of the grid g is reduced.
  • the control mode of the measurement area display system 50 will be specifically described below.
  • the data processing unit 70 changes the width of the grid g in accordance with the number of continuous areas in the predetermined range Nc of the non-adjacent continuous area Ja, and shifts to STEP-202. To do.
  • inter-area distance La the distance between the non-adjacent continuous area Ja and the continuous area estimated to be the ground surface F
  • the data processing unit 70 does not estimate the non-adjacent continuous area Ja as the ground surface F if the inter-area distance La is equal to or greater than the predetermined distance Lb. Specifically, first, the data processing unit 70 calculates the inter-region distance La. Next, when the inter-region distance La is equal to or greater than the predetermined distance Lb, the data processing unit 70 does not estimate the non-adjacent continuous region Ja as the ground surface F or the feature E, and the inter-region distance La is less than the predetermined distance Lb. Is smaller, the non-adjacent continuous area Ja is estimated to be the ground surface F or the feature E.
  • the predetermined distance Lb is set according to the situation of the ground surface F, and is, for example, a distance of 2 grids.
  • the inter-region distance La is the shortest distance between the non-adjacent continuous region Ja and the continuous region estimated to be the ground surface F, but may be the distance between arbitrary points. Then, when the data processing unit 70 displays the non-adjacent continuous area Ja that is not estimated to be the ground surface F or the feature E as guide information, the operator can recognize that the ground surface F or the feature E is not estimated. The data is displayed on the data display unit 80.
  • the data processing unit 70 does not estimate the non-adjacent continuous area Ja as the ground surface F if the inter-area distance La is equal to or greater than the predetermined distance Lb. This is because the uncertainty of the determination of estimating the non-adjacent continuous region Ja as the ground surface F or the feature E increases as the inter-region distance La increases.
  • the data processing unit 70 determines that the fluctuation range of the elevation value of the ground surface F existing in the area (for example, the area of the feature E) that divides the area of the ground surface F falls within the range of the area threshold. Assuming that the above condition is satisfied, the determination is made to estimate the non-adjacent continuous region Ja as the ground surface F or the feature E.
  • the region that divides the region of the ground surface F may have an inclination or unevenness of the ground surface F. Therefore, there is a high uncertainty that the fluctuation range of the elevation value of the ground surface F in the area dividing the area of the ground surface F as the inter-area distance La becomes longer is within the range of the area threshold value. Become. That is, since the data processing unit 70 increases the uncertainty of the determination of estimating the non-adjacent continuous area Ja as the ground surface F or the feature E as the inter-area distance La becomes longer, the inter-area distance La is predetermined. When the distance is equal to or more than, the non-adjacent continuous area Ja is not estimated as the ground surface F or the feature E.
  • the inter-region distance La is a distance of 3 grids. Since the inter-region distance La is equal to or greater than the predetermined distance Lb, the data processing unit 70 does not estimate the continuous region of the third label as the ground surface F or the feature E.
  • the area threshold may be set larger as the inter-area distance La becomes longer. This is because when the ground surface F is inclined and continues from the continuous area estimated to be the ground surface F to the non-adjacent continuous area Ja, the continuous distance estimated to be the ground surface F is increased as the inter-area distance La becomes longer. This is because the difference in elevation value of the ground surface F between the area and the non-adjacent continuous area Ja becomes large.
  • the control mode of the measurement area display system 50 will be specifically described below.
  • the data processing unit 70 calculates the inter-region distance La in STEP-512, and shifts to STEP-513.
  • the data processing unit 70 determines whether the inter-region distance La is a predetermined distance Lb or more. As a result, the data processing unit 70 proceeds to STEP-510 when the inter-region distance La is equal to or greater than the predetermined distance Lb. On the other hand, when the inter-region distance La is smaller than the predetermined distance Lb, the data processing unit 70 proceeds to STEP-502.
  • the present invention can be used for a ground surface estimation method, a measurement area display system, and a crane.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control And Safety Of Cranes (AREA)
  • Jib Cranes (AREA)

Abstract

他の領域によって分断されている領域について地表面の推定を行う地表面推定方法、計測領域表示システムおよびクレーンを提供する。点群データ(P)を演算処理するデータ処理部(70)によって、地表面(F)と推定された連続領域に隣接していない連続領域である非隣接連続領域(Ja)毎に、非隣接連続領域(Ja)におけるグリッド(g)の代表点(pr)の平均標高値を算出し、地表面(F)と推定された連続領域の所定の範囲(Na)におけるグリッド(g)の代表点(pr)の平均標高値を算出し、非隣接連続領域(Ja)におけるグリッド(g)の代表点(pr)の平均標高値と地表面(F)と推定された連続領域の所定の範囲(Na)におけるグリッド(g)の代表点(pr)の平均標高値との差が領域間の閾値以下である非隣接連続領域(Ja)を地表面(F)と推定する第二地表面推定工程を備える。

Description

地表面推定方法、計測領域表示システムおよびクレーン
 本発明は、地表面推定方法、計測領域表示システムおよびクレーンに関する。
 従来、モニタに表示されたガイド情報に基づいて、荷物や荷物の周辺の状態を確認し、クレーン作業の効率化を図る技術が知られている。斯かる技術は、例えば、以下の特許文献1に開示されている。
 特許文献1には、吊荷(荷物)周辺の物体高さを通知する高さ情報通知システムに係る技術が開示されている。特許文献1記載の吊荷周辺の物体の高さ情報通知システムでは、レーザ距離センサ、マイクロ波距離センサ、ステレオカメラ等の距離計測手段によって、ブームの先端から吊荷周辺までの距離を計測する。そして、距離の計測結果を用いて吊荷周辺の物体の位置を検出するとともに高さを算出し、カメラによって撮像(撮影)された撮像画像(カメラ画像)に吊荷周辺の物体の位置および高さを対応させた処理画像(ガイド情報)を作成(生成)し、その処理画像をモニタに表示する構成としている。
 特許文献1に記載された従来技術は、吊荷周辺の領域において地表面の推定を行う構成ではない。そのため、従来技術は、他の領域によって分断されている領域がある場合に、分断されている領域の高さの情報を提供するだけである。つまり、分断されている領域について提供される情報には、地表面か否かをオペレータが判断できる情報は含まれていない。このような情報がクレーン作業に用いられた場合、地表面が存在していても、表示された高さの地物が存在するとオペレータが誤って認識してしまう可能性がある。
特開2013-120176号公報
 本発明の目的は、他の領域によって分断されている領域について地表面の推定を行う地表面推定方法、計測領域表示システムおよびクレーンの提供を目的とする。
 本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
 即ち、本発明においては、レーザスキャナによって、計測領域にレーザを照射して点群データを取得し、前記点群データから照射点の標高値を算出する点群データ取得工程と、前記点群データを演算処理するデータ処理手段によって、前記計測領域を複数のグリッドに分割し、前記グリッド毎に、当該グリッドの重心位置と当該グリッド内の前記点群データの平均標高値とを算出し、前記グリッド内の点群データの平均標高値における前記重心位置を前記グリッド毎の代表点の位置として設定するグリッド生成処理工程と、前記複数のグリッドのうち、一のグリッドの代表点と隣接する他のグリッドの代表点との標高値の差がグリッド間の閾値以下であれば、前記一のグリッドと前記他のグリッドとが連続する領域である連続領域として認識する連続領域認識工程と、前記連続領域のうち、最も前記グリッドの数が多い連続領域を地表面と推定する第一地表面推定工程と、前記地表面と推定された連続領域に隣接していない連続領域である非隣接連続領域毎に、前記非隣接連続領域におけるグリッドの代表点の平均標高値を算出し、前記地表面と推定された連続領域の所定の範囲におけるグリッドの代表点の平均標高値を算出し、前記非隣接連続領域におけるグリッドの代表点の平均標高値と前記地表面と推定された連続領域の所定の範囲におけるグリッドの代表点の平均標高値との差が領域間の閾値以下である前記非隣接連続領域を地表面と推定する第二地表面推定工程と、を備える、ことを特徴とする地表面推定方法である。
 本発明においては、前記地表面と推定された連続領域の所定の範囲は、前記非隣接連続領域と、前記地表面と推定された連続領域と、の間にある連続領域に隣接するグリッドから構成される範囲である、ことを特徴とする地表面推定方法である。
 本発明においては、前記地表面と推定された非隣接連続領域の所定の範囲における、前記連続領域の数に応じて前記計測領域を複数のグリッドに分割する際の前記グリッドの幅を変更する、ことを特徴とする地表面推定方法である。
 本発明においては、前記第二地表面推定工程は、前記非隣接連続領域と、前記地表面と推定された連続領域と、の間の距離が所定の距離以上であれば、前記非隣接連続領域を地表面と推定しない、ことを特徴とする地表面推定方法である。
 本発明においては、計測領域にレーザを照射して点群データを取得するレーザスキャナを備えたデータ取得部と、取得した点群データを演算処理するデータ処理部と、データ表示部と、を備え、前記データ処理部は、前記データ取得部から前記点群データを取得し、前記点群データから照射点の標高値を算出し、前記計測領域を複数のグリッドに分割し、前記グリッド毎に、当該グリッドの重心位置と当該グリッド内の前記点群データの平均標高値とを算出し、前記グリッド内の点群データの平均標高値における前記重心位置を前記グリッド毎の代表点の位置として設定し、前記複数のグリッドのうち、一のグリッドの代表点と隣接する他のグリッドの代表点との標高値の差がグリッド間の閾値以下であれば、前記一のグリッドと前記他のグリッドとが連続する領域である連続領域として認識し、前記連続領域のうち、最も前記グリッドの数が多い連続領域を地表面と推定し、前記地表面と推定された連続領域に隣接していない連続領域である非隣接連続領域毎に、前記非隣接連続領域におけるグリッドの代表点の平均標高値を算出し、前記地表面と推定された連続領域の所定の範囲におけるグリッドの代表点の平均標高値を算出し、前記非隣接連続領域におけるグリッドの代表点の平均標高値と前記地表面と推定された連続領域の所定の範囲におけるグリッドの代表点の平均標高値との差が領域間の閾値以下である前記非隣接連続領域を地表面と推定し、前記地表面と推定された連続領域を他の領域と区別して前記データ表示部に表示する、ことを特徴とする計測領域表示システムである。
 本発明においては、旋回台と、前記旋回台に設けられるブームと、前記ブームに取り付けられ、点群データを取得するレーザスキャナと、取得した点群データを演算処理する制御装置と、表示装置と、を備えるクレーンにおいて、前記旋回台の旋回操作と、前記ブームの伸縮操作と起伏操作と、に伴って前記レーザスキャナを移動させながらレーザを照射させることで、前記レーザスキャナのレーザ照射時の位置毎の点群データを取得し、前記制御装置は、前記レーザスキャナのレーザ照射時の位置毎の前記点群データを取得し、前記レーザスキャナのレーザ照射時の位置とその姿勢とに基づいてレーザ照射時の位置毎の前記点群データを重ね合わせ、照射点の標高値を算出し、前記レーザスキャナの計測領域を複数のグリッドに分割し、前記グリッド毎に、当該グリッドの重心位置と当該グリッド内の前記点群データの平均標高値とを算出し、前記グリッド内の点群データの平均標高値における前記重心位置を前記グリッド毎の代表点の位置として設定し、前記複数のグリッドのうち、一のグリッドの代表点と隣接する他のグリッドの代表点との標高値の差がグリッド間の閾値以下であれば、前記一のグリッドと前記他のグリッドとが連続する領域である連続領域として認識し、前記連続領域のうち、最も前記グリッドの数が多い連続領域を地表面と推定し、前記地表面と推定された連続領域に隣接していない連続領域である非隣接連続領域毎に、前記非隣接連続領域におけるグリッドの代表点の平均標高値を算出し、前記地表面と推定された連続領域の所定の範囲におけるグリッドの代表点の平均標高値を算出し、前記非隣接連続領域におけるグリッドの代表点の平均標高値と前記地表面と推定された連続領域の所定の範囲におけるグリッドの代表点の平均標高値との差が領域間の閾値以下である前記非隣接連続領域を地表面と推定し、前記地表面と推定された連続領域を他の領域と区別して前記表示装置に表示する、ことを特徴とするクレーンである。
 本発明は、以下に示すような効果を奏する。
 本発明によれば、非隣接連続領域の標高値が地表面の標高値と異なっていても閾値の範囲内の差であれば、非隣接連続領域が地表面と推定される。これにより、他の領域によって分断されている領域について地表面の推定を行える。
 本発明によれば、地表面と推定されている領域の中で非隣接連続領域に最も近接している部分の標高値で判定するので、標高値の差が大きい地表面の影響を受けない。これにより、他の領域によって分断されている領域について地表面の推定を行える。
 本発明によれば、複数の非隣接連続領域が密集する場合、計測領域を複数のグリッドに分割する際のグリッドの幅を小さくすることによって、密集した非隣接連続領域がより詳細に認識される。これにより、他の領域によって分断されている領域について地表面の推定を行える。
 本発明によれば、地表面と推定された連続領域からの距離が長くなるに応じて分断している領域にある地表面の標高値が閾値の範囲内となることの不確実性が高くなるため、非隣接連続領域と、地表面と推定された連続領域と、の間の距離が所定の距離以上の非隣接連続領域を地表面と推定しないようにすることで、誤った推定が抑制される。これにより、他の領域によって分断されている領域について地表面の推定を行える。
 本発明によれば、旋回台やブームの動作に伴ってクレーンの作業領域における点群データが取得され、非隣接連続領域の標高値が地表面の標高値と異なっていても範囲内の差であれば、非隣接連続領域が地表面と推定される。これにより、クレーンの作業領域において、他の領域によって分断されている領域について地表面の推定を行える。
本発明の一実施形態に係るクレーンの全体構成を示す模式図。 本発明の一実施形態に係る計測領域表示システムとクレーンとの制御構成を示す模式図。 レーザスキャナによるレーザの照射状況の説明図、図3AはY軸方向視模式図、図3BはZ軸方向視模式図。 計測領域、個別計測領域、作業領域を説明する平面模式図。 個別計測領域とレーザにより描かれる軌跡との関係を示す模式図。 グリッド生成処理の説明図、図6Aは点群データの分割、グリッドのスライス、平均標高値の算出の説明図、図6Bは代表点の設定の説明図。 三次元地図更新処理の説明図、図7Aは設定したグリッド毎の代表点と現在時刻よりも前に生成した三次元地図の代表点との説明図、図7Bは同一のグリッド内に複数の代表点が存在する場合における代表点の削除の説明図。 グリッドの標高値を濃淡で表した三次元地図の表示状態を示す図。 ラベリング処理の説明図、図9Aは三次元地図のグリッドの模式図、図9Bはラベルの付与の説明図、図9Cはラベルの付与完了時の説明図、図9Dはラベルの上書き前の説明図、図9Eはラベルの上書き後の説明図。 地物領域推定処理の説明図、図10Aは推定を行う連続領域と所定の範囲との説明図、図10Bは標高値の平均値の説明図、図10Cは地物と地表面との推定の説明図、図10Dは所定の範囲の説明図。 ガイド情報の表示状態を示す図、図11Aはカメラ画像を表示したデータ表示部を示す図、図11Bはカメラ画像とガイド情報を重畳表示したデータ表示部を示す図。 連続領域毎に領域を区別して表した三次元地図の表示状態を示す図。 データ処理部によるデータ処理の流れを示すフロー図。 グリッド生成処理を示すフロー図。 三次元地図更新処理を示すフロー図。 ラベリング処理を示すフロー図。 地物領域推定処理を示すフロー図。 グリッド生成処理においてグリッドの幅を変更する場合の説明図、図18Aは所定の範囲とその範囲内の連続領域との説明図、図18Bはグリッドの幅を変更した後における地表面の領域の説明図。 グリッド生成処理を示すフロー図。 地物領域推定処理において非隣接連続領域を地表面と推定しない場合の説明図。 地物領域推定処理を示すフロー図。
 以下に、本発明の第一実施形態に係る計測領域表示システム50を備えたクレーン1について説明する。尚、本実施形態においては、クレーン1として移動式クレーン(ラフテレーンクレーン)について説明を行うが、トラッククレーン等でもよい。
 図1に示すように、クレーン1は、不特定の場所に移動可能な移動式クレーンである。クレーン1は、車両2、クレーン装置6を有する。
 車両2は、クレーン装置6を搬送する走行車両である。車両2は、複数の車輪3を有し、エンジン4を動力源として走行する。車両2には、アウトリガ5が設けられている。アウトリガ5は、車両2の幅方向両側に油圧によって延伸可能な張り出しビームと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダとから構成されている。
 クレーン装置6は、荷物Wをワイヤロープによって吊り上げる作業装置である。クレーン装置6は、旋回台7、ブーム9、ジブ9a、メインフックブロック10、サブフックブロック11、起伏用油圧シリンダ12、メインウインチ13、メインワイヤロープ14、サブウインチ15、サブワイヤロープ16、キャビン17、制御装置18(図2参照)等を具備する。
 旋回台7は、クレーン装置6を旋回可能に構成する駆動装置である。旋回台7は、円環状の軸受を介して車両2のフレーム上に設けられる。旋回台7は、円環状の軸受の中心を回転中心として回転自在に構成されている。旋回台7には、アクチュエータである油圧式の旋回用油圧モータ8が設けられている。
 旋回用油圧モータ8は、電磁比例切換弁である旋回用バルブ23(図2参照)によって回転操作されるアクチュエータである。旋回用バルブ23は、旋回用油圧モータ8に供給される作動油の流量を任意の流量に制御することができる。つまり、旋回台7は、旋回用バルブ23によって回転操作される旋回用油圧モータ8を介して任意の旋回速度に制御可能に構成されている。旋回台7には、旋回台7の旋回位置(角度)と旋回速度とを検出する旋回角度検出手段である旋回用センサ27(図2参照)が設けられている。
 ブーム9は、荷物Wを吊り上げ可能な状態にワイヤロープを支持する可動支柱である。ブーム9は、複数のブーム部材から構成されている。ブーム9は、各ブーム部材をアクチュエータである図示しない伸縮用油圧シリンダで移動させることで軸方向に伸縮自在に構成されている。ブーム9は、ベースブーム部材の基端が旋回台7の略中央に揺動可能に設けられている。
 図示しない伸縮用油圧シリンダは、電磁比例切換弁である伸縮用バルブ24(図2参照)によって伸縮操作されるアクチュエータである。伸縮用バルブ24は、伸縮用油圧シリンダに供給される作動油の流量を任意の流量に制御することができる。つまり、ブーム9は、伸縮用バルブ24によって任意のブーム長さに制御可能に構成されている。ブーム9には、ブーム9の長さを検出する伸縮長さ検出手段である伸縮用センサ28(図2参照)が設けられている。
 メインフックブロック10とサブフックブロック11とは、荷物Wを吊る吊り具である。メインフックブロック10には、メインワイヤロープ14が巻き掛けられる複数のフックシーブと、荷物Wを吊るメインフック10aとが設けられている。サブフックブロック11には、荷物Wを吊るサブフック11aが設けられている。
 起伏用油圧シリンダ12は、電磁比例切換弁である起伏用バルブ25(図2参照)によって伸縮操作される。起伏用バルブ25は、起伏用油圧シリンダ12に供給される作動油の流量を任意の流量に制御することができる。つまり、ブーム9は、起伏用バルブ25によって任意の起伏速度に制御可能に構成されている。ブーム9には、ブーム9の起伏角度を検出する旋回角度検出手段である起伏用センサ29(図2参照)や荷物Wの重量を検出する重量センサ等が設けられている。
 メインウインチ13とサブウインチ15とは、メインワイヤロープ14とサブワイヤロープ16との繰り入れ(巻き上げ)および繰り出し(巻き下げ)を行う巻回装置である。メインウインチ13は、メインワイヤロープ14が巻きつけられるメインドラムがアクチュエータである図示しないメイン用油圧モータによって回転され、サブウインチ15は、サブワイヤロープ16が巻きつけられるサブドラムがアクチュエータである図示しないサブ用油圧モータによって回転されるように構成されている。
 メイン用油圧モータは、電磁比例切換弁であるメイン用バルブ26m(図2参照)によって回転操作される。メイン用バルブ26mは、メイン用油圧モータに供給される作動油の流量を任意の流量に制御することができる。つまり、メインウインチ13は、メイン用バルブ26mによって任意の繰り入れおよび繰り出し速度に制御可能に構成されている。同様に、サブウインチ15は、電磁比例切換弁であるサブ用バルブ26s(図2参照)によって任意の繰り入れおよび繰り出し速度に制御可能に構成されている。メインウインチ13とサブウインチ15とには、メインワイヤロープ14とサブワイヤロープ16との繰り出し量をそれぞれ検出する巻回用センサ30(図2参照)が設けられている。
 キャビン17は、運転座席を覆うものである。運転座席には、車両2を走行操作するための操作具やクレーン装置6を操作するための旋回操作具19、伸縮操作具20、起伏操作具21、メインドラム操作具22m、サブドラム操作具22s等が設けられている(図2参照)。旋回操作具19は、旋回用油圧モータ8を操作することができる。伸縮操作具20は、伸縮用油圧シリンダを操作することができる。起伏操作具21は、起伏用油圧シリンダ12を操作することができる。メインドラム操作具22mは、メイン用油圧モータを操作することができる。サブドラム操作具22sは、サブ用油圧モータを操作することができる。
 このように構成されるクレーン1は、車両2を走行させることで任意の位置にクレーン装置6を移動させることができる。また、クレーン1は、起伏操作具21の操作によって起伏用油圧シリンダ12でブーム9を任意の起伏角度に起立させて、伸縮操作具20の操作によってブーム9を任意のブーム長さに延伸させたりすることでクレーン装置6の揚程や作業半径を拡大することができる。また、クレーン1は、メインドラム操作具22m等によって荷物Wを吊り上げて、旋回操作具19の操作によって旋回台7を旋回させることで荷物Wを搬送することができる。
 図2に示すように、制御装置18は、各バルブを介してクレーン装置6のアクチュエータを制御する。制御装置18は、キャビン17内に設けられている。制御装置18は、実体的には、CPU、ROM、RAM、HDD等がバスで接続される構成であってもよく、あるいはワンチップのLSI等からなる構成であってもよい。制御装置18は、各アクチュエータ、センサ等の動作を制御するために種々のプログラムやデータが格納されている。
 制御装置18は、旋回操作具19、伸縮操作具20、起伏操作具21、メインドラム操作具22m、サブドラム操作具22sに接続され、旋回操作具19、伸縮操作具20、起伏操作具21、メインドラム操作具22m、サブドラム操作具22sのそれぞれの操作量を取得することができる。
 制御装置18は、旋回用バルブ23、伸縮用バルブ24、起伏用バルブ25、メイン用バルブ26m、サブ用バルブ26sに接続され、旋回用バルブ23、伸縮用バルブ24、起伏用バルブ25、メイン用バルブ26m、サブ用バルブ26sに制御信号を伝達することができる。
 制御装置18は、旋回用センサ27、伸縮用センサ28、起伏用センサ29、重量センサ、巻回用センサ30に接続され、旋回台7の旋回位置、ブーム長さ、起伏角度、荷物Wの重量、メインワイヤロープ14とサブワイヤロープ16との繰り出し量を取得することができる。
 制御装置18は、旋回台7の旋回位置、ブーム長さ、起伏角度、荷物Wの重量、メインワイヤロープ14とサブワイヤロープ16との繰り出し量等のクレーン1に関する情報を計測領域表示システム50に伝達することができる。
 尚、本説明では、ブーム9の起伏支点の軸方向を基準として、図1に示すようなXYZ座標系を規定している(以下の説明においても同様)。
 X軸方向(奥行方向とも呼ぶ)は、ブーム9の起伏支点の軸方向に対して垂直、かつ、水平な方向である。また、Y軸方向(水平方向とも呼ぶ)は、ブーム9の起伏支点の軸方向に対して平行、かつ、水平な方向である。さらに、Z軸方向は、鉛直下方向である。即ち、XYZ座標系は、ブーム9を基準としたローカル座標系として規定している(図4参照)。
 次に、本発明の一実施形態に係る計測領域表示システム50について、説明する。
 クレーン1は、図2に示すような計測領域表示システム50を備えている。
 計測領域表示システム50は、本発明に係る計測領域表示システム50の一例であり、図1に示すようなクレーン1による作業を効率よく、かつ、安全に行うことを可能にするために、計測領域表示システム50が計測対象とする領域(以下、計測領域KAという(図4参照))の情報(以下、ガイド情報という)を画像で表示し、オペレータに提示するためのシステムである。
 図2に示すように、計測領域表示システム50は、データ取得部60、データ処理部70、データ表示部80、データ入力部90によって、構成されている。
 データ取得部60は、計測領域KAにおけるガイド情報を生成するために必要なデータを取得する部位であり、カメラ61、レーザスキャナ62、慣性計測装置(IMU)63、第一GNSS受信機64a、第二GNSS受信機64bを備えている。カメラ61、レーザスキャナ62、慣性計測装置(IMU)63、第一GNSS受信機64aは、フレーム体に対して固定され、一体に構成されたセンサユニット65となっている。
 センサユニット65は、クレーン1のブーム9の先端部分に付設されており、荷物Wの真上に位置するブーム9の先端部分から真下の状況を捉えることができる状態で配置されている(図1参照)。尚、ここでいう荷物Wの「真上」は、荷物Wの鉛直上方の位置と、その位置を基準とした一定範囲(例えば、荷物Wの上面の範囲)の位置と、を含む概念である。
 センサユニット65は、ブーム9の先端部分に対してジンバル66(図1参照)を介して付設されており、旋回台7の旋回操作、ブーム9の起伏操作、伸縮操作が行われたときに、センサユニット65の姿勢(Z軸方向に向けた姿勢)を略一定に保持することができるように構成されている。これにより、カメラ61とレーザスキャナ62とを常に荷物Wに向けておくことができる。このため、センサユニット65は、カメラ61とレーザスキャナ62とによって、荷物Wとその下方の地表面Fから、常にデータを取得することができる。また、荷物Wの下方の地表面Fに地物Eが存在する場合には、カメラ61とレーザスキャナ62とによって、地物Eのデータを取得することができる。
 カメラ61は、センサユニット65の下方の領域(以下、個別計測領域kaという(図4参照))の画像を撮影するためのデジタルビデオカメラであり、撮影したカメラ画像をリアルタイムで外部に出力する機能を有している。また、カメラ61は、適切なガイド情報の生成に必要なデータ量を考慮した画素数、画角、フレームレート、画像伝送レートを有している。
 レーザスキャナ62は、計測対象物にレーザを照射し、そのレーザの計測対象物における反射光を受光することによって、その反射点に係る情報を取得し、計測対象物の点群データを取得する装置である。レーザスキャナ62は、センサユニット65を介してブーム9の先端部分に取り付けられている。レーザスキャナ62の計測対象物は、荷物W、地物E、地表面Fである。また、レーザスキャナ62には、計測時刻を取得するための第三GNSS受信機64cが接続されている。
 そして、レーザスキャナ62は、個別計測領域kaに向けて照射されるレーザにより描かれる軌跡がY軸方向に対して平行となるように配置されている(図3B参照)。また、レーザスキャナ62は、レーザの照射角度を変更する基準軸が、X軸方向に対して平行とされている。
 計測領域表示システム50は、レーザスキャナ62によって、リアルタイムに平面的な三次元点群データを取得する。
 慣性計測装置(Inertial Measurement Unit、以下IMUという)63は、データ取得時におけるカメラ61とレーザスキャナ62との姿勢データを取得するための装置である。IMU63は、リアルタイムで姿勢角を計測することが可能であり、レーザスキャナ62によって取得した点群データの補正に利用可能な計測精度を有している。また、IMU63には、計測時刻を取得するための第四GNSS受信機64dが接続されている。
 第一GNSS受信機64aは、衛星から測距電波を受信し、座標である緯度、経度、標高値を算出するための装置である。データ処理部70は、第一GNSS受信機64aとレーザスキャナ62とが離間する距離が設定されており、設定された距離に基づいてリアルタイムでレーザスキャナ62の座標を算出可能である。
 第二GNSS受信機64bは、衛星から測距電波を受信し、座標である緯度、経度、標高値を算出するための装置である。第二GNSS受信機64bは、旋回台7の旋回中心位置に配置されている。第二GNSS受信機64bは、リアルタイムで旋回台7の旋回中心の座標を算出可能である。
 本実施形態では、第一GNSS受信機64aと第二GNSS受信機64bとには、測定精度の高いRTK-GPS(Real Time Kinematic GPS)測位方式を採用する。RTK-GPS測位方式を採用することにより、レーザスキャナ62の位置と旋回台7の旋回中心の位置の測定精度を高めることができる。尚、RTK-GPS測位方式に限定されず、他の測位方法を採用してもよい。
 第一GNSS受信機64aと第二GNSS受信機64bとを結ぶ直線と、レーザスキャナ62の計測軸と、IMU63の計測軸と、が同一直線上にあるように、第一GNSS受信機64aが配置される。また、第一GNSS受信機64aが算出するレーザスキャナ62の座標と、第二GNSS受信機64bが算出する旋回台7の旋回中心の座標と、によって、ブーム9を基線としたGNSSコンパスを構成し、レーザスキャナ62の向き(方位)を算出可能である。第一GNSS受信機64aと第二GNSS受信機64bとは、レーザスキャナ62によって取得した点群データの補正に利用可能な計測精度を有している。
 図3に示すように、レーザスキャナ62は、合計16個のレーザ送受信センサを備えており、同時に16本のレーザを計測対象物に照射して、計測対象物の点群データを取得することができる装置である。図3Aに示すように、レーザスキャナ62の16個の各レーザ送受信センサは、X軸方向において2°ずつ照射角度を異ならせて配置されており、計測対象物に対して、全体で30°の拡がりを持ってレーザを照射可能に構成されている。また、レーザスキャナ62の各レーザ送受信センサは、X軸回りに360°(全方位)回転可能に構成されている。図3Bに示すように、個別計測領域kaに向けて照射されるレーザにより描かれる軌跡は、Y軸方向に対して平行であり、レーザスキャナ62では、16本の当該軌跡が同時に描かれる。
 尚、レーザスキャナ62は、ブーム9の最高到達高さを考慮して、その最高到達高さ(例えば、約100m)から計測対象物の三次元形状を計測可能な機器が選択される。また、レーザスキャナ62は、適切なガイド情報を生成するために必要なデータ量およびデータ精度を考慮して、計測スピード、計測ポイント数、計測精度等の各仕様について所定の性能を有する機器が選択される。
 尚、本実施形態では、合計16個のレーザ送受信センサを備えたレーザスキャナ62を用いる場合を例示しているが、本発明に係る計測領域表示システム50は、レーザスキャナ62を構成するレーザ送受信センサの個数によっては限定されない。即ち、本発明に係る計測領域表示システム50では、クレーン1のブーム9(ジブ9a)の最高到達高さ等に応じて、最適な仕様のレーザスキャナ62が適宜選択される。
 センサユニット65によって個別計測領域kaにおいて取得するデータには、荷物W、荷物Wの下方の地表面F、荷物Wの下方の地表面Fに存在する地物Eをカメラ61によって撮影した画像データが含まれる。また、センサユニット65によって個別計測領域kaにおいて取得するデータには、荷物W、地表面F、地物Eをレーザスキャナ62によってスキャンして取得した点群データが含まれる。尚、ここでいう地表面Fには、荷物Wの搬送元および搬送先となる面を広く含み、地上面のみならず、建物屋上の床面や屋根面等も含まれる。
 データ処理手段であるデータ処理部70は、データ取得部60で取得したデータを演算処理して、オペレータに提示するガイド情報を生成するための部位であり、本実施形態では、所定のデータ処理プログラムがインストールされた汎用のパーソナルコンピュータによって構成している。
 また、データ処理部70は、クレーン1の制御装置18と電気的に接続されており、制御装置18から出力される旋回台7の旋回位置、ブーム長さ、起伏角度、荷物Wの重量、メインワイヤロープ14とサブワイヤロープ16との繰り出し量等のクレーン1に関する情報が入力される。
 データ表示部80は、オペレータに提示するガイド情報を表示するための部位であり、データ処理部70に接続された表示装置により構成される。
 データ表示部80は、計測領域KAの三次元地図と個別計測領域kaのカメラ画像とをリアルタイムに表示する。
 ここで、計測領域KAとガイド情報とについて説明する。
 計測領域KAとは、ガイド情報を生成する対象となる領域である。
 図4に示すように、計測領域表示システム50は、センサユニット65の下方の個別計測領域kaに存在する荷物W、地表面F、地物Eを計測する。センサユニット65は、旋回台7の旋回操作、起伏操作、ブーム9の伸縮操作に応じて移動する。このため、個別計測領域kaも、センサユニット65の移動に応じて移動する。計測領域KAは、異なる位置から計測された個別計測領域kaを併せた領域である。計測領域KAは、計測領域表示システム50が計測可能な領域の全体を計測した場合、ブーム9の先端部分が稼動可能な領域である作業領域SAを含む領域となる。
 ここでいうガイド情報は、オペレータがクレーン1によって荷物Wを搬送するときに、ブーム9の長さ・旋回位置・起伏角度、メインワイヤロープ14とサブワイヤロープ16との繰り出し量等の良否について、オペレータの判断を補助する情報である。ガイド情報には、計測領域KAの三次元地図、カメラ画像情報、荷物Wと地物Eとの形状に係る情報、荷物Wの高さ情報、地物Eの高さ情報、荷物Wの動線に係る情報等が含まれる。
 図2に示すように、データ入力部90は、データ処理部70に対して、設定値等を入力するための部位であり、タッチパネル、マウス、キーボード装置等の入力装置により構成される。
 図1に示すように、データ表示部80とデータ入力部90は、キャビン17内の運転座席の前方のオペレータが見やすい位置に配置する。データ処理部70は、センサユニット65の近傍に配置することが好ましい。尚、計測領域表示システム50は、データ処理部70、データ表示部80、データ入力部90をタブレットPCによって一体的に構成した場合には、データ処理部70をキャビン17内に配置する構成としてもよい。
 データ取得部60とデータ処理部70間のデータの伝送は、有線LANによることが好ましい。尚、データ取得部60とデータ処理部70間のデータの伝送は、無線LANを採用してもよく、あるいは、電力線通信を採用してもよい。
 ここで、データ取得部60によるデータの取得状況を説明する。
 データ取得部60は、カメラ61によって、個別計測領域kaを連続的に撮影し、個別計測領域kaのカメラ画像を取得する。
 図5に示すように、データ取得部60は、レーザスキャナ62によって、個別計測領域kaを連続的にスキャンし、個別計測領域kaにおける計測対象物の点群データを取得する。以下では、レーザスキャナ62によって取得する点群データを、点群データPと呼ぶ。点群データPは、点データpの集合であり、点データpは、個別計測領域kaに存在する地表面F、荷物W、地物Eに位置する点を表している。
 データ取得部60は、レーザスキャナ62によって点群データPを取得すると同時に、第三GNSS受信機64cによって複数の測位衛星から時間情報を受信する。そして、データ処理部70は、点データpに対して、該点データpの取得時間tpに係る情報を付与する。
 また、データ取得部60は、レーザスキャナ62によって、点群データPを取得すると同時に、IMU63によって所定の周期でレーザスキャナ62の姿勢データQを取得し、第一GNSS受信機64aと第二GNSS受信機64bとによってレーザスキャナ62の位置データRと方位データKとを取得する。尚、データ処理部70は、第二GNSS受信機64bによって取得される旋回台7の旋回中心の位置と、制御装置18から出力される旋回台7の旋回位置、ブーム長さ、起伏角度に基づいて、レーザスキャナ62の位置と向きとを算出してもよい。
 姿勢データQには、レーザスキャナ62のX・Y・Z軸の各軸方向に対する角度と加速度に係る情報が含まれる。尚、IMU63による姿勢データQの取得周期は、レーザスキャナ62による点群データPの取得周期よりも短くする。姿勢データQは、計測周期ごとに計測される個別姿勢データqの集合である。
 データ取得部60は、IMU63によって姿勢データQを取得すると同時に、第四GNSS受信機64dによって、複数の測位衛星から時間情報を受信する。データ処理部70は、個別姿勢データqに対して、該個別姿勢データqの取得時間に係る情報として取得時間tqを付与する。
 位置データRには、レーザスキャナ62のXYZ座標系における位置に係る情報が含まれる。尚、第一GNSS受信機64aと第二GNSS受信機64bとによる位置データRの取得周期は、レーザスキャナ62による点群データPの取得周期よりも短くする。位置データRは、計測周期ごとに計測される個別位置データrの集合である。データ処理部70は、個別位置データrに基づいて個別方位データkを算出する。方位データKは、計測周期ごとに計測される個別方位データkの集合である。
 第一GNSS受信機64aと第二GNSS受信機64bとは、位置データRと方位データKとを取得すると同時に、複数の測位衛星から時間情報を受信する。データ処理部70は、位置データRと方位データKとに対して、該位置データRと該方位データKとの取得時間に係る情報として取得時間trを付与する。
 次に、データ処理部70によるデータの処理状況を説明する。
 本発明の一実施形態に係る地表面推定方法は、点群データ取得工程、グリッド生成処理工程、連続領域認識工程、第一地表面推定工程、第二地表面推定工程を備える。
(点群データ取得工程)
 データ処理部70は、計測データを取得する。具体的には、データ処理部70は、点群データPのストリームデータから、1フレーム分の点群データPを切り出して出力する。1フレーム分の点群データPは、レーザスキャナ62によるレーザの照射方向がX軸回りに1周する間に取得する点データpの集合である。また、データ処理部70は、カメラ61のカメラ画像、IMU63の姿勢データQ、第一GNSS受信機64aと第二GNSS受信機64bとによって取得する位置データRおよび方位データKを計測データとして取得する。
 データ処理部70は、1フレーム分の点群データPに含まれる点データpを、IMU63によって取得した姿勢データQと、第一GNSS受信機64aと第二GNSS受信機64bとによって取得した位置データRおよび方位データKと、時間によって対応付ける(図13の時刻対応処理(STEP-101)参照)。
 具体的には、データ処理部70は、姿勢データQについて、個々の点データpにおいて、その点データpの取得時間tpに最も近い個別姿勢データqの取得時間tqを探索し、該取得時間tqにおける個別姿勢データqを、その点データpに対応付ける。また、データ処理部70は、位置データRおよび方位データKについて、個々の点データpにおいて、その点データpの取得時間tpに最も近い位置データRおよび方位データKの取得時間trを探索し、該取得時間trにおける個別位置データrおよび個別方位データkを、その点データpに対応付ける。
 このようにしてデータ処理部70は、個別姿勢データq、個別位置データr、個別方位データkとが時間によって対応付けられた点データpを出力する。
 データ処理部70は、時間によって対応付けられた点データp、個別姿勢データq、個別位置データr、個別方位データkの組み合わせに対して剛体変換処理を行う(図13の剛体変換処理(STEP-102)参照)。具体的には、データ処理部70は、個別姿勢データq、個別位置データr、個別方位データkとに基づいて点群データPのアフィン変換を行って、点群データPを平面直角座標系に変換する。これにより、傾き、位置、向きが補正された点群データPが出力される。点データpの標高値は、傾き、位置、向きが補正された点データpのZ座標の値となる。つまり、レーザスキャナ62の照射点の標高値は、点データpのZ座標の値として算出されている。但し、Z軸は、鉛直下方向の軸であるため、Z座標の値が大きくなるに応じて、標高が低い位置となる。
(グリッド生成処理工程)
 図6に示すように、データ処理部70は、補正された点群データPの全体を一定の大きさのグリッドgで分割し、グリッドgの代表点prを設定する(図13のグリッド生成処理A(STEP-103))。具体的には、まず、データ処理部70は、補正された点群データPを重ね合わせる。図6Aに示すように、次に、データ処理部70は、重ね合わせた点群データPの全体を一定の大きさのグリッドgで分割する。
 重ね合わせた点群データPには、地物Eや地表面Fの上面だけではなく、地物Eや地表面Fの側面にレーザが照射され取得された点データpが含まれる可能性がある。地物Eや地表面Fの上面を対象としてガイド情報を生成するため、まず、データ処理部70は、グリッドg毎に、グリッドgを任意の間隔で水平の方向にスライスする。そして、データ処理部70は、グリッドg毎に、スライスされて形成される層L1・L2・L3・・・のうち、点データpが存在し、かつ、最も標高が高い位置にある層L1の点データp(点群データP)の標高値の平均値である平均標高値Hを算出する。また、データ処理部70は、グリッドg毎に、グリッドgの重心位置を算出する。図6Bに示すように、最後に、データ処理部70は、グリッドg毎に、算出した平均標高値Hにおけるグリッドgの重心位置をグリッドgの代表点prの位置として設定する。これにより、データ処理部70は、地表面Fに凹凸があり、地表面Fの凹凸の側面にレーザが照射された場合でも、地表面Fの凹凸の上面にレーザが照射され取得されたと推定される点群データPの代表点prを設定できる。
 尚、平均標高値Hを算出する層は、層L1に限定されず、各層における、点データpの数、点データpの位置、点データpの密度に基づいて選択される層であってもよい。例えば、各層のうち、点データpの数が最も多い層が選択されてもよい。或いは、任意の数以上の点データpが存在する層のうち、最も高い層が選択されてもよい。或いは、Z方向視で均等に点データpが存在する層は、地物Eの上面に照射された点データpである可能性が高いため、Z方向視で均等に点データpが存在する層が選択されてもよい。
 図7に示すように、データ処理部70は、設定したグリッドg毎の代表点prを用いて現在時刻よりも前に生成した三次元地図全体を更新する(図13の三次元地図更新処理B(STEP-104))。図7A左図は、設定したグリッドg毎の代表点prを代表点pr1として、グリッドgに代表点pr1のみを示した図である。図7A右図は、現在時刻よりも前に生成した三次元地図の代表点prを代表点pr2として、グリッドgに代表点pr2のみを示した図である。具体的には、まず、データ処理部70は、代表点pr1と代表点pr2とをグリッドg毎に取得する。図7Bに示すように、データ処理部70は、同一のグリッドg内に複数の代表点prが存在する場合は、代表点pr2を削除する。データ処理部70は、削除後の全ての代表点pr毎にグリッドgの大きさの面を生成し、計測領域KAの三次元地図として出力する。図8に示すように、三次元地図Mをデータ表示部80に表示した場合、グリッドgの代表点prの標高値が高くなるに応じて面Sの色が濃く表示される。
(連続領域認識工程)
 図9に示すように、データ処理部70は、三次元地図を用いて連続領域毎にラベルを付与する(図13のラベリング処理C(STEP-105)参照)。連続領域とは、隣接するグリッドgの代表点prの標高値の差がグリッドg間の閾値であるグリッド閾値以下となる領域である。グリッド閾値は、レーザスキャナ62のZ軸方向の計測誤差に基づいて設定されており、例えば、0.1mとしている。ラベルは、1番から順番に番号で付与される。以下では、説明のため、グリッドgの代表点prの標高値は、標高が最も低い位置に存在する代表点prの標高値を基準として、基準とした代表点prからの高さとしている。
 図9A及び図9Bに示すように、具体的には、まず、データ処理部70は、三次元地図のグリッドgから注目グリッドgaを選択する。注目グリッドgaの代表点prの標高値と、その左上、上、右上、左の4近傍(以下、単に4近傍という)にある各グリッドgの代表点prの標高値と、の比較が行われる。注目グリッドgaが選択される順番は、三次元地図の左上を起点に左端から右に、右端に到達すると一つ下の段の左端から右に選択される。
 データ処理部70は、注目グリッドgaの代表点prの標高値とその4近傍にある各グリッドgの代表点prの標高値との差のいずれかがグリッド閾値以下の場合は、標高値の差がグリッド閾値以下であるグリッドgと同一のラベルを注目グリッドgaに付与し、注目グリッドgaの代表点prの標高値とその4近傍にある各グリッドgの代表点prの標高値との差が全てグリッド閾値よりも大きい場合は、新たなラベルを付与する。新たなラベルとは、この時点までに付与されたラベルの番号のうち、最も大きい番号を1だけ増加させた番号のラベルである。但し、データ処理部70は、注目グリッドgaの代表点prの標高値とその4近傍にある各グリッドgの代表点prの標高値との差がグリッド閾値以下であるグリッドgのラベルの種類が複数の場合は、標高値の差がグリッド閾値以下であるグリッドgのラベルのうち、最も番号が小さいラベルを付与する。これらの処理を全てのグリッドgに対して行うことで、注目グリッドgaとその左上、上、右上、左、右、左下、下、右下の8近傍にあるグリッドgとの比較ができる。
 例えば、データ処理部70は、図9Bに示す注目グリッドgaが選択されている場合、注目グリッドgaの代表点prの標高値とその4近傍にある各グリッドgの代表点prの標高値との差を、全て0.5mと算出する。データ処理部70は、注目グリッドgaの代表点prの標高値とその4近傍にある各グリッドgの代表点prの標高値との差が全てグリッド閾値0.1mよりも大きいため、1番のラベルの番号を1だけ増加させた2番のラベルを注目グリッドgaに付与している。
 図9C、図9D、及び図9Eに示すように、データ処理部70は、全てのグリッドgにラベルが付与された後に、グリッドgから注目グリッドgaを再び選択する。注目グリッドgaが選択される順番は、ラベルを付与する際と同様に、三次元地図の左上を起点に左端から右に、右端に到達すると一つ下の段の左端から右に選択される。
 データ処理部70は、注目グリッドgaの代表点prの標高値とその4近傍にある各グリッドgの代表点prの標高値とを比較する。データ処理部70は、注目グリッドgaの4近傍のグリッドgに、標高値の差がグリッド閾値以下で、かつ、注目グリッドgaと異なるラベルが付与されている場合は、標高値の差がグリッド閾値以下で、かつ、注目グリッドgaと異なるラベルが付与されているグリッドgのラベルを注目グリッドgaのラベルで上書きする。
 例えば、データ処理部70は、図9Dに示す注目グリッドgaが選択されている場合、その左と右上にある各グリッドgの代表点prとの標高値の差を、それぞれ0mと算出し、その左上と上にある各グリッドgの代表点prとの標高値の差を、それぞれ2mと算出する。さらに、注目グリッドgaの左にあるグリッドgは、5番のラベルが付与されており、注目グリッドgaに付与されている3番のラベルと異なる。従って、注目グリッドgaの左にあるグリッドgは、標高値の差がグリッド閾値0.1m以下で、かつ、注目グリッドgaと異なるラベルが付与されている。図9Eに示すように、このため、データ処理部70は、注目グリッドgaの左にあるグリッドgのラベルを3番のラベルで上書きしている。
 最後に、データ処理部70は、グリッドgにラベルが付与された三次元地図を出力する。このように、データ処理部70は、隣接するグリッドgの間で代表点prの標高値を比較して、傾斜の有無によらず、同一のラベルが付与されたグリッドgを、連続領域として認識している。
(第一地表面推定工程)
 データ処理部70は、ラベルが付与された三次元地図の中から、地表面F、荷物Wとそれら以外の領域を示すラベルを推定する(図13の同一領域推定処理(STEP-106))。具体的には、データ処理部70は、地表面Fの領域が最も広いと考えられるため、グリッドgの数が最も多い同一のラベルを地表面Fのグリッドgに付与されたラベルとする。つまり、データ処理部70は、連続領域のうち、最もグリッドgの数が多い連続領域を地表面Fと推定する。図9Eに示すように、例えば、データ処理部70は、1番のラベルのグリッドgが最も多いため、1番のラベルの連続領域を地表面Fと推定する(白抜き部分参照)。データ処理部70は、三次元地図Mをデータ表示部80に表示した場合、地表面Fの領域を他の領域と色や濃淡を区別して表示する(図12参照)。
 また、データ処理部70は、手動で入力された荷物Wの範囲(図11B参照)にあるグリッドgの代表点prの中で最も標高値の低い代表点prのグリッドgのラベルを取得し、荷物Wのグリッドgに付与されたラベルとする。これは、グリッドgの中に荷物Wのグリッドgとフックやワイヤのグリッドgが含まれる場合、フックやワイヤロープのグリッドgにおける代表点prの標高値よりも荷物Wのグリッドgにおける代表点prの標高値の方が低いためである。尚、荷物Wの高さ(Z軸方向の長さ)は、ブーム9の先端部分からでは荷物Wの側面や下部を計測できないため、実測されてデータ処理部70に入力されている。
(第二地表面推定工程)
 図10に示すように、データ処理部70は、グリッドgに付与されたラベルを用いて、同一領域推定処理で推定された地表面Fと荷物W以外の各連続領域について、地表面Fまたは地物Eの推定を実施する(図13の地物領域推定処理D(STEP-107))。具体的には、地表面Fと推定された連続領域に隣接しない連続領域である非隣接連続領域Jaと、地表面Fと推定された連続領域に一部でも隣接する連続領域である隣接連続領域Jbと、について実施する。ここで、「隣接する」とは、上下左右または斜めに隣り合うことをいう。
 まず、データ処理部70は、推定を行う非隣接連続領域Jaにおけるグリッドgの代表点prの平均標高値(以下、単に「非隣接連続領域Jaの平均標高値」という)を算出する。次に、データ処理部70は、推定を行う非隣接連続領域Jaに対する所定の範囲Naにおけるグリッドgの代表点prの平均標高値(以下、単に「所定の範囲Naの平均標高値」という)を算出する。所定の範囲Naは、地表面Fと推定された連続領域内の範囲であるとともに、推定を行う非隣接連続領域Jaと、地表面Fと推定された連続領域と、の間にある隣接連続領域Jbに隣接するグリッドgで構成される範囲である(図10A参照)。但し、所定の範囲Naは、この範囲に限定されず、地表面Fの状況に応じて任意の範囲に設定可能である。
 データ処理部70は、非隣接連続領域Jaの平均標高値と所定の範囲Naの平均標高値との差が領域間の閾値である領域閾値以下の場合、推定を行う非隣接連続領域Jaを地表面Fと推定する。データ処理部70は、非隣接連続領域Jaの平均標高値と所定の範囲Naの平均標高値の差が領域閾値よりも大きい場合、推定を行う非隣接連続領域Jaを地物Eと推定する。領域閾値は、グリッド閾値と同様にレーザスキャナ62のZ軸方向の計測誤差に基づいて設定されており、例えば、0.1mとしている。グリッド閾値と領域閾値とが個別に設定されるものとして説明するが、同一の閾値として設定されてもよい。
 また、データ処理部70は、推定を行う隣接連続領域Jbにおけるグリッドgの代表点prの平均標高値(以下、単に「隣接連続領域Jbの平均標高値」という)を算出する。次に、データ処理部70は、推定を行う隣接連続領域Jbに対する所定の範囲Nbにおけるグリッドgの代表点prの平均標高値(以下、単に「所定の範囲Nbの平均標高値」という)を算出する。所定の範囲Nbは、地表面Fと推定された連続領域内の範囲である。同時に、所定の範囲Nbは、推定を行う隣接連続領域Jbに隣接する他の隣接連続領域Jbがない場合、隣接連続領域Jbに隣接するグリッドgで構成される範囲である(図10A参照)。所定の範囲Nbは、推定を行う隣接連続領域Jbに隣接する他の隣接連続領域Jbがある場合、推定を行う隣接連続領域Jbを含み、互いに隣接し合う複数の隣接連続領域Jbを隣接領域Jcとして、隣接領域Jcに隣接するグリッドgで構成される範囲である(図10D参照)。但し、所定の範囲Nbは、この範囲に限定されず、地表面Fの状況に応じて任意の範囲に設定可能である。
 データ処理部70は、隣接連続領域Jbの平均標高値と所定の範囲Nbの平均標高値との差が領域閾値以下の場合、推定を行う隣接連続領域Jbを地表面Fと推定し、隣接連続領域Jbの平均標高値と所定の範囲Nbの平均標高値との差が領域閾値よりも大きい場合、推定を行う隣接連続領域Jbを地物Eと推定する。
 図10A及び図10Bに示すように、例えば、同一領域推定処理において、1番のラベルの連続領域が地表面Fと推定されており、4番のラベルと6番のラベルとの連続領域が地表面Fまたは荷物Wと推定されていないものとする。6番のラベルの連続領域は、地表面Fと推定された連続領域に隣接していないため、非隣接連続領域Jaとなる。4番のラベルの連続領域は、地表面Fと推定された連続領域に隣接しているため、隣接連続領域Jbとなる。6番のラベルの連続領域に対する所定の範囲Naと4番のラベルの連続領域に対する所定の範囲Nbとは、地表面Fと推定された連続領域において、4番のラベルの連続領域に隣接するグリッドgで構成される範囲(図10A斜線部)となる。
 データ処理部70は、6番のラベルの連続領域の平均標高値を、0.3mと算出している。データ処理部70は、4番のラベルの連続領域の平均標高値を、1.75mと算出している。データ処理部70は、所定の範囲Naと所定の範囲Nbとの平均標高値を、0.35mと算出している。図10Cに示すように、データ処理部70は、6番のラベルの連続領域の平均標高値と所定の範囲Naの平均標高値との差が領域閾値0.1mより小さいため、6番のラベルの連続領域を地表面Fと推定する。データ処理部70は、4番のラベルの連続領域の平均標高値と所定の範囲Nbの平均標高値との差が領域閾値0.1mより大きいため、4番のラベルの連続領域を地物Eと推定する。
 最後に、データ処理部70は、グリッドgに付与されたラベルに基づいて、荷物W、地表面F、地物E毎に、グリッドgの代表点prの集合を出力する。このように、データ処理部70は、周囲の地表面Fから地物Eによって分断された領域を地表面Fとして推定できる。データ処理部70は、このような地表面Fの推定をリアルタイムで自動的に行うことができる。
 図10Dに示すように、隣接連続領域Jbの少なくとも一部が地表面Fと推定された連続領域に隣接していない場合の所定の範囲Nbの一例について説明する。例えば、7番のラベルと8番のラベルとの連続領域が地表面Fまたは荷物Wと推定されていないものとする。7番のラベルと8番のラベルとの連続領域は、地表面Fと推定された連続領域に隣接しているため、隣接連続領域Jbとなる。但し、8番のラベルの連続領域における2つのグリッドgが地表面Fと推定された連続領域に隣接していない。7番のラベルの連続領域と8番のラベルの連続領域とに対する所定の範囲Nbは、地表面Fと推定された連続領域において、7番のラベルと8番のラベルとの連続領域に隣接するグリッドgで構成される範囲(図10D斜線部)となる。
 このような地表面推定方法を実施する計測領域表示システム50は、非隣接連続領域Jaの平均標高値と所定の範囲Naの平均標高値との差が閾値の範囲内の差であれば、非隣接連続領域Jaが地表面Fと推定される。また、計測領域表示システム50は、隣接連続領域Jbの平均標高値と所定の範囲Nbの平均標高値との差が閾値の範囲内の差であれば、隣接連続領域Jbが地表面Fと推定される。所定の範囲Naと所定の範囲Nbとを上述の実施形態の範囲にすると、地表面Fと推定されている領域の中で非隣接連続領域Jaまたは隣接連続領域Jbに最も近接している部分の標高値で判定するので、標高値の差が大きい地表面Fの影響を受けない。これにより、他の領域によって分断されている領域についても地表面Fの推定を行える。
 本実施形態において、計測領域表示システム50がクレーン1から独立した構成として説明したが、データ取得部60が備える各種センサ61~64d、データ表示部80が備える表示装置、データ入力部90が備える入力装置をクレーン1が具備し、データ処理部70が行うデータ処理を制御装置18が行う構成であってもよい。
 このようなクレーン1においては、旋回台7やブーム9の動作に伴ってクレーン1の作業領域SAにおける点群データPが取得され、非隣接連続領域Jaの平均標高値と所定の範囲Naの平均標高値との差が閾値の範囲内の差であれば、非隣接連続領域Jaが地表面Fと推定される。また、クレーン1においては、隣接連続領域Jbの平均標高値と所定の範囲Nbの平均標高値との差が閾値の範囲内の差であれば、隣接連続領域Jbが地表面Fと推定される。所定の範囲Naと所定の範囲Nbとを上述の実施形態の範囲にすると、地表面Fと推定されている領域の中で非隣接連続領域Jaまたは隣接連続領域Jbに最も近接している部分の標高値で判定するので、標高値の差が大きい地表面Fの影響を受けない。これにより、クレーン1の作業領域SAにおいて、他の領域によって分断されている領域についても地表面Fの推定を行える。尚、計測領域表示システム50は、クレーン1以外のその他の作業車両に用いることもできる。例えば、高所作業車等にも用いることができる。
 データ処理部70はグリッドgの代表点prの集合を用いて、荷物W、地物E毎に大きさと高さをカメラ画像上に可視化する(図13の領域可視化処理(STEP-108))。具体的には、まず、データ処理部70は、第一GNSS受信機64aと第二GNSS受信機64bとの計測データから現在時刻のレーザスキャナ62の位置と向き(方位)とを算出する。次に、データ処理部70は、算出したレーザスキャナ62の位置と向きとに基づいて座標軸を決定し、荷物Wや地物E等の代表点prのカメラ画像上における位置を合わせて表示する。
 図11に示すように、データ処理部70は、荷物Wや地物E等の代表点prのカメラ画像I上における位置を用いて、荷物Wや地物Eをカメラ画像I上で内包する外形線を算出し、外形線が成す外形図形をガイド情報GD1としてカメラ画像I上に表示する。最後に、データ処理部70は、ガイド情報GD1の上に荷物Wや地物Eの標高値と地表面Fの標高値の差分値をガイド情報GD2(高さの情報)として表示する。尚、ガイド情報GD1の描画色は、荷物Wや地物Eの高さに応じて濃淡を変更した所定の色で表示する。また、荷物Wや地物Eの高さの有効桁数は、小数第一位とする。
 図12に示すように、データ処理部70は、荷物W、地表面F、地物E毎にラベルが付与された計測領域KAの三次元地図を用いて、それぞれの三次元空間における位置関係と大きさを可視化する(図13の三次元地図可視化処理(STEP-109))。具体的には、まず、データ処理部70は、荷物W、地表面F、地物E毎の代表点prの位置と標高値とに基づいて、代表点prを重心とする面Sを生成する。このとき、面Sの幅は代表点prの生成時に用いたグリッドgの幅とする。そして、データ処理部70は、荷物W、地表面F、地物E毎に面Sに色付けを行い、三次元空間における三次元地図Mとしてデータ表示部80に可視化する。
 尚、クレーン1や計測領域KAの状況に合わせてグリッドgの幅が変更されて、三次元地図Mの可視性が調整される。例えば、データ処理部70は、ブーム9の先端部分の高さが高くなるに応じてグリッドgの幅を小さくすると、高い位置から計測された広範囲の計測領域KAを、より細かな面Sの三次元地図Mで可視化できる。データ処理部70は、計測領域KAにおいて高さの差がグリッド閾値以内である複数の地物Eが互いに近接している場合、グリッドgの幅を大きくすると、複数の地物Eを一つの地物Eとして三次元地図Mに可視化できる。
 以下に、計測領域表示システム50の制御態様について具体的に説明する。
 図13に示すように、データ処理部70は、計測データが入力され、STEP-101に移行する。
 データ処理部70は、STEP-101において、時刻対応処理を行い、STEP-102に移行する。
 データ処理部70は、STEP-102において、剛体変換処理を行い、STEP-103に移行する。
 データ処理部70は、STEP-103において、グリッド生成処理Aを開始し、STEP-201に移行する(図14参照)。そして、グリッド生成処理Aが終了するとSTEP-104に移行する。
 データ処理部70は、STEP-104において、三次元地図更新処理Bを開始し、STEP-301に移行する(図15参照)。そして、三次元地図更新処理Bが終了するとSTEP-105に移行する。尚、データ処理部70は、現在時刻よりも前に三次元地図が生成されていない場合は、新に三次元地図を生成する。
 データ処理部70は、STEP-105において、ラベリング処理Cを開始し、STEP-401に移行する(図16参照)。そして、ラベリング処理Cが終了するとSTEP-106に移行する。
 データ処理部70は、STEP-106において、同一領域推定処理を行い、STEP-107に移行する。
 データ処理部70は、STEP-107において、地物領域推定処理Dを開始し、STEP-501に移行する(図17参照)。そして、地物領域推定処理Dが終了するとSTEP-108に移行する。
 データ処理部70は、STEP-108において、領域可視化処理を行い、STEP-109に移行する。
 データ処理部70は、STEP-109において、三次元地図可視化処理を行い、可視化結果を出力する。可視化結果とは、三次元地図Mやカメラ画像情報等である。
 図14に示すように、データ処理部70は、STEP-201において、グリッド生成処理Aを開始し、補正された点群データPを重ね合わせて、STEP-202に移行する。
 データ処理部70は、STEP-202において、重ね合わせた点群データPを一定の大きさのグリッドgで分割し、STEP-203に移行する。
 データ処理部70は、STEP-203において、点群データPが存在するグリッドgを任意の間隔で水平の方向にスライスし、複数の層L1・L2・L3・・・を形成し、STEP-204に移行する。
 データ処理部70は、STEP-204において、各層のうち、点データpが存在し、かつ、最も標高が高い位置にある層L1の点データpの平均標高値Hを算出し、STEP-205に移行する。
 データ処理部70は、STEP-205において、グリッドgの重心位置を算出し、STEP-206に移行する。
 データ処理部70は、STEP-206において、算出した平均標高値Hにおけるグリッドgの重心位置をグリッドgの代表点prとして設定し、STEP-207に移行する。
 データ処理部70は、STEP-207において、点群データPが存在する全てのグリッドgで代表点prの設定が完了したか否かを判定する。
 その結果、データ処理部70は、点群データPが存在する全てのグリッドgで代表点prの設定が完了した場合、グリッド生成処理Aを終了し、STEP-104に移行する。
 一方、データ処理部70は、点群データPが存在する全てのグリッドgで代表点prの設定が完了していない場合、STEP-203に移行して、代表点prの設定が行われていないグリッドgに対してSTEP-203を行う。
 図15に示すように、データ処理部70は、STEP-301において、三次元地図更新処理Bを開始し、グリッドgにおける、設定した代表点prと、現在時刻より前に生成されている三次元地図の代表点prと、を取得する。
 データ処理部70は、STEP-302において、同一のグリッドg内に複数の代表点prが存在するか否かを判定する。
 その結果、データ処理部70は、同一のグリッドg内に複数の代表点prが存在する場合、STEP-303に移行する。
 一方、データ処理部70は、同一のグリッドg内に複数の代表点prが存在しない場合、STEP-304に移行する。
 データ処理部70は、STEP-303において、現在時刻よりも前に生成されている三次元地図の代表点prを削除し、STEP-304に移行する。
 データ処理部70は、STEP-304において、全てのグリッドgでSTEP-301、302が完了したか否かを判定する。
 その結果、データ処理部70は、全てのグリッドgでSTEP-301、302が完了した場合、STEP-305に移行する。
 一方、データ処理部70は、全てのグリッドgでSTEP-301、302が完了していない場合、STEP-301に移行して、STEP-301、302が行われていないグリッドgに対してSTEP-301を行う。
 データ処理部70は、STEP-305において、グリッドgと同じ大きさの面を生成し、計測領域KAの三次元地図を出力して、三次元地図更新処理Bを終了し、STEP-105に移行する。
 図16に示すように、データ処理部70は、STEP-401において、ラベリング処理Cを開始し、注目グリッドgaの代表点prの標高値とその4近傍にある各グリッドgの代表点prの標高値との差を算出し、STEP-402に移行する。
 データ処理部70は、STEP-402において、算出した標高値の差のいずれかがグリッド閾値以下か否かを判定する。尚、データ処理部70は、4近傍のグリッドgがない(注目グリッドgaが三次元地図の左上にある)場合は、STEP-404に移行して注目グリッドgaに1番のラベルを付与する。
 その結果、データ処理部70は、算出した標高値の差のいずれかがグリッド閾値以下である場合、STEP-403に移行する。
 一方、データ処理部70は、算出した標高値の差が全てグリッド閾値よりも大きい場合、STEP-404に移行する。
 データ処理部70は、STEP-403において、標高値の差がグリッド閾値以下のグリッドgの中で最も番号が小さいラベルを注目グリッドgaに付与し、STEP-405に移行する。
 データ処理部70は、STEP-404において、注目グリッドgaに新たなラベルを付与し、STEP-405に移行する。
 データ処理部70は、STEP-405において、全てのグリッドgに対してラベルの付与が完了したか否かを判定する。
 その結果、データ処理部70は、全てのグリッドgに対してラベルの付与が完了した場合、STEP-406に移行する。
 一方、データ処理部70は、全てのグリッドgに対してラベルの付与が完了していない場合、STEP-401に移行し、注目グリッドgaの右隣または次の行のグリッドgを次の注目グリッドgaとしてSTEP-401を行う。
 データ処理部70は、STEP-406において、注目グリッドgaの代表点prの標高値とその4近傍にある各グリッドgの代表点prの標高値との差を算出し、STEP-407に移行する。
 データ処理部70は、STEP-407において、注目グリッドgaの4近傍のグリッドgに、標高値の差がグリッド閾値以下で、かつ、注目グリッドgaと異なるラベルが付与されているか否かを判定する。
 その結果、データ処理部70は、注目グリッドgaの4近傍のグリッドgに、標高値の差がグリッド閾値以下で、かつ、注目グリッドgaと異なるラベルが付与されている場合、STEP-408に移行する。
 一方、データ処理部70は、注目グリッドgaの4近傍のグリッドgに、標高値の差がグリッド閾値以下で、かつ、注目グリッドgaと異なるラベルが付与されていない場合、STEP-409に移行する。
 データ処理部70は、STEP-408において、標高値の差がグリッド閾値以下で、かつ、注目グリッドgaと異なるラベルが付与されているグリッドgのラベルを注目グリッドgaのラベルで上書きし、STEP-409に移行する。
 データ処理部70は、STEP-409において、全てのグリッドgに対してSTEP-406、407の処理が完了したか否かを判定する。
 その結果、データ処理部70は、全てのグリッドgに対してSTEP-406、407の処理が完了した場合、STEP-410に移行する。
 一方、データ処理部70は、全てのグリッドgに対してSTEP-406、407の処理が完了していない場合、STEP-406に移行し、注目グリッドgaの右隣または次の行のグリッドgを次の注目グリッドgaとしてSTEP-406を行う。
 データ処理部70は、STEP-410において、グリッドgにラベルが付与された三次元地図を出力して、ラベリング処理C処理を終了し、STEP-106に移行する。
 図17に示すように、データ処理部70は、STEP-501において、地物領域推定処理Dを開始し、推定を行う連続領域が非隣接連続領域Jaか否かを判定する。
 その結果、データ処理部70は、推定を行う連続領域が非隣接連続領域Jaである場合、STEP-502に移行する。
 一方、データ処理部70は、推定を行う連続領域が非隣接連続領域Jaでない場合、STEP-506に移行する。
 データ処理部70は、STEP-502において、非隣接連続領域Jaの平均標高値と所定の範囲Naの平均標高値とを算出し、STEP-503に移行する。
 データ処理部70は、STEP-503において、非隣接連続領域Jaの平均標高値と所定の範囲Naの平均標高値との差が領域閾値以下か否かを判定する。
 その結果、データ処理部70は、非隣接連続領域Jaの平均標高値と所定の範囲Naの平均標高値との差が領域閾値以下である場合、STEP-504に移行する。
 一方、データ処理部70は、非隣接連続領域Jaの平均標高値と所定の範囲Naの平均標高値との差が領域閾値よりも大きい場合、STEP-505に移行する。
 データ処理部70は、STEP-504において、推定を行う非隣接連続領域Jaを地表面Fと推定し、STEP-510に移行する。
 データ処理部70は、STEP-505において、推定を行う非隣接連続領域Jaを地物Eと推定し、STEP-510に移行する。
 データ処理部70は、STEP-506において、隣接連続領域Jbの平均標高値と所定の範囲Nbの平均標高値とを算出し、STEP-507に移行する。
 データ処理部70は、STEP-507において、隣接連続領域Jbの平均標高値と所定の範囲Nbの平均標高値との差が領域閾値以下か否かを判定する。
 その結果、データ処理部70は、隣接連続領域Jbの平均標高値と所定の範囲Nbの平均標高値との差が領域閾値以下である場合、STEP-508に移行する。
 一方、データ処理部70は、隣接連続領域Jbの平均標高値と所定の範囲Nbの平均標高値との差が領域閾値よりも大きい場合、STEP-509に移行する。
 データ処理部70は、STEP-508において、推定を行う隣接連続領域Jbを地表面Fと推定し、STEP-510に移行する。
 データ処理部70は、STEP-509において、推定を行う隣接連続領域Jbを地物Eと推定し、STEP-510に移行する。
 データ処理部70は、STEP-510において、地表面Fと荷物W以外の全て連続領域で地表面Fまたは地物Eの推定が完了したか否かを判定する。
 その結果、データ処理部70は、地表面Fと荷物W以外の全て連続領域で地表面Fまたは地物Eの推定が完了した場合、STEP-511に移行する。
 一方、データ処理部70は、地表面Fと荷物W以外の全て連続領域で地表面Fまたは地物Eの推定が完了していない場合、STEP-501に移行し、地表面Fまたは地物Eの推定が行われていない連続領域に対してSTEP-501を行う。
 データ処理部70は、STEP-511において、荷物W、地表面F、地物E毎に、グリッドgの代表点prの集合を出力し、地物領域推定処理Dを終了し、STEP-108に移行する。
 以下に、非隣接連続領域Jaの所定の範囲内における、連続領域の数に応じて計測領域KAを複数のグリッドgに分割する際のグリッドgの幅を変更する地表面推定方法について説明する。
 図18に示すように、データ処理部70は、非隣接連続領域Jaの所定の範囲Ncにおける、連続領域の数に応じて計測領域KAを複数のグリッドgに分割する際のグリッドgの幅を変更する。具体的には、まず、データ処理部70は、非隣接連続領域Jaのグリッドg上で所定の範囲Ncを移動させていく。所定の範囲Ncは、地物Eの状況に応じて設定されており、例えば、縦横が2グリッドの長さの正方形の範囲としている。次に、データ処理部70は、所定の範囲Ncの連続領域の数に応じてグリッドgの幅を変更して、再びラベリング処理Cを行う。グリッドgの幅の変化率は、任意に設定されている。
 このように、データ処理部70は、非隣接連続領域Jaの所定の範囲Ncにおける、連続領域の数に応じてグリッドgの幅を変更する。これは、非隣接連続領域Jaの所定の範囲Ncにおける、連続領域の数が多くなるに応じて地物E等の領域が密集し、より詳細に非隣接連続領域Jaを認識する必要がある可能性があるためである。
 例えば、データ処理部70が非隣接連続領域Jaのグリッドg上で所定の範囲Ncを移動させていくと、所定の範囲Ncに3番から5番のラベルの連続領域があるとする。データ処理部70は、所定の範囲Ncに連続領域が3つある場合、グリッドgの幅を半分に減少させる設定がされているものとする。データ処理部70は、所定の範囲Ncに3つの連続領域があるため、グリッドgの幅を半分に減少させて、再びラベリング処理Cを行っている。図18Bに示すように、データ処理部70は、グリッドgの幅を減少させることによって、3番のラベルと4番のラベルとの連続領域をより詳細に認識している。尚、データ処理部70は、グリッドgの幅を小さくしても連続領域の形状が変わらなかった場合、小さくする前のグリッドgの幅に戻してもよい。
 以下に、計測領域表示システム50の制御態様について具体的に説明する。
 図19に示すように、データ処理部70は、STEP-208において、非隣接連続領域Jaの所定の範囲Ncにおける、連続領域の数に応じてグリッドgの幅を変更し、STEP-202に移行する。
 このような地表面推定方法は、複数の非隣接連続領域Jaが密集する場合、計測領域KAを複数のグリッドgに分割する際のグリッドgの幅を小さくすることによって、密集した非隣接連続領域Jaがより詳細に認識される。これにより、他の領域によって分断されている領域について地表面Fの推定を行える。
 以下に、非隣接連続領域Jaと、地表面Fと推定された連続領域と、の間の距離(以下、領域間距離Laという)が所定の距離以上であれば、非隣接連続領域Jaを地表面Fと推定しない地表面推定方法について説明する。
 図20に示すように、データ処理部70は、領域間距離Laが所定の距離Lb以上であれば、非隣接連続領域Jaを地表面Fと推定しない。具体的には、まず、データ処理部70は、領域間距離Laを算出する。次に、データ処理部70は、領域間距離Laが所定の距離Lb以上の場合、非隣接連続領域Jaを地表面Fまたは地物Eと推定せず、領域間距離Laが所定の距離Lbよりも小さい場合、非隣接連続領域Jaを地表面Fまたは地物Eと推定する。所定の距離Lbは、地表面Fの状況に応じて設定されており、例えば、2グリッドの距離としている。領域間距離Laは、非隣接連続領域Jaと、地表面Fと推定された連続領域と、の間の最短距離とするが、任意の地点間の距離でもよい。そして、データ処理部70は、地表面Fまたは地物Eと推定しない非隣接連続領域Jaをガイド情報として表示する場合、地表面Fまたは地物Eと推定されていないことをオペレータが認識できるようにデータ表示部80に表示する。
 このように、データ処理部70は、領域間距離Laが所定の距離Lb以上であれば、非隣接連続領域Jaを地表面Fと推定しない。これは、領域間距離Laが長くなるに応じて非隣接連続領域Jaを地表面Fまたは地物Eと推定する判定の不確実性が高くなるためである。具体的に説明すると、データ処理部70は、地表面Fの領域を分断している領域(例えば地物Eの領域)に存在する地表面Fの標高値の変動幅が領域閾値の範囲内になることを前提として、非隣接連続領域Jaを地表面Fまたは地物Eと推定する判定を行っている。しかし、地表面Fの領域を分断している領域には、地表面Fの傾斜や凹凸がある可能性がある。このため、領域間距離Laが長くなるに応じて地表面Fの領域を分断している領域にある地表面Fの標高値の変動幅が領域閾値の範囲内となることの不確実性が高くなる。つまり、データ処理部70は、領域間距離Laが長くなるに応じて非隣接連続領域Jaを地表面Fまたは地物Eと推定する判定の不確実性も高くなるため、領域間距離Laが所定の距離以上の場合、非隣接連続領域Jaを地表面Fまたは地物Eと推定しない。
 例えば、領域間距離Laが3グリッドの距離とする。データ処理部70は、領域間距離Laが所定の距離Lb以上であるため、3番のラベルの連続領域を地表面Fまたは地物Eと推定しない。尚、領域間距離Laが長くなるに応じて領域閾値を大きく設定するようにしてもよい。これは、地表面Fが傾斜して地表面Fと推定された連続領域から非隣接連続領域Jaに続いている場合、領域間距離Laが長くなるに応じて、地表面Fと推定された連続領域と非隣接連続領域Jaとにおける、地表面Fの標高値の差が大きくなるためである。
 以下に、計測領域表示システム50の制御態様について具体的に説明する。
 図21に示すように、データ処理部70は、STEP-512において、領域間距離Laを算出し、STEP-513に移行する。
 データ処理部70は、STEP-513において、領域間距離Laが所定の距離Lb以上か否かを判定する。
 その結果、データ処理部70は、領域間距離Laが所定の距離Lb以上である場合、STEP-510に移行する。
 一方、データ処理部70は、領域間距離Laが所定の距離Lbより小さい場合、STEP-502に移行する。
 このような地表面推定方法は、地表面Fと推定された連続領域からの距離が長くなるに応じて分断している領域にある地表面Fの標高値が閾値の範囲内となることの不確実性が高くなるため、非隣接連続領域Jaと、地表面Fと推定された連続領域と、の間の距離が所定の距離Lb以上の非隣接連続領域Jaを地表面Fと推定しないようにすることで、誤った推定が抑制される。これにより、他の領域によって分断されている領域について地表面Fの推定を行える。
 上述の実施形態は、代表的な形態を示したに過ぎず、一実施形態の骨子を逸脱しない範囲で種々変形して実施することができる。さらに種々なる形態で実施し得ることは勿論のことであり、本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲に記載の均等の意味、および範囲内のすべての変更を含む。
 本発明は、地表面推定方法、計測領域表示システムおよびクレーンに利用可能である。
 1   クレーン
 61  カメラ
 62  レーザスキャナ
 70  データ処理部
 F   地表面
 g   グリッド
 H   平均標高値
 Ja  非隣接連続領域
 KA  計測領域
 p   点データ
 P   点群データ
 pr  代表点

Claims (6)

  1.  レーザスキャナによって、計測領域にレーザを照射して点群データを取得し、前記点群データから照射点の標高値を算出する点群データ取得工程と、
     前記点群データを演算処理するデータ処理手段によって、
     前記計測領域を複数のグリッドに分割し、前記グリッド毎に、当該グリッドの重心位置と当該グリッド内の前記点群データの平均標高値とを算出し、前記グリッド内の点群データの平均標高値における前記重心位置を前記グリッド毎の代表点の位置として設定するグリッド生成処理工程と、
     前記複数のグリッドのうち、一のグリッドの代表点と隣接する他のグリッドの代表点との標高値の差がグリッド間の閾値以下であれば、前記一のグリッドと前記他のグリッドとが連続する領域である連続領域として認識する連続領域認識工程と、
     前記連続領域のうち、最も前記グリッドの数が多い連続領域を地表面と推定する第一地表面推定工程と、
     前記地表面と推定された連続領域に隣接していない連続領域である非隣接連続領域毎に、前記非隣接連続領域におけるグリッドの代表点の平均標高値を算出し、前記地表面と推定された連続領域の所定の範囲におけるグリッドの代表点の平均標高値を算出し、前記非隣接連続領域におけるグリッドの代表点の平均標高値と前記地表面と推定された連続領域の所定の範囲におけるグリッドの代表点の平均標高値との差が領域間の閾値以下である前記非隣接連続領域を地表面と推定する第二地表面推定工程と、
     を備える、ことを特徴とする地表面推定方法。
  2.  前記地表面と推定された連続領域の所定の範囲は、前記非隣接連続領域と、前記地表面と推定された連続領域と、の間にある連続領域に隣接するグリッドから構成される範囲である、ことを特徴とする請求項1に記載の地表面推定方法。
  3.  前記地表面と推定された非隣接連続領域の所定の範囲における、前記連続領域の数に応じて前記計測領域を複数のグリッドに分割する際の前記グリッドの幅を変更する、ことを特徴とする請求項1または請求項2に記載の地表面推定方法。
  4.  前記第二地表面推定工程は、
     前記非隣接連続領域と、前記地表面と推定された連続領域と、の間の距離が所定の距離以上であれば、前記非隣接連続領域を地表面と推定しない、ことを特徴とする請求項1から請求項3のいずれか一項に記載の地表面推定方法。
  5.  計測領域にレーザを照射して点群データを取得するレーザスキャナを備えたデータ取得部と、
     取得した点群データを演算処理するデータ処理部と、
     データ表示部と、を備え、
     前記データ処理部は、
     前記データ取得部から前記点群データを取得し、前記点群データから照射点の標高値を算出し、
     前記計測領域を複数のグリッドに分割し、前記グリッド毎に、当該グリッドの重心位置と当該グリッド内の前記点群データの平均標高値とを算出し、前記グリッド内の点群データの平均標高値における前記重心位置を前記グリッド毎の代表点の位置として設定し、
     前記複数のグリッドのうち、一のグリッドの代表点と隣接する他のグリッドの代表点との標高値の差がグリッド間の閾値以下であれば、前記一のグリッドと前記他のグリッドとが連続する領域である連続領域として認識し、
     前記連続領域のうち、最も前記グリッドの数が多い連続領域を地表面と推定し、
     前記地表面と推定された連続領域に隣接していない連続領域である非隣接連続領域毎に、前記非隣接連続領域におけるグリッドの代表点の平均標高値を算出し、前記地表面と推定された連続領域の所定の範囲におけるグリッドの代表点の平均標高値を算出し、前記非隣接連続領域におけるグリッドの代表点の平均標高値と前記地表面と推定された連続領域の所定の範囲におけるグリッドの代表点の平均標高値との差が領域間の閾値以下である前記非隣接連続領域を地表面と推定し、
     前記地表面と推定された連続領域を他の領域と区別して前記データ表示部に表示する、ことを特徴とする計測領域表示システム。
  6.  旋回台と、
     前記旋回台に設けられるブームと、
     前記ブームに取り付けられ、点群データを取得するレーザスキャナと、
     取得した点群データを演算処理する制御装置と、
     表示装置と、を備えるクレーンにおいて、
     前記旋回台の旋回操作と、前記ブームの伸縮操作と起伏操作と、に伴って前記レーザスキャナを移動させながらレーザを照射させることで、前記レーザスキャナのレーザ照射時の位置毎の点群データを取得し、
     前記制御装置は、
     前記レーザスキャナのレーザ照射時の位置毎の前記点群データを取得し、前記レーザスキャナのレーザ照射時の位置とその姿勢とに基づいてレーザ照射時の位置毎の前記点群データを重ね合わせ、照射点の標高値を算出し、
     前記レーザスキャナの計測領域を複数のグリッドに分割し、前記グリッド毎に、当該グリッドの重心位置と当該グリッド内の前記点群データの平均標高値とを算出し、前記グリッド内の点群データの平均標高値における前記重心位置を前記グリッド毎の代表点の位置として設定し、
     前記複数のグリッドのうち、一のグリッドの代表点と隣接する他のグリッドの代表点との標高値の差がグリッド間の閾値以下であれば、前記一のグリッドと前記他のグリッドとが連続する領域である連続領域として認識し、
     前記連続領域のうち、最も前記グリッドの数が多い連続領域を地表面と推定し、
     前記地表面と推定された連続領域に隣接していない連続領域である非隣接連続領域毎に、前記非隣接連続領域におけるグリッドの代表点の平均標高値を算出し、前記地表面と推定された連続領域の所定の範囲におけるグリッドの代表点の平均標高値を算出し、前記非隣接連続領域におけるグリッドの代表点の平均標高値と前記地表面と推定された連続領域の所定の範囲におけるグリッドの代表点の平均標高値との差が領域間の閾値以下である前記非隣接連続領域を地表面と推定し、
     前記地表面と推定された連続領域を他の領域と区別して前記表示装置に表示する、ことを特徴とするクレーン。
PCT/JP2019/048133 2018-12-10 2019-12-09 地表面推定方法、計測領域表示システムおよびクレーン WO2020122025A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19896114.6A EP3896391A4 (en) 2018-12-10 2019-12-09 GROUND AREA ESTIMATION METHOD, MEASUREMENT AREA DISPLAY SYSTEM AND CRANE
US17/296,847 US12032657B2 (en) 2018-12-10 2019-12-09 Ground surface estimation method, measurement area display system, and crane

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-231050 2018-12-10
JP2018231050A JP7129894B2 (ja) 2018-12-10 2018-12-10 地表面推定方法、計測領域表示システムおよびクレーン

Publications (1)

Publication Number Publication Date
WO2020122025A1 true WO2020122025A1 (ja) 2020-06-18

Family

ID=71076456

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/048133 WO2020122025A1 (ja) 2018-12-10 2019-12-09 地表面推定方法、計測領域表示システムおよびクレーン

Country Status (4)

Country Link
US (1) US12032657B2 (ja)
EP (1) EP3896391A4 (ja)
JP (1) JP7129894B2 (ja)
WO (1) WO2020122025A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113911919A (zh) * 2021-09-14 2022-01-11 杭州大杰智能传动科技有限公司 基于堆叠模型仿真的智能塔吊物料运输控制方法和系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11905146B2 (en) * 2019-06-20 2024-02-20 Tadano Ltd. Movable range display system and crane equipped with movable range display system
JP7460415B2 (ja) * 2020-03-26 2024-04-02 株式会社タダノ ガイド表示システムおよびこれを備えたクレーン
KR102314665B1 (ko) * 2021-02-25 2021-10-27 대한민국(기상청 국립기상과학원장) 감시탑차량

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366977A (ja) * 2001-06-08 2002-12-20 Pasuko:Kk 地物形状作成システム及び3次元地図作成システム
JP2006323608A (ja) * 2005-05-18 2006-11-30 Kozo Keikaku Engineering Inc 立体構造物群モデル作成装置、立体構造物群モデル作成方法及び立体モデル作成システム
JP2011158278A (ja) * 2010-01-29 2011-08-18 Pasuko:Kk レーザデータのフィルタリング方法及び装置
JP2013120176A (ja) 2011-12-09 2013-06-17 Tadano Ltd 吊荷周辺の物体の高さ情報通知システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5188430B2 (ja) * 2009-03-24 2013-04-24 富士重工業株式会社 画像処理装置
US9396545B2 (en) 2010-06-10 2016-07-19 Autodesk, Inc. Segmentation of ground-based laser scanning points from urban environment
SI24029A (sl) * 2012-03-19 2013-09-30 Univerza v Mariboru Fakulteta za elektrotehniko, računalništvo in informatiko Postopek izgubnega stiskanja podatkov iz prebirnikov LIDAR z enakomerno razdelitvijo prostora
US9819964B2 (en) * 2012-05-04 2017-11-14 Environmental Systems Research Institute, Inc. Limited error raster compression
US9177481B2 (en) 2013-12-13 2015-11-03 Sikorsky Aircraft Corporation Semantics based safe landing area detection for an unmanned vehicle
EP3078935A1 (en) 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Method and device for real-time mapping and localization
US10101746B2 (en) * 2016-08-23 2018-10-16 Delphi Technologies, Inc. Automated vehicle road model definition system
CN108021844B (zh) * 2016-10-31 2020-06-02 阿里巴巴(中国)有限公司 一种道路边沿识别方法及装置
CN108171131B (zh) * 2017-12-15 2022-01-14 湖北大学 基于改进MeanShift的Lidar点云数据道路标识线提取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366977A (ja) * 2001-06-08 2002-12-20 Pasuko:Kk 地物形状作成システム及び3次元地図作成システム
JP2006323608A (ja) * 2005-05-18 2006-11-30 Kozo Keikaku Engineering Inc 立体構造物群モデル作成装置、立体構造物群モデル作成方法及び立体モデル作成システム
JP2011158278A (ja) * 2010-01-29 2011-08-18 Pasuko:Kk レーザデータのフィルタリング方法及び装置
JP2013120176A (ja) 2011-12-09 2013-06-17 Tadano Ltd 吊荷周辺の物体の高さ情報通知システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113911919A (zh) * 2021-09-14 2022-01-11 杭州大杰智能传动科技有限公司 基于堆叠模型仿真的智能塔吊物料运输控制方法和系统

Also Published As

Publication number Publication date
US12032657B2 (en) 2024-07-09
JP2020094835A (ja) 2020-06-18
JP7129894B2 (ja) 2022-09-02
US20220017336A1 (en) 2022-01-20
EP3896391A4 (en) 2022-08-17
EP3896391A1 (en) 2021-10-20

Similar Documents

Publication Publication Date Title
WO2020122025A1 (ja) 地表面推定方法、計測領域表示システムおよびクレーン
US11270450B2 (en) Data point group clustering method, guide information display device, and crane
JP6965050B2 (ja) ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法
JP6895835B2 (ja) ガイド情報表示装置およびクレーン
US11560292B2 (en) Measurement target top-surface estimation method, guide information display device, and crane
WO2020122028A1 (ja) 地表面推定方法、計測領域表示システムおよびクレーン
US11414305B2 (en) Measurement target top-surface estimation method, guide information display device, and crane
CN111943050B (zh) 引导信息显示装置、具有该引导信息显示装置的起重机和引导信息显示方法
JP7402728B2 (ja) ガイド表示システムおよびこれを備えたクレーン
WO2020122026A1 (ja) 領域推定方法、計測領域表示システムおよびクレーン
US20230106308A1 (en) Guide display device and crane equipped with same
JP7369654B2 (ja) ガイド表示システムおよびこれを備えたクレーン
JP7343433B2 (ja) ガイド表示システムおよびこれを備えたクレーン
EP3896390B1 (en) Crane with ground surface estimation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19896114

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019896114

Country of ref document: EP

Effective date: 20210712