WO2020122026A1 - 領域推定方法、計測領域表示システムおよびクレーン - Google Patents
領域推定方法、計測領域表示システムおよびクレーン Download PDFInfo
- Publication number
- WO2020122026A1 WO2020122026A1 PCT/JP2019/048135 JP2019048135W WO2020122026A1 WO 2020122026 A1 WO2020122026 A1 WO 2020122026A1 JP 2019048135 W JP2019048135 W JP 2019048135W WO 2020122026 A1 WO2020122026 A1 WO 2020122026A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- grid
- data
- point
- point cloud
- cloud data
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/18—Control systems or devices
- B66C13/22—Control systems or devices for electric drives
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C7/00—Tracing profiles
- G01C7/02—Tracing profiles of land surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Definitions
- the present invention relates to an area estimation method, a measurement area display system, and a crane.
- Patent Document 1 Japanese Patent Document 1 below, for example.
- Patent Document 1 discloses a technology related to a height information notification system that notifies the height of an object around a suspended load (luggage).
- a distance measuring unit such as a laser distance sensor, a microwave distance sensor, and a stereo camera.
- the position of the object around the suspended load is detected and the height is calculated, and the position and height of the object around the suspended load are calculated in the captured image (camera image) captured by the camera (camera image).
- the processed image (guide information) corresponding to the height is created (generated), and the processed image is displayed on the monitor.
- Patent Document 1 has a configuration in which the position of an object in the range where the distance is measured by the distance measuring means and the height of the object are calculated at any time. Therefore, in the related art, as the range in which the distance is measured by the distance measuring means is widened, the amount of calculation required for detecting the position of the object or calculating the height of the object is significantly increased, and the processed image may not be displayed. There is.
- the object of the present invention is to provide an area estimation method, a measurement area display system, and a crane that can display guide information while suppressing an increase in the amount of calculation even if the range for generating guide information expands.
- a laser scanner is used to irradiate a laser on a measurement region to acquire point cloud data, and a point cloud data acquisition step of calculating an elevation value of an irradiation point from the point cloud data, and the point cloud data.
- the measurement area is divided into a plurality of grids by a data processing means for calculating, and the center of gravity of the grid and the average of the point cloud data in the grid are divided for each grid in which no representative point has been set so far.
- the one grid and the other grid are continuously set as a continuous area that is a continuous area.
- a data acquisition unit including a laser scanner that irradiates a measurement region with laser to acquire point cloud data, a data processing unit that performs arithmetic processing on the acquired point cloud data, and a data display unit.
- the data processing unit acquires the point cloud data from the data acquisition unit, calculates the elevation value of the irradiation point from the point cloud data, divides the measurement region into a plurality of grids, and the representative points so far.
- the barycentric position of the grid and the average elevation value of the point group data in the grid calculates the barycentric position at the average elevation value as the position of the representative point for each grid If it is determined that the difference in elevation value between the representative point of one grid and the representative point of another adjacent grid is less than or equal to a threshold value in the plurality of grids that have not been determined so far, Set as a continuous area which is a continuous area of the grid and the other grid, each of the set continuous areas are displayed separately in the data display unit, and the laser irradiation range is moved by the laser scanner.
- the measurement area display system is characterized in that the acquisition of the point cloud data and the display of the set continuous area are performed at predetermined time intervals.
- a swivel base a boom provided on the swivel base, a laser scanner attached to the boom for acquiring point cloud data, a control device for performing arithmetic processing on the acquired point cloud data, and a display device.
- a crane including, by irradiating a laser while moving the laser scanner in accordance with a turning operation of the swivel base, a telescopic operation of the boom, and a hoisting operation, a position of the laser scanner during laser irradiation.
- the control device acquires the point cloud data for each position at the time of laser irradiation of the laser scanner, the laser based on the position and the attitude of the laser scanner at the time of laser irradiation.
- the point cloud data for each position at the time of irradiation is overlaid, the elevation value of the irradiation point is calculated, the measurement area of the laser scanner is divided into a plurality of grids, and for each grid the representative point has not been set so far.
- the information on the transportation start position and the transportation end position of the package is acquired, and the package is loaded every time the elevation value of the irradiation point is calculated within a predetermined range including the transportation start position and the transportation end position of the package.
- the barycentric position of the grid and the average elevation value of the point cloud data in the grid is calculated, and the barycentric position at the average elevation value is calculated.
- the crane is characterized in that, when it is determined that the difference between the values is equal to or less than a threshold, the grid is set as a continuous area where the one grid and the other grid are continuous.
- a deflection of the boom or vibration detection means for the boom is provided, and the deflection of the boom or the fluctuation of the position of the laser scanner due to the vibration of the boom is detected by the detection means.
- a crane characterized in that the point cloud data for each position during laser irradiation is superimposed on the basis of the position during laser irradiation and the posture of the laser scanner in consideration of fluctuations in the detected position of the laser scanner. ..
- the present invention has the following effects.
- the center of gravity position and the average elevation value are calculated, and in the grid in which the determination is not performed, the difference in elevation value between adjacent grids is less than or equal to a threshold value. Since it is determined whether or not the calculation is necessary, the amount of calculation required for this calculation or determination is less than a certain amount. As a result, even if the range in which guide information is generated expands, it is possible to suppress the increase in the amount of calculation and display the guide information.
- the guide information generated based on the latest point cloud data can be displayed for the predetermined range including the transportation start position and the transportation end position of the parcel, and the calculation amount can be increased even if the range for generating the guide information is expanded. Guide information can be displayed while suppressing the increase.
- the point cloud data when the boom bends or vibrates, and the past point cloud data are appropriately superimposed.
- the range in which guide information is generated expands, it is possible to suppress the increase in the amount of calculation and display the guide information.
- FIG. 3A is a schematic diagram viewed from the Y-axis direction
- FIG. 3B is a schematic view viewed from the Z-axis direction.
- the plane schematic diagram explaining a measurement area, an individual measurement area, and a work area.
- the schematic diagram which shows the relationship between an individual measurement area
- 6A is an explanatory diagram of grid generation processing, FIG.
- FIG. 6A is an explanatory diagram of division of point cloud data, grid slice, calculation of average elevation value
- FIG. 6B is an explanatory diagram of representative point setting
- FIG. 7A is an explanatory diagram of the three-dimensional map update processing
- FIG. 7A is an explanatory diagram of representative points of the three-dimensional map output in the previous area estimation and representative points for each set grid
- FIG. 7B is a representative point acquired for each grid.
- Explanatory drawing The figure which shows the display state of the three-dimensional map which represented the elevation value of a grid with the shade.
- 9A is a diagram showing a three-dimensional map for labeling
- FIG. 9B is a diagram for explaining labeling
- FIG. 9C is a diagram for explaining the completion of labeling
- FIG. 9A is a diagram showing a three-dimensional map for labeling
- FIG. 9B is a diagram for explaining labeling
- FIG. 9C is a diagram for explaining the completion of labeling
- FIG. 9D is a diagram before overwriting the label. Explanatory drawing, FIG. 9E is explanatory drawing after label overwriting.
- the figure which shows the display state of guide information FIG. 10A is a figure which shows the data display part which displayed the camera image
- FIG. 10B is the figure which shows the data display part which superimposed and displayed the camera image and guide information.
- the flowchart which shows the flow of the data processing by a data processing part.
- the flowchart which shows a grid generation process.
- FIG. 16A is an explanatory diagram of the three-dimensional map update process
- FIG. 16A is an explanatory diagram of representative points of the three-dimensional map output in the previous region estimation and representative points for each set grid
- FIG. 16B is a representative point acquired for each grid.
- Explanatory drawing. 17A is an explanatory diagram of labeling processing
- FIG. 17A is an explanatory diagram of labeling in a predetermined range of the transport start position
- FIG. 17B is an explanatory diagram of labeling in a predetermined range of the transport end position
- FIG. 17C is a new measurement region.
- the crane 1 equipped with the measurement area display system 50 according to the first embodiment of the present invention will be described below.
- a mobile crane rough terrain crane
- a truck crane or the like may be used.
- the crane 1 is a mobile crane that can move to an unspecified place.
- the crane 1 has a vehicle 2 and a crane device 6.
- the vehicle 2 is a traveling vehicle that carries the crane device 6.
- the vehicle 2 has a plurality of wheels 3 and runs with the engine 4 as a power source.
- the vehicle 2 is provided with an outrigger 5.
- the outrigger 5 is composed of a projecting beam that can be hydraulically extended on both sides in the width direction of the vehicle 2 and a hydraulic jack cylinder that can be extended in a direction perpendicular to the ground.
- the crane device 6 is a work device for lifting the luggage W with a wire rope.
- the crane device 6 includes a swivel base 7, a boom 9, a jib 9a, a main hook block 10, a sub hook block 11, an undulating hydraulic cylinder 12, a main winch 13, a main wire rope 14, a sub winch 15, a sub wire rope 16, a cabin. 17, a control device 18 (see FIG. 2) and the like.
- the swivel base 7 is a drive device that allows the crane device 6 to swivel.
- the swivel base 7 is provided on the frame of the vehicle 2 via an annular bearing.
- the swivel base 7 is configured to be rotatable around the center of an annular bearing as the center of rotation.
- the revolving base 7 is provided with a hydraulic revolving hydraulic motor 8 as an actuator.
- the turning hydraulic motor 8 is an actuator that is rotated by a turning valve 23 (see FIG. 2) that is an electromagnetic proportional switching valve.
- the turning valve 23 can control the flow rate of the hydraulic oil supplied to the turning hydraulic motor 8 to an arbitrary flow rate. That is, the swivel base 7 is configured to be controllable to an arbitrary swivel speed via the swivel hydraulic motor 8 which is rotationally operated by the swivel valve 23.
- the swivel base 7 is provided with a swivel sensor 27 (see FIG. 2) which is a swivel angle detecting means for detecting the swivel position (angle) and swivel speed of the swivel base 7.
- the boom 9 is a movable column that supports the wire rope so that the luggage W can be lifted.
- the boom 9 is composed of a plurality of boom members.
- the boom 9 is configured to be extendable/contractible in the axial direction by moving each boom member by an extension/contraction hydraulic cylinder (not shown) which is an actuator.
- the boom 9 is provided such that the base end of the base boom member is swingable substantially at the center of the swivel base 7.
- a telescopic hydraulic cylinder (not shown) is an actuator that is telescopically operated by a telescopic valve 24 (see FIG. 2) that is an electromagnetic proportional switching valve.
- the expansion/contraction valve 24 can control the flow rate of the hydraulic oil supplied to the expansion/contraction hydraulic cylinder to an arbitrary flow rate. That is, the boom 9 is configured to be controllable to an arbitrary boom length by the telescopic valve 24.
- the boom 9 is provided with an extension/contraction sensor 28 (see FIG. 2) which is extension/contraction length detecting means for detecting the length of the boom 9.
- the main hook block 10 and the sub hook block 11 are suspenders for suspending the luggage W.
- the main hook block 10 is provided with a plurality of hook sheaves around which the main wire rope 14 is wound, and a main hook 10a for hanging the luggage W.
- the sub-hook block 11 is provided with a sub-hook 11a for hanging the luggage W.
- the undulating hydraulic cylinder 12 is expanded and contracted by an undulating valve 25 (see FIG. 2) which is an electromagnetic proportional switching valve.
- the undulation valve 25 can control the flow rate of the hydraulic oil supplied to the undulation hydraulic cylinder 12 to an arbitrary flow rate. That is, the boom 9 is configured to be controllable to an arbitrary hoisting speed by the hoisting valve 25.
- the boom 9 includes a hoisting sensor 29 (see FIG. 2) that is a turning angle detection unit that detects the hoisting angle of the boom 9, a weight sensor that detects the weight of the luggage W, a bending of the boom 9, and a vibration of the boom 9.
- a moment sensor 31 (see FIG. 2), which is a detecting means for detecting, is provided. The moment sensor 31 detects the moment acting on the boom 9 by detecting the pressure in the cylinder of the undulating hydraulic cylinder 12. The bending of the boom 9 and the vibration of the boom 9 are detected based on the moment acting on the boom 9.
- the main winch 13 and the sub winch 15 are winding devices for retracting (winding) and unwinding (winding) the main wire rope 14 and the sub wire rope 16.
- the main winch 13 is rotated by a main hydraulic motor (not shown) whose main drum around which the main wire rope 14 is wound is an actuator
- the sub winch 15 is a sub drum (not shown) around which the sub drum around which the sub wire rope 16 is wound is an actuator. It is configured to be rotated by a hydraulic motor for use.
- the main hydraulic motor is rotated by a main valve 26m (see FIG. 2) which is an electromagnetic proportional switching valve.
- the main valve 26m can control the flow rate of the hydraulic oil supplied to the main hydraulic motor to an arbitrary flow rate.
- the main winch 13 is configured to be controllable to an arbitrary feeding and feeding speed by the main valve 26m.
- the sub winch 15 is configured to be controllable to an arbitrary feeding and drawing speed by a sub valve 26s (see FIG. 2) which is an electromagnetic proportional switching valve.
- Each of the main winch 13 and the sub winch 15 is provided with a winding sensor 30 (see FIG. 2) that detects the unwinding amount of the main wire rope 14 and the sub wire rope 16.
- Cabin 17 covers the driver's seat.
- an operation tool for operating the vehicle 2 and a turning operation tool 19 for operating the crane device 6, a telescopic operation tool 20, a hoisting operation tool 21, a main drum operation tool 22m, a sub-drum operation tool 22s, etc. are provided (see FIG. 2).
- the turning operation tool 19 can operate the turning hydraulic motor 8.
- the extension/contraction operation tool 20 can operate an extension/contraction hydraulic cylinder.
- the hoisting operation tool 21 can operate the hoisting hydraulic cylinder 12.
- the main drum operation tool 22m can operate the main hydraulic motor.
- the sub-drum operation tool 22s can operate the sub hydraulic motor.
- the crane 1 configured as described above can move the crane device 6 to an arbitrary position by moving the vehicle 2.
- the hoisting operation tool 21 is operated to raise the boom 9 to an arbitrary hoisting angle by the hoisting hydraulic cylinder 12, and the telescopic operation tool 20 is operated to extend the boom 9 to an arbitrary boom length.
- the lifting height and working radius of the crane device 6 can be expanded.
- the crane 1 can transport the load W by lifting the load W with the main drum operation tool 22m or the like and turning the turntable 7 by operating the turning operation tool 19.
- the control device 18 controls the actuator of the crane device 6 via each valve.
- the control device 18 is provided in the cabin 17.
- the control device 18 may have a configuration in which a CPU, a ROM, a RAM, a HDD, and the like are connected by a bus, or may be a configuration including a one-chip LSI or the like.
- the control device 18 stores various programs and data for controlling the operation of each actuator, sensor and the like.
- the control device 18 is connected to the swivel operation tool 19, the telescopic operation tool 20, the up-and-down operation tool 21, the main drum operation tool 22m, and the sub-drum operation tool 22s, and the swivel operation tool 19, the telescopic operation tool 20, the up-and-down operation tool 21, the main operation.
- the operation amount of each of the drum operation tool 22m and the sub-drum operation tool 22s can be acquired.
- the control device 18 is connected to the swing valve 23, the expansion/contraction valve 24, the undulation valve 25, the main valve 26m, and the sub valve 26s, and the rotation valve 23, the expansion/contraction valve 24, the undulation valve 25, and the main valve 26s.
- a control signal can be transmitted to the valve 26m and the sub valve 26s.
- the control device 18 is connected to the turning sensor 27, the extension/contraction sensor 28, the undulation sensor 29, the weight sensor, the moment sensor 31, and the winding sensor 30, and the turning position of the swivel base 7, the boom length, the undulation angle, It is possible to obtain the weight of the luggage W, the moment acting on the boom 9, and the feeding amount of the main wire rope 14 and the sub wire rope 16.
- the control device 18 controls the crane 1 such as the swivel position of the swivel base 7, the boom length, the hoisting angle, the weight of the load W, the moment acting on the boom 9, and the amount of extension of the main wire rope 14 and the sub wire rope 16. Can be transmitted to the measurement area display system 50.
- the XYZ coordinate system as shown in FIG. 1 is defined with reference to the axial direction of the undulating fulcrum of the boom 9 (the same applies in the following description).
- the X-axis direction (also referred to as the depth direction) is a direction that is vertical and horizontal to the axial direction of the undulating fulcrum of the boom 9.
- the Y-axis direction (also referred to as the horizontal direction) is a direction parallel to and horizontal to the axial direction of the undulating fulcrum of the boom 9.
- the Z-axis direction is a vertically downward direction. That is, the XYZ coordinate system is defined as a local coordinate system with the boom 9 as a reference (see FIG. 4).
- the crane 1 includes a measurement area display system 50 as shown in FIG.
- the measurement area display system 50 is an example of the measurement area display system 50 according to the present invention, and the measurement area display system 50 is provided to enable the work by the crane 1 as shown in FIG. 1 to be performed efficiently and safely.
- the display system 50 is a system for displaying information (hereinafter, referred to as guide information) of an area to be measured (hereinafter, referred to as measurement area KA (see FIG. 4)) as an image and presenting it to an operator.
- the measurement region display system 50 includes a data acquisition unit 60, a data processing unit 70, a data display unit 80, and a data input unit 90.
- the data acquisition unit 60 is a part that acquires data necessary for generating guide information in the measurement area KA, and includes a camera 61, a laser scanner 62, an inertial measurement device (IMU) 63, a first GNSS receiver 64a, and a first GNSS receiver 64a. Two GNSS receivers 64b are provided.
- the camera 61, the laser scanner 62, the inertial measurement unit (IMU) 63, and the first GNSS receiver 64a are fixed to the frame body to form an integrated sensor unit 65.
- the sensor unit 65 is attached to the tip portion of the boom 9 of the crane 1, and is arranged in a state in which the situation directly below can be captured from the tip portion of the boom 9 located directly above the luggage W (FIG. 1). reference).
- the term "directly above” the luggage W is a concept including a position vertically above the luggage W and a position within a certain range (for example, a range of the upper surface of the luggage W) with respect to the position. ..
- the sensor unit 65 is attached to the tip end portion of the boom 9 via a gimbal 66 (see FIG. 1), and when the swivel operation of the swivel base 7, the hoisting operation of the boom 9, and the telescopic operation are performed,
- the sensor unit 65 is configured so that the attitude (the attitude toward the Z-axis direction) can be kept substantially constant. Thereby, the camera 61 and the laser scanner 62 can be always directed toward the luggage W. Therefore, the sensor unit 65 can always obtain data from the luggage W and the ground surface F therebelow by the camera 61 and the laser scanner 62. When the feature E exists on the ground surface F below the luggage W, the data of the feature E can be acquired by the camera 61 and the laser scanner 62.
- the camera 61 is a digital video camera for capturing an image of a region below the sensor unit 65 (hereinafter, referred to as an individual measurement region ka (see FIG. 4)), and has a function of outputting the captured camera image to the outside in real time. have. Further, the camera 61 has the number of pixels, the angle of view, the frame rate, and the image transmission rate in consideration of the amount of data required to generate appropriate guide information.
- the laser scanner 62 is a device that irradiates a measurement target with a laser and receives reflected light from the measurement target of the laser to acquire information about the reflection point and acquire point cloud data of the measurement target. Is.
- the laser scanner 62 is attached to the tip portion of the boom 9 via the sensor unit 65.
- the measurement objects of the laser scanner 62 are the baggage W, the feature E, and the ground surface F.
- the laser scanner 62 is connected with a third GNSS receiver 64c for acquiring the measurement time.
- the laser scanner 62 is arranged so that the locus drawn by the laser emitted toward the individual measurement area ka is parallel to the Y-axis direction (see FIG. 3B). Further, in the laser scanner 62, the reference axis for changing the laser irradiation angle is parallel to the X-axis direction.
- the measurement region display system 50 uses the laser scanner 62 to acquire planar three-dimensional point cloud data in real time.
- An inertial measurement device (Internal Measurement Unit, hereinafter referred to as IMU) 63 is a device for acquiring attitude data of the camera 61 and the laser scanner 62 at the time of data acquisition.
- the IMU 63 can measure the posture angle in real time, and has a measurement accuracy that can be used to correct the point cloud data acquired by the laser scanner 62. Further, the IMU 63 is connected with a fourth GNSS receiver 64d for acquiring the measurement time.
- the first GNSS receiver 64a is a device for receiving a distance measurement radio wave from a satellite and calculating latitude, longitude, and altitude values which are coordinates.
- the distance at which the first GNSS receiver 64a and the laser scanner 62 are separated is set, and the coordinates of the laser scanner 62 can be calculated in real time based on the set distance.
- the second GNSS receiver 64b is a device for receiving distance measurement radio waves from a satellite and calculating latitude, longitude, and altitude values which are coordinates.
- the second GNSS receiver 64b is arranged at the turning center position of the turning table 7.
- the second GNSS receiver 64b can calculate the coordinates of the swing center of the swivel base 7 in real time.
- the first GNSS receiver 64a and the second GNSS receiver 64b adopt the RTK-GPS (Real Time Kinematic GPS) positioning method with high measurement accuracy.
- RTK-GPS Real Time Kinematic GPS
- the RTK-GPS positioning method it is possible to improve the measurement accuracy of the position of the laser scanner 62 and the position of the swing center of the swivel base 7.
- the RTK-GPS positioning method is not limited to this, and another positioning method may be adopted.
- the first GNSS receiver 64a is arranged so that the straight line connecting the first GNSS receiver 64a and the second GNSS receiver 64b, the measurement axis of the laser scanner 62, and the measurement axis of the IMU 63 are on the same straight line. To be done. Further, the coordinates of the laser scanner 62 calculated by the first GNSS receiver 64a and the coordinates of the turning center of the swivel base 7 calculated by the second GNSS receiver 64b constitute a GNSS compass with the boom 9 as a base line. The orientation (direction) of the laser scanner 62 can be calculated. The first GNSS receiver 64a and the second GNSS receiver 64b have measurement accuracy that can be used to correct the point cloud data acquired by the laser scanner 62.
- the laser scanner 62 includes a total of 16 laser transmission/reception sensors, and can simultaneously irradiate 16 lasers onto a measurement target to acquire point cloud data of the measurement target. It is a device that can. As shown in FIG. 3A, each of the 16 laser transmission/reception sensors of the laser scanner 62 is arranged so that the irradiation angle is different by 2° in the X-axis direction, and a total of 30° with respect to the measurement object. It is configured to be able to irradiate a laser with a spread. Further, each laser transmission/reception sensor of the laser scanner 62 is configured to be rotatable about the X axis by 360° (omnidirectional). As shown in FIG. 3B, the locus drawn by the laser irradiated toward the individual measurement region ka is parallel to the Y-axis direction, and the laser scanner 62 draws 16 loci at the same time.
- a device capable of measuring the three-dimensional shape of the measurement target is selected from the highest reach height (for example, about 100 m) in consideration of the highest reach height of the boom 9.
- the laser scanner 62 selects a device having a predetermined performance for each specification such as the measurement speed, the number of measurement points, the measurement accuracy, etc., in consideration of the data amount and the data accuracy required to generate appropriate guide information. To be done.
- the laser scanner 62 including a total of 16 laser transmission/reception sensors is used as an example.
- the measurement area display system 50 according to the present invention is a laser transmission/reception sensor that constitutes the laser scanner 62. It is not limited depending on the number of. That is, in the measurement area display system 50 according to the present invention, the laser scanner 62 having the optimum specifications is appropriately selected according to the maximum reach height of the boom 9 (jib 9a) of the crane 1.
- the data acquired by the sensor unit 65 in the individual measurement area ka includes image data obtained by photographing the luggage W, the ground surface F below the luggage W, and the feature E existing on the ground surface F below the luggage W by the camera 61. included.
- the data acquired by the sensor unit 65 in the individual measurement area ka includes point cloud data acquired by scanning the luggage W, the ground surface F, and the feature E with the laser scanner 62.
- the ground surface F here includes a wide range of surfaces serving as a transport source and a transport destination of the luggage W, and includes not only the ground surface but also the floor surface or roof surface of the building roof.
- the data processing unit 70 which is a data processing unit, is a unit for performing arithmetic processing on the data acquired by the data acquisition unit 60 to generate guide information to be presented to the operator.
- a predetermined data processing program is used. It is configured by a general-purpose personal computer installed with.
- the data processing unit 70 is electrically connected to the control device 18 of the crane 1 and is output from the control device 18 to indicate the turning position of the swivel base 7, the boom length, the hoisting angle, the weight of the load W, the main body of the crane W, and Information about the crane 1 such as the amount of extension of the wire rope 14 and the sub wire rope 16 is input.
- the data display unit 80 is a unit for displaying guide information presented to the operator, and is configured by a display device connected to the data processing unit 70.
- the data display unit 80 displays the three-dimensional map of the measurement area KA and the camera image of the individual measurement area ka in real time.
- the measurement area KA is an area for which guide information is generated. As shown in FIG. 4, the measurement area display system 50 measures the luggage W, the ground surface F, and the feature E existing in the individual measurement area ka below the sensor unit 65. The sensor unit 65 moves in response to a turning operation of the swivel base 7, a hoisting operation, and a telescopic operation of the boom 9. Therefore, the individual measurement area ka also moves according to the movement of the sensor unit 65.
- the measurement area KA is an area including the individual measurement areas ka measured from different positions.
- the measurement area KA is an area including a work area SA in which the tip portion of the boom 9 is operable when the measurement area display system 50 measures the entire measurable area.
- the guide information referred to here is good or bad about the length of the boom 9, the turning position, the hoisting angle, the amount of extension of the main wire rope 14 and the sub wire rope 16, and the like when the operator conveys the load W by the crane 1. This is information that assists the operator in making a decision.
- the guide information includes a three-dimensional map of the measurement area KA, camera image information, information on the shape of the luggage W and the feature E, height information of the luggage W, height information of the feature E, and a flow line of the luggage W. Information, etc.
- the data input unit 90 is a unit for inputting setting values and the like to the data processing unit 70, and is configured by an input device such as a touch panel, a mouse, a keyboard device.
- the data display unit 80 and the data input unit 90 are arranged in a position in front of the driver's seat in the cabin 17 where the operator can easily see them.
- the data processing unit 70 is preferably arranged near the sensor unit 65.
- the data processing unit 70 may be arranged in the cabin 17. Good.
- Data transmission between the data acquisition unit 60 and the data processing unit 70 is preferably performed by a wired LAN.
- a wireless LAN may be adopted or power line communication may be adopted.
- the data acquisition unit 60 continuously captures the individual measurement area ka with the camera 61 and acquires a camera image of the individual measurement area ka.
- the data acquisition unit 60 continuously scans the individual measurement area ka with the laser scanner 62, and acquires the point cloud data of the measurement target in the individual measurement area ka.
- the point cloud data acquired by the laser scanner 62 will be referred to as point cloud data P.
- the point cloud data P is a set of point data p, and the point data p represents points located on the ground surface F, the luggage W, and the feature E existing in the individual measurement area ka.
- the data acquisition unit 60 acquires the point cloud data P by the laser scanner 62 and simultaneously receives time information from a plurality of positioning satellites by the third GNSS receiver 64c. Then, the data processing unit 70 gives the point data p information regarding the acquisition time tp of the point data p.
- the data acquisition unit 60 acquires the point cloud data P by the laser scanner 62, and at the same time, acquires the attitude data Q of the laser scanner 62 by the IMU 63 at a predetermined cycle to receive the first GNSS receiver 64a and the second GNSS reception.
- the position data R and the azimuth data K of the laser scanner 62 are acquired by the machine 64b.
- the data processing unit 70 is based on the position of the turning center of the swivel base 7 acquired by the second GNSS receiver 64b, the swivel position of the swivel base 7, the boom length, and the undulation angle output from the control device 18. Then, the position and orientation of the laser scanner 62 may be calculated.
- the attitude data Q includes information about the angle and acceleration of the laser scanner 62 with respect to the X, Y, and Z axes with respect to each axial direction. Note that the acquisition cycle of the attitude data Q by the IMU 63 is shorter than the acquisition cycle of the point cloud data P by the laser scanner 62.
- the posture data Q is a set of individual posture data q measured in each measurement cycle.
- the data acquisition unit 60 acquires the attitude data Q by the IMU 63 and simultaneously receives time information from a plurality of positioning satellites by the fourth GNSS receiver 64d.
- the data processing unit 70 adds the acquisition time tq to the individual attitude data q as information on the acquisition time of the individual attitude data q.
- the position data R includes information on the position of the laser scanner 62 in the XYZ coordinate system.
- the acquisition cycle of the position data R by the first GNSS receiver 64a and the second GNSS receiver 64b is shorter than the acquisition cycle of the point cloud data P by the laser scanner 62.
- the position data R is a set of individual position data r measured in each measurement cycle.
- the data processing unit 70 calculates the individual orientation data k based on the individual position data r.
- the azimuth data K is a set of individual azimuth data k measured in each measurement cycle.
- the first GNSS receiver 64a and the second GNSS receiver 64b acquire position data R and azimuth data K, and at the same time, receive time information from a plurality of positioning satellites.
- the data processing unit 70 gives the acquisition time tr to the position data R and the azimuth data K as information relating to the acquisition time of the position data R and the azimuth data K.
- the area estimation method includes a point cloud data acquisition step, a grid generation processing step, and a continuous area determination step (see FIG. 12).
- the point cloud data acquisition process includes a time correspondence process (STEP-101) and a rigid body conversion process (STEP-102).
- the grid generation process includes a grid generation process A (STEP-103) and a three-dimensional map update process B (STEP-104).
- the continuous area determination process includes a labeling process C (STEP-105).
- the data processing unit 70 performs a series of processes from the time correspondence process (STEP-101) to the three-dimensional map visualization process (STEP-108) as the region estimation process at predetermined time intervals.
- first area estimation a series of processes performed every predetermined time is referred to as “second region estimation”, “third region estimation”, etc. It is assumed that there is a new area to be the measurement area KA when the laser scanner 62 moves due to the turning operation of the swivel base 7, the hoisting operation, and the expansion/contraction operation of the boom 9.
- the data processing unit 70 acquires measurement data. Specifically, the data processing unit 70 cuts out the point cloud data P for one frame from the stream data of the point cloud data P and outputs it.
- the point cloud data P for one frame is a set of point data p acquired while the laser irradiation direction of the laser scanner 62 makes one revolution around the X axis. Further, the data processing unit 70 acquires, as measurement data, the camera image of the camera 61, the attitude data Q of the IMU 63, the position data R and the orientation data K acquired by the first GNSS receiver 64a and the second GNSS receiver 64b. ..
- the data processing unit 70 includes the posture data Q acquired by the IMU 63 and the position data acquired by the first GNSS receiver 64a and the second GNSS receiver 64b for the point data p included in the point cloud data P for one frame.
- the R and the azimuth data K are associated with each other according to time (see time correspondence processing (STEP-101) in FIG. 12).
- the data processing unit 70 searches the individual point data p for the acquisition time tq of the individual posture data q that is closest to the acquisition time tp of the point data p, and acquires the acquisition time tq.
- the individual posture data q in is associated with the point data p.
- the data processing unit 70 searches the position data R and the azimuth data K for each point data p for the acquisition time tr of the position data R and the azimuth data K that is closest to the acquisition time tp of the point data p.
- the individual position data r and the individual orientation data k at the acquisition time tr are associated with the point data p.
- the data processing unit 70 outputs the point data p in which the individual posture data q, the individual position data r, and the individual azimuth data k are associated by time.
- the data processing unit 70 performs the rigid body transformation process on the combination of the point data p, the individual posture data q, the individual position data r, and the individual orientation data k associated by time (the rigid body transformation process (STEP- 102)). Specifically, the data processing unit 70 performs an affine transformation of the point cloud data P based on the individual posture data q, the individual position data r, and the individual orientation data k to convert the point cloud data P into a plane rectangular coordinate system. Convert. As a result, the point cloud data P whose inclination, position, and orientation have been corrected is output.
- the elevation value of the point data p is the value of the Z coordinate of the point data p whose inclination, position, and orientation have been corrected.
- the elevation value of the irradiation point of the laser scanner 62 is calculated as the value of the Z coordinate of the point data p.
- the Z axis is a vertically downward axis, the altitude becomes lower as the value of the Z coordinate increases.
- the data processing unit 70 divides the corrected point group data P into a grid g having a certain size, and sets a representative point pr of the grid g (the grid generation process A ( STEP-103)). Specifically, first, the data processing unit 70 superimposes the corrected point cloud data P. As shown in FIG. 6A, next, the data processing unit 70 divides the superposed point group data P into grids g of a certain size. Then, the data processing unit 70 is an area formed by the grid g in which the point data p is present in a predetermined number or more, and an area where the representative point pr does not exist in the three-dimensional map output in the previous area estimation (Fig.
- the predetermined number is set arbitrarily.
- the region where the representative point pr does not exist in the three-dimensional map output in the previous region estimation is a region formed by the grid g in which the representative point pr has not been set so far.
- all the regions formed by the grid g in which the point data p are present in a predetermined number or more are recognized as the regions newly set as the measurement region KA.
- the overlapped point cloud data P may include point data p obtained by irradiating the side surfaces of the feature E or the ground surface F with a laser, as well as the top surfaces of the feature E or the ground surface F. ..
- the data processing unit 70 horizontally sets the grid g at an arbitrary interval for each grid g of the area newly set as the measurement area KA. Slice in the direction of. Then, the data processing unit 70 has the point data p in the layers L1, L2, L3,...
- An average altitude value H which is the average of the altitude values of the point data p (point group data P) of the layer L1 at the highest altitude position, is calculated. Further, the data processing unit 70 calculates the position of the center of gravity of the grid g for each grid g in the area newly set as the measurement area KA. As shown in FIG. 6B, finally, the data processing unit 70 sets the barycentric position of the grid g at the calculated average elevation value H to the representative point pr of the grid g for each grid g of the region newly set as the measurement region KA. Set as the position of.
- the data processing unit 70 is presumed that the upper surface of the unevenness of the ground surface F is irradiated with the laser and acquired.
- the representative point pr of the point cloud data P can be set.
- the layer for calculating the average elevation value H is not limited to the layer L1 and may be a layer selected based on the number of the point data p, the position of the point data p, and the density of the point data p in each layer. Good.
- the layer having the largest number of point data p may be selected from the respective layers.
- the highest layer may be selected from the layers having an arbitrary number of point data p or more.
- the layer in which the point data p is evenly seen in the Z direction is likely to be the point data p irradiated on the upper surface of the feature E, the layer in which the point data p is evenly seen in the Z direction is high. May be selected.
- the data processing unit 70 updates the three-dimensional map using the set representative points pr for each grid g (three-dimensional map update process B (STEP-104) in FIG. 12).
- the data processing unit 70 updates the three-dimensional map using the representative point pr of the three-dimensional map output in the previous area estimation and the representative point pr of each set grid g.
- the left diagram of FIG. 7A is a diagram showing only the representative points pr1 on the grid g, with the representative points pr1 of the three-dimensional map output in the previous region estimation as the representative points pr1.
- the right diagram of FIG. 7A is a diagram showing only the representative points pr2 on the grid g, with the representative point pr for each set grid g as the representative point pr2.
- the data processing unit 70 acquires a representative point pr1 and a representative point pr2 for each grid g.
- the data processing unit 70 generates a surface having the size of the grid g for every representative point pr and outputs it as a three-dimensional map of the measurement area KA.
- the three-dimensional map M is displayed on the data display unit 80, the color of the surface S is displayed darker as the altitude value of the representative point pr of the grid g increases.
- a surface having the size of the grid g is generated for each representative point pr2 and output as a three-dimensional map of the measurement area KA.
- the data processing unit 70 assigns a label to each continuous region using a three-dimensional map (see the labeling process C (STEP-105) in FIG. 12).
- the continuous area is an area in which the difference between the elevation values of the representative points pr of the adjacent grids g is equal to or less than the threshold value.
- the threshold value is set based on the measurement error of the laser scanner 62 in the Z-axis direction, and is set to 0.1 m, for example. Labels are numbered in order starting from number 1.
- the altitude value of the representative point pr of the grid g is the height from the representative point pr which is the reference, with the altitude value of the representative point pr existing at the lowest altitude position as a reference.
- the data processing unit 70 selects the attention grid ga from the three-dimensional map to which the label is attached.
- the elevation value of the representative point pr of the grid of interest ga is compared with the elevation value of the representative point pr of each grid g in the four neighborhoods (upper left, upper right, upper left, and left) (hereinafter, simply referred to as 4 neighborhoods). ..
- the grid of interest ga is selected from the area newly set as the measurement area KA from the left end to the right with the upper left as the starting point, and from the left end to the right of the next lower row when the right end is reached.
- the data processing unit 70 uses the label given in the area estimation before the previous time for the area given the label in the area estimation before the previous time.
- the data processing unit 70 determines that the difference between the elevation values is The same label as the grid g that is less than or equal to the threshold value is given to the attention grid ga, and the difference between the elevation value of the representative point pr of the attention grid ga and the elevation value of the representative point pr of each grid g in the four neighborhoods is the threshold value. If it is larger than, a new label is given.
- the data processing unit 70 includes a plurality of label types of the grid g in which the difference between the elevation value of the representative point pr of the grid of interest ga and the elevation value of the representative point pr of each grid g in the four neighborhoods is equal to or less than a threshold value.
- the label with the smallest number is given among the labels of the grid g in which the difference in elevation value is less than or equal to the threshold value.
- the data processing unit 70 sets the elevation value of the representative point pr of the attention grid ga and the elevation value of the representative point pr of each grid g in the four neighborhoods thereof. All the differences are calculated as 0.6 m. Since the difference between the elevation value of the representative point pr of the grid of interest ga and the elevation value of the representative point pr of each grid g in the four neighborhoods thereof is larger than the threshold value 0.1 m, the data processing unit 70 labels the sixth label. No. 7 is added to the attention grid ga by adding 1 to the number.
- the data processing unit 70 selects the target grid ga from the grid g again after all the grids g have been labeled.
- the order in which the grid of interest ga is selected is the same as in the case of labeling, from the area that has newly become the measurement area KA, starting from the upper left, moving from the left end to the right, and reaching the right end, the next lower step. Are selected from the left edge of to.
- the data processing unit 70 compares the elevation value of the representative point pr of the grid of interest ga with the elevation value of the representative point pr of each grid g in the four neighborhoods. When the difference in elevation value is less than or equal to the threshold value and the label different from the attention grid ga is given to the grids g near the attention grid ga, the data processing unit 70 determines that the difference in elevation value is less than or equal to the threshold value. , And the label of the grid g to which a label different from the target grid ga is given is overwritten with the label of the target grid ga.
- the data processing unit 70 calculates the difference in elevation value between the representative points pr of the respective grids g on the left and the upper right thereof as 0 m, and The difference in elevation value between the representative points pr of the upper left and upper grids g is calculated as 1.5 m. Furthermore, the grid g to the left of the grid of interest ga is labeled with the label No. 9, which is different from the label of No. 8 with which the grid of interest ga is labeled. Therefore, the grid g to the left of the grid of interest ga is labeled with a difference in elevation value of not more than a threshold value of 0.1 m and different from that of the grid of interest ga. As shown in FIG. 9E, therefore, the data processing unit 70 overwrites the label of the grid g on the left of the grid of interest ga with the label of No. 8.
- the data processing unit 70 outputs a three-dimensional map with a label attached to each continuous area. As described above, the data processing unit 70 sets the grid g to which the same label is given as the continuous area in the grid g that has not been determined so far. The output three-dimensional map is stored as information and can be used in the next area estimation.
- the measurement area display system 50 has been described as a configuration independent of the crane 1, but various sensors 61 to 64d included in the data acquisition unit 60, a display device included in the data display unit 80, and an input included in the data input unit 90.
- the crane 1 may include the device, and the control device 18 may perform the data processing performed by the data processing unit 70.
- the measurement area display system 50 and the crane 1 that implement such an area estimation method calculate the center of gravity position and the average elevation value H in the grid g in which the representative point pr is not set, and make no determination. Since the grid g determines whether or not the difference in elevation value between the adjacent grids g is less than or equal to a threshold value, the amount of calculation required for this calculation and determination is less than a certain amount. As a result, even if the range in which guide information is generated expands, it is possible to suppress the increase in the amount of calculation and display the guide information. Further, by suppressing the increase in the amount of calculation, it is possible to reduce the size and labor of the data processing unit 70.
- the data processing unit 70 estimates the labels indicating the ground surface F, the cargo W, and the other regions from the labeled three-dimensional map (the same region estimation process (STEP-106) in FIG. 12). Specifically, since the data processing unit 70 is considered to have the widest area of the ground surface F, the same label having the largest number of grids g is set as the label assigned to the grid g of the ground surface F. That is, the data processing unit 70 estimates the continuous area having the largest number of grids g among the continuous areas as the ground surface F. The data processing unit 70 can automatically perform such estimation of the ground surface F in real time. As shown in FIG.
- the data processing unit 70 estimates that the continuous area of the 1st label is the ground surface F because the grid g of the 1st label is the most (see the blank portion).
- the data processing unit 70 displays the three-dimensional map M on the data display unit 80, the region of the ground surface F is displayed by distinguishing the color and shading from other regions (see FIG. 11 ).
- the data processing unit 70 acquires the label of the grid point g of the representative point pr having the lowest elevation value among the representative points pr of the grid g in the range of the package W (see FIG. 10B) that is manually input,
- the label is given to the grid g of the package W. This is because if the grid g of the luggage W and the grid g of hooks or wires are included in the grid g, the representative point pr in the grid g of the luggage W is higher than the elevation value of the representative point pr in the grid g of the hooks or wire ropes. This is because the elevation value of is lower.
- the height (length in the Z-axis direction) of the load W is measured and input to the data processing unit 70 because the side surface and the lower part of the load W cannot be measured from the tip of the boom 9.
- the data processing unit 70 uses the set of the representative points pr of the grid g to visualize the size and height of each of the luggage W and the feature E on the camera image (region visualization processing (STEP-107) in FIG. 12). Specifically, first, the data processing unit 70 calculates the position and orientation (azimuth) of the laser scanner 62 at the current time from the measurement data of the first GNSS receiver 64a and the second GNSS receiver 64b. Next, the data processing unit 70 determines a coordinate axis based on the calculated position and orientation of the laser scanner 62, and displays the representative point pr of the baggage W, the feature E, or the like on the camera image together.
- the data processing unit 70 uses the positions of the representative points pr of the baggage W, the feature E, and the like on the camera image I to outline the package W and the feature E included in the camera image I. A line is calculated, and the outline figure formed by the outline is displayed on the camera image I as guide information GD1. Finally, the data processing unit 70 displays the difference value between the altitude value of the package W or the feature E and the altitude value of the ground surface F on the guide information GD1 as guide information GD2 (height information). The drawing color of the guide information GD1 is displayed in a predetermined color whose shade is changed according to the height of the luggage W or the feature E. The number of significant digits of the height of the luggage W and the feature E is the first decimal place.
- the data processing unit 70 uses the three-dimensional map of the measurement area KA labeled for each of the luggage W, the ground surface F, and the feature E to determine the positional relationship in each three-dimensional space.
- the size is visualized (three-dimensional map visualization process (STEP-108) in FIG. 12). Specifically, first, the data processing unit 70 generates a surface S having the representative point pr as the center of gravity, based on the position of the representative point pr for each of the luggage W, the ground surface F, and the feature E and the altitude value. .. At this time, the width of the surface S is the width of the grid g used when the representative point pr is generated. Then, the data processing unit 70 colors the surface S for each of the luggage W, the ground surface F, and the feature E, and visualizes it on the data display unit 80 as the three-dimensional map M in the three-dimensional space.
- the control mode of the measurement area display system 50 will be specifically described below.
- the data processing unit 70 receives the measurement data and shifts to STEP-101.
- the data processing unit 70 performs time correspondence processing in STEP-101, and shifts to STEP-102.
- the data processing unit 70 performs rigid body conversion processing in STEP-102, and shifts to STEP-103.
- the data processing unit 70 starts the grid generation processing A in STEP-103 and shifts to STEP-201 (see FIG. 13). Then, when the grid generation processing A is completed, the process proceeds to STEP-104.
- the data processing unit 70 starts the three-dimensional map update processing B in STEP-104 and shifts to STEP-301 (see FIG. 14). Then, when the three-dimensional map update process B is completed, the process proceeds to STEP-105.
- the data processing unit 70 starts the labeling process C in STEP-105 and shifts to STEP-401 (see FIG. 15). Then, when the labeling process C is completed, the process proceeds to STEP-106.
- the data processing unit 70 performs the same area estimation process in STEP-106, and shifts to STEP-107.
- the data processing unit 70 performs area visualization processing in STEP-107, and shifts to STEP-108.
- the data processing unit 70 performs a three-dimensional map visualization process in STEP-108 and outputs the visualization result.
- the visualization result is the three-dimensional map M, camera image information, or the like.
- the data processing unit 70 starts the grid generation processing A, superimposes the corrected point cloud data P, and shifts to STEP-202.
- the data processing unit 70 divides the superposed point group data P into a grid g of a certain size, and shifts to STEP-203.
- the data processing unit 70 is an area constituted by the grid g in which the point data p is present in a predetermined number or more, and the representative point pr does not exist in the three-dimensional map output in the previous area estimation.
- the area is recognized as an area that has newly become the measurement area KA, and the process proceeds to STEP-204.
- the data processing unit 70 determines the area newly set as the measurement area KA as the area in which the representative point pr is set, and shifts to STEP-205.
- the data processing unit 70 slices the grid g in the horizontal direction at arbitrary intervals to form a plurality of layers L1, L2, L3,... And moves to STEP-206.
- the data processing unit 70 calculates the average elevation value H of the point data p of the layer L1 in which the point data p exists and the elevation is the highest among the respective layers, and in STEP-207. Transition.
- the data processing unit 70 calculates the position of the center of gravity of the grid g in STEP-207, and shifts to STEP-208.
- the data processing unit 70 sets the barycentric position of the grid g at the calculated average elevation value H as the position of the representative point pr of the grid g, and shifts to STEP-209.
- the data processing unit 70 determines whether or not the setting of the representative point pr has been completed for all the grids g of the area newly set as the measurement area KA. As a result, the data processing unit 70 ends the grid generation processing A and proceeds to STEP-104 when the setting of the representative point pr is completed for all grids g in the area newly set as the measurement area KA. On the other hand, if the setting of the representative point pr has not been completed for all grids g in the area newly set as the measurement area KA, the data processing unit 70 proceeds to STEP-205 and sets the representative point pr. Perform STEP-205 on the grid g that has not been covered.
- the data processing unit 70 acquires the representative point pr1 set as the representative point pr1 of the three-dimensional map output in the previous region estimation, and shifts to STEP-302. ..
- the data processing unit 70 generates a surface having the size of the grid g for each of the representative points pr (representative point pr1 and representative point pr2) of the acquired grid g and outputs it as a three-dimensional map of the measurement area KA. Then, the three-dimensional map update process B is ended, and the process proceeds to STEP-105.
- the data processing unit 70 determines the area newly set as the measurement area KA as an area in which the grid of interest ga is selected, and shifts to STEP-402.
- the data processing unit 70 calculates the difference between the elevation value of the representative point pr of the grid of interest ga and the elevation value of the representative point pr of each grid g in the four neighborhoods thereof, and shifts to STEP-403. ..
- the data processing unit 70 determines whether or not any of the calculated differences in altitude value is less than or equal to a threshold value.
- the data processing unit 70 shifts to STEP-405 and assigns the first label to the grid of interest ga.
- the data processing unit 70 proceeds to STEP-404 when any of the calculated differences in altitude value is less than or equal to the threshold value.
- the data processing unit 70 proceeds to STEP-405 when all the differences in the calculated altitude values are larger than the threshold value.
- the data processing unit 70 assigns the label with the smallest number in the grid g having the difference in elevation value equal to or less than the threshold to the grid of interest ga, and shifts to STEP-406.
- the data processing unit 70 gives a new label to the grid of interest ga and shifts to STEP-406.
- the data processing unit 70 determines whether or not labeling has been completed for all grids g in the area newly set as the measurement area KA. As a result, the data processing unit 70 proceeds to STEP-407 when the labeling is completed for all the grids g in the area newly set as the measurement area KA. On the other hand, if the labeling has not been completed for all grids g in the area newly set as the measurement area KA, the data processing unit 70 proceeds to STEP-402 and moves to the right of the grid of interest ga or to the next position. STEP-402 is performed by using the grid g of the row of as the next attention grid ga.
- the data processing unit 70 calculates the difference between the elevation value of the representative point pr of the grid of interest ga and the elevation value of the representative point pr of each grid g in the four neighborhoods thereof, and proceeds to STEP-408. ..
- the data processing unit 70 determines whether or not the difference in elevation value is less than or equal to the threshold and the label different from the grid of interest ga is attached to the grids g near the grid of interest ga. As a result, the data processing unit 70 proceeds to STEP-409 when the difference in elevation value is less than or equal to the threshold and the label different from the target grid ga is given to the grids g near the target grid ga. .. On the other hand, the data processing unit 70 proceeds to STEP-410 when the difference in elevation value is equal to or less than the threshold value and the label different from the grid of interest ga is not given to the grids g near the grid of interest ga.
- the data processing unit 70 overwrites the label of the grid g in which the difference between the altitude values is less than or equal to the threshold value and the label different from the grid of interest ga is assigned with the label of the grid of interest ga, and STEP-410. Move to.
- the data processing unit 70 determines whether or not the processes of STEP-407 and 408 have been completed for all the grids g in the area newly set as the measurement area KA. As a result, the data processing unit 70 proceeds to STEP-411 when the processing of STEP-407 and 408 is completed for all the grids g in the area newly set as the measurement area KA. On the other hand, if the processing of STEP-407 and 408 has not been completed for all grids g in the area newly set as the measurement area KA, the data processing unit 70 proceeds to STEP-407 and sets the grid of interest ga. STEP-407 is performed using the grid g on the right or on the next row as the next grid of interest ga.
- the data processing unit 70 outputs the three-dimensional map in which the grid g is labeled, ends the labeling process C process, and shifts to STEP-106.
- the crane 1 that displays guide information generated based on the latest point cloud data for a predetermined range including the transport start position and transport end position of the package W will be described below.
- the control device 18 acquires a representative point pr based on the latest point cloud data P for a predetermined range Na including the transportation start position Pa and the transportation end position Pb of the package W. Specifically, first, in the grid generation process A (STEP-103), the control device 18 acquires the transport start position Pa and the transport end position Pb of the package W.
- the transport start position Pa of the package W is the position of the package W that is the starting point of the transport in the work area SA, and is set by manual input.
- the transport end position Pb of the package W is the position of the package W at the end of the transport in the work area SA, and is set by manual input.
- the predetermined range Na is set according to the size of the package W, and is, for example, a square range having a length of 5 grids in length and width centering on the transport start position Pa and the transport end position Pb of the package W. ..
- the control device 18 sets a representative point pr of the grid g in the area newly set as the measurement area KA and the predetermined range Na (see the lower diagram of FIG. 16A).
- the control device 18 sets the representative point pr in the new measurement area KA.
- the control device 18 uses the representative point pr1 of the three-dimensional map output in the previous region estimation and the representative point pr2 for each set grid g. Update the 3D map.
- the upper diagram of FIG. 16A is a diagram showing only the representative points pr1 of the three-dimensional map output in the previous region estimation.
- the lower diagram of FIG. 16A is a diagram showing only the representative points pr2 for each set grid g.
- the control device 18 acquires a representative point pr1 and a representative point pr2 for each grid g.
- the control device 18 When there are a plurality of representative points pr in the same grid g (when there are a representative point pr1 and a representative point pr2), the control device 18 deletes the representative point pr1.
- the control device 18 generates a surface having the size of the grid g for every representative point pr after deletion and outputs it as a three-dimensional map of the measurement area KA.
- the control device 18 determines the area newly set as the measurement area KA and the predetermined range Na.
- the grid of interest ga is selected in order from among, and the label is given and the label is overwritten.
- the order in which the grid of interest ga is selected is from the left end to the right starting from the upper left in the region newly set as the measurement region KA and the predetermined range Na, and from the left end to the right one step below when reaching the right end. To be selected.
- the control device 18 selects the grid of interest ga from the new measurement area KA and assigns a label and overwrites the label.
- the control mode of the measurement area display system 50 will be specifically described below.
- control device 18 acquires the transport start position Pa and the transport end position Pb of the package W, and shifts to STEP-201.
- control device 18 recognizes the predetermined range Na including the transportation start position Pa and the transportation end position Pb of the package W, and shifts to STEP212.
- the controller 18 determines whether or not the point cloud data P is within the predetermined range Na. As a result, when there is no point cloud data P in the predetermined range Na, the control device 18 proceeds to STEP-204. On the other hand, if the point group data P is in the predetermined range Na, the control device 18 proceeds to STEP-213.
- control device 18 determines the area newly set as the measurement area KA and the predetermined range Na as the area where the representative point pr is set, and shifts to STEP-205.
- the control device 18 determines whether or not the setting of the representative point pr is completed in all the grids g of the area newly set as the measurement area KA and the predetermined range Na. As a result, when the setting of the representative point pr is completed for all the grids g of the area newly set as the measurement area KA and the predetermined range Na, the control device 18 ends the grid generation processing A, and STEP-104. Move to. On the other hand, if the setting of the representative point pr is not completed for all the grids g of the area newly set as the measurement area KA and the predetermined range Na, the control device 18 proceeds to STEP-205 and sets the representative point pr. STEP-205 is performed on the grid g for which pr is not set.
- the control device 18 determines whether or not there are a plurality of representative points pr in the same grid g. As a result, when there are a plurality of representative points pr in the same grid g, the control device 18 shifts to STEP-304. On the other hand, when the plurality of representative points pr do not exist in the same grid g, the control device 18 proceeds to STEP-302.
- control device 18 deletes the representative point pr1 of the three-dimensional map output in the previous region estimation, and shifts to STEP-302.
- the control device 18 determines whether or not the point cloud data P is in the predetermined range Na. As a result, the control device 18 proceeds to STEP-401 when the point cloud data P does not exist in the predetermined range Na. On the other hand, if the point cloud data P is within the predetermined range Na, the control device 18 proceeds to STEP-413.
- control device 18 determines the area newly set as the measurement area KA and the predetermined range Na as the area where the grid of interest ga is selected, and shifts to STEP-402.
- the control device 18 determines whether or not labeling has been completed for all grids g of the area newly set as the measurement area KA and the predetermined range Na. As a result, the control device 18 proceeds to STEP-407 when the labeling is completed for all the grids g of the region newly set as the measurement region KA and the predetermined range Na. On the other hand, when the labeling is not completed for all the grids g of the area newly set as the measurement area KA and the predetermined range Na, the control device 18 proceeds to STEP-402, and the grid of interest ga STEP-402 is performed using the grid g on the right of or next row as the next grid of interest ga.
- the control device 18 determines whether or not the processes of STEP-407 and 408 have been completed for all grids g of the area newly set as the measurement area KA and the predetermined range Na. As a result, the control device 18 shifts to STEP-411 when the processes of STEP-407 and 408 are completed for all the grids g of the area newly set as the measurement area KA and the predetermined range Na. On the other hand, the control device 18 shifts to STEP-407 when the processing of STEP-407 and 408 has not been completed for all grids g of the area newly set as the measurement area KA and the predetermined area Na. Then, STEP-407 is performed by setting the grid g on the right of the attention grid ga or in the next row as the next attention grid ga.
- Such a crane 1 calculates the center of gravity position and the average elevation value H on the basis of the latest point cloud data P in a grid g of a predetermined range Na including the transportation start position Pa and the transportation end position Pb of the load W, And it is determined whether the difference in elevation value between the adjacent grids g is less than or equal to a threshold value.
- the guide information generated based on the latest point cloud data P can be displayed for the predetermined range Na including the conveyance start position Pa and the conveyance end position Pb of the package W, and the range in which the guide information is generated is expanded.
- the guide information can be displayed while suppressing an increase in the amount of calculation.
- the crane 1 that superimposes the point cloud data P for each position of the laser scanner 62 at the time of laser irradiation will be described below in consideration of the bending of the boom 9 or the position change of the laser scanner 62 due to the vibration of the boom 9. ..
- the control device 18 superimposes the point cloud data P for each position at the time of laser irradiation of the laser scanner 62 in consideration of the change in the position of the laser scanner 62. Specifically, first, the control device 18 acquires the position of the turning center of the swivel base 7 by the second GNSS receiver 64b. Then, the control device 18 acquires the turning position, the boom length, the hoisting angle, and the moment acting on the boom 9 detected by the turning sensor 27, the extension/contraction sensor 28, the hoisting sensor 29, and the moment sensor 31.
- the control device 18 uses the acquired position of the swing center of the swivel base 7, the swivel position, the boom length, the undulation angle, and the moment acting on the boom 9 in consideration of the bending and swinging of the boom 9, and the position data of the laser scanner 62.
- R and azimuth data K are calculated.
- the control device 18 uses the calculated position data R and azimuth data K to perform time correspondence processing (STEP-101), rigid body conversion processing (STEP-102), and grid generation processing A (STEP-103).
- the control device 18 superimposes the point cloud data P in which the inclination, position, and orientation have been corrected in consideration of the variation in the position of the laser scanner 62.
- the present invention can be used for a region estimation method, a measurement region display system, and a crane.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Control And Safety Of Cranes (AREA)
- Image Analysis (AREA)
Abstract
ガイド情報を生成する範囲が広がっても計算量の増加を抑制してガイド情報を表示できる領域推定方法、計測領域表示システムおよびクレーンを提供する。点群データ取得工程と、計測領域(KA)を複数のグリッド(g)に分割し、これまでに代表点(pr)が設定されていないグリッド(g)毎に、当該グリッド(g)の重心位置と当該グリッド(g)内の点群データ(P)の平均標高値(H)とを算出し、平均標高値(H)における重心位置をグリッド(g)毎の代表点(pr)の位置として設定するグリッド生成処理工程と、これまでに判定が行われていない複数のグリッド(g)で一のグリッド(g)の代表点(pr)と隣接する他のグリッド(g)の代表点(pr)との標高値の差が閾値以下であると判定された場合、一のグリッド(g)と他のグリッド(g)とが連続する領域である連続領域として設定する連続領域判定工程と、を備える。
Description
本発明は、領域推定方法、計測領域表示システムおよびクレーンに関する。
従来、モニタに表示されたガイド情報に基づいて、荷物や荷物の周辺の状態を確認し、クレーン作業の効率化を図る技術が知られている。斯かる技術は、例えば、以下の特許文献1に開示されている。
特許文献1には、吊荷(荷物)周辺の物体高さを通知する高さ情報通知システムに係る技術が開示されている。特許文献1記載の吊荷周辺の物体の高さ情報通知システムでは、レーザ距離センサ、マイクロ波距離センサ、ステレオカメラ等の距離計測手段によって、ブームの先端から吊荷周辺までの距離を計測する。そして、距離の計測結果を用いて吊荷周辺の物体の位置を検出するとともに高さを算出し、カメラによって撮像(撮影)された撮像画像(カメラ画像)に吊荷周辺の物体の位置および高さを対応させた処理画像(ガイド情報)を作成(生成)し、その処理画像をモニタに表示する構成としている。
しかしながら、特許文献1に記載された従来技術は、距離計測手段によって距離が計測される範囲における物体の位置の検出や物体の高さの算出を随時行う構成である。そのため、従来技術は、距離計測手段によって距離が計測される範囲を広くするにつれて、物体の位置の検出や物体の高さの算出に必要な計算量が大幅に増加し処理画像を表示できない可能性がある。
本発明の目的は、ガイド情報を生成する範囲が広がっても計算量の増加を抑制してガイド情報を表示できる領域推定方法、計測領域表示システムおよびクレーンの提供を目的とする。
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
即ち、本発明においては、レーザスキャナによって、計測領域にレーザを照射して点群データを取得し、前記点群データから照射点の標高値を算出する点群データ取得工程と、前記点群データを演算処理するデータ処理手段によって、前記計測領域を複数のグリッドに分割し、これまでに代表点が設定されていないグリッド毎に、当該グリッドの重心位置と当該グリッド内の前記点群データの平均標高値とを算出し、前記平均標高値における前記重心位置を前記グリッド毎の代表点の位置として設定するグリッド生成処理工程と、これまでに判定が行われていない複数のグリッドで一のグリッドの代表点と隣接する他のグリッドの代表点との標高値の差が閾値以下であると判定された場合、前記一のグリッドと前記他のグリッドとが連続する領域である連続領域として設定する連続領域判定工程と、を備え、前記レーザスキャナがレーザを照射する範囲を移動させつつ、前記点群データ取得工程と前記グリッド生成処理工程と前記連続領域判定工程とを所定の時間毎に行う、ことを特徴とする領域推定方法である。
本発明においては、計測領域にレーザを照射して点群データを取得するレーザスキャナを備えたデータ取得部と、取得した点群データを演算処理するデータ処理部と、データ表示部と、を備え、前記データ処理部は、前記データ取得部から前記点群データを取得し、前記点群データから照射点の標高値を算出し、前記計測領域を複数のグリッドに分割し、これまでに代表点が設定されていないグリッド毎に、当該グリッドの重心位置と当該グリッド内の前記点群データの平均標高値とを算出し、前記平均標高値における前記重心位置を前記グリッド毎の代表点の位置として設定し、これまでに判定が行われていない複数のグリッドで一のグリッドの代表点と隣接する他のグリッドの代表点との標高値の差が閾値以下であると判定された場合、前記一のグリッドと前記他のグリッドとが連続する領域である連続領域として設定し、前記設定された連続領域をそれぞれ区別して前記データ表示部に表示し、前記レーザスキャナがレーザを照射する範囲を移動させつつ、前記点群データの取得から前記設定された連続領域の表示までを所定の時間毎に行う、ことを特徴とする計測領域表示システムである。
本発明においては、旋回台と、前記旋回台に設けられるブームと、前記ブームに取り付けられ、点群データを取得するレーザスキャナと、取得した点群データを演算処理する制御装置と、表示装置と、を備えるクレーンにおいて、前記旋回台の旋回操作と、前記ブームの伸縮操作と起伏操作と、に伴って前記レーザスキャナを移動させながらレーザを照射させることで、前記レーザスキャナのレーザ照射時の位置毎の点群データを取得し、前記制御装置は、前記レーザスキャナのレーザ照射時の位置毎の前記点群データを取得し、前記レーザスキャナのレーザ照射時の位置とその姿勢とに基づいてレーザ照射時の位置毎の前記点群データを重ね合わせ、照射点の標高値を算出し、前記レーザスキャナの計測領域を複数のグリッドに分割し、これまでに代表点が設定されていないグリッド毎に、当該グリッドの重心位置と当該グリッド内の前記点群データの平均標高値とを算出し、前記平均標高値における前記重心位置を前記グリッド毎の代表点の位置として設定し、これまでに判定が行われていない複数のグリッドで一のグリッドの代表点と隣接する他のグリッドの代表点との標高値の差が閾値以下であると判定された場合、前記一のグリッドと前記他のグリッドとが連続する領域である連続領域として設定し、前記設定された連続領域をそれぞれ区別して前記表示装置に表示し、前記レーザスキャナがレーザを照射する範囲を移動させつつ、前記点群データの取得から前記設定された連続領域の表示までを所定の時間毎に行う、ことを特徴とするクレーンである。
本発明においては、荷物の搬送開始位置および搬送終了位置の情報を取得し、前記荷物の搬送開始位置および搬送終了位置を含む所定の範囲で、照射点の標高値を算出する毎に、前記荷物の搬送開始位置および搬送終了位置を含む所定の範囲におけるグリッド毎に、当該グリッドの重心位置と当該グリッド内の前記点群データの平均標高値とを算出し、前記平均標高値における前記重心位置を前記グリッド毎の代表点の位置として設定し、前記荷物の搬送開始位置および搬送終了位置を含む所定の範囲における複数のグリッドで一のグリッドの代表点と隣接する他のグリッドの代表点との標高値の差が閾値以下であると判定された場合、前記一のグリッドと前記他のグリッドとが連続する領域である連続領域として設定する、ことを特徴とするクレーンである。
本発明においては、前記ブームの撓み、または、前記ブームの振動の検出手段を備え、前記ブームの撓み、または、前記ブームの振動による前記レーザスキャナの位置の変動を前記検出手段によって検出し、前記検出したレーザスキャナの位置の変動を考慮した前記レーザスキャナのレーザ照射時の位置とその姿勢とに基づいてレーザ照射時の位置毎の前記点群データを重ね合わせる、ことを特徴とするクレーンである。
本発明は、以下に示すような効果を奏する。
本発明によれば、代表点が設定されていないグリッドで、重心位置と平均標高値との算出を行い、判定が行われていないグリッドで、隣接するグリッド間の標高値の差が閾値以下か否かの判定を行うため、この算出や判定に必要な計算量が一定以下となる。これにより、ガイド情報を生成する範囲が広がっても計算量の増加を抑制してガイド情報を表示できる。
本発明によれば、荷物の搬送開始位置および搬送終了位置を含む所定の範囲のグリッドで、重心位置と平均標高値との算出、および隣接するグリッド間の標高値の差が閾値以下か否かの判定が最新の点群データに基づいて行われる。これにより、荷物の搬送開始位置および搬送終了位置を含む所定の範囲について、最新の点群データに基づいて生成されたガイド情報を表示できるとともに、ガイド情報を生成する範囲が広がっても計算量の増加を抑制してガイド情報を表示できる。
本発明によれば、ブームの撓みや振動が発生したときの点群データと、過去の点群データと、が適切に重ね合わせられる。これにより、ガイド情報を生成する範囲が広がっても計算量の増加を抑制してガイド情報を表示できる。
以下に、本発明の第一実施形態に係る計測領域表示システム50を備えたクレーン1について説明する。尚、本実施形態においては、クレーン1として移動式クレーン(ラフテレーンクレーン)について説明を行うが、トラッククレーン等でもよい。
図1に示すように、クレーン1は、不特定の場所に移動可能な移動式クレーンである。クレーン1は、車両2、クレーン装置6を有する。
車両2は、クレーン装置6を搬送する走行車両である。車両2は、複数の車輪3を有し、エンジン4を動力源として走行する。車両2には、アウトリガ5が設けられている。アウトリガ5は、車両2の幅方向両側に油圧によって延伸可能な張り出しビームと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダとから構成されている。
クレーン装置6は、荷物Wをワイヤロープによって吊り上げる作業装置である。クレーン装置6は、旋回台7、ブーム9、ジブ9a、メインフックブロック10、サブフックブロック11、起伏用油圧シリンダ12、メインウインチ13、メインワイヤロープ14、サブウインチ15、サブワイヤロープ16、キャビン17、制御装置18(図2参照)等を具備する。
旋回台7は、クレーン装置6を旋回可能に構成する駆動装置である。旋回台7は、円環状の軸受を介して車両2のフレーム上に設けられる。旋回台7は、円環状の軸受の中心を回転中心として回転自在に構成されている。旋回台7には、アクチュエータである油圧式の旋回用油圧モータ8が設けられている。
旋回用油圧モータ8は、電磁比例切換弁である旋回用バルブ23(図2参照)によって回転操作されるアクチュエータである。旋回用バルブ23は、旋回用油圧モータ8に供給される作動油の流量を任意の流量に制御することができる。つまり、旋回台7は、旋回用バルブ23によって回転操作される旋回用油圧モータ8を介して任意の旋回速度に制御可能に構成されている。旋回台7には、旋回台7の旋回位置(角度)と旋回速度とを検出する旋回角度検出手段である旋回用センサ27(図2参照)が設けられている。
ブーム9は、荷物Wを吊り上げ可能な状態にワイヤロープを支持する可動支柱である。ブーム9は、複数のブーム部材から構成されている。ブーム9は、各ブーム部材をアクチュエータである図示しない伸縮用油圧シリンダで移動させることで軸方向に伸縮自在に構成されている。ブーム9は、ベースブーム部材の基端が旋回台7の略中央に揺動可能に設けられている。
図示しない伸縮用油圧シリンダは、電磁比例切換弁である伸縮用バルブ24(図2参照)によって伸縮操作されるアクチュエータである。伸縮用バルブ24は、伸縮用油圧シリンダに供給される作動油の流量を任意の流量に制御することができる。つまり、ブーム9は、伸縮用バルブ24によって任意のブーム長さに制御可能に構成されている。ブーム9には、ブーム9の長さを検出する伸縮長さ検出手段である伸縮用センサ28(図2参照)が設けられている。
メインフックブロック10とサブフックブロック11とは、荷物Wを吊る吊り具である。メインフックブロック10には、メインワイヤロープ14が巻き掛けられる複数のフックシーブと、荷物Wを吊るメインフック10aとが設けられている。サブフックブロック11には、荷物Wを吊るサブフック11aが設けられている。
起伏用油圧シリンダ12は、電磁比例切換弁である起伏用バルブ25(図2参照)によって伸縮操作される。起伏用バルブ25は、起伏用油圧シリンダ12に供給される作動油の流量を任意の流量に制御することができる。つまり、ブーム9は、起伏用バルブ25によって任意の起伏速度に制御可能に構成されている。ブーム9には、ブーム9の起伏角度を検出する旋回角度検出手段である起伏用センサ29(図2参照)、荷物Wの重量を検出する重量センサ、ブーム9の撓みとブーム9の振動とを検出する検出手段であるモーメントセンサ31(図2参照)等が設けられている。モーメントセンサ31は、起伏用油圧シリンダ12のシリンダ内の圧力を検出することでブーム9に作用するモーメントを検出する。ブーム9に作用するモーメントに基づいてブーム9の撓みとブーム9の振動とが検出される。
メインウインチ13とサブウインチ15とは、メインワイヤロープ14とサブワイヤロープ16との繰り入れ(巻き上げ)および繰り出し(巻き下げ)を行う巻回装置である。メインウインチ13は、メインワイヤロープ14が巻きつけられるメインドラムがアクチュエータである図示しないメイン用油圧モータによって回転され、サブウインチ15は、サブワイヤロープ16が巻きつけられるサブドラムがアクチュエータである図示しないサブ用油圧モータによって回転されるように構成されている。
メイン用油圧モータは、電磁比例切換弁であるメイン用バルブ26m(図2参照)によって回転操作される。メイン用バルブ26mは、メイン用油圧モータに供給される作動油の流量を任意の流量に制御することができる。つまり、メインウインチ13は、メイン用バルブ26mによって任意の繰り入れおよび繰り出し速度に制御可能に構成されている。同様に、サブウインチ15は、電磁比例切換弁であるサブ用バルブ26s(図2参照)によって任意の繰り入れおよび繰り出し速度に制御可能に構成されている。メインウインチ13とサブウインチ15とには、メインワイヤロープ14とサブワイヤロープ16との繰り出し量をそれぞれ検出する巻回用センサ30(図2参照)が設けられている。
キャビン17は、運転座席を覆うものである。運転座席には、車両2を走行操作するための操作具やクレーン装置6を操作するための旋回操作具19、伸縮操作具20、起伏操作具21、メインドラム操作具22m、サブドラム操作具22s等が設けられている(図2参照)。旋回操作具19は、旋回用油圧モータ8を操作することができる。伸縮操作具20は、伸縮用油圧シリンダを操作することができる。起伏操作具21は、起伏用油圧シリンダ12を操作することができる。メインドラム操作具22mは、メイン用油圧モータを操作することができる。サブドラム操作具22sは、サブ用油圧モータを操作することができる。
このように構成されるクレーン1は、車両2を走行させることで任意の位置にクレーン装置6を移動させることができる。また、クレーン1は、起伏操作具21の操作によって起伏用油圧シリンダ12でブーム9を任意の起伏角度に起立させて、伸縮操作具20の操作によってブーム9を任意のブーム長さに延伸させたりすることでクレーン装置6の揚程や作業半径を拡大することができる。また、クレーン1は、メインドラム操作具22m等によって荷物Wを吊り上げて、旋回操作具19の操作によって旋回台7を旋回させることで荷物Wを搬送することができる。
図2に示すように、制御装置18は、各バルブを介してクレーン装置6のアクチュエータを制御する。制御装置18は、キャビン17内に設けられている。制御装置18は、実体的には、CPU、ROM、RAM、HDD等がバスで接続される構成であってもよく、あるいはワンチップのLSI等からなる構成であってもよい。制御装置18は、各アクチュエータ、センサ等の動作を制御するために種々のプログラムやデータが格納されている。
制御装置18は、旋回操作具19、伸縮操作具20、起伏操作具21、メインドラム操作具22m、サブドラム操作具22sに接続され、旋回操作具19、伸縮操作具20、起伏操作具21、メインドラム操作具22m、サブドラム操作具22sのそれぞれの操作量を取得することができる。
制御装置18は、旋回用バルブ23、伸縮用バルブ24、起伏用バルブ25、メイン用バルブ26m、サブ用バルブ26sに接続され、旋回用バルブ23、伸縮用バルブ24、起伏用バルブ25、メイン用バルブ26m、サブ用バルブ26sに制御信号を伝達することができる。
制御装置18は、旋回用センサ27、伸縮用センサ28、起伏用センサ29、重量センサ、モーメントセンサ31、巻回用センサ30に接続され、旋回台7の旋回位置、ブーム長さ、起伏角度、荷物Wの重量、ブーム9に作用するモーメント、メインワイヤロープ14とサブワイヤロープ16との繰り出し量を取得することができる。
制御装置18は、旋回台7の旋回位置、ブーム長さ、起伏角度、荷物Wの重量、ブーム9に作用するモーメント、メインワイヤロープ14とサブワイヤロープ16との繰り出し量等のクレーン1に関する情報を計測領域表示システム50に伝達することができる。
尚、本説明では、ブーム9の起伏支点の軸方向を基準として、図1に示すようなXYZ座標系を規定している(以下の説明においても同様)。
X軸方向(奥行方向とも呼ぶ)は、ブーム9の起伏支点の軸方向に対して垂直、かつ、水平な方向である。また、Y軸方向(水平方向とも呼ぶ)は、ブーム9の起伏支点の軸方向に対して平行、かつ、水平な方向である。さらに、Z軸方向は、鉛直下方向である。即ち、XYZ座標系は、ブーム9を基準としたローカル座標系として規定している(図4参照)。
X軸方向(奥行方向とも呼ぶ)は、ブーム9の起伏支点の軸方向に対して垂直、かつ、水平な方向である。また、Y軸方向(水平方向とも呼ぶ)は、ブーム9の起伏支点の軸方向に対して平行、かつ、水平な方向である。さらに、Z軸方向は、鉛直下方向である。即ち、XYZ座標系は、ブーム9を基準としたローカル座標系として規定している(図4参照)。
次に、本発明の一実施形態に係る計測領域表示システム50について、説明する。
クレーン1は、図2に示すような計測領域表示システム50を備えている。
計測領域表示システム50は、本発明に係る計測領域表示システム50の一例であり、図1に示すようなクレーン1による作業を効率よく、かつ、安全に行うことを可能にするために、計測領域表示システム50が計測対象とする領域(以下、計測領域KAという(図4参照))の情報(以下、ガイド情報という)を画像で表示し、オペレータに提示するためのシステムである。
クレーン1は、図2に示すような計測領域表示システム50を備えている。
計測領域表示システム50は、本発明に係る計測領域表示システム50の一例であり、図1に示すようなクレーン1による作業を効率よく、かつ、安全に行うことを可能にするために、計測領域表示システム50が計測対象とする領域(以下、計測領域KAという(図4参照))の情報(以下、ガイド情報という)を画像で表示し、オペレータに提示するためのシステムである。
図2に示すように、計測領域表示システム50は、データ取得部60、データ処理部70、データ表示部80、データ入力部90によって、構成されている。
データ取得部60は、計測領域KAにおけるガイド情報を生成するために必要なデータを取得する部位であり、カメラ61、レーザスキャナ62、慣性計測装置(IMU)63、第一GNSS受信機64a、第二GNSS受信機64bを備えている。カメラ61、レーザスキャナ62、慣性計測装置(IMU)63、第一GNSS受信機64aは、フレーム体に対して固定され、一体に構成されたセンサユニット65となっている。
センサユニット65は、クレーン1のブーム9の先端部分に付設されており、荷物Wの真上に位置するブーム9の先端部分から真下の状況を捉えることができる状態で配置されている(図1参照)。尚、ここでいう荷物Wの「真上」は、荷物Wの鉛直上方の位置と、その位置を基準とした一定範囲(例えば、荷物Wの上面の範囲)の位置と、を含む概念である。
センサユニット65は、ブーム9の先端部分に対してジンバル66(図1参照)を介して付設されており、旋回台7の旋回操作、ブーム9の起伏操作、伸縮操作が行われたときに、センサユニット65の姿勢(Z軸方向に向けた姿勢)を略一定に保持することができるように構成されている。これにより、カメラ61とレーザスキャナ62とを常に荷物Wに向けておくことができる。このため、センサユニット65は、カメラ61とレーザスキャナ62とによって、荷物Wとその下方の地表面Fから、常にデータを取得することができる。また、荷物Wの下方の地表面Fに地物Eが存在する場合には、カメラ61とレーザスキャナ62とによって、地物Eのデータを取得することができる。
カメラ61は、センサユニット65の下方の領域(以下、個別計測領域kaという(図4参照))の画像を撮影するためのデジタルビデオカメラであり、撮影したカメラ画像をリアルタイムで外部に出力する機能を有している。また、カメラ61は、適切なガイド情報の生成に必要なデータ量を考慮した画素数、画角、フレームレート、画像伝送レートを有している。
レーザスキャナ62は、計測対象物にレーザを照射し、そのレーザの計測対象物における反射光を受光することによって、その反射点に係る情報を取得し、計測対象物の点群データを取得する装置である。レーザスキャナ62は、センサユニット65を介してブーム9の先端部分に取り付けられている。レーザスキャナ62の計測対象物は、荷物W、地物E、地表面Fである。また、レーザスキャナ62には、計測時刻を取得するための第三GNSS受信機64cが接続されている。
そして、レーザスキャナ62は、個別計測領域kaに向けて照射されるレーザにより描かれる軌跡がY軸方向に対して平行となるように配置されている(図3B参照)。また、レーザスキャナ62は、レーザの照射角度を変更する基準軸が、X軸方向に対して平行とされている。
計測領域表示システム50は、レーザスキャナ62によって、リアルタイムに平面的な三次元点群データを取得する。
そして、レーザスキャナ62は、個別計測領域kaに向けて照射されるレーザにより描かれる軌跡がY軸方向に対して平行となるように配置されている(図3B参照)。また、レーザスキャナ62は、レーザの照射角度を変更する基準軸が、X軸方向に対して平行とされている。
計測領域表示システム50は、レーザスキャナ62によって、リアルタイムに平面的な三次元点群データを取得する。
慣性計測装置(Inertial Measurement Unit、以下IMUという)63は、データ取得時におけるカメラ61とレーザスキャナ62との姿勢データを取得するための装置である。IMU63は、リアルタイムで姿勢角を計測することが可能であり、レーザスキャナ62によって取得した点群データの補正に利用可能な計測精度を有している。また、IMU63には、計測時刻を取得するための第四GNSS受信機64dが接続されている。
第一GNSS受信機64aは、衛星から測距電波を受信し、座標である緯度、経度、標高値を算出するための装置である。データ処理部70は、第一GNSS受信機64aとレーザスキャナ62とが離間する距離が設定されており、設定された距離に基づいてリアルタイムでレーザスキャナ62の座標を算出可能である。
第二GNSS受信機64bは、衛星から測距電波を受信し、座標である緯度、経度、標高値を算出するための装置である。第二GNSS受信機64bは、旋回台7の旋回中心位置に配置されている。第二GNSS受信機64bは、リアルタイムで旋回台7の旋回中心の座標を算出可能である。
本実施形態では、第一GNSS受信機64aと第二GNSS受信機64bとには、測定精度の高いRTK-GPS(Real Time Kinematic GPS)測位方式を採用する。RTK-GPS測位方式を採用することにより、レーザスキャナ62の位置と旋回台7の旋回中心の位置の測定精度を高めることができる。尚、RTK-GPS測位方式に限定されず、他の測位方法を採用してもよい。
第一GNSS受信機64aと第二GNSS受信機64bとを結ぶ直線と、レーザスキャナ62の計測軸と、IMU63の計測軸と、が同一直線上にあるように、第一GNSS受信機64aが配置される。また、第一GNSS受信機64aが算出するレーザスキャナ62の座標と、第二GNSS受信機64bが算出する旋回台7の旋回中心の座標と、によって、ブーム9を基線としたGNSSコンパスを構成し、レーザスキャナ62の向き(方位)を算出可能である。第一GNSS受信機64aと第二GNSS受信機64bとは、レーザスキャナ62によって取得した点群データの補正に利用可能な計測精度を有している。
図3に示すように、レーザスキャナ62は、合計16個のレーザ送受信センサを備えており、同時に16本のレーザを計測対象物に照射して、計測対象物の点群データを取得することができる装置である。図3Aに示すように、レーザスキャナ62の16個の各レーザ送受信センサは、X軸方向において2°ずつ照射角度を異ならせて配置されており、計測対象物に対して、全体で30°の拡がりを持ってレーザを照射可能に構成されている。また、レーザスキャナ62の各レーザ送受信センサは、X軸回りに360°(全方位)回転可能に構成されている。図3Bに示すように、個別計測領域kaに向けて照射されるレーザにより描かれる軌跡は、Y軸方向に対して平行であり、レーザスキャナ62では、16本の当該軌跡が同時に描かれる。
尚、レーザスキャナ62は、ブーム9の最高到達高さを考慮して、その最高到達高さ(例えば、約100m)から計測対象物の三次元形状を計測可能な機器が選択される。また、レーザスキャナ62は、適切なガイド情報を生成するために必要なデータ量およびデータ精度を考慮して、計測スピード、計測ポイント数、計測精度等の各仕様について所定の性能を有する機器が選択される。
尚、本実施形態では、合計16個のレーザ送受信センサを備えたレーザスキャナ62を用いる場合を例示しているが、本発明に係る計測領域表示システム50は、レーザスキャナ62を構成するレーザ送受信センサの個数によっては限定されない。即ち、本発明に係る計測領域表示システム50では、クレーン1のブーム9(ジブ9a)の最高到達高さ等に応じて、最適な仕様のレーザスキャナ62が適宜選択される。
センサユニット65によって個別計測領域kaにおいて取得するデータには、荷物W、荷物Wの下方の地表面F、荷物Wの下方の地表面Fに存在する地物Eをカメラ61によって撮影した画像データが含まれる。また、センサユニット65によって個別計測領域kaにおいて取得するデータには、荷物W、地表面F、地物Eをレーザスキャナ62によってスキャンして取得した点群データが含まれる。尚、ここでいう地表面Fには、荷物Wの搬送元および搬送先となる面を広く含み、地上面のみならず、建物屋上の床面や屋根面等も含まれる。
データ処理手段であるデータ処理部70は、データ取得部60で取得したデータを演算処理して、オペレータに提示するガイド情報を生成するための部位であり、本実施形態では、所定のデータ処理プログラムがインストールされた汎用のパーソナルコンピュータによって構成している。
また、データ処理部70は、クレーン1の制御装置18と電気的に接続されており、制御装置18から出力される旋回台7の旋回位置、ブーム長さ、起伏角度、荷物Wの重量、メインワイヤロープ14とサブワイヤロープ16との繰り出し量等のクレーン1に関する情報が入力される。
また、データ処理部70は、クレーン1の制御装置18と電気的に接続されており、制御装置18から出力される旋回台7の旋回位置、ブーム長さ、起伏角度、荷物Wの重量、メインワイヤロープ14とサブワイヤロープ16との繰り出し量等のクレーン1に関する情報が入力される。
データ表示部80は、オペレータに提示するガイド情報を表示するための部位であり、データ処理部70に接続された表示装置により構成される。
データ表示部80は、計測領域KAの三次元地図と個別計測領域kaのカメラ画像とをリアルタイムに表示する。
データ表示部80は、計測領域KAの三次元地図と個別計測領域kaのカメラ画像とをリアルタイムに表示する。
ここで、計測領域KAとガイド情報とについて説明する。
計測領域KAとは、ガイド情報を生成する対象となる領域である。
図4に示すように、計測領域表示システム50は、センサユニット65の下方の個別計測領域kaに存在する荷物W、地表面F、地物Eを計測する。センサユニット65は、旋回台7の旋回操作、起伏操作、ブーム9の伸縮操作に応じて移動する。このため、個別計測領域kaも、センサユニット65の移動に応じて移動する。計測領域KAは、異なる位置から計測された個別計測領域kaを併せた領域である。計測領域KAは、計測領域表示システム50が計測可能な領域の全体を計測した場合、ブーム9の先端部分が稼動可能な領域である作業領域SAを含む領域となる。
図4に示すように、計測領域表示システム50は、センサユニット65の下方の個別計測領域kaに存在する荷物W、地表面F、地物Eを計測する。センサユニット65は、旋回台7の旋回操作、起伏操作、ブーム9の伸縮操作に応じて移動する。このため、個別計測領域kaも、センサユニット65の移動に応じて移動する。計測領域KAは、異なる位置から計測された個別計測領域kaを併せた領域である。計測領域KAは、計測領域表示システム50が計測可能な領域の全体を計測した場合、ブーム9の先端部分が稼動可能な領域である作業領域SAを含む領域となる。
ここでいうガイド情報は、オペレータがクレーン1によって荷物Wを搬送するときに、ブーム9の長さ・旋回位置・起伏角度、メインワイヤロープ14とサブワイヤロープ16との繰り出し量等の良否について、オペレータの判断を補助する情報である。ガイド情報には、計測領域KAの三次元地図、カメラ画像情報、荷物Wと地物Eとの形状に係る情報、荷物Wの高さ情報、地物Eの高さ情報、荷物Wの動線に係る情報等が含まれる。
図2に示すように、データ入力部90は、データ処理部70に対して、設定値等を入力するための部位であり、タッチパネル、マウス、キーボード装置等の入力装置により構成される。
図1に示すように、データ表示部80とデータ入力部90は、キャビン17内の運転座席の前方のオペレータが見やすい位置に配置する。データ処理部70は、センサユニット65の近傍に配置することが好ましい。尚、計測領域表示システム50は、データ処理部70、データ表示部80、データ入力部90をタブレットPCによって一体的に構成した場合には、データ処理部70をキャビン17内に配置する構成としてもよい。
データ取得部60とデータ処理部70間のデータの伝送は、有線LANによることが好ましい。尚、データ取得部60とデータ処理部70間のデータの伝送は、無線LANを採用してもよく、あるいは、電力線通信を採用してもよい。
データ取得部60とデータ処理部70間のデータの伝送は、有線LANによることが好ましい。尚、データ取得部60とデータ処理部70間のデータの伝送は、無線LANを採用してもよく、あるいは、電力線通信を採用してもよい。
ここで、データ取得部60によるデータの取得状況を説明する。
データ取得部60は、カメラ61によって、個別計測領域kaを連続的に撮影し、個別計測領域kaのカメラ画像を取得する。
データ取得部60は、カメラ61によって、個別計測領域kaを連続的に撮影し、個別計測領域kaのカメラ画像を取得する。
図5に示すように、データ取得部60は、レーザスキャナ62によって、個別計測領域kaを連続的にスキャンし、個別計測領域kaにおける計測対象物の点群データを取得する。以下では、レーザスキャナ62によって取得する点群データを、点群データPと呼ぶ。点群データPは、点データpの集合であり、点データpは、個別計測領域kaに存在する地表面F、荷物W、地物Eに位置する点を表している。
データ取得部60は、レーザスキャナ62によって点群データPを取得すると同時に、第三GNSS受信機64cによって複数の測位衛星から時間情報を受信する。そして、データ処理部70は、点データpに対して、該点データpの取得時間tpに係る情報を付与する。
また、データ取得部60は、レーザスキャナ62によって、点群データPを取得すると同時に、IMU63によって所定の周期でレーザスキャナ62の姿勢データQを取得し、第一GNSS受信機64aと第二GNSS受信機64bとによってレーザスキャナ62の位置データRと方位データKとを取得する。尚、データ処理部70は、第二GNSS受信機64bによって取得される旋回台7の旋回中心の位置と、制御装置18から出力される旋回台7の旋回位置、ブーム長さ、起伏角度に基づいて、レーザスキャナ62の位置と向きとを算出してもよい。
姿勢データQには、レーザスキャナ62のX・Y・Z軸の各軸方向に対する角度と加速度に係る情報が含まれる。尚、IMU63による姿勢データQの取得周期は、レーザスキャナ62による点群データPの取得周期よりも短くする。姿勢データQは、計測周期ごとに計測される個別姿勢データqの集合である。
データ取得部60は、IMU63によって姿勢データQを取得すると同時に、第四GNSS受信機64dによって、複数の測位衛星から時間情報を受信する。データ処理部70は、個別姿勢データqに対して、該個別姿勢データqの取得時間に係る情報として取得時間tqを付与する。
位置データRには、レーザスキャナ62のXYZ座標系における位置に係る情報が含まれる。尚、第一GNSS受信機64aと第二GNSS受信機64bとによる位置データRの取得周期は、レーザスキャナ62による点群データPの取得周期よりも短くする。位置データRは、計測周期ごとに計測される個別位置データrの集合である。データ処理部70は、個別位置データrに基づいて個別方位データkを算出する。方位データKは、計測周期ごとに計測される個別方位データkの集合である。
第一GNSS受信機64aと第二GNSS受信機64bとは、位置データRと方位データKとを取得すると同時に、複数の測位衛星から時間情報を受信する。データ処理部70は、位置データRと方位データKとに対して、該位置データRと該方位データKとの取得時間に係る情報として取得時間trを付与する。
次に、データ処理部70によるデータの処理状況を説明する。
本発明の一実施形態に係る領域推定方法は、点群データ取得工程、グリッド生成処理工程、連続領域判定工程を備える(図12参照)。点群データ取得工程は、時刻対応処理(STEP-101)と剛体変換処理(STEP-102)とを備える。グリッド生成処理工程は、グリッド生成処理A(STEP-103)と三次元地図更新処理B(STEP-104)とを備える。連続領域判定工程は、ラベリング処理C(STEP-105)を備える。データ処理部70は、領域を推定する処理として、時刻対応処理(STEP-101)から三次元地図可視化処理(STEP-108)までの一連の処理を所定の時間毎に行う。以下では、所定の時間毎に行われる一連の処理について、一連の処理が行われる1回目を「1回目の領域推定」とする。1回目の領域推定の後、所定の時間毎に行われる一連の処理を「2回目の領域推定」、「3回目の領域推定」、・・・とする。旋回台7の旋回操作、起伏操作、ブーム9の伸縮操作によってレーザスキャナ62が移動して、新たに計測領域KAとなる領域があるものとして説明する。
(点群データ取得工程)
データ処理部70は、計測データを取得する。具体的には、データ処理部70は、点群データPのストリームデータから、1フレーム分の点群データPを切り出して出力する。1フレーム分の点群データPは、レーザスキャナ62によるレーザの照射方向がX軸回りに1周する間に取得する点データpの集合である。また、データ処理部70は、カメラ61のカメラ画像、IMU63の姿勢データQ、第一GNSS受信機64aと第二GNSS受信機64bとによって取得する位置データRおよび方位データKを計測データとして取得する。
データ処理部70は、計測データを取得する。具体的には、データ処理部70は、点群データPのストリームデータから、1フレーム分の点群データPを切り出して出力する。1フレーム分の点群データPは、レーザスキャナ62によるレーザの照射方向がX軸回りに1周する間に取得する点データpの集合である。また、データ処理部70は、カメラ61のカメラ画像、IMU63の姿勢データQ、第一GNSS受信機64aと第二GNSS受信機64bとによって取得する位置データRおよび方位データKを計測データとして取得する。
データ処理部70は、1フレーム分の点群データPに含まれる点データpを、IMU63によって取得した姿勢データQと、第一GNSS受信機64aと第二GNSS受信機64bとによって取得した位置データRおよび方位データKと、時間によって対応付ける(図12の時刻対応処理(STEP-101)参照)。
具体的には、データ処理部70は、姿勢データQについて、個々の点データpにおいて、その点データpの取得時間tpに最も近い個別姿勢データqの取得時間tqを探索し、該取得時間tqにおける個別姿勢データqを、その点データpに対応付ける。また、データ処理部70は、位置データRおよび方位データKについて、個々の点データpにおいて、その点データpの取得時間tpに最も近い位置データRおよび方位データKの取得時間trを探索し、該取得時間trにおける個別位置データrおよび個別方位データkを、その点データpに対応付ける。
具体的には、データ処理部70は、姿勢データQについて、個々の点データpにおいて、その点データpの取得時間tpに最も近い個別姿勢データqの取得時間tqを探索し、該取得時間tqにおける個別姿勢データqを、その点データpに対応付ける。また、データ処理部70は、位置データRおよび方位データKについて、個々の点データpにおいて、その点データpの取得時間tpに最も近い位置データRおよび方位データKの取得時間trを探索し、該取得時間trにおける個別位置データrおよび個別方位データkを、その点データpに対応付ける。
このようにしてデータ処理部70は、個別姿勢データq、個別位置データr、個別方位データkとが時間によって対応付けられた点データpを出力する。
データ処理部70は、時間によって対応付けられた点データp、個別姿勢データq、個別位置データr、個別方位データkの組み合わせに対して剛体変換処理を行う(図12の剛体変換処理(STEP-102)参照)。具体的には、データ処理部70は、個別姿勢データq、個別位置データr、個別方位データkとに基づいて点群データPのアフィン変換を行って、点群データPを平面直角座標系に変換する。これにより、傾き、位置、向きが補正された点群データPが出力される。点データpの標高値は、傾き、位置、向きが補正された点データpのZ座標の値となる。つまり、レーザスキャナ62の照射点の標高値は、点データpのZ座標の値として算出されている。但し、Z軸は、鉛直下方向の軸であるため、Z座標の値が大きくなるに応じて、標高が低い位置となる。
(グリッド生成処理工程)
図6に示すように、データ処理部70は、補正された点群データPを一定の大きさのグリッドgで分割し、グリッドgの代表点prを設定する(図12のグリッド生成処理A(STEP-103))。具体的には、まず、データ処理部70は、補正された点群データPを重ね合わせる。図6Aに示すように、次に、データ処理部70は、重ね合わせた点群データPを一定の大きさのグリッドgで分割する。そして、データ処理部70は、点データpが所定の数以上存在するグリッドgにより構成される領域であるとともに、前回の領域推定で出力された三次元地図において代表点prが存在しない領域(図7A左図参照)を、新たに計測領域KAとなった領域として認識する。所定の数は、任意に設定されている。前回の領域推定で出力された三次元地図において代表点prが存在しない領域は、これまでに代表点prが設定されていないグリッドgで構成される領域である。尚、1回目の領域推定の場合は、点データpが所定の数以上存在するグリッドgにより構成される領域の全てが新たに計測領域KAとなった領域として認識される。
図6に示すように、データ処理部70は、補正された点群データPを一定の大きさのグリッドgで分割し、グリッドgの代表点prを設定する(図12のグリッド生成処理A(STEP-103))。具体的には、まず、データ処理部70は、補正された点群データPを重ね合わせる。図6Aに示すように、次に、データ処理部70は、重ね合わせた点群データPを一定の大きさのグリッドgで分割する。そして、データ処理部70は、点データpが所定の数以上存在するグリッドgにより構成される領域であるとともに、前回の領域推定で出力された三次元地図において代表点prが存在しない領域(図7A左図参照)を、新たに計測領域KAとなった領域として認識する。所定の数は、任意に設定されている。前回の領域推定で出力された三次元地図において代表点prが存在しない領域は、これまでに代表点prが設定されていないグリッドgで構成される領域である。尚、1回目の領域推定の場合は、点データpが所定の数以上存在するグリッドgにより構成される領域の全てが新たに計測領域KAとなった領域として認識される。
重ね合わせた点群データPには、地物Eや地表面Fの上面だけではなく、地物Eや地表面Fの側面にレーザが照射され取得された点データpが含まれる可能性がある。地物Eや地表面Fの上面を対象としてガイド情報を生成するため、まず、データ処理部70は、新たに計測領域KAとなった領域のグリッドg毎に、グリッドgを任意の間隔で水平の方向にスライスする。そして、データ処理部70は、新たに計測領域KAとなった領域のグリッドg毎に、スライスされて形成される層L1・L2・L3・・・のうち、点データpが存在し、かつ、最も標高が高い位置にある層L1の点データp(点群データP)の標高値の平均値である平均標高値Hを算出する。また、データ処理部70は、新たに計測領域KAとなった領域のグリッドg毎に、グリッドgの重心位置を算出する。図6Bに示すように、最後に、データ処理部70は、新たに計測領域KAとなった領域のグリッドg毎に、算出した平均標高値Hにおけるグリッドgの重心位置をグリッドgの代表点prの位置として設定する。これにより、データ処理部70は、地表面Fに凹凸があり、地表面Fの凹凸の側面にレーザが照射された場合でも、地表面Fの凹凸の上面にレーザが照射され取得されたと推定される点群データPの代表点prを設定できる。
尚、平均標高値Hを算出する層は、層L1に限定されず、各層における、点データpの数、点データpの位置、点データpの密度に基づいて選択される層であってもよい。例えば、各層のうち、点データpの数が最も多い層が選択されてもよい。或いは、任意の数以上の点データpが存在する層のうち、最も高い層が選択されてもよい。或いは、Z方向視で均等に点データpが存在する層は、地物Eの上面に照射された点データpである可能性が高いため、Z方向視で均等に点データpが存在する層が選択されてもよい。
図7に示すように、データ処理部70は、設定したグリッドg毎の代表点prを用いて三次元地図を更新する(図12の三次元地図更新処理B(STEP-104))。
データ処理部70は、前回の領域推定で出力された三次元地図の代表点prと設定したグリッドg毎の代表点prとを用いて三次元地図を更新する。図7A左図は、前回の領域推定で出力された三次元地図の代表点prを代表点pr1として、グリッドgに代表点pr1のみを示した図である。図7A右図は、設定したグリッドg毎の代表点prを代表点pr2として、グリッドgに代表点pr2のみを示した図である。図7Bに示すように、具体的には、まず、データ処理部70は、代表点pr1と代表点pr2とをグリッドg毎に取得する。そして、データ処理部70は、全ての代表点pr毎にグリッドgの大きさの面を生成し、計測領域KAの三次元地図として出力する。図8に示すように、三次元地図Mをデータ表示部80に表示した場合、グリッドgの代表点prの標高値が高くなるに応じて面Sの色が濃く表示される。尚、1回目の領域推定の場合は、代表点pr2毎にグリッドgの大きさの面を生成し、計測領域KAの三次元地図として出力する。
(連続領域判定工程)
図9に示すように、データ処理部70は、三次元地図を用いて連続領域毎にラベルを付与する(図12のラベリング処理C(STEP-105)参照)。連続領域とは、隣接するグリッドgの代表点prの標高値の差が閾値以下となる領域である。閾値は、レーザスキャナ62のZ軸方向の計測誤差に基づいて設定されており、例えば、0.1mとしている。ラベルは、1番から順番に番号で付与される。以下では、説明のため、グリッドgの代表点prの標高値は、標高が最も低い位置に存在する代表点prの標高値を基準として、基準とした代表点prからの高さとしている。
図9に示すように、データ処理部70は、三次元地図を用いて連続領域毎にラベルを付与する(図12のラベリング処理C(STEP-105)参照)。連続領域とは、隣接するグリッドgの代表点prの標高値の差が閾値以下となる領域である。閾値は、レーザスキャナ62のZ軸方向の計測誤差に基づいて設定されており、例えば、0.1mとしている。ラベルは、1番から順番に番号で付与される。以下では、説明のため、グリッドgの代表点prの標高値は、標高が最も低い位置に存在する代表点prの標高値を基準として、基準とした代表点prからの高さとしている。
図9A及び図9Bに示すように、次に、データ処理部70は、ラベルを付与する三次元地図から注目グリッドgaを選択する。注目グリッドgaの代表点prの標高値と、その左上、上、右上、左の4近傍(以下、単に4近傍という)にある各グリッドgの代表点prの標高値と、の比較が行われる。注目グリッドgaが選択される順番は、新たに計測領域KAとなった領域の中から、左上を起点に左端から右に、右端に到達すると一つ下の段の左端から右に選択される。データ処理部70は、前回以前の領域推定でラベルが付与されている領域について、前回以前の領域推定で付与されたラベルを用いる。
データ処理部70は、注目グリッドgaの代表点prの標高値とその4近傍にある各グリッドgの代表点prの標高値との差のいずれかが閾値以下の場合は、標高値の差が閾値以下であるグリッドgと同一のラベルを注目グリッドgaに付与し、注目グリッドgaの代表点prの標高値とその4近傍にある各グリッドgの代表点prの標高値との差が全て閾値よりも大きい場合は、新たなラベルを付与する。但し、データ処理部70は、注目グリッドgaの代表点prの標高値とその4近傍にある各グリッドgの代表点prの標高値との差が閾値以下であるグリッドgのラベルの種類が複数の場合は、標高値の差が閾値以下であるグリッドgのラベルのうち、最も番号が小さいラベルを付与する。これらの処理を全てのグリッドgに対して行うことで、注目グリッドgaとその左上、上、右上、左、右、左下、下、右下の8近傍にあるグリッドgとの比較ができる。
例えば、データ処理部70は、図9Bに示す注目グリッドgaが選択されている場合、注目グリッドgaの代表点prの標高値とその4近傍にある各グリッドgの代表点prの標高値との差を、全て0.6mと算出する。データ処理部70は、注目グリッドgaの代表点prの標高値とその4近傍にある各グリッドgの代表点prの標高値との差が全て閾値0.1mよりも大きいため、6番のラベルの番号を1だけ増加させた7番のラベルを注目グリッドgaに付与している。
図9C、図9D、及び図9Eに示すように、データ処理部70は、全てのグリッドgにラベルが付与された後に、グリッドgから注目グリッドgaを再び選択する。注目グリッドgaが選択される順番は、ラベルを付与する際と同様に、新たに計測領域KAとなった領域の中から、左上を起点に左端から右に、右端に到達すると一つ下の段の左端から右に選択される。
データ処理部70は、注目グリッドgaの代表点prの標高値とその4近傍にある各グリッドgの代表点prの標高値とを比較する。データ処理部70は、注目グリッドgaの4近傍のグリッドgに、標高値の差が閾値以下で、かつ、注目グリッドgaと異なるラベルが付与されている場合は、標高値の差が閾値以下で、かつ、注目グリッドgaと異なるラベルが付与されているグリッドgのラベルを注目グリッドgaのラベルで上書きする。
例えば、データ処理部70は、図9Dに示す注目グリッドgaが選択されている場合、その左と右上にある各グリッドgの代表点prとの標高値の差を、それぞれ0mと算出し、その左上と上にある各グリッドgの代表点prとの標高値の差を、それぞれ1.5mと算出する。さらに、注目グリッドgaの左にあるグリッドgは、9番のラベルが付与されており、注目グリッドgaに付与されている8番のラベルと異なる。従って、注目グリッドgaの左にあるグリッドgは、標高値の差が閾値0.1m以下で、かつ、注目グリッドgaと異なるラベルが付与されている。図9Eに示すように、このため、データ処理部70は、注目グリッドgaの左にあるグリッドgのラベルを8番のラベルで上書きしている。
最後に、データ処理部70は、連続領域毎にラベルが付与されている三次元地図を出力する。このように、データ処理部70は、これまでに判定が行われていないグリッドgにおいて、同一のラベルが付与されたグリッドgを連続領域として設定している。尚、出力される三次元地図は、情報として記憶されており、次回の領域推定で用いることができる。
本実施形態において、計測領域表示システム50がクレーン1から独立した構成として説明したが、データ取得部60が備える各種センサ61~64d、データ表示部80が備える表示装置、データ入力部90が備える入力装置をクレーン1が具備し、データ処理部70が行うデータ処理を制御装置18が行う構成であってもよい。
このような領域推定方法を実施する計測領域表示システム50およびクレーン1は、代表点prが設定されていないグリッドgで、重心位置と平均標高値Hとの算出を行い、判定が行われていないグリッドgで、隣接するグリッドg間の標高値の差が閾値以下か否かの判定を行うため、この算出や判定に必要な計算量が一定以下となる。これにより、ガイド情報を生成する範囲が広がっても計算量の増加を抑制してガイド情報を表示できる。また、計算量の増加を抑制することによって、データ処理部70の小型化、省力化が可能となる。
データ処理部70は、ラベルが付与された三次元地図の中から、地表面F、荷物Wとそれら以外の領域を示すラベルを推定する(図12の同一領域推定処理(STEP-106))。具体的には、データ処理部70は、地表面Fの領域が最も広いと考えられるため、グリッドgの数が最も多い同一のラベルを地表面Fのグリッドgに付与されたラベルとする。つまり、データ処理部70は、連続領域のうち、最もグリッドgの数が多い連続領域を地表面Fと推定する。データ処理部70は、このような地表面Fの推定をリアルタイムで自動的に行うことができる。図9Eに示すように、例えば、データ処理部70は、1番のラベルのグリッドgが最も多いため、1番のラベルの連続領域を地表面Fと推定する(白抜き部分参照)。データ処理部70は、三次元地図Mをデータ表示部80に表示した場合、地表面Fの領域を他の領域と色や濃淡を区別して表示する(図11参照)。
また、データ処理部70は、手動で入力された荷物Wの範囲(図10B参照)にあるグリッドgの代表点prの中で最も標高値の低い代表点prのグリッドgのラベルを取得し、荷物Wのグリッドgに付与されたラベルとする。これは、グリッドgの中に荷物Wのグリッドgとフックやワイヤのグリッドgが含まれる場合、フックやワイヤロープのグリッドgにおける代表点prの標高値よりも荷物Wのグリッドgにおける代表点prの標高値の方が低いためである。尚、荷物Wの高さ(Z軸方向の長さ)は、ブーム9の先端部分からでは荷物Wの側面や下部を計測できないため、実測されてデータ処理部70に入力されている。
データ処理部70はグリッドgの代表点prの集合を用いて、荷物W、地物E毎に大きさと高さをカメラ画像上に可視化する(図12の領域可視化処理(STEP-107))。具体的には、まず、データ処理部70は、第一GNSS受信機64aと第二GNSS受信機64bとの計測データから現在時刻のレーザスキャナ62の位置と向き(方位)とを算出する。次に、データ処理部70は、算出したレーザスキャナ62の位置と向きとに基づいて座標軸を決定し、荷物Wや地物E等の代表点prのカメラ画像上における位置を合わせて表示する。
図10に示すように、データ処理部70は、荷物Wや地物E等の代表点prのカメラ画像I上における位置を用いて、荷物Wや地物Eをカメラ画像I上で内包する外形線を算出し、外形線が成す外形図形をガイド情報GD1としてカメラ画像I上に表示する。最後に、データ処理部70は、ガイド情報GD1の上に荷物Wや地物Eの標高値と地表面Fの標高値の差分値をガイド情報GD2(高さの情報)として表示する。尚、ガイド情報GD1の描画色は、荷物Wや地物Eの高さに応じて濃淡を変更した所定の色で表示する。また、荷物Wや地物Eの高さの有効桁数は、小数第一位とする。
図11に示すように、データ処理部70は、荷物W、地表面F、地物E毎にラベルが付与された計測領域KAの三次元地図を用いて、それぞれの三次元空間における位置関係と大きさを可視化する(図12の三次元地図可視化処理(STEP-108))。具体的には、まず、データ処理部70は、荷物W、地表面F、地物E毎の代表点prの位置と標高値とに基づいて、代表点prを重心とする面Sを生成する。このとき、面Sの幅は代表点prの生成時に用いたグリッドgの幅とする。そして、データ処理部70は、荷物W、地表面F、地物E毎に面Sに色付けを行い、三次元空間における三次元地図Mとしてデータ表示部80に可視化する。
以下に、計測領域表示システム50の制御態様について具体的に説明する。
図12に示すように、データ処理部70は、計測データが入力され、STEP-101に移行する。
データ処理部70は、STEP-101において、時刻対応処理を行い、STEP-102に移行する。
データ処理部70は、STEP-102において、剛体変換処理を行い、STEP-103に移行する。
データ処理部70は、STEP-103において、グリッド生成処理Aを開始し、STEP-201に移行する(図13参照)。そして、グリッド生成処理Aが終了するとSTEP-104に移行する。
データ処理部70は、STEP-104において、三次元地図更新処理Bを開始し、STEP-301に移行する(図14参照)。そして、三次元地図更新処理Bが終了するとSTEP-105に移行する。
データ処理部70は、STEP-105において、ラベリング処理Cを開始し、STEP-401に移行する(図15参照)。そして、ラベリング処理Cが終了するとSTEP-106に移行する。
データ処理部70は、STEP-106において、同一領域推定処理を行い、STEP-107に移行する。
データ処理部70は、STEP-107において、領域可視化処理を行い、STEP-108に移行する。
データ処理部70は、STEP-108において、三次元地図可視化処理を行い、可視化結果を出力する。可視化結果とは、三次元地図Mやカメラ画像情報等である。
図13に示すように、データ処理部70は、STEP-201において、グリッド生成処理Aを開始し、補正された点群データPを重ね合わせて、STEP-202に移行する。
データ処理部70は、STEP-202において、重ね合わせた点群データPを一定の大きさのグリッドgで分割し、STEP-203に移行する。
データ処理部70は、STEP-203において、点データpが所定の数以上存在するグリッドgにより構成される領域であるとともに、前回の領域推定で出力された三次元地図において代表点prが存在しない領域を、新たに計測領域KAとなった領域として認識し、STEP-204に移行する。
データ処理部70は、STEP-204において、新たに計測領域KAとなった領域を代表点prが設定される領域と定めて、STEP-205に移行する。
データ処理部70は、STEP-205において、グリッドgを任意の間隔で水平の方向にスライスし、複数の層L1・L2・L3・・・を形成し、STEP-206に移行する。
データ処理部70は、STEP-206において、各層のうち、点データpが存在し、かつ、最も標高が高い位置にある層L1の点データpの平均標高値Hを算出し、STEP-207に移行する。
データ処理部70は、STEP-207において、グリッドgの重心位置を算出し、STEP-208に移行する。
データ処理部70は、STEP-208において、算出した平均標高値Hにおけるグリッドgの重心位置をグリッドgの代表点prの位置として設定し、STEP-209に移行する。
データ処理部70は、STEP-209において、新たに計測領域KAとなった領域の全てのグリッドgで代表点prの設定が完了したか否かを判定する。
その結果、データ処理部70は、新たに計測領域KAとなった領域の全てのグリッドgで代表点prの設定が完了した場合、グリッド生成処理Aを終了し、STEP-104に移行する。
一方、データ処理部70は、新たに計測領域KAとなった領域の全てのグリッドgで代表点prの設定が完了していない場合、STEP-205に移行して、代表点prの設定が行われていないグリッドgに対してSTEP-205を行う。
その結果、データ処理部70は、新たに計測領域KAとなった領域の全てのグリッドgで代表点prの設定が完了した場合、グリッド生成処理Aを終了し、STEP-104に移行する。
一方、データ処理部70は、新たに計測領域KAとなった領域の全てのグリッドgで代表点prの設定が完了していない場合、STEP-205に移行して、代表点prの設定が行われていないグリッドgに対してSTEP-205を行う。
図14に示すように、データ処理部70は、STEP-301において、前回の領域推定で出力された三次元地図の代表点pr1と設定された代表点pr2を取得し、STEP-302に移行する。
データ処理部70は、STEP-302において、取得したグリッドgの代表点pr(代表点pr1と代表点pr2)毎にグリッドgの大きさの面を生成し、計測領域KAの三次元地図として出力して、三次元地図更新処理Bを終了し、STEP-105に移行する。
図15に示すように、データ処理部70は、STEP-401において、新たに計測領域KAとなった領域を注目グリッドgaが選択される領域と定めて、STEP-402に移行する。
データ処理部70は、STEP-402において、注目グリッドgaの代表点prの標高値とその4近傍にある各グリッドgの代表点prの標高値との差を算出し、STEP-403に移行する。
データ処理部70は、STEP-403において、算出した標高値の差のいずれかが閾値以下か否かを判定する。尚、データ処理部70は、4近傍のグリッドgがない(注目グリッドgaが三次元地図の左上にある)場合は、STEP-405に移行して注目グリッドgaに1番のラベルを付与する。
その結果、データ処理部70は、算出した標高値の差のいずれかが閾値以下である場合、STEP-404に移行する。
一方、データ処理部70は、算出した標高値の差が全て閾値よりも大きい場合、STEP-405に移行する。
その結果、データ処理部70は、算出した標高値の差のいずれかが閾値以下である場合、STEP-404に移行する。
一方、データ処理部70は、算出した標高値の差が全て閾値よりも大きい場合、STEP-405に移行する。
データ処理部70は、STEP-404において、標高値の差が閾値以下のグリッドgの中で最も番号が小さいラベルを注目グリッドgaに付与し、STEP-406に移行する。
データ処理部70は、STEP-405において、注目グリッドgaに新たなラベルを付与し、STEP-406に移行する。
データ処理部70は、STEP-406において、新たに計測領域KAとなった領域の全てのグリッドgに対してラベルの付与が完了したか否かを判定する。
その結果、データ処理部70は、新たに計測領域KAとなった領域の全てのグリッドgに対してラベルの付与が完了した場合、STEP-407に移行する。
一方、データ処理部70は、新たに計測領域KAとなった領域の全てのグリッドgに対してラベルの付与が完了していない場合、STEP-402に移行し、注目グリッドgaの右隣または次の行のグリッドgを次の注目グリッドgaとしてSTEP-402を行う。
その結果、データ処理部70は、新たに計測領域KAとなった領域の全てのグリッドgに対してラベルの付与が完了した場合、STEP-407に移行する。
一方、データ処理部70は、新たに計測領域KAとなった領域の全てのグリッドgに対してラベルの付与が完了していない場合、STEP-402に移行し、注目グリッドgaの右隣または次の行のグリッドgを次の注目グリッドgaとしてSTEP-402を行う。
データ処理部70は、STEP-407において、注目グリッドgaの代表点prの標高値とその4近傍にある各グリッドgの代表点prの標高値との差を算出し、STEP-408に移行する。
データ処理部70は、STEP-408において、注目グリッドgaの4近傍のグリッドgに、標高値の差が閾値以下で、かつ、注目グリッドgaと異なるラベルが付与されているか否かを判定する。
その結果、データ処理部70は、注目グリッドgaの4近傍のグリッドgに、標高値の差が閾値以下で、かつ、注目グリッドgaと異なるラベルが付与されている場合、STEP-409に移行する。
一方、データ処理部70は、注目グリッドgaの4近傍のグリッドgに、標高値の差が閾値以下で、かつ、注目グリッドgaと異なるラベルが付与されていない場合、STEP-410に移行する。
その結果、データ処理部70は、注目グリッドgaの4近傍のグリッドgに、標高値の差が閾値以下で、かつ、注目グリッドgaと異なるラベルが付与されている場合、STEP-409に移行する。
一方、データ処理部70は、注目グリッドgaの4近傍のグリッドgに、標高値の差が閾値以下で、かつ、注目グリッドgaと異なるラベルが付与されていない場合、STEP-410に移行する。
データ処理部70は、STEP-409において、標高値の差が閾値以下で、かつ、注目グリッドgaと異なるラベルが付与されているグリッドgのラベルを注目グリッドgaのラベルで上書きし、STEP-410に移行する。
データ処理部70は、STEP-410において、新たに計測領域KAとなった領域の全てのグリッドgに対してSTEP-407、408の処理が完了したか否かを判定する。
その結果、データ処理部70は、新たに計測領域KAとなった領域の全てのグリッドgに対してSTEP-407、408の処理が完了した場合、STEP-411に移行する。
一方、データ処理部70は、新たに計測領域KAとなった領域の全てのグリッドgに対してSTEP-407、408の処理が完了していない場合、STEP-407に移行し、注目グリッドgaの右隣または次の行のグリッドgを次の注目グリッドgaとしてSTEP-407を行う。
その結果、データ処理部70は、新たに計測領域KAとなった領域の全てのグリッドgに対してSTEP-407、408の処理が完了した場合、STEP-411に移行する。
一方、データ処理部70は、新たに計測領域KAとなった領域の全てのグリッドgに対してSTEP-407、408の処理が完了していない場合、STEP-407に移行し、注目グリッドgaの右隣または次の行のグリッドgを次の注目グリッドgaとしてSTEP-407を行う。
データ処理部70は、STEP-411において、グリッドgにラベルが付与された三次元地図を出力して、ラベリング処理C処理を終了し、STEP-106に移行する。
以下に、荷物Wの搬送開始位置および搬送終了位置を含む所定の範囲について、最新の点群データに基づいて生成されたガイド情報を表示するクレーン1について説明する。
図16に示すように、制御装置18は、荷物Wの搬送開始位置Paおよび搬送終了位置Pbを含む所定の範囲Naについて、最新の点群データPに基づく代表点prを取得する。具体的には、まず、制御装置18は、グリッド生成処理A(STEP-103)において、荷物Wの搬送開始位置Paおよび搬送終了位置Pbを取得する。荷物Wの搬送開始位置Paは、作業領域SAにおける搬送の始点となる荷物Wの位置であり、手動の入力によって設定されている。荷物Wの搬送終了位置Pbは、作業領域SAにおける搬送の終点となる荷物Wの位置であり、手動の入力によって設定されている。所定の範囲Naは、荷物Wの大きさに応じて設定されており、例えば、荷物Wの搬送開始位置Paおよび搬送終了位置Pbを中心として、縦横が5グリッドの長さの正方形の範囲としている。制御装置18は、所定の範囲Naに点群データPがある場合、新たに計測領域KAとなった領域と所定の範囲Naとにおけるグリッドgの代表点prを設定する(図16A下図参照)。尚、制御装置18は、所定の範囲Naに点群データPがない場合、新たに計測領域KAとなった領域における代表点prを設定する。
次に、制御装置18は、三次元地図更新処理B(STEP-104)において、前回の領域推定で出力された三次元地図の代表点pr1と設定したグリッドg毎の代表点pr2とを用いて三次元地図を更新する。図16A上図は、前回の領域推定で出力された三次元地図の代表点pr1のみを示した図である。図16A下図は、設定したグリッドg毎の代表点pr2のみを示した図である。図16Bに示すように、制御装置18は、代表点pr1と代表点pr2とをグリッドg毎に取得する。制御装置18は、同一のグリッドg内に代表点prが複数ある場合(代表点pr1と代表点pr2とがある場合)、代表点pr1を削除する。制御装置18は、削除後の全ての代表点pr毎にグリッドgの大きさの面を生成し、計測領域KAの三次元地図として出力する。
図17に示すように、制御装置18は、ラベリング処理C(STEP-105)において、所定の範囲Naに点群データPがある場合、新たに計測領域KAとなった領域と所定の範囲Naとの中から順番に注目グリッドgaを選択し、ラベルの付与およびラベルの上書きを行う。注目グリッドgaが選択される順番は、新たに計測領域KAとなった領域と所定の範囲Naとにおいて、左上を起点に左端から右に、右端に到達すると一つ下の段の左端から右に選択される。尚、制御装置18は、所定の範囲Naに点群データPがない場合、新たに計測領域KAとなった領域から注目グリッドgaを選択し、ラベルの付与およびラベルの上書きを行う。
以下に、計測領域表示システム50の制御態様について具体的に説明する。
図18に示すように、制御装置18は、STEP-210において、荷物Wの搬送開始位置Paおよび搬送終了位置Pbを取得し、STEP-201に移行する。
制御装置18は、STEP-211において、荷物Wの搬送開始位置Paおよび搬送終了位置Pbを含む所定の範囲Naを認識し、STEP-212に移行する。
制御装置18は、STEP-212において、所定の範囲Naに点群データPがあるか否かを判定する。
その結果、制御装置18は、所定の範囲Naに点群データPがない場合、STEP-204に移行する。
一方、制御装置18は、所定の範囲Naに点群データPがある場合、STEP-213に移行する。
その結果、制御装置18は、所定の範囲Naに点群データPがない場合、STEP-204に移行する。
一方、制御装置18は、所定の範囲Naに点群データPがある場合、STEP-213に移行する。
制御装置18は、STEP-213において、新たに計測領域KAとなった領域と所定の範囲Naとを代表点prが設定される領域と定めて、STEP-205に移行する。
制御装置18は、STEP-214において、新たに計測領域KAとなった領域と所定の範囲Naとの全てのグリッドgで代表点prの設定が完了したか否かを判定する。
その結果、制御装置18は、新たに計測領域KAとなった領域と所定の範囲Naとの全てのグリッドgで代表点prの設定が完了した場合、グリッド生成処理Aを終了し、STEP-104に移行する。
一方、制御装置18は、新たに計測領域KAとなった領域と所定の範囲Naとの全てのグリッドgで代表点prの設定が完了していない場合、STEP-205に移行して、代表点prの設定が行われていないグリッドgに対してSTEP-205を行う。
その結果、制御装置18は、新たに計測領域KAとなった領域と所定の範囲Naとの全てのグリッドgで代表点prの設定が完了した場合、グリッド生成処理Aを終了し、STEP-104に移行する。
一方、制御装置18は、新たに計測領域KAとなった領域と所定の範囲Naとの全てのグリッドgで代表点prの設定が完了していない場合、STEP-205に移行して、代表点prの設定が行われていないグリッドgに対してSTEP-205を行う。
図19に示すように、制御装置18は、STEP-303において、同一のグリッドg内に複数の代表点prが存在するか否かを判定する。
その結果、制御装置18は、同一のグリッドg内に複数の代表点prが存在する場合、STEP-304に移行する。
一方、制御装置18は、同一のグリッドg内に複数の代表点prが存在しない場合、STEP-302に移行する。
その結果、制御装置18は、同一のグリッドg内に複数の代表点prが存在する場合、STEP-304に移行する。
一方、制御装置18は、同一のグリッドg内に複数の代表点prが存在しない場合、STEP-302に移行する。
制御装置18は、STEP-304において、前回の領域推定で出力された三次元地図の代表点pr1を削除し、STEP-302に移行する。
図20に示すように、制御装置18は、STEP-412において、所定の範囲Naに点群データPがあるか否かを判定する。
その結果、制御装置18は、所定の範囲Naに点群データPがない場合、STEP-401に移行する。
一方、制御装置18は、所定の範囲Naに点群データPがある場合、STEP-413に移行する。
その結果、制御装置18は、所定の範囲Naに点群データPがない場合、STEP-401に移行する。
一方、制御装置18は、所定の範囲Naに点群データPがある場合、STEP-413に移行する。
制御装置18は、STEP-413において、新たに計測領域KAとなった領域と所定の範囲Naとを注目グリッドgaが選択される領域と定めて、STEP-402に移行する。
制御装置18は、STEP-414において、新たに計測領域KAとなった領域と所定の範囲Naとの全てのグリッドgに対してラベルの付与が完了したか否かを判定する。
その結果、制御装置18は、新たに計測領域KAとなった領域と所定の範囲Naとの全てのグリッドgに対してラベルの付与が完了した場合、STEP-407に移行する。
一方、制御装置18は、新たに計測領域KAとなった領域と所定の範囲Naとの全てのグリッドgに対してラベルの付与が完了していない場合、STEP-402に移行し、注目グリッドgaの右隣または次の行のグリッドgを次の注目グリッドgaとしてSTEP-402を行う。
その結果、制御装置18は、新たに計測領域KAとなった領域と所定の範囲Naとの全てのグリッドgに対してラベルの付与が完了した場合、STEP-407に移行する。
一方、制御装置18は、新たに計測領域KAとなった領域と所定の範囲Naとの全てのグリッドgに対してラベルの付与が完了していない場合、STEP-402に移行し、注目グリッドgaの右隣または次の行のグリッドgを次の注目グリッドgaとしてSTEP-402を行う。
制御装置18は、STEP-415において、新たに計測領域KAとなった領域と所定の範囲Naとの全てのグリッドgに対してSTEP-407、408の処理が完了した否かを判定する。
その結果、制御装置18は、新たに計測領域KAとなった領域と所定の範囲Naとの全てのグリッドgに対してSTEP-407、408の処理が完了した場合、STEP-411に移行する。
一方、制御装置18は、新たに計測領域KAとなった領域と所定の範囲Naとの全てのグリッドgに対してSTEP-407、408の処理が完了していない場合、STEP-407に移行し、注目グリッドgaの右隣または次の行のグリッドgを次の注目グリッドgaとしてSTEP-407を行う。
その結果、制御装置18は、新たに計測領域KAとなった領域と所定の範囲Naとの全てのグリッドgに対してSTEP-407、408の処理が完了した場合、STEP-411に移行する。
一方、制御装置18は、新たに計測領域KAとなった領域と所定の範囲Naとの全てのグリッドgに対してSTEP-407、408の処理が完了していない場合、STEP-407に移行し、注目グリッドgaの右隣または次の行のグリッドgを次の注目グリッドgaとしてSTEP-407を行う。
このようなクレーン1は、荷物Wの搬送開始位置Paおよび搬送終了位置Pbを含む所定の範囲Naのグリッドgで、最新の点群データPに基づいて重心位置と平均標高値Hとの算出、および隣接するグリッドg間の標高値の差が閾値以下か否かの判定が行われる。これにより、荷物Wの搬送開始位置Paおよび搬送終了位置Pbを含む所定の範囲Naについて、最新の点群データPに基づいて生成されたガイド情報を表示できるとともに、ガイド情報を生成する範囲が広がっても計算量の増加を抑制してガイド情報を表示できる。
以下に、ブーム9の撓み、または、ブーム9の振動によるレーザスキャナ62の位置の変動を考慮して、レーザスキャナ62のレーザ照射時の位置毎の点群データPを重ね合わせるクレーン1について説明する。
制御装置18は、レーザスキャナ62の位置の変動を考慮して、レーザスキャナ62のレーザ照射時の位置毎の点群データPを重ね合わせる。具体的には、まず、制御装置18は、第二GNSS受信機64bによって旋回台7の旋回中心の位置を取得する。そして、制御装置18は、旋回用センサ27、伸縮用センサ28、起伏用センサ29、モーメントセンサ31によって検出される旋回位置、ブーム長さ、起伏角度、ブーム9に作用するモーメントを取得する。制御装置18は、取得した旋回台7の旋回中心の位置、旋回位置、ブーム長さ、起伏角度、ブーム9に作用するモーメントに基づいてブーム9の撓みや振れを考慮したレーザスキャナ62の位置データRと方位データKとを算出する。制御装置18は、算出した位置データRおよび方位データKを用いて時刻対応処理(STEP-101)、剛体変換処理(STEP-102)、グリッド生成処理A(STEP-103)を行う。制御装置18は、レーザスキャナ62の位置の変動を考慮して、傾き、位置、向きが補正された点群データPを重ね合わせる。
このようなクレーン1は、ブーム9の撓みや振動が発生したときの点群データPと、過去の点群データPと、が適切に重ね合わせられる。これにより、ガイド情報を生成する範囲が広がっても計算量の増加を抑制してガイド情報を表示できる。
上述の実施形態は、代表的な形態を示したに過ぎず、一実施形態の骨子を逸脱しない範囲で種々変形して実施することができる。さらに種々なる形態で実施し得ることは勿論のことであり、本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲に記載の均等の意味、および範囲内のすべての変更を含む。
本発明は、領域推定方法、計測領域表示システムおよびクレーンに利用可能である。
1 クレーン
62 レーザスキャナ
70 データ処理部
g グリッド
KA 計測領域
H 平均標高値
P 点群データ
pr 代表点
62 レーザスキャナ
70 データ処理部
g グリッド
KA 計測領域
H 平均標高値
P 点群データ
pr 代表点
Claims (5)
- レーザスキャナによって、計測領域にレーザを照射して点群データを取得し、前記点群データから照射点の標高値を算出する点群データ取得工程と、
前記点群データを演算処理するデータ処理手段によって、
前記計測領域を複数のグリッドに分割し、これまでに代表点が設定されていないグリッド毎に、当該グリッドの重心位置と当該グリッド内の前記点群データの平均標高値とを算出し、前記平均標高値における前記重心位置を前記グリッド毎の代表点の位置として設定するグリッド生成処理工程と、
これまでに判定が行われていない複数のグリッドで一のグリッドの代表点と隣接する他のグリッドの代表点との標高値の差が閾値以下であると判定された場合、前記一のグリッドと前記他のグリッドとが連続する領域である連続領域として設定する連続領域判定工程と、
を備え、
前記レーザスキャナがレーザを照射する範囲を移動させつつ、前記点群データ取得工程と前記グリッド生成処理工程と前記連続領域判定工程とを所定の時間毎に行う、ことを特徴とする領域推定方法。 - 計測領域にレーザを照射して点群データを取得するレーザスキャナを備えたデータ取得部と、
取得した点群データを演算処理するデータ処理部と、
データ表示部と、を備え、
前記データ処理部は、
前記データ取得部から前記点群データを取得し、前記点群データから照射点の標高値を算出し、
前記計測領域を複数のグリッドに分割し、これまでに代表点が設定されていないグリッド毎に、当該グリッドの重心位置と当該グリッド内の前記点群データの平均標高値とを算出し、前記平均標高値における前記重心位置を前記グリッド毎の代表点の位置として設定し、
これまでに判定が行われていない複数のグリッドで一のグリッドの代表点と隣接する他のグリッドの代表点との標高値の差が閾値以下であると判定された場合、前記一のグリッドと前記他のグリッドとが連続する領域である連続領域として設定し、
前記設定された連続領域をそれぞれ区別して前記データ表示部に表示し、
前記レーザスキャナがレーザを照射する範囲を移動させつつ、前記点群データの取得から前記設定された連続領域の表示までを所定の時間毎に行う、ことを特徴とする計測領域表示システム。 - 旋回台と、
前記旋回台に設けられるブームと、
前記ブームに取り付けられ、点群データを取得するレーザスキャナと、
取得した点群データを演算処理する制御装置と、
表示装置と、を備えるクレーンにおいて、
前記旋回台の旋回操作と、前記ブームの伸縮操作と起伏操作と、に伴って前記レーザスキャナを移動させながらレーザを照射させることで、前記レーザスキャナのレーザ照射時の位置毎の点群データを取得し、
前記制御装置は、
前記レーザスキャナのレーザ照射時の位置毎の前記点群データを取得し、前記レーザスキャナのレーザ照射時の位置とその姿勢とに基づいてレーザ照射時の位置毎の前記点群データを重ね合わせ、照射点の標高値を算出し、
前記レーザスキャナの計測領域を複数のグリッドに分割し、これまでに代表点が設定されていないグリッド毎に、当該グリッドの重心位置と当該グリッド内の前記点群データの平均標高値とを算出し、前記平均標高値における前記重心位置を前記グリッド毎の代表点の位置として設定し、
これまでに判定が行われていない複数のグリッドで一のグリッドの代表点と隣接する他のグリッドの代表点との標高値の差が閾値以下であると判定された場合、前記一のグリッドと前記他のグリッドとが連続する領域である連続領域として設定し、
前記設定された連続領域をそれぞれ区別して前記表示装置に表示し、
前記レーザスキャナがレーザを照射する範囲を移動させつつ、前記点群データの取得から前記設定された連続領域の表示までを所定の時間毎に行う、ことを特徴とするクレーン。 - 荷物の搬送開始位置および搬送終了位置の情報を取得し、
前記荷物の搬送開始位置および搬送終了位置を含む所定の範囲で、照射点の標高値を算出する毎に、
前記荷物の搬送開始位置および搬送終了位置を含む所定の範囲におけるグリッド毎に、当該グリッドの重心位置と当該グリッド内の前記点群データの平均標高値とを算出し、前記平均標高値における前記重心位置を前記グリッド毎の代表点の位置として設定し、
前記荷物の搬送開始位置および搬送終了位置を含む所定の範囲における複数のグリッドで一のグリッドの代表点と隣接する他のグリッドの代表点との標高値の差が閾値以下であると判定された場合、前記一のグリッドと前記他のグリッドとが連続する領域である連続領域として設定する、ことを特徴とする請求項3に記載のクレーン。 - 前記ブームの撓み、または、前記ブームの振動の検出手段を備え、
前記ブームの撓み、または、前記ブームの振動による前記レーザスキャナの位置の変動を前記検出手段によって検出し、
前記検出したレーザスキャナの位置の変動を考慮した前記レーザスキャナのレーザ照射時の位置とその姿勢とに基づいてレーザ照射時の位置毎の前記点群データを重ね合わせる、ことを特徴とする請求項3または請求項4に記載のクレーン。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-231051 | 2018-12-10 | ||
JP2018231051A JP7199947B2 (ja) | 2018-12-10 | 2018-12-10 | 領域推定方法、計測領域表示システムおよびクレーン |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020122026A1 true WO2020122026A1 (ja) | 2020-06-18 |
Family
ID=71076344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/048135 WO2020122026A1 (ja) | 2018-12-10 | 2019-12-09 | 領域推定方法、計測領域表示システムおよびクレーン |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7199947B2 (ja) |
WO (1) | WO2020122026A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210199784A1 (en) * | 2019-12-26 | 2021-07-01 | Javad Gnss, Inc. | Calibrating a total station |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114423702A (zh) * | 2019-09-25 | 2022-04-29 | 株式会社多田野 | 控制系统及作业机 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014048236A (ja) * | 2012-09-03 | 2014-03-17 | Kokusai Kogyo Co Ltd | 形状変化解析方法、及び形状変化解析プログラム |
-
2018
- 2018-12-10 JP JP2018231051A patent/JP7199947B2/ja active Active
-
2019
- 2019-12-09 WO PCT/JP2019/048135 patent/WO2020122026A1/ja active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014048236A (ja) * | 2012-09-03 | 2014-03-17 | Kokusai Kogyo Co Ltd | 形状変化解析方法、及び形状変化解析プログラム |
Non-Patent Citations (1)
Title |
---|
KUBOTA, SATOSHI; TANAKA, SHIGENORI; NAKAMURA, KENJI; YAMAMOTO, YUHEI; NAKAHARA, MASAYA; TADANO, YUJI; YODAWARA, HIDEKI; NOGUCHI, S: "Visualization system of suspended load area for crane operator", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS, vol. J101-D, no. 1, 1 January 2018 (2018-01-01), pages 154 - 171, XP009522149, ISSN: 1881-0225, DOI: 10.14923/transinfj.2017SKP0040 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210199784A1 (en) * | 2019-12-26 | 2021-07-01 | Javad Gnss, Inc. | Calibrating a total station |
Also Published As
Publication number | Publication date |
---|---|
JP2020095342A (ja) | 2020-06-18 |
JP7199947B2 (ja) | 2023-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6965050B2 (ja) | ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法 | |
JP7008851B2 (ja) | ガイド情報表示装置、ガイド情報表示方法、および作業機 | |
WO2020122025A1 (ja) | 地表面推定方法、計測領域表示システムおよびクレーン | |
JP6895835B2 (ja) | ガイド情報表示装置およびクレーン | |
JP6760030B2 (ja) | クレーン | |
JP6907061B2 (ja) | 測定対象物の上面推定方法、ガイド情報表示装置およびクレーン | |
WO2020122028A1 (ja) | 地表面推定方法、計測領域表示システムおよびクレーン | |
CN111943050B (zh) | 引导信息显示装置、具有该引导信息显示装置的起重机和引导信息显示方法 | |
JP6928499B2 (ja) | ガイド情報表示装置および作業機 | |
WO2020122026A1 (ja) | 領域推定方法、計測領域表示システムおよびクレーン | |
US20230055311A1 (en) | Guide display device, and crane provided with same | |
US20230106308A1 (en) | Guide display device and crane equipped with same | |
JP7369654B2 (ja) | ガイド表示システムおよびこれを備えたクレーン | |
EP3896390B1 (en) | Crane with ground surface estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19896509 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19896509 Country of ref document: EP Kind code of ref document: A1 |