WO2021193642A1 - ガイド表示装置およびこれを備えたクレーン - Google Patents

ガイド表示装置およびこれを備えたクレーン Download PDF

Info

Publication number
WO2021193642A1
WO2021193642A1 PCT/JP2021/012010 JP2021012010W WO2021193642A1 WO 2021193642 A1 WO2021193642 A1 WO 2021193642A1 JP 2021012010 W JP2021012010 W JP 2021012010W WO 2021193642 A1 WO2021193642 A1 WO 2021193642A1
Authority
WO
WIPO (PCT)
Prior art keywords
suspended load
display device
guide display
dimensional map
processing unit
Prior art date
Application number
PCT/JP2021/012010
Other languages
English (en)
French (fr)
Inventor
巖 石川
孝幸 小阪
勁太 間嶋
諭 窪田
田中　成典
匡哉 中原
光貴 中畑
Original Assignee
株式会社タダノ
学校法人 関西大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社タダノ, 学校法人 関西大学 filed Critical 株式会社タダノ
Priority to EP21774541.3A priority Critical patent/EP4129881A4/en
Priority to US17/911,315 priority patent/US20230055311A1/en
Publication of WO2021193642A1 publication Critical patent/WO2021193642A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/20—Control systems or devices for non-electric drives
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C23/00—Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
    • B66C23/18—Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes specially adapted for use in particular purposes
    • B66C23/36—Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes specially adapted for use in particular purposes mounted on road or rail vehicles; Manually-movable jib-cranes for use in workshops; Floating cranes
    • B66C23/42—Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes specially adapted for use in particular purposes mounted on road or rail vehicles; Manually-movable jib-cranes for use in workshops; Floating cranes with jibs of adjustable configuration, e.g. foldable
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C23/00—Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
    • B66C23/62—Constructional features or details
    • B66C23/64—Jibs
    • B66C23/66—Outer or upper end constructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Definitions

  • the present invention relates to a guide display device and a crane provided with the guide display device.
  • the guide display device disclosed in Patent Document 1 includes a data processing unit that creates a plurality of surfaces using the point cloud data acquired by the laser scanner and creates a three-dimensional map from the plurality of surfaces.
  • the data processing unit generates guide information such as a guide frame figure surrounding the suspended load and the feature, and superimposes the guide information on the image captured by the camera and displays it on the data display unit. With such a guide display device, it is possible to present the operator with information on the position and altitude of the suspended load and the features around the suspended load.
  • the present invention has been made in view of such a problem, and an object of the present invention is to provide a guide display device capable of tracking a suspended load and displaying guide information. It is also an object of the present invention to provide a crane equipped with such a guide display device.
  • the first invention is A plurality of surfaces are created using the point group data including the suspended load acquired by the laser scanner from above the suspended load, a three-dimensional map is created from the plurality of surfaces, and the three-dimensional map is created at predetermined time intervals.
  • It is a guide display device for cranes equipped with a data processing unit.
  • the data processing unit A reference position is set for the suspended load on the three-dimensional map, and the reference position is set. By setting the current surface existing within a predetermined distance from the reference position in the past as the surface of the suspended load, the suspended load in the three-dimensional map is tracked.
  • the second invention is the guide display device according to the first invention.
  • the data processing unit sets the reference position at the position of the center of gravity of the suspended load.
  • the third invention is the guide display device according to the second invention.
  • the point cloud data is data including the ground surface acquired by the laser scanner from above the ground surface.
  • the data processing unit sets the difference in elevation value between the suspended load and the ground surface in the three-dimensional map when the suspended load is placed on the ground surface as the height dimension of the suspended load.
  • the position of the center of gravity of the suspended load is calculated using the height dimension of the suspended load.
  • the fourth invention is the guide display device according to the second or third invention.
  • the point cloud data is data including the feature acquired by the laser scanner from above the feature.
  • the data processing unit sets the difference in elevation value between the suspended load and the feature on the three-dimensional map when the suspended load is placed on the feature as the height dimension of the suspended load. , The position of the center of gravity of the suspended load is calculated using the height dimension of the suspended load.
  • the fifth invention is the guide display device according to the first to fourth inventions.
  • the data processing unit tracks the suspended load in an image including the suspended load taken from above the suspended load by image analysis. It was done.
  • the sixth invention is a crane provided with a guide display device according to the first to fifth inventions.
  • the guide display device is three-dimensional by setting a reference position for the suspended load on the three-dimensional map and setting the current surface existing within a predetermined distance from the past reference position as the suspended load surface. It is intended to track the suspended load on the map. According to such a guide display device, the suspended load can be tracked and the guide information can be displayed.
  • the guide display device sets the reference position to the position of the center of gravity of the suspended load. According to such a guide display device, in addition to the above-mentioned effect, a surface within a predetermined distance from the position of the center of gravity of the suspended load is set as the surface of the suspended load, so that the surface of the suspended load can be set more accurately.
  • the guide display device acquires point cloud data including the ground surface from above the ground surface, and the suspended load and the ground surface in a three-dimensional map when the suspended load is placed on the ground surface.
  • the difference in elevation values is set as the height dimension of the suspended load, and the position of the center of gravity of the suspended load is calculated using the height dimension of the suspended load.
  • the height dimension of the suspended load can be automatically set when the suspended load is placed on the ground surface.
  • the guide display device acquires point cloud data including the feature from above the feature, and the suspended load and the feature in the three-dimensional map when the suspended load is placed on the feature.
  • the difference in elevation values is set as the height dimension of the suspended load, and the position of the center of gravity of the suspended load is calculated using the height dimension of the suspended load.
  • the height dimension of the suspended load can be automatically set even when the suspended load is placed on a feature such as a truck bed.
  • the guide display device states that when the suspended load on the three-dimensional map cannot be tracked, the suspended load in the image including the suspended load taken from above the suspended load is tracked by image analysis. It is a thing. According to such a guide display device, in addition to the above-mentioned effect, even if the point cloud data of the suspended load cannot be acquired, the suspended load can be tracked and the guide information can be displayed.
  • the crane according to the sixth invention is provided with the guide display device according to the first to fifth inventions. According to such a crane, the same effect as the above-mentioned effect is obtained.
  • the figure which shows the guide display device which concerns on one Embodiment of this invention. The figure which shows the scanning mode by a laser scanner.
  • the figure which shows the outline of the same area estimation processing. The figure which shows the flow of the same area estimation processing.
  • the figure which shows the outline of the same area estimation processing. The figure which shows the flow of the same area estimation processing.
  • the crane 1 is a mobile crane that can move to an unspecified place.
  • the crane 1 includes a traveling vehicle 2 and a crane device 6.
  • the traveling vehicle 2 conveys the crane device 6.
  • the traveling vehicle 2 has a plurality of wheels 3 and travels by using the engine 4 as a power source.
  • the traveling vehicle 2 is provided with an outrigger 5.
  • the outrigger 5 is composed of a beam extending in the width direction of the traveling vehicle 2 and a jack cylinder that is in contact with the ground surface F to support the traveling vehicle 2.
  • the crane device 6 transports the suspended load W in a lifted state.
  • the crane device 6 includes a boom 7.
  • a wire rope 8 is hung on the boom 7.
  • a hook 9 is attached to the wire rope 8 hanging from the tip of the boom 7.
  • a winch 10 is arranged in the vicinity of the base end side of the boom 7.
  • the crane device 6 is provided with a cabin 11 on the side of the boom 7. Inside the cabin 11, a swivel operation tool 19, a telescopic operation tool 20, an undulation operation tool 21, a winding operation tool 22, and the like are provided (see FIG. 2).
  • the boom 7 can be swiveled by an actuator.
  • an actuator is defined as a swivel motor 12.
  • the swivel motor 12 is appropriately operated by the swivel valve 23, which is an electromagnetic proportional switching valve (see FIG. 2). That is, the swivel motor 12 operates appropriately when the swivel valve 23 switches the flow rate and the flow direction of the hydraulic oil.
  • the swivel valve 23 operates based on the instruction of the control device 18.
  • the turning angle of the boom 7 is detected by the turning sensor 27 (see FIG. 2).
  • the boom 7 can be expanded and contracted by an actuator.
  • an actuator is defined as a telescopic cylinder 13.
  • the expansion / contraction cylinder 13 is appropriately operated by the expansion / contraction valve 24 which is an electromagnetic proportional switching valve (see FIG. 2). That is, the expansion / contraction cylinder 13 operates appropriately when the expansion / contraction valve 24 switches the flow rate and the flow direction of the hydraulic oil.
  • the expansion / contraction valve 24 operates based on the instruction of the control device 18.
  • the expansion / contraction length of the boom 7 is detected by the expansion / contraction sensor 28 (see FIG. 2).
  • the boom 7 is undulating by an actuator.
  • an actuator is defined as an undulating cylinder 14.
  • the undulation cylinder 14 is appropriately operated by the undulation valve 25, which is an electromagnetic proportional switching valve (see FIG. 2). That is, the undulating cylinder 14 operates appropriately when the undulating valve 25 switches the flow rate and the flow direction of the hydraulic oil.
  • the undulating valve 25 operates based on the instruction of the control device 18.
  • the undulation angle of the boom 7 is detected by the undulation sensor 29 (see FIG. 2).
  • the hook 9 can be raised and lowered by an actuator.
  • an actuator is defined as a winding motor 15.
  • the winding motor 15 is appropriately operated by the winding valve 26, which is an electromagnetic proportional switching valve (see FIG. 2). That is, the winding motor 15 operates appropriately when the winding valve 26 switches the flow rate and the flow direction of the hydraulic oil.
  • the winding valve 26 operates based on the instruction of the control device 18.
  • the hanging length of the hook 9 is detected by the winding sensor 30 (see FIG. 2).
  • the XYZ coordinate system is defined for the crane 1.
  • the X-axis direction (also referred to as the depth direction) in the XYZ coordinate system is perpendicular to the axial direction of the undulating fulcrum of the boom 7 and perpendicular to the gravity direction.
  • the Y-axis direction (also referred to as a horizontal direction) in the XYZ coordinate system is parallel to the axial direction of the undulating fulcrum of the boom 7 and perpendicular to the gravity direction.
  • the Z-axis direction (also referred to as the vertical direction) in the XYZ coordinate system is a direction perpendicular to the axial direction of the undulating fulcrum of the boom 7 and parallel to the gravity direction.
  • the guide display device 50 is linked with the control device 18 of the crane 1.
  • the guide display device 50 includes a data acquisition unit 60, a data processing unit 70, a data display unit 80, and a data input unit 90.
  • the data acquisition unit 60 acquires information necessary for generating guide information described later.
  • the data acquisition unit 60 has a sensor unit 66 in which a camera 61, a laser scanner 62, an inertial measurement unit 63, and a first positioning device 64 are integrated.
  • the sensor unit 66 is attached to the tip of the boom 7 via a gimbal (see FIG. 1).
  • the camera 61 captures a part of the work area.
  • the camera 61 outputs the captured image i (see FIG. 8A) to the data processing unit 70.
  • the camera 61 captures an image i including the suspended load W and the ground surface F (including the feature E) around the suspended load W from above the suspended load W. Therefore, the data processing unit 70 can acquire the image i of the suspended load W and the ground surface F (including the feature E) around the suspended load W.
  • the laser scanner 62 acquires point cloud data P for a part of the work area (see FIG. 3).
  • the laser scanner 62 outputs the acquired point cloud data P to the data processing unit 70.
  • the laser scanner 62 scans the suspended load W and the ground surface F (including the feature E) around the suspended load W from above the suspended load W. That is, the laser scanner 62 acquires the point cloud data P including the suspended load W and the ground surface F (including the feature E) in a part of the work area. Therefore, the data processing unit 70 can acquire the point cloud data P for the suspended load W and the ground surface F (including the feature E) around the suspended load W.
  • the inertial measurement unit (Inertial Measurement Unit: hereinafter referred to as "IMU") 63 acquires information on the posture of the sensor unit 66 (specifically, information on the posture of the camera 61 and the laser scanner 62).
  • the IMU 63 outputs the acquired information regarding the postures of the camera 61 and the laser scanner 62 to the data processing unit 70. Therefore, the data processing unit 70 can acquire information regarding the postures of the camera 61 and the laser scanner 62.
  • the first positioning device 64 receives radio waves emitted from GNSS satellites to receive the latitude, longitude, and altitude values (specifically, lasers) of the sensor unit 66.
  • the coordinate value of the scanner 62) is acquired.
  • the GNSS receiver 64 outputs the acquired coordinate values of the laser scanner 62 to the data processing unit 70. Therefore, the data processing unit 70 can acquire the coordinate values of the laser scanner 62.
  • the second positioning device 65 is arranged at the turning center position of the crane device 6.
  • the second positioning device (Global Navigation Satellite System: hereinafter referred to as "GNSS receiver”) 65 receives radio waves emitted from the GNSS satellite to receive the latitude, longitude, and altitude value of the turning center of the crane device 6 (specifically).
  • the coordinate value of the turning center of the crane device 6) is acquired.
  • the GNSS receiver 65 outputs the acquired coordinate value of the turning center to the data processing unit 70. Therefore, the data processing unit 70 can acquire the coordinate value of the turning center of the crane device 6.
  • the guide display device 50 constitutes a GNSS compass with the boom 7 as a baseline based on the coordinate values of the laser scanner 62 and the coordinate values of the turning center of the crane device 6. Therefore, the data processing unit 70 can calculate the orientation of the laser scanner 62. Further, in the guide display device 50, it is preferable that the measurement times of the point cloud data P and the IMU63 are synchronized with the time of the atomic clock of the GNSS satellite (hereinafter referred to as “GNSS time”).
  • the GNSS receiver 64 and the GNSS receiver 65 employ an RTK (Real Time Kinetic) positioning method with high positioning accuracy. However, the method is not limited to the RTK positioning method, and other positioning methods may be adopted.
  • the data processing unit 70 is connected to the data acquisition unit 60 and performs various processing.
  • the data processing unit 70 is composed of, for example, a general-purpose computer.
  • the data processing unit 70 is arranged in the vicinity of the sensor unit 66. However, the data processing unit 70 may be arranged in another place such as inside the cabin 11. Of course, it may be portable.
  • the data display unit 80 is connected to the data processing unit 70 and displays various information.
  • the data display unit 80 is composed of, for example, a general-purpose monitor.
  • the data display unit 80 is arranged inside the cabin 11. Therefore, information can be presented to the operator of the crane 1.
  • the data processing unit 70 is portable, it may be an integrated monitor.
  • the data input unit 90 is connected to the data processing unit 70 to input various numerical values or change settings.
  • the data input unit 90 is composed of, for example, a general-purpose keyboard, mouse, and touch panel.
  • the data input unit 90 is also arranged inside the cabin 11. Therefore, the operator of the crane 1 can freely input a numerical value or change the setting.
  • the data processing unit 70 may be an integrated keyboard, mouse, or touch panel.
  • the laser scanner 62 irradiates the ground surface F with laser light from above.
  • the laser scanner 62 includes a plurality of laser transmitters and laser receivers, simultaneously irradiates a plurality of laser beams, and simultaneously performs a plurality of point data p (a set of point data p is a point group data P). Can be obtained.
  • the laser scanner 62 is provided with a total of 16 laser transmitters, and can irradiate 16 laser beams at the same time.
  • Each laser transmitter has a different irradiation angle of 2 ° about the Y-axis direction. Further, each laser transmitter is configured to be capable of irradiating by continuously changing the phase angle around the X axis. Therefore, the laser scanner 62 can irradiate a predetermined range of the ground surface F with the laser beam.
  • the laser scanner 62 is provided with a total of 16 laser receivers, and can detect reflected light of 16 laser beams at the same time.
  • Each laser receiver has a different detection angle by 2 ° about the Y-axis direction.
  • each laser receiver is configured to be able to detect reflected light in the same optical path as the laser light transmitted from the laser transmitter.
  • the laser scanner 62 can acquire the point cloud data P that covers the ground surface F.
  • the range in which the point cloud data P can be acquired includes the measurement area R, which is the range captured by the camera 61.
  • the data processing unit 70 can acquire the point cloud data P for the range including the measurement area R. Since the laser scanner 62 scans the suspended load W and the ground surface F (including the feature E) around the suspended load W from above the suspended load W, the point cloud data P includes the suspended load W and the ground surface F. The feature E will appear (see FIG. 8 (B)).
  • Various information acquired by the IMU63 and the GNSS receivers 64 and 65 is added to each point data p constituting the point cloud data P. For example, posture information and position information.
  • the data processing unit 70 performs the point cloud data correction step STEP-1, the three-dimensional map creation step STEP-2, the clustering step STEP-3, and the work area visualization step STEP-4. These steps are repeated at predetermined time (1 frame time).
  • the frame refers to a three-dimensional map M created based on the point cloud data P at a certain time (see FIG. 8B).
  • the point cloud data correction step STEP-1 acquires the point cloud data P, attitude information, and position information at the time closest to the current time based on the information obtained by the laser scanner 62, IMU63, and GNSS64 / 65, and the orientation of the laser scanner 62. Is calculated. Then, the position and inclination of the point cloud data P are corrected using the posture information, the position information, and the orientation, and this is output as the corrected point cloud data P (see FIG. 5).
  • the point cloud data correction step STEP-1 is composed of a time synchronization process STEP-11 and a rigid body conversion process STEP-12.
  • the time synchronization process STEP-11 synchronizes the information obtained by the laser scanners 62, IMU63, and GNSS64 / 65, which are the closest time to the current time and have circled from one end of the measurement area R to the other, at the GNSS time. Then, the combination of the synchronized point data p, the posture information, and the position information is output.
  • the rigid body conversion process STEP-12 acquires one combination of synchronized point data p, posture information, and position information. Then, the coordinate values of the point data p are rigidly transformed using the acquired attitude information, the coordinate system of the point data p is transformed into the plane orthogonal coordinate system, and the point cloud data P whose tilt, position and orientation are corrected is output. ..
  • the three-dimensional map creation step STEP-2 is a grid-like grid (a region divided into a grid shape including a plurality of point data ps) by superimposing the corrected point cloud data Ps acquired from different times and positions. ) Divide into G, and calculate the representative point Pr for each grid G (see FIG. 6 (A)). Then, by creating a surface based on the representative point Pr, this is output as a three-dimensional map M of the work area (see FIG. 6B). That is, a plurality of faces are created using the point cloud data P, and a three-dimensional map M is created from the plurality of faces.
  • the three-dimensional map creation process STEP-2 is composed of a grid generation process STEP-21 and a three-dimensional map update process STEP-22.
  • the grid generation process STEP-21 superimposes the corrected point cloud data Ps and divides them into a grid-like grid G. Then, an average value is calculated for the altitude value (height component of the coordinate value) of the point data p included in the grid G, and a representative point Pr with the height component as the average value is set at the position of the center of gravity of the grid G.
  • the three-dimensional map update process STEP-22 acquires the representative point Pr newly set for each grid G.
  • the existing representative point Pr set last time is also acquired. Then, when the newly set representative point Pr and the existing representative point Pr are different, a surface based on the newly set representative point Pr is created and the three-dimensional map M is output.
  • labels L are assigned to specific regions for the representative points Pr of the grids G adjacent to each other in the vertical and horizontal directions based on the relationship between the height components of the representative points Pr (see FIG. 7A). ..
  • the circled numbers shown in FIG. 7A and the like represent the label L.
  • the specific area corresponding to the suspended load W is designated as the suspended load W
  • the specific area corresponding to the ground surface F is output as the ground surface F (see FIG. 7B).
  • the other specific area is output as a feature E (see FIG. 7C).
  • the clustering step STEP-3 is composed of the labeling process STEP-31, the same area estimation process STEP-32, and the feature area estimation process STEP-33.
  • the grid G arranged in a grid pattern is regarded as a pixel. Further, the height component of the representative point Pr existing in each grid G is regarded as a luminance value. Then, the brightness values of the grids G adjacent to each other on the top, bottom, left, and right are compared based on a predetermined setting, and the label L is given to the specific area.
  • the same area estimation process STEP-32 regards a specific area with the same label L as one plane. Then, the specific area tracked by the process described later is output as the suspended load W. Further, the specific region having the largest number of point data p is output as the ground surface F.
  • the feature area estimation process STEP-33 acquires a set of representative points Pr as a specific area for a specific area other than the suspended load W and the ground surface F. Then, after acquiring the specific area as the ground surface F closest to this specific area, the average value of the height components is calculated, and when the difference in the average values is less than or equal to the difference in the height components of the same specific area, the ground Output as object E.
  • the work area visualization step STEP-4 generates guide information (including numerical values GD2 and GD3 representing altitude) such as a guide frame figure GD1 surrounding the suspended load W and the feature E, and with respect to the image i captured by the camera 61.
  • the guide information is superimposed and output to the data display unit 80 (see FIG. 8A). Further, the three-dimensional map M showing the three-dimensional positional relationship between the suspended load W, the ground surface F, and the feature E is visualized and output (see FIG. 8B).
  • the work area visualization process STEP-4 is composed of the area visualization process STEP-41 and the three-dimensional map visualization process STEP-42.
  • the area visualization process STEP-41 calculates the position of the suspended load W and the feature E in the image i based on the position and orientation of the laser scanner 62. Then, the guide frame figure GD1 surrounding the suspended load W and the feature E is generated, and the guide frame figure GD1 is superimposed on the suspended load W and the feature E in the image i and output. Further, the numerical value GD2 representing the altitude of the suspended load W and the numerical value GD3 representing the altitude of the feature E are also output.
  • the three-dimensional map visualization process STEP-42 acquires the coordinate values of the representative points Pr for each grid G for the suspended load W, the ground surface F, and the feature E with the label L. Then, a surface having the representative point Pr as the center of gravity is created for each grid G. At this time, the width of one side of the surface is the same as the width of the grid G. After that, the suspended load W, the ground surface F, and the feature E are colored and visualized as a three-dimensional map M.
  • the height dimension h of the suspended load W will be described assuming that its value (for example, actually measured value) is set.
  • the data processing unit 70 performs the same region estimation process STEP-32 in the clustering step STEP-3.
  • the same area estimation process STEP-32 is composed of a plurality of processes.
  • the processing flow described below is an example adopted in the guide display device 50. However, it suffices if the invention described in the present application can be realized, and the processing flow is not limited.
  • the data processing unit 70 acquires the designated position Sp on the video i designated by the manual operation of the operator (see FIG. 10A). Then, the specific area existing at the designated position Sp is output as the suspended load W. By doing so, the position of the suspended load W on the three-dimensional map M is acquired. After acquiring the position of the suspended load W, the process proceeds to the second process STEP-322.
  • the data processing unit 70 sets the current surface S existing within a predetermined distance D from the past reference position Rp as the surface S of the suspended load W (see FIG. 10B). Then, the label L (for example, the newly assigned label L) is reattached to the specific area formed by the surface S of the suspended load W, and this specific area is output as the suspended load W.
  • the reference position Rp is a reference position for determining whether or not it is the surface S of the suspended load W, and is set every time the fourth process STEP-324 described later is performed (every frame). ..
  • the past reference position Rp is, for example, a reference position Rp set before a predetermined time (one frame before).
  • the current surface S is a surface S included in the latest (current frame) three-dimensional map M.
  • the predetermined distance D is a reference distance for determining whether or not the suspended load W is the surface S, and is set to be larger than the maximum distance assumed as the moving distance of the suspended load W within the predetermined time. Is preferable. This is so that even if the suspended load W moves at the assumed maximum speed, the surface S of the suspended load W can be set appropriately.
  • the first treatment STEP-321 is used.
  • the surface S of the specific region of the suspended load W output in is set as the surface S of the suspended load W.
  • the data processing unit 70 connects the surface S of the suspended load W (see FIG. 10C). At this time, the shape of the suspended load W in the three-dimensional map M is determined by using the height dimension h of the suspended load W. After joining the surface S of the suspended load W, the process proceeds to the fourth process STEP-324.
  • the data processing unit 70 sets the reference position Rp for the suspended load W on the three-dimensional map M (see FIG. 10 (D)).
  • the reference position Rp is set on the surface or inside of the suspended load W in the three-dimensional map M.
  • the data processing unit 70 does not perform the first process STEP-321 but performs the second process STEP-322 to the fourth process STEP-324. .. That is, the second processing STEP-322 to the fourth processing STEP-324 are repeated for each frame.
  • the data processing unit 70 provides guide information (guide frame figure) with respect to the suspended load W even if the suspended load W deviates from the designated position Sp when the suspended load W shakes significantly.
  • GD1 and the numerical value GD2) indicating the altitude of the suspended load W can be displayed.
  • the data processing unit 70 performs a three-dimensional map based on the designated position Sp in the first processing STEP-321. The position of the suspended load W in M is acquired.
  • the data processing unit 70 repeats the second processing STEP-322 to the fourth processing STEP-324 to set the surface S of the suspended load W, combine the surfaces S of the suspended load W, and refer to the reference position for each frame. Rp is set. By doing so, the data processing unit 70 tracks the suspended load W that moves when the suspended load W shakes significantly, and guide information (guide frame figure GD1, suspended load W) with respect to the suspended load W.
  • the numerical value GD2) representing the altitude of is displayed.
  • the guide display device 50 sets the reference position Rp for the suspended load W in the three-dimensional map M, and sets the current surface S existing within a predetermined distance D from the past reference position Rp as the surface S of the suspended load W.
  • the suspended load W in the three-dimensional map M is tracked.
  • the suspended load W can be tracked and the guide information (guide frame figure GD1, numerical value GD2 representing the altitude of the suspended load W) can be displayed.
  • the guide display device 50 according to the second embodiment will be described.
  • the operator specifies the designated position Sp before lifting the suspended load W.
  • the same name and reference numeral used in the description of the guide display device 50 according to the first embodiment will be used to refer to the same thing.
  • the parts that differ from the guide display device 50 according to the first embodiment will be mainly described.
  • the data processing unit 70 determines whether or not the suspended load W is placed on the ground surface F. For example, in the grid G arranged in a grid pattern described above, when the grid G adjacent to the outer edge of the suspended load W is only the ground surface F, it can be determined that the suspended load W is placed on the ground surface F (FIG. 7). (C)). Alternatively, even if the operator inputs to the data input unit 90 that the suspended load W is placed on the ground surface F and determines that the suspended load W is placed on the ground surface F based on the input information. good. When the suspended load W is placed on the ground surface F, it shifts to the sixth treatment STEP-326, and when the suspended load W is not placed on the ground surface F, it shifts to the seventh treatment STEP-327. do.
  • the data processing unit 70 sets the difference in elevation value between the suspended load W and the ground surface F in the three-dimensional map M as the height dimension h of the suspended load W (FIG. 12 (A)). reference). For example, as the elevation value of the ground surface F, the elevation value of the ground surface F adjacent to the outer edge of the lower surface of the suspended load W is used. After setting the height dimension h of the suspended load W, the process proceeds to the second process STEP-322.
  • the data processing unit 70 sets the difference in elevation value between the suspended load W and the feature E on the three-dimensional map M as the height dimension h of the suspended load W (FIG. 12 (B)). reference). For example, as the elevation value of the feature E, the elevation value of the feature E adjacent to the outer edge of the lower surface of the suspended load W is used. After setting the height dimension h of the suspended load W, the process proceeds to the second process STEP-322.
  • the data processing unit 70 sets the reference position Rp to the center of gravity position Gp of the suspended load W (see FIG. 12C).
  • the center of gravity position Gp of the suspended load W is calculated using the height dimension h of the suspended load W.
  • the guide display device 50 sets the reference position Rp to the center of gravity position Gp of the suspended load W.
  • the surface S within a predetermined distance D from the center of gravity position Gp of the suspended load W is set as the surface S of the suspended load W, so that the suspended load W can be more accurately used.
  • the surface S can be set.
  • the guide display device 50 acquires the point cloud data P including the ground surface F from above the ground surface F, and the suspended load W in the three-dimensional map M when the suspended load W is placed on the ground surface F.
  • the difference in elevation value between the surface F and the ground surface F is set as the height dimension h of the suspended load W, and the center of gravity position Gp of the suspended load W is calculated using the height dimension h of the suspended load W. ..
  • the height dimension h of the suspended load W can be automatically set when the suspended load W is placed on the ground surface F.
  • the guide display device 50 acquires the point cloud data P including the feature E from above the feature E, and the suspended load W in the three-dimensional map M when the suspended load W is placed on the feature E.
  • the difference in elevation value between W and the feature E is set as the height dimension h of the suspended load W, and the center of gravity position Gp of the suspended load W is calculated using the height dimension h of the suspended load W. be.
  • the height dimension h of the suspended load W can be automatically set even when the suspended load W is placed on a feature E such as a truck bed.
  • the data processing unit 70 determines whether or not the suspended load W on the three-dimensional map M can be tracked.
  • the suspended load W on the three-dimensional map M cannot be tracked, for example, the suspended load W is not irradiated with the laser beam, and the surface S existing within the predetermined distance D from the reference position Rp does not exist. That is, it is determined that the suspended load W on the three-dimensional map M could not be tracked when the surface S existing within the predetermined distance D from the reference position Rp does not exist. If the suspended load W on the three-dimensional map M can be tracked, the process proceeds to the third process STEP-323, and if the suspended load W on the three-dimensional map M cannot be tracked, the process proceeds to the tenth process STEP-3210. Transition.
  • the data processing unit 70 tracks the suspended load W in the image i by image analysis. Then, by associating the image i with the three-dimensional map M, the surface S of the suspended load W in the three-dimensional map M is set. For example, as a tracking method by image analysis, a CSRT (Cannel and Spatial Reliability Tracking) method using a machine learning algorithm or the like can be adopted. After tracking the suspended load W, the process proceeds to the third process STEP-323.
  • CSRT Cross-Reliability Tracking
  • the guide display device 50 includes a camera 61 that captures the image i including the suspended load W from above the suspended load W, and is suspended in the image i when the suspended load W in the three-dimensional map M cannot be tracked.
  • the load W is tracked by image analysis. According to the guide display device 50, in addition to the above-mentioned effects, even if the point cloud data P of the suspended load W cannot be acquired, the suspended load W is tracked and the guide information (guide frame figure GD1, the suspended load W) is recorded.
  • the numerical value GD2) representing the altitude can be displayed.
  • the object of the invention is the crane 1 provided with the guide display device 50 from the guide display device 50.
  • the crane 1 is provided with a guide display device 50. According to the crane 1, the same effect as the above-mentioned effect is obtained.
  • the present invention can be used for a guide display device and a crane equipped with the guide display device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Control And Safety Of Cranes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

吊荷を追跡してガイド情報を表示できるガイド表示装置を提供する。また、かかるガイド表示装置を備えたクレーンを提供する。レーザスキャナ（６２）が吊荷（Ｗ）の上方から取得した当該吊荷を含む点群データ（Ｐ）を用いて複数の面（Ｓ）を作成するとともに複数の面（Ｓ）によって三次元地図（Ｍ）を作成し、所定時間ごとに三次元地図（Ｍ）を作成するデータ処理部（７０）と、を備えたクレーン（１）のガイド表示装置（５０）であって、データ処理部（７０）は、三次元地図（Ｍ）における吊荷（Ｗ）に基準位置（Ｒｐ）を設定し、過去の基準位置（Ｒｐ）から所定距離（Ｄ）内に存在する現在の面（Ｓ）を吊荷（Ｗ）の面（Ｓ）として設定することによって三次元地図（Ｍ）における吊荷（Ｗ）を追跡する、とした。

Description

ガイド表示装置およびこれを備えたクレーン
　本発明は、ガイド表示装置およびこれを備えたクレーンに関する。
　従来より、吊荷と吊荷周辺の地物について、位置および標高に関する情報をオペレータに提示できるガイド表示装置が公知となっている。かかるガイド表示装置は、特許文献１に開示されている。
　特許文献１に開示されたガイド表示装置は、レーザスキャナが取得した点群データを用いて複数の面を作成するとともに複数の面によって三次元地図を作成するデータ処理部を備えている。データ処理部は、吊荷や地物を取り囲むガイド枠図形などのガイド情報を生成し、カメラが撮影した映像に対してガイド情報を重ね合わせてデータ表示部に表示する。このようなガイド表示装置によれば、吊荷と吊荷周辺の地物について、位置および標高に関する情報をオペレータに提示できる。
特開２０１９－２４１５０号公報
　特許文献１に開示されたガイド表示装置では、オペレータが映像上で吊荷を指定することで、その指定位置に存在する平面が吊荷の上面を表すものとして設定される。そのため、吊荷が大きく揺れた場合などに吊荷が指定位置から外れてしまうことがあった。吊荷が指定位置から外れてしまうと吊荷のガイド情報が適切に表示されないため、オペレータがクレーンを操作する上で負担となる可能性があった。そこで、吊荷を追跡してガイド情報を表示できるガイド表示装置およびこれを備えたクレーンが求められていた。
　本発明は、このような課題を鑑みてなされたものであり、吊荷を追跡してガイド情報を表示できるガイド表示装置を提供することを目的としている。また、かかるガイド表示装置を備えたクレーンを提供することを目的としている。
　本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
　即ち、第一の発明は、
　レーザスキャナが吊荷の上方から取得した当該吊荷を含む点群データを用いて複数の面を作成するとともに当該複数の面によって三次元地図を作成し、所定時間ごとに前記三次元地図を作成するデータ処理部を備えたクレーンのガイド表示装置であって、
　前記データ処理部は、
　前記三次元地図における前記吊荷に基準位置を設定し、
　過去の前記基準位置から所定距離内に存在する現在の前記面を前記吊荷の面として設定することによって前記三次元地図における前記吊荷を追跡する、としたものである。
　第二の発明は、第一の発明に係るガイド表示装置において、
　前記データ処理部は、前記基準位置を前記吊荷の重心位置に設定する、としたものである。
　第三の発明は、第二の発明に係るガイド表示装置において、
　前記点群データは、前記レーザスキャナが地表面の上方から取得した当該地表面を含むデータであり、
　前記データ処理部は、前記吊荷が前記地表面に置かれているときの前記三次元地図における当該吊荷と当該地表面との標高値の差を当該吊荷の高さ寸法として設定し、前記吊荷の高さ寸法を用いて当該吊荷の重心位置を算出する、としたものである。
　第四の発明は、第二又は第三の発明に係るガイド表示装置において、
　前記点群データは、前記レーザスキャナが地物の上方から取得した当該地物を含むデータであり、
　前記データ処理部は、前記吊荷が前記地物上に置かれているときの前記三次元地図における当該吊荷と当該地物との標高値の差を当該吊荷の高さ寸法として設定し、前記吊荷の高さ寸法を用いて当該吊荷の重心位置を算出する、としたものである。
　第五の発明は、第一から第四の発明に係るガイド表示装置において、
　前記データ処理部は、前記三次元地図における前記吊荷を追跡できなかった場合に、カメラが前記吊荷の上方から撮影した前記吊荷を含む映像における前記吊荷を画像解析により追跡する、としたものである。
　第六の発明は、第一から第五の発明に係るガイド表示装置を備えたクレーンである、としたものである。
　本発明の効果として、以下に示すような効果を奏する。
　第一の発明に係るガイド表示装置は、三次元地図における吊荷に基準位置を設定し、過去の基準位置から所定距離内に存在する現在の面を吊荷の面として設定することによって三次元地図における吊荷を追跡する、としたものである。かかるガイド表示装置によれば、吊荷を追跡してガイド情報を表示できる。
　第二の発明に係るガイド表示装置は、基準位置を吊荷の重心位置に設定する、としたものである。かかるガイド表示装置によれば、前述の効果に加え、吊荷の重心位置から所定距離内にある面を吊荷の面として設定するため、より正確に吊荷の面の設定ができる。
　第三の発明に係るガイド表示装置は、地表面の上方から地表面を含む点群データを取得し、吊荷が地表面に置かれているときの三次元地図における吊荷と地表面との標高値の差を吊荷の高さ寸法として設定し、吊荷の高さ寸法を用いて吊荷の重心位置を算出する、としたものである。かかるガイド表示装置によれば、前述の効果に加え、吊荷が地表面に置かれているときに吊荷の高さ寸法を自動的に設定できる。
　第四の発明に係るガイド表示装置は、地物の上方から地物を含む点群データを取得し、吊荷が地物上に置かれているときの三次元地図における吊荷と地物との標高値の差を吊荷の高さ寸法として設定し、吊荷の高さ寸法を用いて吊荷の重心位置を算出する、としたものである。かかるガイド表示装置によれば、前述の効果に加え、トラックの荷台などの地物上に吊荷が置かれているときでも吊荷の高さ寸法を自動的に設定できる。
　第五の発明に係るガイド表示装置は、三次元地図における吊荷を追跡できなかった場合に、吊荷の上方から撮影された吊荷を含む映像における吊荷を画像解析により追跡する、としたものである。かかるガイド表示装置によれば、前述の効果に加え、吊荷の点群データを取得できなかった場合でも、吊荷を追跡してガイド情報を表示できる。
　第六の発明に係るクレーンは、第一から第五の発明に係るガイド表示装置を備えた、としたものである。かかるクレーンによれば、前述の効果と同様の効果を奏する。
本発明の一実施形態に係るクレーンを示す図。 本発明の一実施形態に係るガイド表示装置を示す図。 レーザスキャナによる走査態様を示す図。 データ処理部による処理の流れを示す図。 点群データ補正工程の概要を示す図。 三次元地図作成工程の概要を示す図。 クラスタリング工程の概要を示す図。 作業領域可視化工程の概要を示す図。 同一領域推定処理の流れを示す図。 同一領域推定処理の概要を示す図。 同一領域推定処理の流れを示す図。 同一領域推定処理の概要を示す図。 同一領域推定処理の流れを示す図。 同一領域推定処理を経て生成されたガイド情報を示す図。
　まず、本発明の第一実施形態に係るクレーン１について説明する。
　図１に示すように、クレーン１は、不特定の場所に移動可能な移動式クレーンである。クレーン１は、走行車両２とクレーン装置６を備えている。
　走行車両２は、クレーン装置６を搬送するものである。走行車両２は、複数の車輪３を有し、エンジン４を動力源として走行する。走行車両２には、アウトリガ５が設けられている。アウトリガ５は、走行車両２の幅方向に延伸するビームと地表面Ｆに接地して走行車両２を支持するジャッキシリンダで構成されている。
　クレーン装置６は、吊荷Ｗを吊り上げた状態で搬送するものである。クレーン装置６は、ブーム７を備えている。ブーム７には、ワイヤロープ８が架け渡されている。ブーム７の先端部分から垂下するワイヤロープ８には、フック９が取り付けられている。また、ブーム７の基端側近傍には、ウインチ１０が配置されている。尚、クレーン装置６は、ブーム７の側方にキャビン１１を備えている。キャビン１１の内部には、旋回操作具１９や伸縮操作具２０、起伏操作具２１、巻回操作具２２などが設けられている（図２参照）。
　ブーム７は、アクチュエータによって旋回自在となっている。本願においては、かかるアクチュエータを旋回用モータ１２と定義する。旋回用モータ１２は、電磁比例切換弁である旋回用バルブ２３によって適宜に稼動する（図２参照）。つまり、旋回用モータ１２は、旋回用バルブ２３が作動油の流量や流動方向を切り替えることで適宜に稼動する。尚、旋回用バルブ２３は、制御装置１８の指示に基づいて稼動する。ブーム７の旋回角度は、旋回用センサ２７によって検出される（図２参照）。
　また、ブーム７は、アクチュエータによって伸縮自在となっている。本願においては、かかるアクチュエータを伸縮用シリンダ１３と定義する。伸縮用シリンダ１３は、電磁比例切換弁である伸縮用バルブ２４によって適宜に稼動する（図２参照）。つまり、伸縮用シリンダ１３は、伸縮用バルブ２４が作動油の流量や流動方向を切り替えることで適宜に稼動する。尚、伸縮用バルブ２４は、制御装置１８の指示に基づいて稼動する。ブーム７の伸縮長さは、伸縮用センサ２８によって検出される（図２参照）。
　更に、ブーム７は、アクチュエータによって起伏自在となっている。本願においては、かかるアクチュエータを起伏用シリンダ１４と定義する。起伏用シリンダ１４は、電磁比例切換弁である起伏用バルブ２５によって適宜に稼動する（図２参照）。つまり、起伏用シリンダ１４は、起伏用バルブ２５が作動油の流量や流動方向を切り替えることで適宜に稼動する。尚、起伏用バルブ２５は、制御装置１８の指示に基づいて稼動する。ブーム７の起伏角度は、起伏用センサ２９によって検出される（図２参照）。
　加えて、フック９は、アクチュエータによって昇降自在となっている。本願においては、かかるアクチュエータを巻回用モータ１５と定義する。巻回用モータ１５は、電磁比例切換弁である巻回用バルブ２６によって適宜に稼動する（図２参照）。つまり、巻回用モータ１５は、巻回用バルブ２６が作動油の流量や流動方向を切り替えることで適宜に稼動する。尚、巻回用バルブ２６は、制御装置１８の指示に基づいて稼動する。フック９の吊下長さは、巻回用センサ３０によって検出される（図２参照）。
　ところで、本願においては、クレーン１に対してＸＹＺ座標系を規定している。ＸＹＺ座標系におけるＸ軸方向（奥行方向とも呼ぶ）は、ブーム７の起伏支点の軸方向に対して垂直、かつ重力方向に対して垂直な方向となっている。また、ＸＹＺ座標系におけるＹ軸方向（水平方向とも呼ぶ）は、ブーム７の起伏支点の軸方向に対して平行、かつ重力方向に対して垂直な方向となっている。更に、ＸＹＺ座標系におけるＺ軸方向（鉛直方向とも呼ぶ）は、ブーム７の起伏支点の軸方向に対して垂直、かつ重力方向に対して平行な方向となっている。
　次に、本発明の一実施形態に係るガイド表示装置（ガイド表示システム）５０について説明する。
　図２に示すように、ガイド表示装置５０は、クレーン１の制御装置１８と連携している。ガイド表示装置５０は、データ取得部６０とデータ処理部７０とデータ表示部８０とデータ入力部９０を備えている。
　データ取得部６０は、後述するガイド情報を生成するために必要な情報を取得するものである。データ取得部６０は、カメラ６１とレーザスキャナ６２と慣性計測装置６３と第一測位装置６４が一体に構成されたセンサユニット６６を有している。センサユニット６６は、ブーム７の先端部分にジンバルを介して取り付けられている（図１参照）。
　カメラ６１は、作業領域の一部を撮影するものである。カメラ６１は、撮影した映像ｉ（図８（Ａ）参照）をデータ処理部７０へ出力する。尚、カメラ６１は、吊荷Ｗの上方から吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）を含む映像ｉを撮影する。そのため、データ処理部７０は、吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）についての映像ｉを取得することができる。
　レーザスキャナ６２は、作業領域の一部について点群データＰを取得するものである（図３参照）。レーザスキャナ６２は、取得した点群データＰをデータ処理部７０へ出力する。尚、レーザスキャナ６２は、吊荷Ｗの上方から吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）を走査する。つまり、レーザスキャナ６２は、作業領域の一部にある吊荷Ｗ、地表面Ｆ（地物Ｅを含む）を含む点群データＰを取得する。そのため、データ処理部７０は、吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）についての点群データＰを取得することができる。
　慣性計測装置（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ：以下「ＩＭＵ」とする）６３は、センサユニット６６の姿勢に関する情報（具体的にはカメラ６１とレーザスキャナ６２の姿勢に関する情報）を取得するものである。ＩＭＵ６３は、取得したカメラ６１とレーザスキャナ６２の姿勢に関する情報をデータ処理部７０へ出力する。そのため、データ処理部７０は、カメラ６１とレーザスキャナ６２の姿勢に関する情報を取得することができる。
　第一測位装置（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ：以下「ＧＮＳＳ受信機」とする）６４は、ＧＮＳＳ衛星から発せられた電波を受信することでセンサユニット６６の緯度、経度、標高値（具体的にはレーザスキャナ６２の座標値）を取得するものである。ＧＮＳＳ受信機６４は、取得したレーザスキャナ６２の座標値をデータ処理部７０へ出力する。そのため、データ処理部７０は、レーザスキャナ６２の座標値を取得することができる。
　加えて、データ取得部６０においては、第二測位装置６５がクレーン装置６の旋回中心位置に配置されている。第二測位装置（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ：以下「ＧＮＳＳ受信機」とする）６５は、ＧＮＳＳ衛星から発せられた電波を受信することでクレーン装置６の旋回中心の緯度、経度、標高値（具体的にはクレーン装置６の旋回中心の座標値）を取得するものである。ＧＮＳＳ受信機６５は、取得した旋回中心の座標値をデータ処理部７０へ出力する。そのため、データ処理部７０は、クレーン装置６の旋回中心の座標値を取得することができる。
　このように、ガイド表示装置５０は、レーザスキャナ６２の座標値とクレーン装置６の旋回中心の座標値によってブーム７を基線としたＧＮＳＳコンパスを構成している。このため、データ処理部７０は、レーザスキャナ６２の向きを算出することができる。また、ガイド表示装置５０では、点群データＰおよびＩＭＵ６３の計測時刻がＧＮＳＳ衛星の原子時計の時刻（以下「ＧＮＳＳ時刻」とする）で同期していることが好ましい。尚、ＧＮＳＳ受信機６４とＧＮＳＳ受信機６５には、測位精度の高いＲＴＫ（Ｒｅａｌ　Ｔｉｍｅ　Ｋｉｎｅｍａｔｉｃ）測位方式を採用している。但し、ＲＴＫ測位方式に限定せず、他の測位方式を採用していてもよい。
　データ処理部７０は、データ取得部６０と接続されており、様々な処理を行うものである。データ処理部７０は、例えば汎用のコンピュータによって構成されている。尚、データ処理部７０は、センサユニット６６の近傍に配置されている。但し、データ処理部７０は、キャビン１１の内部など他の場所に配置されていてもよい。もちろん持ち運び可能なものであってもよい。
　データ表示部８０は、データ処理部７０と接続されており、様々な情報を映し出すものである。データ表示部８０は、例えば汎用のモニタによって構成されている。尚、データ表示部８０は、キャビン１１の内部に配置されている。そのため、クレーン１のオペレータに対して情報を提示できる。もちろんデータ処理部７０が持ち運び可能なものである場合などでは、一体となったモニタであってもよい。
　データ入力部９０は、データ処理部７０と接続されており、様々な数値を入力或いは設定を変更するものである。データ入力部９０は、例えば汎用のキーボードやマウス、タッチパネルによって構成されている。尚、データ入力部９０も、キャビン１１の内部に配置されている。そのため、クレーン１のオペレータが自在に数値を入力或いは設定を変更できる。もちろんデータ処理部７０が持ち運び可能なものである場合などでは、一体となったキーボードやマウス、タッチパネルであってもよい。
　次に、レーザスキャナ６２による走査態様について説明する。
　図３に示すように、レーザスキャナ６２は、地表面Ｆに対して上方からレーザ光を照射する。レーザスキャナ６２は、複数のレーザ発信機ならびにレーザ受信機を備えており、同時に複数本のレーザ光を照射して同時に複数個の点データｐ（点データｐの集合が点群データＰである）を取得できる。
　具体的に説明すると、レーザスキャナ６２は、合計１６個のレーザ発信機を備えており、同時に１６本のレーザ光を照射できる。それぞれのレーザ発信機は、Ｙ軸方向を中心に２°ずつ照射角度を異にしている。また、それぞれのレーザ発信機は、Ｘ軸を中心に連続的に位相角を変えて照射可能に構成されている。そのため、レーザスキャナ６２は、地表面Ｆの所定範囲に対してレーザ光を照射できる。
　更に、レーザスキャナ６２は、合計１６個のレーザ受信機を備えており、同時に１６本のレーザ光の反射光を検出できる。それぞれのレーザ受信機は、Ｙ軸方向を中心に２°ずつ検出角度を異にしている。また、それぞれのレーザ受信機は、レーザ発信機から発信されたレーザ光と同じ光路で反射光を検出可能に構成されている。こうして、レーザスキャナ６２は、地表面Ｆを覆う点群データＰを取得できるのである。尚、点群データＰを取得できる範囲は、カメラ６１によって撮影される範囲である計測領域Ｒを含んでいる。
　このように構成することで、データ処理部７０は、計測領域Ｒを含む範囲について点群データＰを取得できる。レーザスキャナ６２は、吊荷Ｗの上方から吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）を走査するため、点群データＰには、吊荷Ｗ、地表面Ｆ、地物Ｅが表れることとなる（図８（Ｂ）参照）。点群データＰを構成する各点データｐには、ＩＭＵ６３やＧＮＳＳ受信機６４・６５によって取得された様々な情報が付加される。例えば姿勢情報や位置情報などである。
　次に、データ処理部７０による処理の流れについて説明する。
　図４に示すように、データ処理部７０は、点群データ補正工程ＳＴＥＰ－１と三次元地図作成工程ＳＴＥＰ－２とクラスタリング工程ＳＴＥＰ－３と作業領域可視化工程ＳＴＥＰ－４を行う。これらの工程は、所定時間（１フレーム時間）ごとに繰り返し行われる。尚、フレームとは、ある時刻の点群データＰに基づいて作成される三次元地図Ｍを指している（図８（Ｂ）参照）。
　点群データ補正工程ＳＴＥＰ－１は、レーザスキャナ６２、ＩＭＵ６３、ＧＮＳＳ６４・６５による情報を基に現在時刻から最も近い時刻の点群データＰ、姿勢情報および位置情報を取得し、レーザスキャナ６２の向きを算出する。そして、姿勢情報、位置情報および向きを用いて点群データＰの位置と傾きを補正し、これを補正済みの点群データＰとして出力する（図５参照）。
　具体的に説明すると、点群データ補正工程ＳＴＥＰ－１は、時刻同期処理ＳＴＥＰ－１１と剛体変換処理ＳＴＥＰ－１２で構成されている。
　時刻同期処理ＳＴＥＰ－１１は、現在時刻から最も近い時刻で、かつ計測領域Ｒの端から端までを一巡したレーザスキャナ６２、ＩＭＵ６３、ＧＮＳＳ６４・６５による情報同士をＧＮＳＳ時刻にて同期する。そして、同期済みの点データｐ、姿勢情報、位置情報の組み合わせを出力する。
　剛体変換処理ＳＴＥＰ－１２は、同期済みの点データｐ、姿勢情報、位置情報の組み合わせを一つ取得する。そして、取得した姿勢情報を用いて点データｐの座標値を剛体変換し、点データｐの座標系を平面直角座標系に変換して傾き、位置および向きを補正した点群データＰを出力する。
　三次元地図作成工程ＳＴＥＰ－２は、異なる時期や位置から取得した補正済みの点群データＰ同士を重ね合わせ、格子状のグリッド（複数の点データｐを含む格子状に分割された領域である）Ｇに分割し、グリッドＧごとに代表点Ｐｒを算出する（図６（Ａ）参照）。そして、代表点Ｐｒに基づいて面を作成することで、これを作業領域の三次元地図Ｍとして出力する（図６（Ｂ）参照）。つまり、点群データＰを用いて複数の面を作成するとともに複数の面によって三次元地図Ｍを作成する。
　具体的に説明すると、三次元地図作成工程ＳＴＥＰ－２は、グリッド生成処理ＳＴＥＰ－２１と三次元地図更新処理ＳＴＥＰ－２２で構成されている。
　グリッド生成処理ＳＴＥＰ－２１は、補正済みの点群データＰ同士を重ね合わせて格子状のグリッドＧに分割する。そして、グリッドＧに含まれる点データｐの標高値（座標値の高さ成分）について平均値を算出し、グリッドＧの重心位置に高さ成分を平均値とした代表点Ｐｒを設定する。
　三次元地図更新処理ＳＴＥＰ－２２は、グリッドＧごとに新たに設定された代表点Ｐｒを取得する。また、前回に設定された既存の代表点Ｐｒも取得する。そして、新たに設定された代表点Ｐｒと既存の代表点Ｐｒが異なる場合に新たに設定された代表点Ｐｒに基づく面を作成して三次元地図Ｍを出力する。
　クラスタリング工程ＳＴＥＰ－３は、上下左右に隣り合うグリッドＧの代表点Ｐｒについて互いの代表点Ｐｒの高さ成分の関係性から特定領域に対してラベルＬを付与する（図７（Ａ）参照）。なお、図７（Ａ）等に示す丸囲み数字がラベルＬを表している。そして、同じラベルＬが付された特定領域について吊荷Ｗに相当する特定領域を吊荷Ｗとし、地表面Ｆに相当する特定領域を地表面Ｆとして出力する（図７（Ｂ）参照）。更に、それ以外の特定領域を地物Ｅとして出力する（図７（Ｃ）参照）。
　具体的に説明すると、クラスタリング工程ＳＴＥＰ－３は、ラベリング処理ＳＴＥＰ－３１と同一領域推定処理ＳＴＥＰ－３２と地物領域推定処理ＳＴＥＰ－３３で構成されている。
　ラベリング処理ＳＴＥＰ－３１は、格子状に並ぶグリッドＧを画素に見立てる。また、各グリッドＧに存在する代表点Ｐｒの高さ成分を輝度値に見立てる。そして、上下左右に隣り合うグリッドＧの輝度値を所定の定めに基づいて比較し、特定領域に対してラベルＬを付与する。
　同一領域推定処理ＳＴＥＰ－３２は、同じラベルＬが付された特定領域を一つの平面に見立てる。そして、後述する処理により追跡される特定領域を吊荷Ｗとして出力する。また、最も点データｐが多い特定領域を地表面Ｆとして出力する。
　地物領域推定処理ＳＴＥＰ－３３は、吊荷Ｗや地表面Ｆとされた特定領域以外について代表点Ｐｒの集合を特定領域として取得する。そして、この特定領域に最も近い地表面Ｆとされた特定領域を取得した上で高さ成分の平均値を算出し、平均値の差が同じ特定領域の高さ成分の差以下の場合に地物Ｅとして出力する。
　作業領域可視化工程ＳＴＥＰ－４は、吊荷Ｗや地物Ｅを取り囲むガイド枠図形ＧＤ１などのガイド情報（標高を表す数値ＧＤ２・ＧＤ３を含む）を生成し、カメラ６１が撮影した映像ｉに対してガイド情報を重ね合わせてデータ表示部８０に出力する（図８（Ａ）参照）。また、吊荷Ｗ、地表面Ｆ、地物Ｅの三次元的な位置関係を表す三次元地図Ｍについて可視化して出力する（図８（Ｂ）参照）。
　具体的に説明すると、作業領域可視化工程ＳＴＥＰ－４は、領域可視化処理ＳＴＥＰ－４１と三次元地図可視化処理ＳＴＥＰ－４２で構成されている。
　領域可視化処理ＳＴＥＰ－４１は、レーザスキャナ６２の位置と向きに基づいて吊荷Ｗや地物Ｅの映像ｉにおける位置を算出する。そして、吊荷Ｗや地物Ｅを取り囲むガイド枠図形ＧＤ１を生成し、映像ｉにおける吊荷Ｗや地物Ｅに対してガイド枠図形ＧＤ１を重ね合わせて出力する。また、吊荷Ｗの標高を表す数値ＧＤ２や地物Ｅの標高を表す数値ＧＤ３についても出力する。
　三次元地図可視化処理ＳＴＥＰ－４２は、ラベルＬが付された吊荷Ｗ、地表面Ｆ、地物ＥについてグリッドＧごとに代表点Ｐｒの座標値を取得する。そして、グリッドＧごとに代表点Ｐｒを重心とする面を作成する。このとき、面の一辺の幅は、グリッドＧの幅と同じとする。その後、吊荷Ｗ、地表面Ｆ、地物Ｅごとに着色を行って、これを三次元地図Ｍとして可視化するのである。
　次に、同一領域推定処理ＳＴＥＰ－３２の流れについて説明する。尚、本実施形態において、吊荷Ｗの高さ寸法ｈは、その値（例えば実測値）が設定されているものとして説明する。
　前述したように、データ処理部７０は、クラスタリング工程ＳＴＥＰ－３にて同一領域推定処理ＳＴＥＰ－３２を行う。
　図９に示すように、同一領域推定処理ＳＴＥＰ－３２は、複数の処理によって構成されている。以下に説明する処理の流れは、本ガイド表示装置５０に採用された一例である。但し、本願に掲げる発明を実現できればよく、処理の流れについて限定するものではない。
　第一処理ＳＴＥＰ－３２１において、データ処理部７０は、オペレータの手動操作によって指定される映像ｉ上の指定位置Ｓｐを取得する（図１０（Ａ）参照）。そして、指定位置Ｓｐに存在する特定領域を吊荷Ｗとして出力する。このようにすることで、三次元地図Ｍにおける吊荷Ｗの位置が取得される。吊荷Ｗの位置を取得した後には、第二処理ＳＴＥＰ－３２２へ移行する。
　第二処理ＳＴＥＰ－３２２において、データ処理部７０は、過去の基準位置Ｒｐから所定距離Ｄ内に存在する現在の面Ｓを吊荷Ｗの面Ｓとして設定する（図１０（Ｂ）参照）。そして、吊荷Ｗの面Ｓで構成される特定領域にラベルＬ（例えば新たに採番されるラベルＬ）を再度付与し、この特定領域を吊荷Ｗとして出力する。基準位置Ｒｐとは、吊荷Ｗの面Ｓであるか否かを判断するための基準となる位置であり、後述の第四処理ＳＴＥＰ－３２４が行われるごと（１フレームごと）に設定される。過去の基準位置Ｒｐとは、例えば所定時間前（１フレーム前）に設定された基準位置Ｒｐである。現在の面Ｓとは、最新（現在フレーム）の三次元地図Ｍに含まれる面Ｓである。所定距離Ｄとは、吊荷Ｗの面Ｓであるか否かを判断するための基準となる距離であり、所定時間内の吊荷Ｗの移動距離として想定される最大距離よりも大きく設定されることが好ましい。これは、想定される最大速度で吊荷Ｗが移動したとしても、適切に吊荷Ｗの面Ｓを設定できるようにするためである。過去の基準位置Ｒｐから所定距離Ｄ内に存在する現在の面Ｓを吊荷Ｗの面Ｓとして設定した後には、第三処理ＳＴＥＰ－３２３へ移行する。
　尚、第二処理ＳＴＥＰ－３２２において、過去の基準位置Ｒｐが設定されていない場合（第一処理ＳＴＥＰ－３２１において、吊荷Ｗの位置を取得した直後の場合）は、第一処理ＳＴＥＰ－３２１において出力した吊荷Ｗの特定領域の面Ｓを吊荷Ｗの面Ｓとして設定する。
　第三処理ＳＴＥＰ－３２３において、データ処理部７０は、吊荷Ｗの面Ｓを結合する（図１０（Ｃ）参照）。このとき、吊荷Ｗの高さ寸法ｈを用いることで、三次元地図Ｍにおける吊荷Ｗの形状が定められる。吊荷Ｗの面Ｓを結合した後には、第四処理ＳＴＥＰ－３２４へ移行する。
　第四処理ＳＴＥＰ－３２４において、データ処理部７０は、三次元地図Ｍにおける吊荷Ｗに基準位置Ｒｐを設定する（図１０（Ｄ）参照）。例えば基準位置Ｒｐは、三次元地図Ｍにおける吊荷Ｗの表面又は内部に設定される。
　基準位置Ｒｐが設定された後の同一領域推定処理ＳＴＥＰ－３２において、データ処理部７０は、第一処理ＳＴＥＰ－３２１を行わず、第二処理ＳＴＥＰ－３２２から第四処理ＳＴＥＰ－３２４までを行う。つまり、１フレームごとに第二処理ＳＴＥＰ－３２２から第四処理ＳＴＥＰ－３２４までを繰り返す。
　図１４に示すように、データ処理部７０は、吊荷Ｗが大きく揺れた場合などに吊荷Ｗが指定位置Ｓｐから外れてしまったとしても、吊荷Ｗに対してガイド情報（ガイド枠図形ＧＤ１、吊荷Ｗの標高を表す数値ＧＤ２）を表示できる。具体的には、データ処理部７０は、吊荷Ｗ上に指定位置Ｓｐが位置するとき（図１０（Ａ）参照）に、第一処理ＳＴＥＰ－３２１において、指定位置Ｓｐに基づいて三次元地図Ｍにおける吊荷Ｗの位置を取得している。その後、データ処理部７０は、第二処理ＳＴＥＰ－３２２から第四処理ＳＴＥＰ－３２４までを繰り返して、１フレームごとに吊荷Ｗの面Ｓの設定、吊荷Ｗの面Ｓの結合、基準位置Ｒｐの設定を行っている。このようにすることで、データ処理部７０は、吊荷Ｗが大きく揺れた場合などに移動する吊荷Ｗを追跡して、吊荷Ｗに対してガイド情報（ガイド枠図形ＧＤ１、吊荷Ｗの標高を表す数値ＧＤ２）を表示している。
　このように、ガイド表示装置５０は、三次元地図Ｍにおける吊荷Ｗに基準位置Ｒｐを設定し、過去の基準位置Ｒｐから所定距離Ｄ内に存在する現在の面Ｓを吊荷Ｗの面Ｓとして設定することによって三次元地図Ｍにおける吊荷Ｗを追跡する、としたものである。かかるガイド表示装置５０によれば、吊荷Ｗを追跡してガイド情報（ガイド枠図形ＧＤ１、吊荷Ｗの標高を表す数値ＧＤ２）を表示できる。
　次に、第二実施形態に係るガイド表示装置５０について説明する。本実施形態においては、吊荷Ｗを吊り上げる前にオペレータが指定位置Ｓｐを指定しているものとして説明する。尚、以下においては、第一実施形態に係るガイド表示装置５０の説明で用いた名称と符号を用いることで、同じものを指すこととする。また、第一実施形態に係るガイド表示装置５０に対して相違する部分を中心に説明する。
　図１１に示すように、第五処理ＳＴＥＰ－３２５において、データ処理部７０は、吊荷Ｗが地表面Ｆに置かれているか否かを判断する。例えば前述の格子状に並ぶグリッドＧにおいて、吊荷Ｗの外縁に隣接するグリッドＧが地表面Ｆのみの場合に吊荷Ｗが地表面Ｆに置かれていると判断することができる（図７（Ｃ）参照）。或いは、吊荷Ｗが地表面Ｆに置かれていることをオペレータがデータ入力部９０に入力し、入力された情報に基づいて吊荷Ｗが地表面Ｆに置かれていると判断してもよい。吊荷Ｗが地表面Ｆに置かれている場合には、第六処理ＳＴＥＰ－３２６へ移行し、吊荷Ｗが地表面Ｆに置かれていない場合には、第七処理ＳＴＥＰ－３２７へ移行する。
　第六処理ＳＴＥＰ－３２６において、データ処理部７０は、三次元地図Ｍにおける吊荷Ｗと地表面Ｆとの標高値の差を吊荷Ｗの高さ寸法ｈとして設定する（図１２（Ａ）参照）。例えば地表面Ｆの標高値は、吊荷Ｗの下面の外縁に隣接する地表面Ｆの標高値が用いられる。吊荷Ｗの高さ寸法ｈを設定した後には、第二処理ＳＴＥＰ－３２２へ移行する。
　第七処理ＳＴＥＰ－３２７において、データ処理部７０は、三次元地図Ｍにおける吊荷Ｗと地物Ｅとの標高値の差を吊荷Ｗの高さ寸法ｈとして設定する（図１２（Ｂ）参照）。例えば地物Ｅの標高値は、吊荷Ｗの下面の外縁に隣接する地物Ｅの標高値が用いられる。吊荷Ｗの高さ寸法ｈを設定した後には、第二処理ＳＴＥＰ－３２２へ移行する。
　第八処理ＳＴＥＰ－３２８において、データ処理部７０は、基準位置Ｒｐを吊荷Ｗの重心位置Ｇｐに設定する（図１２（Ｃ）参照）。吊荷Ｗの重心位置Ｇｐは、吊荷Ｗの高さ寸法ｈを用いて算出される。
　このように、ガイド表示装置５０は、基準位置Ｒｐを吊荷Ｗの重心位置Ｇｐに設定する、としたものである。かかるガイド表示装置５０によれば、前述の効果に加え、吊荷Ｗの重心位置Ｇｐから所定距離Ｄ内にある面Ｓを吊荷Ｗの面Ｓと設定するため、より正確に吊荷Ｗの面Ｓの設定ができる。
　加えて、ガイド表示装置５０は、地表面Ｆの上方から地表面Ｆを含む点群データＰを取得し、吊荷Ｗが地表面Ｆに置かれているときの三次元地図Ｍにおける吊荷Ｗと地表面Ｆとの標高値の差を吊荷Ｗの高さ寸法ｈとして設定し、吊荷Ｗの高さ寸法ｈを用いて吊荷Ｗの重心位置Ｇｐを算出する、としたものである。かかるガイド表示装置５０によれば、前述の効果に加え、吊荷Ｗが地表面Ｆに置かれているときに吊荷Ｗの高さ寸法ｈを自動的に設定できる。
　加えて、ガイド表示装置５０は、地物Ｅの上方から地物Ｅを含む点群データＰを取得し、吊荷Ｗが地物Ｅ上に置かれているときの三次元地図Ｍにおける吊荷Ｗと地物Ｅとの標高値の差を吊荷Ｗの高さ寸法ｈとして設定し、吊荷Ｗの高さ寸法ｈを用いて吊荷Ｗの重心位置Ｇｐを算出する、としたものである。かかるガイド表示装置５０によれば、前述の効果に加え、トラックの荷台などの地物Ｅ上に吊荷Ｗが置かれているときでも吊荷Ｗの高さ寸法ｈを自動的に設定できる。
　次に、第三実施形態に係るガイド表示装置５０について説明する。
　図１３に示すように、第九処理ＳＴＥＰ－３２９において、データ処理部７０は、三次元地図Ｍにおける吊荷Ｗを追跡できた否かを判断する。三次元地図Ｍにおける吊荷Ｗを追跡できなかった場合は、例えば吊荷Ｗにレーザ光が照射されず、基準位置Ｒｐから所定距離Ｄ内に存在する面Ｓが存在しないなどの状況で生じる。つまり、基準位置Ｒｐから所定距離Ｄ内に存在する面Ｓが存在しない場合などに三次元地図Ｍにおける吊荷Ｗを追跡できなかったと判断する。三次元地図Ｍにおける吊荷Ｗを追跡できた場合には、第三処理ＳＴＥＰ－３２３へ移行し、三次元地図Ｍにおける吊荷Ｗを追跡できなかった場合には、第十処理ＳＴＥＰ－３２１０へ移行する。
　第十処理ＳＴＥＰ－３２１０において、データ処理部７０は、映像ｉにおける吊荷Ｗを画像解析により追跡する。そして、映像ｉと三次元地図Ｍを対応付けることで、三次元地図Ｍにおける吊荷Ｗの面Ｓの設定を行う。例えば画像解析による追跡手法として、機械学習アルゴリズムを用いたＣＳＲＴ（Ｃｈａｎｎｅｌ　ａｎｄ　Ｓｐａｔｉａｌ　Ｒｅｌｉａｂｉｌｉｔｙ　Ｔｒａｃｋｉｎｇ）法などを採用できる。吊荷Ｗを追跡した後には、第三処理ＳＴＥＰ－３２３へ移行する。
　このように、ガイド表示装置５０は、吊荷Ｗの上方から吊荷Ｗを含む映像ｉを撮影するカメラ６１を備え、三次元地図Ｍにおける吊荷Ｗを追跡できなかった場合に映像ｉにおける吊荷Ｗを画像解析により追跡する、としたものである。かかるガイド表示装置５０によれば、前述の効果に加え、吊荷Ｗの点群データＰを取得できなかった場合でも、吊荷Ｗを追跡してガイド情報（ガイド枠図形ＧＤ１、吊荷Ｗの標高を表す数値ＧＤ２）を表示できる。
　最後に、発明の対象をガイド表示装置５０からガイド表示装置５０を備えたクレーン１とすることも考えられる。
　即ち、クレーン１は、ガイド表示装置５０を備えている、としたものである。かかるクレーン１によれば、前述の効果と同様の効果を奏する。
　本発明は、ガイド表示装置およびこれを備えたクレーンに利用することが可能である。
　１　　　クレーン
　５０　　ガイド表示装置
　６０　　データ取得部
　６１　　カメラ
　６２　　レーザスキャナ
　６３　　慣性計測装置（ＩＭＵ）
　６４　　第一測位装置（ＧＮＳＳ受信機）
　６５　　第二測位装置（ＧＮＳＳ受信機）
　６６　　センサユニット
　７０　　データ処理部
　８０　　データ表示部
　９０　　データ入力部
　Ｄ　　　所定距離
　Ｅ　　　地物
　Ｆ　　　地表面
　Ｇ　　　グリッド
　ＧＤ１　ガイド情報（ガイド枠図形）
　ＧＤ２　ガイド情報（吊荷の標高を表す数値）
　Ｇｐ　　重心位置
　ｈ　　　吊荷の高さ寸法
　ｉ　　　映像
　Ｍ　　　三次元地図
　Ｐ　　　点群データ
　ｐ　　　点データ
　Ｐｒ　　代表点
　Ｒｐ　　基準位置
　Ｓ　　　面
　Ｗ　　　吊荷

Claims (6)

  1. 　レーザスキャナが吊荷の上方から取得した当該吊荷を含む点群データを用いて複数の面を作成するとともに当該複数の面によって三次元地図を作成し、所定時間ごとに前記三次元地図を作成するデータ処理部を備えたクレーンのガイド表示装置であって、
    　前記データ処理部は、
    　前記三次元地図における前記吊荷に基準位置を設定し、
    　過去の前記基準位置から所定距離内に存在する現在の前記面を前記吊荷の面として設定することによって前記三次元地図における前記吊荷を追跡する、ことを特徴とするガイド表示装置。
  2. 　前記データ処理部は、前記基準位置を前記吊荷の重心位置に設定する、ことを特徴とする請求項１に記載のガイド表示装置。
  3. 　前記点群データは、前記レーザスキャナが地表面の上方から取得した当該地表面を含むデータであり、
    　前記データ処理部は、前記吊荷が前記地表面に置かれているときの前記三次元地図における当該吊荷と当該地表面との標高値の差を当該吊荷の高さ寸法として設定し、前記吊荷の高さ寸法を用いて当該吊荷の重心位置を算出する、ことを特徴とする請求項２に記載のガイド表示装置。
  4. 　前記点群データは、前記レーザスキャナが地物の上方から取得した当該地物を含むデータであり、
    　前記データ処理部は、前記吊荷が前記地物上に置かれているときの前記三次元地図における当該吊荷と当該地物との標高値の差を当該吊荷の高さ寸法として設定し、前記吊荷の高さ寸法を用いて当該吊荷の重心位置を算出する、ことを特徴とする請求項２又は請求項３に記載のガイド表示装置。
  5. 　前記データ処理部は、前記三次元地図における前記吊荷を追跡できなかった場合に、カメラが前記吊荷の上方から撮影した前記吊荷を含む映像における前記吊荷を画像解析により追跡する、ことを特徴とする請求項１から請求項４のいずれか一項に記載のガイド表示装置。
  6. 　請求項１から請求項５のいずれか一項に記載のガイド表示装置を備えたクレーン。
PCT/JP2021/012010 2020-03-26 2021-03-23 ガイド表示装置およびこれを備えたクレーン WO2021193642A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21774541.3A EP4129881A4 (en) 2020-03-26 2021-03-23 GUIDE INDICATOR DEVICE AND CRANE EQUIPPED THEREWITH
US17/911,315 US20230055311A1 (en) 2020-03-26 2021-03-23 Guide display device, and crane provided with same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-056814 2020-03-26
JP2020056814A JP7402728B2 (ja) 2020-03-26 2020-03-26 ガイド表示システムおよびこれを備えたクレーン

Publications (1)

Publication Number Publication Date
WO2021193642A1 true WO2021193642A1 (ja) 2021-09-30

Family

ID=77892190

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/012010 WO2021193642A1 (ja) 2020-03-26 2021-03-23 ガイド表示装置およびこれを備えたクレーン

Country Status (4)

Country Link
US (1) US20230055311A1 (ja)
EP (1) EP4129881A4 (ja)
JP (1) JP7402728B2 (ja)
WO (1) WO2021193642A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023152333A (ja) * 2022-04-04 2023-10-17 日鉄テックスエンジ株式会社 天井クレーン監視システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012073856A (ja) * 2010-09-29 2012-04-12 Secom Co Ltd 監視用センサ
JP2019023774A (ja) * 2017-07-21 2019-02-14 株式会社タダノ 測定対象物の上面推定方法、ガイド情報表示装置およびクレーン
JP2019024150A (ja) 2017-07-21 2019-02-14 株式会社タダノ ガイド情報表示装置およびクレーン

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366977A (ja) * 2001-06-08 2002-12-20 Pasuko:Kk 地物形状作成システム及び３次元地図作成システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012073856A (ja) * 2010-09-29 2012-04-12 Secom Co Ltd 監視用センサ
JP2019023774A (ja) * 2017-07-21 2019-02-14 株式会社タダノ 測定対象物の上面推定方法、ガイド情報表示装置およびクレーン
JP2019024150A (ja) 2017-07-21 2019-02-14 株式会社タダノ ガイド情報表示装置およびクレーン

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4129881A4

Also Published As

Publication number Publication date
JP2021155175A (ja) 2021-10-07
JP7402728B2 (ja) 2023-12-21
EP4129881A4 (en) 2024-04-17
EP4129881A1 (en) 2023-02-08
US20230055311A1 (en) 2023-02-23

Similar Documents

Publication Publication Date Title
US10794047B2 (en) Display system and construction machine
CN111874821B (zh) 点群数据的聚类方法、向导信息显示装置及起重机
JP6457469B2 (ja) 移動ロボットの干渉領域設定装置
CN111943050B (zh) 引导信息显示装置、具有该引导信息显示装置的起重机和引导信息显示方法
JP2002328022A (ja) 地形形状計測装置およびガイダンス装置
JP2012255286A (ja) 建設機械制御システム
JP6445151B2 (ja) ロボット装置及びロボット装置の移動制御方法
JP2010152834A (ja) 無人移動体システム
WO2021193642A1 (ja) ガイド表示装置およびこれを備えたクレーン
CN111928782A (zh) 测定对象物的上表面推定方法、引导信息显示装置以及起重机
JP2022159504A (ja) 付加的建設動作のための機械配置を最適化するための制御システムおよび方法
WO2020122028A1 (ja) 地表面推定方法、計測領域表示システムおよびクレーン
WO2021193639A1 (ja) ガイド表示装置およびこれを備えたクレーン
WO2021193641A1 (ja) ガイド表示装置およびこれを備えたクレーン
US20220307833A1 (en) Surveying system, point cloud data acquiring method, and point cloud data acquiring program
WO2020122026A1 (ja) 領域推定方法、計測領域表示システムおよびクレーン
JP6598552B2 (ja) 位置計測システム
WO2021193638A1 (ja) ガイド表示装置およびこれを備えたクレーン
JP2023014767A (ja) 掘削機械の稼働範囲設定システムおよびその制御方法
WO2021193640A1 (ja) ガイド表示装置およびこれを備えたクレーン
JP2018084544A (ja) 位置推定装置、地図情報作製装置、移動体、位置推定方法及びプログラム
US20240127372A1 (en) Construction management system, data processing device, and construction management method
JP2022045985A (ja) 作業車両の走行補助装置およびこれを備えた作業車両
JP2022173478A (ja) 建設機械の自動制御システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21774541

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021774541

Country of ref document: EP

Effective date: 20221026