WO2021193640A1 - ガイド表示装置およびこれを備えたクレーン - Google Patents

ガイド表示装置およびこれを備えたクレーン Download PDF

Info

Publication number
WO2021193640A1
WO2021193640A1 PCT/JP2021/012005 JP2021012005W WO2021193640A1 WO 2021193640 A1 WO2021193640 A1 WO 2021193640A1 JP 2021012005 W JP2021012005 W JP 2021012005W WO 2021193640 A1 WO2021193640 A1 WO 2021193640A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
suspended load
feature
processing unit
data processing
Prior art date
Application number
PCT/JP2021/012005
Other languages
English (en)
French (fr)
Inventor
巖 石川
孝幸 小阪
勁太 間嶋
諭 窪田
田中　成典
匡哉 中原
光貴 中畑
Original Assignee
株式会社タダノ
学校法人 関西大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社タダノ, 学校法人 関西大学 filed Critical 株式会社タダノ
Priority to EP21775498.5A priority Critical patent/EP4129883A4/en
Priority to US17/911,272 priority patent/US11958725B2/en
Publication of WO2021193640A1 publication Critical patent/WO2021193640A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/20—Control systems or devices for non-electric drives
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/40—Applications of devices for transmitting control pulses; Applications of remote control devices
    • B66C13/42—Hydraulic transmitters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C23/00—Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
    • B66C23/62—Constructional features or details
    • B66C23/64—Jibs
    • B66C23/66—Outer or upper end constructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Definitions

  • the present invention relates to a guide display device and a crane provided with the guide display device.
  • the guide display device disclosed in Patent Document 1 includes a data processing unit that calculates representative points for each grid using point cloud data acquired by a laser scanner and creates a three-dimensional map based on the representative points. ..
  • the data processing unit generates guide information such as a guide frame figure surrounding the suspended load and the feature, and superimposes the guide information on the image taken by the camera and displays it on the data display unit. With such a guide display device, it is possible to present the operator with information on the position and altitude of the suspended load and the features around the suspended load.
  • the present invention has been made in view of such a problem, and when the guide information is superimposed on the image taken by the camera and displayed on the data display unit, the guide frame figure for the suspended load or the feature is displayed. It is an object of the present invention to provide a guide display device capable of suppressing deviation.
  • the guide display device uses the point group data acquired by scanning the suspended load and the ground surface and the feature from above the suspended load by a laser scanner, and uses the suspended load and the ground surface and the ground.
  • a data processing unit that generates a three-dimensional map of an object, a guide frame image that represents the outline of the suspended load and the feature, and a camera that displays the suspended load and the ground surface and the feature from above the suspended load.
  • a data display unit for displaying a captured image is provided, and the guide frame figure generated by the data processing unit is superimposed on the image of the suspended load and the feature captured by the camera displayed on the data display unit.
  • the data processing unit calculates the measurement area of the camera, captures the three-dimensional map in the measurement area from the viewpoint of the camera, and generates a first image.
  • the image of the camera is mosaic-processed according to the grain size of the three-dimensional map to generate a second image, and the first image and the second image are registered to generate the first image and the second image.
  • the amount of deviation of the second image is calculated, and based on the calculated amount of deviation, the arrangement position of the guide frame figure with respect to the image of the suspended load and the feature is corrected, and the suspended load and the said
  • the feature is that the image of the feature and the guide frame figure are superimposed and displayed.
  • the data processing unit is characterized in that the first image and the second image are registered by image processing.
  • the data processing unit is characterized in that the first image and the second image are registered by image processing by a template matching method.
  • the data processing unit is characterized in that the image of the position not including the suspended load in the second image is used as a template image.
  • the crane according to the present invention is characterized by including any of the guide display devices.
  • the guide display device when the guide information is superimposed on the image taken by the camera and displayed on the data display unit, it is possible to suppress the deviation of the guide frame figure with respect to the suspended load or the feature. can. As a result, the guide information in the guide display device can be accurately displayed.
  • the position of the three-dimensional map based on the point cloud data acquired by the laser scanner can be easily synchronized with the image taken by the camera.
  • the guide display device it is possible to accurately synchronize the position of the three-dimensional map based on the point cloud data acquired by the laser scanner with the image taken by the camera.
  • the guide display device it is possible to more accurately synchronize the position of the three-dimensional map based on the point cloud data acquired by the laser scanner with the image taken by the camera.
  • guide information can be accurately presented to the operator.
  • the figure which shows the guide display device which concerns on one Embodiment of this invention. The figure which shows the scanning mode by a laser scanner.
  • the figure which shows the outline of the 3D map update process. A diagram showing a three-dimensional map created through a three-dimensional map update process.
  • the crane 1 is a mobile crane that can move to an unspecified place.
  • the crane 1 includes a traveling vehicle 2 and a crane device 6.
  • the traveling vehicle 2 conveys the crane device 6.
  • the traveling vehicle 2 has a plurality of wheels 3 and travels by using the engine 4 as a power source.
  • the traveling vehicle 2 is provided with an outrigger 5.
  • the outrigger 5 is composed of a beam extending in the width direction of the traveling vehicle 2 and a jack cylinder that is in contact with the ground surface F to support the traveling vehicle 2.
  • the crane device 6 transports the suspended load W in a lifted state.
  • the crane device 6 includes a boom 7.
  • a wire rope 8 is hung on the boom 7.
  • a hook 9 is attached to the wire rope 8 hanging from the tip of the boom 7.
  • a winch 10 is arranged in the vicinity of the base end side of the boom 7.
  • the crane device 6 is provided with a cabin 11 on the side of the boom 7. Inside the cabin 11, a swivel operation tool 19, a telescopic operation tool 20, an undulation operation tool 21, a winding operation tool 22, and the like are provided (see FIG. 2).
  • the boom 7 can be swiveled by an actuator.
  • an actuator is defined as a swivel motor 12.
  • the swivel motor 12 is appropriately operated by the swivel valve 23, which is an electromagnetic proportional switching valve (see FIG. 2). That is, the swivel motor 12 operates appropriately when the swivel valve 23 switches the flow rate and the flow direction of the hydraulic oil.
  • the swivel valve 23 operates based on the instruction of the control device 18.
  • the turning angle of the boom 7 is detected by the turning sensor 27 (see FIG. 2).
  • the boom 7 can be expanded and contracted by an actuator.
  • an actuator is defined as a telescopic cylinder 13.
  • the expansion / contraction cylinder 13 is appropriately operated by the expansion / contraction valve 24 which is an electromagnetic proportional switching valve (see FIG. 2). That is, the expansion / contraction cylinder 13 operates appropriately when the expansion / contraction valve 24 switches the flow rate and the flow direction of the hydraulic oil.
  • the expansion / contraction valve 24 operates based on the instruction of the control device 18.
  • the expansion / contraction length of the boom 7 is detected by the expansion / contraction sensor 28 (see FIG. 2).
  • the boom 7 is undulating by an actuator.
  • an actuator is defined as an undulating cylinder 14.
  • the undulation cylinder 14 is appropriately operated by the undulation valve 25, which is an electromagnetic proportional switching valve (see FIG. 2). That is, the undulating cylinder 14 operates appropriately when the undulating valve 25 switches the flow rate and the flow direction of the hydraulic oil.
  • the undulating valve 25 operates based on the instruction of the control device 18.
  • the undulation angle of the boom 7 is detected by the undulation sensor 29 (see FIG. 2).
  • the hook 9 can be raised and lowered by an actuator.
  • an actuator is defined as a winding motor 15.
  • the winding motor 15 is appropriately operated by the winding valve 26, which is an electromagnetic proportional switching valve (see FIG. 2). That is, the winding motor 15 operates appropriately when the winding valve 26 switches the flow rate and the flow direction of the hydraulic oil.
  • the winding valve 26 operates based on the instruction of the control device 18.
  • the hanging length of the hook 9 is detected by the winding sensor 30 (see FIG. 2).
  • the XYZ coordinate system is defined for the crane 1.
  • the X-axis direction (also referred to as the depth direction) in the XYZ coordinate system is perpendicular to the axial direction of the undulating fulcrum of the boom 7 and perpendicular to the gravity direction.
  • the Y-axis direction (also referred to as a horizontal direction) in the XYZ coordinate system is parallel to the axial direction of the undulating fulcrum of the boom 7 and perpendicular to the gravity direction.
  • the Z-axis direction (also referred to as the vertical direction) in the XYZ coordinate system is a direction perpendicular to the axial direction of the undulating fulcrum of the boom 7 and parallel to the gravity direction.
  • the guide display device 50 is linked with the control device 18 of the crane 1.
  • the guide display device 50 includes a data acquisition unit 60, a data processing unit 70, a data display unit 80, and a data input unit 90.
  • the data acquisition unit 60 acquires information necessary for generating guide information described later.
  • the data acquisition unit 60 has a sensor unit 66 in which a camera 61, a laser scanner 62, an inertial measurement unit 63, and a first positioning device 64 are integrated.
  • the sensor unit 66 is attached to the tip of the boom 7 via a gimbal (see FIG. 1).
  • the camera 61 captures a part of the work area.
  • the camera 61 outputs the captured image to the data processing unit 70.
  • the camera 61 photographs the suspended load W and the ground surface F (including the feature E) around the suspended load W from above the suspended load W. Therefore, the data processing unit 70 can acquire an image of the suspended load W and the ground surface F (including the feature E) around the suspended load W.
  • the laser scanner 62 acquires point cloud data P for a part of the work area (see FIG. 3).
  • the laser scanner 62 outputs the acquired point cloud data P to the data processing unit 70.
  • the laser scanner 62 scans the suspended load W and the ground surface F (including the feature E) around the suspended load W from above the suspended load W. Therefore, the data processing unit 70 can acquire the point cloud data P for the suspended load W and the ground surface F (including the feature E) around the suspended load W.
  • the inertial measurement unit (Inertial Measurement Unit: hereinafter referred to as "IMU") 63 acquires information on the posture of the sensor unit 66 (specifically, information on the posture of the camera 61 and the laser scanner 62).
  • the IMU 63 outputs the acquired information regarding the postures of the camera 61 and the laser scanner 62 to the data processing unit 70. Therefore, the data processing unit 70 can acquire information regarding the postures of the camera 61 and the laser scanner 62.
  • the first positioning device 64 receives radio waves emitted from GNSS satellites to receive the latitude, longitude, and altitude values (specifically, lasers) of the sensor unit 66.
  • the coordinate value of the scanner 62) is acquired.
  • the GNSS receiver 64 outputs the acquired coordinate values of the laser scanner 62 to the data processing unit 70. Therefore, the data processing unit 70 can acquire the coordinate values of the laser scanner 62.
  • the second positioning device 65 is arranged at the turning center position of the crane device 6.
  • the second positioning device (Global Navigation Satellite System: hereinafter referred to as "GNSS receiver”) 65 receives radio waves emitted from the GNSS satellite to receive the latitude, longitude, and altitude value of the turning center of the crane device 6 (specifically).
  • the coordinate value of the turning center of the crane device 6) is acquired.
  • the GNSS receiver 65 outputs the acquired coordinate value of the turning center to the data processing unit 70. Therefore, the data processing unit 70 can acquire the coordinate value of the turning center of the crane device 6.
  • the guide display device 50 constitutes a GNSS compass with the boom 7 as a baseline based on the coordinate values of the laser scanner 62 and the coordinate values of the turning center of the crane device 6. Therefore, the data processing unit 70 can calculate the orientation of the laser scanner 62. Further, in the guide display device 50, it is preferable that the measurement times of the point cloud data P and the IMU63 are synchronized with the time of the atomic clock of the GNSS satellite (hereinafter referred to as “GNSS time”).
  • the GNSS receiver 64 and the GNSS receiver 65 employ an RTK (Real Time Kinetic) positioning method with high positioning accuracy. However, the method is not limited to the RTK positioning method, and other positioning methods may be adopted.
  • the data processing unit 70 is connected to the data acquisition unit 60 and performs various processing.
  • the data processing unit 70 is composed of, for example, a general-purpose computer.
  • the data processing unit 70 is arranged in the vicinity of the sensor unit 66. However, the data processing unit 70 may be arranged in another place such as inside the cabin 11. Of course, it may be portable.
  • the data display unit 80 is connected to the data processing unit 70 and displays various information.
  • the data display unit 80 is composed of, for example, a general-purpose monitor.
  • the data display unit 80 is arranged inside the cabin 11. Therefore, information can be presented to the operator of the crane 1.
  • the data processing unit 70 is portable, it may be an integrated monitor.
  • the data input unit 90 is connected to the data processing unit 70 to input various numerical values or change settings.
  • the data input unit 90 is composed of, for example, a general-purpose keyboard, mouse, and touch panel.
  • the data input unit 90 is also arranged inside the cabin 11. Therefore, the operator of the crane 1 can freely input a numerical value or change the setting.
  • the data processing unit 70 may be an integrated keyboard, mouse, or touch panel.
  • the laser scanner 62 irradiates the ground surface F with laser light from above.
  • the laser scanner 62 includes a plurality of laser transmitters and laser receivers, simultaneously irradiates a plurality of laser beams, and simultaneously performs a plurality of point data p (a set of point data p is a point group data P). Can be obtained.
  • the laser scanner 62 is provided with a total of 16 laser transmitters, and can irradiate 16 laser beams at the same time.
  • Each laser transmitter has a different irradiation angle of 2 ° about the Y-axis direction. Further, each laser transmitter is configured to be capable of irradiating by continuously changing the phase angle around the X axis. Therefore, the laser scanner 62 can irradiate a predetermined range of the ground surface F with the laser beam.
  • the laser scanner 62 is provided with a total of 16 laser receivers, and can detect reflected light of 16 laser beams at the same time.
  • Each laser receiver has a different detection angle by 2 ° about the Y-axis direction.
  • each laser receiver is configured to be able to detect reflected light in the same optical path as the laser light transmitted from the laser transmitter.
  • the laser scanner 62 can acquire the point cloud data P that covers the ground surface F.
  • the range in which the point cloud data P can be acquired includes the measurement area R, which is the range captured by the camera 61.
  • the data processing unit 70 can acquire the point cloud data P for the range including the measurement area R. Since the laser scanner 62 scans the suspended load W and the ground surface F (including the feature E) around the suspended load W from above the suspended load W, the point cloud data P includes the suspended load W and the ground surface F. The feature E will appear (see FIG. 8 (B)).
  • Various information acquired by the IMU63 and the GNSS receivers 64 and 65 is added to each point data p constituting the point cloud data P. For example, posture information and position information.
  • the data processing unit 70 performs the point cloud data correction step STEP-1, the three-dimensional map creation step STEP-2, the clustering step STEP-3, and the work area visualization step STEP-4. These steps are repeated at predetermined time intervals.
  • the point cloud data correction step STEP-1 acquires the point cloud data P, attitude information, and position information at the time closest to the current time based on the information obtained by the laser scanner 62, IMU63, and GNSS64 / 65, and the orientation of the laser scanner 62. Is calculated. Then, the position and inclination of the point cloud data P are corrected using the posture information, the position information, and the orientation, and this is output as the corrected point cloud data P (see FIG. 5).
  • the point cloud data correction step STEP-1 is composed of a time synchronization process STEP-11 and a rigid body conversion process STEP-12.
  • the time synchronization process STEP-11 synchronizes the information obtained by the laser scanners 62, IMU63, and GNSS64 / 65, which are the closest time to the current time and have circled from one end of the measurement area R to the other, at the GNSS time. Then, the combination of the synchronized point data p, the posture information, and the position information is output.
  • the rigid body conversion process STEP-12 acquires one combination of synchronized point data p, posture information, and position information. Then, the coordinate values of the point data p are rigidly transformed using the acquired attitude information, the coordinate system of the point data p is transformed into the plane orthogonal coordinate system, and the point cloud data P whose tilt, position and orientation are corrected is output. ..
  • the three-dimensional map creation step STEP-2 is a grid-like grid (a region divided into a grid shape including a plurality of point data ps) by superimposing the corrected point cloud data Ps acquired from different times and positions. ) Divide into G, and calculate the representative point Pr for each grid G (see FIG. 6 (A)). Then, by generating a surface based on the representative point Pr, this is output as a three-dimensional map M of the work area (see FIG. 6B).
  • the three-dimensional map creation process STEP-2 is composed of a grid generation process STEP-21 and a three-dimensional map update process STEP-22.
  • the grid generation process STEP-21 superimposes the corrected point cloud data Ps and divides them into a grid-like grid G. Then, an average value is calculated for the altitude value (height component of the coordinate value) of the point data p included in the grid G, and a representative point Pr with the height component as the average value is calculated at the position of the center of gravity of the grid G.
  • the three-dimensional map update process STEP-22 acquires the newly calculated representative point Pr for each grid G.
  • the existing representative point Pr calculated last time is also acquired. Then, when the newly calculated representative point Pr and the existing representative point Pr are different, a surface based on the newly calculated representative point Pr is generated and the three-dimensional map M is output.
  • the existing representative point Pr acquired at this time reflects the processing result of the feature area estimation process (STEP-34) based on the image described later, and the feature E estimated in STEP-34 is the three-dimensional map M. It is reflected in.
  • labels L are assigned to specific regions for the representative points Pr of the grids G adjacent to each other in the vertical and horizontal directions based on the relationship between the height components of the representative points Pr (see FIG. 7A). ..
  • the circled numbers shown in FIG. 7A and the like represent the label L.
  • the specific area corresponding to the suspended load W is designated as the suspended load W
  • the specific area corresponding to the ground surface F is output as the ground surface F (see FIG. 7B).
  • the other specific area is output as a feature E (see FIG. 7C).
  • the clustering step STEP-3 is composed of labeling process STEP-31, same area estimation process STEP-32, feature area estimation process STEP-33, and image-based feature area estimation process STEP-34. There is.
  • the grid G arranged in a grid pattern is regarded as a pixel. Further, the height component of the representative point Pr existing in each grid G is regarded as a luminance value. Then, the brightness values of the grids G adjacent to each other on the top, bottom, left, and right are compared based on a predetermined setting, and the label L is given to the specific area.
  • the same area estimation process STEP-32 regards a specific area with the same label L as one plane. Then, the specific area selected by the operator by manual operation in the specific area with the same label L is output as the suspended load W. Further, the specific region having the largest number of point data p is output as the ground surface F.
  • the feature area estimation process STEP-33 confirms whether or not the area other than the specific area designated as the suspended load W or the ground surface F is the feature E.
  • the specific processing flow will be described later.
  • the confirmation area is a feature of the area designated as the ground surface F in the feature area estimation process STEP-33 based on the image data obtained by capturing the same area with the camera 61. Check again whether it is E or not. The specific processing flow will be described later.
  • the work area visualization step STEP-4 generates guide information (including numerical values GD2 and GD3 representing altitude) such as a guide frame figure GD1 surrounding the suspended load W and the feature E, and with respect to the image taken by the camera 61.
  • the guide information is superimposed and output to the data display unit 80 (see FIG. 8A). Further, the three-dimensional map M showing the three-dimensional positional relationship between the suspended load W, the ground surface F, and the feature E is visualized and output (see FIG. 8B).
  • the work area visualization process STEP-4 is composed of the area visualization process STEP-41 and the three-dimensional map visualization process STEP-42.
  • the area visualization process STEP-41 calculates the positions of the suspended load W and the feature E on the image based on the position and orientation of the laser scanner 62. Then, the guide frame figure GD1 surrounding the suspended load W and the feature E is generated, and the guide frame figure GD1 is superimposed and output on the suspended load W and the feature E in the image taken by the camera 61. Further, the numerical value GD2 representing the altitude of the suspended load W and the numerical value GD3 representing the altitude of the feature E are also output.
  • the three-dimensional map visualization process STEP-42 acquires the coordinate values of the representative points Pr for each grid G for the suspended load W, the ground surface F, and the feature E with the label L. Then, a surface having the representative point Pr as the center of gravity is generated for each grid G. At this time, the width of one side of the surface is the same as the width of the grid G. After that, the suspended load W, the ground surface F, and the feature E are colored and visualized as a three-dimensional map M.
  • the data processing unit 70 performs the three-dimensional map update process STEP-22 in the three-dimensional map creation process STEP-2.
  • the three-dimensional map update process STEP-22 is composed of a plurality of processes performed for each grid G.
  • the processing flow described below is an example adopted in the guide display device 50. However, it suffices if the invention described in the present application can be realized, and the processing flow is not limited.
  • the data processing unit 70 acquires the latest representative point Pr1 in the grid G (see FIG. 10 (A)).
  • the “representative point Pr1” refers to the representative point Pr calculated at the time closest to the current time. After acquiring the representative point Pr1, the process proceeds to the second process STEP-222.
  • the data processing unit 70 acquires the existing representative point Pr2 in the grid G (see FIG. 10B).
  • “Representative point Pr2” refers to a representative point Pr calculated before the representative point Pr1 is calculated. After acquiring the representative point Pr2, the process proceeds to the third process STEP-223.
  • the "representative point Pr2" acquired here reflects the processing result in the feature area estimation processing STEP-34 using the image described later.
  • the data processing unit 70 determines whether or not the latest representative point Pr1 and the existing representative point Pr2 are different. If the representative point Pr1 and the representative point Pr2 are different, the process proceeds to the fourth process STEP-224, and if the representative point Pr1 and the representative point Pr2 are not different, the process proceeds to the eighth process STEP-228.
  • the data processing unit 70 determines whether or not the grid G is included in the occlusion area Ro.
  • the “occlusion area” here is an area that is in the shadow of the suspended load.
  • the process proceeds to the fifth process STEP-225, and when the grid G is not included in the occlusion area Ro, the process proceeds to the ninth process STEP-229.
  • the data processing unit 70 acquires the altitude value H of the suspended load W (see FIG. 8B). That is, the distance from the occlusion region Ro to the upper surface of the suspended load W is acquired. After acquiring the altitude value H, the process proceeds to the sixth process STEP-226.
  • the data processing unit 70 acquires the height dimension h of the suspended load W (see FIG. 8B).
  • the height dimension h of the suspended load W corresponds to the altitude value inherited from the state where the suspended load W is placed on the ground surface F (the state where the suspended load W is the feature E).
  • the process proceeds to the seventh process STEP-227.
  • the data processing unit 70 determines a threshold value at which the elevation value H of the suspended load W is determined based on the height dimension h of the suspended load W (a value equal to the height dimension h in the guide display device 50). Judge whether or not it exceeds. If the altitude value H exceeds the threshold value, the process proceeds to the eighth process STEP-228, and if the altitude value H does not exceed the threshold value, the process proceeds to the ninth process STEP-229.
  • the data processing unit 70 deletes the representative point Pr1 in the grid G (see FIG. 10C). Then, in the grid G, a surface is generated based on the existing representative point Pr2. By doing so, if the latest representative point Pr1 and the existing representative point Pr2 do not differ, they will not be updated. Further, even if the latest representative point Pr1 and the existing representative point Pr2 are different, the grid G is included in the occlusion region Ro, and the elevation value H of the suspended load W is based on the height dimension h of the suspended load W. If it exceeds the fixed threshold value, it will not be updated.
  • the data processing unit 70 deletes the representative point Pr2 in the grid G (see FIG. 10C). Then, in the grid G, a surface is generated based on the latest representative point Pr1. By doing so, the latest representative point Pr1 and the existing representative point Pr2 are different, and the grid G is updated when it is not included in the occlusion region Ro. Further, even if the latest representative point Pr1 and the existing representative point Pr2 are different and the grid G is included in the occlusion region Ro, the threshold value H of the suspended load W is determined based on the height dimension h of the suspended load W. Will be updated if it does not exceed.
  • the occlusion region Ro which is the shadow of the suspended load W
  • the occlusion area Ro is not updated, and even if the occlusion area Ro occurs, the same feature E is not mistakenly recognized as a plurality of different features E or the ground surface F (see FIG. 13). ..
  • the elevation value H of the suspended load W exceeds the threshold value determined based on the height dimension h of the suspended load W
  • the newly calculated representative point Pr1 and the existing representative point Pr2 are different. Even in this case, the occlusion area Ro is not updated.
  • the data processing unit 70 recognizes a wide area including the shadow of the suspended load W as an occlusion area Ro. Specifically, the data processing unit 70 identifies the boundary line B1 of the grid G corresponding to the outer edge of the suspended load W, and specifies the boundary line B2 separated from the boundary line B1 to the outside by one or a plurality of grids G. (See FIG. 10 (C)). Then, the region surrounded by the boundary line B2 is recognized as the occlusion region Ro.
  • the suspended load W in the three-dimensional map M is recognized even if the suspended load W is conveyed or shaken. Peripheral accuracy is improved.
  • the data processing unit 70 performs the same region estimation process STEP-32 in the clustering step STEP-3.
  • the same area estimation process STEP-32 is composed of a plurality of processes performed for each grid G.
  • the processing flow described below is an example adopted in the guide display device 50. However, it suffices if the invention described in the present application can be realized, and the processing flow is not limited.
  • the data processing unit 70 acquires a plurality of frames f, f, f ... Arranged in time series (see FIG. 13 (A)).
  • the “frame f” refers to a three-dimensional map M created based on the point cloud data P at a certain time. After acquiring the frame f, the process proceeds to the second process STEP-322.
  • the data processing unit 70 calculates the average value of the elevation values for each grid G for the specific area with the same label L in each frame f (see FIG. 13B). In the guide display device 50, such an average value is represented by one decimal place. After calculating the average value, the process proceeds to the third process STEP-323.
  • the data processing unit 70 determines whether or not the difference between the altitude value and the average value in the specific region of the latest frame f exceeds the threshold value. If these differences exceed the threshold value, the process proceeds to the fourth process STEP-324, and if these differences do not exceed the threshold value, the process proceeds to the fifth process STEP-325.
  • the data processing unit 70 recognizes such a specific area as a moving object m (see FIG. 13 (C)).
  • the suspended load W may be included in such a specific area.
  • the suspended load W can be identified because it is a specific area selected by the operator by manual operation. By doing so, it is possible to track the suspended load W to be transported without losing sight of it, and the guide frame figure GD1 surrounding the suspended load W can be moved according to the transportation of the suspended load W.
  • the data processing unit 70 recognizes such a specific area as the stationary body s (see FIG. 13C).
  • the suspended load W may be included in such a specific area.
  • the suspended load W can be identified because it is a specific area selected by the operator by manual operation. By doing so, it is possible to track the suspended load W whose transportation has been stopped without losing sight of it, and the guide frame figure GD1 surrounding the suspended load W can be stopped according to the stop of the suspended load W. ..
  • the guide display device 50 when the guide display device 50 cannot track the suspended load W in the current frame f, the guide display device 50 deletes the existence of the suspended load W from the past frames f, f, f ... Is to be updated. According to the guide display device 50, in addition to the above-mentioned effects, the accuracy of the upper surface shape of the suspended load W in the three-dimensional map M can be improved even if the suspended load W is conveyed or shaken (and by extension, the three-dimensional map M).
  • the guide frame figure GD1 generated based on the above corresponds to the shape of the upper surface of the suspended load W: see FIG. 14).
  • the guide display device 50 superimposes guide information (guide frame figure GD1 or the like) generated based on the three-dimensional map M on the image captured by the camera 61 and displays it on the data display unit 80. It was done. According to the guide display device 50, in addition to the above-mentioned effects, highly accurate guide information (guide frame figure GD1 and numerical values GD2 and GD3 representing altitude) can be presented to the operator together with the image.
  • the data processing unit 70 performs the feature area estimation process STEP-33 in the clustering step STEP-3.
  • a confirmation area a set of representative points Pr in the confirmation area is acquired, and an average elevation value Hb which is an average value of the height components of the representative points Pr included in the confirmation area is calculated (hereinafter referred to as a confirmation area).
  • the specific region as the ground surface F closest to the confirmation region is acquired, and the average elevation value Ha, which is the average value of the height components of the representative point Pr included in the specific region, is calculated (STEP-332). ).
  • the data processing unit 70 makes a determination based on the difference between the average altitude value Ha and the average altitude value Hb (STEP-333).
  • the confirmation area is estimated to be a feature E (STEP-335).
  • the data processing unit 70 estimates the confirmation area as the ground surface F (STEP-334).
  • the process when the set confirmation area is estimated to be the ground surface F in the feature area estimation process STEP-33, the process further shifts to the feature area estimation process STEP-34 using an image for the confirmation area. ..
  • the data processing unit 70 performs image processing on the image data acquired by the camera 61 and extracts the edge Eg included in the image data. (STEP-341).
  • the data processing unit 70 superimposes the extracted image of the edge Eg on the three-dimensional map M (see FIG. 17 (A)) including the confirmation area estimated to be the ground surface F (STEP-342). ).
  • the data processing unit 70 identifies the grid Gc through which the edge Eg extracted in the confirmation region passes, and the neighborhood range Ma (FIG. 17 (FIG. 17)) consisting of a total of nine grids G centered on the specified grid Gc. B)) is set (STEP-343).
  • the data processing unit 70 uses a plurality of frames f ⁇ f ... (For example, for example) that trace back a predetermined time (for example, 1 second) from the latest frame f for each grid G included in the neighborhood range Ma.
  • the point cloud data P in (30 frames) is stored (STEP-344).
  • the data processing unit 70 slices the stored point cloud data P for a plurality of frames to a predetermined thickness in the height direction, and divides the stored point cloud data P into a plurality of layers having a predetermined thickness. Then, the uppermost layer (hereinafter, referred to as the uppermost layer) including the point cloud data P is specified among the plurality of divided layers (STEP-345).
  • the feature gets in between the side line intervals of the laser, and the point cloud data p that captures the feature is only the point cloud data P for one frame measured most recently. It may be small (or there is no point data p at all).
  • the point cloud data p when the laser hits the feature is accumulated. Then, it becomes possible to grasp the existence of a small feature E and the rough position of the feature E.
  • the data processing unit 70 calculates the average value of the heights of the point cloud data P included in the specified uppermost layer, and updates the calculated average value as the elevation value of the representative point Pr of the grid Gc ( STEP-346).
  • the update of the elevation value of the representative point Pr is performed for all the grids Gc extracted as the edge Eg passes through.
  • the representative point Pr whose elevation value has been updated is acquired as "representative point Pr2" in the second processing STEP-222 when the three-dimensional map update processing STEP-22 is performed next time, and the feature is based on an image.
  • the processing result of the area estimation process STEP-34 is reflected in the three-dimensional map M in the three-dimensional map update process STEP-22.
  • the data processing unit 70 recalculates the average elevation value Hb based on the updated elevation value of the representative point Pr (STEP-347).
  • the data processing unit 70 makes a re-determination based on the difference between the average altitude value Ha and the recalculated average altitude value Hb (STEP-348).
  • the confirmation area is estimated as the feature E, and the confirmation area is output as the feature E (STEP-349).
  • the data processing unit 70 estimates the confirmation area as the ground surface F (STEP-350).
  • the data processing unit 70 recognizes the edge Eg in the feature area estimation process STEP-34 using images, accumulates the information that estimates the feature E, and reflects it on the three-dimensional map M. By accumulating the information once presumed to be the feature E in the guide display device 50 in this way, it is possible to reliably recognize the small feature E.
  • the image data taken by the camera 61 may include a small feature E that cannot be captured by the laser scanner 62 in a specific area designated as the ground surface F.
  • the image data taken by the camera 61 is also used, the position where the feature E exists is roughly grasped from the image processing result, and the point cloud data P in the vicinity of the grasped position is accumulated and averaged.
  • the guide display device 50 can acquire the height of the feature E regardless of the size (width and depth) of the feature E.
  • the guide display device 50 employs the Canny method as an image processing method performed in the step (STEP-341) of extracting the edge Eg of the feature E.
  • the Canny method is a general image processing algorithm for detecting the contour portion (edge Eg) of an image.
  • the image processing by the Canny method is characterized in that there are few omissions in contour detection and erroneous detection, and is therefore suitable for extracting the edge Eg of the feature E in the feature area estimation process STEP-34 using images.
  • the method of extracting edge Eg by image processing using the Canny method will be described below.
  • the data processing unit 70 first smoothes the image data by using a smoothing filter to reduce the noise of the image data.
  • a Gaussian filter is used as the smoothing filter.
  • the Gaussian filter is a filter that uses a Gaussian function to weight the brightness of pixels in the vicinity of the pixel of interest according to the distance from the pixel of interest, and is generally used as a smoothing filter. ..
  • the data processing unit 70 extracts the edge Eg on the image data by using a spatial filter for extracting the contour on the smoothed image data.
  • a Sobel filter is used as the spatial filter.
  • the sobel filter is a spatial filter in which a smoothing filter and a differential filter are combined, and weights the brightness of pixels in the vicinity of the pixel of interest while changing the weighting amount according to the distance from the pixel of interest.
  • the data processing unit 70 leaves only the portion where the intensity of the extracted contour is maximum (that is, the portion where the brightness is maximum in the normal direction of the contour), and deletes the images of the other parts. Then, the outline is thinned.
  • the data processing unit 70 applies two predetermined threshold values, large and small, to the thinned contour image to generate two binarized images.
  • the smaller threshold is set to include contours that are not certain to be Edge Eg in the binarized image to which the threshold is applied.
  • the larger threshold is set to include only contours that are certain to be edge Eg in the binarized image to which the threshold is applied. Then, the two binarized images generated in this way are superposed, and the overlapping portion of the contour is finally extracted as an edge Eg.
  • the image processing method performed in the step of extracting the edge Eg of the feature E is not limited to the Canny method, but is limited to the method of extracting the edge Eg only with the Sobel filter and the Laplacian filter only.
  • the method of extracting the edge Eg may be adopted, and various other methods capable of extracting the edge Eg can be adopted.
  • the Canny method only those that form linear information are extracted as edge Eg, so the amount of information handled is smaller than that of the image processing method that extracts edge Eg only with the Sobel filter or the Laplacian filter, and the data processing unit. It is also unlikely that the processing speed of 70 will decrease. Therefore, it is preferable to adopt the Canny method in a situation such as STEP-341 where the position of the edge Eg of the feature E can be roughly grasped.
  • the guide display device 50 reliably displays the guide display without erroneously recognizing the place where the small feature E is present as the ground surface without the feature. Therefore, the operator can surely recognize the small feature E, and the workability can be improved.
  • the guide display device 50 shown in the present embodiment includes a laser scanner 62 that scans the suspended load W, the ground surface F, and the feature E from above the suspended load W, and the suspended load W and the suspended load W from above the suspended load W.
  • the data display unit 80 includes a data processing unit 70 that generates a guide frame figure GD1 that represents the outline of the feature E, a data display unit 80 that displays an image of the measurement area R taken by the camera 61, and a data display unit 80.
  • It is a guide display device 50 of the crane 1 that superimposes and displays the guide frame figure GD1 generated by the data processing unit 70 on the images of the suspended load W and the feature E taken by the displayed camera 61.
  • the data processing unit 70 uses the data processing unit 70 to determine the measurement area R of the camera 61 in the coordinate system (plane rectangular coordinate system) of the three-dimensional map M from the current position and orientation of the camera 61.
  • the area corresponding to (see FIG. 3B) is calculated (STEP-411).
  • the calculated measurement area R will be described as the measurement area Rx to distinguish them.
  • the data processing unit 70 then captures the three-dimensional map M viewed from the viewpoint at the current position of the camera 61 in the calculated measurement area Rx, and captures the first image P1 (see FIG. 19). ) Is generated (STEP-412).
  • a color-processed (colored) three-dimensional map M is used as the three-dimensional map M.
  • the color processing for the three-dimensional map M is performed based on the point cloud data P acquired by the laser scanner 62, and the color of the position corresponding to the position of the representative point Pr of each grid G from the image acquired by the camera 62. It is generated by extracting information and filling each grid G with a color corresponding to the extracted color information.
  • the data processing unit 70 then mosaic-processes the image of the measurement area R viewed from the viewpoint at the current position of the camera 61 with a particle size matching the number of pixels of the three-dimensional map M. , Generates a second image P2 (see FIG. 19) (STEP-413).
  • the data processing unit 70 then performs a registration process (alignment process) of the first image P1 and the second image P2 as shown in FIGS. 18 and 19 (STEP). -414).
  • this registration process the feature points included in the first image P1 and the second image P2 can be used, or the difference in the brightness values of the pixels in the first image P1 and the second image P2 can be used. ..
  • the alignment of the first image P1 and the second image P2 is performed, and the deviation amount D between the first image P1 and the second image P2 is calculated.
  • the measurement area R of the camera 61 and the measurement area Rx calculated by the data processing unit 70 match, but the measurement area R and the measurement area Rx usually deviate from each other due to a measurement error or the like. Therefore, the deviation amount D is calculated and corrected.
  • the data processing unit 70 calculates the positions of the suspended load W and the feature E on the image taken by the camera 61 based on the position and orientation of the laser scanner 62 (STEP-). 415).
  • the data processing unit 70 generates a guide frame figure GD1 that surrounds the suspended load W and the feature E, and with respect to the suspended load W and the feature E in the image taken by the camera 61.
  • the guide frame figure GD1 is superimposed and output (STEP-416).
  • the data processing unit 70 corrects the position of the guide frame figure GD1 with respect to the suspended load W and the feature E based on the deviation amount D obtained in STEP-414, and displays the guide information.
  • the data processing unit 70 registers the first image P1 and the second image P2 by image processing, and is based on the image taken by the camera 61 and the point cloud data P acquired by the laser scanner 62.
  • the position of the three-dimensional map M can be easily synchronized.
  • the data processing unit 70 calculates the measurement area Rx of the camera 61, captures the three-dimensional map M in the measurement area Rx from the viewpoint of the camera 61, and generates the first image P1.
  • the image of the camera 61 is mosaic-processed according to the grain size of the three-dimensional map M to generate the second image P2, the first image P1 and the second image P2 are registered, and the first image P1 and the second image P1 and the second image P2 are generated.
  • the deviation amount D of the image P2 is calculated, and based on the calculated deviation amount D, the suspension load W is displayed on the data display unit 80 while correcting the arrangement position of the guide frame figure GD1 with respect to the images of the suspension load W and the feature E. And the image of the feature E and the guide frame figure GD1 are superimposed and displayed.
  • the guide display device 50 having such a configuration, when the guide information is superimposed on the image captured by the camera 61 and displayed on the data display unit 80, the guide frame figure GD1 for the suspended load W or the feature E is displayed. It becomes possible to suppress the deviation of. As a result, the guide display device 50 can accurately display the guide information (that is, the guide frame figure GD1 for the suspended load W and the feature E).
  • Temporal matching is a method of searching for whether or not the same pattern as one image exists in another image by image processing. Specifically, 1) the sum of squares of the difference between the value (luminance value) of each pixel of the template image and the value (luminance value) of each pixel in the image of the search target area is calculated, and 2) the image of the search target area. The template image is moved up, down, left and right with respect to the above, and the position where the sum of squares of the differences calculated in 1) is minimized is detected. Then, in "template matching", the detected position is specified as a position where there is an image corresponding to the template image in the search target area.
  • the second image P2 is set as a template image. Then, the difference between the brightness value in each pixel of the set template image and the brightness value in each corresponding pixel in the first image P1 is calculated, and the position of the template image when the sum of squares of the difference is minimized is calculated. do.
  • the data processing unit 70 is configured to perform registration processing on the first image P1 and the second image P2 by image processing by the template matching method, so that the image taken by the camera 61 and the image taken by the camera 61 can be combined. It is possible to accurately synchronize the position of the three-dimensional map M based on the point group data P acquired by the laser scanner 62.
  • the suspended load W may shake, so it is preferable to exclude it from the template image. Therefore, in the guide display device 50, as shown in FIG. 20, the template image is set in the range of the image that does not include the suspended load W in the second image P2. With such a configuration, the registration processing of the first image P1 and the second image P2 can be performed more accurately, and the calculation accuracy of the deviation amount D is improved.
  • the data processing unit 70 uses the image of the position not including the suspended load W in the second image P2 as the template image, and excludes the image of the suspended load W displaced during shooting from the template image. This makes it possible to more accurately synchronize the position of the three-dimensional map M based on the point group data P acquired by the laser scanner 62 with the image captured by the camera 61.
  • the deviation amount D is calculated by obtaining the deviation distance of the outer frame when the images P1 and P2 of the measurement area R and the measurement area Rx that ideally match are aligned by template matching.
  • the deviation amount D includes the deviation amount Dx in the X-axis direction and the deviation amount Dy in the Y-axis direction in the XYZ coordinate system.
  • the case where "template matching" is adopted as the registration processing method in the area visualization process STEP-41 is illustrated, but in the area visualization process STEP-41 executed by the guide display device 50.
  • the registration processing method is not limited to this.
  • As the registration processing method in the region visualization processing STEP-41 for example, "BRISK”, “ORB”, “AKAZE” and the like may be adopted.
  • BRISK is a method for searching for corresponding points by image processing, and can calculate features that do not depend on scale (enlargement and reduction) and rotation. Specifically, 1) a total of 60 concentric pixels determined regularly from the image are set, and the pixel values thereof are used. 2) Two pixels are randomly selected from them and classified into a long-distance pair and a short-distance pair based on the threshold value of the pixel value. 3) The average gradient vector of the pixel values is calculated from the long-distance pair, and the overall gradient direction of the pixel values is grasped. 4) Using the calculated average gradient vector, the brightness value is rotated and standardized.
  • the registration process can be performed by searching for the corresponding points by the method of "BRISK" and aligning the detected corresponding points with each other.
  • ORB is a method for searching for corresponding points by image processing, and it is possible to calculate a feature amount that does not depend on scale (enlargement and reduction) and rotation. It differs from “BRISK” in that the sampling position is tested using the Greedy algorithm when selecting a long-distance pair and a short-distance pair. Compared with “BRISK”, “ORB” has a feature that the bit distribution of the binary code is large and the correlation between the bits of the binary code is small.
  • AKAZE is a method of extracting feature points in an image, and has a feature that it is not easily affected by scale (enlargement and reduction) and rotation. Specifically, 1) a smoothed image is generated for the target image by a nonlinear diffusion filter. 2) In the generated smoothed image, a part having a large difference from the value of the adjacent pixel is extracted as a feature point.
  • the crane 1 shown in the present embodiment is provided with the guide display device 50 shown in the above description to provide the operator with guide information (that is, the guide frame figure GD1 for the suspended load W and the feature E). It will be possible to present it accurately.
  • the present invention can be used for a guide display device and a crane equipped with the guide display device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Control And Safety Of Cranes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

カメラが撮影した画像に対してガイド情報を重ね合わせてデータ表示部に表示するときに、吊荷や地物に対するガイド枠図形のズレを抑制することが可能なガイド表示装置を提供する。クレーン（１）のガイド表示装置（５０）において、データ処理部（７０）は、カメラ（６１）の計測領域（Ｒ）に対応する計測領域（Ｒｘ）を算出し、カメラ（６１）の視点からの計測領域（Ｒｘ）における三次元地図（Ｍ）をキャプチャして第一画像（Ｐ１）を生成するとともに、カメラ（６１）の画像を三次元地図（Ｍ）の粒度に合わせてモザイク処理して第二画像（Ｐ２）を生成し、第一画像（Ｐ１）と第二画像（Ｐ２）をレジストレーション処理して、第一画像（Ｐ１）と第二画像（Ｐ２）のズレ量（Ｄ）を算出し、算出したズレ量（Ｄ）に基づいて、吊荷（Ｗ）および地物（Ｅ）の画像に対して、ガイド枠図形（ＧＤ１）の配置位置を補正し、データ表示部（８０）に、吊荷（Ｗ）および地物（Ｅ）の画像とガイド枠図形（ＧＤ１）を重ねて表示する。

Description

ガイド表示装置およびこれを備えたクレーン
　本発明は、ガイド表示装置およびこれを備えたクレーンに関する。
　従来、吊荷と吊荷周辺の地物について、位置および標高に関する情報をオペレータに提示できるガイド表示装置が公知となっている。かかるガイド表示装置は、特許文献１に開示されている。
　特許文献１に開示されたガイド表示装置は、レーザスキャナが取得した点群データを用いてグリッドごとに代表点を算出するとともに代表点に基づいて三次元地図を作成するデータ処理部を備えている。データ処理部は、吊荷や地物を取り囲むガイド枠図形などのガイド情報を生成し、カメラが撮影した画像に対してガイド情報を重ね合わせてデータ表示部に表示する。このようなガイド表示装置によれば、吊荷と吊荷周辺の地物について、位置および標高に関する情報をオペレータに提示できる。
特開２０１９－２４１５１号公報
　しかしながら、特許文献１に開示されたガイド表示装置は、カメラが撮影した画像に対してガイド情報を重ね合わせてデータ表示部に表示したときに、吊荷や地物に対してガイド枠図形がズレる場合があり、ガイド情報を的確に表示することができないという課題があった。
　本発明は、このような課題を鑑みてなされたものであり、カメラが撮影した画像に対してガイド情報を重ね合わせてデータ表示部に表示するときに、吊荷や地物に対するガイド枠図形のズレを抑制することが可能なガイド表示装置を提供することを目的としている。
　本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
　即ち、本発明に係るガイド表示装置は、レーザスキャナが吊荷の上方から当該吊荷ならびに地表面および地物を走査して取得した点群データを用いて、当該吊荷ならびに前記地表面および地物の三次元地図と、前記吊荷および前記地物の輪郭を表すガイド枠図形と、を生成するデータ処理部と、カメラが前記吊荷の上方から当該吊荷ならびに前記地表面および地物を撮影した画像を表示するデータ表示部と、を備え、前記データ表示部に表示した前記カメラが撮影した前記吊荷および前記地物の画像に、前記データ処理部により生成した前記ガイド枠図形を重ねて表示するクレーンのガイド表示装置であって、前記データ処理部は、前記カメラの計測領域を算出し、前記カメラの視点からの前記計測領域における前記三次元地図をキャプチャして第一画像を生成するとともに、前記カメラの画像を前記三次元地図の粒度に合わせてモザイク処理して第二画像を生成し、前記第一画像と前記第二画像をレジストレーション処理して、前記第一画像と前記第二画像のズレ量を算出し、算出したズレ量に基づいて、前記吊荷および前記地物の画像に対する前記ガイド枠図形の配置位置を補正し、前記データ表示部に、前記吊荷および前記地物の画像と前記ガイド枠図形を重ねて表示することを特徴とする。
　また、本発明に係るガイド表示装置において、前記データ処理部は、画像処理により、前記第一画像と前記第二画像をレジストレーション処理することを特徴とする。
　また、本発明に係るガイド表示装置において、前記データ処理部は、テンプレートマッチング法による画像処理により、前記第一画像と前記第二画像をレジストレーション処理することを特徴とする。
　また、本発明に係るガイド表示装置において、前記データ処理部は、前記第二画像における前記吊荷を含まない位置の画像をテンプレート画像とすることを特徴とする。
　また、本発明に係るクレーンは、前記ガイド表示装置の何れかを備えることを特徴とする。
　本発明の効果として、以下に示すような効果を奏する。
　本発明に係るガイド表示装置によれば、カメラが撮影した画像に対してガイド情報を重ね合わせてデータ表示部に表示するときに、吊荷や地物に対するガイド枠図形のズレを抑制することができる。これにより、ガイド表示装置におけるガイド情報を的確に表示することができる。
　また、本発明に係るガイド表示装置によれば、カメラで撮影した画像と、レーザスキャナで取得した点群データに基づく三次元地図の位置を容易に同期させることができる。
　また、本発明に係るガイド表示装置によれば、カメラで撮影した画像と、レーザスキャナで取得した点群データに基づく三次元地図の位置を精度よく同期させることができる。
　また、本発明に係るガイド表示装置によれば、カメラで撮影した画像と、レーザスキャナで取得した点群データに基づく三次元地図の位置をより精度よく同期させることができる。
　また、ガイド表示装置を備えたクレーンにおいて、オペレータに対してガイド情報を的確に提示することができる。
本発明の一実施形態に係るクレーンを示す図。 本発明の一実施形態に係るガイド表示装置を示す図。 レーザスキャナによる走査態様を示す図。 データ処理部による処理の流れを示す図。 点群データ補正工程の概要を示す図。 三次元地図作成工程の概要を示す図。 クラスタリング工程の概要を示す図。 作業領域可視化工程の概要を示す図。 三次元地図更新処理の流れを示す図。 三次元地図更新処理の概要を示す図。 三次元地図更新処理を経て作成された三次元地図を示す図。 同一領域推定処理の流れを示す図。 同一領域推定処理の概要を示す図。 同一領域推定処理を経て生成されたガイド情報を示す図。 オクルージョン領域の発生によって誤認識が生じる状況を示す図。 地物領域推定処理と画像による地物領域推定処理の流れを示す図。 画像による地物領域推定処理の概要を示す図。 領域可視化処理の流れを示す図。 第一画像と第二画像の生成およびレジストレーション処理の概要を示す図。 テンプレート画像の概要を示す図。
　まず、本発明の一実施形態に係るクレーン１について説明する。
　図１に示すように、クレーン１は、不特定の場所に移動可能な移動式クレーンである。
クレーン１は、走行車両２とクレーン装置６を備えている。
　走行車両２は、クレーン装置６を搬送するものである。走行車両２は、複数の車輪３を有し、エンジン４を動力源として走行する。走行車両２には、アウトリガ５が設けられている。アウトリガ５は、走行車両２の幅方向に延伸するビームと地表面Ｆに接地して走行車両２を支持するジャッキシリンダで構成されている。
　クレーン装置６は、吊荷Ｗを吊り上げた状態で搬送するものである。クレーン装置６は、ブーム７を備えている。ブーム７には、ワイヤロープ８が架け渡されている。ブーム７の先端部分から垂下するワイヤロープ８には、フック９が取り付けられている。また、ブーム７の基端側近傍には、ウインチ１０が配置されている。尚、クレーン装置６は、ブーム７の側方にキャビン１１を備えている。キャビン１１の内部には、旋回操作具１９や伸縮操作具２０、起伏操作具２１、巻回操作具２２などが設けられている（図２参照）。
　ブーム７は、アクチュエータによって旋回自在となっている。本願においては、かかるアクチュエータを旋回用モータ１２と定義する。旋回用モータ１２は、電磁比例切換弁である旋回用バルブ２３によって適宜に稼動する（図２参照）。つまり、旋回用モータ１２は、旋回用バルブ２３が作動油の流量や流動方向を切り替えることで適宜に稼動する。尚、旋回用バルブ２３は、制御装置１８の指示に基づいて稼動する。ブーム７の旋回角度は、旋回用センサ２７によって検出される（図２参照）。
　また、ブーム７は、アクチュエータによって伸縮自在となっている。本願においては、かかるアクチュエータを伸縮用シリンダ１３と定義する。伸縮用シリンダ１３は、電磁比例切換弁である伸縮用バルブ２４によって適宜に稼動する（図２参照）。つまり、伸縮用シリンダ１３は、伸縮用バルブ２４が作動油の流量や流動方向を切り替えることで適宜に稼動する。尚、伸縮用バルブ２４は、制御装置１８の指示に基づいて稼動する。ブーム７の伸縮長さは、伸縮用センサ２８によって検出される（図２参照）。
　更に、ブーム７は、アクチュエータによって起伏自在となっている。本願においては、かかるアクチュエータを起伏用シリンダ１４と定義する。起伏用シリンダ１４は、電磁比例切換弁である起伏用バルブ２５によって適宜に稼動する（図２参照）。つまり、起伏用シリンダ１４は、起伏用バルブ２５が作動油の流量や流動方向を切り替えることで適宜に稼動する。尚、起伏用バルブ２５は、制御装置１８の指示に基づいて稼動する。ブーム７の起伏角度は、起伏用センサ２９によって検出される（図２参照）。
　加えて、フック９は、アクチュエータによって昇降自在となっている。本願においては、かかるアクチュエータを巻回用モータ１５と定義する。巻回用モータ１５は、電磁比例切換弁である巻回用バルブ２６によって適宜に稼動する（図２参照）。つまり、巻回用モータ１５は、巻回用バルブ２６が作動油の流量や流動方向を切り替えることで適宜に稼動する。尚、巻回用バルブ２６は、制御装置１８の指示に基づいて稼動する。フック９の吊下長さは、巻回用センサ３０によって検出される（図２参照）。
　ところで、本願においては、クレーン１に対してＸＹＺ座標系を規定している。ＸＹＺ座標系におけるＸ軸方向（奥行方向とも呼ぶ）は、ブーム７の起伏支点の軸方向に対して垂直、かつ重力方向に対して垂直な方向となっている。また、ＸＹＺ座標系におけるＹ軸方向（水平方向とも呼ぶ）は、ブーム７の起伏支点の軸方向に対して平行、かつ重力方向に対して垂直な方向となっている。更に、ＸＹＺ座標系におけるＺ軸方向（鉛直方向とも呼ぶ）は、ブーム７の起伏支点の軸方向に対して垂直、かつ重力方向に対して平行な方向となっている。
　次に、本発明の一実施形態に係るガイド表示装置（ガイド表示システム）５０について説明する。
　図２に示すように、ガイド表示装置５０は、クレーン１の制御装置１８と連携している。ガイド表示装置５０は、データ取得部６０とデータ処理部７０とデータ表示部８０とデータ入力部９０を備えている。
　データ取得部６０は、後述するガイド情報を生成するために必要な情報を取得するものである。データ取得部６０は、カメラ６１とレーザスキャナ６２と慣性計測装置６３と第一測位装置６４が一体に構成されたセンサユニット６６を有している。センサユニット６６は、ブーム７の先端部分にジンバルを介して取り付けられている（図１参照）。
　カメラ６１は、作業領域の一部を撮影するものである。カメラ６１は、撮影した画像をデータ処理部７０へ出力する。尚、カメラ６１は、吊荷Ｗの上方から吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）を撮影する。そのため、データ処理部７０は、吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）についての画像を取得することができる。
　レーザスキャナ６２は、作業領域の一部について点群データＰを取得するものである（図３参照）。レーザスキャナ６２は、取得した点群データＰをデータ処理部７０へ出力する。尚、レーザスキャナ６２は、吊荷Ｗの上方から吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）を走査する。そのため、データ処理部７０は、吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）についての点群データＰを取得することができる。
　慣性計測装置（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ：以下「ＩＭＵ」とする）６３は、センサユニット６６の姿勢に関する情報（具体的にはカメラ６１とレーザスキャナ６２の姿勢に関する情報）を取得するものである。ＩＭＵ６３は、取得したカメラ６１とレーザスキャナ６２の姿勢に関する情報をデータ処理部７０へ出力する。そのため、データ処理部７０は、カメラ６１とレーザスキャナ６２の姿勢に関する情報を取得することができる。
　第一測位装置（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ：以下「ＧＮＳＳ受信機」とする）６４は、ＧＮＳＳ衛星から発せられた電波を受信することでセンサユニット６６の緯度、経度、標高値（具体的にはレーザスキャナ６２の座標値）を取得するものである。ＧＮＳＳ受信機６４は、取得したレーザスキャナ６２の座標値をデータ処理部７０へ出力する。そのため、データ処理部７０は、レーザスキャナ６２の座標値を取得することができる。
　加えて、データ取得部６０においては、第二測位装置６５がクレーン装置６の旋回中心位置に配置されている。第二測位装置（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ：以下「ＧＮＳＳ受信機」とする）６５は、ＧＮＳＳ衛星から発せられた電波を受信することでクレーン装置６の旋回中心の緯度、経度、標高値（具体的にはクレーン装置６の旋回中心の座標値）を取得するものである。ＧＮＳＳ受信機６５は、取得した旋回中心の座標値をデータ処理部７０へ出力する。そのため、データ処理部７０は、クレーン装置６の旋回中心の座標値を取得することができる。
　このように、ガイド表示装置５０は、レーザスキャナ６２の座標値とクレーン装置６の旋回中心の座標値によってブーム７を基線としたＧＮＳＳコンパスを構成している。このため、データ処理部７０は、レーザスキャナ６２の向きを算出することができる。また、ガイド表示装置５０では、点群データＰおよびＩＭＵ６３の計測時刻がＧＮＳＳ衛星の原子時計の時刻（以下「ＧＮＳＳ時刻」とする）で同期していることが好ましい。尚、ＧＮＳＳ受信機６４とＧＮＳＳ受信機６５には、測位精度の高いＲＴＫ（Ｒｅａｌ　Ｔｉｍｅ　Ｋｉｎｅｍａｔｉｃ）測位方式を採用している。但し、ＲＴＫ測位方式に限定せず、他の測位方式を採用していてもよい。
　データ処理部７０は、データ取得部６０と接続されており、様々な処理を行うものである。データ処理部７０は、例えば汎用のコンピュータによって構成されている。尚、データ処理部７０は、センサユニット６６の近傍に配置されている。但し、データ処理部７０は、キャビン１１の内部など他の場所に配置されていてもよい。もちろん持ち運び可能なものであってもよい。
　データ表示部８０は、データ処理部７０と接続されており、様々な情報を映し出すものである。データ表示部８０は、例えば汎用のモニタによって構成されている。尚、データ表示部８０は、キャビン１１の内部に配置されている。そのため、クレーン１のオペレータに対して情報を提示できる。もちろんデータ処理部７０が持ち運び可能なものである場合などでは、一体となったモニタであってもよい。
　データ入力部９０は、データ処理部７０と接続されており、様々な数値を入力或いは設定を変更するものである。データ入力部９０は、例えば汎用のキーボードやマウス、タッチパネルによって構成されている。尚、データ入力部９０も、キャビン１１の内部に配置されている。そのため、クレーン１のオペレータが自在に数値を入力或いは設定を変更できる。もちろんデータ処理部７０が持ち運び可能なものである場合などでは、一体となったキーボードやマウス、タッチパネルであってもよい。
　次に、レーザスキャナ６２による走査態様について説明する。
　図３に示すように、レーザスキャナ６２は、地表面Ｆに対して上方からレーザ光を照射する。レーザスキャナ６２は、複数のレーザ発信機ならびにレーザ受信機を備えており、同時に複数本のレーザ光を照射して同時に複数個の点データｐ（点データｐの集合が点群データＰである）を取得できる。
　具体的に説明すると、レーザスキャナ６２は、合計１６個のレーザ発信機を備えており、同時に１６本のレーザ光を照射できる。それぞれのレーザ発信機は、Ｙ軸方向を中心に２°ずつ照射角度を異にしている。また、それぞれのレーザ発信機は、Ｘ軸を中心に連続的に位相角を変えて照射可能に構成されている。そのため、レーザスキャナ６２は、地表面Ｆの所定の範囲に対してレーザ光を照射できる。
　更に、レーザスキャナ６２は、合計１６個のレーザ受信機を備えており、同時に１６本のレーザ光の反射光を検出できる。それぞれのレーザ受信機は、Ｙ軸方向を中心に２°ずつ検出角度を異にしている。また、それぞれのレーザ受信機は、レーザ発信機から発信されたレーザ光と同じ光路で反射光を検出可能に構成されている。こうして、レーザスキャナ６２は、地表面Ｆを覆う点群データＰを取得できるのである。尚、点群データＰを取得できる範囲は、カメラ６１によって撮影される範囲である計測領域Ｒを含んでいる。
　このように構成することで、データ処理部７０は、計測領域Ｒを含む範囲について点群データＰを取得できる。レーザスキャナ６２は、吊荷Ｗの上方から吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）を走査するため、点群データＰには、吊荷Ｗ、地表面Ｆ、地物Ｅが表れることとなる（図８（Ｂ）参照）。点群データＰを構成する各点データｐには、ＩＭＵ６３やＧＮＳＳ受信機６４・６５によって取得された様々な情報が付加される。例えば姿勢情報や位置情報などである。
　次に、データ処理部７０による処理の流れについて説明する。
　図４に示すように、データ処理部７０は、点群データ補正工程ＳＴＥＰ－１と三次元地図作成工程ＳＴＥＰ－２とクラスタリング工程ＳＴＥＰ－３と作業領域可視化工程ＳＴＥＰ－４を行う。これらの工程は、所定時間ごとに繰り返し行われる。
　点群データ補正工程ＳＴＥＰ－１は、レーザスキャナ６２、ＩＭＵ６３、ＧＮＳＳ６４・６５による情報を基に現在時刻から最も近い時刻の点群データＰ、姿勢情報および位置情報を取得し、レーザスキャナ６２の向きを算出する。そして、姿勢情報、位置情報および向きを用いて点群データＰの位置と傾きを補正し、これを補正済みの点群データＰとして出力する（図５参照）。
　具体的に説明すると、点群データ補正工程ＳＴＥＰ－１は、時刻同期処理ＳＴＥＰ－１１と剛体変換処理ＳＴＥＰ－１２で構成されている。
　時刻同期処理ＳＴＥＰ－１１は、現在時刻から最も近い時刻で、かつ計測領域Ｒの端から端までを一巡したレーザスキャナ６２、ＩＭＵ６３、ＧＮＳＳ６４・６５による情報同士をＧＮＳＳ時刻にて同期する。そして、同期済みの点データｐ、姿勢情報、位置情報の組み合わせを出力する。
　剛体変換処理ＳＴＥＰ－１２は、同期済みの点データｐ、姿勢情報、位置情報の組み合わせを一つ取得する。そして、取得した姿勢情報を用いて点データｐの座標値を剛体変換し、点データｐの座標系を平面直角座標系に変換して傾き、位置および向きを補正した点群データＰを出力する。
　三次元地図作成工程ＳＴＥＰ－２は、異なる時期や位置から取得した補正済みの点群データＰ同士を重ね合わせ、格子状のグリッド（複数の点データｐを含む格子状に分割された領域である）Ｇに分割し、グリッドＧごとに代表点Ｐｒを算出する（図６（Ａ）参照）。そして、代表点Ｐｒに基づいて面を生成することで、これを作業領域の三次元地図Ｍとして出力する（図６（Ｂ）参照）。
　具体的に説明すると、三次元地図作成工程ＳＴＥＰ－２は、グリッド生成処理ＳＴＥＰ－２１と三次元地図更新処理ＳＴＥＰ－２２で構成されている。
　グリッド生成処理ＳＴＥＰ－２１は、補正済みの点群データＰ同士を重ね合わせて格子状のグリッドＧに分割する。そして、グリッドＧに含まれる点データｐの標高値（座標値の高さ成分）について平均値を算出し、グリッドＧの重心位置に高さ成分を平均値とした代表点Ｐｒを算出する。
　三次元地図更新処理ＳＴＥＰ－２２は、グリッドＧごとに新たに算出された代表点Ｐｒを取得する。また、前回に算出された既存の代表点Ｐｒも取得する。そして、新たに算出された代表点Ｐｒと既存の代表点Ｐｒが異なる場合に新たに算出された代表点Ｐｒに基づく面を生成して三次元地図Ｍを出力する。このとき取得する既存の代表点Ｐｒとしては、後述する画像による地物領域推定処理（ＳＴＥＰ－３４）による処理結果が反映されており、ＳＴＥＰ－３４において推定された地物Ｅが三次元地図Ｍに反映される。
　クラスタリング工程ＳＴＥＰ－３は、上下左右に隣り合うグリッドＧの代表点Ｐｒについて互いの代表点Ｐｒの高さ成分の関係性から特定領域に対してラベルＬを付与する（図７（Ａ）参照）。なお、図７（Ａ）等に示す丸囲み数字がラベルＬを表している。そして、同じラベルＬが付された特定領域について吊荷Ｗに相当する特定領域を吊荷Ｗとし、地表面Ｆに相当する特定領域を地表面Ｆとして出力する（図７（Ｂ）参照）。更に、それ以外の特定領域を地物Ｅとして出力する（図７（Ｃ）参照）。
　具体的に説明すると、クラスタリング工程ＳＴＥＰ－３は、ラベリング処理ＳＴＥＰ－３１、同一領域推定処理ＳＴＥＰ－３２、地物領域推定処理ＳＴＥＰ－３３、画像による地物領域推定処理ＳＴＥＰ－３４で構成されている。
　ラベリング処理ＳＴＥＰ－３１は、格子状に並ぶグリッドＧを画素に見立てる。また、各グリッドＧに存在する代表点Ｐｒの高さ成分を輝度値に見立てる。そして、上下左右に隣り合うグリッドＧの輝度値を所定の定めに基づいて比較し、特定領域に対してラベルＬを付与する。
　同一領域推定処理ＳＴＥＰ－３２は、同じラベルＬが付された特定領域を一つの平面に見立てる。そして、同じラベルＬが付された特定領域の中でオペレータが手動操作によって選択した特定領域を吊荷Ｗとして出力する。また、最も点データｐが多い特定領域を地表面Ｆとして出力する。
　地物領域推定処理ＳＴＥＰ－３３は、吊荷Ｗや地表面Ｆとされた特定領域以外の領域を、地物Ｅであるか否かを確認する。具体的な処理の流れについては後述する。
　画像による地物領域推定処理ＳＴＥＰ－３４は、地物領域推定処理ＳＴＥＰ－３３において地表面Ｆとされた領域について、同領域をカメラ６１で撮影した画像データに基づいて、当該確認領域が地物Ｅであるか否かを再度確認する。具体的な処理の流れについては後述する。
　作業領域可視化工程ＳＴＥＰ－４は、吊荷Ｗや地物Ｅを取り囲むガイド枠図形ＧＤ１などのガイド情報（標高を表す数値ＧＤ２・ＧＤ３を含む）を生成し、カメラ６１が撮影した画像に対してガイド情報を重ね合わせてデータ表示部８０に出力する（図８（Ａ）参照）。また、吊荷Ｗ、地表面Ｆ、地物Ｅの三次元的な位置関係を表す三次元地図Ｍについて可視化して出力する（図８（Ｂ）参照）。
　具体的に説明すると、作業領域可視化工程ＳＴＥＰ－４は、領域可視化処理ＳＴＥＰ－４１と三次元地図可視化処理ＳＴＥＰ－４２で構成されている。
　領域可視化処理ＳＴＥＰ－４１は、レーザスキャナ６２の位置と向きに基づいて吊荷Ｗや地物Ｅの画像上における位置を算出する。そして、吊荷Ｗや地物Ｅを取り囲むガイド枠図形ＧＤ１を生成し、カメラ６１が撮影した画像における吊荷Ｗや地物Ｅに対してガイド枠図形ＧＤ１を重ね合わせて出力する。また、吊荷Ｗの標高を表す数値ＧＤ２や地物Ｅの標高を表す数値ＧＤ３についても出力する。
　三次元地図可視化処理ＳＴＥＰ－４２は、ラベルＬが付された吊荷Ｗ、地表面Ｆ、地物ＥについてグリッドＧごとに代表点Ｐｒの座標値を取得する。そして、グリッドＧごとに代表点Ｐｒを重心とする面を生成する。このとき、面の一辺の幅は、グリッドＧの幅と同じとする。その後、吊荷Ｗ、地表面Ｆ、地物Ｅごとに着色を行って、これを三次元地図Ｍとして可視化するのである。
　次に、三次元地図更新処理ＳＴＥＰ－２２の流れについて説明する。
　前述したように、データ処理部７０は、三次元地図作成工程ＳＴＥＰ－２にて三次元地図更新処理ＳＴＥＰ－２２を行う。
　図９に示すように、三次元地図更新処理ＳＴＥＰ－２２は、グリッドＧごとに行われる複数の処理によって構成されている。以下に説明する処理の流れは、本ガイド表示装置５０に採用された一例である。但し、本願に掲げる発明を実現できればよく、処理の流れについて限定するものではない。
　第一処理ＳＴＥＰ－２２１において、データ処理部７０は、グリッドＧにおける最新の代表点Ｐｒ１を取得する（図１０（Ａ）参照）。「代表点Ｐｒ１」とは、現在時刻から最も近い時刻に算出された代表点Ｐｒを指している。代表点Ｐｒ１を取得した後には、第二処理ＳＴＥＰ－２２２へ移行する。
　第二処理ＳＴＥＰ－２２２において、データ処理部７０は、グリッドＧにおける既存の代表点Ｐｒ２を取得する（図１０（Ｂ）参照）。「代表点Ｐｒ２」とは、代表点Ｐｒ１が算出される前に算出された代表点Ｐｒを指している。代表点Ｐｒ２を取得した後には、第三処理ＳＴＥＰ－２２３へ移行する。ここで取得する「代表点Ｐｒ２」には、後述する画像による地物領域推定処理ＳＴＥＰ－３４における処理結果が反映されている。
　第三処理ＳＴＥＰ－２２３において、データ処理部７０は、最新の代表点Ｐｒ１と既存の代表点Ｐｒ２が異なるか否かを判断する。代表点Ｐｒ１と代表点Ｐｒ２が異なる場合には、第四処理ＳＴＥＰ－２２４へ移行し、代表点Ｐｒ１と代表点Ｐｒ２が異ならない場合は、第八処理ＳＴＥＰ－２２８へ移行する。
　第四処理ＳＴＥＰ－２２４において、データ処理部７０は、かかるグリッドＧがオクルージョン領域Ｒｏに含まれるか否かを判断する。ここでいう、「オクルージョン領域」とは、図１５に示すように、吊荷の影になる領域のことである。グリッドＧがオクルージョン領域Ｒｏに含まれる場合には、第五処理ＳＴＥＰ－２２５へ移行し、グリッドＧがオクルージョン領域Ｒｏに含まれない場合は、第九処理ＳＴＥＰ－２２９へ移行する。
　第五処理ＳＴＥＰ－２２５において、データ処理部７０は、吊荷Ｗの標高値Ｈを取得する（図８（Ｂ）参照）。つまり、オクルージョン領域Ｒｏから吊荷Ｗの上面までの距離を取得する。標高値Ｈを取得した後には、第六処理ＳＴＥＰ－２２６へ移行する。
　第六処理ＳＴＥＰ－２２６において、データ処理部７０は、吊荷Ｗの高さ寸法ｈを取得する（図８（Ｂ）参照）。吊荷Ｗの高さ寸法ｈは、吊荷Ｗが地表面Ｆに載置された状態（地物Ｅである状態）のときから引き継がれた標高値に相当する。高さ寸法ｈを取得した後には、第七処理ＳＴＥＰ－２２７へ移行する。
　第七処理ＳＴＥＰ－２２７において、データ処理部７０は、吊荷Ｗの標高値Ｈが吊荷Ｗの高さ寸法ｈに基づいて定まる閾値（本ガイド表示装置５０においては高さ寸法ｈに等しい値としている）を超えるか否かを判断する。標高値Ｈが閾値を超えている場合には、第八処理ＳＴＥＰ－２２８へ移行し、標高値Ｈが閾値を超えていない場合には、第九処理ＳＴＥＰ－２２９へ移行する。
　第八処理ＳＴＥＰ－２２８において、データ処理部７０は、かかるグリッドＧにおける代表点Ｐｒ１を削除する（図１０（Ｃ）参照）。そして、かかるグリッドＧにあっては、既存の代表点Ｐｒ２に基づいて面を生成する。このようにすることで、最新の代表点Ｐｒ１と既存の代表点Ｐｒ２が異ならない場合に更新されないこととなる。また、最新の代表点Ｐｒ１と既存の代表点Ｐｒ２が異なっていても、グリッドＧがオクルージョン領域Ｒｏに含まれており、吊荷Ｗの標高値Ｈが吊荷Ｗの高さ寸法ｈに基づいて定まる閾値を超えている場合に更新されないこととなる。
　他方、第九処理ＳＴＥＰ－２２９において、データ処理部７０は、かかるグリッドＧにおける代表点Ｐｒ２を削除する（図１０（Ｃ）参照）。そして、かかるグリッドＧにあっては、最新の代表点Ｐｒ１に基づいて面を生成する。このようにすることで、最新の代表点Ｐｒ１と既存の代表点Ｐｒ２が異なり、グリッドＧがオクルージョン領域Ｒｏに含まれない場合に更新されることとなる。また、最新の代表点Ｐｒ１と既存の代表点Ｐｒ２が異なり、グリッドＧがオクルージョン領域Ｒｏに含まれていても、吊荷Ｗの標高値Ｈが吊荷Ｗの高さ寸法ｈに基づいて定まる閾値を超えていない場合に更新されることとなる。
　このように、ガイド表示装置５０は、三次元地図Ｍに吊荷Ｗの影であるオクルージョン領域Ｒｏが発生すると、新たに算出された代表点Ｐｒ１と既存の代表点Ｐｒが異なる場合であってもオクルージョン領域Ｒｏについて更新を行わないものであり、オクルージョン領域Ｒｏが発生しても同一の地物Ｅを異なる複数の地物Ｅ或いは地表面Ｆであると誤認識することがない（図１３参照）。加えて、ガイド表示装置５０は、吊荷Ｗの標高値Ｈが吊荷Ｗの高さ寸法ｈに基づいて定まる閾値を超えると、新たに算出された代表点Ｐｒ１と既存の代表点Ｐｒ２が異なる場合であってもオクルージョン領域Ｒｏについて更新を行わない。
　データ処理部７０は、吊荷Ｗの影を含む広い領域をオクルージョン領域Ｒｏと認識する。具体的に説明すると、データ処理部７０は、吊荷Ｗの外縁にあたるグリッドＧの境界線Ｂ１を特定し、この境界線Ｂ１から外側へ一つ又は複数のグリッドＧを隔てた境界線Ｂ２を特定する（図１０（Ｃ）参照）。そして、境界線Ｂ２に囲まれた領域をオクルージョン領域Ｒｏと認識する。ガイド表示装置５０では、吊荷Ｗの外縁から外側へ所定距離を取った領域をオクルージョン領域Ｒｏと認識するため、吊荷Ｗが搬送されたり振れたりしていても三次元地図Ｍにおける吊荷Ｗ周辺の精度が向上される。
　次に、同一領域推定処理ＳＴＥＰ－３２の流れについて説明する。
　前述したように、データ処理部７０は、クラスタリング工程ＳＴＥＰ－３にて同一領域推定処理ＳＴＥＰ－３２を行う。
　図１２に示すように、同一領域推定処理ＳＴＥＰ－３２は、グリッドＧごとに行われる複数の処理によって構成されている。以下に説明する処理の流れは、ガイド表示装置５０に採用された一例である。但し、本願に掲げる発明を実現できればよく、処理の流れについて限定するものではない。
　第一処理ＳＴＥＰ－３２１において、データ処理部７０は、時系列に並んだ複数のフレームｆ・ｆ・ｆ・・・を取得する（図１３（Ａ）参照）。「フレームｆ」とは、ある時刻の点群データＰに基づいて作成された三次元地図Ｍを指している。フレームｆを取得した後には、第二処理ＳＴＥＰ－３２２へ移行する。
　第二処理ＳＴＥＰ－３２２において、データ処理部７０は、各フレームｆの同じラベルＬが付された特定領域についてグリッドＧごとに標高値の平均値を算出する（図１３（Ｂ）参照）。ガイド表示装置５０においては、かかる平均値を小数点一桁で表している。平均値を算出した後には、第三処理ＳＴＥＰ－３２３へ移行する。
　第三処理ＳＴＥＰ－３２３において、データ処理部７０は、最新のフレームｆの特定領域における標高値と平均値との差が閾値を超えるか否かを判断する。これらの差が閾値を超えている場合には、第四処理ＳＴＥＰ－３２４へ移行し、これらの差が閾値を超えていない場合には、第五処理ＳＴＥＰ－３２５へ移行する。
　第四処理ＳＴＥＰ－３２４において、データ処理部７０は、かかる特定領域を動体ｍであると認定する（図１３（Ｃ）参照）。尚、このような特定領域の中には、吊荷Ｗが含まれることがある。吊荷Ｗは、オペレータが手動操作によって選択した特定領域であることから、見分けることが可能である。このようにすることで、搬送される吊荷Ｗについて見失うことなく追跡することができ、吊荷Ｗを取り囲むガイド枠図形ＧＤ１を吊荷Ｗの搬送に応じて動かすことができるのである。
　他方、第五処理ＳＴＥＰ－３２５において、データ処理部７０は、かかる特定領域を静止体ｓであると認定する（図１３（Ｃ）参照）。このような特定領域の中には、吊荷Ｗが含まれることがある。吊荷Ｗは、オペレータが手動操作によって選択した特定領域であることから、見分けることが可能である。このようにすることで、搬送を停止された吊荷Ｗについても見失うことなく追跡することができ、吊荷Ｗを取り囲むガイド枠図形ＧＤ１を吊荷Ｗの停止に応じて止めることができるのである。
　ところで、同一領域推定処理ＳＴＥＰ－３２においては、吊荷Ｗの上面を捉えた点データｐの数が少ない場合など、何らかの原因によって吊荷Ｗを追跡できない事態（吊荷Ｗの位置を正確に特定できない事態を含む）が想定される。
　このような事態にあっては、最新のフレームｆを除いた過去のフレームｆ・ｆ・ｆ・・・から吊荷Ｗに相当する特定領域のラベルＬを削除した上で同じ処理を行うものとする。このようにすることで、過去のフレームｆ・ｆ・ｆ・・・における吊荷Ｗを反映した三次元地図Ｍが作成されるのを防ぐことができる。ひいては、ガイド枠図形ＧＤ１が実際の吊荷Ｗの形状よりも大きく生成（図１４における二点鎖線Ｖ参照）されるのを防ぐことができるのである。
　このように、ガイド表示装置５０は、現在のフレームｆで吊荷Ｗを追跡できなかった場合に過去のフレームｆ・ｆ・ｆ・・・から吊荷Ｗの存在を削除して三次元地図Ｍを更新する、としたものである。かかるガイド表示装置５０によれば、前述の効果に加え、吊荷Ｗが搬送されたり振れたりしていても三次元地図Ｍにおける吊荷Ｗの上面形状の精度を向上できる（ひいては三次元地図Ｍに基づいて生成されたガイド枠図形ＧＤ１が吊荷Ｗの上面形状に即したものとなる：図１４参照）。
　加えて、ガイド表示装置５０は、カメラ６１が撮影した画像に対して三次元地図Ｍに基づいて生成されたガイド情報（ガイド枠図形ＧＤ１など）を重ね合わせてデータ表示部８０に表示する、としたものである。かかるガイド表示装置５０によれば、前述の効果に加え、画像とともに精度の高いガイド情報（ガイド枠図形ＧＤ１や標高を表す数値ＧＤ２・ＧＤ３）をオペレータに提示できる。
　次に、地物領域推定処理ＳＴＥＰ－３３および画像による地物領域推定処理ＳＴＥＰ－３４の流れについて説明する。
　図１６に示すように、データ処理部７０は、クラスタリング工程ＳＴＥＰ－３にて地物領域推定処理ＳＴＥＰ－３３を行う。
　地物領域推定処理ＳＴＥＰ－３３では、まず、吊荷Ｗや地表面Ｆとされた特定領域以外の領域を地物領域（地物Ｅが存在する領域）であるか否かを確認する領域（以下、確認領域と呼ぶ）として設定し、当該確認領域における代表点Ｐｒの集合を取得し、その確認領域に含まれる代表点Ｐｒの高さ成分の平均値である平均標高値Ｈｂを算出する（ＳＴＥＰ－３３１）。
　次に、当該確認領域に最も近い地表面Ｆとされた特定領域を取得し、その特定領域に含まれる代表点Ｐｒの高さ成分の平均値である平均標高値Ｈａを算出する（ＳＴＥＰ－３３２）。
　そして、データ処理部７０は、平均標高値Ｈａと平均標高値Ｈｂとの差に基づく判定を行う（ＳＴＥＰ－３３３）。平均標高値Ｈａと平均標高値Ｈｂとの差が所定の閾値よりも大きい場合、当該確認領域を地物Ｅと推定する（ＳＴＥＰ－３３５）。一方、データ処理部７０は、平均標高値Ｈａと平均標高値Ｈｂとの差が所定の閾値以下である場合、当該確認領域を地表面Ｆと推定する（ＳＴＥＰ－３３４）。
　クラスタリング工程ＳＴＥＰ－３では、地物領域推定処理ＳＴＥＰ－３３において、設定した確認領域が地表面Ｆと推定されたときには、さらに、当該確認領域に対する画像による地物領域推定処理ＳＴＥＰ－３４に移行する。
　データ処理部７０は、地物領域推定処理ＳＴＥＰ－３３により、確認領域が地表面Ｆと推定されたとき、カメラ６１で取得した画像データを画像処理して、画像データに含まれるエッジＥｇを抽出する（ＳＴＥＰ－３４１）。
　次に、データ処理部７０は、抽出されたエッジＥｇの画像を、地表面Ｆと推定された当該確認領域を含んだ三次元地図Ｍ（図１７（Ａ）参照）に重ね合わせる（ＳＴＥＰ－３４２）。
　次に、データ処理部７０は、当該確認領域において抽出したエッジＥｇが通過するグリッドＧｃを特定し、特定されたグリッドＧｃを中心とした合計９個のグリッドＧからなる近傍範囲Ｍａ（図１７（Ｂ）参照）を設定する（ＳＴＥＰ－３４３）。
　次に、データ処理部７０は、当該近傍範囲Ｍａに含まれる各グリッドＧについて、最新のフレームｆから所定時間（例えば、１秒間）過去に遡った複数のフレームｆ・ｆ・・・（例えば、３０フレーム分）における点群データＰを記憶する（ＳＴＥＰ－３４４）。
　次に、データ処理部７０は、記憶された複数フレーム分の点群データＰを、高さ方向に所定の厚さでスライスし、所定の厚さを有する複数の層に区分する。そして、区分した複数の層の内で点群データＰが含まれる最も上側の層（以下、最上層と呼ぶ）を特定する（ＳＴＥＰ－３４５）。
　小さい地物にレーザを照射した場合、地物がレーザの側線間隔の間に入り込んでしまい、直近に測定された１フレーム分の点群データＰのみでは、当該地物を捉えた点データｐが少ない（あるいは点データｐが全くない）可能性がある。直近より前に測定した数フレーム分の点群データＰを累積しておき、累積した複数フレーム分の点群データＰを用いることで、当該地物にレーザが当たったときの点データｐが累積して顕在化され、小さい地物Ｅが存在すること、およびその地物Ｅの大まかな位置を捉えることが可能になる。
　次に、データ処理部７０は、特定した最上層に含まれる点群データＰの高さの平均値を算出し、この算出した平均値を当該グリッドＧｃの代表点Ｐｒの標高値として更新する（ＳＴＥＰ－３４６）。この代表点Ｐｒの標高値の更新は、エッジＥｇが通過するものとして抽出された全てのグリッドＧｃに対して実行される。ここで標高値が更新された代表点Ｐｒは、次回に三次元地図更新処理ＳＴＥＰ－２２が実施される際の第二処理ＳＴＥＰ－２２２において、「代表点Ｐｒ２」として取得され、画像による地物領域推定処理ＳＴＥＰ－３４の処理結果が、三次元地図更新処理ＳＴＥＰ－２２において、三次元地図Ｍに反映される。
　次に、データ処理部７０は、代表点Ｐｒの更新された標高値に基づいて、平均標高値Ｈｂを再算出する（ＳＴＥＰ－３４７）。
　そして、データ処理部７０は、平均標高値Ｈａと再算出した平均標高値Ｈｂとの差に基づく再判定を行う（ＳＴＥＰ－３４８）。平均標高値Ｈａと平均標高値Ｈｂとの差が所定の閾値よりも大きい場合、当該確認領域を地物Ｅと推定し、その確認領域を地物Ｅとして出力する（ＳＴＥＰ－３４９）。一方、データ処理部７０は、平均標高値Ｈａと平均標高値Ｈｂとの差が所定の閾値以下である場合、当該確認領域を地表面Ｆと推定する（ＳＴＥＰ－３５０）。
　そして、ガイド表示装置５０において、データ処理部７０は、画像による地物領域推定処理ＳＴＥＰ－３４においてエッジＥｇを認識し、地物Ｅを推定した情報を蓄積し、三次元地図Ｍに反映させる。ガイド表示装置５０では、このように一旦地物Ｅと推定された情報を蓄積していくことによって、小さい地物Ｅを確実に認識することが可能となる。
　カメラ６１で撮影した画像データには、地表面Ｆとされた特定領域においてレーザスキャナ６２では捉えきれない小さい地物Ｅが含まれている可能性がある。ガイド表示装置５０では、カメラ６１で撮影した画像データを併用し、画像処理結果から地物Ｅが存在する位置を大まかに把握し、その把握した位置近傍の点群データＰを累積して平均化処理することによって、レーザスキャナ６２では捉えきれない小さい地物Ｅの検出漏れを抑制することができる。このため、ガイド表示装置５０では、地物Ｅの大きさ（幅や奥行き）に関わらず、地物Ｅの高さを取得することができる。
　次に、画像による地物領域推定処理ＳＴＥＰ－３４における画像処理の手法について説明する。
　ガイド表示装置５０では、地物ＥのエッジＥｇを抽出する工程（ＳＴＥＰ－３４１）において行う画像処理の手法としてＣａｎｎｙ法を採用している。Ｃａｎｎｙ法は、画像の輪郭部分（エッジＥｇ）を検出する一般的な画像処理のアルゴリズムである。Ｃａｎｎｙ法による画像処理は、輪郭の検出漏れや誤検出が少ないという特徴があるため、画像による地物領域推定処理ＳＴＥＰ－３４における地物ＥのエッジＥｇの抽出に適している。Ｃａｎｎｙ法を採用した画像処理によるエッジＥｇの抽出方法について、以下に述べる。
　データ処理部７０は、まず、平滑化フィルタを用いて画像データを平滑化し、画像データのノイズを削減する。具体的には、平滑化フィルタとしてガウシアンフィルタを使用する。ガウシアンフィルタは、ガウス関数を利用して、注目画素からの距離に応じてその注目画素近傍の画素の輝度に重み付け処理をするフィルタであり、平滑化フィルタとして一般的に用いられているものである。
　次に、データ処理部７０は、平滑化した画像データに輪郭を抽出するための空間フィルタを用いて、画像データ上のエッジＥｇを抽出する。空間フィルタとしては、ソーベルフィルタを使用する。ソーベルフィルタは、平滑化フィルタに微分フィルタを組み合わせた空間フィルタであり、注目画素からの距離に応じて重み付け量を変化させつつ、注目画素近傍の画素の輝度に重み付け処理をするものである。
　次に、データ処理部７０は、抽出した輪郭の強度が極大となっている部分（即ち、輪郭の法線方向において輝度が極大となっている部分）だけを残し、その他の部分の画像を削除して、輪郭を細線化する。
　次に、データ処理部７０は、細線化処理された輪郭の画像に対して大小２つの所定の閾値を適用して、２枚の２値化画像を生成する。小さい方の閾値は、該閾値が適用された２値化画像においてエッジＥｇであることが確実ではない輪郭が含まれるように設定される。大きい方の閾値は、該閾値が適用された２値化画像においてエッジＥｇであることが確実な輪郭のみが含まれるように設定される。そして、このようにして生成した２枚の２値化画像を重ね合わせて、その輪郭の重なり部分を最終的にエッジＥｇとして抽出する。
　なお、地物ＥのエッジＥｇを抽出する工程（ＳＴＥＰ－３４１）において行う画像処理の手法は、Ｃａｎｎｙ法に限定されるものではなく、ソーベルフィルタのみでエッジＥｇを抽出する方法やラプラシアンフィルタのみでエッジＥｇを抽出する方法等を採用してもよく、エッジＥｇを抽出することが可能なその他種々の手法を採用することができる。Ｃａｎｎｙ法では、線形情報を成すもののみをエッジＥｇとして抽出するため、ソーベルフィルタのみやラプラシアンフィルタのみでエッジＥｇを抽出する画像処理の手法に比べて扱う情報量が少なくて済み、データ処理部７０の処理速度が低下する可能性も低い。このため、ＳＴＥＰ－３４１のように、地物ＥのエッジＥｇの位置を大まかに捉えられればよい場面においては、Ｃａｎｎｙ法を採用することが好適である。
　そして、このようなガイド表示装置５０を備えたクレーン１では、ガイド表示装置５０によって、小さい地物Ｅがある場所を、地物が無い地表面であると誤認識することなく、確実にガイド表示がなされるため、オペレータが小さい地物Ｅを確実に認識することができ、作業性の向上が図られる。
　即ち、本実施形態に示すガイド表示装置５０は、吊荷Ｗの上方から当該吊荷Ｗならびに地表面Ｆおよび地物Ｅを走査するレーザスキャナ６２と、吊荷Ｗの上方から当該吊荷Ｗならびに地表面Ｆおよび地物Ｅを撮影するカメラ６１と、レーザスキャナ６２が取得した点群データＰを用いて、当該吊荷Ｗならびに地表面Ｆおよび地物Ｅの三次元地図Ｍと、吊荷Ｗおよび地物Ｅの輪郭を表すガイド枠図形ＧＤ１と、を生成するデータ処理部７０と、カメラ６１が撮影した計測領域Ｒの画像を表示するデータ表示部８０と、を備え、データ表示部８０に表示したカメラ６１が撮影した吊荷Ｗおよび地物Ｅの画像に、データ処理部７０により生成したガイド枠図形ＧＤ１を重ねて表示するクレーン１のガイド表示装置５０である。
　次に、領域可視化処理ＳＴＥＰ－４１における画像処理について説明する。
　図１８に示す如く、領域可視化処理ＳＴＥＰ－４１では、データ処理部７０によって、カメラ６１の現在位置と姿勢から、三次元地図Ｍの座標系（平面直角座標系）におけるカメラ６１の計測領域Ｒ（図３（Ｂ）参照）に対応する領域を算出する（ＳＴＥＰ－４１１）。なお、以下では算出された計測領域Ｒを、計測領域Ｒｘと記載して区別する。
　領域可視化処理ＳＴＥＰ－４１では、次に、データ処理部７０によって、カメラ６１の現在位置における視点から見た三次元地図Ｍを、算出した計測領域Ｒｘにおいてキャプチャし、第一画像Ｐ１（図１９参照）を生成する（ＳＴＥＰ－４１２）。
　なお、領域可視化処理ＳＴＥＰ－４１では、三次元地図Ｍとして、カラー処理（色付け）した三次元地図Ｍを使用している。三次元地図Ｍに対するカラー処理は、レーザスキャナ６２により取得した点群データＰに基づいて行うものであり、カメラ６２により取得した画像から、各グリッドＧの代表点Ｐｒの位置に対応する位置の色情報を抽出し、その抽出した色情報に対応する色で各グリッドＧを塗りつぶすことによって生成する。
　領域可視化処理ＳＴＥＰ－４１では、次に、データ処理部７０によって、カメラ６１の現在位置における視点から見た計測領域Ｒの画像を、三次元地図Ｍの画素数に合わせた粒度でモザイク処理して、第二画像Ｐ２（図１９参照）を生成する（ＳＴＥＰ－４１３）。
　領域可視化処理ＳＴＥＰ－４１では、次に、データ処理部７０によって、図１８および図１９に示すように、第一画像Ｐ１と第二画像Ｐ２のレジストレーション処理（位置合わせする処理）を行う（ＳＴＥＰ－４１４）。このレジストレーション処理では、第一画像Ｐ１と第二画像Ｐ２に含まれる特徴点を用いたり、あるいは、第一画像Ｐ１と第二画像Ｐ２における画素の輝度値の差分等を用いたりすることができる。そして、ＳＴＥＰ－４１４では、第一画像Ｐ１と第二画像Ｐ２の位置合わせを行うとともに、第一画像Ｐ１と第二画像Ｐ２のズレ量Ｄを算出する。カメラ６１の計測領域Ｒと、データ処理部７０により算出した計測領域Ｒｘは一致することが理想的であるが、測定誤差等に起因して計測領域Ｒと計測領域Ｒｘには通常はズレが生じてしまうため、ズレ量Ｄを算出して補正する。
　また、領域可視化処理ＳＴＥＰ－４１では、データ処理部７０によって、レーザスキャナ６２の位置と向きに基づいて、カメラ６１により撮影した画像上における吊荷Ｗや地物Ｅの位置を算出する（ＳＴＥＰ－４１５）。
　そして、領域可視化処理ＳＴＥＰ－４１では、データ処理部７０によって、吊荷Ｗや地物Ｅを取り囲むガイド枠図形ＧＤ１を生成し、カメラ６１が撮影した画像における吊荷Ｗや地物Ｅに対してガイド枠図形ＧＤ１を重ね合わせて出力する（ＳＴＥＰ－４１６）。
　このＳＴＥＰ－４１６において、データ処理部７０は、ＳＴＥＰ－４１４で求めたズレ量Ｄに基づいて、吊荷Ｗや地物Ｅに対するガイド枠図形ＧＤ１の位置を補正して、ガイド情報を表示する。
　即ち、データ処理部７０は、画像処理により、第一画像Ｐ１と第二画像Ｐ２をレジストレーション処理するものであり、カメラ６１で撮影した画像と、レーザスキャナ６２で取得した点群データＰに基づく三次元地図Ｍの位置を容易に同期させることができる。
　即ち、ガイド表示装置５０において、データ処理部７０は、カメラ６１の計測領域Ｒｘを算出し、カメラ６１の視点からの計測領域Ｒｘにおける三次元地図Ｍをキャプチャして第一画像Ｐ１を生成するとともに、カメラ６１の画像を三次元地図Ｍの粒度に合わせてモザイク処理して第二画像Ｐ２を生成し、第一画像Ｐ１と第二画像Ｐ２をレジストレーション処理して、第一画像Ｐ１と第二画像Ｐ２のズレ量Ｄを算出し、算出したズレ量Ｄに基づいて、吊荷Ｗおよび地物Ｅの画像に対するガイド枠図形ＧＤ１の配置位置を補正しつつ、データ表示部８０に、吊荷Ｗおよび地物Ｅの画像とガイド枠図形ＧＤ１を重ねて表示する。
　このような構成のガイド表示装置５０によれば、カメラ６１が撮影した画像に対してガイド情報を重ね合わせてデータ表示部８０に表示するときに、吊荷Ｗや地物Ｅに対するガイド枠図形ＧＤ１のズレを抑制することが可能になる。これにより、ガイド表示装置５０において、ガイド情報（即ち、吊荷Ｗや地物Ｅに対するガイド枠図形ＧＤ１）を的確に表示することができる。
　次に、領域可視化処理ＳＴＥＰ－４１における画像処理によるレジストレーション処理について説明する。
　本実施形態の領域可視化処理ＳＴＥＰ－４１では、（ＳＴＥＰ－４１４）のレジストレーション処理において、「テンプレートマッチング」の手法を採用している。
　「テンプレートマッチング」は、画像処理によって、ある画像と同じパターンが別の画像内に存在するか否かを探索する手法である。具体的には、１）テンプレート画像の各画素の値（輝度値）と、探索対象領域の画像における各画素の値（輝度値）の差分の二乗和を算出し、２）探索対象領域の画像に対してテンプレート画像を上下左右に移動させて、１）で算出した差分の二乗和が最小となる位置を検出する。そして、「テンプレートマッチング」では、検出したその位置を、探索対象領域においてテンプレート画像に対応する画像がある位置であると特定する。
　具体的には、第二画像Ｐ２の少なくとも一部をテンプレート画像として設定する。そして、設定したテンプレート画像の各画素における輝度値と、第一画像Ｐ１における対応する各画素における輝度値との差分を算出し、その差分の二乗和が最小となるときのテンプレート画像の位置を算出する。
　即ち、ガイド表示装置５０において、データ処理部７０は、テンプレートマッチング法による画像処理により、第一画像Ｐ１と第二画像Ｐ２をレジストレーション処理する構成とすることで、カメラ６１で撮影した画像と、レーザスキャナ６２で取得した点群データＰに基づく三次元地図Ｍの位置を精度よく同期させることが可能になる。
　クレーン１を用いた作業において、吊荷Ｗは揺れる可能性があるため、テンプレート画像から除外することが好ましい。このため、ガイド表示装置５０においては、図２０に示すように、テンプレート画像を、第二画像Ｐ２における吊荷Ｗを含まない画像の範囲に設定している。このような構成とすることで、第一画像Ｐ１と第二画像Ｐ２のレジストレーション処理をより精度よく行うことが可能になり、ひいては、ズレ量Ｄの算出精度が向上される。
　即ち、ガイド表示装置５０において、データ処理部７０は、第二画像Ｐ２における吊荷Ｗを含まない位置の画像をテンプレート画像とし、撮影中に変位する吊荷Ｗの画像をテンプレート画像から除外することによって、カメラ６１で撮影した画像と、レーザスキャナ６２で取得した点群データＰに基づく三次元地図Ｍの位置をより精度よく同期させることが可能になる。
　そして、理想的には一致する計測領域Ｒと計測領域Ｒｘの各画像Ｐ１・Ｐ２をテンプレートマッチングにより位置合わせしたときの外枠のズレた距離を求めることにより、ズレ量Ｄが算出される。なお、ズレ量Ｄには、ＸＹＺ座標系におけるＸ軸方向のズレ量ＤｘとＹ軸方向のズレ量Ｄｙが含まれている。
　なお、本実施形態では、領域可視化処理ＳＴＥＰ－４１におけるレジストレーション処理の手法として、「テンプレートマッチング」を採用した場合を例示しているが、ガイド表示装置５０により実行する領域可視化処理ＳＴＥＰ－４１におけるレジストレーション処理の手法がこれに限定されるものではない。領域可視化処理ＳＴＥＰ－４１におけるレジストレーション処理の手法としては、例えば「ＢＲＩＳＫ」「ＯＲＢ」「ＡＫＡＺＥ」等を採用してもよい。
　「ＢＲＩＳＫ」は、画像処理によって対応点を探索するための手法であり、スケール（拡大および縮小）や回転に依存しない特徴量を算出することができる。具体的には、１）画像中から規則的に決められた同心円状の全６０か所の画素を設定し、それらの画素値を用いる。２）その中からランダムに２画素を選択し、画素値の閾値をもとに、長距離ペアと短距離ペアに分類する。３）長距離ペアから画素値の平均勾配ベクトルを算出し、大局的な画素値の勾配方向をとらえる。４）算出した平均勾配ベクトルを用いて、輝度値を回転させて規格化する。５）規格化した輝度値に対して、短距離ペアの輝度値を比較し、バイナリコードの各ビットを特徴量として算出する。そして、第一画像Ｐ１と第二画像Ｐ２において、「ＢＲＩＳＫ」の手法によって対応点を探索し、検出された対応点同士を位置合わせすることによって、レジストレーション処理を行うことができる。
　「ＯＲＢ」は、「ＢＲＩＳＫ」と同様に、画像処理によって対応点を探索するための手法であり、スケール（拡大および縮小）や回転に依存しない特徴量を算出することができる。「ＢＲＩＳＫ」とは、長距離ペアおよび短距離ペアを選定する際に、Ｇｒｅｅｄｙアルゴリズムを用いてサンプリング位置を検定する点が相違している。「ＯＲＢ」は、「ＢＲＩＳＫ」と比較して、バイナリコードのビット分散が大きく、バイナリコードのビット間の相関が小さいという特徴がある。
　「ＡＫＡＺＥ」は、画像内の特徴点を抽出する手法であり、スケール（拡大および縮小）や回転により影響されにくいという特徴がある。具体的には、１）対象画像に対して、非線形拡散フィルタにより平滑化画像を生成する。２）生成した平滑化画像において、隣接する画素の値との差分が大きい箇所を特徴点として抽出する。
　そして、本実施形態で示したクレーン１は、以上の説明で示したガイド表示装置５０を備えることによって、オペレータに対してガイド情報（即ち、吊荷Ｗや地物Ｅに対するガイド枠図形ＧＤ１）を的確に提示することが可能になる。
　本発明は、ガイド表示装置およびこれを備えたクレーンに利用することが可能である。
　１　　　クレーン
　５０　　ガイド表示装置
　６１　　カメラ
　６２　　レーザスキャナ
　６６　　センサユニット
　７０　　データ処理部
　８０　　データ表示部
　Ｅ　　　地物
　Ｆ　　　地表面
　ＧＤ１　ガイド枠図形（ガイド情報）
　Ｍ　　　三次元地図
　Ｐ　　　点群データ
　Ｗ　　　吊荷
　Ｒ　　　計測領域
　Ｒｘ　　（算出した）計測領域
　Ｐ１　　第一画像
　Ｐ２　　第二画像

Claims (5)

  1. 　レーザスキャナが吊荷の上方から当該吊荷ならびに地表面および地物を走査して取得した点群データを用いて、当該吊荷ならびに前記地表面および地物の三次元地図と、前記吊荷および前記地物の輪郭を表すガイド枠図形と、を生成するデータ処理部と、
    　カメラが前記吊荷の上方から当該吊荷ならびに前記地表面および地物を撮影した画像を表示するデータ表示部と、を備え、
    　前記データ表示部に表示した前記カメラが撮影した前記吊荷および前記地物の画像に、前記データ処理部により生成した前記ガイド枠図形を重ねて表示するクレーンのガイド表示装置であって、
    　前記データ処理部は、
    　前記カメラの計測領域を算出し、前記カメラの視点からの前記計測領域における前記三次元地図をキャプチャして第一画像を生成するとともに、前記カメラの画像を前記三次元地図の粒度に合わせてモザイク処理して第二画像を生成し、
    　前記第一画像と前記第二画像をレジストレーション処理して、前記第一画像と前記第二画像のズレ量を算出し、算出したズレ量に基づいて、前記吊荷および前記地物の画像に対する前記ガイド枠図形の配置位置を補正し、前記データ表示部に、前記吊荷および前記地物の画像と前記ガイド枠図形を重ねて表示する、
    　ことを特徴とするガイド表示装置。
  2. 　前記データ処理部は、
    　画像処理により、前記第一画像と前記第二画像をレジストレーション処理する、ことを特徴とする請求項１に記載のガイド表示装置。
  3. 　前記データ処理部は、
    　テンプレートマッチング法による画像処理により、前記第一画像と前記第二画像をレジストレーション処理する、ことを特徴とする請求項２に記載のガイド表示装置。
  4. 　前記データ処理部は、前記第二画像における前記吊荷を含まない位置の画像をテンプレート画像とする、ことを特徴とする請求項３に記載のガイド表示装置。
  5. 　請求項１～請求項４の何れか一項に記載のガイド表示装置を備えたクレーン。
PCT/JP2021/012005 2020-03-26 2021-03-23 ガイド表示装置およびこれを備えたクレーン WO2021193640A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21775498.5A EP4129883A4 (en) 2020-03-26 2021-03-23 GUIDE INDICATOR DEVICE AND CRANE EQUIPPED THEREWITH
US17/911,272 US11958725B2 (en) 2020-03-26 2021-03-23 Guide display device and crane equipped with same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020056812A JP7369653B2 (ja) 2020-03-26 2020-03-26 ガイド表示システムおよびこれを備えたクレーン
JP2020-056812 2020-03-26

Publications (1)

Publication Number Publication Date
WO2021193640A1 true WO2021193640A1 (ja) 2021-09-30

Family

ID=77892256

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/012005 WO2021193640A1 (ja) 2020-03-26 2021-03-23 ガイド表示装置およびこれを備えたクレーン

Country Status (4)

Country Link
US (1) US11958725B2 (ja)
EP (1) EP4129883A4 (ja)
JP (1) JP7369653B2 (ja)
WO (1) WO2021193640A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074323A (ja) * 2000-09-01 2002-03-15 Kokusai Kogyo Co Ltd 三次元市街地空間モデル作成方法およびシステム
JP2004240599A (ja) * 2003-02-05 2004-08-26 Nippon Telegr & Teleph Corp <Ntt> 形状獲得方法、装置、プログラム、及びそのプログラムを記録した記録媒体
JP2005234603A (ja) * 2005-04-12 2005-09-02 Hitachi Ltd 地図情報更新方法及び地図更新装置
WO2019017455A1 (ja) * 2017-07-21 2019-01-24 株式会社タダノ ガイド情報表示装置およびクレーン
JP2019024151A (ja) 2017-07-21 2019-02-14 株式会社タダノ ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5876679B2 (ja) * 2011-07-08 2016-03-02 株式会社タダノ 性能線表示装置
JP5963353B2 (ja) * 2012-08-09 2016-08-03 株式会社トプコン 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
EP3235773B8 (en) * 2012-09-21 2023-09-20 Tadano Ltd. Surrounding information-obtaining device for working vehicle
SE541180C2 (en) * 2017-04-03 2019-04-23 Cargotec Patenter Ab Driver assistance system for a vehicle provided with a crane using 3D representations
JP6907061B2 (ja) * 2017-07-21 2021-07-21 株式会社タダノ 測定対象物の上面推定方法、ガイド情報表示装置およびクレーン
US20200117201A1 (en) * 2018-10-15 2020-04-16 Caterpillar Paving Products Inc. Methods for defining work area of autonomous construction vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074323A (ja) * 2000-09-01 2002-03-15 Kokusai Kogyo Co Ltd 三次元市街地空間モデル作成方法およびシステム
JP2004240599A (ja) * 2003-02-05 2004-08-26 Nippon Telegr & Teleph Corp <Ntt> 形状獲得方法、装置、プログラム、及びそのプログラムを記録した記録媒体
JP2005234603A (ja) * 2005-04-12 2005-09-02 Hitachi Ltd 地図情報更新方法及び地図更新装置
WO2019017455A1 (ja) * 2017-07-21 2019-01-24 株式会社タダノ ガイド情報表示装置およびクレーン
JP2019024151A (ja) 2017-07-21 2019-02-14 株式会社タダノ ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4129883A4

Also Published As

Publication number Publication date
US11958725B2 (en) 2024-04-16
EP4129883A1 (en) 2023-02-08
EP4129883A4 (en) 2024-04-24
JP7369653B2 (ja) 2023-10-26
JP2021155173A (ja) 2021-10-07
US20230097473A1 (en) 2023-03-30

Similar Documents

Publication Publication Date Title
JP6965050B2 (ja) ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法
JP6895835B2 (ja) ガイド情報表示装置およびクレーン
JP6907061B2 (ja) 測定対象物の上面推定方法、ガイド情報表示装置およびクレーン
JP2019023569A (ja) 点群データのクラスタリング方法、ガイド情報表示装置およびクレーン
CA2918552A1 (en) Survey data processing device, survey data processing method, and program therefor
JP6928499B2 (ja) ガイド情報表示装置および作業機
JPWO2016047807A1 (ja) 校正システム、作業機械及び校正方法
JP6871097B2 (ja) ガイド情報表示装置およびこれを備えた作業機およびガイド情報表示方法
WO2020122025A1 (ja) 地表面推定方法、計測領域表示システムおよびクレーン
WO2021193640A1 (ja) ガイド表示装置およびこれを備えたクレーン
WO2020122028A1 (ja) 地表面推定方法、計測領域表示システムおよびクレーン
JP2017193958A (ja) 校正システム、作業機械及び校正方法
WO2021193638A1 (ja) ガイド表示装置およびこれを備えたクレーン
JP7402728B2 (ja) ガイド表示システムおよびこれを備えたクレーン
JP7369654B2 (ja) ガイド表示システムおよびこれを備えたクレーン
JP2019023567A (ja) 地表面推定方法、ガイド情報表示装置およびクレーン
WO2021193639A1 (ja) ガイド表示装置およびこれを備えたクレーン
JP6832806B2 (ja) ガイド情報表示装置、クレーンおよびガイド情報の生成方法
KR20220139031A (ko) 건설기계의 제어 시스템 및 작업 가이드 라인 제공 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21775498

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021775498

Country of ref document: EP

Effective date: 20221026