WO2019017454A1 - 点群データのクラスタリング方法、ガイド情報表示装置およびクレーン - Google Patents

点群データのクラスタリング方法、ガイド情報表示装置およびクレーン Download PDF

Info

Publication number
WO2019017454A1
WO2019017454A1 PCT/JP2018/027183 JP2018027183W WO2019017454A1 WO 2019017454 A1 WO2019017454 A1 WO 2019017454A1 JP 2018027183 W JP2018027183 W JP 2018027183W WO 2019017454 A1 WO2019017454 A1 WO 2019017454A1
Authority
WO
WIPO (PCT)
Prior art keywords
cluster
data
plane cluster
plane
point cloud
Prior art date
Application number
PCT/JP2018/027183
Other languages
English (en)
French (fr)
Inventor
孝幸 小阪
巖 石川
諭 窪田
田中 成典
中村 健二
雄平 山本
匡哉 中原
Original Assignee
株式会社タダノ
学校法人 関西大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社タダノ, 学校法人 関西大学 filed Critical 株式会社タダノ
Priority to EP20210093.9A priority Critical patent/EP3809369A1/en
Priority to US16/632,779 priority patent/US11270450B2/en
Priority to CN201880048079.1A priority patent/CN110945317A/zh
Priority to EP18835405.4A priority patent/EP3657124A4/en
Priority to CN202010690154.3A priority patent/CN111874821B/zh
Publication of WO2019017454A1 publication Critical patent/WO2019017454A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C23/00Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
    • B66C23/18Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes specially adapted for use in particular purposes
    • B66C23/36Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes specially adapted for use in particular purposes mounted on road or rail vehicles; Manually-movable jib-cranes for use in workshops; Floating cranes
    • B66C23/42Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes specially adapted for use in particular purposes mounted on road or rail vehicles; Manually-movable jib-cranes for use in workshops; Floating cranes with jibs of adjustable configuration, e.g. foldable
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • B66C13/16Applications of indicating, registering, or weighing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C23/00Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
    • B66C23/88Safety gear
    • B66C23/90Devices for indicating or limiting lifting moment
    • B66C23/905Devices for indicating or limiting lifting moment electrical
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C2700/00Cranes
    • B66C2700/03Cranes with arms or jibs; Multiple cranes
    • B66C2700/0321Travelling cranes
    • B66C2700/0357Cranes on road or off-road vehicles, on trailers or towed vehicles; Cranes on wheels or crane-trucks
    • B66C2700/0378Construction details related to the travelling, to the supporting of the crane or to the blocking of the axles; Outriggers; Coupling of the travelling mechamism to the crane mechanism
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/56Particle system, point based geometry or rendering

Definitions

  • the present invention relates to a method of clustering point cloud data of a measurement object, a guide information display device using the method, and a technology of a crane provided with the guide information display device.
  • Patent Documents 1 to 3 Conventionally, there is known a technique for acquiring a three-dimensional shape of a measurement object based on point cloud data of the measurement object acquired by a laser scanner. Such techniques are disclosed, for example, in the following Patent Documents 1 to 3.
  • Patent Documents 1 to 3 as a technique for creating a three-dimensional map three-dimensionally representing the shape of a feature to be measured, analysis of a three-dimensional point group representing the shape of a plurality of features etc.
  • a technique related to a three-dimensional point cloud analysis method is disclosed.
  • the three-dimensional point group analysis methods described in Patent Documents 1 to 3 first, outlines of a plurality of features are represented, and position coordinates in the three-dimensional coordinate space set for analysis and a plane where the point is presumed to exist Prepare three-dimensional point cloud data in which normal vectors of and are stored. Then, a provisional gravity direction is determined by subjecting the three-dimensional point group data to principal component analysis, and a side point group is extracted by excluding points having normal vectors along this.
  • the point cloud is separated into building units, and the sides of each building are determined.
  • the normal vector is determined by principal component analysis for each side surface thus obtained, and the weighted direction of the outer product of the normal vectors is determined to determine the direction of gravity.
  • Such three-dimensional point group analysis methods described in Patent Documents 1 to 3 use wide-area three-dimensional point group data representing a plurality of features, and use a statistical method called principal component analysis to obtain a side view of each building. It is decided.
  • JP 2014-186565 A JP, 2014-186566, A JP, 2014-186567, A
  • the present invention has been made in view of such current problems, and a method of clustering point cloud data of one or more measurement objects present in the same area among acquired point cloud data, and using the same It is an object of the present invention to provide a guide information display device and a crane provided with the guide information display device.
  • the method of clustering point cloud data includes a point cloud data acquiring step of acquiring point cloud data in a region including the measurement target from above the measurement target by a laser scanner, and the point cloud data And a plane clustering step of clustering point cloud data corresponding to the upper surface of the measurement object among the point cloud data as a plane cluster by data processing means for performing arithmetic processing of the point cloud, and The difference between elevation values of a reference plane cluster extraction step of extracting a reference plane cluster, the reference plane cluster, and the plane clusters other than the reference plane cluster is calculated, and the difference between the elevation values is within a predetermined threshold
  • a planar cluster selection step of selecting one of the planar clusters, an overlap detection step of detecting the presence or absence of an overlap between the reference plane cluster and the one planar cluster, and the overlap is detected;
  • the point cloud of one or more measurement targets existing in the same area based on the point cloud data corresponding to the upper surface of the measurement target acquired by the laser scanner Data can be clustered.
  • the information displayed on the monitor can be easily viewed by the user.
  • a plane that determines the presence or absence of another plane cluster other than the one plane cluster discovered in the plane cluster search step after the same area clustering step The planar cluster selection step after the planar cluster presence / absence determination step until the data processing means determines that the other planar cluster is absent in the planar cluster presence / absence determination step; And repeating the overlapping detection step and the same region clustering step.
  • the clustering method of point cloud data having such a configuration it is possible to cluster all one or a plurality of planar clusters existing in the same area.
  • the point cloud data clustering method according to the present invention is characterized in that the reference plane cluster extraction step extracts the plane cluster having the maximum elevation value as the reference plane cluster. According to the clustering method of point cloud data having such a configuration, it is possible to cluster one or more planar clusters existing in the same area with reference to the planar cluster having the maximum elevation value.
  • the region is divided into layers as a plurality of groups having a predetermined thickness in the vertical direction, and the plurality of acquired point group data are Upper surface estimation in which point cloud data corresponding to the upper surface of the measurement object is clustered as the plane cluster for each group based on the group sorting step of assigning to the groups and the point cloud data assigned to the plurality of groups And the difference between the elevation value of the first planar cluster belonging to one of the groups of the planar clusters estimated in the upper surface estimation step and the second planar cluster belonging to the other group
  • An elevation value difference calculating step to calculate and a difference between elevation values of the first plane cluster and the second plane cluster are predetermined
  • An overlap detection step of detecting an overlap of the first planar cluster and the second planar cluster in the lateral direction of the laser irradiated by the laser scanner when the value is smaller than the predetermined value;
  • a planar combining step of combining the first planar cluster and the second planar
  • a camera for capturing an image of an area including at least the measurement object and the ground surface from above the measurement object, and from above the measurement object in the area
  • a data acquisition unit including a laser scanner for acquiring point cloud data; and an upper surface of the measurement object based on the point cloud data acquired by the laser scanner of the data acquisition unit;
  • a data processing unit that generates a guide frame that encloses the upper surface of the image; and a data display unit that displays guide information on which the guide frame generated by the data processing unit and the image captured by the camera are superimposed.
  • the data processing unit clusters the point group data corresponding to the upper surface of the measurement object among the point group data as a plane cluster, and determines the same area as a determination criterion.
  • the point cloud data of one or more measurement objects existing in the same area is obtained based on the point cloud data corresponding to the upper surface of the measurement object acquired by the laser scanner. It can be clustered. Thus, the guide information displayed on the data display unit can be easily viewed by the user.
  • the data processing unit extracts the plane cluster having the maximum elevation value as the reference plane cluster. According to the guide information display apparatus having such a configuration, it is possible to cluster one or more planar clusters existing in the same area based on the planar cluster having the maximum elevation value.
  • a crane according to the present invention is characterized by including a guide information display device. According to the crane having such a configuration, clustering of point cloud data of one or more measurement objects existing in the same area is performed based on the point cloud data corresponding to the upper surface of the measurement object acquired by the laser scanner Can. Thus, the guide information displayed on the guide information display device can be easily viewed by the user.
  • the schematic diagram which shows the whole structure of the crane which concerns on one Embodiment of this invention.
  • BRIEF DESCRIPTION OF THE DRAWINGS The schematic diagram which shows the whole structure of the guide information display apparatus which concerns on one Embodiment of this invention.
  • field angle of a camera (A) Z axial direction view schematic diagram, (B) X axial direction view schematic diagram.
  • FIG. 7A is a schematic view showing a data acquisition unit;
  • FIG. 7A is a view looking up in the Y-axis direction;
  • FIG. 8A is a diagram showing a display state of guide information,
  • FIG. 8A is a diagram showing a data display unit displaying an image M, and
  • FIG. 8B is a diagram showing a data display unit showing an image M and guide information GD superimposed.
  • a schematic diagram showing another configuration of the guide information display device (A) when the data processing unit, data display unit, and data input unit are constituted by a tablet PC, (B) data display unit, data input unit by touch panel display device If configured
  • the schematic diagram which shows the relationship between a suspended load area
  • FIG. 7 is a flowchart showing the flow of data processing by the data processing unit.
  • the figure which shows the point-group data acquired by the data acquisition part (A) The figure which plotted the point-group data on a XYZ coordinate system, (B) The figure which divided the point-group data plotted on a XYZ coordinate system into several groups.
  • Flow chart of the ground surface estimation method Explanatory drawing of the calculation method of the reference
  • FIG. 7 is a flow diagram of a method of combining planes present in different groups.
  • Explanatory drawing of the coupling method of the plane which exists in a different group The flow figure of the clustering method of the same field. Explanatory drawing of the clustering process of the same area
  • a diagram showing an example of setting the same area cluster in hierarchical clustering (A) in the case of the same area cluster surrounding the whole, (B) in the case of setting a plane cluster having the highest elevation value as another same area cluster )
  • Another same area cluster including all planar clusters whose elevation value difference is equal to or greater than a threshold is set.
  • the schematic diagram which shows the alarm display in a data display part. Explanatory drawing of the setting condition of an exclusion zone.
  • the crane 1 is an example of a crane provided with a guide information display device according to an embodiment of the present invention, and is a mobile crane that can move to a desired location.
  • the crane 1 includes a traveling vehicle 10 and a crane device 20.
  • the traveling vehicle 10 transports the crane device 20, has a plurality of (four in the present embodiment) wheels 11, and travels using an engine (not shown) as a power source.
  • An outrigger 12 is provided at each of four corners of the traveling vehicle 10.
  • the outrigger 12 is composed of an overhang beam 12a that can be extended hydraulically on both sides in the width direction of the traveling vehicle 10, and a hydraulic jack cylinder 12b that can extend in a direction perpendicular to the ground.
  • the traveling vehicle 10 can bring the crane 1 into a workable state by grounding the jack cylinder 12b, and by increasing the extension length of the overhang beam 12a, the workable range of the crane 1 (work Radius) can be extended.
  • the crane device 20 lifts the load W by a wire rope, and the swivel base 21, the telescopic boom 22, the main hook block 23, the sub hook block 24, the relief cylinder 25, the main winch 26, the main wire rope 27, the sub winch A sub wire rope 29 and a cabin 30 are provided.
  • the swivel base 21 is configured to be able to pivot the crane apparatus 20, and is provided on the frame of the traveling vehicle 10 via an annular bearing.
  • the annular bearing is disposed such that the center of rotation thereof is perpendicular to the installation surface of the traveling vehicle 10.
  • the swivel base 21 is configured to be rotatable in one direction and the other direction with the center of the annular bearing as a rotation center.
  • the swivel base 21 is rotated by a hydraulic swivel motor (not shown).
  • the telescopic boom 22 supports the wire rope in a state in which the load W can be lifted.
  • the telescopic boom 22 includes a plurality of base boom members 22a, second boom members 22b, third boom members 22c, force boom members 22d, fifth boom members 22e, and top boom members 22f. Each boom member is inserted in the order of the size of the cross-sectional area in a nested manner.
  • the telescopic boom 22 is configured to be telescopic in the axial direction by moving each boom member with a telescopic cylinder (not shown).
  • the telescopic boom 22 is provided so that the base end of the base boom member 22 a can swing on the swivel base 21.
  • the telescopic boom 22 is configured to be horizontally rotatable and swingable on the frame of the traveling vehicle 10.
  • the main hook block 23 is for hooking and suspending the hanging load W, and a plurality of hook sheaves around which the main wire rope 27 is wound and a main hook 32 for hanging the hanging load W are provided.
  • the crane apparatus 20 further includes a sub hook block 24 for hooking and suspending the suspended load W in addition to the main hook block 23, and the sub hook block 24 is provided with a sub hook 33 for suspending the suspended load W. It is done.
  • the relief cylinder 25 raises and lowers the telescopic boom 22 and holds the telescopic boom 22 in a posture.
  • the relief cylinder 25 is composed of a hydraulic cylinder consisting of a cylinder portion and a rod portion.
  • the main winch 26 is for carrying in (rolling up) and unwinding (rolling down) the main wire rope 27, and in the present embodiment, is constituted by a hydraulic winch.
  • the main winch 26 is configured such that the main drum on which the main wire rope 27 is wound is rotated by the main hydraulic motor.
  • the main winch 26 feeds the main wire rope 27 wound around the main drum by supplying the hydraulic fluid so that the main hydraulic motor rotates in one direction, and the main hydraulic motor rotates in the other direction.
  • the main wire rope 27 is wound around the main drum and fed in by supplying the hydraulic oil.
  • sub winch 28 is for carrying in and delivering the sub wire rope 29, and in the present embodiment, is constituted by a hydraulic winch.
  • the cabin 30 covers a driver's seat 31 on which the operator is seated, and is provided on the side of the telescopic boom 22 in the swivel base 21.
  • the crane 1 configured as described above can move the crane device 20 to an arbitrary position by causing the traveling vehicle 10 to travel, and causes the telescopic boom 22 to rise to an arbitrary elevation angle by the elevation cylinder 25.
  • the telescopic boom 22 can be extended to any telescopic boom length.
  • the crane 1 also includes a controller 34 that controls the operation of the swivel base 21, the telescopic boom 22, the relief cylinder 25 and the like (that is, the operation of the crane 1).
  • the controller 34 can externally output information concerning the operation state of the swivel base 21, the telescopic boom 22, the hoisting cylinder 25, etc., information concerning the performance unique to the crane 1, the weight of the suspended load W, etc. .
  • an XYZ coordinate system as shown in FIG. 1 is defined with reference to the axial direction of the fulcrum of the telescopic boom 22 (the same applies to the following description).
  • the X-axis direction (also referred to as a lateral direction) is a horizontal direction parallel to the axial direction of the fulcrum of the telescopic boom 22.
  • the Y-axis direction (also referred to as the elevation direction) is the vertical direction.
  • the Z-axis direction (also referred to as the depth direction) is a horizontal direction perpendicular to the axial direction of the fulcrum of the telescopic boom 22. That is, the XYZ coordinate system is defined as a local coordinate system based on the telescopic boom 22, as shown in FIG.
  • the crane 1 is provided with a guide information display device 50 as shown in FIG.
  • the guide information display device 50 is an example of the guide information display device according to the present invention, and in order to enable the work by the crane 1 as shown in FIG. 1 to be performed efficiently and safely, the hanging load W It is a device for displaying information (hereinafter referred to as guide information) of an area including the following (hereinafter referred to as a hanging load area WA) as a video and presenting it to the operator.
  • guide information information of an area including the following (hereinafter referred to as a hanging load area WA) as a video and presenting it to the operator.
  • the “hanging load area WA” here is set as an area including the hanging load W in the Y-axis direction view in the working area SA of the crane 1, as shown in FIGS. 2 and 4. This is an area for which “guide information” is to be generated.
  • the “suspended load area WA” is set as an area including immediately below the top boom member 22 f of the telescopic boom 22 in the crane 1, and the suspended load W, the ground surface F, and the feature C existing in the suspended load area WA are guides It becomes a measurement object by the information display device 50.
  • the “suspended load area WA” is displaced in response to the turning operation, the raising and lowering operation, and the extension and contraction operation of the extension boom 22.
  • the “guide information” referred to here is the operator about the quality of the telescopic boom 22 such as the length, the turning position, the ups and downs angle, the amount of unwinding of the wire rope when the operator transports the load W by the crane 1
  • Image information of the suspended load area WA information pertaining to the shapes of the suspended load W and the feature C, height information of the suspended load W, height information of the feature C, and of the suspended load W It contains information related to flow lines.
  • the guide information display device 50 is configured by a data acquisition unit 60, a data processing unit 70, a data display unit 80, and a data input unit 90.
  • the data acquisition unit 60 is a part for acquiring data necessary for generating guide information in the suspended load area WA, and as shown in FIG. 3, the camera 61, the laser scanner 62, and the inertial measurement device (IMU) 63 Have.
  • IMU inertial measurement device
  • the data acquisition unit 60 is attached to the top boom member 22 f located at the tip of the telescopic boom 22 of the crane 1, and directly below the boom tip located directly above the load W It is placed in a state where it can catch the situation.
  • “directly above” the suspended load W includes the position vertically above the suspended load W and the position of a certain range (for example, the range of the upper surface of the suspended load W) based on that position. It is a concept.
  • the data acquisition unit 60 is attached to the top boom member 22f at the tip of the telescopic boom 22 via a gimbal 67 (see FIG. 1), and when the telescopic boom 22 performs a hoisting operation, a turning operation, and an telescopic operation.
  • the attitude of the data acquisition unit 60 (the attitude in the Y-axis direction) can be maintained substantially constant.
  • the camera 61 and the laser scanner 62 can always be directed to the load W.
  • the data acquisition unit 60 can always acquire data from the suspended load W and the ground surface F (that is, the suspended load area WA) existing therebelow by the camera 61 and the laser scanner 62.
  • the feature C exists in the suspended load area WA
  • data of the feature C can be acquired by the camera 61 and the laser scanner 62.
  • the camera 61 is a digital video camera for capturing an image of the suspended load area WA, and has a function of outputting the captured image to the outside in real time.
  • the camera 61 has an angle of view (horizontal angle of view ⁇ h and vertical angle of view ⁇ v) as shown in FIGS. 5 (A) and 5 (B).
  • the camera 61 has the number of pixels, the frame rate, and the image transmission rate in consideration of the amount of data necessary for generating appropriate guide information.
  • the laser scanner 62 irradiates a laser to the object to be measured, and receives light reflected from the object to be measured by the laser, thereby acquiring information on the reflection point, and It is an apparatus for acquiring point cloud data.
  • the objects to be measured by the laser scanner 62 are a load W, a feature C, and a ground surface F.
  • a first GNSS receiver 65 for acquiring a measurement time is connected to the laser scanner 62.
  • the laser scanner 62 acquires planar three-dimensional point cloud data in real time.
  • the laser scanner 62 is provided with a total of 16 laser transmitting / receiving sensors, and it is possible to simultaneously irradiate 16 lasers to the measurement object to acquire point cloud data of the measurement object It is possible.
  • the 16 laser transmitting / receiving sensors of the laser scanner 62 are disposed with different irradiation angles by 2 ° in the Z-axis direction, and irradiate the laser with a spread of 30 ° as a whole to the object to be measured. It is configured to be possible.
  • each laser transmission / reception sensor of the laser scanner 62 is configured to be capable of rotating 360 degrees (all directions) around the Z axis.
  • a locus drawn by a laser irradiated toward the suspended load area WA is referred to as a laser side line.
  • the laser side line is parallel to the X-axis direction, and the laser scanner 62 simultaneously draws 16 laser side lines.
  • the laser scanner 62 is disposed such that the laser side line is parallel to the X-axis direction. Further, in the laser scanner 62, a reference axis for changing the irradiation angle of the laser is parallel to the Z-axis direction.
  • an inertial measurement unit (hereinafter referred to as IMU) 63 is a device for acquiring posture data of the camera 61 and the laser scanner 62 at the time of data acquisition.
  • the IMU 63 can measure the attitude angle in real time, and has measurement accuracy that can be used to correct point cloud data acquired by the laser scanner 62.
  • a second GNSS receiver 66 for obtaining measurement time is connected to the IMU 63.
  • the data acquisition part 60 is a sensor unit which fixed the camera 61, the laser scanner 62, and inertial measurement device (IMU) 63 with respect to the frame body 64, and was comprised integrally.
  • the frame body 64 is a substantially rectangular parallelepiped object configured by combining five plate members.
  • the frame body 64 constitutes a rectangular parallelepiped side surface portion of four plate members, and the remaining one plate member constitutes an upper surface portion of the rectangular parallelepiped member and has an opening at the lower side.
  • the camera 61 and the laser scanner 62 are attached to the inner side of the side surface of the frame 64, and the IMU 63 is attached to the upper surface of the frame 64.
  • the image pickup device center position of the camera 61 and the laser center position of the laser scanner 62 are separated by a distance ⁇ zh in the Z-axis direction when viewed in the Y-axis direction.
  • the laser center position is the rotation center of the laser in the laser scanner 62 and is located on the Z axis.
  • the image pickup device center position of the camera 61 and the laser center position of the laser scanner 62 are separated by a distance ⁇ yv in the Y axis direction when viewed in the X axis direction.
  • one of a pair of facing side surfaces of the four side surfaces of the frame body 64 is perpendicular to the Z axis, and the other of the facing pair of side surfaces is perpendicular to the X axis Will be placed in
  • the data acquisition unit 60 is disposed in a posture in which the upper surface portion of the frame body 64 is perpendicular to the Y axis.
  • the guide information display device 50 converts coordinate values between the XYZ coordinate system and the camera space coordinate system in order to superimpose guide information GD to be described later on the image M captured by the camera 61 and display the guide information GD on the data display unit 80. Do the processing.
  • a three-dimensional camera space coordinate system Xc ⁇ Yc ⁇ Zc is defined in the video space of the camera 61.
  • the distance in the X-axis direction from the vertical line extended from the lens center of the camera 61 to the point (x, y) is dh, and the maximum screen width in the horizontal direction of the camera 61 is wh.
  • the point (x, y) has a position in the X axis direction from the screen center as x.
  • the Xc coordinates of the point (x, y) in the camera space are expressed by the following Equations (1) and (2).
  • the horizontal difference between the position of the imaging device of the camera 61 and the center of the laser is ⁇ zh (see FIG.
  • the horizontal width of the camera image is wh
  • the horizontal angle of view of the camera 61 is ⁇ h
  • the temporary variable is tmp1.
  • tmp1 (y ⁇ zh) ⁇ tan ( ⁇ ⁇ ⁇ h / 360) (1)
  • Xc wh / 2-wh ⁇ x / (2 ⁇ tmp 1) (2)
  • the Zc coordinates of the point (y, z) in the XYZ coordinate system into Zc coordinates in the camera space coordinate system will be described.
  • the distance in the Z-axis direction from the point (y, z) to the laser center is dv
  • the maximum screen width in the horizontal direction of the camera 61 is wv.
  • the point (y, z) has a position in the Z-axis direction from the screen center as z.
  • the Zc coordinates of the point (y, z) in the camera space are expressed by the following equations (3) and (4).
  • the difference in the vertical direction between the image pickup element of the camera 61 and the position of the laser center of the laser scanner 62 is ⁇ yv (see FIG. 7B)
  • the vertical width of the camera image is wv
  • the vertical image of the camera 61 The angle is ⁇ v
  • the temporary variable is tmp2.
  • tmp2 Y ⁇ tan ( ⁇ ⁇ ⁇ v / 360)
  • Zc wv / 2 + wv ⁇ (Z ⁇ yv) / (2 ⁇ tmp 2) (4)
  • the guide information display device 50 converts the coordinates of point group data acquired by the laser scanner 62 or the like in the XYZ coordinate system into the camera space coordinate system using the above equations (1) to (4).
  • the guide information GD is aligned and displayed on the image M taken at step.
  • an apparatus capable of measuring the three-dimensional shape of the object to be measured is selected from the maximum reach height (for example, about 100 m) in consideration of the maximum reach height of the telescopic boom 22.
  • an apparatus having predetermined performance for each specification such as measurement speed, number of measurement points, measurement accuracy, etc. in consideration of data amount and data accuracy necessary to generate appropriate guide information select.
  • the case of using the laser scanner 62 provided with a total of 16 laser transmitting and receiving sensors is illustrated, but in the guide information display apparatus according to the present invention, the number of laser transmitting and receiving sensors constituting the laser scanner is used. It is not limited by. That is, in the guide information display apparatus according to the present invention, a laser scanner having an optimum specification is appropriately selected according to the maximum reach height of the boom (jib) of the crane and the like.
  • the data acquired by the data acquisition unit 60 in the hanging load area WA includes the hanging load W, the ground surface F below the hanging load W, and an image obtained by photographing the feature C existing around the hanging load W by the camera 61 Contains data. Further, the data acquired in the suspended load area WA by the data acquiring unit 60 includes the suspended load W, the ground surface F, and point cloud data acquired by scanning the feature C with the laser scanner 62.
  • the ground surface F mentioned here widely includes the surfaces to be the transfer source and the transfer destination of the hanging load W, and includes not only the ground surface but also the floor surface and roof surface of the roof of the building.
  • the data processing unit 70 is a part for processing the data acquired by the data acquisition unit 60 to generate guide information GD to be presented to the operator, and in the present embodiment, predetermined data It is configured by a general-purpose personal computer in which a processing program is installed. Further, the data processing unit 70 is electrically connected to the controller 34 of the crane 1, and “crane information” output from the controller 34 is input to the data processing unit 70.
  • the data display unit 80 is a part for displaying guide information GD to be presented to the operator, and includes a display device connected to the data processing unit 70. As shown in FIG. 8A, the data display unit 80 displays the video M of the suspended load area WA taken by the camera 61 in real time.
  • a guide frame GD1 representing the external shape of the hanging load W and the feature C in the Y-axis direction view
  • height information GD2 of the lower surface of the hanging load W ground
  • the height information GD3 of the upper surface of the object C, the work radius information GD4 indicating the flow line of the hanging load W, and the axis information GD5 indicating the axial direction of the telescopic boom 22 are included.
  • the guide information GD generated by the data processing unit 70 and the video M are superimposed and displayed.
  • the data input unit 90 is a part for inputting setting values and the like to the data processing unit 70, and is configured by a touch panel, a mouse, a keyboard device, and the like.
  • the data processing unit 70, the data display unit 80, and the data input unit 90 are implemented by a tablet-type general purpose personal computer (hereinafter also referred to as a tablet PC). It is preferable to construct integrally.
  • the data display unit 80 and the data input unit 90 are integrated by a touch panel display device, and the touch panel display device performs data processing as a general purpose PC.
  • the unit 70 may be connected.
  • the data display unit 80 and the data input unit 90 are disposed in a position in front of the driver's seat 31 in the cabin 30 at a position where the operator can easily view.
  • the data processing unit 70 is preferably arranged in the vicinity of the data acquisition unit 60.
  • the data processing unit 70, the data display unit 80, and the data input unit 90 are integrally configured by a tablet PC, the data processing unit 70 may be disposed in the cabin 30. Transmission of data between the data acquisition unit 60 and the data processing unit 70 is preferably performed by a wired LAN.
  • the data transmission between the data acquisition unit 60 and the data processing unit 70 may adopt a wireless LAN or may adopt power line communication.
  • the data processing unit 70, the data display unit 80, and the data input unit 90 are implemented by a tablet-type general purpose personal computer (hereinafter also referred to as a tablet PC). It is preferable to construct integrally.
  • the data display unit 80 and the data input unit 90 are integrated by a touch panel display device, and the touch panel display device performs data processing as a general purpose PC.
  • the unit 70 may be connected.
  • the camera 61 continuously shoots the suspended load area WA, and acquires the image M of the suspended load area WA.
  • point cloud data P point cloud data acquired by the laser scanner 62
  • the point cloud data P is a set of point data p
  • the point data p represents a point located on the ground surface F, the suspended load W, and the upper surface of the feature C existing in the suspended load area WA.
  • the distance a from the measurement object (for example, the ground object C) to the laser scanner 62 and the irradiation angle b of the laser scanner 62 when the point data p is acquired. Information is included.
  • the first GNSS receiver 65 is connected to the laser scanner 62, and while acquiring point cloud data P, the first GNSS receiver 65 receives time information from a plurality of positioning satellites Do. Then, the data processing unit 70 adds information related to the acquisition time of the point data p to the point data p. That is, the information related to the point data p includes the acquisition time tp in addition to the distance a and the irradiation angle b.
  • the point cloud data P is acquired by the laser scanner 62, and at the same time, the attitude data Q of the laser scanner 62 is acquired by the IMU 63 at a predetermined cycle.
  • the posture data Q includes information on the angle and acceleration with respect to each axial direction of the X, Y, and Z axes of the laser scanner 62.
  • the acquisition cycle of the posture data Q by the IMU 63 is shorter than the acquisition cycle of the point cloud data P by the laser scanner 62.
  • the posture data Q is a set of individual posture data q measured for each measurement cycle.
  • a second GNSS receiver 66 is connected to the IMU 63 to acquire attitude data Q, and at the same time, the second GNSS receiver 66 receives time information from a plurality of positioning satellites.
  • the data processing unit 70 assigns an acquisition time tq to the individual posture data q as information related to the acquisition time of the individual posture data q. That is, the information concerning the individual posture data q includes the acquisition time tq.
  • the data processing unit 70 first, "frame extraction processing” is performed (STEP-101).
  • the point cloud data P for one frame is cut out and output from the stream data of the point cloud data P.
  • the point group data P for one frame is a set of point data p acquired while the irradiation direction of the laser by the laser scanner 62 makes one rotation around the Z axis.
  • “synchronization processing of point cloud data and posture data” is performed (STEP-102).
  • the data processing unit 70 synchronizes the point data p included in the point cloud data P for one frame with the attitude data Q acquired by the IMU 63. Specifically, in each point data p, the acquisition time tq of the individual posture data q closest to the acquisition time tp of the point data p is searched, and the individual posture data q at the acquisition time tq is Synchronize by matching to.
  • the data processing unit 70 outputs point data p synchronized with the individual posture data q. Then, as shown in FIG. 11, the data processing unit 70 calculates the distance h from the laser center position of the laser scanner 62 to the point data p based on the distance a and the irradiation angle b.
  • the “distance h” is the distance from the laser center position of the laser scanner 62 to the horizontal plane where the point data p exists.
  • the data processing unit 70 performs correction using the individual posture data q corresponding to the point data p.
  • the error caused by the attitude of the laser scanner 62 can be eliminated, and the distance h of the point data p can be calculated more accurately.
  • the data acquisition unit 60 is provided with the IMU 63 for acquiring the attitude data Q of the laser scanner 62, and the data processing unit 70 is based on the attitude data Q of the laser scanner 62 acquired by the IMU 63.
  • the point cloud data P is corrected.
  • FIG. 13A shows point cloud data P (a set of point data p) viewed from the Z-axis direction.
  • ground surface estimation processing is performed next (STEP-103).
  • the data processing unit 70 performs processing to estimate the reference height H0 of the ground surface F present in the suspended load area WA.
  • the data processing unit 70 first acquires point cloud data P for one frame.
  • the point cloud data P is acquired from the upper part of the suspended load W and the feature C which are measurement objects in the suspended load area W including the suspended load W and the feature C and the ground surface F.
  • the data processing unit 70 divides the suspended load area WA into a plurality of small areas S in a grid shape in plan view (view in the Y-axis direction) (area division process : STEP-201).
  • the data processing unit 70 divides the laser side line at equal intervals by a dividing line parallel to the Z-axis direction, and divides it into small regions S having the same shape and the same area based on the divided laser side line doing.
  • the data processing unit 70 divides the laser side line into ten parts to divide them into 160 small areas S.
  • the data processing unit 70 extracts point data p having the largest distance h (the distance h is the maximum distance hmax) in each small area S (maximum point data extraction step: STEP-202). Point data p which is the maximum distance hmax is estimated to be point data p existing at the lowest position. Then, as shown in FIG. 14 and FIG. 15 (A), the data processing unit 70 calculates the separation amount D of the distance h of the other point data to the point data p which is the maximum distance hmax (a separation amount calculation step: STEP-203).
  • the data processing unit 70 configures the ground surface F with point data p having a separation amount D within a predetermined threshold r1 (in this embodiment, a separation amount D within 7 cm) based on the maximum distance hmax. It extracts as point data (ground surface point data extraction process: STEP-204).
  • the data processing unit 70 estimates the reference height H0 of the ground surface F of each small area S based on the distance h of the extracted point data p in each small area S (small area ground surface estimation step: STEP -205).
  • the data processing unit 70 sets the average value of the distances h of the extracted point data p as the reference height H0 of the ground surface F in the small area S. With such a configuration, the data processing unit 70 can estimate the reference height H0 of the ground surface F in any small region S.
  • the data processing unit 70 estimates the reference height H0 of the ground surface F of the suspended load area WA based on the reference height H0 of the ground surface F in each small area S (area ground surface estimation step: STEP-206). In the present embodiment, the data processing unit 70 further averages the reference height H0 (average value of the distance h) of the ground surface F in each small region S in all the small regions S as the ground surface of the suspended load region WA. The reference height H0 of F is used. With such a configuration, the data processing unit 70 can estimate the reference height H0 of the ground surface F of the suspended load area WA. Then, the data processing unit 70 calculates the elevation value H of the point data p from the distance h and the reference height H0. As shown in FIG. 10, the altitude value H is the height from the reference height H0 of the point data p.
  • the data processing unit 70 determines that the difference between the reference height H0 of the ground surface F in one small area S and the reference height H0 of the ground surface F in the suspended load area WA is larger than a predetermined threshold.
  • the point data p which does not constitute the ground surface F is determined to be extracted, and instead of the reference height H0 of the ground surface F in one small area S, the difference among the small areas S adjacent to the one small area S
  • the reference height H0 of the ground surface F in the suspended load area WA may be corrected using the reference height H0 of the ground surface F of the small area S where the value of L falls below a predetermined threshold.
  • the data processing unit 70 when it is estimated that point data p which does not constitute the ground surface F is extracted by such a configuration, a small area adjacent to one small area S instead of one small area S
  • the reference height H0 of the ground surface F of the suspended load area WA can be more accurately estimated by using the reference height H0 of the ground surface F of the small area S in which the difference is less than the predetermined threshold among the regions S. .
  • the reference height H0 of the ground surface F in the suspended load area WA in (STEP-206) it is estimated that point data p that does not constitute the ground surface F is extracted from all the small areas S. You may exclude the small area
  • the data processing unit 70 can exclude the small area S estimated to be incapable of extracting point data constituting the ground surface F. Therefore, the reference height H0 in the suspended load area WA can be accurately estimated.
  • Small to estimate It includes a frequency ground surface estimating step, and a region ground surface estimating step of estimating the reference high H0 of the ground
  • the guide information display device 50 is configured to generate the guide information GD based on the reference height H0 of the ground surface F acquired accurately by the above processing. For this reason, in the guide information display device 50, the height information of the suspended load W and the height information of the feature C can be accurately calculated based on the reference height H0 of the ground surface F.
  • the data processing unit 70 may be configured to automatically determine and designate the specific position on the video.
  • the ground surface F to be a reference can be determined by designating the position of the ground surface in the data display unit 80 and the data input unit 90.
  • the operator designates a clear position on the image displayed on the data display unit 80 as the ground surface.
  • the data processing unit 70 generates a reference circle of a predetermined radius centered on the designated position (point), as shown in FIG.
  • the data processing unit 70 detects an overlap with the point data p on the laser side line, and selects a plurality of point data p included in the reference circle.
  • the data processing unit 70 first extracts point data p having the largest distance h (the distance h is the maximum distance hmax) from the plurality of selected point data p. . Then, the data processing unit 70 calculates the separation amount D of the distance h of the other point data to the point data p which is the maximum distance hmax.
  • the data processing unit 70 configures the ground surface F as point data p whose distance D is within the predetermined threshold r1 (in this embodiment, distance D is within 7 cm) with reference to the maximum distance hmax. Extract as data.
  • the data processing unit 70 estimates the reference height H0 of the ground surface F based on the distance h of the extracted point data p. In the present embodiment, the data processing unit 70 adopts the average value of the distances h of the extracted point data p as the reference height H0 of the ground surface F.
  • “Plane estimation processing” is performed (STEP-104).
  • the data processing unit 70 estimates the upper surfaces of the suspended load W and the feature C, which are measurement objects, present in the suspended load area WA by the upper surface estimation method described below.
  • the point cloud data P for one frame is plotted on the suspended load area WA indicated by the XYZ coordinate system, as shown in FIG. 13A.
  • the point cloud data P in such a suspended load area WA is schematically represented as shown in the upper diagram of FIG.
  • the data processing unit 70 first acquires such point cloud data P for one frame.
  • the point cloud data P is acquired from the upper side of the load to be measured W and the feature C in the load to be loaded area W including the load to be loaded W and the feature C.
  • the data processing unit 70 divides the point cloud data P acquired in the hanging load area WA as shown in the upper view of FIG. 17 into layers in the Y-axis direction with a predetermined thickness d as shown in the middle of FIG.
  • the point cloud data P is distributed to a plurality of groups (see FIG. 13B).
  • the data processing unit 70 assigns individual group IDs (here, IDs: 001 to 006) to the divided groups, and associates each point data p with the group ID.
  • the data processing unit 70 estimates a plane by using a plurality of point data p included in the group.
  • the “plane” referred to here is a plane which exists upward in the load W and the feature C, that is, the “upper surface” of the load W and the feature C.
  • the data processing unit 70 selects two point data p ⁇ p from a plurality of point data p ⁇ p... Included in the same group, as shown in FIGS. Process: STEP-301). Then, the data processing unit 70 calculates the distance L1 between two points of the selected two point data p ⁇ p as shown in FIG. 18 and the lower diagram of FIG. 19 (inter-point distance calculation step: STEP-302).
  • the data processing unit 70 selects two points (two shown by dotted lines). One point data p ⁇ p) is considered to be on the same plane (two-point plane considering process: STEP-304). Then, the data processing unit 70 calculates the center of gravity G1 of each point (here, two selected points) considered to be on the same plane, as shown in FIGS. 18 and 20 (lower center calculation step: STEP-305). If it is determined as "no" in (STEP-303), the process returns to (STEP-301) to reselect two new points.
  • the data processing unit 70 searches for point data p that is a nearby point with respect to the calculated center of gravity G1, as shown in FIG. 18 and the upper diagram in FIG. 21 (nearest point searching step: STEP-306).
  • the “nearby point” referred to here is a point at which the distance between points with respect to the center of gravity G1 is equal to or less than the threshold value r2.
  • the data processing unit 70 finds point data p that is a nearby point (STEP-307), the point data p that is the nearby point is the two points selected earlier. It is considered that it is on the same plane as the data p ⁇ p (near point plane considering step: STEP-308).
  • the data processing unit 70 returns to (STEP-305) as shown in FIGS. 18 and 22 and the respective points regarded as being on the same plane (here, three points indicated by dotted lines).
  • a new center of gravity G2 is calculated from the point data p ⁇ p ⁇ p).
  • the data processing unit 70 proceeds to (STEP-306), and further searches for point data p which is a nearby point with respect to the gravity center G2. Then, as shown in FIG. 18 and the lower diagram of FIG. 22, if the data processing unit 70 further finds point data p that is a nearby point (STEP-307), the point data p that is a nearby point is also selected each point previously. And the point data p on the same plane as (step-308). Then, the data processing unit 70 searches for nearby points while calculating a new centroid, and repeats the processing from (STEP-305) to (STEP-308) in order until the point data p which is a nearby point is not detected. Do.
  • the data processing unit 70 determines “no” in (STEP-307) and determines that the point is considered to be on the same plane if a new neighboring point is not found.
  • Cluster a subset (cluster) of data p to estimate a plane (STEP-309).
  • clustering divides point group data P, which is a set of point data p, into clusters so that point data p included in each cluster has a common feature of being on the same plane. It is a process.
  • the data processing unit 70 divides the point cloud data P into point data p considered to be on the same plane, and sets a plane cluster CL1 (see the lower diagram in FIG. 17).
  • each point data p belonging to the plane cluster CL1 it is possible to define a plane (that is, the “upper surface” of the hanging load W and the feature C).
  • a plurality of plane clusters CL1 may exist in a group to which the same group ID is assigned.
  • the data processing unit 70 estimates the "width" of the plane from the maximum value and the minimum value of the X coordinate of the point data p belonging to the plane cluster CL1, and the "depth" of the plane from the maximum value and the minimum value of the Z coordinate. Estimate That is, in the upper surface estimation method of the suspended load W and the feature C shown in the present embodiment, the data processing unit 70 determines a plurality of point data p (belongs to the same plane cluster CL1) regarded as being on the same plane.
  • the "width" of the upper surface is estimated from the distance between the two point data p and p which are most separated in the width direction (X-axis direction) of the upper surface, and the most separated in the depth direction (Z-axis direction) of the upper surface
  • the "depth” of the upper surface is estimated from the distance between the two point data p and p.
  • the data processing unit 70 thus defines a plane from the estimated plane cluster CL1.
  • the plane defined here may be a polygon other than a rectangle.
  • the point cloud data P is collected from above the load W and the feature C by the laser scanner 62 in the load area WA including the load W and the feature C.
  • the hanging load area WA is layered as a plurality of groups (ID: 001 to 006) having a predetermined thickness d in the vertical direction by the point cloud data acquiring step to be acquired and the data processing unit 70 that performs arithmetic processing on the point cloud data P
  • a top surface estimation step of estimating the top surfaces of the load W and the feature C for each group based on the data P.
  • the top surfaces of the suspended load W and the ground object C can be estimated based on only the point cloud data P corresponding to the top surface acquired by the laser scanner 62. Therefore, in the upper surface estimation method described in the present embodiment, it is possible to estimate the upper surfaces of the hanging load W and the ground object C in a short time based on the point cloud data P acquired by the laser scanner 62. It is possible to estimate the upper surface of the load W and the feature C in real time.
  • the top surfaces of the suspended load W and the feature C can be estimated without using a statistical method, and compared with the case where the statistical method is used, the suspended load W and the feature C It is possible to reduce the amount of calculation required to estimate the upper surface of. Therefore, in the upper surface estimation method described in the present embodiment, it is possible to estimate the upper surfaces of the suspended load W and the ground object C in a shorter time based on the point cloud data P acquired by the laser scanner 62.
  • the data acquisition unit 60 is provided on the top boom member 22f of the telescopic boom 22, and the load W from above the load W by the laser scanner 62,
  • the upper surface estimation method of the measurement object measures the lifting load of the crane and the objects existing around the lifting load. It is not limited as what applies to when it is a thing. That is, in the upper surface estimation method of the measurement object, for example, a laser scanner is provided at the boom tip of the work vehicle (for example, work vehicle etc.) provided with the boom or at the drone etc.
  • the present invention can be widely applied when acquiring point cloud data of an object and estimating the upper surface of the measurement object based on the acquired point cloud data.
  • the estimated planar clusters CL1 (upper surface) are combined.
  • the data processing unit 70 selects two plane clusters CL1 and CL1 to which different group IDs are assigned among the estimated plane clusters CL1, as shown in FIGS.
  • the difference dH of the altitude value H is calculated (STEP-401: altitude value difference calculating step).
  • the data processing unit 70 searches for a combination in which the difference dH is within the threshold value r3 (STEP-402).
  • the altitude value H of the plane cluster CL1 mentioned here is an average value of the altitude values H of the point data p belonging to the plane cluster CL1.
  • the data processing unit 70 determines the combination of those planar clusters CL1 ⁇ .
  • Overlap in the X-axis direction is detected for CL1 (STEP-403: Overlap detection step).
  • overlap refers to the overlap degree and separation degree in the X-axis direction of the plane defined by the plane cluster CL1, and as shown in FIGS. 24 and 25, the overlap amount dW1 of “width” is detected. In the case (dW1> 0) or when the separation amount dW2 is equal to or less than the predetermined threshold value r4 (0 ⁇ dW2 ⁇ r4), “overlap” is detected.
  • the data processing unit 70 repeats the above processing until the combination of planar clusters CL1 and CL1 satisfying the condition disappears (STEP-406), and a plane existing across a plurality of groups is displayed. presume.
  • the data processing unit 70 outputs the plane (that is, plane cluster CL1) coupled by the above coupling process.
  • the plane defined by the plane cluster CL1 is a plane facing upward in the load W and the feature C, that is, the upper surface of the load W and the feature C.
  • Such a plane estimation method can estimate a plane without using a normal vector of the point cloud data P. For this reason, there is a feature that the amount of calculation can be reduced compared to the case of estimating a plane using a normal vector of the point cloud data P.
  • the hanging load W or the ground can be obtained without acquiring point data p of the side surface of the hanging load W or the feature C. The three-dimensional shape of the object C can be grasped.
  • clustering processing of the same area is performed (STEP-105).
  • clustering divides point cloud data P, which is a set of data, into clusters so that point data p included in each cluster has a common feature of being in the “same area”. It is a process.
  • the “clustering process of the same area” performed here is a process of clustering the generated plane cluster CL1 (plane) in terms of whether or not it exists in the “same area” regardless of whether or not it configures the same plane. It is. Below, the processing content in the clustering processing (STEP-105) of the same area
  • the data processing unit 70 is a reference which is a plane cluster CL1 serving as a reference when determining whether or not the same area is present.
  • the plane cluster CL1A is extracted (STEP-501: reference plane cluster extraction step).
  • the data processing unit 70 extracts the plane cluster CL1 having the maximum elevation value H as the reference plane cluster CL1A.
  • the altitude value H of the plane cluster CL1 mentioned here is an average value of the altitude values H of the point data p belonging to the plane cluster CL1.
  • the data processing unit 70 determines, based on the extracted reference plane cluster CL1A, whether or not the other plane cluster CL1 is in the same area as the reference plane cluster CL1A. The determination as to whether or not it is in the "same area" follows the procedure described below.
  • Step 502 elevation value difference calculation step
  • the data processing unit 70 searches for a plane cluster CL1 in which the difference ⁇ H of the elevation value H with respect to the reference plane cluster CL1A is within the threshold value r5 (STEP-503: plane cluster search step). Then, when a plane cluster CL1 whose difference ⁇ H is within the threshold value r5 is detected, one plane cluster CL1 is selected from among them (STEP-504: plane cluster selection step). When the planar cluster CL1 whose difference ⁇ H is within the threshold value r5 is not detected, the process is ended here.
  • the data processing unit 70 detects the presence or absence of overlap of the selected one plane cluster CL1 with the reference plane cluster CL1A in the X-axis direction (STEP-505: overlap detection step).
  • overlap is the overlap degree and separation degree in the Y-axis direction view of the plane defined by the plane cluster CL1, and as shown in the middle of FIG. 27, the overlap amount ⁇ W1 of “width” is detected.
  • a predetermined threshold r6 (0.ltoreq..DELTA.W2.ltoreq.r6
  • the case where the overlapping amount ⁇ W1 of “width” is detected indicates a state in which the reference plane cluster CL1A and the plane cluster CL1 overlap in the Y-axis direction view.
  • the reference plane cluster CL1A and the plane cluster CL1 do not overlap in the Y-axis direction when the separation amount ⁇ W2 is detected to be equal to or less than the predetermined threshold value r6. Refers to the state of
  • the one plane cluster CL1 exists in the same area as the reference plane cluster CL1A
  • the same area cluster CL2 is formed by one plane cluster CL1 and the reference plane cluster CL1A (STEP-506: same area clustering step).
  • (STEP-505: overlap detection step) when “overlap” is not detected, the process proceeds to the next process (STEP-507) without forming the same area cluster CL2.
  • the data processing unit 70 determines whether or not there is another planar cluster CL1 whose difference ⁇ H in the altitude value H is within the threshold value r5 other than the one planar cluster CL1 selected above. It judges (STEP-507: plane cluster existence judging process). Then, when there is another plane cluster CL1 meeting the conditions, the process returns to (STEP-504) to select a new plane cluster CL1, and further, the processes from (STEP-505) to (STEP-506) are performed. In order, if there is another planar cluster CL1 satisfying the condition, it is added to the same area cluster CL2 formed previously. Then, the data processing unit 70 repeats the processing from (STEP-504) to (STEP-507) in order until the plane cluster CL1 having the difference ⁇ H within the threshold value r5 disappears, and determines the same area cluster CL2. .
  • the data processing unit 70 adds a new reference plane cluster CL1A to the reference plane cluster CL1A initially extracted in (STEP-501) after eliminating the plane cluster CL1 having a difference ⁇ H within the height value H within the threshold value r5. May be extracted to form a new identical area cluster CL2. In this case, the data processing unit 70 returns to (STEP-501) and restarts the clustering processing, and in (STEP-501), the elevation value is removed while excluding the planar cluster CL1 which has already formed the same area cluster CL2.
  • the planar cluster CL1A is extracted in order from the planar cluster CL1 in which H is large.
  • the overlap detection step (STEP-505) that detects the presence or absence Includes assumed that each plane cluster CL1a ⁇ CL1 are in the same area, the same area clustering step of forming the same region cluster CL2 (STEP-506), a.
  • point cloud data of such a configuration one or the same region existing in the same area based on the point load data P corresponding to the hanging load W acquired by the laser scanner 62 and the upper surface of the feature C.
  • the point cloud data P of a plurality of loads W and features C can be clustered.
  • the point data p belonging to the same area cluster CL2 formed in this way is treated as having one shape in shape in the display of the guide information GD described later, so as to surround the same area cluster CL2.
  • the guide frame GD1 is displayed. That is, according to the clustering method of the point cloud data P described above, the whole of the hanging load W and the feature C are collectively displayed as a simple guide frame GD1 or divided into characteristic portions and detailed forms
  • the display form of the guide frame GD1 can be changed in accordance with the preference of the operator, the work situation, the shape of the hanging load W, and the like.
  • Such “clustering process of the same area” is preferably hierarchical clustering using a tree structure based on elevation values as shown in FIGS. 29 (A) and 29 (B).
  • the data processing unit 70 creates a tree structure using the elevation value H for each feature C in the “clustering process of the same area”.
  • FIG. 29 (A) shows the feature C of the first example shown in FIG. 29 (A) and the feature C of the second example shown in FIG. 29 (B)
  • An example of hierarchical clustering using a tree structure is illustrated.
  • the data processing unit 70 sets a plane cluster CL1 having the smallest average value of the elevation values H as a "root”. In addition, if there is a plane cluster CL1 having an overlap in the Y-axis direction view with respect to the plane cluster CL1 configuring the “root”, the data processing unit 70 extends the “branch” from the “root” At the tip of the branch, a planar cluster CL1 having the overlap is added. Then, the data processing unit 70 sets the plane cluster CL1 having the largest average value of the elevation values H as a “child”.
  • the data processing unit 70 acquires the tree structure of the feature C created in the “clustering process of the same area”. Then, the data processing unit 70 acquires point data p included in each plane cluster CL1 configuring the tree structure. Next, as shown in the upper diagram of FIG. 30, the data processing unit 70 acquires point data p on the laser side line located farthest in the Z-axis direction from the point data p of the “child” plane cluster CL1. Do. Then, the data processing unit 70 creates a rectangle having a width in the X-axis direction which is separated in the Z-axis direction by a half of the distance to the adjacent laser side line and can surround each point data p. .
  • the data processing unit 70 includes all point data p on the corresponding laser side line as shown in the lower part of FIG. Transform the rectangle to create an outline. Then, the data processing unit 70 searches for the point data p on the adjacent laser side line until the point data p on the target laser side line disappears, and repeats the above processing. Finally, the data processing unit 70 creates an outline that externally wraps all planar clusters CL1 included in the selected tree structure.
  • the data processing unit 70 outputs only the outline that meets the conditions as the guide frame GD1 out of the generated outlines.
  • the conditions to be output as the guide frame GD1 for example, as shown in FIG. 31A, it is possible to select the conditions for displaying only the outline of the feature C, which is a large frame. When this condition is selected, one guide frame GD1 surrounding the entire feature C is displayed for the feature C on the data display unit 80.
  • the difference (difference .DELTA.H) of the elevation value H with respect to the "root” is Among the outlines (small frames) which are equal to or greater than the threshold value, it is possible to select a condition for displaying the outline relating to the plane cluster CL1 having the highest elevation value H in each branch.
  • the data display unit 80 displays a first guide frame GD1 surrounding the entire feature C and a second guide frame included inside the first guide frame GD1.
  • the guide frame GD1 is displayed, and more detailed guide information GD in which the three-dimensional shape of the feature C is considered is displayed.
  • the difference (difference ⁇ H) of the elevation value H with respect to the “root” is It is possible to select a condition for displaying all the outlines (small frames) which are equal to or larger than the threshold. Even when this condition is selected, the data display unit 80 displays the first guide frame GD1 surrounding the entire feature C and the second guide frame GD1 included therein, and the ground More detailed guide information GD in which the three-dimensional shape of the object C is considered is displayed.
  • Such display conditions can also be performed by adjusting the threshold of the difference ⁇ H.
  • the operator can appropriately select the display conditions of the guide frame GD1 so that the display of the guide information GD can be more easily viewed.
  • the guide frame GD1 representing the feature C in more detail in consideration of the three-dimensional shape of the feature C is generated by generating the guide frame GD1 based on the same area cluster CL2. It is possible to generate. Further, in the guide information display device 50, it is possible to generate a guide frame GD1 which collectively encloses the planar cluster CL1 present in the same area. That is, according to the guide information display device 50, it is possible to present more detailed and easy-to-view guide information GD.
  • synchronization processing of point cloud data and camera image is performed (STEP-106).
  • the point cloud data P acquired in the XYZ coordinate system is converted into coordinate values in the camera space coordinate system and synchronized with the image M captured by the camera 61 ( Alignment) and output to the data display unit 80.
  • “guide display processing” is performed next (STEP-107).
  • the data processing unit 70 generates guide information GD based on the generated information of the same area cluster CL 2, and outputs the guide information GD to the data display unit 80.
  • "crane information” output from the controller 34 of the crane 1 is used.
  • the “crane information” used here includes information on the length of the telescopic boom 22, the elevation angle, the working radius of the crane 1, the weight of the hanging load W, and the like.
  • the guide information GD can be generated by accurately grasping the three-dimensional shape of.
  • Such a configuration is suitable for the purpose of grasping the shapes of the hanging load W and the ground object C in real time because the amount of data computation can be small, and the data processing unit 70 with a simple hardware configuration can be used .
  • the data display unit 80 displays the guide information GD.
  • the guide information GD displayed by the data display unit 80 includes information relating to the designated position of the ground surface F by the operator as shown in FIG. 8 (B).
  • the hanging load W can be designated.
  • the plane (upper surface) present at the designated position is set as representing the upper surface of the hanging load W.
  • the guide frame GD1 according to the hanging load W and the guide frame GD1 according to the feature C be displayed by changing the line color, the line thickness, and the like.
  • the information which concerns on the ground surface F and the designated position of the hanging load W is displayed by the marker represented with figures, such as a circle.
  • the guide information GD displayed by the data display unit 80 includes the guide frame GD1 generated by the data processing unit 70.
  • the data processing unit 70 outputs the guide frame GD1 based on the set same area cluster CL2.
  • the data processing unit 70 can provide a margin for reliably avoiding a collision as the guide frame GD1 of the hanging load W, and a frame offset outward from the outline of the hanging load W by a predetermined distance.
  • the line can be output as a guide frame GD1.
  • Such a guide frame GD1 is a frame display in which the upper surface (planar cluster CL1) estimated in the hanging load W and the feature C is surrounded by line segments.
  • the guide information GD displayed by the data display unit 80 includes height information GD2 from the reference height H0 to the lower surface of the hanging load W and height information GD3 from the reference height H0 to the upper surface of the feature C. include.
  • the height information GD2 of the hanging load W be configured to be provided with an independent area at an easily viewable position on the screen of the data display unit 80 and to be displayed in the area.
  • the height information GD2 of the hanging load W and the height information GD3 of the feature C are not mistaken.
  • the data processing unit 70 calculates the height information GD2 by subtracting the height of the suspended load W from the upper surface height of the plane cluster CL1 estimated to be the upper surface of the suspended load W.
  • the operator inputs information related to the suspended load W (hereinafter referred to as “suspended load information”) to the data processing unit 70 in advance.
  • the operator inputs the "hanging load information” from the data input unit 90.
  • the data processing part 70 acquires the height of the hanging load W using "hanging load information.”
  • the height information GD3 of the feature C is displayed inside the guide frame GD1 surrounding the feature C.
  • the guide frame GD1 is configured to be displayed so as to partially overlap the guide frame GD1.
  • the correspondence between the feature C and the height information GD3 is clarified by such a configuration.
  • the data processing unit 70 changes the line color of the guide frame GD1 in accordance with the elevation value H of the flat cluster CL1 corresponding to the guide frame GD1.
  • the guide information display device 50 with such a configuration, when the operator looks at the guide frame GD1, the rough elevation value (height) of the hanging load W or the feature C can be perceived sensuously. For this reason, in the guide information display device 50, the heights of the hanging load W and the feature C can be more accurately presented.
  • the data processing unit 70 changes the font color of the height information GD2 in accordance with the elevation value H of the plane cluster CL1 corresponding to the guide frame GD1.
  • the operator can perceptually perceive rough elevation values (heights) of the suspended load W and the feature C by looking at the height information GD2. For this reason, in the guide information display device 50, the heights of the hanging load W and the feature C can be more accurately presented.
  • the display of the guide information GD performed by the guide information display device 50 includes flow line information of the hanging load W.
  • the movement line information of the hanging load W includes work radius information GD4 of the hanging load W and axis information GD5 of the telescopic boom 22 of the crane 1.
  • the work radius information GD4 is an indicator of the flow line of the suspended load W when the telescopic boom 22 is turned from the current state, and the suspended load W moves along an arc shown as the work radius information GD4.
  • the axis information GD5 is an index of the flow line of the hanging load W when raising and lowering the telescopic boom 22 from the current state and moving the stretching boom 22 along the straight line shown as the working radius information GD4. Do.
  • the guide information display device 50 generates the working radius information GD4 of the hanging load W and the axis information GD5 of the telescopic boom 22 based on the "crane information”.
  • the data processing unit 70 calculates the working radius of the crane 1 based on the “crane information”, generates an arc indicating the working radius, and outputs it as working radius information GD4.
  • the data processing unit 70 also calculates the axial direction of the telescopic boom 22 based on the “crane information”, generates a straight line indicating the axial direction, and outputs it as axial information GD5.
  • a line for displaying the work radius information GD4 and the axis line information GD5 is represented by a broken line, and the length and interval of the broken line are reference lengths (hereinafter referred to as reference length) It is supposed to be displayed by.
  • reference length 1 m
  • the work radius information GD4 and the axis line information GD5 change the length and interval of the broken line on the display according to the size of the suspended load area WA displayed on the data display unit 80 Then, on the scale at that time, it is displayed as a length and a distance corresponding to 1 m on the ground surface F.
  • the operator can feel the scale feeling of the hanging load W or the feature C from the guide information GD by displaying the length and interval of the broken line with the reference length (for example, 1 m).
  • the reference length for example, 1 m
  • the data processing unit 70 calculates the height of the data acquisition unit 60 based on the “crane information”, and calculates the size of the hanging load area WA and the size of the display range of the data display unit 80, In accordance with the calculation result, the scale of the broken line (the broken line and the size of the interval) displayed as the work radius information GD4 and the axis line information GD5 is changed.
  • the display of the guide information GD performed by the guide information display device 50 includes an alarm display for preventing contact between the load W and the feature C.
  • the horizontal distance when projecting the hanging load W and the feature C on a horizontal plane is equal to or less than a predetermined threshold (for example, 1 m), and the distance in the vertical direction is a predetermined threshold (for example, 1 m) If it is the following, it is determined that there is a risk of contact.
  • the data processing unit 70 guides the guide frame GD1 of the feature C and the guide frame GD1 of the feature C in a manner to emphasize the guide frame GD1 and the height information GD2 of the feature C which may come into contact with the load W. Output height information GD2.
  • the data processing unit 70 outputs the guide frame GD1 of the feature C and the height information GD2 in a mode in which the guide frame GD1 and the height information GD2 of the feature C blink.
  • the data processing unit 70 outputs the guide frame GD1 and the height information GD2 of the feature C as an alarm display, and displays them on the data display unit 80, whereby the operator's attention can be urged. .
  • the exclusion area JA is set between the suspended load W and the top boom member 22f. Then, the data processing unit 70 is configured to exclude point data p acquired in the excluded area JA from the data processing target.
  • the main wire rope 27 passes through the exclusion area JA.
  • the guide information display device 50 is configured to present more accurate and easy-to-see guide information GD by not including the main wire rope 27 in the generation target (measurement object) of the guide information GD.
  • the excluded area JA should be set at a position separated by a predetermined distance from the upper surface of the suspended load W in consideration of not affecting the generation of the guide frame GD1 of the suspended load W. Is preferred.
  • a guide frame GD1 indicating the shape of the suspended load W and the feature C existing around the suspended load W and the height for the operator of the crane 1 is shown.
  • the guide information GD including the height information GD2 and GD3 can be accurately presented.
  • the operator can use the guide information GD presented by the guide information display device 50. Based on the work by the crane 1 can be performed efficiently and safely.
  • the present invention is applicable to a method of clustering point cloud data, a guide information display device, and a crane.
  • Reference Signs List 1 crane 60 data acquisition unit 62 laser scanner 70 data display unit 80 data display unit P point group data p point data WA hanging load area CL1 plane cluster CL1A reference plane cluster CL2 same area cluster L1 distance between two points H (of point data) Difference of elevation value ⁇ H (of elevation value)

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Control And Safety Of Cranes (AREA)

Abstract

取得される点群データのうち、同一領域に存在する一又は複数の測定対象物の点群データのクラスタリング方法を提供する。 レーザスキャナによって、測定対象物の上方から、測定対象物を含む領域の点群データを取得する点群データ取得工程と、データ処理部によって、測定対象物の上面に対応する点群データを平面クラスタとしてクラスタリングする工程と、同一領域の判定基準となる基準平面クラスタを抽出する工程と、基準平面クラスタと、それ以外の平面クラスタとの標高値の差異を算出し、標高値の差異が所定の閾値以内である平面クラスタを探索する工程と、標高値の差異が所定の閾値以内である一の平面クラスタを選択する工程と、基準平面クラスタと、一の平面クラスタと、の重なりの有無を検出する工程と、重なりが検出された場合に、各平面クラスタと、を同一領域クラスタとしてクラスタリングする工程と、を備えている。

Description

点群データのクラスタリング方法、ガイド情報表示装置およびクレーン
 本発明は、測定対象物の点群データのクラスタリング方法、この方法を用いたガイド情報表示装置およびガイド情報表示装置を備えるクレーンの技術に関する。
 従来、レーザスキャナで取得した測定対象物の点群データに基づいて、その測定対象物の三次元形状を取得する技術が知られている。斯かる技術は、例えば、以下の特許文献1~3に開示されている。
 特許文献1~3には、測定対象物たる地物の形状を三次元的に表した三次元地図を作成するための技術として、複数の地物等の形状を表した三次元点群を解析する三次元点群解析方法に係る技術が開示されている。特許文献1~3記載の三次元点群解析方法では、まず、複数の地物の外形を表し、解析用に設定された三次元座標空間における位置座標と、その点が存在すると推測される面の法線ベクトルとが格納された三次元点群データを用意する。そして、三次元点群データを主成分分析することによって仮の重力方向を定め、これに沿う法線ベクトルを有する点を除外することで側面点群を抽出する。さらに、点間の距離が近いもの同士をグループ化することで、点群を建物単位に分離し、建物ごとの側面を決定する。こうして得られた各側面について主成分分析によって法線ベクトルを求め、法線ベクトル同士の外積の加重平均をとることによって重力方向を求めている。
 このような特許文献1~3記載の三次元点群解析方法では、複数の地物を表す広域の三次元点群データを用い、主成分分析という統計的手法を用いることによって、建物ごとの側面を決定している。
特開2014-186565号公報 特開2014-186566号公報 特開2014-186567号公報
 特許文献1~3に記載された従来技術を用いて生成される三次元モデルにおいて、例えば、一の測定対象物(建物)ごとに、その外形を表示するガイド枠や建物の高さ情報等をモニタに表示するように構成する場合、測定対象物が複雑な形状をしていたり複数の測定対象物がまとまって配置されていたりすると、モニタ内に表示される情報がユーザにとって過多となり、視認しづらくなる場合があった。
 本発明は、斯かる現状の課題に鑑みてなされたものであり、取得される点群データのうち、同一領域に存在する一又は複数の測定対象物の点群データのクラスタリング方法、これを用いたガイド情報表示装置およびガイド情報表示装置を備えるクレーンを提供することを目的としている。
 本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
 即ち、本発明に係る点群データのクラスタリング方法は、レーザスキャナによって、測定対象物の上方から、前記測定対象物を含む領域において点群データを取得する点群データ取得工程と、前記点群データを演算処理するデータ処理手段によって、前記点群データのうち、前記測定対象物の上面に対応する点群データを平面クラスタとしてクラスタリングする平面クラスタリング工程と、同一領域の判定基準となる前記平面クラスタである基準平面クラスタを抽出する基準平面クラスタ抽出工程と、前記基準平面クラスタと、該基準平面クラスタ以外の前記平面クラスタとの標高値の差異を算出し、前記標高値の差異が所定の閾値以内である前記平面クラスタを探索する平面クラスタ探索工程と、前記標高値の差異が前記所定の閾値以内である一の前記平面クラスタを選択する平面クラスタ選択工程と、前記基準平面クラスタと、前記一の平面クラスタと、の重なりの有無を検出する重なり検出工程と、前記重なりが検出された場合に、前記基準平面クラスタと、前記一の平面クラスタと、を同一領域クラスタとしてクラスタリングする同一領域クラスタリング工程と、を備えることを特徴とする。
 このような構成の点群データのクラスタリング方法によれば、レーザスキャナで取得した測定対象物の上面に対応する点群データに基づいて、同一領域に存在する一又は複数の測定対象物の点群データをクラスタリングすることができる。これにより、モニタに表示される情報を、ユーザにとって視認しやすくすることができる。
 また、本発明に係る点群データのクラスタリング方法は、前記同一領域クラスタリング工程の後で、前記平面クラスタ探索工程において発見された、前記一の平面クラスタ以外の他の平面クラスタの有無を判定する平面クラスタ有無判定工程、をさらに備え、前記データ処理手段によって、前記平面クラスタ有無判定工程で前記他の平面クラスタが無いと判定されるまで、前記平面クラスタ有無判定工程の後で、前記平面クラスタ選択工程、前記重なり検出工程、前記同一領域クラスタリング工程、を順に繰り返して行うことを特徴とする。
 このような構成の点群データのクラスタリング方法によれば、同一領域に存在する一又は複数の平面クラスタを全てクラスタリングすることができる。
 また、本発明に係る点群データのクラスタリング方法は、前記基準平面クラスタ抽出工程は、標高値が最大である前記平面クラスタを前記基準平面クラスタとして抽出することを特徴とする。
 このような構成の点群データのクラスタリング方法によれば、標高値が最大である平面クラスタを基準として同一領域に存在する一又は複数の平面クラスタをクラスタリングすることができる。
 また、本発明に係る点群データのクラスタリング方法は、前記平面クラスタリング工程は、前記領域を、鉛直方向に所定の厚みを有する複数のグループとして層状に分割し、取得した前記点群データを前記複数のグループに振り分けるグループ振分工程と、前記複数のグループに振り分けた前記点群データに基づいて、前記グループごとに前記測定対象物の上面に対応する点群データを前記平面クラスタとしてクラスタリングする上面推定工程と、前記上面推定工程で推定された前記平面クラスタのうち、一の前記グループに属する第一の前記平面クラスタと、他の前記グループに属する第二の前記平面クラスタとの標高値の差異を算出する標高値差異算出工程と、前記第一の平面クラスタと前記第二の平面クラスタの標高値の差異が所定の閾値以下である場合に前記レーザスキャナにより照射するレーザの側線方向において、前記第一の平面クラスタと前記第二の平面クラスタの重なりを検出する重なり検出工程と、前記第一の平面クラスタと前記第二の平面クラスタの重なりが検出された場合に、前記第一の平面クラスタと前記第二の平面クラスタを結合し、新たな平面クラスタとする平面結合工程と、を備えることを特徴とする。
 このような構成の点群データのクラスタリング方法によれば、レーザスキャナで取得した測定対象物の上面に対応する点群データに基づいて、同一領域に存在する一又は複数の平面クラスタをクラスタリングすることができる。
 また、本発明に係るガイド情報表示装置は、測定対象物の上方から、前記測定対象物と地表面とを少なくとも含む領域の映像を撮影するカメラと、前記領域において、前記測定対象物の上方から点群データを取得するレーザスキャナと、を備えたデータ取得部と、前記データ取得部のレーザスキャナで取得した前記点群データに基づいて、前記測定対象物の上面を推定し、前記測定対象物の上面を囲むガイド枠を生成するデータ処理部と、前記データ処理部で生成した前記ガイド枠と、前記カメラで撮影した前記映像と、を重畳したガイド情報を表示するデータ表示部と、を備え、前記データ処理部は、前記点群データのうち、前記測定対象物の上面に対応する前記点群データを平面クラスタとしてクラスタリングし、同一領域の判定基準となる前記平面クラスタである基準平面クラスタを抽出し、前記基準平面クラスタと、前記平面クラスタとの標高値の差異を算出し、前記標高値の差異が所定の閾値以内である前記平面クラスタを探索し、前記標高値の差異が前記所定の閾値以内である前記平面クラスタと、前記基準平面クラスタと、の重なりの有無を検出し、前記重なりが検出された前記平面クラスタを、同一領域クラスタとして前記基準平面クラスタとクラスタリングし、前記ガイド枠を、前記同一領域クラスタを構成する複数の前記平面クラスタの外形をまとめて囲むように生成することを特徴とする。
 このような構成のガイド情報表示装置によれば、レーザスキャナで取得した測定対象物の上面に対応する点群データに基づいて、同一領域に存在する一又は複数の測定対象物の点群データをクラスタリングすることができる。これにより、データ表示部に表示されるガイド情報を、ユーザにとって視認しやすくすることができる。
 また、本発明に係るガイド情報表示装置は、前記データ処理部は、前記基準平面クラスタとして、標高値が最大である前記平面クラスタを抽出することを特徴とする。
 このような構成のガイド情報表示装置によれば、標高値が最大である平面クラスタを基準として同一領域に存在する一又は複数の平面クラスタをクラスタリングすることができる。
 また、本発明に係るクレーンは、ガイド情報表示装置を備えることを特徴とする。
 このような構成のクレーンによれば、レーザスキャナで取得した測定対象物の上面に対応する点群データに基づいて、同一領域に存在する一又は複数の測定対象物の点群データをクラスタリングすることができる。これにより、ガイド情報表示装置に表示されるガイド情報を、ユーザにとって視認しやすくすることができる。
 本発明の効果として、以下に示すような効果を奏する。
 本発明に係る点群データのクラスタリング方法、ガイド情報表示装置およびクレーンによれば、同一領域に存在する一又は複数の測定対象物の点群データをクラスタリングすることができる。
本発明の一実施形態に係るクレーンの全体構成を示す模式図。 吊荷領域を説明する平面模式図。 本発明の一実施形態に係るガイド情報表示装置の全体構成を示す模式図。 吊荷領域を説明する側面模式図。 カメラ空間座標系およびカメラの画角の説明図、(A)Z軸方向視模式図、(B)X軸方向視模式図。 レーザスキャナによるレーザの照射状況の説明図、(A)X軸方向視模式図、(B)Y軸方向視模式図。 データ取得部を示す模式図、(A)Y軸方向視見上げ図、(B)図7(A)におけるA-A断面図。 ガイド情報の表示状態を示す図、(A)映像Mを表示したデータ表示部を示す図、(B)映像Mとガイド情報GDを重畳表示したデータ表示部を示す図。 ガイド情報表示装置の別構成を示す模式図、(A)データ処理部、データ表示部、データ入力部をタブレットPCで構成した場合、(B)データ表示部、データ入力部をタッチパネル式ディスプレイ装置で構成した場合。 吊荷領域とレーザ側線の関係を示す模式図。 レーザスキャナによるレーザの照射状況を説明するZ軸方向視模式図。 データ処理部によるデータ処理の流れを示すフロー図。 データ取得部によって取得した点群データを示す図、(A)点群データをXYZ座標系にプロットした図、(B)XYZ座標系にプロットした点群データを複数のグループに分けた図。 地表面推定方法のフロー図。 地表面の指定時における基準高の算出方法の説明図、(A)基準高の算出方法を示す図、(B)吊荷領域の分割状況を示す模式図。 オペレータによる地表面の指定状況を示す模式図。 平面クラスタの生成方法の説明図。 平面の推定手順を示すフロー図。 平面の推定手順(STEP-301~302)の説明図。 平面の推定手順(STEP-303~305)の説明図。 平面の推定手順(STEP-306~308)の説明図。 平面の推定手順(STEP-306~308(2回目))の説明図。 平面の推定手順(上面の推定状況)の説明図。 異なるグループに存在する平面の結合方法のフロー図。 異なるグループに存在する平面の結合方法の説明図。 同一領域のクラスタリング方法のフロー図。 同一領域のクラスタリング処理の説明図。 同一領域のクラスタリング処理の説明図。 階層的クラスタリングの説明図、(A)第一の例の地物の場合、(B)第二の例の地物の場合。 ガイド枠の生成手順の説明図。 階層的クラスタリングにおける同一領域クラスタの設定例を示す図、(A)全体を囲む同一領域クラスタとする場合、(B)標高値が最も高い平面クラスタを別の同一領域クラスタとして設定する場合、(C)標高値の差分が閾値以上である平面クラスタを全て含む別の同一領域クラスタを設定する場合。 データ表示部における警報表示を示す模式図。 除外領域の設定状況の説明図。
 次に、発明の実施の形態を説明する。
 図1に示す如く、クレーン1は、本発明の一実施形態に係るガイド情報表示装置を備えたクレーンの一例であり、所望の場所に移動可能な移動式クレーンである。
 クレーン1は、走行車両10、クレーン装置20を備えている。
 走行車両10は、クレーン装置20を搬送するものであり、複数(本実施形態では4個)の車輪11を有し、エンジン(図示せず)を動力源として走行する。
 走行車両10の四方角部には、アウトリガ12が設けられている。アウトリガ12は、走行車両10の幅方向両側に油圧によって延伸可能な張り出しビーム12aと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダ12bとから構成されている。そして、走行車両10は、ジャッキシリンダ12bを接地させることにより、クレーン1を作業可能な状態とすることができ、張り出しビーム12aの延伸長さを大きくすることにより、クレーン1の作業可能範囲(作業半径)を広げることができる。
 クレーン装置20は、吊荷Wをワイヤロープによって吊り上げるものであり、旋回台21、伸縮ブーム22、メインフックブロック23、サブフックブロック24、起伏シリンダ25、メインウインチ26、メインワイヤロープ27、サブウインチ28、サブワイヤロープ29、キャビン30を備えている。
 旋回台21は、クレーン装置20を旋回可能に構成するものであり、円環状の軸受を介して走行車両10のフレーム上に設けられる。円環状の軸受は、その回転中心が走行車両10の設置面に対して垂直になるように配置されている。旋回台21は、円環状の軸受の中心を回転中心として一方向と他方向とに回転自在に構成されている。また、旋回台21は、油圧式の旋回モータ(図示せず)によって回転される。
 伸縮ブーム22は、吊荷Wを吊り上げ可能な状態にワイヤロープを支持するものである。伸縮ブーム22は、複数のブーム部材であるベースブーム部材22a、セカンドブーム部材22b、サードブーム部材22c、フォースブーム部材22d、フィフスブーム部材22e、トップブーム部材22fから構成されている。各ブーム部材は、断面積の大きさの順に入れ子式に挿入されている。伸縮ブーム22は、各ブーム部材を図示しない伸縮シリンダで移動させることで軸方向に伸縮自在に構成されている。伸縮ブーム22は、ベースブーム部材22aの基端が旋回台21上に揺動可能に設けられている。これにより、伸縮ブーム22は、走行車両10のフレーム上で水平回転可能かつ揺動自在に構成されている。
 メインフックブロック23は、吊荷Wを引掛けて吊り下げるためのものであり、メインワイヤロープ27が巻き掛けられる複数のフックシーブと、吊荷Wを吊るメインフック32とが設けられている。
 クレーン装置20は、メインフックブロック23の他に、吊荷Wを引掛けて吊り下げるためのサブフックブロック24をさらに備えており、サブフックブロック24には、吊荷Wを吊るサブフック33が設けられている。
 起伏シリンダ25は、伸縮ブーム22を起立および倒伏させ、伸縮ブーム22の姿勢を保持するものである。起伏シリンダ25はシリンダ部とロッド部とからなる油圧シリンダから構成されている。
 メインウインチ26は、メインワイヤロープ27の繰り入れ(巻き上げ)および繰り出し(巻き下げ)を行うものであり、本実施形態では油圧ウインチによって構成している。
 メインウインチ26は、メインワイヤロープ27が巻きつけられるメインドラムがメイン用油圧モータによって回転されるように構成されている。メインウインチ26は、メイン用油圧モータが一方向へ回転するように作動油が供給されることでメインドラムに巻きつけられているメインワイヤロープ27を繰り出し、メイン用油圧モータが他方向へ回転するように作動油が供給されることでメインワイヤロープ27をメインドラムに巻きつけて繰り入れるように構成されている。
 また、サブウインチ28は、サブワイヤロープ29の繰り入れおよび繰り出しを行うものであり、本実施形態では、油圧ウインチによって構成している。
 キャビン30は、オペレータが着座する運転座席31を覆うものであり、旋回台21における伸縮ブーム22の側方に設けられている。
 このように構成されるクレーン1は、走行車両10を走行させることで、任意の位置にクレーン装置20を移動させることができ、また、起伏シリンダ25で伸縮ブーム22を任意の起伏角度に起立させることで、伸縮ブーム22を任意の伸縮ブーム長さに延伸させることができる。
 また、クレーン1は、旋回台21、伸縮ブーム22、起伏シリンダ25等の動作(即ち、クレーン1の動作)を制御するコントローラ34を備えている。コントローラ34は、旋回台21、伸縮ブーム22、起伏シリンダ25等の動作状態に係る情報や、クレーン1固有の性能に係る情報、および吊荷Wの重量等を外部に出力することが可能である。
 尚、本説明では、伸縮ブーム22の起伏支点の軸方向を基準として、図1に示すようなXYZ座標系を規定している(以下の説明においても同様)。
 X軸方向(側線方向とも呼ぶ)は、伸縮ブーム22の起伏支点の軸方向に対して平行な水平方向である。また、Y軸方向(標高方向とも呼ぶ)は、鉛直方向である。さらに、Z軸方向(奥行方向とも呼ぶ)は、伸縮ブーム22の起伏支点の軸方向に対して垂直な水平方向である。即ち、XYZ座標系は、図2に示すように、伸縮ブーム22を基準としたローカル座標系として規定している。
 次に、本発明の一実施形態に係るガイド情報表示装置について、説明する。
 クレーン1は、図3に示すようなガイド情報表示装置50を備えている。
 ガイド情報表示装置50は、本発明に係るガイド情報表示装置の一例であり、図1に示すようなクレーン1による作業を効率よく、かつ、安全に行うことを可能にするために、吊荷Wを含む領域(以下、吊荷領域WAと言う)の情報(以下、ガイド情報と言う)を映像で表示し、オペレータに提示するための装置である。
 ここでいう「吊荷領域WA」とは、図2および図4に示すように、クレーン1の作業領域SA内で、Y軸方向視において吊荷Wを含む領域として設定されるものであり、「ガイド情報」を生成する対象となる領域である。
 「吊荷領域WA」は、クレーン1における伸縮ブーム22のトップブーム部材22fの直下を含む領域として設定され、吊荷領域WA内に存在する吊荷W、地表面F、地物Cが、ガイド情報表示装置50による測定対象物となる。「吊荷領域WA」は、伸縮ブーム22の旋回動作、起伏動作、伸縮動作に応じて変位する。
 また、ここで言う「ガイド情報」は、オペレータがクレーン1によって吊荷Wを搬送するときに、伸縮ブーム22の長さ・旋回位置・起伏角度、ワイヤロープの巻き出し量等の良否について、オペレータの判断を補助する情報であり、吊荷領域WAの映像情報、吊荷Wおよび地物Cの形状に係る情報、吊荷Wの高さ情報、地物Cの高さ情報、吊荷Wの動線に係る情報等が含まれる。
 図3および図4に示す如く、ガイド情報表示装置50は、データ取得部60と、データ処理部70と、データ表示部80と、データ入力部90によって、構成されている。
 データ取得部60は、吊荷領域WAにおけるガイド情報を生成するために必要なデータを取得する部位であり、図3に示すように、カメラ61、レーザスキャナ62、慣性計測装置(IMU)63を備えている。
 図4に示すように、データ取得部60は、クレーン1の伸縮ブーム22の先端に位置しているトップブーム部材22fに付設されており、吊荷Wの真上に位置するブーム先端から真下の状況を捉えることができる状態で配置されている。尚、ここでいう吊荷Wの「真上」は、吊荷Wの鉛直上方の位置と、その位置を基準とした一定範囲(例えば、吊荷Wの上面の範囲)の位置と、を含む概念である。
 データ取得部60は、伸縮ブーム22の先端部のトップブーム部材22fに対してジンバル67(図1参照)を介して付設されており、伸縮ブーム22が起伏動作、旋回動作、伸縮動作をしたときに、データ取得部60の姿勢(Y軸方向に向けた姿勢)を略一定に保持することができるように構成されている。これにより、カメラ61とレーザスキャナ62を常に吊荷Wに向けておくことができる。このため、データ取得部60は、カメラ61とレーザスキャナ62によって、吊荷Wとその下方に存在する地表面F(即ち、吊荷領域WA)から、常にデータを取得することができる。また、吊荷領域WAに地物Cが存在する場合には、カメラ61とレーザスキャナ62によって、地物Cのデータを取得することができる。
 図5(A)(B)に示すように、カメラ61は、吊荷領域WAの映像を撮影するためのデジタルビデオカメラであり、撮影した映像をリアルタイムで外部に出力する機能を有している。カメラ61は、図5(A)(B)に示すような画角(水平画角θhおよび垂直画角θv)を有している。また、カメラ61は、適切なガイド情報の生成に必要なデータ量を考慮した画素数、フレームレート、画像伝送レートを有している。
 図3に示すように、レーザスキャナ62は、測定対象物にレーザを照射し、そのレーザの測定対象物における反射光を受光することによって、その反射点に係る情報を取得し、測定対象物の点群データを取得する装置である。レーザスキャナ62の測定対象物は、吊荷W、地物C、地表面Fである。また、レーザスキャナ62には、測定時刻を取得するための第一GNSS受信機65が接続されている。
 ガイド情報表示装置50では、レーザスキャナ62によって、リアルタイムに平面的な三次元点群データを取得する。
 図6に示すように、レーザスキャナ62は、合計16個のレーザ送受信センサを備えており、同時に16本のレーザを測定対象物に照射して、測定対象物の点群データを取得することができるものである。レーザスキャナ62の16個の各レーザ送受信センサは、Z軸方向において2°ずつ照射角度を異ならせて配置されており、測定対象物に対して、全体で30°の拡がりを持ってレーザを照射可能に構成されている。また、レーザスキャナ62の各レーザ送受信センサは、Z軸回りに360°(全方位)回転可能に構成されている。尚、以下の説明では、吊荷領域WAに向けて照射されるレーザが描く軌跡をレーザ側線と呼ぶ。レーザ側線は、X軸方向に対して平行であり、レーザスキャナ62では、16本のレーザ側線が同時に描かれる。
 そして、レーザスキャナ62は、レーザ側線がX軸方向に対して平行となるように配置されている。また、レーザスキャナ62は、レーザの照射角度を変更する基準軸が、Z軸方向に対して平行とされている。
 図3に示すように、慣性計測装置(Inertial Measurement Unit、以下IMUと呼ぶ)63は、データ取得時におけるカメラ61とレーザスキャナ62の姿勢データを取得するための装置である。IMU63は、リアルタイムで姿勢角を測定することが可能であり、レーザスキャナ62によって取得した点群データの補正に利用可能な測定精度を有している。また、IMU63には、測定時刻を取得するための第二GNSS受信機66が接続されている。
 図7(A)(B)に示すように、データ取得部60はカメラ61、レーザスキャナ62、慣性計測装置(IMU)63をフレーム体64に対して固定し、一体に構成したセンサユニットである。
 フレーム体64は、5枚の板材を組み合わせて構成された略直方体状の物体である。フレーム体64は、4枚の板材で直方体の四方の側面部を構成するとともに、残り1枚の板材で、直方体の上面部を構成し、下方に開口部を有する形状に構成されている。データ取得部60では、カメラ61とレーザスキャナ62を、フレーム体64の側面部内側に付設し、IMU63を、フレーム体64の上面部に付設している。図7(A)に示すように、カメラ61の撮像素子中心位置とレーザスキャナ62のレーザ中心位置は、Y軸方向視において、Z軸方向に距離Δzhで離間している。なお、レーザ中心位置とは、レーザスキャナ62におけるレーザの回転中心であり、Z軸上に位置している。
 また、図7(B)に示すように、カメラ61の撮像素子中心位置とレーザスキャナ62のレーザ中心位置は、X軸方向視において、Y軸方向に距離Δyvで離間している。
 データ取得部60は、フレーム体64の四方の側面部のうち、対面する一対の側面部の一方がZ軸に対して垂直となり、対面する一対の側面部の他方がX軸に対して垂直となる姿勢で配置される。また、データ取得部60は、フレーム体64の上面部が、Y軸に対して垂直となる姿勢で配置される。
 次に、XYZ座標系における点(x,y)のX座標を、カメラ空間座標系におけるXc座標に変換する方法について、説明する。
 ガイド情報表示装置50では、カメラ61で撮影した映像M上に後述するガイド情報GDを重畳してデータ表示部80に表示するために、XYZ座標系とカメラ空間座標系の間で座標値の変換処理を行う。ガイド情報表示装置50では、カメラ61の映像空間において、三次元のカメラ空間座標系Xc・Yc・Zcを規定している。
 図5(A)に示すように、カメラ61のレンズ中心から延ばした垂線から点(x,y)までのX軸方向の距離をdh、カメラ61の水平方向の最大画面幅をwhとする。また、点(x,y)は、画面中心からX軸方向の位置をxとしている。このとき、カメラ空間における点(x,y)のXc座標は、以下の数式(1)(2)で表される。
 尚、以下の数式では、カメラ61の撮像素子とレーザ中心の位置の水平方向の差分をΔzhとし(図7(A)参照)、カメラ画像の横幅をwh、カメラ61の水平画角をθh、一時変数をtmp1としている。
  tmp1=(y-Δzh)×tan(π×θh/360)・・・(1)
  Xc=wh/2-wh×x/(2×tmp1)・・・(2)
 次に、XYZ座標系における点(y,z)のZ座標を、カメラ空間座標系におけるZc座標に変換する方法について、説明する。
 図5(B)に示すように、点(y,z)からレーザ中心までのZ軸方向の距離をdv、カメラ61の水平方向の最大画面幅をwvとしている。また、点(y,z)は、画面中心からZ軸方向の位置をzとしている。このとき、カメラ空間における点(y,z)のZc座標は、以下の数式(3)(4)で表される。
 尚、以下の数式では、カメラ61の撮像素子とレーザスキャナ62のレーザ中心の位置の垂直方向の差分をΔyv(図7(B)参照)、カメラ画像の縦幅をwv、カメラ61の垂直画角をθv、一時変数をtmp2としている。
  tmp2=Y×tan(π×θv/360)・・・(3)
  Zc=wv/2+wv×(Z-Δyv)/(2×tmp2)・・・(4)
 ガイド情報表示装置50では、上記数式(1)~(4)を用いて、XYZ座標系においてレーザスキャナ62等によって取得した点群データの座標を、カメラ空間座標系に変換することによって、カメラ61で撮影した映像M上にガイド情報GDを位置合わせして表示する。
 尚、レーザスキャナ62としては、伸縮ブーム22の最高到達高さを考慮して、その最高到達高さ(例えば、約100m)から測定対象物の三次元形状を測定可能な機器を選択する。また、レーザスキャナ62としては、適切なガイド情報を生成するために必要なデータ量およびデータ精度を考慮して、測定スピード、測定ポイント数、測定精度等の各仕様について所定の性能を有する機器を選択する。
 尚、本実施形態では、合計16個のレーザ送受信センサを備えたレーザスキャナ62を用いる場合を例示しているが、本発明に係るガイド情報表示装置は、レーザスキャナを構成するレーザ送受信センサの個数によっては限定されない。即ち、本発明に係るガイド情報表示装置では、クレーンのブーム(ジブ)の最高到達高さ等に応じて、最適な仕様のレーザスキャナを適宜選択する。
 データ取得部60によって吊荷領域WAにおいて取得するデータには、吊荷Wと、吊荷Wの下方の地表面Fと、吊荷Wの周囲に存在する地物Cをカメラ61によって撮影した映像データが含まれる。また、データ取得部60によって吊荷領域WAにおいて取得するデータには、吊荷Wと、地表面Fと、地物Cをレーザスキャナ62によってスキャンして取得した点群データが含まれる。尚、ここでいう地表面Fには、吊荷Wの搬送元および搬送先となる面を広く含み、地上面のみならず、建物屋上の床面や屋根面等も含まれる。
 図3に示すように、データ処理部70は、データ取得部60で取得したデータを処理して、オペレータに提示するガイド情報GDを生成するための部位であり、本実施形態では、所定のデータ処理プログラムがインストールされた汎用のパーソナルコンピュータによって構成している。
 また、データ処理部70は、クレーン1のコントローラ34と電気的に接続されており、コントローラ34から出力される「クレーン情報」が、データ処理部70に入力される。
 データ表示部80は、オペレータに提示するガイド情報GDを表示するための部位であり、データ処理部70に接続されたディスプレイ装置により構成される。
 データ表示部80には、図8(A)に示すように、カメラ61によって撮影した吊荷領域WAの映像Mをリアルタイムに表示する。
 ガイド情報GDには、図8(B)に示すように、吊荷W・地物CのY軸方向視における外形形状を表すガイド枠GD1や、吊荷Wの下面の高さ情報GD2、地物Cの上面の高さ情報GD3、吊荷Wの動線を示す作業半径情報GD4、伸縮ブーム22の軸線方向を示す軸線情報GD5等が含まれる。
 そして、データ表示部80には、データ処理部70で生成したガイド情報GDと映像Mが重畳して表示される。
 図3に示す如く、データ入力部90は、データ処理部70に対して、設定値等を入力するための部位であり、タッチパネル、マウス、キーボード装置等により構成される。
 尚、ガイド情報表示装置50は、図9(A)に示すように、データ処理部70とデータ表示部80とデータ入力部90をタブレット型の汎用パーソナルコンピュータ(以下、タブレットPCとも呼ぶ)によって、一体的に構成することが好ましい。また、ガイド情報表示装置50は、図9(B)に示すように、データ表示部80とデータ入力部90をタッチパネル式ディスプレイ装置によって一体で構成し、当該タッチパネル式ディスプレイ装置に汎用PCたるデータ処理部70を接続する構成としてもよい。
 図4に示すように、データ表示部80とデータ入力部90は、キャビン30内の運転座席31の前方のオペレータが見やすい位置に配置する。データ処理部70は、データ取得部60の近傍に配置することが好ましい。尚、データ処理部70とデータ表示部80とデータ入力部90をタブレットPCによって一体的に構成した場合には、データ処理部70をキャビン30内に配置する構成としてもよい。
 データ取得部60とデータ処理部70間のデータの伝送は、有線LANによることが好ましい。尚、データ取得部60とデータ処理部70間のデータの伝送は、無線LANを採用してもよく、あるいは、電力線通信を採用してもよい。
 尚、ガイド情報表示装置50は、図9(A)に示すように、データ処理部70とデータ表示部80とデータ入力部90をタブレット型の汎用パーソナルコンピュータ(以下、タブレットPCとも呼ぶ)によって、一体的に構成することが好ましい。また、ガイド情報表示装置50は、図9(B)に示すように、データ表示部80とデータ入力部90をタッチパネル式ディスプレイ装置によって一体で構成し、当該タッチパネル式ディスプレイ装置に汎用PCたるデータ処理部70を接続する構成としてもよい。
 ここで、データ取得部60によるデータの取得状況を説明する。
 データ取得部60では、カメラ61によって、吊荷領域WAを連続的に撮影し、吊荷領域WAの映像Mを取得する。
 図10に示すように、データ取得部60では、レーザスキャナ62によって、吊荷領域WAを連続的にスキャンし、吊荷領域WAにおける測定対象物の点群データを取得する。以下では、レーザスキャナ62によって取得する点群データを、点群データPと呼ぶ。点群データPは、点データpの集合であり、点データpは、吊荷領域WAに存在する地表面F、吊荷W、地物Cの上面に位置する点を表している。そして、点データpには、図11に示すように、測定対象物(例えば地物C)からレーザスキャナ62までの距離aと、その点データpを取得したときのレーザスキャナ62の照射角度bの情報が含まれている。
 図3に示すように、レーザスキャナ62には、第一GNSS受信機65を接続しており、点群データPを取得すると同時に、第一GNSS受信機65によって複数の測位衛星から時間情報を受信する。そして、データ処理部70は、点データpに対して、該点データpの取得時間に係る情報を付与する。即ち、点データpに係る情報には、距離a、照射角度bの他、取得時間tpが含まれている。
 また、データ取得部60では、レーザスキャナ62によって、点群データPを取得すると同時に、IMU63によって、所定の周期でレーザスキャナ62の姿勢データQを取得する。姿勢データQには、レーザスキャナ62のX・Y・Z軸の各軸方向に対する角度と加速度に係る情報が含まれる。尚、IMU63による姿勢データQの取得周期は、レーザスキャナ62による点群データPの取得周期よりも短くする。姿勢データQは、測定周期ごとに測定される個別姿勢データqの集合である。
 IMU63には、第二GNSS受信機66を接続しており、姿勢データQを取得すると同時に、第二GNSS受信機66によって、複数の測位衛星から時間情報を受信する。データ処理部70は、個別姿勢データqに対して、該個別姿勢データqの取得時間に係る情報として取得時間tqを付与する。即ち、個別姿勢データqに係る情報には、取得時間tqが含まれている。
 次に、データ処理部70によるデータの処理状況を説明する。
 図12に示す如く、データ処理部70によるデータ処理では、まず「フレーム抽出処理」を行う(STEP-101)。
 データ処理部70による点群データPのデータ処理では、点群データPのストリームデータから、1フレーム分の点群データPを切り出して出力する。1フレーム分の点群データPは、レーザスキャナ62によるレーザの照射方向がZ軸回りに1周する間に取得する点データpの集合である。
 図12に示す如く、データ処理部70によるデータ処理では、次に「点群データと姿勢データの同期処理」を行う(STEP-102)。
 データ処理部70は、1フレーム分の点群データPに含まれる点データpを、IMU63によって取得した姿勢データQと同期させる。
 具体的には、個々の点データpにおいて、その点データpの取得時間tpに最も近い個別姿勢データqの取得時間tqを探索し、該取得時間tqにおける個別姿勢データqを、その点データpに対応付けることで同期する。
 このようにしてデータ処理部70は、個別姿勢データqに同期された点データpを出力する。
 そして、図11に示すように、データ処理部70は、距離aおよび照射角度bとに基づいて、レーザスキャナ62のレーザ中心位置から点データpまでの距離hを算出する。尚、ここで言う「距離h」は、レーザスキャナ62のレーザ中心位置から点データpが存在する水平面までの距離である。
 また、データ処理部70では、点データpの距離hを算出する際に、その点データpに対応する個別姿勢データqを用いて補正を行う。これによって、レーザスキャナ62の姿勢に起因する誤差を解消し、より精度よく点データpの距離hを算出することができる。
 即ち、ガイド情報表示装置50において、データ取得部60は、レーザスキャナ62の姿勢データQを取得するIMU63を備え、データ処理部70は、IMU63で取得したレーザスキャナ62の姿勢データQに基づいて、点群データPを補正している。
 ガイド情報表示装置50では、このような構成によって、オペレータに対して、より的確なガイド情報GDを提示することが可能になっている。
 1フレーム分の点群データPをXYZ座標系にプロットすると、図13(A)のように表される。図13(A)はZ軸方向から見た点群データP(点データpの集合)である。
 図12に示す如く、データ処理部70によるデータ処理では、次に「地表面推定処理」を行う(STEP-103)。データ処理部70は、吊荷領域WAに存在する地表面Fの基準高H0を推定する処理を行う。
 ここでは、まず、地表面Fを自動的に推定する場合を説明する。
 (点群データ取得工程)
 データ処理部70は、まず、1フレーム分の点群データPを取得する。点群データPは、測定対象物たる吊荷Wおよび地物Cの上方から、吊荷Wおよび地物Cおよび地表面Fを含む吊荷領域Wにおいて取得したものである。
 図14および図15(B)に示すように、データ処理部70は、吊荷領域WAを、平面視(Y軸方向視)において、格子状に複数の小領域Sに分割する(領域分割工程:STEP-201)。データ処理部70は、Z軸方向に対して平行な分割線によってレーザ側線を等間隔に分割し、分割されたレーザ側線を基準とする同一形状で、かつ、同一面積を有する小領域Sに分割している。本実施形態において、データ処理部70は、レーザ側線を10分割することで、160個の小領域Sに分割している。
 次に、データ処理部70は、各小領域Sにおいて、距離hが最も大きい(距離hが最大距離hmaxである)点データpを抽出する(最大点データ抽出工程:STEP-202)。最大距離hmaxである点データpは、最も低い位置に存在している点データpであると推測される。そして、図14および図15(A)に示すように、データ処理部70は、最大距離hmaxである点データpに対する他の点データの距離hの離れ量Dを算出する(離れ量算出工程:STEP-203)。データ処理部70は、最大距離hmaxを基準として、距離hの離れ量Dが所定の閾値r1以内(本実施形態では離れ量Dが7cm以内)にある点データpを、地表面Fを構成する点データとして抽出する(地表面点データ抽出工程:STEP-204)。
 次に、データ処理部70は、各小領域Sにおいて、抽出した点データpの距離hに基づいて各小領域Sの地表面Fの基準高H0を推定する(小領域地表面推定工程:STEP-205)。本実施形態では、データ処理部70は、抽出した点データpの距離hの平均値を、小領域Sにおける地表面Fの基準高H0としている。
 データ処理部70では、このような構成によって、任意の小領域Sにおいて、地表面Fの基準高H0を推定することができる。
 さらに、データ処理部70は、各小領域Sにおける地表面Fの基準高H0に基づいて吊荷領域WAの地表面Fの基準高H0を推定する(領域地表面推定工程:STEP-206)。本実施形態では、データ処理部70は、各小領域Sにおける地表面Fの基準高H0(距離hの平均値)をさらに全ての小領域Sで平均した値を、吊荷領域WAの地表面Fの基準高H0としている。
 データ処理部70では、このような構成によって、吊荷領域WAの地表面Fの基準高H0を推定することができる。そして、データ処理部70は、距離hと基準高H0から、点データpの標高値Hを算出する。図10に示すように、標高値Hは、点データpの基準高H0からの高さである。
 (STEP-206)において、データ処理部70は、吊荷領域WAにおける地表面Fの基準高H0に対する一の小領域Sにおける地表面Fの基準高H0の差異が所定の閾値よりも大きい場合に、地表面Fを構成しない点データpを抽出したものと判断し、一の小領域Sにおける地表面Fの基準高H0の代わりに、一の小領域Sに隣接する小領域Sのうち、差異が所定の閾値未満となる小領域Sの地表面Fの基準高H0を用いて、吊荷領域WAにおける地表面Fの基準高H0を補正してもよい。
 データ処理部70では、このような構成によって、地表面Fを構成しない点データpを抽出したものと推定される場合に、一の小領域Sの代わりに、一の小領域Sに隣接する小領域Sのうち、差異が所定の閾値未満となる小領域Sの地表面Fの基準高H0を用いることで、吊荷領域WAの地表面Fの基準高H0をより正確に推定することができる。
 また、(STEP-206)において、吊荷領域WAにおける地表面Fの基準高H0を推定する際に、全ての小領域Sのうち、地表面Fを構成しない点データpを抽出したものと推定される小領域Sを除外してもよい。例えば、各小領域Sにおいて算出される地表面Fの基準高H0のうち、最小である一の小領域Sにおける地表面Fの基準高H0を基準として、所定の閾値以内にある小領域Sの地表面Fの基準高H0のみを用いて平均値を算出してもよい。以上のように、吊荷領域WAにおける地表面Fの基準高H0を推定する際に、全ての小領域Sの基準高H0を用いる必要はなく、特定の小領域Sの基準高H0のみを用いてもよい。
 データ処理部70では、このような構成によって、地表面Fを構成する点データを抽出できていないと推定される小領域Sを除外することができる。そのため、正確に吊荷領域WAにおける基準高H0の推定を行うことができる。
 以上のように、地表面推定方法では、レーザスキャナ62によって、地表面Fを含む吊荷領域WAにおいて、点群データPを取得する点群データ取得工程と、吊荷領域WAを、平面視において格子状に分割し、同一形状で、かつ、同一面積を有する複数の小領域Sを生成する領域分割工程と、小領域Sにおいて、距離hが最大である点データpを抽出する最大点データ抽出工程と、小領域Sにおいて、距離hが最大である点データpに対する他の点データpの距離hの離れ量Dを算出する離れ量算出工程と、小領域Sにおいて、距離hの離れ量Dが所定の閾値r1以内である点データpを抽出する地表面点データ抽出工程と、地表面点データ抽出工程において抽出される点データpに基づいて小領域Sの地表面Fの基準高H0を推定する小領域地表面推定工程と、各小領域Sの地表面Fの基準高H0に基づいて吊荷領域WAの地表面Fの基準高H0を推定する領域地表面推定工程と、を備えている。
 ガイド情報表示装置50では、上記処理によって精度よく取得した地表面Fの基準高H0に基づいて、ガイド情報GDを生成する構成としている。このため、ガイド情報表示装置50では、地表面Fの基準高H0に基づいて、吊荷Wの高さ情報、地物Cの高さ情報を、精度良く算出することができる。
 次に、映像上の特定の位置を基準として、地表面Fを推定する場合を説明する。尚、ここでは、映像上の特定の位置を、オペレータが手動で指定する場合を例示するが、データ処理部70が、映像上の特定の位置を自動的に決定し指定する構成としてもよい。
 ガイド情報表示装置50では、データ表示部80およびデータ入力部90において地表面の位置を指定することで、基準となる地表面Fを決定することができる。
 手動による場合、まず図16上図に示すように、オペレータがデータ表示部80に表示される映像上で、地表面であることが明らかな位置を指定する。すると、データ処理部70は、図16中図に示すように、その指定された位置(点)を中心とする所定半径の基準円を生成する。そして、データ処理部70は、図16下図に示すように、レーザ側線上にある点データpとの重なりを検出し、基準円内に含まれる複数の点データpを選択する。
 そして、データ処理部70は、図15(A)に示すように、選択された複数の点データpからまず、距離hが最も大きい(距離hが最大距離hmaxである)点データpを抽出する。そして、データ処理部70は、最大距離hmaxである点データpに対する他の点データの距離hの離れ量Dを算出する。データ処理部70は、最大距離hmaxを基準として、距離hの離れ量Dが所定の閾値r1以内(本実施形態では離れ量Dが7cm以内)にある点データpを地表面Fを構成する点データとして抽出する。データ処理部70は、抽出した点データpの距離hに基づいて地表面Fの基準高H0を推定する。本実施形態では、データ処理部70は、抽出した点データpの距離hの平均値を地表面Fの基準高H0として採用する。
 図12に示す如く、データ処理部70によるデータ処理では、次に「平面の推定処理」を行う(STEP-104)。データ処理部70は、以下に示す上面推定方法によって、吊荷領域WAに存在する測定対象物たる吊荷Wと地物Cの上面を推定する。
 1フレーム分の点群データPをXYZ座標系で示した吊荷領域WA上にプロットすると、図13(A)に示すように表される。そして、このような吊荷領域WAにある点群データPを模式的に表すと、図17上図のように表される。
 (点群データ取得工程)
 データ処理部70は、まずこのような1フレーム分の点群データPを取得する。点群データPは、測定対象物たる吊荷Wおよび地物Cの上方から、吊荷Wおよび地物Cを含む吊荷領域Wにおいて取得したものである。
 (グループ振分工程)
 データ処理部70は、図17上図に示すような吊荷領域WAにおいて取得した点群データPを、図17中図に示すように、Y軸方向に所定の厚みdで層状に分割し、点群データPを複数のグループに振り分ける(図13(B)参照)。
 このときデータ処理部70は、分割した各グループに個別のグループID(ここでは、ID:001~006とする)を付与し、各点データpをグループIDに関連付ける。
 (上面推定工程)
 そして、データ処理部70は、各グループにおいて、そのグループに含まれる複数の点データpを用いて、平面を推定する。ここで言う「平面」は、吊荷Wおよび地物Cにおいて上向きに存在する平面であり、即ち、吊荷Wおよび地物Cの「上面」である。
 以下、上面推定工程について、具体的に説明する。
 まず、データ処理部70は、図18および図19上図に示すように、同一グループに含まれる複数の点データp・p・・・から2つの点データp・pを選択する(2点選択工程:STEP-301)。
 そして、データ処理部70は、図18および図19下図に示すように、選択した2つの点データp・pの2点間距離L1を算出する(点間距離算出工程:STEP-302)。
 次に、データ処理部70は、図18および図20上図に示すように、2点間距離L1が所定の閾値r2以下であれば(STEP-303)、その2点(点線で示した2つの点データp・p)は同一平面上にあるものとみなす(2点平面みなし工程:STEP-304)。そして、データ処理部70は、図18および図20下図に示すように、同一平面上にあるとみなされた各点(ここでは、選択した2点)の重心G1を算出する(重心算出工程:STEP-305)。仮に、(STEP-303)において、「no」と判定された場合には、(STEP-301)に戻って、新たな2点を選択し直す。
 次に、データ処理部70は、図18および図21上図に示すように、算出した重心G1に対する近傍点となる点データpを探索する(近傍点探索工程:STEP-306)。ここで言う「近傍点」とは、重心G1に対する点間距離が閾値r2以下の点である。
 そして、データ処理部70は、図18および図21下図に示すように、近傍点たる点データpが見つかれば(STEP-307)、その近傍点たる点データpも、先に選択した2つの点データp・pと同一平面上にあるものとみなす(近傍点平面みなし工程:STEP-308)。
 そして、データ処理部70は、図18および図22上図に示すように、(STEP-305)に戻って、同一平面上にあるとみなされた各点(ここでは、点線で示した3つの点データp・p・p)から、新たな重心G2を算出する。
 データ処理部70は、(STEP-306)に移行して、重心G2に対する近傍点となる点データpをさらに探索する。そして、データ処理部70は、図18および図22下図に示すように、近傍点たる点データpがさらに見つかれば(STEP-307)、その近傍点たる点データpも、先に選択した各点と同一平面上にある点データpであるものとみなす(STEP-308)。
 そして、データ処理部70は、新たな重心を算出しながら近傍点を探索し、近傍点たる点データpが検出されなくなるまで(STEP-305)から(STEP-308)までの処理を順に繰り返して行う。
 そして、データ処理部70は、図18および図23に示すように、新たな近傍点が見つからなければ、(STEP-307)で「no」と判定し、同一平面上にあるとみなされた点データpの部分集合(クラスタ)をクラスタリングして、平面を推定する(STEP-309)。ここで言う「クラスタリング」とは、点データpの集合である点群データPをクラスタに切り分けて、各クラスタに含まれる点データpが、同一平面上にあるという共通の特徴を持つようにする処理である。
 データ処理部70は、点群データPを、同一平面上にあるとみなされた点データpに切り分けて、平面クラスタCL1を設定する(図17下図参照)。平面クラスタCL1に属する各点データpによれば、平面(即ち、吊荷Wおよび地物Cの「上面」)を規定することができる。尚、同一のグループIDが付与されたグループ内には、複数の平面クラスタCL1が存在する場合もある。
 そして、データ処理部70は、平面クラスタCL1に属する点データpの、X座標の最大値と最小値から平面の「幅」を推定し、Z座標の最大値と最小値から平面の「奥行」を推定する。即ち、本実施形態で示す吊荷Wおよび地物Cの上面推定方法では、データ処理部70によって、同一平面上にあるとみなされた(同一の平面クラスタCL1に属する)複数の点データpのうち、上面の幅方向(X軸方向)において最も離間している2つの点データp・pの点間距離から上面の「幅」を推定し、上面の奥行方向(Z軸方向)において最も離間している2つの点データp・pの点間距離から上面の「奥行」を推定している。
 データ処理部70は、このようにして、推定した平面クラスタCL1から平面を規定する。尚、ここで規定する平面は、矩形以外の多角形であってもよい。
 即ち、吊荷Wおよび地物Cの上面推定方法では、レーザスキャナ62によって、吊荷Wおよび地物Cの上方から、吊荷Wおよび地物Cを含む吊荷領域WAにおいて点群データPを取得する点群データ取得工程と、点群データPを演算処理するデータ処理部70によって、吊荷領域WAを、鉛直方向に所定の厚みdを有する複数のグループ(ID:001~006)として層状に分割し、取得した点群データPを複数のグループ(ID:001~006)に振り分けるグループ振分工程と、データ処理部70によって、複数のグループ(ID:001~006)に振り分けた点群データPに基づいて、グループごとに吊荷Wおよび地物Cの上面を推定する上面推定工程と、を備えている。
 このような上面推定方法では、レーザスキャナ62で取得した上面に対応する点群データPのみに基づいて吊荷Wおよび地物Cの上面を推定することができる。このため本実施形態で示した上面推定方法では、レーザスキャナ62で取得した点群データPに基づいて、短時間で吊荷Wおよび地物Cの上面を推定することが可能になり、ひいては、リアルタイムに吊荷Wおよび地物Cの上面を推定することが実現できる。
 また、このような上面推定方法では、統計的手法を用いずに吊荷Wおよび地物Cの上面を推定することができ、統計的手法を用いる場合に比べて、吊荷Wおよび地物Cの上面の推定に要する計算量を低減することができる。このため本実施形態で示した上面推定方法では、レーザスキャナ62で取得した点群データPに基づいて、より短時間で吊荷Wおよび地物Cの上面を推定することが可能になる。
 尚、吊荷Wおよび地物Cの上面推定方法では、クレーン1において、伸縮ブーム22のトップブーム部材22fにデータ取得部60を設け、レーザスキャナ62によって、吊荷Wの上方から吊荷W、地物C、地表面Fに係る点群データPを取得する場合を例示しているが、測定対象物の上面推定方法は、クレーンの吊荷とその吊荷の周囲に存在するものを測定対象物とする場合に適用するものとして限定されるものではない。
 即ち、測定対象物の上面推定方法は、例えば、ブームを備える作業車両(例えば、高所作業車等)のブーム先端部やドローン等にレーザスキャナを設けて、上空からその下方に存在する測定対象物の点群データを取得し、取得した点群データに基づいて測定対象物の上面を推定する場合に広く適用することができる。
 次に、上面推定方法では、推定した各平面クラスタCL1(上面)を結合する。
 データ処理部70は、図24および図25上図に示すように、推定された平面クラスタCL1のうち、異なるグループIDが付与された2つの平面クラスタCL1・CL1を選択し、各平面クラスタCL1の標高値Hの差異dHを算出する(STEP-401:標高値差異算出工程)。
 ここで、データ処理部70は、差異dHが閾値r3以内である組み合わせを探索する(STEP-402)。ここでいう平面クラスタCL1の標高値Hとは、平面クラスタCL1に属する各点データpの標高値Hの平均値である。
 次に、データ処理部70は、図24および図25中図に示すように、標高値Hの差異dHが閾値r3以内である平面クラスタCL1の組み合わせが検出されたときには、それらの平面クラスタCL1・CL1についてX軸方向における重なりを検出する(STEP-403:重なり検出工程)。ここでいう「重なり」とは、平面クラスタCL1によって規定される平面のX軸方向における重複度合および離間度合であり、図24および図25に示すように、「幅」の重複量dW1が検出された場合(dW1>0)か、もしくは、離間量dW2が所定の閾値r4以下である場合(0≦dW2≦r4)に、「重なり」を検出するものとする。
 そして、データ処理部70は、図24および図25に示すように、「重なり」が検出された場合には(STEP-404)、それらの平面クラスタCL1・CL1に属する点データpが同一平面上に存在するものとみなし、二つの平面クラスタCL1・CL1を結合し、新たな平面クラスタCL1として更新する(STEP-405:平面結合工程)。また、このとき、新たな平面クラスタCL1に属する各点データpから、新たな標高値Hを算出する。
 データ処理部70は、図24に示すように、以上の処理を、条件を満たす平面クラスタCL1・CL1の組み合わせが無くなるまで繰り返して行い(STEP-406)、複数のグループに跨って存在する平面を推定する。
 そして、データ処理部70は、以上の結合処理によって結合した平面(即ち、平面クラスタCL1)を出力する。
 平面クラスタCL1によって規定される平面は、吊荷Wおよび地物Cにおいて上向きに存在する平面であり、即ち、吊荷Wおよび地物Cの上面である。
 即ち、吊荷Wおよび地物Cの上面推定方法では、上面推定工程で推定された上面のうち、一のグループ(図25ではID:001)に属する上面と、他のグループ(図25ではID:002)に属する上面との標高値Hの差異dHを算出する標高値差異算出工程(STEP-401)と、標高値Hの差異dHが所定の閾値r3以下である場合に(STEP-402)、レーザスキャナ62により照射するレーザの側線方向(X軸方向)において、各上面の重なりを検出する重なり検出工程(STEP-403)と、重なりが検出された場合に(STEP-404)、各上面が同一平面を構成するものとみなして、各上面を結合する平面結合工程(STEP-405)と、を備えている。
 このような平面の推定方法では、点群データPの法線ベクトルを用いずに平面を推定することができる。このため、点群データPの法線ベクトルを用いて平面を推定する場合に比べて、計算量が少なくて済むという特徴がある。
 また、このような平面の推定方法では、吊荷Wや地物Cの上面を推定することによって、吊荷Wや地物Cの側面の点データpを取得せずに、吊荷Wや地物Cの立体的形状を把握することができる。
 図12に示す如く、データ処理部70による点群データのクラスタリング方法では、次に「同一領域のクラスタリング処理」を行う(STEP-105)。ここで言う「クラスタリング」とは、データの集合である点群データPを、クラスタに切り分けて、各クラスタに含まれる点データpが、「同一領域」にあるという共通の特徴を持つようにする処理である。
 ここで行う「同一領域のクラスタリング処理」は、生成した平面クラスタCL1(平面)を、同一平面を構成するか否かとは無関係に、「同一領域」に存在するか否かという観点でクラスタリングする処理である。以下では、同一領域のクラスタリング処理(STEP-105)における処理内容を、具体的に説明する。
 具体的には、図26および図27上図および図28上図に示すように、データ処理部70は、同一領域に存在するか否かを判定する際の基準となる平面クラスタCL1である基準平面クラスタCL1Aを抽出する(STEP-501:基準平面クラスタ抽出工程)。データ処理部70は、標高値Hが最大である平面クラスタCL1を基準平面クラスタCL1Aとして抽出する。ここでいう平面クラスタCL1の標高値Hとは、平面クラスタCL1に属する各点データpの標高値Hの平均値である。データ処理部70は、抽出した基準平面クラスタCL1Aを基準にして、他の平面クラスタCL1が、その基準平面クラスタCL1Aと「同一領域」にあるか否かを判定する。「同一領域」にあるか否かの判定は、以下に示す手順による。
 図26および図27上図および図28上図に示すように、データ処理部70は、基準平面クラスタCL1Aを抽出すると、基準平面クラスタCL1Aに対する他の全ての平面クラスタCL1の標高値Hの差異ΔHを算出する(STEP-502:標高値差異算出工程)。
 次に、データ処理部70は、基準平面クラスタCL1Aに対する標高値Hの差異ΔHが閾値r5以内である平面クラスタCL1を探索する(STEP-503:平面クラスタ探索工程)。そして、差異ΔHが閾値r5以内である平面クラスタCL1が検出されたときには、その中から一の平面クラスタCL1を選択する(STEP-504:平面クラスタ選択工程)。
 尚、差異ΔHが閾値r5以内である平面クラスタCL1が検出されないときには、ここで処理を終了する。
 次に、データ処理部70は、選択した一の平面クラスタCL1についてX軸方向における基準平面クラスタCL1Aとの重なりの有無を検出する(STEP-505:重なり検出工程)。ここでいう「重なり」とは、平面クラスタCL1によって規定される平面のY軸方向視における重複度合および離間度合であり、図27中図に示すように、「幅」の重複量ΔW1が検出された場合(ΔW1>0)か、もしくは、図28中図に示すように、離間量ΔW2が所定の閾値r6以下である場合(0≦ΔW2≦r6)に、「重なり」を検出するものとする。図27中図に示すように、「幅」の重複量ΔW1が検出された場合とは、基準平面クラスタCL1Aと平面クラスタCL1がY軸方向視において重複している状態を指す。図28中図に示すように、離間量ΔW2が所定の閾値r6以下であることを検出された場合とは、基準平面クラスタCL1Aと平面クラスタCL1がY軸方向視において重複していないが、近傍にある状態を指す。
 データ処理部70は、図26および図27下図および図28下図に示すように、「重なり」が検出された場合には、その一の平面クラスタCL1が基準平面クラスタCL1Aと同一領域に存在するものとみなし、一の平面クラスタCL1と基準平面クラスタCL1Aによって、同一領域クラスタCL2を形成する(STEP-506:同一領域クラスタリング工程)。尚、(STEP-505:重なり検出工程)において、「重なり」が検出されないときには、同一領域クラスタCL2を形成せずに、次の処理(STEP-507)に移行する。
 データ処理部70は、(STEP-506)の後で、先に選択した一の平面クラスタCL1以外に、標高値Hの差異ΔHが閾値r5以内である他の平面クラスタCL1があるか否かを判定する(STEP-507:平面クラスタ有無判定工程)。そして、条件に合う他の平面クラスタCL1が存在するときには、(STEP-504)に戻って、新たな平面クラスタCL1を選択し、さらに、(STEP-505)から(STEP-506)までの処理を順に行って、条件を満たす他の平面クラスタCL1があれば、先に形成した同一領域クラスタCL2に追加する。そして、データ処理部70は、差異ΔHが閾値r5以内である平面クラスタCL1がなくなるまで(STEP-504)から(STEP-507)までの処理を順に繰り返して行って、同一領域クラスタCL2を確定する。
 データ処理部70は、最初に(STEP-501)で抽出した基準平面クラスタCL1Aに対して標高値Hの差異ΔHが閾値r5以内である平面クラスタCL1がなくなった後、さらに新たな基準平面クラスタCL1Aを抽出し、新たな同一領域クラスタCL2を形成してもよい。この場合、データ処理部70は、(STEP-501)に戻ってクラスタリング処理を再開し、(STEP-501)において、既に同一領域クラスタCL2を形成している平面クラスタCL1を除外しつつ、標高値Hが大きい平面クラスタCL1から順に、基準平面クラスタCL1Aとして抽出する。
 上記の通り、図12に示す同一領域のクラスタリング処理(STEP-105)の具体的内容は、図26に示す(STEP-501)~(STEP-507)の処理内容である。
 即ち、本発明の一実施形態に係る点群データのクラスタリング方法では、平面の推定処理で処理された平面クラスタのうち、同一領域の基準となる基準平面クラスタCL1Aを抽出する基準平面クラスタ抽出工程(STEP-501)と、基準平面クラスタCL1Aに対する標高値Hの差異ΔHを算出する標高差算出工程(STEP-502)と、差異ΔHが閾値r5以内である平面クラスタCL1を探索する平面クラスタ探索工程(STEP-503)と、標高値Hの差異ΔHが閾値r5以内である一の平面クラスタCL1を選択する平面クラスタ選択工程(STEP-504)と、基準平面クラスタCL1Aに対する選択した平面クラスタCL1の重なりの有無を検出する重なり検出工程(STEP-505)と、重なりが検出された場合に、各平面クラスタCL1A・CL1が同一領域に存在するものとみなし、同一領域クラスタCL2を形成する同一領域クラスタリング工程(STEP-506)と、を備えている。
 そして、このような構成の点群データのクラスタリング方法によれば、レーザスキャナ62で取得した吊荷Wおよび地物Cの上面に対応する点群データPに基づいて、同一領域に存在する一又は複数の吊荷Wおよび地物Cの点群データPをクラスタリングすることができる。
 そして、このようにして形成された同一領域クラスタCL2に属する点データpは、後述するガイド情報GDの表示において、形状的に一つのまとまりがあるものとして扱われ、同一領域クラスタCL2を囲むようにガイド枠GD1が表示される。即ち、前述した点群データPのクラスタリング方法によれば、吊荷Wや地物Cについて、全体をまとめてシンプルなガイド枠GD1として表示したり、あるいは、特徴的な部位に分けて詳細な形態を表すガイド枠GD1として表示したりすることができ、オペレータの好みや作業状況、吊荷Wの形状等に合わせて、ガイド枠GD1の表示形態を変更することが可能になる。
 尚、このような「同一領域のクラスタリング処理」は、図29(A)(B)に示すような、標高値に基づく木構造を用いた階層的クラスタリングとすることが好ましい。データ処理部70は、「同一領域のクラスタリング処理」において、地物Cごとに、標高値Hを用いて木構造を作成する。ここでは、図29(A)に示した第一の例の地物Cについて木構造を用いた階層的クラスタリングを行った場合と、図29(B)に示した第二の例の地物Cについて木構造を用いた階層的クラスタリングを行った場合を例示している。
 標高値に基づく木構造を用いた階層的クラスタリングでは、データ処理部70は、標高値Hの平均値が最も小さい平面クラスタCL1を「根(ルート)」として設定する。また、データ処理部70は、「根」を構成する平面クラスタCL1に対して、Y軸方向視において重なりを持つ平面クラスタCL1があれば、「根」から「枝(ブランチ)」を伸ばし、「枝」の先に、その重なりを持つ平面クラスタCL1を追加する。そして、データ処理部70は、標高値Hの平均値が最も大きい平面クラスタCL1を「子」として設定する。
 ここで、ガイド枠GD1の生成方法について、説明する。
 データ処理部70は、「同一領域のクラスタリング処理」において作成した地物Cの木構造を取得する。そして、データ処理部70は、木構造を構成する各平面クラスタCL1に含まれる点データpを取得する。
 次に、データ処理部70は、図30上図に示すように、「子」の平面クラスタCL1の点データpから、Z軸方向において最も奥に位置するレーザ側線上の各点データpを取得する。そして、データ処理部70は、隣り合うレーザ側線との距離の1/2だけZ軸方向に離れており、かつ、各点データpを囲むことができるX軸方向の幅を有する矩形を作成する。
 次に、データ処理部70は、作成した矩形に隣接するレーザ側線上に点データpが存在する場合には、図30下図に示すように、該当するレーザ側線上の点データpを全て含むように矩形を変形させて、外形線を作成する。
 そして、データ処理部70は、対象となるレーザ側線上の点データpが無くなるまで隣接するレーザ側線上に点データpを探索し、上記処理を繰り返す。
 最後に、データ処理部70は、選択した木構造に含まれる全ての平面クラスタCL1を外包する外形線を作成する。
 そして、データ処理部70は、作成した外形線の中から、条件に合う外形線のみをガイド枠GD1として出力する。
 ガイド枠GD1として出力する条件は、例えば、図31(A)に示すように、地物Cの大枠たる外形線のみを表示する条件を選択することができる。この条件を選択した場合には、データ表示部80には、その地物Cに対して、地物Cの全体を囲む一つのガイド枠GD1が表示される。
 また、ガイド枠GD1として出力する条件としては、例えば、図31(B)に示すように、地物Cの大枠たる外形線に加えて、「根」に対する標高値Hの差(差異ΔH)が、閾値以上である外形線(小枠)のうち、各枝で標高値Hが最も高い平面クラスタCL1に係る外形線を表示する条件を選択することができる。この条件を選択した場合には、データ表示部80には、その地物Cの全体を囲む一つ目のガイド枠GD1と、一つ目のガイド枠GD1の内側に包含される二つ目のガイド枠GD1が表示され、地物Cの立体的形状が考慮されたより詳細なガイド情報GDが表示される。
 さらに、ガイド枠GD1として出力する条件としては、例えば、図31(C)に示すように、地物Cの大枠たる外形線に加えて、「根」に対する標高値Hの差(差異ΔH)が、閾値以上である外形線(小枠)を全て表示する条件を選択することができる。この条件を選択した場合にも、データ表示部80には、地物Cの全体を囲む一つ目のガイド枠GD1と、その内側に包含される二つ目のガイド枠GD1が表示され、地物Cの立体的形状が考慮されたより詳細なガイド情報GDが表示される。
 このような表示条件は、差異ΔHの閾値を調整することによっても行うことができる。オペレータは、ガイド情報GDの表示がより見易くなるように、ガイド枠GD1の表示条件を適宜選択することができる。
 即ち、ガイド情報表示装置50では、同一領域クラスタCL2に基づいてガイド枠GD1を生成することによって、地物Cの立体的形状を考慮して、地物Cをより詳細に表現したガイド枠GD1を生成することが可能になる。また、ガイド情報表示装置50では、同一領域に存在する平面クラスタCL1をまとめて囲むガイド枠GD1を生成することが可能になる。即ち、ガイド情報表示装置50によれば、より詳細で見易いガイド情報GDを提示することができる。
 図12に示す如く、データ処理部70によるデータ処理では、次に「点群データとカメラ映像の同期処理」を行う(STEP-106)。
 ここでは、図5(A)(B)に示した通り、XYZ座標系で取得した点群データPをカメラ空間座標系の座標値に変換して、カメラ61によって撮影した映像M上に同期(位置合わせ)して、データ表示部80へと出力する。
 図12に示す如く、データ処理部70によるデータ処理では、次に「ガイド表示処理」を行う(STEP-107)。
 データ処理部70は、生成した同一領域クラスタCL2の情報に基づいて、ガイド情報GDを生成し、データ表示部80に出力する。
 尚、「ガイド表示処理」に際しては、クレーン1のコントローラ34から出力される「クレーン情報」を利用する。ここで利用する「クレーン情報」には、伸縮ブーム22の長さ、起伏角度、クレーン1の作業半径、吊荷Wの重量等に係る情報が含まれる。
 データ処理部70によるデータ処理の一連の流れを説明したが、このような構成では、測定対象物の側面における点データpを取得する必要がなく、少ない演算量で、吊荷Wや地物Cの立体的形状を的確に把握して、ガイド情報GDを生成することができる。このような構成は、データ演算量が少なくて済むため、リアルタイムに吊荷Wや地物Cの形状を把握する用途に適しており、簡易なハードウェア構成のデータ処理部70を用いることができる。
 次に、ガイド情報GDの内容について、説明する。
 ガイド情報表示装置50では、データ表示部80によって、ガイド情報GDを表示する。データ表示部80によって表示するガイド情報GDには、図8(B)に示すような、オペレータによる地表面Fの指定位置に係る情報が含まれている。
 また、ガイド情報表示装置50では、吊荷Wを指定することができる。オペレータが地表面Fを指定する場合と同様に、画面上で吊荷Wを指示することで、その指定位置に存在する平面(上面)が吊荷Wの上面を表すものとして設定される。吊荷Wとして指定された後は、吊荷Wに係るガイド枠GD1と地物Cに係るガイド枠GD1は、線色や線太さ等を変えて区別して表示することが好ましい。
 地表面Fと吊荷Wの指定位置に係る情報は、円等の図形で表したマーカーによって表示される。
 また、データ表示部80によって表示するガイド情報GDには、データ処理部70によって生成したガイド枠GD1が含まれている。
 データ処理部70は、設定された同一領域クラスタCL2に基づいて、ガイド枠GD1を出力する。尚、データ処理部70は、吊荷Wのガイド枠GD1としては、衝突を確実に回避するための余裕を設けることができ、吊荷Wの外形線から所定の距離だけ外側にオフセットさせた枠線を、ガイド枠GD1として出力することができる。このようなガイド枠GD1は、吊荷Wおよび地物Cにおいて推定された上面(平面クラスタCL1)を線分で囲う枠表示となっている。
 また、データ表示部80によって表示するガイド情報GDには、基準高H0から吊荷Wの下面までの高さ情報GD2と、基準高H0から地物Cの上面までの高さ情報GD3と、が含まれている。
 吊荷Wの高さ情報GD2は、データ表示部80の画面上の見やすい位置に独立したエリアを設けて、そのエリアに表示する構成とすることが好ましい。
 ガイド情報表示装置50では、このような構成によって、吊荷Wの高さ情報GD2と地物Cの高さ情報GD3を見間違えることがないようにしている。
 データ処理部70は、高さ情報GD2を、吊荷Wの上面であると推定した平面クラスタCL1の上面高さから吊荷Wの高さを引くことによって算出する。
 ガイド情報表示装置50では、オペレータが、吊荷Wに係る情報(以下「吊荷情報」と呼ぶ)を、予めデータ処理部70に入力する。このオペレータによる「吊荷情報」の入力は、データ入力部90から行われる。そして、データ処理部70は、「吊荷情報」を利用して、吊荷Wの高さを取得する。
 ガイド情報表示装置50では、地物Cの高さ情報GD3を、地物Cを囲むガイド枠GD1の内側に表示する構成としている。あるいは、ガイド情報表示装置50では、ガイド枠GD1が小さい場合には、ガイド枠GD1と一部が重なるように表示する構成としている。
 ガイド情報表示装置50では、このような構成によって、地物Cと高さ情報GD3の対応関係を明確にしている。
 また、ガイド情報表示装置50では、データ処理部70によって、そのガイド枠GD1に対応する平面クラスタCL1の標高値Hに応じて、ガイド枠GD1の線色を変える構成としている。
 ガイド情報表示装置50では、このような構成によって、オペレータがガイド枠GD1を見ることで、吊荷Wや地物Cのおおまかな標高値(高さ)を感覚的に知覚することができる。このため、ガイド情報表示装置50では、吊荷Wと地物Cの高さをより的確に提示することができる。
 さらに、ガイド情報表示装置50では、データ処理部70によって、そのガイド枠GD1に対応する平面クラスタCL1の標高値Hに応じて、高さ情報GD2のフォント色を変える構成としている。
 ガイド情報表示装置50では、このような構成によって、オペレータが高さ情報GD2を見ることで、吊荷Wや地物Cのおおまかな標高値(高さ)を感覚的に知覚できる。このため、ガイド情報表示装置50では、吊荷Wと地物Cの高さをより的確に提示することができる。
 さらに、ガイド情報表示装置50によって行うガイド情報GDの表示には、吊荷Wの動線情報が含まれている。吊荷Wの動線情報には、吊荷Wの作業半径情報GD4と、クレーン1の伸縮ブーム22の軸線情報GD5が含まれる。
 作業半径情報GD4は、現状から伸縮ブーム22を旋回動作させるときの吊荷Wの動線の目安となるものであり、吊荷Wは作業半径情報GD4として示す円弧に沿って移動する。
 また、軸線情報GD5は、現状から伸縮ブーム22を起伏動作および伸縮動作させるときの吊荷Wの動線の目安となるものであり、吊荷Wは作業半径情報GD4として示す直線に沿って移動する。
 ガイド情報表示装置50では、吊荷Wの作業半径情報GD4と伸縮ブーム22の軸線情報GD5を、「クレーン情報」に基づいて生成している。
 データ処理部70は、「クレーン情報」に基づいて、クレーン1の作業半径を算出し、その作業半径を示す円弧を生成し、作業半径情報GD4として出力する。
 また、データ処理部70は、「クレーン情報」に基づいて、伸縮ブーム22の軸線方向を算出し、その軸線方向を示す直線を生成し、軸線情報GD5として出力する。
 また、ガイド情報表示装置50では、作業半径情報GD4と軸線情報GD5を表示する線を破線で表して、かつ、その破線の長さおよび間隔を目安となる長さ(以下、基準長さと呼ぶ)で表示する構成としている。例えば、基準長さを1mとした場合、作業半径情報GD4と軸線情報GD5は、データ表示部80に表示される吊荷領域WAの大きさに応じて表示上では破線の長さおよび間隔を変更し、そのときのスケールにおいて、地表面Fで1mに相当する長さおよび間隔として表示される。
 ガイド情報表示装置50では、破線の長さや間隔を基準長さ(例えば、1m)で表示することで、オペレータが、ガイド情報GDから吊荷Wや地物Cのスケール感を感じることができる構成としている。
 また、データ処理部70は、「クレーン情報」に基づいて、データ取得部60の高さを算出するとともに、吊荷領域WAの大きさおよびデータ表示部80の表示範囲の大きさを算出し、その算出結果に応じて、作業半径情報GD4と軸線情報GD5として表示する破線のスケール(破線およびその間隔の大きさ)を変更する。
 さらに、ガイド情報表示装置50によって行うガイド情報GDの表示には、吊荷Wと地物Cの接触を防止するための警報表示が含まれている。
 データ処理部70は、吊荷Wと地物Cを水平面に投影した際の水平距離が、所定の閾値(例えば、1m)以下であり、かつ、鉛直方向の距離が所定の閾値(例えば、1m)以下であった場合に、接触の恐れがあるものと判断する。
 このときデータ処理部70は、図32に示すように、吊荷Wと接触する恐れがある地物Cのガイド枠GD1および高さ情報GD2を強調させる態様で、地物Cのガイド枠GD1および高さ情報GD2を出力する。あるいは、データ処理部70は、地物Cのガイド枠GD1および高さ情報GD2を点滅させる態様で、地物Cのガイド枠GD1および高さ情報GD2を出力する。ガイド情報表示装置50では、データ処理部70によって、警報表示たる地物Cのガイド枠GD1および高さ情報GD2を出力し、データ表示部80に表示することで、オペレータの注意を促すことができる。
 また、ガイド情報表示装置50では、データ処理部70によってガイド情報GDを生成するにあたって、図33に示すように、吊荷Wとトップブーム部材22fの間に除外領域JAを設定する。そして、データ処理部70は、当該除外領域JA内で取得された点データpを、データ処理の対象から除外する構成としている。
 除外領域JAには、メインワイヤロープ27が通過している。ガイド情報表示装置50では、メインワイヤロープ27をガイド情報GDの生成対象(測定対象物)に含めないようにすることで、より正確で見やすいガイド情報GDを提示する構成としている。尚、除外領域JAは、吊荷Wのガイド枠GD1の生成に影響を及ぼさないように考慮して、その下端高さを、吊荷Wの上面から所定の距離だけ離れた位置に設定することが好ましい。
 このような構成のガイド情報表示装置50では、クレーン1のオペレータに対して、吊荷Wと吊荷Wの周辺に存在する地物Cについて、その形状を示すガイド枠GD1と、高さを示す高さ情報GD2・GD3を含むガイド情報GDを的確に提示することができる。そして、このような構成のガイド情報表示装置50を用いれば、例えば、オペレータが吊荷Wを直接視認することができない状況においても、オペレータは、ガイド情報表示装置50によって提示されるガイド情報GDに基づいて、効率よく、かつ、安全にクレーン1による作業を行うことができる。
 本発明は、点群データのクラスタリング方法、ガイド情報表示装置およびクレーンに利用可能である。
 1    クレーン
 60   データ取得部
 62   レーザスキャナ
 70   データ処理部
 80   データ表示部
 P    点群データ
 p    点データ
 WA   吊荷領域
 CL1  平面クラスタ
 CL1A 基準平面クラスタ
 CL2  同一領域クラスタ
 L1   (点データの)2点間距離
 H    標高値
 ΔH   (標高値の)差異

Claims (7)

  1.  レーザスキャナによって、測定対象物の上方から、前記測定対象物を含む領域において点群データを取得する点群データ取得工程と、
     前記点群データを演算処理するデータ処理手段によって、
     前記点群データのうち、前記測定対象物の上面に対応する点群データを平面クラスタとしてクラスタリングする平面クラスタリング工程と、
     同一領域の判定基準となる前記平面クラスタである基準平面クラスタを抽出する基準平面クラスタ抽出工程と、
     前記基準平面クラスタと、該基準平面クラスタ以外の前記平面クラスタとの標高値の差異を算出し、前記標高値の差異が所定の閾値以内である前記平面クラスタを探索する平面クラスタ探索工程と、
     前記標高値の差異が前記所定の閾値以内である一の前記平面クラスタを選択する平面クラスタ選択工程と、
     前記基準平面クラスタと、前記一の平面クラスタと、の重なりの有無を検出する重なり検出工程と、
     前記重なりが検出された場合に、前記基準平面クラスタと、前記一の平面クラスタと、を同一領域クラスタとしてクラスタリングする同一領域クラスタリング工程と、
     を備える、
     ことを特徴とする点群データのクラスタリング方法。
  2.  前記同一領域クラスタリング工程の後で、前記平面クラスタ探索工程において発見された、前記一の平面クラスタ以外の他の平面クラスタの有無を判定する平面クラスタ有無判定工程、をさらに備え、
     前記データ処理手段によって、
     前記平面クラスタ有無判定工程で前記他の平面クラスタが無いと判定されるまで、前記平面クラスタ有無判定工程の後で、前記平面クラスタ選択工程、前記重なり検出工程、前記同一領域クラスタリング工程、を順に繰り返して行う、
     ことを特徴とする請求項1に記載の点群データのクラスタリング方法。
  3.  前記基準平面クラスタ抽出工程は、
     標高値が最大である前記平面クラスタを前記基準平面クラスタとして抽出する、
     ことを特徴とする請求項1または請求項2に記載の点群データのクラスタリング方法。
  4.  前記平面クラスタリング工程は、
     前記領域を、鉛直方向に所定の厚みを有する複数のグループとして層状に分割し、取得した前記点群データを前記複数のグループに振り分けるグループ振分工程と、
     前記複数のグループに振り分けた前記点群データに基づいて、前記グループごとに前記測定対象物の上面に対応する点群データを前記平面クラスタとしてクラスタリングする上面推定工程と、
     前記上面推定工程で推定された前記平面クラスタのうち、一の前記グループに属する第一の前記平面クラスタと、他の前記グループに属する第二の前記平面クラスタとの標高値の差異を算出する標高値差異算出工程と、
     前記第一の平面クラスタと前記第二の平面クラスタの標高値の差異が所定の閾値以下である場合に前記レーザスキャナにより照射するレーザの側線方向において、前記第一の平面クラスタと前記第二の平面クラスタの重なりを検出する重なり検出工程と、
     前記第一の平面クラスタと前記第二の平面クラスタの重なりが検出された場合に、前記第一の平面クラスタと前記第二の平面クラスタを結合し、新たな平面クラスタとする平面結合工程と、
     を備える、
     ことを特徴とする請求項1から3の何れか一項に記載の点群データのクラスタリング方法。
  5.  測定対象物の上方から、前記測定対象物と地表面とを少なくとも含む領域の映像を撮影するカメラと、前記領域において、前記測定対象物の上方から点群データを取得するレーザスキャナと、を備えたデータ取得部と、
     前記データ取得部のレーザスキャナで取得した前記点群データに基づいて、前記測定対象物の上面を推定し、前記測定対象物の上面を囲むガイド枠を生成するデータ処理部と、
     前記データ処理部で生成した前記ガイド枠と、前記カメラで撮影した前記映像と、を重畳したガイド情報を表示するデータ表示部と、
     を備え、
     前記データ処理部は、
    前記点群データのうち、前記測定対象物の上面に対応する前記点群データを平面クラスタとしてクラスタリングし、
     同一領域の判定基準となる前記平面クラスタである基準平面クラスタを抽出し、
     前記基準平面クラスタと、前記平面クラスタとの標高値の差異を算出し、前記標高値の差異が所定の閾値以内である前記平面クラスタを探索し、前記標高値の差異が前記所定の閾値以内である前記平面クラスタと、前記基準平面クラスタと、の重なりの有無を検出し、前記重なりが検出された前記平面クラスタを、同一領域クラスタとして前記基準平面クラスタとクラスタリングし、
     前記ガイド枠を、前記同一領域クラスタを構成する複数の前記平面クラスタの外形をまとめて囲むように生成する、
     ことを特徴とするガイド情報表示装置。
  6.  前記データ処理部は、
     前記基準平面クラスタとして、標高値が最大である前記平面クラスタを抽出する、
     ことを特徴とする請求項5に記載のガイド情報表示装置。
  7.  請求項5または請求項6に記載のガイド情報表示装置を備える、
     ことを特徴とするクレーン。
PCT/JP2018/027183 2017-07-21 2018-07-19 点群データのクラスタリング方法、ガイド情報表示装置およびクレーン WO2019017454A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP20210093.9A EP3809369A1 (en) 2017-07-21 2018-07-19 Data point group clustering method, guide information display device, and crane
US16/632,779 US11270450B2 (en) 2017-07-21 2018-07-19 Data point group clustering method, guide information display device, and crane
CN201880048079.1A CN110945317A (zh) 2017-07-21 2018-07-19 点群数据的聚类方法、向导信息显示装置及起重机
EP18835405.4A EP3657124A4 (en) 2017-07-21 2018-07-19 PROCESS FOR GROUPING DATA POINT GROUPS, GUIDANCE INFORMATION DISPLAY DEVICE, AND CRANE
CN202010690154.3A CN111874821B (zh) 2017-07-21 2018-07-19 点群数据的聚类方法、向导信息显示装置及起重机

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-142197 2017-07-21
JP2017142197A JP6845106B2 (ja) 2017-07-21 2017-07-21 点群データのクラスタリング方法、ガイド情報表示装置およびクレーン

Publications (1)

Publication Number Publication Date
WO2019017454A1 true WO2019017454A1 (ja) 2019-01-24

Family

ID=65016281

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/027183 WO2019017454A1 (ja) 2017-07-21 2018-07-19 点群データのクラスタリング方法、ガイド情報表示装置およびクレーン

Country Status (5)

Country Link
US (1) US11270450B2 (ja)
EP (2) EP3657124A4 (ja)
JP (2) JP6845106B2 (ja)
CN (2) CN111874821B (ja)
WO (1) WO2019017454A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673582A (zh) * 2021-07-30 2021-11-19 西南交通大学 基于系统聚类分析的铁路动态基准点多层级分群方法
EP4036044A4 (en) * 2019-09-27 2023-10-25 Tadano Ltd. CRANE INFORMATION DISPLAY SYSTEM

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6907061B2 (ja) * 2017-07-21 2021-07-21 株式会社タダノ 測定対象物の上面推定方法、ガイド情報表示装置およびクレーン
JP6965050B2 (ja) * 2017-07-21 2021-11-10 株式会社タダノ ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法
US11348269B1 (en) * 2017-07-27 2022-05-31 AI Incorporated Method and apparatus for combining data to construct a floor plan
US10989795B2 (en) * 2017-11-21 2021-04-27 Faro Technologies, Inc. System for surface analysis and method thereof
CN110526142A (zh) * 2018-05-23 2019-12-03 阳程(佛山)科技有限公司 智能塔吊
CN112055805A (zh) * 2019-01-30 2020-12-08 百度时代网络技术(北京)有限公司 用于自动驾驶车辆的点云登记系统
CN112070769B (zh) * 2020-09-18 2022-06-03 福州大学 一种基于dbscan的分层点云分割方法
CN112462347B (zh) * 2020-12-28 2023-08-15 长沙理工大学 基于密度聚类的激光雷达点云快速分类滤波算法
CN112819958B (zh) * 2021-03-01 2022-09-23 徐一帆 一种基于三维激光扫描的工程地质测绘方法与系统
CN113247769B (zh) * 2021-04-28 2023-06-06 三一海洋重工有限公司 一种集卡定位方法及其定位系统、岸桥
WO2023166700A1 (ja) * 2022-03-04 2023-09-07 パイオニア株式会社 情報処理装置、制御方法、プログラム及び記憶媒体
WO2024105830A1 (ja) * 2022-11-16 2024-05-23 日本電信電話株式会社 情報処理装置、情報処理方法及び情報処理プログラム
CN117233792B (zh) * 2023-11-08 2024-03-15 北京易控智驾科技有限公司 挡墙检测方法和挡墙检测装置、存储介质
CN118097066B (zh) * 2024-04-26 2024-06-21 厦门两万里文化传媒有限公司 一种自动构建3d模型的生成方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256871A (ja) * 2002-03-01 2003-09-12 Nippon Telegr & Teleph Corp <Ntt> 形状モデル生成方法及び装置、並びにこの方法の実行プログラムとこの実行プログラムを記録した記録媒体
US20120139325A1 (en) * 2010-09-01 2012-06-07 The University Of Sydney System and method for terrain analysis
JP2013120176A (ja) * 2011-12-09 2013-06-17 Tadano Ltd 吊荷周辺の物体の高さ情報通知システム
JP2014186566A (ja) 2013-03-25 2014-10-02 Geo Technical Laboratory Co Ltd 3次元点群解析方法
JP2014186567A (ja) 2013-03-25 2014-10-02 Geo Technical Laboratory Co Ltd 3次元点群解析方法
JP2014186565A (ja) 2013-03-25 2014-10-02 Geo Technical Laboratory Co Ltd 3次元点群解析方法
WO2017159382A1 (ja) * 2016-03-16 2017-09-21 ソニー株式会社 信号処理装置および信号処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5057734B2 (ja) 2006-09-25 2012-10-24 株式会社トプコン 測量方法及び測量システム及び測量データ処理プログラム
JP5488882B2 (ja) 2009-10-08 2014-05-14 株式会社日立製作所 固定映像表示システム
EP2327652B1 (de) * 2009-11-30 2012-09-19 Siemens Aktiengesellschaft Verfahren zur Ermittlung von Position und Orientierung eines dreidimensionalen Objekts, Steuerungsprogramm und Postionierungserfassungssystem
US9396545B2 (en) 2010-06-10 2016-07-19 Autodesk, Inc. Segmentation of ground-based laser scanning points from urban environment
US8872851B2 (en) * 2010-09-24 2014-10-28 Intel Corporation Augmenting image data based on related 3D point cloud data
JP5876679B2 (ja) 2011-07-08 2016-03-02 株式会社タダノ 性能線表示装置
US9367770B2 (en) * 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
JP2014031223A (ja) * 2012-08-01 2014-02-20 Tadano Ltd 作業範囲図および作業範囲図表示装置
EP2899496B1 (en) * 2012-09-21 2020-03-04 Tadano Ltd. Periphery-information acquisition device for vehicle
US9600607B2 (en) * 2013-09-16 2017-03-21 Here Global B.V. Methods, apparatuses and computer program products for automatic, non-parametric, non-iterative three dimensional geographic modeling
CN103500329B (zh) * 2013-10-16 2016-07-06 厦门大学 基于车载移动激光扫描点云的路灯自动提取方法
US9412040B2 (en) * 2013-12-04 2016-08-09 Mitsubishi Electric Research Laboratories, Inc. Method for extracting planes from 3D point cloud sensor data
US9600892B2 (en) * 2014-11-06 2017-03-21 Symbol Technologies, Llc Non-parametric method of and system for estimating dimensions of objects of arbitrary shape
AU2017302833B2 (en) * 2016-07-29 2020-11-12 Hitachi, Ltd. Database construction system for machine-learning

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256871A (ja) * 2002-03-01 2003-09-12 Nippon Telegr & Teleph Corp <Ntt> 形状モデル生成方法及び装置、並びにこの方法の実行プログラムとこの実行プログラムを記録した記録媒体
US20120139325A1 (en) * 2010-09-01 2012-06-07 The University Of Sydney System and method for terrain analysis
JP2013120176A (ja) * 2011-12-09 2013-06-17 Tadano Ltd 吊荷周辺の物体の高さ情報通知システム
JP2014186566A (ja) 2013-03-25 2014-10-02 Geo Technical Laboratory Co Ltd 3次元点群解析方法
JP2014186567A (ja) 2013-03-25 2014-10-02 Geo Technical Laboratory Co Ltd 3次元点群解析方法
JP2014186565A (ja) 2013-03-25 2014-10-02 Geo Technical Laboratory Co Ltd 3次元点群解析方法
WO2017159382A1 (ja) * 2016-03-16 2017-09-21 ソニー株式会社 信号処理装置および信号処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3657124A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4036044A4 (en) * 2019-09-27 2023-10-25 Tadano Ltd. CRANE INFORMATION DISPLAY SYSTEM
CN113673582A (zh) * 2021-07-30 2021-11-19 西南交通大学 基于系统聚类分析的铁路动态基准点多层级分群方法
CN113673582B (zh) * 2021-07-30 2023-05-09 西南交通大学 基于系统聚类分析的铁路动态基准点多层级分群方法

Also Published As

Publication number Publication date
JP7008851B2 (ja) 2022-01-25
EP3657124A1 (en) 2020-05-27
CN111874821B (zh) 2022-08-16
EP3657124A4 (en) 2021-04-07
CN111874821A (zh) 2020-11-03
CN110945317A (zh) 2020-03-31
US11270450B2 (en) 2022-03-08
JP2021103530A (ja) 2021-07-15
JP2019023569A (ja) 2019-02-14
JP6845106B2 (ja) 2021-03-17
EP3809369A1 (en) 2021-04-21
US20200167940A1 (en) 2020-05-28

Similar Documents

Publication Publication Date Title
WO2019017454A1 (ja) 点群データのクラスタリング方法、ガイド情報表示装置およびクレーン
WO2019017458A1 (ja) ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法
WO2019017455A1 (ja) ガイド情報表示装置およびクレーン
WO2019017431A1 (ja) 測定対象物の上面推定方法、ガイド情報表示装置およびクレーン
WO2019017430A1 (ja) 測定対象物の上面推定方法、ガイド情報表示装置およびクレーン
WO2019017460A1 (ja) ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法
WO2019017469A1 (ja) 地表面推定方法、ガイド情報表示装置およびクレーン
WO2019017472A1 (ja) ガイド情報表示装置、クレーンおよびガイド情報の生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18835405

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018835405

Country of ref document: EP

Effective date: 20200221