WO2024071413A1 - 点群情報生成システム、点群情報生成システムの制御方法及び点群情報生成システムの制御プログラム - Google Patents

点群情報生成システム、点群情報生成システムの制御方法及び点群情報生成システムの制御プログラム Download PDF

Info

Publication number
WO2024071413A1
WO2024071413A1 PCT/JP2023/035759 JP2023035759W WO2024071413A1 WO 2024071413 A1 WO2024071413 A1 WO 2024071413A1 JP 2023035759 W JP2023035759 W JP 2023035759W WO 2024071413 A1 WO2024071413 A1 WO 2024071413A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
cloud information
information
information generating
unit
Prior art date
Application number
PCT/JP2023/035759
Other languages
English (en)
French (fr)
Inventor
剛 佐々木
光晴 山田
Original Assignee
株式会社トプコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社トプコン filed Critical 株式会社トプコン
Publication of WO2024071413A1 publication Critical patent/WO2024071413A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Definitions

  • the present invention relates to a point cloud information generation system that acquires point cloud information of an object, a control method for the point cloud information generation system, and a control program for the point cloud information generation system.
  • the present invention aims to provide a point cloud information generation system that can easily and quickly generate point cloud information for a desired object, and that can easily and quickly modify the point cloud information, a control method for the point cloud information generation system, and a control program for the point cloud information generation system.
  • a point cloud information generation system comprising a point cloud information generation device that generates three-dimensional point cloud information of an object, and an XR (cross reality) generation device that can be worn by a user, the XR generation device comprising an imaging unit that acquires imaging information corresponding to at least the line of sight of the user, and a display unit, the point cloud information generation device generating three-dimensional point cloud information for the object specified by the execution instruction information based on execution instruction information for the object displayed on the display unit, and displaying the generated three-dimensional point cloud information for the object on the display unit together with the object.
  • XR cross reality
  • the point cloud information generating device can automatically generate point cloud information for the object. Therefore, point cloud information for a desired object can be generated easily and quickly. Furthermore, according to the above configuration, the generated three-dimensional point cloud information for the object is displayed on the display unit together with the object, so that a user of the XR generating device can modify the three-dimensional point cloud information of the object displayed on the display unit while comparing it with the object, thereby enabling a user to obtain more accurate three-dimensional point cloud information.
  • the method is characterized in that the three-dimensional point cloud information is generated for the portion of the object identified based on the execution instruction information of the point cloud information system, and the three-dimensional point cloud information generated based on the execution information is modified.
  • the three-dimensional point cloud information generated based on the execution information is modified, making it possible to perform modifications such as partial deletion or addition of the three-dimensional point cloud information with high accuracy.
  • the point cloud information generating device emits distance measuring light for generating point cloud information and has an optical axis deflection unit that deflects the emission direction of the distance measuring light, and is configured to irradiate the distance measuring light only onto a portion of the object by deflecting the distance measuring light with the optical axis deflection unit.
  • the optical axis deflection unit of the point cloud information generating device deflects and irradiates the distance measurement light toward the part of the object identified based on the execution instruction information, making it possible to generate 3D point cloud information with high accuracy only for that part of the object.
  • the display unit is configured to display design drawing information related to the point cloud information system.
  • the above object is achieved by the present invention, which is a control method for a point cloud information generating system including a point cloud information generating device that generates three-dimensional point cloud information of an object and an XR generating device that can be worn by a user, characterized in that an imaging unit of the XR generating device acquires imaging information corresponding to the line of sight of the user, and based on execution instruction information for the object displayed on the display unit, the point cloud information generating device generates three-dimensional point cloud information for the object specified by the execution instruction information, and displays the generated three-dimensional point cloud information for the object on the display unit together with the object.
  • a control program for a point cloud information generating system including a point cloud information generating device that generates three-dimensional point cloud information of an object and an XR reality generating device that can be worn by a user, the control program being characterized in that the control program realizes the following functions: an imaging unit of the XR generating device acquires imaging information corresponding to the line of sight of the user, and based on execution instruction information for the object displayed on the display unit, the point cloud information generating device generates three-dimensional point cloud information for the object specified by the execution instruction information, and displays the generated three-dimensional point cloud information for the object on the display unit together with the object.
  • the present invention has the advantage of being able to provide a point cloud information generation system, a control method for a point cloud information generation system, and a control program for a point cloud information generation system that can easily and quickly generate point cloud information for a desired object and can easily and quickly modify the point cloud information.
  • FIG. 5 is a schematic diagram showing the main configuration of a point cloud information generating system 500 according to the present embodiment.
  • FIG. 2 is a schematic diagram showing the main configuration of the laser scanner 3 of FIG. 1 .
  • 3 is a schematic diagram showing a main configuration of an optical axis deflection unit 35 in FIG. 2.
  • 2 is a schematic block diagram showing the main configuration of the head mounted display 100 of FIG. 1.
  • 4 is a schematic block diagram showing the main contents of the "HMD-side various information storage unit 120" in FIG. 3.
  • 2 is a schematic block diagram showing the main configuration of the laser scanner 3 of FIG. 1.
  • FIG. 6 is a schematic block diagram showing the main configuration of the “laser scanner side various information storage unit 310” in FIG. 5 .
  • 11 is a schematic flowchart showing an example of the operation of the point cloud information generating system 500.
  • 13 is a schematic flowchart showing an example of the operation of the point cloud information generating system 500.
  • 11 is a schematic explanatory diagram showing an example of a scan pattern when the optical axis deflection unit 35 etc. performs a local scan.
  • FIG. 13 is another schematic explanatory diagram showing an example of a scan pattern when the optical axis deflection unit 35 etc. performs a local scan.
  • FIG. This is a schematic explanatory diagram showing a pillar 600 visible through the HDM side display 113 and three-dimensional point cloud data of points A and B superimposed on each other.
  • FIG. 13 is a schematic explanatory diagram showing a case where three-dimensional point cloud data is generated by mistake, including a protrusion C other than points A and B of a pillar 600.
  • FIG. 13 is a schematic explanatory diagram showing a case where a worker P is unable to sufficiently specify the distance between points A and B on a pillar 600.
  • FIG. 13A and 13B are schematic diagrams illustrating a process of dividing and specifying a target area and generating three-dimensional point cloud data.
  • FIG. 1 is a schematic diagram showing the main configuration of a point cloud information generating system 500 according to this embodiment.
  • a point cloud information generating system 500 includes a "surveying device 1" which is an example of a point cloud information generating device, and a "head mounted display (HMD) 100" which is an example of an XR generating device.
  • HMD head mounted display
  • XR cross reality
  • VR Virtual Reality
  • AR Augmented Reality
  • MR Mated Reality
  • the XR generating device of the present invention includes not only the MR of this embodiment but also VR, AR, and the like.
  • the surveying device 1 includes a laser scanner 3 that generates three-dimensional point cloud information of an object (such as a pillar 600) by performing scanning or the like.
  • the head mounted display 100 is configured to be worn on the head of a user of the system 500 (for example, an operator P).
  • the surveying device 1 has a laser scanner 3, which can obtain three-dimensional point cloud data by emitting and receiving laser light, and can also measure the distance to specific measurement points.
  • the configuration is capable of acquiring three-dimensional point cloud data of an object such as the pillar 600 in FIG. 1 and distance data between the laser scanner 3 and the pillar 600.
  • the laser scanner 3 is also configured to be able to acquire distance data from the head mounted display 100, etc.
  • the head mounted display 100 of the present embodiment is, for example, a device for mixed reality. Specifically, real-world information is made visible through a transparent HDM-side display 113 (an example of a display unit), and its coordinate information can be generated, while virtual world information created by a computer or the like can also be integrated and displayed.
  • a transparent HDM-side display 113 an example of a display unit
  • the head mounted display 100 is configured to be able to display on the HDM side display 113 a real-world image such as a pillar 600, and three-dimensional point cloud data of a portion of this pillar 600 in a synthesized form.
  • the head mounted display 100 comprises a "main body unit 110" that is worn on the head of the worker P, an “HMD side display 113" that is positioned facing both eyes of the worker P, and imaging units, for example, two "HMD side cameras 111a, 111b," that are positioned along the line of sight of the worker P. It also has an HMD side lighting unit 112 that is a light source.
  • HMD side cameras 111a, 111b are installed facing in the same direction as the line of sight of the worker P, and the image information captured by these two HMD side cameras 111a, 111b is the same as the line of sight and field of view of the worker P.
  • the HMD display 113 is of a “transparent” type, so that the worker P can see the target through the display 113 .
  • the HMD side illumination unit 112 is configured to irradiate light in the same direction as the line of sight of the worker P, but is disposed at a different angle from the HMD side cameras 111a and 111b.
  • the HMD-side illumination section 112 is also configured to emit various pattern lights, and is configured to be able to measure "depth” by measuring the distortion of the emitted light.
  • HMD side coordinate data (MR coordinate data)
  • MR coordinate data three-dimensional coordinate data of the pillar 600
  • three-dimensional data is generated using a "structured illumination” technique
  • the present invention is not limited to this and also includes cases where "three-dimensional data” is generated using only “two cameras” and cases where data is generated using a “ToF (Time of Flight)” technique that generates "three-dimensional data” from the time it takes for light emitted from a light source to return to a camera.
  • the present invention may be configured such that an optical camera and a depth sensor are placed on a head-mounted display, infrared rays are emitted from the camera and reflected off an object, and the depth of the object is calculated by measuring the time it takes for the reflected infrared rays to return.
  • the surveying device 1 is mainly composed of a tripod 2 as a support device, a laser scanner 3, an operating device 4, and a rotating table 5.
  • the rotating base 5 is attached to the upper end of the tripod 2, and the laser scanner 3 is attached to the rotating base 5 so as to be rotatable both horizontally and vertically.
  • the rotating table 5 also has a function of detecting the lateral rotation angle (horizontal rotation angle) of the laser scanner 3 .
  • a lever 7 extending laterally is provided on the rotating base 5. By operating the lever 7, the laser scanner 3 can be rotated up and down (vertically) or laterally (horizontally), and can also be fixed in a desired position.
  • the laser scanner 3 itself has a mechanism for horizontal rotation, and is also equipped with an automatic rotation mechanism for tracking an object.
  • the laser scanner 3 incorporates a distance measurement unit and an attitude detection unit, which will be described later.
  • the distance measurement unit emits distance measurement light to the measurement object or measurement range, and receives reflected distance measurement light to measure distance.
  • the attitude detection unit can also detect the attitude of the laser scanner 3 relative to the vertical (or horizontal) with high accuracy.
  • the operation device 4 has a communication function for communicating with the laser scanner 3 via a required means such as wired or wireless communication.
  • the laser scanner 3 transmits an image, a measurement state, a measurement result, etc. to the operation device 4, and the image, the measurement state, the measurement result, etc. are stored in the operation device 4.
  • FIG. 2 is a schematic diagram showing the main components of the laser scanner 3 of FIG.
  • the laser scanner 3 comprises a distance measurement light emitting unit 11, a light receiving unit 12, a distance measurement calculation unit 13, an imaging unit 14 (camera), an emission direction detection unit 15, a motor driver 16, an attitude detection unit 17, a first communication unit 18, a calculation control unit 19, a first memory unit 20, an imaging control unit 21, and an image processing unit 22, which are all housed in a housing 9 and integrated together.
  • the distance measurement light emitting section 11, the light receiving section 12, the distance measurement calculation section 13, etc. constitute a distance measurement section.
  • the distance measuring light emitting section 11 has an emission optical axis 26, on which a light emitting element 27, for example a laser diode (LD), is provided.
  • a projection lens 28 is provided on the exit optical axis 26.
  • a first reflecting mirror 29 serving as a deflection optical member provided on the exit optical axis 26 and a second reflecting mirror 32 serving as a deflection optical member provided on the receiving optical axis 31 deflect the exit optical axis 26 to coincide with the receiving optical axis 31.
  • the first reflecting mirror 29 and the second reflecting mirror 32 constitute an exit optical axis deflection unit.
  • the light-emitting element 27 emits a pulsed laser beam
  • the distance-measuring light emitting unit 11 emits the pulsed laser beam emitted from the light-emitting element 27 as distance-measuring light 23 .
  • Reflected distance measuring light 24 from the measurement object i.e., the measurement point
  • the light receiving section 12 has a light receiving optical axis 31, which coincides with the light exiting optical axis 26 deflected by the first reflecting mirror 29 and the second reflecting mirror 32 as described above.
  • the state in which the emission optical axis 26 and the receiving optical axis 31 coincide with each other is referred to as a distance measurement optical axis 40 (see FIG. 1).
  • the optical axis deflection unit 35 is disposed on the deflected exit optical axis 26, i.e., on the receiving optical axis 31.
  • the straight optical axis passing through the center of the optical axis deflection unit 35 is the reference optical axis O.
  • the reference optical axis O coincides with the exit optical axis 26 or the receiving optical axis 31 when not deflected by the optical axis deflection unit 35.
  • An imaging lens 34 is disposed on the receiving optical axis 31 which is transmitted through the optical axis deflection unit 35 and incident thereon, and a light receiving element 33, for example a photodiode (PD), is also provided.
  • the imaging lens 34 forms an image of the reflected distance measuring light 24 on the light receiving element 33.
  • the light receiving element 33 receives the reflected distance measuring light 24 and generates a light receiving signal.
  • the light receiving signal is input to the distance measurement calculation section 13.
  • the distance measurement calculation section 13 measures the distance to the measurement point based on the light receiving signal.
  • FIG. 3 is a schematic diagram showing the main configuration of the optical axis deflection unit 35 shown in FIG.
  • the optical axis deflection unit 35 will be described with reference to FIG.
  • the optical axis deflection unit 35 is composed of a pair of optical prisms 36a, 36b.
  • the optical prisms 36a, 36b are each disk-shaped and are disposed perpendicular to the light receiving optical axis 31, overlapping with each other and being parallel to each other. It is preferable to use a Fresnel prism as each of the optical prisms 36a and 36b in order to make the device compact.
  • the central part of the optical axis deflection section 35 is the distance measurement light deflection section 35a, which is the first optical axis deflection section through which the distance measurement light 23 passes and is emitted, and the part other than the central part is the reflected distance measurement light deflection section 35b, which is the second optical axis deflection section through which the reflected distance measurement light 24 passes and is incident.
  • the Fresnel prisms used as the optical prisms 36a and 36b are composed of parallel prism elements 37a and 37b and multiple prism elements 38a and 38b, respectively, and have a disk shape.
  • the optical prisms 36a and 36b and the prism elements 37a and 37b and the prism elements 38a and 38b have the same optical characteristics.
  • the prism elements 37a and 37b constitute the distance measuring light deflection unit 35a, and the prism elements 38a and 38b constitute the reflected distance measuring light deflection unit 35b.
  • the Fresnel prism may be made from optical glass, but it may also be molded from an optical plastic material. By molding from an optical plastic material, an inexpensive Fresnel prism can be produced.
  • the optical prisms 36a, 36b are arranged so that they can rotate independently and individually around the light receiving optical axis 31.
  • the optical prisms 36a, 36b are independently controlled in rotation direction, rotation amount, and rotation speed, thereby deflecting the emission optical axis 26 of the emitted distance measuring light 23 in any direction and deflecting the light receiving optical axis 31 of the reflected distance measuring light 24 that is received parallel to the emission optical axis 26.
  • the outer shape of the optical prisms 36a and 36b is a circle centered on the light receiving optical axis 31, and the diameter of the optical prisms 36a and 36b is set to obtain a sufficient amount of light, taking into account the spread of the reflected distance measuring light 24.
  • a ring gear 39a is fitted around the outer periphery of the optical prism 36a, and a ring gear 39b is fitted around the outer periphery of the optical prism 36b.
  • the ring gear 39a is meshed with a drive gear 41a, which is fixed to the output shaft of a motor 42a.
  • the ring gear 39b is meshed with a drive gear 41b, which is fixed to the output shaft of a motor 42b.
  • the motors 42a and 42b are electrically connected to the motor driver 16.
  • the motors 42a, 42b are motors capable of detecting the rotation angle or motors that rotate in response to a drive input value, such as pulse motors.
  • the amount of rotation of the motor may be detected using a rotation angle detector that detects the amount of rotation (rotation angle) of the motor, such as an encoder.
  • the amount of rotation of the motors 42a, 42b is detected, and the motor driver 16 controls the motors 42a, 42b individually.
  • encoders may be directly attached to the ring gears 39a and 39b, respectively, so that the rotation angles of the ring gears 39a and 39b are directly detected by the encoders.
  • the drive gears 41a, 41b and the motors 42a, 42b are provided in positions that do not interfere with the distance measurement light emitting unit 11, for example, below the ring gears 39a, 39b.
  • the light projection lens 28, the first reflecting mirror 29, the second reflecting mirror 32, the distance measuring light deflection unit 35a, etc. constitute a light projection optical system
  • the reflected distance measuring light deflection unit 35b, the imaging lens 34, etc. constitute a light receiving optical system.
  • the distance measurement calculation unit 13 controls the light emitting element 27 to emit a pulsed laser beam as the distance measurement light 23.
  • the emission optical axis 26 of the distance measurement light 23 is deflected by the prism elements 37a and 37b (the distance measurement light deflection unit 35a) so that the distance measurement light 23 is directed toward the measurement point.
  • the reflected distance measuring light 24 reflected from the object to be measured is incident via the prism elements 38a, 38b (the reflected distance measuring light deflection unit 35b) and the imaging lens 34, and is received by the light receiving element 33.
  • the light receiving element 33 sends a light receiving signal to the distance measuring calculation unit 13, and the distance measuring calculation unit 13 measures the distance of the measurement point (the point irradiated with the distance measuring light) for each pulse of light based on the light receiving signal from the light receiving element 33, and the distance measuring data is stored in the first storage unit 20.
  • the emission direction detection unit 15 detects the rotation angles of the motors 42a and 42b by counting the drive pulses input to the motors 42a and 42b. Alternatively, the emission direction detection unit 15 detects the rotation angles of the motors 42a and 42b based on signals from encoders, and calculates the rotation positions of the optical prisms 36a and 36b based on the rotation angles of the motors 42a and 42b. Furthermore, the emission direction detection unit 15 calculates the deviation angle and emission direction of the distance measuring light based on the refractive index and rotational position of the optical prisms 36 a and 36 b , and the calculation results are input to the calculation control unit 19 .
  • the calculation control unit 19 calculates the horizontal and vertical angles of the measurement points from the deviation angle and emission direction of the distance measurement light, and by relating the horizontal and vertical angles to the distance measurement data for each measurement point, it is possible to obtain three-dimensional data for the measurement points.
  • the imaging unit 14 is a camera having an imaging optical axis 43 parallel to the reference optical axis O of the laser scanner 3 and an angle of view of, for example, 50°, and obtains image data including the scan range of the laser scanner 3 .
  • the relationship between the imaging optical axis 43, the emission optical axis 26, and the reference optical axis O is known.
  • the imaging unit 14 is capable of acquiring moving images or continuous images.
  • the imaging control unit 21 controls the imaging of the imaging unit 14.
  • the imaging control unit 21 synchronizes the timing of acquiring the frame images that make up the moving image or successive images with the timing of scanning by the laser scanner 3.
  • the calculation control unit 19 also performs association between the images and the point cloud data, which is the scan data.
  • the laser scanner 3 can perform distance measurement by fixing the optical axis deflection unit 35 at each required deflection angle, thereby making it possible to measure distances to specific measurement points.
  • the direction angles (horizontal angle, vertical angle) during distance measurement can be obtained based on the detection result of the emission direction detection unit 15.
  • the inclination and direction of inclination of the laser scanner 3 with respect to the horizontal can be detected by the attitude detection unit 17, and the measurement results can be corrected to data based on the horizontal reference based on the detection result of the attitude detection unit 17. That is, the laser scanner 3 can be used in the same manner as a total station.
  • the laser scanner 3 can function as a laser scanner that acquires point cloud data having three-dimensional position data.
  • the surveying device 1 and head mounted display 100 in FIG. 1 have a computer, which has a CPU (Central Processing Unit), RAM (Random Access Memory), ROM (Read Only Memory), etc. (not shown), which are connected via a bus, etc.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • FIG. 4 is a schematic block diagram showing the main configuration of the head mounted display 100 of FIG.
  • the head mounted display 100 has an "HMD side control unit 101", which controls an "HMD side communication device 102" that communicates with the surveying device 1 of Figure 1, HMD side cameras 111a, 111b, HMD side lighting unit 112, HMD side display 113, etc.
  • the control unit 101 also controls the HMD-side various information storage unit 120 shown in FIG. Fig. 5 is a schematic block diagram showing the main contents of the "HMD-side various information storage unit 120" in Fig. 4. The configuration of these will be described later.
  • FIG. 6 is a schematic block diagram showing the main configuration of the laser scanner 3 of FIG.
  • the laser scanner 3 has a "laser scanner side control unit 301", which controls the "laser scanner main body 302", which is the main component of the laser scanner 3 in Figure 1, and also controls the "laser scanner side various information storage unit 310".
  • Fig. 7 is a schematic block diagram showing the main components of the "laser scanner side various information storage unit 310" in Fig. 6. These components will be described later.
  • FIGS. 8 and 9 are schematic flow charts showing an example of the operation of the point cloud information generating system 500.
  • the worker P wears a head-mounted display 100 and performs a scan with the surveying device 1, thereby obtaining three-dimensional point cloud data of the portion between points A and B, and the obtained three-dimensional point cloud data is displayed on the HMD side display 113.
  • the main operations of this system 500 will be described in detail.
  • step (hereinafter referred to as "ST") 1 of Figure 8 worker P installs the surveying device 1 in a predetermined position as shown in Figure 1, and wears the head-mounted display (HMD) 100 on his or her head.
  • HMD head-mounted display
  • the worker P turns on the HMD-side cameras 111a and 111b of the head mounted display 100, and also turns on the HMD-side illumination unit 112. Because the HMD-side display 113 is a "transparent type,” the worker P is able to see the outside through the display 113.
  • the "HMD coordinate information generating unit (program) 121" in FIG. 5 of the head mounted display 100 operates, the HMD side cameras 111a, 111b and the HMD side lighting unit 112 operate, and three-dimensional coordinate information of the pillar 600 that the worker P is viewing on the HMD side display 113 is generated using the structured lighting technique, and this is stored as HMD coordinate information (MR coordinate data) in the "HMD coordinate information storage unit 122" in FIG. 5.
  • the process proceeds to ST6.
  • the worker P points the index finger of his right hand toward "start point A" of the pillar 600 shown in Fig. 1, which is the object to be scanned, and turns on a "trigger switch” (not shown).
  • This action of the worker P is an example of execution instruction information.
  • proceed to ST7 where the "HMD coordinate data generation unit (program) 125" in Figure 5 generates directional information from the index finger tilt information, etc., identifies point A on pillar 600, generates "scan start point coordinate information," and stores it in the "scan start point coordinate information storage unit 126" in Figure 5.
  • the process proceeds to ST8.
  • the worker P points the index finger of his right hand toward the "end point B" of the pillar 600, which is the object to be scanned, and turns on the "trigger switch.” This action of the worker P is an example of execution instruction information.
  • the process proceeds to ST9.
  • the "HMD coordinate data generating unit 125" in Fig. 5 generates directional information from the inclination information of the index finger, identifies point B on the pillar 600, generates “scan end point coordinate information", and stores this in the "scan end point coordinate information storage unit 127" in Fig. 5.
  • This range from point A to point B is an example of a portion of the target object.
  • the surveying device 1 constantly measures the distance to the head mounted display 100 and stores the "HMD distance information" in the "HMD distance information storage unit 311" in Figure 7. Therefore, the laser scanner 3 constantly acquires distance information from the head mounted display 100 .
  • the laser scanner 3 constantly communicates with the head mounted display 100 and acquires information from the “HMD coordinate information memory unit 122”, “scan start point coordinate information memory unit 126”, and “scan end point coordinate information memory unit 127” of the head mounted display 100 in Figure 5. Then, "scanner-side HMD coordinate information,”"scanner-side scan start point coordinate information,” and “scanner-side scan end point coordinate information” are generated, respectively. Then, they are stored in the "scanner-side HMD coordinate information storage unit 312", the “scanner-side scan start point coordinate information storage unit 313" and the "scanner-side scan end point coordinate information storage unit 314" in FIG. 7, respectively.
  • the coordinate information stored in the head mounted display 100 is stored on the laser scanner 3 side.
  • the "laser scanner side corrected coordinate information generating unit (program) 315" in FIG. 7 of the laser scanner 3 operates to generate "corrected scanner side HMD coordinate information", "corrected scanner side start point coordinate information” and “corrected scanner side scan end point information” corrected at the coordinate position of the laser scanner 3 from the "HMD distance information" in the "HMD distance information storage unit 315" and each of the coordinate information of "scanner side HMD coordinate information", “scanner side scan start point coordinate information” and "scanner side scan end point coordinate information".
  • each piece of information generated as described above is stored in the "modified scanner side HMD coordinate information storage unit 316," the "modified scanner side start point coordinate information storage unit 317,” and the “modified scanner side scan end point information storage unit 318.”
  • the laser scanner 3 is synchronized with the data of the head mounted display 100, and constantly generates and stores coordinate information based on the laser scanner 3, incorporating the coordinate information of the head mounted display 100.
  • the "scan target identification processing unit (program) 319" of the laser scanner 3 in FIG. 6 operates, and refers to the "modified scanner side start point coordinate information storage unit 317" and the “modified scanner side scan end point information storage unit 318", etc., to identify the coordinate information of the range from point A to point B of the pillar 600, which is the target to be scanned, based on the laser scanner 3, scans this range (local scan), and obtains 3D point cloud data.
  • the optical axis deflection unit 35 and the like shown in FIGS. 2 and 3 are operated to locally scan the above-mentioned range, and an example of the local scan pattern will be described below.
  • 10 and 11 show examples of scan patterns when the optical axis deflection unit 35 etc. performs local scanning.
  • the scan pattern 53 shown in FIG. 10 is a petal-shaped scan pattern
  • the scan patterns 54a and 54b shown in FIGS. 11(A) and 11(B) are linear scan patterns.
  • this embodiment is configured to be able to partially scan only the local area identified as the scanning target.
  • the 3D point cloud data in the range from point A to point B of pillar 600 in FIG. 1 acquired by laser scanner 3 in this way is stored in the "scanner-side 3D point cloud data storage unit 320" in FIG. 7.
  • the worker P simply wears the head mounted display 100 and uses his/her finger to specify the target range for scanning, and the laser scanner 3 can automatically scan only the target range with high accuracy, quickly and easily, and obtain three-dimensional point cloud data of the target range.
  • the coordinate information including the head mounted display 100 is held based on the laser scanner 3. Therefore, when the worker P in Figure 1 rotates his head sideways, etc., causing the head-mounted display 100 to rotate, the rotation is detected and the horizontal mechanism of the laser scanner 3 itself of the surveying device 1 in Figure 1 rotates in the same manner, as described above.
  • the laser scanner 3 can be configured to rotate in synchronization with the line of sight of the worker P, and the laser scanner 3 can also be configured to automatically track the object being scanned.
  • the laser scanner 3 can be configured to face the same area as the "angle of view" captured by the HMD side cameras 111a and 111b.
  • the head mounted display 100 generates coordinate information, and then the laser scanner 3 acquires the coordinate information of the head mounted display 100, and the overall coordinate information including the laser scanner 3, the head mounted display 100, and the pillar 600 is generated based on the laser scanner 3,
  • the present invention is not limited to this, and may be configured as follows.
  • the laser scanner 3 may be configured to generate overall coordinate information without acquiring coordinate information of the head mounted display 10 using the camera (imaging unit 14) of the laser scanner 3, the HMD side camera 111a of the head mounted display 100, the HMD side illumination unit 112, etc.
  • the worker P wearing the head-mounted display 100 uses his index finger to specify the scanning portion of the pillar 600 (point A to point B), and these steps are the same as in the embodiment described above.
  • the three-dimensional point cloud data of the pillar 600 acquired by the laser scanner 3 is transmitted to the head-mounted display 100 and displayed at the same coordinate position as the pillar 600 that the worker P is viewing through the transparent HDM side display 113.
  • the HMD 100 in this embodiment is an MR device, it is configured to be able to overlay and fuse virtual three-dimensional point cloud data that does not actually exist onto the visible pillar 600 via the HDM side display 113.
  • FIG. 12 is a schematic explanatory diagram showing a pillar 600 visible through the HDM side display 113 and the three-dimensional point cloud data of points A and B superimposed on each other. As shown in Figure 12, worker P can immediately check whether the three-dimensional point cloud data between points A and B of pillar 600 generated by the laser scanner 3 scanning at his/her command has been formed correctly.
  • the position of the three-dimensional point cloud data from point A to point B visible through the HDM side display 113 can be corrected. That is, similarly to the above-mentioned ST6 to ST8, the operator P can specify the portion to be corrected by pointing the index finger of his/her right hand at the information on the portion to be corrected in the three-dimensional point cloud data and turning on the trigger switch.
  • FIG. 13 is a schematic explanatory diagram showing a case where three-dimensional point cloud data is generated by mistake including a protrusion C other than points A and B of the pillar 600.
  • the worker P can confirm through the HDM side display 113 that the three-dimensional point cloud data of the protrusion C has also been generated, contrary to his/her wish. Therefore, after issuing an instruction to generate three-dimensional point cloud data, the operator P can immediately issue an instruction to delete the three-dimensional point cloud data of the portion of the protrusion C.
  • the deletion can be performed by the worker P pointing the index finger of his/her right hand at the information on the portion to be corrected in the three-dimensional point cloud data, turning on the trigger switch, and specifying the deletion range.
  • the laser scanner 3 corrects the data in the 'scanner-side 3D point cloud data storage unit 320' based on the received correction data.
  • FIG. 14 is a schematic explanatory diagram showing a case where the worker P is unable to sufficiently specify the distance between point A and point B of the pillar 600.
  • the worker P can confirm via the HDM side display 113 that the three-dimensional point cloud data of the part D has not been generated, contrary to his/her wish.
  • the worker P points the index finger of his right hand at the correction portion information of the 3D point cloud data, turns on the trigger switch, and specifies an additional range for the laser scanner 3 to start scanning.
  • the additionally scanned 3D point cloud data of portion D is then corrected and stored in the 'scanner-side 3D point cloud data storage unit 320'.
  • the data was first stored in another PC (computer), etc., and then the correction was performed. This made it difficult to understand the relationship with the actual pillars 600, etc.
  • the object, pillar 600, and the generated three-dimensional point cloud data can be compared at the same time for correction, making correction easier.
  • the present invention is not limited to the case where the scan area (point A to point B) is designated continuously as shown in FIG. 12, but also includes the case where the scan area is designated in parts.
  • 15A and 15B are schematic diagrams illustrating the process of dividing and specifying a target area and generating three-dimensional point cloud data.
  • a first area E1 which is part of the scanning area (from point A to point B) of the pillar 600, is scanned with a laser scanner 3, and three-dimensional point cloud data is generated and displayed in a state that is visible to the worker P via the HDM side display 113.
  • the worker P can check through the HDM side display 113 whether the three-dimensional point cloud data displayed in the first area E1 has been generated correctly, and can simultaneously make corrections to the three-dimensional point cloud data.
  • the three-dimensional point cloud data of the first area E1 is confirmed, and then, as shown in Figure 15 (B), the second area E2, which is another part of the scanning area of the pillar 600 (points A to B), is scanned with the laser scanner 3, and the three-dimensional point cloud data is generated and displayed in a state that is visible to the worker P via the HDM side display 113. Then, confirmation work such as corrections is carried out in the same manner as in the first area E1 described above.
  • the scanning area between points A and B on pillar 600 is divided and scanned in sequence, and then divided to generate 3D point cloud data, making it possible to correct the 3D point cloud data with higher accuracy.
  • the periphery of a structure on the blueprint that does not yet exist can be designated as the scanning range, and scanned by the laser scanner 3.
  • the components to be inspected can be specified on the design drawings and then scanned after they have been installed in the actual space, allowing the inspection items to be intuitively specified.
  • the HDM side display 113 of worker P displays a fusion of virtual reality design drawing information and three-dimensional point cloud data overlaid on the actual structure (MR (Mixed Reality)).
  • the worker P identifies an object such as a pillar 600 displayed on the head-mounted display 100 as the object to be scanned, and the worker P does not need to actually touch the pillar 600 with his/her hand.
  • the worker P may actually touch the pillar 600 to specify the object and range of scanning. Therefore, the operator P can specify the scanning range more accurately.
  • the present invention has been described with reference to an example in which the invention is realized as a device, but the invention is not limited to this, and the invention may be distributed as a program that can be executed by a computer and stored on a storage medium such as a magnetic disk (floppy disk, hard disk, etc.), an optical disk (CD-ROM, DVD, etc.), a magneto-optical disk (MO), or a semiconductor memory.
  • a storage medium such as a magnetic disk (floppy disk, hard disk, etc.), an optical disk (CD-ROM, DVD, etc.), a magneto-optical disk (MO), or a semiconductor memory.
  • the storage medium may be any medium that can store a program and is computer readable. There are no particular limitations on the storage format of the storage medium.
  • an OS operating system
  • database management software database management software
  • network software or other MW (middleware) running on a computer may execute some of the processes for implementing this embodiment based on instructions from a program installed on the computer from a storage medium.
  • MW middleware
  • the storage medium in this invention is not limited to media independent of a computer, but also includes storage media that stores or temporarily stores downloaded programs transmitted via a LAN, the Internet, etc.
  • the computer of the present invention only needs to execute each process in this embodiment based on a program stored in a storage medium, and may be a device such as a personal computer (PC), or may be a system in which multiple devices are connected to a network.
  • a program stored in a storage medium may be a device such as a personal computer (PC), or may be a system in which multiple devices are connected to a network.
  • PC personal computer
  • the computer in this invention is not limited to a personal computer, but also includes an arithmetic processing unit, a microcomputer, etc., included in information processing equipment, and is a general term for equipment or devices that can realize the functions of this invention by a program.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

簡易且つ迅速に所望の対象物について点群情報を生成することができると共に、容易且つ迅速に点群情報を修正することができる点群情報生成システム等を提供することを目的とする。対象物６００の３次元点群情報を生成する点群情報生成装置１と、使用者が装着可能なＸＲ（クロスリアリティ）生成装置１００と、を備え、ＸＲ生成装置は、少なくとも使用者の視線に対応した撮像情報を取得する撮像部１１１ａと、表示部１１３を備え、表示部に表示された対象物についての実行指示情報に基づいて、点群情報生成装置が実行指示情報で特定された対象物について３次元点群情報を生成すると共に、生成された対象物についての３次元点群情報を表示部に対象物と共に表示する点群情報生成システム５００。

Description

点群情報生成システム、点群情報生成システムの制御方法及び点群情報生成システムの制御プログラム
　本発明は、対象物の点群情報を取得する点群情報生成システム、点群情報生成システムの制御方法及び点群情報生成システムの制御プログラムに関する。
　従来、土木や建築現場等で、例えば、建築物の形状等を把握するとき、３次元スキャナ装置がレーザ等を照射し、対象物である建築物等の３次元形状を点群データとして取得することが提案されている（例えば、特許文献１等）。
特開２０１８－６６５７１号公報
　しかし、実際の現場では、建築物全体ではなく、その一部の１本の柱等の対象について点群データを取得したい等の要望がある。
　この場合、スキャナ装置を操作し、その建築物エリア全体あるいは一定のエリアのデータを取得し、柱等のみの点群データとする必要があり、対象エリアにレーザ照射し、点群取得後、特定の対象である１本の柱等のみの点群にするために、後処理にて不要な点群を除去してデータの編集等を行うため、必要な柱の点群データを取得するには、手間がかかり、また時間や熟練が必要で、大幅なコスト増となるという問題があった。
　そこで、本発明は、簡易且つ迅速に所望の対象物について点群情報を生成することができると共に、容易且つ迅速に点群情報を修正することができる点群情報生成システム、点群情報生成システムの制御方法及び点群情報生成システムの制御プログラムを提供することを目的とする。
　前記目的は、本発明によれば、対象物の３次元点群情報を生成する点群情報生成装置と、使用者が装着可能なＸＲ（クロスリアリティ）生成装置と、を備える点群情報生成システムであって、前記ＸＲ生成装置は、少なくとも前記使用者の視線に対応した撮像情報を取得する撮像部と、表示部を備え、前記表示部に表示された前記対象物についての実行指示情報に基づいて、前記点群情報生成装置が前記実行指示情報で特定された前記対象物について３次元点群情報を生成すると共に、生成された前記対象物についての前記３次元点群情報を前記表示部に前記対象物と共に表示することを特徴とする点群情報生成システムにより達成される。
　前記構成によれば、使用者はＸＲ生成装置を装着して、対象物について実行指示情報を入力するだけで、点群情報生成装置は、自動的に対象物について点群情報を生成することができる。
　したがって、簡易且つ迅速に所望の対象物について点群情報を生成することができる。
　また、前記構成によれば、生成された前記対象物についての前記３次元点群情報を前記表示部に前記対象物と共に表示するので、前記XR生成装置の利用者は、表示部に表示され
た対象物の３次元点群情報を対象物と比較しながら修正等することができ、より精度の高い３次元点群情報を取得することができる。
　好ましくは、前記点群情報システムの前記実行指示情報に基づいて特定された前記対象物の部分について前記３次元点群情報を生成し、前記実行情報に基づいて生成された前記３次元点群情報を修正することを特徴とする。
　前記構成によれば、実行指示情報に基づいて対象物の部分を指定することで、簡易且つ迅速に対象物の部分についてのみ３次元点群情報を生成することができる。
　また、前記構成によれば、前記実行情報に基づいて生成された前記３次元点群情報を修正するので、例えば、３次元点群情報の部分的削除や追加等の修正を精度良く行うことが可能となる。
　好ましくは、前記点群情報生成装置は、点群情報を生成するための測距光を射出すると共に、前記測距光の射出方向を偏向する光軸偏向部を有し、前記光軸偏向部で前記測距光を偏向することで、前記測距光を前記対象物の部分のみに照射させる構成となっていることを特徴とする。
　前記構成によれば、実行指示情報に基づいて特定された対象物の部分に向かって、点群情報生成装置の光軸偏向部が測距光を偏向し、照射させることで、精度良く、対象物の部分についてのみ３次元点群情報を生成することができる。
　好ましくは、前記点群情報システムに関する設計図情報を、前記表示部に表示する構成となっていることを特徴とする。
　前記構成によれば、未だ存在しない設計図上の構造物等の周辺等を範囲指定し、３次元点群情報を取得することができる。
　また、実際に建築現場等に部材等を設置した後に設計図情報と比較して検査をする際、検査をする部材等を設計図情報上で指定し、実際の空間に設置されたものの３次元点群情報を取得することで、直感的に検査対象等を指定等することが可能となる。
　さらに、設計図上の部材等の位置が、設置予定場所等と異なり「ズレ」ている場合、この異なっている量を視認しながら、設置完了前に３次元点群情報を取得することで、完成後の設置位置等まで変更する等の作業が容易且つ迅速にすることができる。
　前記目的は、本発明によれば、対象物の３次元点群情報を生成する点群情報生成装置と、使用者が装着可能なＸＲ生成装置とを備える点群情報生成システムの制御方法であって、前記ＸＲ生成装置の撮像部は、前記使用者の視線に対応した撮像情報を取得し、前記表示部に表示された前記対象物についての実行指示情報に基づいて、前記点群情報生成装置が前記実行指示情報で特定された前記対象物について３次元点群情報を生成し、生成された前記対象物についての前記３次元点群情報を前記表示部に前記対象物と共に表示することを特徴とする点群情報生成システムの制御方法により達成される。
　前記目的は、本発明によれば、対象物の３次元点群情報を生成する点群情報生成装置と、使用者が装着可能なＸＲ現実生成装置とを備える点群情報生成システムに、前記ＸＲ生成装置の撮像部が前記使用者の視線に対応した撮像情報を取得し、前記表示部に表示された前記対象物についての実行指示情報に基づいて、前記点群情報生成装置が前記実行指示情報で特定された前記対象物について３次元点群情報を生成する機能、生成された前記対象物についての前記３次元点群情報を前記表示部に前記対象物と共に表示する機能、を実現させることを特徴とする点群情報生成システムの制御プログラムにより達成される。
　本発明は、簡易且つ迅速に所望の対象物について点群情報を生成することができると共に、容易且つ迅速に点群情報を修正することができる点群情報生成システム、点群情報生成システムの制御方法及び点群情報生成システムの制御プログラムを提供することができるという利点がある。
本実施の形態に係る「点群情報生成システム５００」の主な構成を示す概略図である。 図１のレーザスキャナ３の主な構成と示す概略図である。 図２の光軸偏向部３５の主な構成を示す概略図である。 図１のヘッドマウントディスプレイ１００の主な構成を示す概略ブロック図である。 図３の「ＨＭＤ側各種情報記憶部１２０」の主な内容を示す概略ブロック図である。 図１のレーザスキャナ３の主な構成を示す概略ブロック図である。 図５の「レーザスキャナ側各種情報記憶部３１０」の主な構成と示す概略ブロック図である。 点群情報生成システム５００の動作例を示す概略フローチャートである。 点群情報生成システム５００の動作例を示す他の概略フローチャートである。 光軸偏向部３５等が局所スキャンを行う際のスキャンパターンの一例を示す概略説明図である。 光軸偏向部３５等が局所スキャンを行う際のスキャンパターンの一例を示す他の概略説明図である。 ＨＤＭ側ディスプレイ１１３を介して視認できる柱６００とＡ地点乃至Ｂ地点の３次元点群データを重ね合わせて表示した状態を示す概略説明図である。 誤って柱６００の地点Ａ乃至地点Ｂ以外の突起Ｃも含めて３次元点群データを生成した場合を示す概略説明図である。 作業者Ｐが、柱６００の地点Ａ乃至地点Ｂの間を十分に指定できなかった場合を示す概略説明図である。 （Ａ）（Ｂ）は、対象エリアを分割して指定し、３次元点群データを生成する工程を示す概略説明図である。
　以下、この発明の好適な実施の形態を添付図面等を参照しながら、詳細に説明する。
　尚、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。
　図１は、本実施の形態に係る「点群情報生成システム５００」の主な構成を示す概略図である。
　図１に示すように、点群情報生成システム５００は、点群情報生成装置の一例である「測量装置１」、ＸＲ生成装置の一例である「ヘッドマウントディスプレイ（ＨＭＤ）１００」を有している。
　ここで、ＸＲ（クロスリアリティ）とは、「ＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ（仮想現実））」「ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ（拡張現実））」及び「ＭＲ（Ｍｉｘｅｄ　ｒｅａｌｉｔｙ（複合現実））を含む概念であり、本実施の形態では、ＭＲを例に以下説明する。
　したがって、本発明のＸＲ生成装置は、本実施の形態のＭＲのみならずＶＲ、ＡＲ等も含まれる。
　この測量装置１は、スキャニング等を行うことで対象物（例えば、柱６００等）の３次元点群情報を生成するレーザスキャナ３等を有している。
　また、ヘッドマウントディスプレイ１００は、本システム５００の使用者（例えば、作業者Ｐ）が頭部に装着する構成となっている。
　測量装置１は、図１に示すように、レーザスキャナ３を有し、レーザスキャナ３は、レーザ光を照射し受光することで３次元の点群データを取得することができると共に、特定の測定点について測距することもできる。
　すなわち、図１の柱６００等の対象物の３次元の点群データと、レーザスキャナ３と柱６００との距離データを取得可能な構成となっている。
　また、レーザスキャナ３は、ヘッドマウントディスプレイ１００との距離データ等も取得可能な構成となっている。
（ヘッドマウントディスプレイ１００の主な構成等）
　以下、これらヘッドマウントディスプレイ１００及び測量装置１等の構成について詳述する。
　本実施の形態のヘッドマウントディスプレイ１００は、例えば、複合現実（Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ）用の器機である。
　具体的には、透過型のＨＤＭ側ディスプレイ１１３（表示部の一例）に現実世界の情報を透過させ。その座標情報を生成することができると共に、コンピュータ等で作成した仮想世界の情報等も融合して表示させることができる構成となっている。
　本実施の形態では、後述のように、ヘッドマウントディスプレイ１００は、ＨＤＭ側ディスプレイ１１３に現実世界である柱６００等と、この柱６００の部分の３次元点群データを合成して表示することが可能な構成となっている。
　具体的には、図１に示すように、ヘッドマウントディスプレイ１００は、作業者Ｐの頭部に装着される「本体部１１０」と、作業者Ｐの両眼に対して向かい合うように配置される「ＨＭＤ側ディスプレイ１１３」と、作業者Ｐの視線に沿って配置される撮像部である例えば、２つの「ＨＭＤ側カメラ１１１ａ、１１１ｂ」と、を備えている。また、光源であるＨＭＤ側照明部１１２も有している。
　そして、この２つのＨＭＤ側カメラ１１１ａ、１１１ｂは、作業者Ｐの視線と同じ方向を向いて設置され、この２つのＨＭＤ側カメラ１１１ａ、１１１ｂで撮像した撮像情報は、作業者Ｐの視線及び視界と同様となる。
　そして、ＨＭＤ側ディスプレイ１１３は「透過型」となっているため、作業者Ｐは、同ディスプレイ１１３を透過して対象を見ることができる構成となっている。
　また、ＨＭＤ側照明部１１２は、作業者Ｐの視線と同じ方向に光を照射する構成となっているが、ＨＭＤ側カメラ１１１ａ、１１１ｂとは異なった角度で配置されている。
　そして、ＨＭＤ側照明部１１２は、様々なパターン光を照射する構成ともなっており、照射した光の歪みを計測することで、「奥行き」を測定することが可能な構成となっている。
　したがって、この２つＨＭＤ側カメラ１１１ａ、１１１ｂで作業者Ｐの視線と同じ方向に配置される対象物（例えば、柱６００）を撮像し、この柱６００にＨＭＤ側照射部１１２が光を照射すると、「構造化照明」の手法を用いて柱６００の立体的な３次元座標データである「ＨＭＤ側座標データ（ＭＲ座標データ）」を生成することができる構成となっている。
　また、この「ＨＭＤ側座標データ」の基準は、ＨＭＤ側カメラ１１１ａ、１１１ｂの座標位置となる。
　なお、本実施の形態では、「構造化照明」の手法で３次元データを生成したが、本発明は、これに限らず、「２つのカメラ」のみで「３次元データ」を生成する場合や、光源から照射された光がカメラに戻ってくるまでに時間から「３次元データ」を生成する「TｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）の手法でデータを生成する場合も含まれる。
　また、本発明は本実施の形態と異なり、光学式カメラと深度センサをヘッドマウントディスプレイに配置し、カメラから赤外線を照射して物体に反射させ、反射した赤外線が戻るまでに時間を計測することで物体の深度（奥行き）を計算する構成としても構わない。
（測量装置１の主な構成等）
　以下、測量装置１の構成について詳述する。
　図１に示すＯは光軸が偏向されていない状態での測距光軸を示 し、この時の測距光軸を基準光軸とする。
　測量装置１は、主に支持装置としての三脚２、レーザスキャナ３、操作装置４、回転台５から構成される。
　回転台５は三脚２の上端に取付けられ、回転台５にレーザスキャナ３が横回転可能及び縦回転可能に取付けられる。
　また、回転台５は、レーザスキャナ３の横方向の回転角（水平方向の回転角）を検出する機能を有している。
　回転台５には横方向に延びるレバー７が設けられる。レバー７の操作により、レーザスキャナ３を上下方向（鉛直方向）、又は横方向（水平方向）に回転させることができ、又所要の姿勢で固定することも可能となっている。
　また、レーザスキャナ３自体にも水平に回転できる機構を有し、対象物を追尾するための自動回転可能な機構も備わっている。
　レーザスキャナ３は、後述する測距部、姿勢検出部を内蔵し、測距部は測距光を測定対象物、或は測定範囲に射出し、反射測距光を受光して測距を行う。また、姿勢検出部は、レーザスキャナ３の鉛直（又は水平）に対する姿勢を高精度に検出可能である。
　操作装置４は、レーザスキャナ３との間で有線、無線等所要の手段を介して通信を行う通信機能を有する。
　レーザスキャナ３からは、画像、測定状態、測定結果等が操作装置４に送信され、該画像、測定状態、測定結果等が、操作装置４に記憶されるようになっている。
　図２は、図１のレーザスキャナ３の主な構成と示す概略図である。
　図２に示すように、レーザスキャナ３は、測距光射出部１１、受光部１２、測距演算部１３、撮像部１４（カメラ）、射出方向検出部１５、モータドライバ１６、姿勢検出部１７、第１通信部１８、演算制御部１９、第１記憶部２０、撮像制御部２１、画像処理部２２を具備し、これらは筐体９に収納され、一体化されている。
　なお、測距光射出部１１、受光部１２、測距演算部１３等は測距部を構成する。
　測距光射出部１１は射出光軸２６を有し、射出光軸２６上に発光素子２７、例えばレーザダイオード（ＬＤ）が設けられている。
　また、射出光軸２６上に投光レンズ２８が設けられている。更に、射出光軸２６上に設けられた偏向光学部材としての第１反射鏡２９と、受光光軸３１上に設けられた偏向光学部材としての第２反射鏡３２とによって、射出光軸２６は、受光光軸３１と合致するように偏向される。第１反射鏡２９と第２反射鏡３２とで射出光軸偏向部が構成される。
　発光素子２７はパルスレーザ光線を発し、測距光射出部１１は、発光素子２７から発せられたパルスレーザ光線を測距光２３として射出する。
　受光部１２には、測定対象物（即ち測定点）からの反射測距光２４が入射する。
　受光部１２は、受光光軸３１を有し、受光光軸３１には、上記したように、第１反射鏡２９、第２反射鏡３２によって偏向された射出光軸２６が合致する。
　なお、射出光軸２６と受光光軸３１とが合致した状態を測距光軸４０とする（図１参照）。
　偏向された射出光軸２６上に、すなわち、受光光軸３１上に光軸偏向部３５が配設される。光軸偏向部３５の中心を透過する真直な光軸は、基準光軸Ｏとなっている。基準光軸Ｏは、光軸偏向部３５によって偏向されなかった時の射出光軸２６又は受光光軸３１と合致する。
　光軸偏向部３５を透過し、入射した受光光軸３１上に結像レンズ３４が配設され、又受光素子３３、例えばフォトダイオード（ＰＤ）が設けられている。
　結像レンズ３４は、反射測距光２４を受光素子３３に結像する。受光素子３３は反射測距光２４を受光し、受光信号を発生する。
　受光信号は、測距演算部１３に入力される。測距演算部１３は、受光信号に基づき測定点迄の測距を行う。
　図３は、図２の示す光軸偏向部３５の主な構成を示す概略図である。
　図３を参照して、前記光軸偏向部３５について説明する。
　該光軸偏向部３５は、一対の光学プリズム３６ａ，３６ｂから構成される。該光学プリズム３６ａ，３６ｂは、それぞれ円板状であり、前記受光光軸３１上に直交して配置され、重なり合い、平行に配置されている。
　前記光学プリズム３６ａ，３６ｂとして、それぞれフレネルプリズムが用いられることが、装置を小型化する為に好ましい。
　前記光軸偏向部３５の中央部は、前記測距光２３が透過し、射出される第１光軸偏向部である測距光偏向部３５ａとなっており、中央部を除く部分は前記反射測距光２４が透過し、入射する第２光軸偏向部である反射測距光偏向部３５ｂとなっている。
　前記光学プリズム３６ａ，３６ｂとして用いられるフレネルプリズムは、それぞれ平行に形成されたプリズム要素３７ａ，３７ｂと多数のプリズム要素３８ａ，３８ｂによって構成され、円板形状を有する。前記光学プリズム３６ａ，３６ｂ及び各プリズム要素３７ａ，３７ｂ及びプリズム要素３８ａ，３８ｂは同一の光学特性を有する。
　前記プリズム要素３７ａ，３７ｂは、前記測距光偏向部３５ａを構成し、前記プリズム要素３８ａ，３８ｂは前記反射測距光偏向部３５ｂを構成する。
　前記フレネルプリズムは光学ガラスから製作してもよいが、光学プラスチック材料でモールド成形したものでもよい。光学プラスチック材料でモールド成形することで、安価なフレネルプリズムを製作できる。
　前記光学プリズム３６ａ，３６ｂはそれぞれ前記受光光軸３１を中心に独立して個別に回転可能に配設されている。前記光学プリズム３６ａ，３６ｂは、回転方向、回転量、回転速度を独立して制御されることで、射出される前記測距光２３の前記射出光軸２６を任意の方向に偏向し、受光される前記反射測距光２４の前記受光光軸３１を前記射出光軸２６と平行に偏向する。
　前記光学プリズム３６ａ，３６ｂの外形形状は、それぞれ前記受光光軸３１を中心とする円形であり、前記反射測距光２４の広がりを考慮し、充分な光量を取得できるように前記光学プリズム３６ａ，３６ｂの直径が設定されている。
　前記光学プリズム３６ａの外周にはリングギア３９ａが嵌設され、前記光学プリズム３６ｂの外周にはリングギア３９ｂが嵌設されている。
　前記リングギア３９ａには駆動ギア４１ａが噛合し、該駆動ギア４１ａはモータ４２ａの出力軸に固着されている。同様に、前記リングギア３９ｂには駆動ギア４１ｂが噛合し、該駆動ギア４１ｂはモータ４２ｂの出力軸に固着されている。前記モータ４２ａ，４２ｂは、前記モータドライバ１６に電気的に接続されている。
　前記モータ４２ａ，４２ｂは、回転角を検出することができるもの、或は駆動入力値に対応した回転をするもの、例えばパルスモータが用いられる。或は、モータの回転量（回転角）を検出する回転角検出器、例えばエンコーダ等を用いてモータの回転量を検出してもよい。前記モータ４２ａ，４２ｂの回転量がそれぞれ検出され、前記モータドライバ１６により前記モータ４２ａ，４２ｂが個別に制御される。
　尚、エンコーダを直接前記リングギア３９ａ，３９ｂにそれぞれ取付け、エンコーダにより前記リングギア３９ａ，３９ｂの回転角を直接検出するようにしてもよい。
　前記駆動ギア４１ａ，４１ｂ、前記モータ４２ａ，４２ｂは、前記測距光射出部１１と干渉しない位置、例えば前記リングギア３９ａ，３９ｂの下側に設けられている。
　前記投光レンズ２８、前記第１反射鏡２９、前記第２反射鏡３２、前記測距光偏向部３５ａ等は、投光光学系を構成し、前記反射測距光偏向部３５ｂ、前記結像レンズ３４等は受光光学系を構成する。
　前記測距演算部１３は、前記発光素子２７を制御し、前記測距光２３としてパルスレーザ光線を発光させる。該測距光２３が、前記プリズム要素３７ａ，３７ｂ（前記測距光偏向部３５ａ）により、測定点に向うように前記射出光軸２６が偏向される。
　測定対象物から反射された前記反射測距光２４は、前記プリズム要素３８ａ，３８ｂ（前記反射測距光偏向部３５ｂ）、前記結像レンズ３４を介して入射し、前記受光素子３３に受光される。該受光素子３３は、受光信号を前記測距演算部１３に送出し、該測距演算部１３は前記受光素子３３からの受光信号に基づき、パルス光毎に測定点（測距光が照射された点）の測距を行い、測距データは前記第１記憶部２０に格納される。
　而して、前記測距光２３をスキャンしつつ、パルス光毎に測距を行うことで各測定点の測距データが取得できる。
　前記射出方向検出部１５は、前記モータ４２ａ，４２ｂに入力する駆動パルスをカウントすることで、前記モータ４２ａ，４２ｂの回転角を検出する。
　あるいは、エンコーダからの信号に基づき、前記モータ４２ａ，４２ｂの回転角を検出する。又、前記射出方向検出部１５は、前記モータ４２ａ，４２ｂの回転角に基づき、前記光学プリズム３６ａ，３６ｂの回転位置を演算する。
　更に、前記射出方向検出部１５は、前記光学プリズム３６ａ，３６ｂの屈折率と回転位置に基づき、測距光の偏角、射出方向を演算し、演算結果は前記演算制御部１９に入力される。
　該演算制御部１９は、測距光の偏角、射出方向から測定点の水平角、鉛直角を演算し、各測定点について、水平角、鉛直角を前記測距データに関連付けることで、測定点の３次元データを求めることができる。
　また、撮像部１４は、レーザスキャナ３の基準光軸Ｏと平行な撮像光軸４３を有し、例えば５０°の画角を有するカメラであり、レーザスキャナ３のスキャン範囲を含む画像データを取得する。
　撮像光軸４３と射出光軸２６及び前記基準光軸Ｏとの関係は既知となっている。また、撮像部１４は、動画像、又は連続画像が取得可能である。
　撮像制御部２１は、撮像部１４の撮像を制御する。撮像制御部２１は、撮像部１４が動画像、または連続画像を撮像する場合に、動画像、または連続画像を構成するフレーム画像を取得するタイミングとレーザスキャナ３でスキャンするタイミングとの同期を取っている。演算制御部１９は画像とスキャンデータである点群データとの関連付けも実行する。
　また、レーザスキャナ３が実行する測定の態様としては、光軸偏向部３５を所要偏角毎に固定して測距を行うことで、特定の測定点についての測距を行うことができる。
　また、測距時の方向角（水平角、鉛直角）は射出方向検出部１５の検出結果に基づき取得できる。
　また、レーザスキャナ３の水平に対する傾斜及び傾斜方向は、姿勢検出部１７によって検出でき、姿勢検出部１７の検出結果に基づき測定結果を水平基準のデータに補正することができる。
　すなわち、レーザスキャナ３をトータルステーションと同様に使用することができる。
　また、測距時の測距光の射出方向角は、モータの回転角により検出でき、測距時の射出方向角と測距データとを関連付けることで、３次元の測距データを取得することができる。
　したがって、レーザスキャナ３を３次元位置データを有する点群データを取得するレーザスキャナとして機能させることができる。
　図１の測量装置１、ヘッドマウントディスプレイ１００は、コンピュータを有し、コンピュータは、図示しないＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を有し、これらは、バス等を介して接続されている。
（ヘッドマウントディスプレイ１００の主な構成等）
　図４は、図１のヘッドマウントディスプレイ１００の主な構成を示す概略ブロック図である。
　図４に示すように、ヘッドマウントディスプレイ１００は「ＨＭＤ側制御部１０１」を有し、同制御部１０１は、図１の測量装置１等と通信する「ＨＭＤ側側通信装置１０２」、ＨＭＤ側カメラ１１１ａ、１１１ｂ、ＨＭＤ側照明部１１２、ＨＭＤ側ディスプレイ１１３等を制御する。
　また、同制御部１０１は、図３に示すＨＭＤ側各種情報記憶部１２０も制御する。
　図５は、図４の「ＨＭＤ側各種情報記憶部１２０」の主な内容を示す概略ブロック図である。これらの構成については、後述する。
（レーザスキャナ３の主な構成等）
　図６は、図１のレーザスキャナ３の主な構成を示す概略ブロック図である。
　図６に示すように、レーザスキャナ３は、「レーザスキャナ側制御部３０１」を有し、同制御部３０１は、図１のレーザスキャナ３の主な構成である「レーザスキャナ本体３０２」を制御すると共に、「レーザスキャナ側各種情報記憶部３１０」も制御する。
　図７は、図６の「レーザスキャナ側各種情報記憶部３１０」の主な構成と示す概略ブロック図である。これらの構成については、後述する。
（点群情報生成システム５００の動作例）
　図８及び図９は、点群情報生成システム５００の動作例を示す概略フローチャートである。
　本実施の形態では、建築現場で、作業者Ｐが特定の１本の柱６００のＡ地点からＢ地点の間の３次元点群データを取得するために、作業者Ｐが、ヘッドマウントディスプレイ１００を装着し、測量装置１でスキャンを実施し、これにより、Ａ地点からＢ地点の間の部分の３次元点群データを取得し、取得した３次元点群データをＨＭＤ側ディスプレイ１１３に表示する例で、以下、本システム５００主な動作例を具体的に説明する。
　先ず、図８のステップ（以下「ＳＴ」とする、）１で、作業者Ｐは、図１に示すように、測量装置１を所定位置に設置すると共に、ヘッドマウントディスプレイ（ＨＭＤ）１００を自己の頭部に装着する。
　次いで、ＳＴ２へ進む。ＳＴ２では、作業者Ｐが、ヘッドマウントディスプレイ１００のＨＭＤ側カメラ１１１ａ、１１１ｂをＯＮ状態にし、ＨＭＤ側照明部１１２もＯＮ状態とする。作業者Ｐは、ＨＭＤ側ディスプレイ１１３が「透過型」であるため、同ディスプレイ１１３を介して外部を視認可能な状態となる。
　また、ＳＴ３では、ヘッドマウントディスプレイ１００の図５の「ＨＭＤ座標情報生成部（プログラム）１２１」が動作し、ＨＭＤ側カメラ１１１ａ、１１１ｂ及びＨＭＤ側照明部１１２が動作し、構造化照明手法で作業者ＰがＨＭＤ側ディスプレイ１１３で視認している柱６００の３次元座標情報が生成され、ＨＭＤ座標情報（ＭＲ座標データ）として、図５の「ＨＭＤ座標情報記憶部１２２」に記憶される。
　次いで、ＳＴ４へ進む。ＳＴ４では、作業者Ｐが右手を動かすと共に、図１に示すように、人差指を柱６００に向け、右手がＨＭＤ側カメラ１１１ａ、１１１ｂの撮像範囲内（作業者Ｐの視界内）に入ると、ＳＴ５で、図５の「ＨＭＤ座標情報生成部（プログラム）１２１」が動作し、自動的に、ＨＭＤ側照明部１１２等が動作し、構造化照明手法で、右手のＨＭＤ座標情報が生成され、図５の「ＨＭＤ座標情報記憶部１２２」に記憶する。
　次いで、ＳＴ６へ進む。ＳＴ６では、作業者Ｐが、右手の人差指をスキャン対象物である図１に示す柱６００の「始点Ａ」に向け、図示しない「トリガースイッチ」をＯＮ状態とする。
　この作業者Ｐの動作が、実行指示情報の一例となっている。
　そして、ＳＴ７へ進み、図５の「ＨＭＤ座標データ生成部（プログラム）１２５」が人差指の傾き情報等から、その方向情報を生成し、柱６００の例えばＡ地点を特定し、「スキャン開始地点座標情報」を生成し、図５の「スキャン開始地点座標情報記憶部１２６」に記憶する。
　次いで、ＳＴ８へ進む。ＳＴ８では、作業者Ｐは、右手の人差指をスキャン対象物である柱６００の「終点Ｂ」に向け、「トリガースイッチ」ＯＮ状態とする。
　この作業者Ｐの動作が、実行指示情報の一例となっている。
　そして、ＳＴ９へ進む。ＳＴ９では、図５の「ＨＭＤ座標データ生成部１２５」が人差指の傾き情報等から、その方向情報を生成し、柱６００の例えばＢ地点を特定し、「スキャン終了地点座標情報」を生成し、図５の「スキャン終了地点座標情報記憶部１２７」に記憶する。
　以上で、ヘッドマウントディスプレイ１００によるスキャニングの対象範囲（図１の地点Ａ～地点Ｂ）の特定工程が終了する。
　この地点Ａ～地点Ｂの範囲が、対象物の部分の一例となっている。
　次いで、図１の測量装置１のレーザスキャナ３の動作を説明する。
　測量装置１は、常時、ヘッドマウントディスプレイ１００との距離を測定し「ＨＭＤ距離情報」を図７の「ＨＭＤ距離情報記憶部３１１」に記憶する。
　従って、レーザスキャナ３は、ヘッドマウントディスプレイ１００との距離情報を常時取得している。
　また、レーザスキャナ３は、ヘッドマウントディスプレイ１００と常時通信し、ヘッドマウントディスプレイ１００の図５の「ＨＭＤ座標情報記憶部１２２」、「スキャン開始地点座標情報記憶部１２６」及び「スキャン終了地点座標情報記憶部１２７」の情報を取得する。
　そして、それぞれ「スキャナ側ＨＭＤ座標情報」、「スキャナ側スキャン開始地点座標情報」及び「スキャナ側スキャン終了地点座標情報」を生成する。
　そして、それぞれ図７の「スキャナ側ＨＭＤ座標情報記憶部３１２」、「スキャナ側スキャン開始地点座標情報記憶部３１３」及び「スキャナ側スキャン終了地点座標情報記憶部３１４」に記憶する。
　このようにして、ヘッドマウントディスプレイ１００に記憶されていた座標情報がレーザスキャナ３側に記憶される。
　次いで、レーザスキャナ３の図７の「レーザスキャナ側修正座標情報生成部（プログラム）３１５」が動作し、「ＨＭＤ距離情報記憶部３１５」の「ＨＭＤ距離情報」と、「スキャナ側ＨＭＤ座標情報」、「スキャナ側スキャン開始地点座標情報」及び「スキャナ側スキャン終了地点座標情報」の各座標情報からレーザスキャナ３の座標位置で修正された「修正スキャナ側ＨＭＤ座標情報」、「修正スキャナ側開始地点座標情報」及び「修正スキャナ側スキャン終了地点情報」を生成する。
　次いで、上述のように生成したそれぞれの情報を「修正スキャナ側ＨＭＤ座標情報記憶部３１６」、「修正スキャナ側開始地点座標情報記憶部３１７」及び「修正スキャナ側スキャン終了地点情報記憶部３１８」に記憶する。
　このようにしてレーザスキャナ３は、ヘッドマウントディスプレイ１００のデータと同期されると共に、常時ヘッドマウントディスプレイ１００の座標情報を取り込んだレーザスキャナ３基準の座標情報を生成し記憶する。
　次いで、レーザスキャナ３の図６の「スキャン対象特定処理部（プログラム）３１９」が動作し、「修正スキャナ側開始地点座標情報記憶部３１７」及び「修正スキャナ側スキャン終了地点情報記憶部３１８」等を参照し、スキャン対象である柱６００のＡ地点～Ｂ地点の範囲の座標情報をレーザスキャナ３基準で、特定し、この範囲内をスキャニング（局所スキャン）し、３次元点群データを取得する。
　このとき、図２及び図３に示す光軸偏向部３５等が動作して、上述の範囲内を局所スキャンするが、その局所スキャンパターンの例を以下、説明する。
　図１０及び図１１は、光軸偏向部３５等が局所スキャンを行う際のスキャンパターンの一例を示している。
　図１０に示すスキャンパターン５３は、花びら形状のスキャンパターンとなっており、図１１（A）、（B）に示すスキャンパターンは５４ａ、５４ｂは、直線スキャンのパター
ンとなっている。
　このように、本実施の形態によれば、スキャン対象として特定された局所のみを部分的にスキャンすることが可能な構成となっている。
　そして、このように、レーザスキャナ３で取得された図１の柱６００のＡ地点～Ｂ地点の範囲の３次元点群データは、図７の「スキャナ側３次元点群データ記憶部３２０」に記憶される。
　以上のように、本実施の形態によれば、作業者Ｐがヘッドマウントディスプレイ１００を装着し、指でスキャニングの対象範囲を特定するだけで、レーザスキャナ３は、自動的に対象範囲のみを精度良く迅速且つ容易にスキャニングすることができ、対象範囲の３次元点群データを取得することができる。
　また、本実施の形態では、上述のように、ヘッドマウントディスプレイ１００を含めた座標情報は、レーザスキャナ３を基準に保持されている。
　このため、図１の作業者Ｐが頭を横方向等に回転させた結果、ヘッドマウントディスプレイ１００が回転すると、その回転を検知し、上述のように図１の測量装置１のレーザスキャナ３自体の水平機構が同様に回転する構成となっている。
　したがって、本実施の形態では、作業者Ｐの視線に同期してレーザスキャナ３も回転する構成とすることができ、レーザスキャナ３は、スキャニングする対象を自動的に追従する構成とすることもできる。
　また、本実施の形態では、ヘッドマウントディスプレイ１００が回転しない場合でも、ＨＭＤ側カメラ１１１ａ、１１１ｂが撮像している「画角」と同じエリアにレーザスキャナ３が向くように構成することもできる。
　また、本実施の形態では、ヘッドマウントディスプレイ１００が、座標情報を生成し、その後、レーザスキャナ３がヘッドマウントディスプレイ１００の座標情報を取得して、レーザスキャナ３、ヘッドマウントディスプレイ１００及び柱６００を含む全体の座標情報がレーザスキャナ３を基準に生成したが、本発明はこれに限らず、以下のように構成しても構わない。
　すなわち、レーザスキャナ３のカメラ（撮像部１４）やヘッドマウントディスプレイ１００のＨＭＤ側カメラ１１１ａ等、ＨＭＤ側照明部１１２等を用いて、ヘッドマウントディスプレイ１０の座標情報を取得することなく、レーザスキャナ３が全体の座標情報を生成する構成としても構わない。
　この場合、その後、ヘッドマウントディスプレイ１００を装着した作業者Ｐが、柱６００のスキャニング部分（Ａ地点～Ｂ地点）を人差指で指定することととなり、これらの工程は上述の実施の形態と同様である。
　次いで、レーザスキャナ３で取得された柱６００の３次元点群データは、ヘッドマウントディスプレイ１００に送信され、透過型のＨＤＭ側ディスプレイ１１３を介して、作業者Ｐが、透過して視認している柱６００と同じ座標位置で表示される。
　すなわち、本実施の形態にかかるＨＭＤ１００は、ＭＲ機器であるため、ＨＤＭ側ディスプレイ１１３を介して、視認可能な柱６００に、実際には存在しない仮想の３次元点群データを重ね合わせ融合させることができる構成となっている。
　図１２は、ＨＤＭ側ディスプレイ１１３を介して視認できる柱６００とＡ地点乃至Ｂ地点の３次元点群データを重ね合わせて表示した状態を示す概略説明図である。
　図１２で示すように、作業者Ｐは、自己が指示してレーザスキャナ３がスキャンすることで生成された柱６００の地点Ａ乃至地点Ｂの間の３次元点群データが正しく形成されているか否かを直ちに確認することができる。
　また、本実施に形態では、ＨＤＭ側ディスプレイ１１３を介して視認できるＡ地点乃至Ｂ地点の３次元点群データの位置を修正等することができる構成となっている。
　すなわち、上述のＳＴ６乃至ＳＴ８同様に、作業者Ｐが右手の人差指を３次元点群データの修正部分情報の向け、トリガースイッチをＯＮ状態とすることで、修正部分を特定可能となる。
　具体的に以下説明する。
　ところで、本実施の形態では、例えば、誤って不必要な部分の３次元点群データを取得した場合や、必要な部分の３次元点群データを十分に取得できなかった場合等について、以下説明するが、本発明は、これらの場合に限定されない。
　例えば、スキャン対象の境界部等でノイズが発生したり、スキャン対象近傍で動いているもの（例えば、歩いている人等）を計ってしまい、実際の対象物の構造と異なるものを３次元点群データとした場合等も含まれる。
　そして、本発明では、このような不必要な３次元点群データも本実施の形態と同様に削除等することができる。
　図１３は、誤って柱６００の地点Ａ乃至地点Ｂ以外の突起Ｃも含めて３次元点群データを生成した場合を示す概略説明図である。
　この場合、作業者Ｐは、自己の希望と異なり突起Ｃの３次元点群データも生成したことを、ＨＤＭ側ディスプレイ１１３を介して確認することができる。
　そこで、作業者Ｐは、３次元点群データの生成を指示した後、直ちに、突起Ｃの部分の３次元点群データを削除する指示を実行することができる。
　具体的には、作業者Ｐが右手の人差指を３次元点群データの修正部分情報の向け、トリガースイッチをＯＮ状態として、削除範囲を指定することで実行可能となる。
　より具体的には、図５のＨＭＤ１００の「３次元点群データ修正処理部（プログラム）１２８」が動作して、修正データ生成すると共に、レーザスキャナ３へ送信する。
　レーザスキャナ３は、受信した修正データに基づき、「スキャナ側３次元点群データ記憶部３２０」のデータを修正する。
　また、図１４は、作業者Ｐが、柱６００の地点Ａ乃至地点Ｂの間を十分に指定できなかった場合を示す概略説明図である。
　この場合、作業者Ｐは、自己の希望と異なり部分Ｄの３次元点群データが生成されていないことを、ＨＤＭ側ディスプレイ１１３を介して確認することができる。
　具体的には、作業者Ｐが右手の人差指を３次元点群データの修正部分情報に向け、トリガースイッチをＯＮ状態として、レーザスキャナ３に追加してスキャンを開始させる範囲を指定する。
　そして、追加してスキャンされたＤ部分の３次元点群データは「スキャナ側３次元点群データ記憶部３２０」に修正のうえ記憶される。
　このように、本実施の形態では、作業者Ｐは、柱６００の地点Ａ乃至地点Ｂの間の３次元点群データを生成する場合、ＨＤＭ側ディスプレイ１１３を介して、実際に柱６００と生成された３次元点群データを比較しながら確認することができるので、修正等を行う場合、３次元点群データの生成直後、又は、生成しながら、かつ、その修正部分をＨＤＭ側ディスプレイ１１３で視認しながら修正できる。
　このため、迅速且つ容易に精度の高い３次元点群データを生成することができる。
　従来、生成した３次元点群データを修正する場合、生成した３次元点群データを別のＰＣ（コンピュータ）等に格納した後に行ってたため、実際の柱６００等との関係等が分からず、修正に困難が伴っていた。
　この点、本実施の形態では、対象物である柱６００と生成された３次元点群データを同時に見比べながら修正することができるので、より修正し易い構成となっている。
　本発明には、図１２に示すようにスキャン対象エリア（地点Ａ乃至地点Ｂ）を連続して指定する場合に限らず、スキャン対象エリアを分割して指定する場合も含まれる。
　図１５（Ａ）（Ｂ）は、対象エリアを分割して指定し、３次元点群データを生成する工程を示す概略説明図である。
　先ず、図１５（Ａ）に示すように、柱６００のスキャン対象エリア（地点Ａ乃至地点Ｂ）の一部分である第１エリアＥ１をレーザスキャナ３でスキャンし、その３次元点群データを生成し、ＨＤＭ側ディスプレイ１１３を介して作業者Ｐに視認可能な状態で示す。
　このため、作業者Ｐは、ＨＤＭ側ディスプレイ１１３を通して、第１エリアＥ１に示された３次元点群データが正しく生成されているか否かを確認することができ、３次元点群データに修正等を同時に加えることが可能な構成となっている。
　このように、先ず、第１エリアＥ１の３次元点群データを確認にした後、図１５（Ｂ）に示すように、柱６００のスキャン対象エリア（地点Ａ乃至地点Ｂ）の他の部分である第２エリアＥ２をレーザスキャナ３でスキャンし、その３次元点群データを生成し、ＨＤＭ側ディスプレイ１１３を介して作業者Ｐに視認可能な状態で示す。
　そして、上述の第１エリアＥ１と同様に修正等の確認作業を行う。
　このように、スキャン対象エリアである柱６００の地点Ａ乃至地点Ｂの間を分割して順番にスキャンし、分割して３次元点群データを生成することで、より精度の高い３次元点群データの修正等が可能となる。
（実施の形態の第１の変形例）
　本実施の形態の第１の変形例の多くの構成は、上述の実施の形態と共通しているため、説明を省略し、以下、相違点を中心し説明する。
　上述の実施の形態では、作業者Ｐのヘッドマウントディスプレイ１００のＨＤＭ側ディスプレイ１１３には、作業者Ｐの視界が表示されるが、本変形例では、対応する「設計図」情報がコンピュータ等で３次元情報（例えば、ＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ（コンピュータ・グラフィックス））に加工され、組み合わされて表示される。
　したがって、実際には建築現場には、未だ存在しない設計図上の構造物の周辺等をスキャニングの範囲等に指定し、レーザスキャナ３でスキャニングすることができる。
　また、実際に建築現場に部材を設置した後に設計データと比較して検査をする際、検査をする部材を設計図面上で指定し、実際の空間に設置されたものをスキャニングすることで、直感的に検査対象を指定することができる。
　したがって、本変形例では、作業者ＰのＨＤＭ側ディスプレイ１１３には、実際に存在する構造物に仮想現実である設計図情報と３次元点群データが重なり合い、融合されて表示されることになる（ＭＲ（Ｍｉｘｅｄ　Ｒｅａｒｉｔｙ（複合現実））。
　このため、設計図上の部材の位置が、設置予定場所と異なり「ズレ」ている場合、この異なっている量を視認しながら、設置完了前にスキャニングしながら完成後の設置位置まで変更する等の作業が容易且つ迅速にすることができる。
（本実施の形態の第２の変形例）
　本実施の形態の第２の変形例の多くの構成は、上述の実施の形態と共通しているため、説明を省略し、以下、相違点を中心し説明する。
　上述の実施の形態では、作業者Ｐは、ヘッドマウントディスプレイ１００において表示された柱６００等の対象物をスキャン対象として特定し、実際に作業者Ｐの手が柱６００等に触れる必要はない構成となっている。
　しかし、本変形では、作業者Ｐが実際に柱６００に触れて、スキャニングの対象や、その範囲を指定しても構わない構成となっている。
　したがって、作業者Ｐは、より正確にスキャニングの範囲を指定することができる。
　以上説明した本実施形態においては、装置として実現される場合を例に挙げて説明したが、本発明は、これに限定されず、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤなど）光磁気ディスク（ＭＯ）、半導体メモリなどの記憶媒体に格納され頒布されてもよい。
　また、記憶媒体は、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であればよい。記憶媒体の記憶形式は、特には限定されない。
　また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワークソフト等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
　さらに、本発明における記憶媒体は、コンピュータと独立した媒体には限定されず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
　また、本発明におけるコンピュータは、記憶媒体に記憶されたプログラムに基づいて本実施形態における各処理を実行すればよく、１つのパソコン（ＰＣ）等からなる装置であってもよいし、複数の装置がネットワーク接続されたシステム等であってもよい。
　また、本発明におけるコンピュータとは、パソコンには限定されず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能な機器、装置を総称している。
　以上、本発明の実施形態について説明した。しかし、本発明は、上記実施形態に限定されず、特許請求の範囲を逸脱しない範囲で種々の変更を行うことができる。
　１・・・測量装置、２・・・三脚、３・・・レーザスキャナ、４・・・操作装置、５・・・回転台、７・・・レバー、９・・・筐体、１１・・・測距光射出部、１２・・・受光部、１３・・・測距演算部、１４・・・撮像制御部、１５・・・射出方向検出部、１６・・・モータドライバ、１７・・・姿勢検出部、１８・・・第１通信部、１９・・・演算制御部、２０・・・第１記憶部、２１・・・撮像制御部、２２・・・画像処理部、２３・・・測距光、２４・・・反射測距光、２６・・・射出光軸、２７・・・発光素子、２８・・・投光レンズ、２９・・・第１反射鏡、３１・・・受光光軸、３２・・・第２反射鏡、３３・・・受光素子、３４・・・結像レンズ、３５・・・光軸偏向部、４０・・・測距光軸、４３・・・撮像光軸、１００、２００・・・ヘッドマウントディスプレイ、１０１・・・ＨＭＤ側制御部、１０２・・・ＨＭＤ側側通信装置、１１０・・・本体部、１１１ａ、１１１ｂ・・・ＨＭＤ側カメラ、１１２・・・ＨＭＤ側照明部、１１３・・・ＨＭＤ側ディスプレイ、１２０・・・ＨＭＤ側各種情報記憶部、１２１・・・ＨＭＤ座標情報生成部、１２２・・・ＨＭＤ座標情報記憶部、１２５・・・ＨＭＤ座標データ生成部、１２６・・・スキャン開始地点座標情報記憶部、１２７・・・スキャン終了地点座標情報記憶部、１２８・・・３次元点群データ修正処理部、２０１・・・高反射物体、３０１・・・レーザスキャナ側制御部、３０２・・・レーザスキャナ本体、３１０・・・レーザスキャナ側各種情報記憶部、３１１・・・ＨＭＤ距離情報記憶部、３１２・・・スキャナ側ＨＭＤ座標情報記憶部、３１３・・・スキャナ側スキャン開始地点座標情報記憶部、３１４・・・スキャナ側スキャン終了地点座標情報、３１５・・・レーザスキャナ側修正座標情報生成部、３１６・・・修正スキャナ側ＨＭＤ座標情報記憶部、３１７・・・修正スキャナ側開始地点座標情報記憶部、３１８・・・修正スキャナ側スキャン終了地点情報記憶部、３１９・・・スキャン対象特定処理部、３次元点群データ記憶部・・・３２０、６００・・・柱、２１・・・撮像制御部、Ｏ・・・基準光軸、Ｐ・・・作業者

Claims (8)

  1. 　対象物の３次元点群情報を生成する点群情報生成装置と、
    　使用者が装着可能なＸＲ（クロスリアリティ）生成装置と、を備える点群情報生成システムであって、
    　前記ＸＲ生成装置は、少なくとも前記使用者の視線に対応した撮像情報を取得する撮像部と、
    　表示部を備え、
    　前記表示部に表示された前記対象物についての実行指示情報に基づいて、前記点群情報生成装置が前記実行指示情報で特定された前記対象物について３次元点群情報を生成すると共に、生成された前記対象物についての前記３次元点群情報を前記表示部に前記対象物と共に表示することを特徴とする点群情報生成システム。
  2. 　前記点群情報システムの前記実行指示情報に基づいて特定された前記対象物の部分について前記３次元点群情報を生成し、前記実行情報に基づいて生成された前記３次元点群情報を修正することを特徴とする請求項１に記載の点群情報生成システム。
  3. 　前記点群情報生成装置は、点群情報を生成するための測距光を射出すると共に、前記測距光の射出方向を偏向する光軸偏向部を有し、前記光軸偏向部で前記測距光を偏向することで、前記測距光を前記対象物の部分のみに照射させる構成となっていることを特徴とする請求項２に記載の点群情報生成システム。
  4. 　前記点群情報システムに関する設計図情報を、前記表示部に表示する構成となっていることを特徴とする請求項１に記載の点群情報生成システム。
  5. 　前記点群情報システムに関する設計図情報を、前記表示部に表示する構成となっていることを特徴とする請求項２に記載の点群情報生成システム。
  6. 　前記点群情報システムに関する設計図情報を、前記表示部に表示する構成となっていることを特徴とする請求項３に記載の点群情報生成システム。
  7. 　対象物の３次元点群情報を生成する点群情報生成装置と、使用者が装着可能なＸＲ生成装置とを備える点群情報生成システムの制御方法であって、
    　前記ＸＲ生成装置の撮像部は、前記使用者の視線に対応した撮像情報を取得し、
    　前記表示部に表示された前記対象物についての実行指示情報に基づいて、前記点群情報生成装置が前記実行指示情報で特定された前記対象物について３次元点群情報を生成し、　生成された前記対象物についての前記３次元点群情報を前記表示部に前記対象物と共に表示することを特徴とする点群情報生成システムの制御方法。
  8. 　対象物の３次元点群情報を生成する点群情報生成装置と、使用者が装着可能なＸＲ現実生成装置とを備える点群情報生成システムに、
    　前記ＸＲ生成装置の撮像部が前記使用者の視線に対応した撮像情報を取得し、前記表示部に表示された前記対象物についての実行指示情報に基づいて、前記点群情報生成装置が前記実行指示情報で特定された前記対象物について３次元点群情報を生成する機能、
    　生成された前記対象物についての前記３次元点群情報を前記表示部に前記対象物と共に表示する機能、を実現させることを特徴とする点群情報生成システムの制御プログラム。
PCT/JP2023/035759 2022-09-30 2023-09-29 点群情報生成システム、点群情報生成システムの制御方法及び点群情報生成システムの制御プログラム WO2024071413A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-157916 2022-09-30
JP2022157916A JP2024051640A (ja) 2022-09-30 2022-09-30 点群情報生成システム、点群情報生成システムの制御方法及び点群情報生成システムの制御プログラム

Publications (1)

Publication Number Publication Date
WO2024071413A1 true WO2024071413A1 (ja) 2024-04-04

Family

ID=90478193

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/035759 WO2024071413A1 (ja) 2022-09-30 2023-09-29 点群情報生成システム、点群情報生成システムの制御方法及び点群情報生成システムの制御プログラム

Country Status (2)

Country Link
JP (1) JP2024051640A (ja)
WO (1) WO2024071413A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001012950A (ja) * 1999-06-30 2001-01-19 Aisan Technology Co Ltd 測定装置及び測定システム
JP2020197412A (ja) * 2019-05-31 2020-12-10 株式会社鴻池組 構造物の検査装置、構造物の検査方法及びプログラム
JP2021021608A (ja) * 2019-07-26 2021-02-18 株式会社トプコン 測量システム
JP2022132750A (ja) * 2021-03-01 2022-09-13 株式会社トプコン 三次元位置測定システム，測定方法，および測定プログラム
JP2022140903A (ja) * 2021-03-15 2022-09-29 株式会社トプコン 測量デバイスおよびこれを用いた測量方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001012950A (ja) * 1999-06-30 2001-01-19 Aisan Technology Co Ltd 測定装置及び測定システム
JP2020197412A (ja) * 2019-05-31 2020-12-10 株式会社鴻池組 構造物の検査装置、構造物の検査方法及びプログラム
JP2021021608A (ja) * 2019-07-26 2021-02-18 株式会社トプコン 測量システム
JP2022132750A (ja) * 2021-03-01 2022-09-13 株式会社トプコン 三次元位置測定システム，測定方法，および測定プログラム
JP2022140903A (ja) * 2021-03-15 2022-09-29 株式会社トプコン 測量デバイスおよびこれを用いた測量方法

Also Published As

Publication number Publication date
JP2024051640A (ja) 2024-04-11

Similar Documents

Publication Publication Date Title
JP6963936B2 (ja) 測量システム
US11415414B2 (en) Surveying instrument
JP6855316B2 (ja) 測量システム
US9612331B2 (en) Laser tracker with functionality for graphical target preparation
JP5688876B2 (ja) レーザスキャナ測定システムの較正方法
JP5738005B2 (ja) 光波距離測定装置
JP7066322B2 (ja) 測量システム
WO2011133731A4 (en) Method and apparatus for using gestures to control a laser tracker
JP6817097B2 (ja) 測量システム
KR20130085434A (ko) 로봇식 측량 기계 및 오토콜리메이션 타겟을 포함하는 측량 기계의 망원경의 자동화된 오토콜리메이션을 위한 방법
JP5234255B2 (ja) レーザレーダ及びレーザレーダの据付方向調整方法
EP2587215B1 (en) Method for image measuring system
JP7313955B2 (ja) 測量装置、測量方法および測量用プログラム
JP6899737B2 (ja) 測量システム
JP2019090770A (ja) 測量装置及び測量装置システム
US20190339075A1 (en) Surveying Instrument
JP2006078416A (ja) トータルステーション
WO2024071413A1 (ja) 点群情報生成システム、点群情報生成システムの制御方法及び点群情報生成システムの制御プログラム
CN111308485A (zh) 测量装置和照相测量方法
JP2018028466A (ja) 測定装置及びモータの制御方法
JP2023152591A (ja) 点群情報生成システム、点群情報生成システムの制御方法及び点群情報生成システムの制御プログラム
US10895456B1 (en) Three-dimensional survey apparatus, three-dimensional survey method, and three-dimensional survey program
US20230316644A1 (en) Point cloud information generating system, control method of point cloud information generating system, and control program of point cloud information generating system
US11598637B2 (en) Surveying instrument
JP6913422B2 (ja) 測量システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23872632

Country of ref document: EP

Kind code of ref document: A1