WO2017098966A1 - 点群データ取得システム及びその方法 - Google Patents

点群データ取得システム及びその方法 Download PDF

Info

Publication number
WO2017098966A1
WO2017098966A1 PCT/JP2016/085397 JP2016085397W WO2017098966A1 WO 2017098966 A1 WO2017098966 A1 WO 2017098966A1 JP 2016085397 W JP2016085397 W JP 2016085397W WO 2017098966 A1 WO2017098966 A1 WO 2017098966A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
coordinate system
unit
point cloud
cloud data
Prior art date
Application number
PCT/JP2016/085397
Other languages
English (en)
French (fr)
Inventor
卓弥 澤口
秀樹 岩澤
Original Assignee
株式会社Ｈｉｅｌｅｒｏ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｈｉｅｌｅｒｏ filed Critical 株式会社Ｈｉｅｌｅｒｏ
Publication of WO2017098966A1 publication Critical patent/WO2017098966A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/14—Determining absolute distances from a plurality of spaced points of known location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing

Definitions

  • the present invention relates to a system and method for acquiring point cloud data representing the outline of an object by non-contact measurement from a plurality of measurement positions.
  • 3D measurement device such as a laser scanner
  • measure the point cloud data representing the outline including the position and shape of the surface of the measurement object and create a panoramic image of the measurement object from this point cloud data
  • Data processing devices are known.
  • This 3D data processing device facilitates the display of point cloud data by creating a panoramic image of a virtual spherical surface with the measurement position of the 3D measurement device as the origin, for example, based on the point cloud data.
  • Is known to improve see, for example, Patent Document 1).
  • point cloud data that represents the contour of a non-planar measurement object having irregularities on an existing building (for example, a plant such as a nuclear power plant or a cultural property) It is known to measure point cloud data representing the contour of the measurement object from a plurality of viewpoints by varying the measurement position.
  • the position information of each point cloud data measured from a plurality of different measurement positions is represented by a coordinate system (hereinafter also referred to as “inherent coordinate system”) based on the position and orientation of each measurement position at which the point cloud data is measured. .
  • the position information represented by each unique coordinate system of each point cloud data measured from these different measurement positions is converted into the position information represented by the same coordinate system (hereinafter also referred to as “reference coordinate system”). Need to be converted.
  • reference coordinate system By converting the coordinate system, it is known that the position information of all point cloud data is represented by the reference coordinate system, and each point cloud data represented by the same coordinate system is partially matched and combined. Yes. By doing so, the blind spot is reduced, and three-dimensional data for grasping the contour of the measurement object is obtained (see, for example, Patent Document 2).
  • the term “matching” refers to the integration of the plurality of point cloud data obtained from different measurement positions by aligning the partially overlapping portions while maintaining the consistency.
  • the position and orientation of each three-dimensional measurement device when measuring point cloud data representing the outline of the measurement object from a plurality of measurement positions, the position and orientation of each three-dimensional measurement device must be set in advance. For this reason, for example, when a three-dimensional measurement device such as a laser scanner is changed from a preset measurement position to another measurement position and installed, the position, orientation, etc. It is necessary to measure accurately. Changing the position of the three-dimensional measuring device takes time and is not easy. Further, for example, if the measurement object is a non-stationary object whose outline changes dynamically with the passage of time such as, for example, the movement of a person or the movement of an object, a single measurement device can be used. It is impossible to capture from various directions.
  • the present invention relates to a system or method for acquiring point cloud data representing an outline of a measurement object from a plurality of measurement positions, when the three-dimensional measurement apparatus is moved to measure the measurement object.
  • the present invention includes a first electronic device group including a first electronic device and one or more movable second electronic devices, and has depth information for each point on the surface of the subject in units of pixels.
  • a point cloud data acquisition system for acquiring point cloud data wherein each of the second electronic devices has a second coordinate system (for example, “second coordinate system” described later),
  • the first electronic device 10 is installed with a program for causing the first electronic device 10 to function as the first functional unit such as the first communication unit 11 and the position information measuring unit 12 described above. It can be made to function as each functional unit such as the position information measuring unit 12.
  • the program may be installed in the first electronic device 10 in advance.
  • the program may be installed from a computer-readable recording medium as necessary or downloaded from a server set in advance as needed.
  • the “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage device such as a hard disk built in the computer system.
  • the measurement object is not only a non-planar shape measurement object having unevenness of an existing building (for example, a plant such as a nuclear power plant or a cultural property), but also a moving human, a moving animal, a moving An object such as an object whose shape changes over time can be included.
  • the three-dimensional measuring unit 22 included in the second electronic device 20 can be configured by combining a depth sensor with, for example, a normal image camera.
  • the three-dimensional measurement unit 22 configured by combining a depth sensor with a normal image camera is also referred to as a “depth camera” below.
  • a vector having a vertex C ′ 0 as a starting point and a vertex C ′ 1 as an end point (hereinafter referred to as “vector C ′ 0 C ′ 1 ”), and a vector having a vertex C ′ 0 as a starting point and a vertex C ′ 2 as an end point (
  • the end point when the outer product with “vector C ′ 0 C ′ 2 ” is expressed with the vertex C ′ 0 as the start point is C ′ 3 .
  • a marker coordinate system is defined in which C ′ 0 is the origin, vector C ′ 0 C ′ 1 is the X axis, vector C ′ 0 C ′ 2 is the Y axis, and vector C ′ 0 C ′ 3 is the Z axis.
  • the coordinate values in the marker coordinate system of the points C ′ 0 , C ′ 1 , C ′ 2 , and C ′ 3 are as follows.
  • C ′ 0 (0, 0, 0)
  • C ′ 1 (4i, 0, 0)
  • C ′ 2 (0, 3i, 0)
  • C ′ 3 (0, 0, 12i 2 )
  • First communication unit 11 A communication module using a wired or wireless line. It faces the second communication unit 21 of the second electronic device 20 and exchanges control signals and various data between the first electronic device 10 and the second electronic device 20.
  • the position information measuring unit 12 when there is only one position information measuring unit 12, when any object is interposed between the position information measuring unit 12 and the marker 23 of the second electronic device 20n, the position information measuring unit 12 is connected to the second electronic device. There is a possibility that the coordinate value of the 20n marker 23 cannot be measured.
  • the system may be configured to include a plurality of first electronic devices 10 including the position information measurement unit 12. Further, the first electronic device 10 may be configured to include a plurality of position information measurement units 12.
  • the position information measuring unit 12 of the index (identification number) i is This is referred to as the information measuring unit 12 (i).
  • a unique coordinate system (first measurement coordinate system) included in the position information measurement unit 12 (i) is referred to as a first measurement coordinate system (i).
  • the number M of the position information measuring units 12 is assumed to be 1 or more (1 ⁇ M) and includes one case.
  • the coordinate system calculation unit 30 includes a marker position information calculation unit 31 and a calibration processing unit 32.
  • the coordinate system calculation unit 30 can include a time synchronization unit 33.
  • the marker position information calculation unit 31 detects the marker 23 provided in the second electronic device 20 based on the measurement information measured by the position information measurement unit 12, and the constituent elements of the detected marker 23 (vertex of the marker 23, etc.) The coordinate value (marker position information) in the first measurement coordinate system is calculated.
  • i (1 ⁇ i ⁇ M) is the identification number of the position information measurement unit 12
  • n (1 ⁇ n ⁇ N) is the identification number of the second electronic device 20 (three-dimensional measurement unit 22)
  • t is the measurement time.
  • L represents the marker position information of the second electronic device 20
  • the marker position information of the second electronic device 20 n measured by the position information measurement unit 12 (i) at time t is expressed as i L n (t). be able to. Therefore, i L n (t) is at time t, according to the first measurement coordinate system (i), means marker position information of the second electronic device 20n.
  • the time synchronization unit 33 synchronizes the internal time of the first electronic device 10 with the reference time using, for example, a protocol defined in IEEE 1588.
  • the coordinate system calculation unit 30 can synchronize the internal time of the coordinate system calculation unit 30 with the reference time using, for example, a protocol defined in IEEE 1588.
  • the reference coordinate system marker 10A can be a structure having a triangular shape having three sides, each of which has a sphere with the same radius, for example, similarly to the marker 23 provided in the second electronic device 20.
  • the radius of the sphere, the color of the surface of the sphere, and the length of the sides of the triangle can be set as appropriate.
  • the reference coordinate system marker 10A is assumed to be a right triangle whose lengths of three sides are 3jcm, 4jcm, and 5jcm (j is an arbitrary integer of 1 or more), respectively.
  • the calibration can be similarly performed when the triangle has an arbitrary shape.
  • the marker position information calculating unit 31 detects the reference coordinate system marker 10A based on the measurement information measured by the position information measuring unit 12 (i), The coordinate values in the first measurement coordinate system (i) of the detected constituent elements of the reference coordinate system marker 10A (vertices W 0 , W 1 , W 2 of the reference coordinate system marker 10A) are calculated.
  • the coordinate value of W 3 is W 0 , W 1 , W 2 as follows: It can be expressed by coordinate values.
  • the marker position information calculation unit 31 extracts a portion having a color of RED within the measurement target range measured by the position information measurement unit 12 (i), and extracts the depth image data of the extracted portion of RED, that is, the extracted portion.
  • (R) which is RGB color information of each point on the partial surface of RED, and three-dimensional coordinates (x, y, z) in the first measurement coordinate system (i) representing the position of each point (pixel unit); Is obtained as measurement image data and stored in a storage unit (not shown).
  • the marker position information calculation unit 31 calculates the coordinate value in the first measurement coordinate system (i) of each vertex of the reference coordinate system marker 10A. Thereafter, the marker position information calculation unit 31 calculates the side length of each triangle based on the coordinate value in the first measurement coordinate system (i) of each vertex of the calculated reference coordinate system marker 10A, and calculates the calculated side It is possible to determine which of the vertices W 0 , W 1 , and W 2 of the reference coordinate system marker 10A corresponds to each of the vertices.
  • the marker position information calculation unit 31 can calculate the coordinate values in the first measurement coordinate system (i) representing the positions of the vertices W 0 , W 1 and W 2 of the reference coordinate system marker 10A.
  • the marker position information calculation unit 31 extracts the portion of the color A within the measurement target range, the RGB color information of each point on the extracted surface of the color A, and each point (pixel unit) A set of point data consisting of the three-dimensional coordinates (x, y, z) representing the position of the image may be extracted as measurement image data.
  • the marker position information calculation unit 31 generates an edge image, extracts a circle from the generated edge image by Hough transform, and calculates the radius of the circle, thereby calculating the center of the sphere with the radius A and the color A. It can be configured as desired.
  • the detection method of the reference coordinate system marker 10A by the marker position information calculation unit 31 has been described above.
  • the detection method of the reference coordinate system marker 10A is also applied to detection of a marker 23 (n) provided in the second electronic device 20n described later.
  • the length of the sides of the triangle constituting the marker 23 (n) is different for each second electronic device 20n, so that a plurality of second electronic devices 20n are included in the measurement target range of the position information measuring unit 12.
  • a plurality of measurement object ranges in the position information measurement unit 12 (i) are set.
  • the second electronic device 20n having the marker 23 (n) can be identified by the radius of the sphere.
  • the second electronic device 20n having the marker 23 (n) can be identified by the color of the sphere.
  • the marker position information calculation unit 31 included in the coordinate system calculation unit 30 is based on the measurement information measured by the position information measurement unit 12 (i), and the marker 23 (n ),
  • the coordinate value (marker position information) in the first measurement coordinate system (i) of the detected component 23 (n) (such as the vertex of the marker 23) is calculated, and based on the marker position information,
  • a coordinate transformation matrix for transforming coordinate values in the second coordinate system (n) included in the second electronic device 20n into coordinate values in the reference coordinate system is calculated.
  • n T M a marker coordinate transformation matrix
  • the marker coordinate transformation matrix n T M can be calculated by performing calibration in a state where the second electronic device 20n is placed in a fixed position in advance.
  • calibration using the marker 23 (n) will be described.
  • FIG. 3 shows a reference coordinate conversion matrix i T W for converting a coordinate value in the first measurement coordinate system (i) to a coordinate value in the reference coordinate system, in the second coordinate system (n) included in the three-dimensional measurement unit 22n.
  • a coordinate transformation matrix (hereinafter referred to as “ n T W ”) for transforming coordinate values into coordinate values in the reference coordinate system, and transforming coordinate values in the second coordinate system (n) into coordinate values in the marker coordinate system (n)
  • Marker coordinate transformation matrix n T M Marker coordinate transformation matrix n T M to perform, a first measurement coordinate transformation matrix (hereinafter referred to as “ Mn T i ”) for transforming coordinate values in the marker coordinate system (n) to coordinate values in the first measurement coordinate system (i).
  • Mn T i first measurement coordinate transformation matrix
  • the marker position information calculation unit 31 detects the reference coordinate system marker 10A based on the measurement information measured by the three-dimensional measurement unit 22n of the second electronic device 20n, and the vertexes W 0 , W 1 , W 2 thereof. A coordinate value in the second coordinate system (n) representing the position of is calculated. In doing so, the calibration processing unit 32 calculates the coordinate transformation matrix n T W for converting coordinates in the second coordinate system included in the three-dimensional measurement unit 22n (n) into coordinate values in the reference coordinate system be able to.
  • the marker coordinate system (n) by the marker 23 (n) means a coordinate system in which the vertices of the triangle in the marker 23 (n) are the origin, the point on the X axis, and the point on the Y axis, respectively. To do.
  • the triangle in the marker 23 (n) is a right triangle whose ratio of three sides is 3: 4: 5.
  • the coordinate values in the marker coordinate system (n) of the points C ′ 0 , C ′ 1 , C ′ 2 , C ′ 3 are as follows.
  • C ′ 0 (0, 0, 0)
  • C ′ 1 (4i, 0, 0)
  • C ′ 2 (0, 3i, 0)
  • C ′ 3 (0, 0, 12i 2 )
  • the marker position information calculation unit 31 detects the marker 23 (n) based on the measurement information obtained by the position information measurement unit 12 (i), and the component (marker 23) of the detected marker 23 (n).
  • the coordinate values in the first measurement coordinate system (i) of the vertices C ′ 0 , C ′ 1 , C ′ 2 ) of (n) are calculated.
  • the coordinate value of the C ′ 3 is expressed as C ′ It can be expressed by the coordinate values of 0 , C ′ 1 and C ′ 2 .
  • the calibration processing unit 32 calculates Formula 5 based on the coordinate values in the first measurement coordinate system (i) representing the positions of the vertices C ′ 0 , C ′ 1 , and C ′ 2 of the marker 23 (n). Accordingly, it is possible to calculate the first measurement coordinate transformation matrix Mn T i to transform the marker coordinate system (n) first measurement coordinate system (i).
  • the above formula is an example when the triangle in the marker 23 (n) is a right triangle having a ratio of three sides of 3: 4: 5, and when the marker 23 (n) is an arbitrary triangle, The coordinate values in the marker coordinate system (n) of each point C ′ 0 , C ′ 1 , C ′ 2 , C ′ 3 are calculated based on the triangle.
  • the unit matrix E is used to convert the coordinate values in the first measurement coordinate system into the coordinate values in the first measurement coordinate system.
  • the calibration processing unit 32 uses the expression 7 to calculate the coordinate values in the second coordinate system (n) included in the three-dimensional measurement unit 22n of the second electronic device 20n and the markers 23 (n) included in the second electronic device 20n. It is possible to calculate a marker coordinate conversion matrix n T M for converting into coordinate values in the marker coordinate system (n).
  • n T M Mn T i ⁇ 1 ⁇ i T W ⁇ 1 ⁇ n T W (Formula 7)
  • the calibration processing unit 32 converts the coordinate value in the first measurement coordinate system (i) in the position information measurement unit 12 (i) to the coordinate value in the reference coordinate system, i T W , And marker coordinate conversion for converting the coordinate value in the second coordinate system (n) included in the three-dimensional measuring unit 22n of the second electronic device 20n into the coordinate value in the marker coordinate system (n) included in the second electronic device 20n.
  • a matrix n T M is calculated.
  • the reference coordinate transformation matrix i T W and the marker coordinate transformation matrix n T M are fixed transformation matrices, respectively.
  • each position information measurement unit 12 (i) (1 ⁇ i ⁇ M) and each second electronic device 20n (1 ⁇ n ⁇ N) are calibrated, and the first measurement coordinate system (i)
  • the first electronic device 10 (calibration processing unit 32) may be stored in the storage unit of the three-dimensional data processing unit 40, for example. Thereafter, the reference coordinate system marker 10A can be removed from the real space.
  • the reference coordinate transformation matrix i T W for converting the coordinate values in the reference coordinate system coordinate values of the position information measurement unit 12 (i) (1 ⁇ i ⁇ M) of comprising first measurement coordinate system (i) Then, for example, when the reference coordinate system marker 10A is appropriately placed on the real space, each vertex W 0 , W 1 , W 2 of the reference coordinate system marker 10A, the vector W 0 W 1 and the vector W 0 W 2 The first measurement coordinate system (i) of the position information measurement unit 12 (i) (1 ⁇ i ⁇ M) of each point W 0 , W 1 , W 2 , W 3 when the outer product vector of W 0 is W 3.
  • the coordinate value in the first measurement coordinate system (i) in which i is 2 or more is used as a reference.
  • the value of W (W 3 (i)) ⁇ (i ⁇ 2) is a coordinate value ⁇ 1 obtained by converting the coordinate value in the first first measurement coordinate system (1) into the reference coordinate system.
  • T W (W 0 (i)), 1 T W (W 1 (i)), 1 T W (W 2 (i)), 1 T W (W 3 (i)) ⁇ 1 measurement coordinate system (i) (i ⁇ 2) reference coordinate conversion matrix for converting the coordinate values to coordinate values in the reference coordinate system at i T W (i 2) may be corrected.
  • the coordinate values ⁇ i T W (W 0 (i)) obtained by converting the coordinate values in the corrected first measurement coordinate system (i) (i ⁇ 2) into the reference coordinate system.
  • I TW (W 1 (i)), i TW (W 2 (i)), i TW (W 3 (i)) ⁇ (i ⁇ 2) is the first first measurement
  • the first functional unit included in the first electronic device 10 the second functional unit included in the second electronic device 20, and the coordinate system calculation functional unit included in the coordinate system calculation unit 30 have been described above.
  • the position information measuring unit 12 (i) and the coordinate system calculating unit 30 of the first electronic device 10 accurately calculate the marker position information (n) of the marker 23 (n) included in the second electronic device 10n. be able to. By doing so, the line-of-sight direction and the rotation angle around the line-of-sight of the three-dimensional measuring unit 22n are determined. Position information can be obtained. Next, the three-dimensional data processing unit 40 will be described.
  • the three-dimensional data processing unit 40 includes a point group data coordinate value conversion unit 41 and a synthesized point group data creation unit 42.
  • the composite point cloud data creation unit 42 further includes a first composite point cloud data creation unit 421 and a point cloud data matching unit 422.
  • the point cloud data coordinate value conversion unit 41 sets the point cloud data ⁇ Qn (t) ⁇ (1 ⁇ n ⁇ N) (t: time stamp) is converted into a coordinate transformation matrix ⁇ Fn (t) ⁇ (1 ⁇ i ⁇ M) (1 ⁇ n ⁇ N) for converting coordinates into the same coordinate system (reference coordinate system) ) (T: time stamp) is calculated, and coordinate conversion from the coordinate value in the second coordinate system representing each point of each point group data Qn (t) to the coordinate value in the reference coordinate system is performed.
  • the marker position information i L n (t) of the second electronic device 20n measured by the position information measurement unit 12 (i) at the time t is detected by the point cloud data coordinate value conversion unit 41 (where i is the position Based on the identification number (1 ⁇ i ⁇ M) of the information measuring unit 12, n is the identification number of the second electronic device 20, and t is a time stamp), the second point indicating each point of each point group data Qn (t). Processing for calculating a transformation matrix Fn (t) for transforming coordinate values in the coordinate system to coordinate values in the reference coordinate system will be described.
  • the reference for converting the coordinate value in the first measurement coordinate system (i) (1 ⁇ i ⁇ M) included in the position information measurement unit 12 (i) into the coordinate value in the reference coordinate system by calibration A coordinate transformation matrix i TW is stored in the storage unit of the three-dimensional data processing unit 40.
  • the marker 23 (n) provided in the second electronic device 20n uses the coordinate values in the second coordinate system (n) provided in the three-dimensional measuring unit 22n of the second electronic device 20n (1 ⁇ n ⁇ N). Is stored in the storage unit of the three-dimensional data processing unit 40.
  • the marker coordinate conversion matrix n T M for converting into coordinate values in the marker coordinate system (n) is stored.
  • the point cloud data coordinate value conversion unit 41 uses a set of marker position information ⁇ i L n (t) ⁇ (1 ⁇ n ⁇ N, 1 ⁇ i ⁇ M, t: time stamp) and a three-dimensional measurement unit 22n.
  • the measurement position of the point cloud data can be specified by matching the time stamp of the set ⁇ Qn (t) ⁇ (1 ⁇ n ⁇ N) (t: time stamp) of the measured point cloud data.
  • the point cloud data Qn (t) Linear interpolation can be performed using the marker position information of the marker 23 (n) at a time in the vicinity of the measurement time when.
  • the point group data coordinate value conversion unit 41 may associate each point group data Qn (t) with the marker position information i L n (t) based on the time t and the identification number n of the second electronic device 20. it can.
  • the point cloud data coordinate value conversion unit 41 associates i L n (t) with Qn (t).
  • the position information measuring unit 12 (i) and the position information measuring unit 12 (j) (i ⁇ j) are respectively calculated for Qn (t).
  • the position information i L n (t) and j L n (t) (i ⁇ j) may be associated with each other. Therefore, the point cloud data coordinate value conversion unit 41 selects one marker component position information i L n (t) satisfying a predetermined condition from a plurality of marker position information for Qn (t).
  • (i) that maximizes the number of sets ⁇ i L n (t) ⁇ may be selected for (i, t).
  • the position information measuring unit 12 (i) selects i that maximizes the number of second electronic devices 20 that have acquired the marker position information (n). By doing so, it is possible to increase the efficiency of coordinate value conversion described later.
  • the point cloud data coordinate value conversion unit 41 converts the coordinate value in the marker coordinate system (n) to the coordinate value in the first measurement coordinate system (i) based on the marker position information i L n (t).
  • a first measurement coordinate conversion matrix Mn T i (t) for conversion can be calculated (see Equation 5).
  • the marker coordinate conversion matrix n T M for converting the coordinate values in the second coordinate system (n) calculated in advance into the coordinate values in the marker coordinate system (n), the first measurement coordinate system (i) Assuming that the reference coordinate conversion matrix for converting the coordinate value in to the coordinate value in the reference coordinate system is i T W , the point cloud data coordinate value conversion unit 41 at the time stamp t, the point Qn (t) of the point cloud data
  • a marker coordinate transformation matrix n T M a first measurement coordinate transformation matrix Mn T i (t)
  • the coordinates of the reference coordinate system (x g, y g, z g) is calculated (see equation 8).
  • the point group data coordinate value conversion unit 41 can convert the coordinate value in the second coordinate system indicating each point of the point group data Qn (t) into the coordinate value in the reference coordinate system in real time.
  • the marker position information calculation unit 31 calculates the marker position information i L n (t) in real time, and performs a three-dimensional data processing unit 40 (point cloud data coordinate value conversion) via the network for each second electronic device 20n. It can be configured to be delivered to the unit 41) via an interface such as communication.
  • the marker position information calculation unit 31 calculates the marker position information i L n (t) in real time, and the second electronic device position of the three-dimensional data storage unit 60 via the network for each second electronic device 20n.
  • the information may be stored in the information storage unit 62 in real time and delivered to the three-dimensional data processing unit 40 (point cloud data coordinate value conversion unit 41) via the second electronic device position information storage unit 62.
  • the point cloud data acquisition system 100 of the present invention converts each point of the point cloud data Qn (t) into point cloud data ⁇ Q′n (t) ⁇ that is composed of coordinate values in the reference coordinate system. Can be converted in real time.
  • the composite point cloud data creation unit 42 includes a first composite point cloud data creation unit 421 and a point cloud data matching unit 422.
  • the first composite point group data creation unit 421 uses the point group data coordinate value conversion unit 41 to calculate the coordinate values in the second coordinate system of each point group data Qn (t) at time t in the reference coordinate system.
  • the points with the same coordinate value in the reference coordinate system between the point group data ⁇ Q′n (t) ⁇ (1 ⁇ n ⁇ N) converted into the coordinate values of Point cloud data Q ′ (t) can be created.
  • the position of the overlapping portion based on the characteristic parameter for example, curvature of the curved surface (Gaussian curvature)
  • the characteristic parameter for example, curvature of the curved surface (Gaussian curvature)
  • the characteristic parameter for example, curvature of the curved surface (Gaussian curvature)
  • the point cloud data Qn (t i ) and Qn (t i + 1 ) measured by the same three-dimensional measuring unit 22n may also be misaligned at adjacent measurement times (for example, t i , t i + 1 ). If necessary, the positional deviation can be corrected by aligning (matching) the overlapping portions. In addition, about correction
  • an ICP method For positioning (matching) of the point cloud data, for example, a well-known technique called an ICP method can be used.
  • ICP method alignment is performed by minimizing (converging) the square sum of the distances between nearest vertices for each point group data to be aligned.
  • the ICP method is a brute force method, an enormous amount of time is required when the amount of data increases.
  • color information As a determination index for alignment.
  • the point cloud data Qn (t) and Qm (t) (n ⁇ n) measured from different positions. Matching using m) as a determination index is unstable.
  • the point cloud data matching unit 422 first matches a plurality of point cloud data with coordinate values in the reference coordinate system, and obtains a product set thereof, thereby limiting the range of the point cloud data to be matched. To do. As a result, the amount of calculation required for the matching process can be greatly reduced, which can contribute to an improvement in the speed of the entire system. If the product set is an empty set, the matching process need not be performed in the first place.
  • the point cloud data matching unit 422 performs a point overlap of the point cloud data A and the point cloud data B on each point on the “surface with a certain extent” on the “both curved surfaces”. Curvatures are obtained and compared, and for example, an optimal conversion that minimizes the sum of the differences in curvatures is obtained while repeating a series of processes.
  • the point cloud data matching unit 422 can calculate the curvature as follows, for example. First, the point (x 0 , y 0 , z 0 ) of one point group data Qn (t) for obtaining the curvature of the curved surface is set as the origin, and is parallel to the planes X and Y of the reference coordinate system including the point, for example. , A local coordinate system (x ′, y ′, z ′) including the plane X′Y ′ is set. Next, determine the local coordinates of the "curved" in the neighborhood points of the point (x 0, y 0, z 0).
  • the local coordinate value of the “curved surface” can be calculated from the point (x, y, z) of the point group data in the vicinity of the point (x 0 , y 0 , z 0 ). By doing so, the relationship between the z value on the “curved surface” and (x, y) can be obtained.
  • the neighboring point represents the adjacent value of x 0 as , for example, x ⁇ 2 , x ⁇ 1 , x 0 , x +1 , x +2, etc., (X +1, y 0), (x +2, y 0), ⁇ (X ⁇ 1 , y 0 ), (x ⁇ 2 , y 0 ),... (X 0 , y +1 ), (x 0 , y +2 ), ... (X 0 , y ⁇ 1 ), (x 0 , y ⁇ 2 ),... And so on.
  • a quadratic curved surface patch p (u, v) (u, v, au 2 + bv 2 + cuv + du + ev + f) is locally applied to the measurement object surface by the least square method, and from the partial derivative of the two-dimensional curved surface patch, Calculate the curvature of a curved surface.
  • the accuracy of curvature calculation is improved by iterative calculation.
  • the method using this curvature is accurate, but requires a large amount of calculation. Or, depending on the location of the object (such as an edge portion), it may not be applied well. In that case, the conventional ICP method, a method using color information, and the like can be combined.
  • the two depth images are A and B, and the point cloud data in the reference coordinate system is A w and B w , respectively.
  • the point cloud data matching unit 422 generates an edge image in each of the depth image A and the depth image B, extracts a straight line from each of the generated edge images using the Hough transform, and extracts the straight line extracted from each of the first and second images. Convert to a straight line (3D) on a 2 coordinate system.
  • the point cloud data matching unit 422 converts straight lines extracted from the depth image A and the depth image B into straight lines on the reference coordinate system. Next, each straight line (three-dimensional straight line) on the reference coordinate system extracted from the depth image A and the depth image B is expressed as a four-dimensional point.
  • examples of transformation that represents a three-dimensional straight line L as a four-dimensional point include the following, but are not limited to this example.
  • the intersection point Q of the straight line drawn perpendicularly on the XZ plane from the end point P of the direction vector of the straight line L is the angle ⁇ between the OQ and the X axis
  • the side QO An angle between the side PO and the side PO is ⁇ .
  • the direction vector of the straight line L is determined.
  • the straight line L can be represented by a four-dimensional point ( ⁇ , ⁇ , l, m).
  • the point cloud data matching unit 422 makes the four-dimensional points A wi and B wj on the four dimensions for all i (0 ⁇ i ⁇ n 1 ) and j (0 ⁇ j ⁇ n 2 ). calculates the distance D ij of the above, extracted four combinations the value of the distance is a value close to 0. By doing so, four matching straight lines in the depth image A and the depth image B can be extracted.
  • the point cloud data matching unit 422 extracts four pairs (A wi , B wj ), and then converts each point A wi and B wj into a straight line in a three-dimensional space, thereby obtaining a straight line B wj to by calculating the matrix for transforming the linear a wi, can be obtained transformation matrix for matching the point cloud data B w in the point cloud data a w.
  • the point cloud data matching unit 422 performs a series of operations for each point cloud data and performs matching by combining a plurality of point cloud data while observing the degree of matching. be able to. Then, the result can be delivered to a three-dimensional data display control unit 50, which will be described later, via an interface such as communication.
  • the 3D data display control part 50 mentioned later you may make it store in the memory
  • the ICP matching process, the matching process using a curvature, and the matching process using a straight line were demonstrated as a matching process of the point cloud data matching part 422 mentioned above, it is not limited to these matching processes. A combination of these matching processes may be used. Another matching algorithm may be used.
  • the point cloud data matching unit 422 is a plurality of point cloud data (for example, ⁇ Qn (t) ⁇ (1 ⁇ n ⁇ N) measured by the point cloud data coordinate value conversion unit 41 at the same time. ), After aligning the overlapping portions based on the coordinate values in the reference coordinate system (first coordinate system) converted by the point cloud data coordinate value conversion unit 41, if necessary, due to measurement error or the like, Even if the coordinate values in the reference coordinate system between the respective point group data ⁇ Qn (t) ⁇ (1 ⁇ n ⁇ N) are the same, it is possible to perform more accurate correction by performing a correction when a positional deviation occurs.
  • One composite point cloud data with few missing parts can be acquired. By doing so, for example, it is possible to synthesize point cloud data at the same time of multiple viewpoints of a measurement object whose shape changes.
  • a plurality of point groups measured at the same position where the second electronic device 20n is not moved that is, the coordinate values in the reference coordinate system are the same.
  • the overlapping portions are aligned to create one composite point cloud data. be able to.
  • the time stamp can be omitted.
  • a plurality of point cloud data obtained by measuring one second electronic device 20 while moving around the measurement object is represented by point cloud data.
  • the overlapping portions are aligned, so that one composite point group data can be created.
  • the point cloud data can be rendered in the same format, but the data format is often not suitable for various three-dimensional processes. For this reason, the point cloud data can be converted into a surface format and can be handled as, for example, a polygon, an irregular triangular mesh, and a CAD model. Moreover, since each point data has a three-dimensional coordinate value, the point cloud data can realize data browsing and spatial reference from a free viewpoint. Specifically, the point cloud data can be projected from the 3D space to, for example, a panoramic space using the 3D coordinate values of the point cloud data itself.
  • the viewpoint operation unit 51 can receive input from the user such as the user's viewpoint direction and viewpoint coordinates. This enables operations similar to camera work such as zooming of the display image.
  • the data display method selection unit 52 can receive an instruction regarding the display method of the display image from the user. For example, it is possible to select on which projection plane the point cloud data in the three-dimensional space is projected.
  • a panoramic model can select a projection surface such as a spherical surface, a cylinder, or a cube.
  • the data reproduction / storage instruction unit 53 can receive an instruction regarding reproduction or storage of the three-dimensional model data generated from the point cloud data from the user.
  • the three-dimensional data storage unit 60 includes a source point group data storage unit 61 and a second electronic device position information storage unit 62.
  • the source point cloud data storage unit 61 stores, for each second electronic device 20n, point cloud data information in which the time stamp corresponding to the measurement time is associated with the point cloud data measured by each three-dimensional measurement unit 22. As described above, for example, when each point on the surface of the measurement object is acquired by each three-dimensional measurement unit 22n in a pixel unit at a preset time interval (for example, 30 frames per second), the source point group data is stored.
  • the unit 61 stores, for example, point group data ⁇ Qn (t) ⁇ generated every measurement time (t) in units of 1/30 seconds for each three-dimensional measurement unit 22n (1 ⁇ n ⁇ N) ( t: time stamp).
  • the second electronic device position information storage unit 62 stores the marker position information in which the time stamp is associated with the marker position information of the marker 23 included in the second electronic device 20 for each second electronic device 20n, and the position information measurement unit 12 (i).
  • the second electronic device position information storage unit 62 stores the set ⁇ i L n (t) ⁇ of the second electronic device position information measured at time t of all the second electronic devices 20n (1 ⁇ n ⁇ N) (1 ⁇ i ⁇ M) (t: time stamp) is stored.
  • the reference coordinate conversion matrix i T W for converting the coordinate values in the first measurement coordinate system (i) to the coordinate values in the reference coordinate system, and the second coordinate system (n) A marker coordinate conversion matrix n T M for converting the coordinate values into coordinate values in the marker coordinate system (n) is calculated and stored in the storage unit of the three-dimensional data processing unit 40.
  • the measurement operator starts measuring the measurement object by each second electronic device 20n (three-dimensional measurement unit 22n) while moving.
  • each second electronic device 20n acquires point cloud data Qn (t).
  • the marker position information calculation unit 31 determines the marker of each second electronic device 20n based on the measurement information measured by each position information measurement unit 12 (i) (1 ⁇ i ⁇ M). The position information i L n (t) is calculated.
  • the three-dimensional data processing unit 40 matches / combines (combines) the point group data Qn (t) at the same time t.
  • the 3D data display control unit 50 displays a 3D moving image viewed from the virtual viewpoint according to the user's designation of the virtual viewpoint.
  • each three-dimensional measurement unit 22 can be freely and dynamically moved, and even when a blind spot due to occlusion caused by deformation of the measurement object occurs, By changing the measurement position of the 3D measurement device immediately and responding. A three-dimensional image with few missing portions can be acquired.
  • the synthetic point cloud data is clipped as a measurement target viewed from the viewpoint position designated and input by the viewpoint operation unit 51, and a three-dimensional object with few missing portions is obtained. Can be viewed in real time from any viewpoint.
  • the state of the internal organs can be seen from the viewpoint of the outside of the patient's skin.
  • the present invention by moving the camera to the optimal position each time in sports live broadcasting etc., the blind spot is reduced, the missing part is reduced, the movement of the player from an impossible viewpoint, In various scenes, such as being able to display on each image device, it is possible to “can see an image display target object from a viewpoint different from the shooting position”.
  • the composite point cloud data is placed on a server, and this can be viewed from an arbitrary viewpoint by a plurality of users using, for example, a smartphone, a tablet terminal, or a laptop computer via a network.
  • Second Embodiment ⁇ Calculation of position information of second electronic device 20 using electromagnetic wave propagation time>
  • the position information measuring unit 12 included in the first electronic device 10 measures the position information of the marker 23 included in the second electronic device 20, thereby the three-dimensional measuring unit 22 included in the second electronic device 20.
  • a coordinate transformation matrix from the second coordinate system included in the first measurement coordinate system included in the first electronic device was calculated.
  • the radio wave reception included in the second electronic device 20 is received.
  • the radio wave transmission unit 12P j (1 ⁇ j ⁇ 4) and the radio wave reception unit 23C k (1 ⁇ k ⁇ 3) are simply referred to as P j (1 ⁇ j ⁇ 4) and C k ( It may be abbreviated as 1 ⁇ k ⁇ 3).
  • 5A, 5B, and 5C are diagrams each illustrating an example of functional blocks of the first electronic device 10, the second electronic device 20, and the coordinate system calculation unit 30 of the point cloud data acquisition system in the second embodiment. is there.
  • the second electronic device position information calculating unit 31A, C 3 of the reference coordinate system coordinate values in (the first coordinate system) and (x 3, y 3, z 3), the distance between P 1 and C 3, the distance between P 2 and C 3, the distance between P 3 and C 3, based on the distance between P 4 and C 3, the coordinate values at the C3 of the reference coordinate system (the first coordinate system) (x 3, y 3 , Z 3 ) is calculated by Equation 15.
  • x 3 (R 23 2 -R 13 2 +100) / 20
  • y 3 (R 33 2 ⁇ R 13 2 +100) / 20
  • z 3 (R 43 2 ⁇ R 13 2 +100) / 20 ... (Formula 15)
  • the second electronic device position information calculation unit 31A is configured to use the reference coordinate system (1 ⁇ k ⁇ 3) of each radio wave reception unit 23C k (1 ⁇ k ⁇ 3) that represents the position of the second electronic device 20 (three-dimensional measurement unit 22).
  • a coordinate value (second electronic device position measurement result) in the first coordinate system can be calculated.
  • the coordinate values in the reference coordinate system (first coordinate system) of each radio wave receiving unit 23C k (1 ⁇ k ⁇ 3) calculated by the second electronic device position information calculating unit 31A are each radio wave.
  • the second electronic device position information Ln (t) (where n is the second electronic device) is attached to each second electronic device 20n with a time stamp that is the transmission time of the transmitter 12P j (1 ⁇ j ⁇ 4).
  • the identification number of the device 20 and t is a time stamp
  • a series of processes of the distance measuring unit 16 and the second electronic device position information calculating unit 31A can be processed in real time.
  • the second electronic device 20n is Calibration can be performed in a state of being fixed in advance as in the first embodiment.
  • a coordinate system based on the radio wave receiver 23C k (1 ⁇ k ⁇ 3) of the second electronic device 20n is referred to as a radio wave receiver coordinate system.
  • the coordinate values in the radio wave receiver coordinate system of the radio wave receiver 23C k (1 ⁇ k ⁇ 3) are set as follows, for example (i is a predetermined natural number).
  • C 1 (0,0,0)
  • C 2 (4i, 0,0)
  • C 3 (0, 3i, 0)
  • the end point when the outer product of the vector C 1 C 2 and the vector C 1 C 3 is expressed with the vertex C 1 as the starting point is defined as C 4 .
  • C 4 (0,0,12i 2 )
  • a conversion matrix for converting the coordinate value in the second coordinate system of the second electronic device 20n to the coordinate value in the radio wave receiver coordinate system is defined as “ n T M ”.
  • the reference coordinate conversion matrix 1 T w and the second coordinate for converting the coordinate values in the first coordinate system into the coordinate values in the reference coordinate system are provided.
  • a conversion matrix (radio wave receiver coordinate conversion matrix n T M ) for converting the coordinate values in the second coordinate system of the electronic device 20n into coordinate values in the radio wave receiver coordinate system can be calculated.
  • the radio wave receiver (W 0 , W 1 , W 2 ) is installed at the center of the sphere of the reference coordinate system marker 10A.
  • the coordinates of the vertices W 0 , W 1 , W 2 of the reference system marker are set as follows, for example (j is a predetermined natural number).
  • W 0 (0,0,0)
  • W 1 (4j, 0, 0)
  • W 2 (0, 3j, 0)
  • the end point when the outer product of the vector W 0 W 1 and the vector W 0 W 2 is expressed with the vertex W 0 as the start point is defined as W 3 .
  • W 3 (0,0,12j 2 ) Is provided.
  • the coordinate value in the second coordinate system of the three-dimensional measurement unit 22n is converted into the coordinate value in the reference coordinate system with the second electronic device 20n placed in a previously fixed position.
  • a coordinate transformation matrix (hereinafter referred to as “ n T W ”) is calculated.
  • the coordinate system calculation unit 30 is configured to include a marker position information calculation unit 31, for example.
  • the coordinate values in the second coordinate system representing the positions of the vertices W 0 , W 1 , W 2 of the reference coordinate system marker 10A by the three-dimensional measurement unit 22 and the marker position information calculation unit 31 of the second electronic device 20n.
  • the calibration processing unit 32 is possible to calculate a coordinate transformation matrix n T W for converting coordinates in the second coordinate system included in the three-dimensional measurement unit 22n to the coordinate value in the reference coordinate system it can.
  • a first coordinate transformation matrix Mn T 1 is calculated.
  • the first electronic device 10 uses the radio wave receivers 23C k (1 ⁇ k ⁇ 3) and the first coordinates of C 4 of the second electronic device 20n based on radio waves. Calculate coordinate values in the system.
  • the calibration processing unit 32 converts the coordinate value of the second electronic device 20n by the radio wave receiving unit coordinate system into the coordinate value of the first electronic device 10 in the first coordinate system.
  • the first coordinate transformation matrix Mn T 1 can be calculated.
  • the reference coordinate system marker 10A can be removed from the real space.
  • the point cloud data coordinate value conversion unit 41 converts the coordinate value in the first coordinate system of the first electronic device 10 in the (n + 1) th layer in the first coordinate system of the first electronic device 10 in the nth layer. Can be converted to coordinate values. By iterating in this way, the coordinate value in the first measurement coordinate system of the first electronic device 10 and the coordinate value in the second coordinate system of the second electronic device 20 in the (n + 1) th layer or more (n ⁇ 1). Can be converted into coordinate values in the reference coordinate system of the first electronic device 10 in the first layer.
  • the position information measurement unit 10 included in the first electronic device 10 of the first embodiment and the marker position information calculation unit 31 included in the coordinate system calculation unit 30 are collectively referred to as a “position information calculation unit”.
  • the radio wave transmission unit 12P j (1 ⁇ j ⁇ 4) and the second electronic device position information calculation unit 31A included in the first electronic device 10 of the second embodiment are collectively referred to as a “position information calculation unit”.
  • the second electronic device 20 may, for example, wind a wire around a reel with a built-in rotation detector, measure the number of windings and the winding angle, and calculate the position. If possible, the position may be calculated autonomously.
  • the second electronic device 20 three-dimensional measuring unit 22
  • the tachometer is engaged with the roller, the roller is pressed against a rail or the like, and the rotation speed and angle of the roller are determined.
  • the position of the second electronic device 20 (three-dimensional measurement unit 22) can be calculated by measuring, the position may be calculated autonomously.
  • the depth camera is applied as the three-dimensional measurement unit 22, but the present invention is not limited to this.
  • the addition of special cameras other than depth sensors can be considered. Cameras that can acquire temperature data such as thermography, or that can acquire various image information such as water content, sugar content, separation of cancer cells from normal cells, enhancement of blood vessels, etc. by analyzing spectral graphs, such as spectral sensing cameras Is present. By combining such a special camera and the second electronic device 20, special information can be added to the point cloud data. This enables “segmentation (significant separation of images)” necessary for recognition of the outside world by a computer.
  • recognition processing such as separation of a machine and a human body
  • separation of normal cells and cancer cells can be performed using a realistic three-dimensional image.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

複数の移動可能な３次元計測部（２２）による計測対象物の点群データを合成する点群データ取得システムを提供する。 点群データ取得システム１は、位置情報算出部及び第１座標系を備える第１電子機器（１０）と、位置情報ユニット、３次元計測部（２２）、及び第２座標系を備える第２電子機器（２０）と、位置情報算出部により算出される位置情報ユニットの第１座標系における座標値に基づいて、移動可能な３次元計測部（２２）が計測した各点群データの座標値を基準座標系における座標値に変換する点群データ座標値変換部（４１）と、点群データ座標値変換部４１により基準座標系における座標値に変換された複数の点群データから、重なる部分の位置合わせを行うことで、１つの合成点群データを作成する合成点群データ作成部（４２）と、を備える。

Description

点群データ取得システム及びその方法
　本発明は、複数の計測位置からの非接触計測による対象物の外郭を表す点群データの取得に関するシステム及びその方法に関する。
　レーザースキャナ等の三次元計測装置を使用して、計測対象物の表面の位置及び形状を含む外郭を表す点群データを計測し、この点群データから計測対象物のパノラマ画像を作成する三次元データ処理装置が知られている。この三次元データ処理装置は、点群データに基づいて、例えば三次元計測装置の計測位置を原点とする仮想的な球面に対するパノラマ画像を作成することで、点群データの表示を容易化し操作性を向上することが知られている（例えば、特許文献１参照）。
　また、レーザースキャナ等の三次元計測装置を使用して、既設の建造物（例えば原子力発電所等のプラントや文化財等）の凹凸を有する非平面形状の計測対象物の輪郭を表す点群データを計測する場合、計測位置を様々に変えて複数の視点から当該計測対象物の輪郭を表す点群データを計測することが知られている。
　複数の異なる計測位置から計測された各点群データの位置情報は、当該点群データを計測した各計測位置の位置及び方位に基づく座標系（以下「固有座標系」ともいう）により表される。
　このため、これらの異なる計測位置から計測された各点群データの各固有座標系により表される位置情報を同一の座標系（以下、「基準座標系」ともいう）により表される位置情報に変換する必要がある。座標系の変換により、すべての点群データの位置情報を基準座標系により表し、同一座標系により表された各点群データを部分的に重なる部分のマッチングを行い、合成することが知られている。こうすることで、死角が減り、計測対象物の輪郭を把握する三次元データが得られる（例えば、特許文献２参照）。
　ここで、マッチングとは、異なる計測位置から得られた複数の点群データにおいて、部分的に重なる部分の位置合わせを行うことで、整合性を保持しつつ統合させることを言う。
　上記従来技術において、複数の計測位置から当該計測対象物の外郭を表す点群データを計測する場合に、各三次元計測装置の位置及び方位を予め設定しておく必要がある。このため、例えばレーザースキャナ等の三次元計測装置を予め設定した計測位置から別の計測位置に変更して設置する場合に、再度、変更先の計測位置における三次元計測装置の位置、方位等を正確に測定することが必要となる。３次元計測装置の位置の変更作業は、時間がかかり、簡単なものではない。さらには、例えば、当該計測対象物が、例えば、人の動作、物体の移動のように時間の経過に伴って、動的にその外郭が変化する非静止物体であれば、ひとつの計測装置で多方面からとらえることは、不可能である。
　また、マッチングのために、対象構造物やその周辺に複数のマーカーを設置（例えば接着又は塗布）して、その設置した複数のマーカーを基準にして計測データの合成を行うことが知られている（例えば、特許文献３）。しかしながら、複数のマーカーを基準にするためには、マーカーを設置する作業が必要となり、そのマーカーを適切な位置に合わせる等の作業に時間がかかり、計測作業のための前準備に時間が長くなるという課題があった。
特開２０１０－０９７４１９号公報 特開２０１３－１６１１３３号公報 特開２０１０－０６６１６９号公報
　上述した従来技術では、計測対象物の外郭を表す点群データを複数の計測位置から計測する場合に、３次元計測装置の位置、方位等を予め正確に測定しておくことが必要となっていた。
　このため、３次元計測装置の位置の設定作業に時間がかかるという課題があった。
　また、各３次元計測装置を予め正確に測定された位置に設置することが必要となるため、計測対象物の状況に合わせて、計測位置を即座に変更できないという課題があった。
　例えば、動く人間、動く動物、動く物等、時間の経過に伴って形状が変化する物体を計測対象とした場合には、複数の計測装置を使用していても、物体の変形に伴って生じるオクルージョン（手前にある物体が背後の物体をかくす状態）による死角が発生する場合に従来技術では、計測位置を即座に変更して、欠損部分の少ない３次元画像を取得することができないという課題があった。
　また、対象物やその周辺に複数のマーカーを設置する場合には、当該マーカーを設置する作業が必要になり、またマーカーを適切な位置に合わせる等の作業に時間がかかるという課題があった。
　なお、マーカー等を対象物に設置（例えば接着又は塗布）する作業において、計測対象物に損傷を与える恐れがある場合もあるという課題もあった。
　本発明は、複数の計測位置から計測対象物の外郭を表す点群データを取得するシステム又は方法において、計測対象物を計測するために、３次元計測装置を移動させたときに３次元計測装置の位置、方位をリアルタイムに取得することで、当該計測対象物の輪郭を表す複数の点群データを３６０度の角度から取得し、欠損部分の少ない３次元画像を取得するシステムを提供することを目的とする。
　（１）本願発明は、第１電子機器と１つ以上の移動可能な第２電子機器とを有する第１の電子機器群を備える、被写体の表面の各点までの深度情報を画素単位に有する点群データを取得する点群データ取得システムであって、前記第２電子機器は、それぞれが、第２座標系（例えば、後述の「第２座標系」）を有し、第２通信部と、複数の、視覚的特徴を有する所定の標識物であって、前記複数の標識物はそれぞれ第２座標系において線形独立となる位置にそれぞれ設けられる、前記複数の標識物（例えば、後述の「マーカー２３」）と、被写体の点群データを前記第２座標系に基づいて計測する３次元計測部と、を備え、前記第１電子機器は、第１座標系（例えば、後述の「第１計測座標系」）を有し、被写体を前記第１座標系に基づいて計測する位置情報計測部（例えば、後述の「位置情報計測部１２」）を備え、前記点群データ取得システムは、さらに基準座標系（例えば、後述の「基準座標系」）を有し、前記位置情報計測部により計測されたデータに基づいて、前記第２電子機器の備える前記複数の標識物の前記第１座標系における座標値である第２電子機器位置情報を算出するマーカー位置情報算出部（例えば、後述の「マーカー位置情報算出部３１」）と、前記第２電子機器位置情報に基づいて、前記第２電子機器の備える前記３次元計測部により計測された前記点群データにおける各点のデータの前記第２座標系における座標値を、前記基準座標系における座標値に変換する点群データ座標値変換部と、前記第２電子機器の備える前記３次元計測部により計測された複数の点群データを、前記点群データ座標値変換部により変換された前記基準座標系における座標値に基づいて、１つの合成点群データを作成する合成点群データ作成部と、を備える、点群データ取得システムに関する。
　（２）前記第２電子機器の備える視覚的特徴を有する所定の標識物は、それぞれ表面が予め設定された色で着色された、所定の半径の球であって、前記球の中心がそれぞれ予め設定された三角形の頂点を形成するとともに、前記第２電子機器を一意的に識別できるように、前記複数の標識物の視覚的特徴を前記第２電子機器ごとに異なるように構成されたことを特徴とする、（１）に記載の点群データ取得システム。
　（３）前記第１の電子機器群は、２つ以上の第１電子機器を備え、１つの第１電子機器の備える位置情報計測部、及び別の第１電子機器の備える位置情報計測部が、それぞれの備える固有の第１座標系に基づいて、前記第２電子機器の備える前記複数の標識物を計測することを特徴とする（１）又は（２）に記載の点群データ取得システム。
　（４）前記点群データ取得システムは、さらに、複数の、視覚的特徴を有する所定の標識物（例えば、後述の「基準座標系マーカー１０Ａ」）であって、前記複数の標識物はそれぞれ基準座標系において線形独立となる座標位置にそれぞれ設けられる、前記複数の標識物を備え、前記点群データ座標値変換部は、前記マーカー位置情報算出部により算出された、前記複数の、視覚的特徴を有する所定の標識物の前記第１座標系における座標値、及び前記複数の、視覚的特徴を有する所定の標識物の前記基準座標系における座標値に基づいて、予め前記第１座標系における座標値を前記基準座標系における座標値に変換する基準座標変換行列を生成し、前記点群データ座標値変換部は、前記第２電子機器位置情報、前記点群データ、及び前記基準座標変換行列に基づいて、前記点群データにおける各点のデータの前記第２座標系における座標値を、前記基準座標系における座標値に変換する、（１）～（３）のいずれかに記載の点群データ取得システム。
　（５）前記点群データ取得システムは、さらに、前記第１の電子機器群に属さない、１つの第１電子機器と１つ以上の第２電子機器を備える第２の電子機器群を有し、前記第２の電子機器群に属する第１電子機器は、さらに、複数の、視覚的特徴を有する所定の標識物であって、前記複数の標識物はそれぞれ第１座標系において線形独立となる位置にそれぞれ設けられる、前記複数の標識物を備え、前記第１の電子機器群に属する前記第１電子機器の前記位置情報計測部は、第１座標系に基づいて前記第２の電子機器群に属する前記第１電子機器の備える前記複数の標識物を計測し、前記マーカー位置情報算出部は、前記第２の電子機器群に属する前記第１電子機器の備える前記複数の標識物の前記第１座標系における座標値である、前記第２の電子機器群に属する前記第１電子機器の位置情報を算出する、（１）～（４）のいずれかに記載の点群データ取得システム。
　（６）本願発明は、第１電子機器と１つ以上の移動可能な第２電子機器とを有する第１の電子機器群を備える、被写体の表面の各点までの深度情報を画素単位に有する点群データを取得する点群データ取得システムであって、前記第１電子機器は、第１座標系（例えば、後述の「第１座標系」）を有し、電磁波を発信する、複数の電磁波発信部であって、前記複数の電磁波発信部は、それぞれ第１座標系の線形独立である任意の位置に設けられる、前記複数の電磁波発信部と、を備え、前記第２電子機器は、それぞれが固有の第２座標系（例えば、後述の「第２座標系」）を有し、電磁波を受信又は反射する、複数の電磁波受信部であって、前記複数の電磁波受信部は、それぞれ前記第２座標系の線形独立である任意の位置に設けられる、前記複数の電磁波受信部と、前記点群データを前記第２座標系に基づいて計測する３次元計測部と、を備え、前記点群データ取得システムは、さらに基準座標系（例えば、後述の「基準座標系」）を有し、前記複数の電磁波受信部のそれぞれが、前記複数の電磁波発信部のそれぞれから発信された電磁波を受信するのに要した電磁波伝播時間、又は前記複数の電磁波発信部のそれぞれが、前記複数の電磁波受信部のそれぞれから反射された電磁波を受信するのに要した電磁波伝播時間に基づいて、前記複数の電磁波発信部のそれぞれと前記複数の電磁波受信部それぞれとの距離を測定する距離計測部と、前記距離計測部により測定された距離に基づいて、前記複数の電磁波受信部の前記第１座標系における座標値である第２電子機器位置情報をそれぞれ算出する第２電子機器位置情報算出部と、前記第２電子機器位置情報に基づいて、前記第２電子機器の備える前記３次元計測部により計測された前記点群データにおける各点のデータの前記第２座標系における座標値を、前記基準座標系における座標値に変換する点群データ座標値変換部と、前記第２電子機器の備える前記３次元計測部により計測された複数の点群データを、前記点群データ座標値変換部により変換された前記基準座標系における座標値に基づいて、１つの合成点群データを作成する合成点群データ作成部と、を備える、点群データ取得システムに関する。
　（７）前記点群データ取得システムは、さらに、前記第１の電子機器群に属さない、１つの第１電子機器と１つ以上の第２電子機器を備える第２の電子機器群を有し、前記第２の電子機器群に属する第１電子機器は、さらに、電磁波を受信又は反射する、複数の電磁波受信部を備え、前記距離計測部は、さらに前記第１の電子機器群に属する前記第１電子機器の前記複数の電磁波発信部のそれぞれから発信された電磁波を、前記複数の電磁波受信部のそれぞれが、前記複数の電磁波発信部のそれぞれから発信された電磁波を受信するのに要した電磁波伝播時間、又は前記複数の電磁波発信部のそれぞれが、前記複数の電磁波受信部のそれぞれから反射された電磁波を受信するのに要した電磁波伝播時間に基づいて、前記複数の電磁波発信部のそれぞれと前記第２の電子機器群に属する前記第１電子機器の備える前記複数の電磁波受信部それぞれとの距離を測定し、前記第２電子機器位置情報算出部は、さらに前記距離計測部により測定された前記距離に基づいて、前記第２の電子機器群に属する第１電子機器の複数の電磁波受信部の前記第１の電子機器群に属する第１電子機器における第１座標系における座標値をそれぞれ算出する、（６）に記載の点群データ取得システム。
　（８）前記合成点群データ作成部は、さらに、複数の点群データを、前記点群データ座標値変換部により変換された前記基準座標系における座標値に基づいて、重なる部分の位置合わせを行うことで、１つの合成点群データを作成する、（１）～（７）のいずれかに記載の点群データ取得システム。
　（９）前記合成点群データ作成部は、さらに、複数の点群データを、前記点群データ座標値変換部により変換された前記基準座標系における座標値に基づいて、重なる部分の位置合わせを行い、さらに前記基準座標系における同一座標値を有する部分を有する異なる複数の点群データを用いて、前記複数の点群データをマッチングする点群データマッチング部を備える、（１）～（８）のいずれかに記載の点群データ取得システム。
　（１０）本願発明は、被写体の表面の各点までの深度情報を画素単位に有する点群データを取得する点群データ取得方法であって、第１座標系を有する第１電子機器の位置情報計測部により、第２座標系をそれぞれ有する１つ以上の第２電子機器がそれぞれ備える複数の標識物を計測する位置情報計測ステップと、前記位置情報計測ステップにより計測されたデータに基づいて、前記第２電子機器の備える前記複数の標識物の前記第１座標系における座標値である第２電子機器位置情報を算出する位置情報算出ステップと、前記１つ以上の第２電子機器の３次元計測部により、点群データを前記第２座標系に基づいて計測する３次元計測ステップと、前記第２電子機器位置情報に基づいて、前記３次元計測ステップにより計測された前記点群データにおける各点のデータの前記第２座標系における座標値を、基準座標系における座標値に変換する点群データ座標値変換ステップと、前記３次元計測ステップにより計測された複数の点群データを、前記点群データ座標値変換ステップにより変換された前記基準座標系における座標値に基づいて、１つの合成点群データを作成する合成点群データ作成ステップと、を備える点群データ取得方法に関する。
　（１１）本願発明は、被写体の表面の各点までの深度情報を画素単位に有する点群データを取得する点群データ取得方法であって、第１座標系を有する第１電子機器の複数の電磁波発信部により複数の電磁波を発信する電磁波発信ステップと、第２座標系をそれぞれ有する１つ以上の第２電子機器の複数の電磁波受信部により、前記電磁波発信ステップにより発信された前記複数の電磁波のそれぞれを受信する超音波受信ステップと、前記複数の電磁波受信部のそれぞれが、前記複数の電磁波発信部のそれぞれから発信された電磁波を受信するのに要した電磁波伝播時間、又は前記複数の電磁波発信部のそれぞれが、前記複数の電磁波受信部のそれぞれから反射された電磁波を受信するのに要した電磁波伝播時間に基づいて、前記複数の電磁波発信部のそれぞれと前記複数の電磁波受信部それぞれとの距離を測定する距離計測ステップと、前記距離計測ステップにより測定された距離に基づいて、前記複数の電磁波受信部の前記第１座標系における座標値である第２電子機器位置情報をそれぞれ算出する第２電子機器位置情報算出ステップと、前記１つ以上の第２電子機器の３次元計測部により、点群データを前記第２座標系に基づいて計測する３次元計測ステップと、前記第２電子機器位置情報に基づいて、前記３次元計測ステップにより計測された前記点群データにおける各点のデータの前記第２座標系における座標値を、基準座標系における座標値に変換する点群データ座標値変換ステップと、前記３次元計測ステップにより計測された複数の点群データを、前記点群データ座標値変換ステップにより変換された前記基準座標系における座標値に基づいて、１つの合成点群データを作成する合成点群データ作成ステップと、を備える点群データ取得方法に関する。
　（１２）本願発明は、コンピュータに、（１０）又は（１１）に記載の各ステップを実行させるためのコンピュータプログラムに関する。
　本発明の点群データ取得システムによれば、対象物を計測するために、３次元計測装置の位置、方位を予め設定した場所に設置することなく、３次元計測装置の計測位置を即座に変更することが必要になった場合に、３次元計測装置を移動させるとともに、３次元計測装置の位置及び方位をリアルタイムに取得することができる。
　そうすることで、例えば、動く人間、動く動物、動く物等、時間の経過に伴って形状が変化する物体を計測対象とした場合には、物体の変形に伴って生じるオクルージョン（手前にある物体が背後の物体をかくす状態）による死角が発生するときに、欠損部分を極力少なくするために、３次元計測装置の計測位置を即座に変更して対応することができ、３６０度の角度から計測対象物の輪郭を表す複数の点群データを取得することができる。
本発明の第１実施形態に係る点群データ取得システムの一例を示す概略図である。概略的に示すブロック図である。 本発明の第１実施形態に係る第１電子機器の概略ブロック図である。 本発明の第１実施形態に係る第２電子機器の概略ブロック図である。 本発明の第１実施形態に係る座標系算出部の概略ブロック図である。 本発明の第１実施形態に係る３次元データ処理部の概略ブロック図である。 本発明の第１実施形態に係る３次元データ表示制御部の概略ブロック図である。 本発明の第１実施形態に係る３次元データ保存部の概略ブロック図である。 本発明の第１実施形態に係るマーカーの一例を示す概略図である。 本発明の第１実施形態に係るキャリブレーションを説明する各座標系間の変換行列の関連を示す概略図である。 本発明の一実施形態における一連の処理の流れを示す図である。 本発明の第２実施形態に係る第１電子機器の概略ブロック図である。 本発明の第２実施形態に係る第２電子機器の概略ブロック図である。 本発明の第２実施形態に係る座標系算出部の概略ブロック図である。 本発明の第２実施形態に係る電波発信部と電波受信部間における電波伝播時間とそれに基づく直線距離の関係を示す概略図である。 第１電子機器及び１つ以上の第２電子機器から構成される電子機器群を階層的に配置して、階層化を示す概略図である。
　以下、本発明の点群データ取得システムの好ましい実施形態について、図面を参照しながら説明する。ここで、下記の実施形態はいずれも本発明の一例であり、これに限定されるものではない。
［第１実施形態］
　図１Ａに示すように、点群データ取得システム１００は、第１電子機器１０と、１つ以上の移動可能な第２電子機器２０と、座標系算出部３０と、３次元データ処理部４０と、３次元データ表示制御部５０と、３次元データ保存部６０と、を含んで構成される。これらは、有線及び／又は無線ネットワーク等を介して接続されている。
　後述するように、点群データ取得システム１００は、システムに固有の座標系（以下、「基準座標系」又は「グローバル座標系」ともいう）を有するように構成される。例えば、後述する「基準座標系マーカー」を用いて、キャリブレーションを行うことで、基準座標系を設定することができる。詳細については後述する。
＜第１電子機器１０＞
　第１電子機器１０は、有線及び／又は無線通信機能を備える、例えばノートパソコンを含むパソコン、あるいはＣＰＵ、ＤＳＰ等の演算チップを搭載した演算ボードで構成することができる。
　第１電子機器１０は、第１通信部１１と、被写体の表面の各点を画素単位で例えばＲＧＢの色情報とともに位置情報を計測する位置情報計測部１２と、を備える。第１電子機器１０の備える位置情報計測部１２は、当該位置情報計測部１２に固有の座標系（以下、「第１計測座標系」という）を有する。
　また、第１電子機器１０は、さらに時刻同期部１５を備えることができる。以下、第１電子機器１０の備える上記各機能部を総括して「第１機能部」ともいう。
　第１電子機器１０には、当該第１電子機器１０を、前述した第１通信部１１、位置情報計測部１２等、第１機能部として機能させるためのプログラムをインストールし、第１通信部１１、位置情報計測部１２等の各機能部として機能させるようにすることができる。なお、当該プログラムは、第１電子機器１０に予めインストールされていてもよい。また、当該プログラムは、コンピュータ読み取り可能な記録媒体から必要に応じてインストール又は予め設定されたサーバから必要に応じて適宜ダウンロードされてもよい。以下、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
＜第２電子機器２０＞
　第２電子機器２０は、有線及び／又は無線通信機能と、を備える、例えばノートパソコンを含むパソコン、タブレット端末等の移動可能な電子機器、あるいはＣＰＵ、ＤＳＰ等の演算チップを搭載した演算ボードで構成することができる。
　第２電子機器２０は、第２通信部２１と、３次元計測部２２と、マーカー２３と、を備える。３次元計測部２２は、当該３次元計測部２２に固有の座標系（以下、「第２座標系」という）を有する。同様に、マーカー２３は、当該マーカー２３に固有の座標系（以下、「マーカー座標系」という）を有する。詳細については後述する。
　なお、マーカー２３を「位置情報ユニット」と称することができる。
　また、第２電子機器２０は、さらに、時刻同期部２５を備えることができる。
　以下、第２電子機器２０の備える上記各機能部を総括して「第２機能部」ともいう。
　第２電子機器２０には、当該第２電子機器２０を、第２通信部２１、３次元計測部２２等、第２機能部として機能させるためのプログラムをインストールすることで、第２電子機器２０を第２通信部２１、３次元計測部２２等の各機能部として機能させるようにすることができる。なお、当該プログラムは、予めインストールされていてもよい。また、当該プログラムは、コンピュータ読み取り可能な記録媒体から必要に応じてインストール又は予め設定されたサーバから必要に応じて適宜ダウンロードされてもよい。
＜座標系算出部３０＞
　座標系算出部３０は、マーカー位置情報算出部３１と、キャリブレーション処理部３２と、を備える。
　また、座標系算出部３０は、時刻同期部３３を備えることができる。
＜３次元データ処理部４０＞
　３次元データ処理部４０は、点群データ座標値変換部４１と、合成点群データ作成部４２と、を備える。
　合成点群データ作成部４２は、さらに、第１合成点群データ作成部４２１と、点群データマッチング部４２２と、を備える。
＜３次元データ表示制御部５０＞
　３次元データ表示制御部５０は、視点操作部５１と、データ表示方式選択部５２と、データ再生・保存指示部５３と、３次元データ表示処理部５４と、を備える。
＜３次元データ保存部６０＞
　３次元データ保存部６０は、源点群データ記憶部６１と、第２電子機器位置情報記憶部６２と、を備える。
　座標系算出部３０、３次元データ処理部４０、３次元データ表示制御部５０、及び３次元データ保存部６０は、有線及び／又は無線通信機能を備える、例えば、１台又は複数のパソコン、タブレット端末、スマートフォン、サーバ等の電子機器、あるいはＣＰＵ、ＤＳＰ等の演算チップを搭載した演算ボードで構成することができる。
　また、座標系算出部３０、３次元データ処理部４０、３次元データ表示制御部５０、及び３次元データ保存部６０をそれぞれ別のパソコン、タブレット端末、スマートフォン、サーバ等の電子機器により構成された、分散システムとすることができる。
　また、座標系算出部３０、３次元データ処理部４０、３次元データ表示制御部５０、及び３次元データ保存部６０の一部又は全てを第１電子機器１０、又は第２電子機器２０により構成することもできる。
　また、座標系算出部３０、３次元データ処理部４０、３次元データ表示制御部５０、及び３次元データ保存部６０をクラウド上の仮想サーバ上においてもよい。
　座標系算出部３０、３次元データ処理部４０、３次元データ表示制御部５０、及び３次元データ保存部６０を構成する電子機器には、当該電子機器を、座標系算出部３０、３次元データ処理部４０、３次元データ表示制御部５０、及び３次元データ保存部６０として機能させるためのプログラムをインストールすることで、当該電子機器を座標系算出部３０、３次元データ処理部４０、３次元データ表示制御部５０、及び３次元データ保存部６０として機能させるようにすることができる。なお、当該プログラムは、予め当該電子機器にインストールされていてもよい。また、当該プログラムは、コンピュータ読み取り可能な記録媒体から必要に応じてインストール又は予め設定されたサーバから必要に応じて適宜ダウンロードされてもよい。
　次に、点群データ取得システム１００の備える各電子機器等について、詳細に説明する。
　最初に、第２電子機器２０について説明する。
＜第２電子機器２０について＞
　図１Ｃに示すように、第２電子機器２０は、第２通信部２１と、３次元計測部２２、マーカー２３と、を備える。また、第２電子機器２０は、さらに、時刻同期部２５を備えることができる。
[第２通信部２１]
　有線、又は無線回線による通信モジュール。第１電子機器１０の第１通信部１１と対向し、第１電子機器１０、第２電子機器２０間の制御信号、各種データをやり取りする。
［３次元計測部２２］
　３次元デジタイザ、レーザースキャナ等と同様の３次元計測手段として、「深度センサ」がある。「深度センサ」には主に、（１）Ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ方式、（２）三角測量方式、（３）Ｄｅｐｔｈ　ｏｆ　Ｄｅｆｏｒｃｅ方式等があるが、（１）のＴｉｍｅ－ｏｆ－ｆｌｉｇｈｔ方式は、レーザや赤外線等の光を計測対象物に対して照射して反射させ、センサに届くまでの飛行時間をもとに計算し、計測対象物表面の各点までの深度センサのからの距離等（以下、「深度」ともいう）を瞬時に得ることができるセンサである。深度センサは計測対象物各点の深度を画素単位で把握することができる。
　ここで、計測対象物とは、例えば、既設の建造物（例えば原子力発電所等のプラントや文化財等）の凹凸を有する非平面形状の計測対象物のみならず、動く人間、動く動物、動く物等、時間の経過に伴って形状が変化する物体を含むことができる。
　第２電子機器２０の有する３次元計測部２２は、深度センサを、例えば通常の画像カメラと組み合わせて構成することができる。深度センサを通常の画像カメラと組み合わせて構成される３次元計測部２２を、以下「深度カメラ」ともいう。
　３次元計測部２２は、例えば深度カメラを用いて計測対象物を計測することで、計測対象物表面の各点を画素単位で例えばＲＧＢの色情報とともに深度カメラの備える３次元の座標系における座標値（以下「深度情報」ともいう）を併せ持つ、計測対象物の画像データを生成することができる。
　３次元計測部２２は、固有の基準位置に基づく３次元の固有座標系（以下、「第２座標系」ともいう）を備えている。３次元計測部２２により計測された計測対象物表面の各点（画素単位）の位置は、第２座標系により、３次元座標（ｘ、ｙ、ｚ）により表される。
　したがって、３次元計測部２２により計測する場合には、計測対象物表面の各点（画素単位）の位置を表す３次元座標（ｘ、ｙ、ｚ）と、その３次元座標位置における計測対象物表面のＲＧＢの色情報と、からなる点データの集合を計測データとして取得することができる。
　３次元計測部２２は、第２電子機器２０を移動させることで、３次元空間内を移動することができる。ユーザ（例えば、計測作業者、カメラマン）は、計測対象物の状況に応じて、第２電子機器２０を移動させることで、３次元計測部２２の計測位置を変更して、計測対象物の計測を行うことができる。なお、第２電子機器２０の移動については、例えば、第２電子機器２０を搭載した移動装置を自走式又は遠隔操作により、移動させることもできる。例えば、第２電子機器２０を搭載したクアッドコプターを遠隔操作することにより、移動させることもできる。
　３次元計測部２２は、計測対象物表面の各点の情報を画素単位で取得することができる。また、３次元計測部２２は、計測対象物の表面の各点の情報を画素単位で、予め設定した時間間隔で取得することができる。例えば、時間間隔として１／３０秒を設定することで、３次元計測部２２は、１秒間に３０コマの画像データ（３０ｆｐｓ）を取得することができる。３次元計測部２２により計測された各計測データには、それぞれ計測時刻となるタイムスタンプを付すことができ、当該タイムスタンプに基づいて計測データ間で関連付けが可能となっている。
　すなわち、Ｎ個（１≦Ｎ）の第２電子機器２０及び３次元計測部２２をインデックス１、２、３、・・・Ｎにより識別する場合、ｔを計測時刻とすると、インデックス（識別番号）ｎ（１≦ｎ≦Ｎ）の３次元計測部２２（以下「３次元計測部２２ｎ」ともいう）により取得した点群データをＱｎ（ｔ）と表現することができる。なお、インデックス（識別番号）ｎの第２電子機器２０は、第２電子機器２０ｎという。
＜３次元計測部２２による測定時刻の同期制御＞
　例えば、第２電子機器２０が複数個ある場合（すなわち３次元計測部２２が複数個ある場合）、例えば、第１電子機器１０又は座標系算出部３０のトリガーによる同期制御により、複数個あるすべての３次元計測部２２に対して計測動作を同期させることにより、同時刻に計測対象物を計測させるように構成することができる。トリガーとしては、例えば、第１電子機器１０又は座標系算出部３０から３次元計測部２２ｎに対して計測指示信号を出すことができる。
　以下、Ｎは１以上（すなわち、第２電子機器２０は１以上）とする。
　ここで、各３次元計測部２２ｎにより計測対象物の画像データを予め設定した時間間隔（例えば、１秒間に３０コマ）で取得する場合、当該点群データは、第２電子機器２０ｎの備える３次元計測部２２ｎ（１≦ｎ≦Ｎ）毎に、１／３０秒単位の計測時刻（ｔ）毎に生成され、通信ネットワークを介して、３次元データ保存部６０の源点群データ記憶部６１にリアルタイムに記憶される。
　すなわち、源点群データ記憶部６１には、すべての３次元計測部２２ｎにより計測される、点群データの集合｛Ｑｎ（ｔ）｝（１≦ｎ≦Ｎ）（ｔ：タイムスタンプ）が記憶される。
　点群データＱｎ（ｔ）は、計測対象物の表面の各点を、例えばデータ形式｛３次元計測部２２の識別番号ｎ、各点の第２座標系における座標値（ｘ、ｙ、ｚ）、点群取得時刻ｔ、Ｒ（赤成分）、Ｇ（緑成分）、Ｂ（青成分）等｝で表した点データの集合であるといえる。
［マーカー２３］
　第２電子機器２０は、３次元計測部２２の備える第２座標系において、線形独立となる座標値が既知である位置に設けられる複数の視覚的特徴を有する所定の標識物（以下、「マーカー２３」という）を備える。なお、インデックス（識別番号）ｎの第２電子機器２０ｎの備えるマーカー２３をマーカー２３（ｎ）という。
　第１実施形態は、後述するように、座標系算出部３０の備えるマーカー位置情報算出部３１が位置情報計測部１２による計測情報に基づいて、第２電子機器２０ｎの備えるマーカー２３（ｎ）を検出し、検出したマーカー２３（ｎ）の構成要素（マーカー２３（ｎ）の頂点等）の第１計測座標系における座標値（以下「マーカー位置情報（ｎ）」という）を算出する。
　そうすることで、３次元データ処理部４０の備える点群データ座標値変換部４１は、第２電子機器２０ｎの備えるマーカー座標系における座標値を第１電子機器１０の備える位置情報計測部１２における第１計測座標系又は第１計測座標系とは独立した基準座標系（グローバル座標系）における座標値に変換することができる。
　なお、測定時刻ｔにおける位置情報計測部１２による計測情報に基づいて算出されるマーカー位置情報（ｎ）を算出する際に用いた位置情報計測部１２による測定時刻ｔと、点群データＱｎ（ｔ）の測定時刻ｔと、を突合せすることで、点群データＱｎ（ｔ）が計測されたときの第２電子機器２０ｎのマーカー位置情報（ｎ）を特定することができる。
　測定時刻が必ずしも一致しない場合には、例えば当該時刻の近傍のマーカー位置情報（ｎ）により、線形補完することができる。
　図２に、マーカー２３の一例を示す。図２に示すように、マーカー２３は、例えば、各頂点を同一の半径の球体とした３辺を有する三角形の形状をした構造体とすることができる。より具体的には、三角形の各頂点は、各球体の中心と一致するように構成されることが好ましい。また、三角形は直角三角形とすることが好ましいが、直角三角形に限定されるものではなく、任意の三角形でもよい。
　球体とすることでどの角度から計測されても計測画像データが円となることから、マーカー位置情報算出部３１は、位置情報計測部１２による計測結果に基づいて、球体を検出することが容易となる。なお、球体の半径、球体の表面の色、及び三角形の辺の長さは、適宜設定することができる。
　なお、第１実施形態においては、マーカー２３を所定の色で着色された所定の半径の球の形状をしたものと仮定するが、視覚的特徴を有する所定の標識物であるマーカーの形状は、球体に限定されるものではない。位置情報計測部１２により、マーカーを計測することができ、マーカー位置情報算出部３１により当該マーカーを検出することができる任意の形状であればよい。例えば、色、柄、模様、特別な形状等により識別できるようにしてもよい。
　例えば、マーカー２３を構成する三角形を全て相似形となる直角三角形とし、辺の長さを各第２電子機器２０ｎ毎に異なる長さにすることで、辺の長さにより、当該マーカー２３を有する第２電子機器２０を識別するように構成することができる。また、球体の半径を各第２電子機器２０毎に異なる長さにすることで、球体の半径により、当該マーカー２３を有する第２電子機器２０ｎを識別するように構成することができる。また、球体の表面の色を各第２電子機器２０毎に異なる色にすることで、球体の表面の色により、当該マーカー２３を有する第２電子機器２０ｎを識別するように構成することができる。
　なお、直角三角形を作成するに際して、３辺の長さの比を３：４：５とすることが、実用上、また直角三角形の作成上、好ましい。マーカー２３の一例として、例えば、球の半径を５ｃｍ、球の表面の色をＲＥＤ、３辺の長さをそれぞれ３ｉｃｍ、４ｉｃｍ、５ｉｃｍ（ｉは、１以上の任意の整数）とすることができる。
［マーカー座標系］
　ここで、マーカー２３によるマーカー座標系とは、一例として、例えば、マーカー２３を直角三角形とした場合、当該直角三角形の直角に対応する頂点を原点とする座標系を意味する。
　より具体的には、マーカー２３は、前述したように各頂点を同一の半径の球体とした３辺を有する三角形の形状をした構造体と仮定する。例えば、マーカー２３の３辺の長さをそれぞれ３ｉｃｍ、４ｉｃｍ、５ｉｃｍ（ｉは、１以上の任意の整数）となる直角三角形を仮定する。
　マーカー２３における直角三角形の直角に対応する頂点をＣ´０、辺の長さが４ｉｃｍとなる辺のＣ´０以外の頂点をＣ´１、辺の長さが３ｉｃｍとなる辺のＣ´０以外の頂点をＣ´２とする。Ｃ´０、Ｃ´１、Ｃ´２は、それぞれ、各球体の中心と一致する。
　そして、頂点Ｃ´０を始点として頂点Ｃ´１を終点とするベクトル（以下「ベクトルＣ´０Ｃ´１」という）と、頂点Ｃ´０を始点として頂点Ｃ´２を終点とするベクトル（以下「ベクトルＣ´０Ｃ´２」という）との外積を頂点Ｃ´０を始点として表現した場合における終点をＣ´３とする。
　ここで、Ｃ´０を原点、ベクトルＣ´０Ｃ´１をＸ軸、ベクトルＣ´０Ｃ´２をＹ軸、ベクトルＣ´０Ｃ´３をＺ軸とする、マーカー座標系を規定することができる。
　具体的には、各点Ｃ´０、Ｃ´１、Ｃ´２、Ｃ´３のマーカー座標系における座標値は、次のとおりである。
　Ｃ´０＝（０，０，０）
　Ｃ´１＝（４ｉ，０，０）
　Ｃ´２＝（０，３ｉ，０）
　Ｃ´３＝（０，０，１２ｉ２）
　なお、マーカー２３が直角三角形でない場合においても、例えば、Ｃ´０を原点として、ベクトルＣ´０Ｃ´１をＸ軸とし、三角形をＸＹ平面とすることで、マーカー２３によりマーカー座標系を規定することができる。
　なお、上記座標値は、一例であって、マーカー２３は任意の三角形とすることができ、その場合の座標値は、当該三角形に基づいて算出される。
［時刻同期部２５］
　時刻同期部２５は、例えば、ＩＥＥＥ１５８８に規定されたプロトコルを用いて、第２電子機器２０の内部時刻を基準時刻に同期させる。後述するように、第１電子機器１０、及び／又は座標系算出部３０も、同様に時刻同期部１５を有することができる。そうすることで、例えば、ＩＥＥＥ１５８８に規定されたプロトコルを用いて、第１電子機器１０及び／又は座標系算出部３０の内部時刻を基準時刻に同期させる。
　そうすることで、第１電子機器１０及び／又は座標系算出部３０の内部時刻並びに１つ以上の第２電子機器２０の各内部時刻を、同期させることができる。
＜第１電子機器１０について＞
　図１Ｂに示すように、第１電子機器１０は、第１通信部１１と、被写体の表面の各点を画素単位で例えばＲＧＢの色情報とともに位置情報を計測する位置情報計測部１２と、を備える。また、第１電子機器１０は、さらに時刻同期部１５を備えるようにしてもよい。
 [第１通信部１１]
　有線、又は無線回線による通信モジュール。第２電子機器２０の第２通信部２１と対向し、第１電子機器１０、第２電子機器２０間の制御信号、各種データをやり取りする。
［位置情報計測部１２］
　位置情報計測部１２は、第２電子機器２０の備える３次元計測部２２と同様に被写体の表面の各点を画素単位で例えばＲＧＢの色情報とともに位置情報を計測する。位置情報計測部１２は、固有の座標系（第１計測座標系）を有する。
　位置情報計測部１２は、第２電子機器２０の備えるマーカー２３を検出するための計測情報を、後述するマーカー位置情報算出部３１に提供するものである。
　したがって、位置情報計測部１２は、前述したように第１計測座標系を有することから、例えば、位置情報計測部１２が１台しかない場合、当該位置情報計測部１２の有する第１計測座標系を基準座標系とすることができる。しかしながら、位置情報計測部１２が１台しかない場合、何らかの物体が、位置情報計測部１２と第２電子機器２０ｎのマーカー２３との間に介在した場合、位置情報計測部１２から第２電子機器２０ｎのマーカー２３の座標値を計測できなくなる可能性がある。
　第１実施形態においては、このようなオクルージョンによる死角を生じないように、複数の位置情報計測部１２を備えることが好ましい。
　その場合、位置情報計測部１２を備える第１電子機器１０を複数備えるようにシステムを構成してもよい。また、第１電子機器１０が複数の位置情報計測部１２を備えるように構成してもよい。
　ここで、ｉ（１≦ｉ≦Ｍ）（Ｍは位置情報計測部１２の個数）を位置情報計測部１２の識別番号とした場合、インデックス（識別番号）ｉの位置情報計測部１２は、位置情報計測部１２（ｉ）という。同様に、位置情報計測部１２（ｉ）の備える固有の座標系（第１計測座標系）を第１計測座標系（ｉ）という。
　なお、第１実施形態では、位置情報計測部１２の個数Ｍは、１以上（１≦Ｍ）として、１個の場合を含むものとする。
［時刻同期部１５］
　時刻同期部１５は、例えば、ＩＥＥＥ１５８８に規定されたプロトコルを用いて、第１電子機器１０の内部時刻を基準時刻に同期させる。前述したように、第２電子機器２０も、同様に時刻同期部２５を有し、例えば、ＩＥＥＥ１５８８に規定されたプロトコルを用いて、第１電子機器１０の内部時刻を基準時刻に同期させる。
　そうすることで、第１電子機器１０の内部時刻及び座標系算出部３０、複数の第２電子機器２０の各内部時刻の同期をとることができる。
＜座標系算出部３０＞
　図１Ｄに示すように、座標系算出部３０は、マーカー位置情報算出部３１と、キャリブレーション処理部３２と、を備える。また、座標系算出部３０は、時刻同期部３３を備えることができる。
［マーカー位置情報算出部３１］
　マーカー位置情報算出部３１は、位置情報計測部１２により計測された計測情報に基づいて、第２電子機器２０の備えるマーカー２３を検出し、検出したマーカー２３の構成要素（マーカー２３の頂点等）の第１計測座標系における座標値（マーカー位置情報）を算出する。
　ここで、ｉ（１≦ｉ≦Ｍ）を位置情報計測部１２の識別番号、ｎ（１≦ｎ≦Ｎ）を第２電子機器２０（３次元計測部２２）の識別番号、ｔを計測時刻、Ｌを第２電子機器２０のマーカー位置情報を表す場合、時刻ｔにおいて位置情報計測部１２（ｉ）により計測される第２電子機器２０ｎのマーカー位置情報をｉＬｎ（ｔ）と表現することができる。
　したがって、ｉＬｎ（ｔ）は、時刻ｔにおける、第１計測座標系（ｉ）による、第２電子機器２０ｎのマーカー位置情報を意味する。
　マーカー位置情報算出部３１は、第２電子機器２０ｎ毎に、第１計測座標系（ｉ）による、第２電子機器２０ｎのマーカー位置情報ｉＬｎ（ｔ）を、ネットワークを介して３次元データ保存部６０の第２電子機器位置情報記憶部６２にリアルタイムに記憶するようにしてもよい。
　そうすることで、第２電子機器位置情報記憶部６２には、すべてのマーカー構成要素位置情報の集合｛ｉＬｎ（ｔ）｝（１≦ｎ≦Ｎ，１≦ｉ≦Ｍ，ｔ：タイムスタンプ）がリアルタイムに記憶される。
［キャリブレーション処理部３２］
　キャリブレーション処理部３２は、計測対象物の点群データ取得に際して、予めキャリブレーションを行うことで、第１計測座標系における座標値を基準座標系における座標値に変換するための基準座標変換行列ＴＷ、及び第２電子機器２０の３次元計測部２２の備える第２座標系における座標値を第２電子機器２０の備えるマーカー座標系における座標値に変換するためのマーカー座標変換行列Ｔｈを算出する。詳細については、後述する。
［時刻同期部３３］
　時刻同期部３３は、例えば、ＩＥＥＥ１５８８に規定されたプロトコルを用いて、第１電子機器１０の内部時刻を基準時刻に同期させる。座標系算出部３０は、例えば、ＩＥＥＥ１５８８に規定されたプロトコルを用いて、座標系算出部３０の内部時刻を基準時刻に同期させることができる。
［位置情報計測部１２の基準座標系のキャリブレーションについて］
　位置情報計測部１２は、前述したように第１計測座標系を有することから、第１計測座標系を基準座標系とすることができる。しかしながら、位置情報計測部１２が１台しかない場合、何らかの物体が、位置情報計測部１２と第２電子機器２０ｎのマーカー２３（ｎ）との間に介在した場合、位置情報計測部１２から第２電子機器２０ｎのマーカー２３（ｎ）の座標値を計測できなくなる可能性がある。
　第１実施形態においては、このようなオクルージョンによる死角を生じないように、複数の位置情報計測部１２（ｉ）（１≦ｉ≦Ｍ）を備えることが好ましい。ただし、Ｍ＝１の場合を含む。
　その場合、位置情報計測部１２を備える第１電子機器１０を複数備えるようにシステムを構成してもよい。また、第１電子機器１０が複数の位置情報計測部１２（ｉ）を備えるように構成してもよい。
　第１実施形態においては、複数の第１計測座標系（ｉ）が存在する場合に対応できるように、第１計測座標系（ｉ）とは独立した基準座標系を備えるように構成する。
　この場合、各位置情報計測部１２（ｉ）を基準座標系における座標値が既知となる場所に設置することで、各第１計測座標系（ｉ）における座標値を基準座標系における座標値に変換するための基準座標変換行列（以下、「ｉＴＷ」ともいう）を予め算出することができる。
　これに対して、基準座標系を設定するための基準座標系マーカーを用いて、各第１計測座標系（ｉ）における座標値を基準座標系における座標値に変換するための基準座標変換行列ｉＴＷを予め算出するように、キャリブレーションを行うようにしてもよい。
　以下、キャリブレーションについて説明する。
　基準座標系を設定するために、基準座標系マーカーを現実空間中に設置する。なお、基準座標系マーカー１０Ａは、キャリブレーションを行った後に、現実空間から撤去される。
　基準座標系マーカー１０Ａは、例えば第２電子機器２０の備えるマーカー２３と同様に、各頂点を同一の半径の球体とした３辺を有する三角形の形状をした構造体とすることができる。球体の半径、球体の表面の色、及び三角形の辺の長さは、適宜設定することができる。ここでは、計算式を簡単にするために、例えば、基準座標系マーカー１０Ａは、３辺の長さがそれぞれ３ｊｃｍ、４ｊｃｍ、５ｊｃｍ（ｊは、１以上の任意の整数）となる直角三角形と仮定するが、三角形を任意の形状とした場合も同様に、キャリブレーションをすることができる。
　基準座標系マーカー１０Ａにおける直角三角形の直角に対応する頂点をＷ０、辺の長さが４ｊｃｍとなる辺のＷ０以外の頂点をＷ１、辺の長さが３ｊｃｍとなる辺のＷ０以外の頂点をＷ２とする。Ｗ０、Ｗ１、Ｗ２は、それぞれ、各球体の中心と一致する。
　そして、頂点Ｗ０を始点として頂点Ｗ１を終点とするベクトル（以下「ベクトルＷ０Ｗ１」という）と、頂点Ｗ０を始点として頂点Ｗ２を終点とするベクトル（以下「ベクトルＷ０Ｗ２」という）との外積ベクトルを頂点Ｗ０を始点として表現した場合の終点をＷ３とする。
　このようにして、一例として、基準座標系マーカー１０Ａにより、Ｗ０を原点、ベクトルＷｏＷ１をＸ軸、ベクトルＷ０Ｗ２をＹ軸、ベクトルＷ０Ｗ３をＺ軸とする、基準座標系を規定することができる。
　具体的には、各点Ｗ０、Ｗ１、Ｗ２、Ｗ３の基準座標系における座標値は、次のとおりである。
　Ｗ０＝（０，０，０）
　Ｗ１＝（４ｊ，０，０）
　Ｗ２＝（０，３ｊ，０）
　Ｗ３＝（０，０，１２ｊ２）
　なお、上記座標値は、一例であって、マーカー２３が直角三角形でない任意の三角形とした場合、一例として、例えば、Ｗ０を原点として、ベクトルＷ０Ｗ１をＸ軸とし、三角形Ｗ０Ｗ１Ｗ２をＸＹ平面とすることで、基準座標系を規定することができる。その場合の座標値は、当該三角形に基づいて算出される。
　基準座標系は、基準座標系マーカー１０Ａにより任意に設定することができる。
　位置情報計測部１２（ｉ）のキャリブレーションのために、マーカー位置情報算出部３１は、位置情報計測部１２（ｉ）により計測された計測情報に基づいて、基準座標系マーカー１０Ａを検出し、検出した基準座標系マーカー１０Ａの構成要素（基準座標系マーカー１０Ａの頂点Ｗ０、Ｗ１、Ｗ２）の第１計測座標系（ｉ）における座標値を算出する。
　算出された基準座標系マーカー１０Ａの頂点Ｗ０、Ｗ１、Ｗ２の第１計測座標系（ｉ）における座標値をそれぞれ
Ｗ０＝（ａ０，ｂ０，ｃ０）
Ｗ１＝（ａ１，ｂ１，ｃ１）
Ｗ２＝（ａ２，ｂ２，ｃ２）
Ｗ３＝（ａ３，ｂ３，ｃ３）とする。
　ここで、ベクトルＷ０Ｗ３は、ベクトルＷ０Ｗ１とベクトルＷ０Ｗ２との外積であることから、Ｗ３の座標値は、次のように、Ｗ０、Ｗ１、Ｗ２の座標値で表すことができる。
　ａ３＝（ｂ１－ｂ０）・（ｃ２－ｃ０）－（ｃ１－ｃ０）（ｂ２－ｂ０）＋ａ０
　ｂ３＝（ｃ１－ｃ０）・（ａ２－ａ０）－（ａ１－ａ０）・（ｃ２－ｃ０）＋ｂ０
　ｃ３＝（ａ１－ａ０）・（ｂ２－ｂ０）－（ｂ１－ｂ０）・（ａ２－ａ０）＋ｃ０
　第１電子機器１０の位置情報計測部１２（ｉ）の備える第１計測座標系（ｉ）における座標値を基準座標系における座標値に変換するための基準座標変換行列をｉＴＷとすると、以下の式１が成立する。
Figure JPOXMLDOC01-appb-M000001
　キャリブレーション処理部３２は、基準座標系マーカー１０Ａの頂点Ｗ０、Ｗ１、Ｗ２の位置を表す第１計測座標系における座標値に基づいて、式２によって、位置情報計測部１２（ｉ）における第１計測座標系（ｉ）における座標値を基準座標系における座標値に変換するための基準座標変換行列ｉＴＷを算出することができる。
Figure JPOXMLDOC01-appb-M000002
 　第１電子機器１０は、キャリブレーション処理部３２により算出した基準座標変換行列ｉＴＷを、例えば３次元データ処理部４０の記憶部（図示せず）に記憶するようにしてもよい。
　なお、三角形を任意の形状とした場合に、各点Ｗ０、Ｗ１、Ｗ２、Ｗ３の基準座標系における座標値を以下の値、
　Ｗ０＝（０，０，０）
　Ｗ１＝（ｘ１，０，０）
　Ｗ２＝（ｘ２，ｙ２，０）
　Ｗ３＝（ｘ３，ｙ３，ｚ３）
　とすると、
　式２´によって、位置情報計測部１２における第１計測座標系における座標値を基準座標系における座標値に変換するための基準座標変換行列ｉＴＷを算出することができる。
Figure JPOXMLDOC01-appb-M000003
［基準座標系マーカー１０Ａの検出方法について］
　マーカー位置情報算出部３１による基準座標系マーカー１０Ａの検出方法の一例について説明する。なお、ここで説明する検出方法は、マーカー位置情報算出部３１が第２電子機器２０ｎの備えるマーカー２３（ｎ）を検出する際にも適用される。
　ここでは、説明を簡単にするために、基準座標系マーカー１０Ａに対応する球体の表面の色をＲＥＤ、球体の半径を５ｃｍ、直角三角形の各辺の長さを３０ｃｍ、４０ｃｍ、５０ｃｍと仮定する。
　また、キャリブレーションに際しては、計測対象範囲内には、基準座標系マーカー１０Ａ以外に（特に、半径５ｃｍ、色がＲＥＤとなる）球体を設置しないようにすることが好ましい。
　マーカー位置情報算出部３１は、位置情報計測部１２（ｉ）により計測された計測対象範囲内において色がＲＥＤの部分を抽出して、当該抽出したＲＥＤの部分の深度画像データ、すなわち当該抽出したＲＥＤの部分表面の各点のＲＧＢの色情報である（Ｒ）と、各点（画素単位）の位置を表す第１計測座標系（ｉ）における３次元座標（ｘ、ｙ、ｚ）と、からなる点データの集合を計測画像データとして取得し、記憶部（図示せず）に記憶する。
　マーカー位置情報算出部３１は、位置情報計測部１２（ｉ）により計測された計測画像データ及び記憶部に格納された色がＲＥＤである計測画像データの位置情報に基づいて、基準座標系マーカー１０Ａを構成する球体を示す円を抽出する。
　具体的には、マーカー位置情報算出部３１は、計測画像データから例えば公知のラプラシアン変換、Ｓｏｂｅｌ法又はＣａｎｎｙ法等により、物体の輪郭部分の抽出を行い、エッジ画像を生成する。この際、マーカー位置情報算出部３１は、記憶部に格納された色がＲＥＤである計測画像データとその周辺を含む画像データを対象として、エッジ画像を生成するようにしてもよい。マーカー位置情報算出部３１は、エッジ画像から公知のＨｏｕｇｈ変換により円を抽出する。マーカー位置情報算出部３１は、抽出された円の座標が記憶部に格納された色がＲＥＤである計測画像データに含まれるものを抽出する。マーカー位置情報算出部３１は、さらに、抽出された円の半径を計算することにより、半径が５ｃｍとなる円のみを抽出するように構成される。こうすることで、マーカー位置情報算出部３１は、基準座標系マーカー１０Ａの直角三角形の各頂点に対応する各球体に対応する円を抽出する。
［基準座標系マーカー１０Ａの頂点Ｗ０、Ｗ１、Ｗ２の第１計測座標系における座標値］
　マーカー位置情報算出部３１は、抽出された円の深度データの中から最も小さな値となる点、すなわち最も視平面、すなわち位置情報計測部１２（ｉ）（深度カメラ）の平面に近い点の座標を（ａ，ｂ，ｃ）とした場合に、Ｚ軸方向に垂直に（球体の半径となる）５ｃｍプラスした点の座標（ａ，ｂ，ｃ＋５）を球の中心として求めることができる。
　また、円上の直径を形成する任意の２点の中心となる座標値を求めることで、各球体の中心の座標値を算出するようにしてもよい。
　例えば、抽出された円の直径を形成する円上の任意の２点Ａ１及びＡ２の座標値をそれぞれ、（ｘ１、ｙ１、ｚ１）及び（ｘ２、ｙ２、ｚ２）とした場合、球体の中心の座標値（ａ´、ｂ´、ｃ´）は、式３のように算出することができる。
　ａ´＝（ｘ１＋ｘ２）／２
　ｂ´＝（ｙ１＋ｙ２）／２
　ｃ´＝（ｚ１＋ｚ２）／２　　　　　　　　　　　　　　　　　　（式３）
　マーカー位置情報算出部３１は、このようにして基準座標系マーカー１０Ａの各頂点の第１計測座標系（ｉ）における座標値を算出する。その後、マーカー位置情報算出部３１は、算出した基準座標系マーカー１０Ａの各頂点の第１計測座標系（ｉ）における座標値に基づいて、各三角形の辺の長さを算出し、算出した辺の長さに基づいて、各頂点が基準座標系マーカー１０Ａの頂点Ｗ０、Ｗ１、Ｗ２のいずれに対応するか、を判定することができる。
　このように、マーカー位置情報算出部３１は、基準座標系マーカー１０Ａの頂点Ｗ０、Ｗ１、Ｗ２の位置を表す第１計測座標系（ｉ）における座標値を算出することができる。
　上記の例においては、基準座標系マーカー１０Ａに対応する球体の表面の色をＲＥＤ、球体の半径を５ｃｍと仮定したが、球体の色をＲＥＤ以外の色（例えば、色Ａ）、球体の半径を５ｃｍ以外の長さ（例えば、半径Ｒｃｍ）とすることができる。
　この場合、マーカー位置情報算出部３１は、計測対象範囲内の色が色Ａの部分を抽出して、抽出した色Ａの部分表面の各点のＲＧＢの色情報と、各点（画素単位）の位置を表す３次元座標（ｘ、ｙ、ｚ）と、からなる点データの集合を計測画像データとして抽出すればよい。
　そうした上で、マーカー位置情報算出部３１は、エッジ画像を生成し、生成したエッジ画像からＨｏｕｇｈ変換により円を抽出し、円の半径を計算することにより、色Ａで半径Ｒの球体の中心を求めるように構成することができる。
　以上、マーカー位置情報算出部３１による、基準座標系マーカー１０Ａの検出方法について説明した。
［マーカー２３の検出］
　基準座標系マーカー１０Ａの検出方法は、後述する第２電子機器２０ｎの備えるマーカー２３（ｎ）の検出にも適用される。
　なお、マーカー２３（ｎ）を構成する三角形の辺の長さを各第２電子機器２０ｎ毎に異なる長さにすることで、位置情報計測部１２の計測対象範囲に複数の第２電子機器２０ｎが計測される場合において、辺の長さにより、当該マーカー２３（ｎ）を有する第２電子機器２０を識別するように構成することができる。
　同様に、マーカー２３（ｎ）を構成する球体の半径を各第２電子機器２０ｎ毎に異なる長さに予め設定しておくことで、位置情報計測部１２（ｉ）の計測対象範囲に複数の第２電子機器２０ｎが計測される場合において、球体の半径により、当該マーカー２３（ｎ）を有する第２電子機器２０ｎを識別するように構成することができる。
　同様に、マーカー２３（ｎ）を構成する球体の表面の色を各第２電子機器２０ｎ毎に異なる色に予め設定しておくことで、位置情報計測部１２（ｉ）の計測対象範囲に複数の第２電子機器２０ｎが計測される場合において、球体の色により、当該マーカー２３（ｎ）を有する第２電子機器２０ｎを識別するように構成することができる。
［マーカー座標系と第２座標系との間の座標変換］
　第１実施形態は、座標系算出部３０の備えるマーカー位置情報算出部３１が、位置情報計測部１２（ｉ）により計測された計測情報に基づいて、第２電子機器２０ｎの備えるマーカー２３（ｎ）を検出し、検出したマーカー２３（ｎ）の構成要素（マーカー２３の頂点等）の第１計測座標系（ｉ）における座標値（マーカー位置情報）を算出し、マーカー位置情報に基づいて、第２電子機器２０ｎの備える第２座標系（ｎ）における座標値を基準座標系における座標値に変換するための座標変換行列を算出するというものである。
　このためには、第２電子機器２０ｎの３次元計測部２２ｎの備える第２座標系（ｎ）における座標値を第２電子機器２０ｎの備えるマーカー２３（ｎ）によるマーカー座標系による座標値に変換するためのマーカー座標変換行列（以下、「ｎＴＭ」という）を予め算出しておく必要がある。
　この場合、マーカー２３（ｎ）における三角形の頂点（Ｃ´０、Ｃ´１、Ｃ´２）を第２座標系（ｎ）における座標値が既知となる位置に取り付けることで、第２座標系（ｎ）における座標値をマーカー座標系（ｎ）における座標値に変換するためのマーカー座標変換行列ｎＴＭを予め算出することができる。
　これに対して、マーカー２３（ｎ）における三角形の頂点（Ｃ´０、Ｃ´１、Ｃ´２）の第２座標系（ｎ）における座標値が必ずしも既知でない場合又は取り付け時に誤差が生じる場合、第２電子機器２０ｎを予め固定した位置においた状態で、キャリブレーションを行うことで、マーカー座標変換行列ｎＴＭを算出することができる。
　以下、マーカー２３（ｎ）によるキャリブレーションについて説明する。
　図３に、第１計測座標系（ｉ）における座標値を基準座標系における座標値に変換するための基準座標変換行列ｉＴＷ、３次元計測部２２ｎの備える第２座標系（ｎ）における座標値を基準座標系における座標値に変換するための座標変換行列（以下、「ｎＴＷ」という）、第２座標系（ｎ）における座標値をマーカー座標系（ｎ）における座標値に変換するためのマーカー座標変換行列ｎＴＭ、マーカー座標系（ｎ）における座標値を第１計測座標系（ｉ）における座標値に変換するための第１計測座標変換行列（以下、「ＭｎＴｉ」という）間の関連を示す。
　マーカー座標変換行列ｎＴＭを算出するために、第２電子機器２０ｎを予め固定した位置においた状態で、３次元計測部２２ｎの備える第２座標系（ｎ）における座標値を基準座標系における座標値に変換するための座標変換行列ｎＴＷを算出する。
　これと同時に、第２電子機器２０ｎを予め固定した位置においた状態で、第２電子機器２０ｎの備えるマーカー２３（ｎ）によるマーカー座標系（ｎ）による座標値を第１電子機器１０の位置情報計測部１２（ｉ）の備える第１計測座標系（ｉ）における座標値に変換するための第１計測座標変換行列ＭｎＴｉを算出する。
［第２座標系を基準座標系に変換するための座標変換行列ｎＴＷ］
　まず、第２電子機器２０ｎを予め固定した位置においた状態で、３次元計測部２２ｎの備える第２座標系（ｎ）における座標値を基準座標系における座標値に変換するための座標変換行列ｎＴＷを算出するための構成について説明する。
　ここで、第２電子機器２０ｎの備える３次元計測部２２ｎによる、基準座標系マーカー１０Ａの検出については、第１電子機器１０の位置情報計測部１２（ｉ）による基準座標系マーカー１０Ａの検出方法と同様の方法が適用できる。
　すなわち、マーカー位置情報算出部３１は、第２電子機器２０ｎの３次元計測部２２ｎにより計測された計測情報に基づいて、基準座標系マーカー１０Ａを検出し、その頂点Ｗ０、Ｗ１、Ｗ２の位置を表す第２座標系（ｎ）における座標値を算出する。そうすることで、キャリブレーション処理部３２は、３次元計測部２２ｎの備える第２座標系（ｎ）における座標値を基準座標系における座標値に変換するための座標変換行列ｎＴＷを算出することができる。
　なお、上記の例では、座標系算出部３０の備えるマーカー位置情報算出部３１が、３次元計測部２２ｎにより計測した計測画像データに基づいて、基準座標系マーカー１０Ａを検出し、検出した基準座標系マーカー１０Ａの構成要素（基準座標系マーカー１０Ａの頂点Ｗ０、Ｗ１、Ｗ２）の第２座標系（ｎ）における座標値を算出した。
　しかしながら、第２電子機器２０ｎにそれぞれマーカー位置情報算出部（図示せず）を設けて、第２電子機器２０ｎのマーカー位置情報算出部により、基準座標系マーカー１０Ａの構成要素（基準座標系マーカー１０Ａの頂点Ｗ０、Ｗ１、Ｗ２）の第２座標系（ｎ）における座標値を算出するように構成してもよい。
［マーカー座標系を第１計測座標系に変換するための第１計測座標変換行列Ｔ０］
　次に、第２電子機器２０ｎを予め固定した位置においた状態で、マーカー座標系（ｎ）における座標値を第１計測座標系（ｉ）における座標値に変換するための第１計測座標変換行列ＭｎＴｉを算出するための構成について説明する。
　マーカー２３（ｎ）によるマーカー座標系（ｎ）とは、前述したとおり、マーカー２３（ｎ）における三角形の頂点をそれぞれ、原点、Ｘ軸上の点、Ｙ軸上の点とする座標系を意味する。
　なお、説明を簡単にするため、マーカー２３（ｎ）における三角形を３辺の比が３：４：５となる直角三角形とする。
　具体的には、各点Ｃ´０、Ｃ´１、Ｃ´２、Ｃ´３のマーカー座標系（ｎ）における座標値は、次のとおりである。
　Ｃ´０＝（０，０，０）
　Ｃ´１＝（４ｉ，０，０）
　Ｃ´２＝（０，３ｉ，０）
　Ｃ´３＝（０，０，１２ｉ２）
　前述したように、マーカー位置情報算出部３１は、位置情報計測部１２（ｉ）による計測情報に基づいて、マーカー２３（ｎ）を検出し、検出したマーカー２３（ｎ）の構成要素（マーカー２３（ｎ）の頂点Ｃ´０、Ｃ´１、Ｃ´２）の第１計測座標系（ｉ）における座標値を算出する。
　このようにして、算出されたマーカー２３（ｎ）の頂点Ｃ´０、Ｃ´１、Ｃ´２の第１計測座標系（ｉ）における座標値を
Ｃ´０＝（ｐ０，ｑ０，ｒ０）
Ｃ´１＝（ｐ１，ｑ１，ｒ１）
Ｃ´２＝（ｐ２，ｑ２，ｒ２）
Ｃ´３＝（ｐ３，ｑ３，ｒ３）とする。
　ここで、ベクトルＣ´０Ｃ´３は、ベクトルＣ´０Ｃ´１とベクトルＣ´０Ｃ´２との外積であることから、Ｃ´３の座標値は、次のように、Ｃ´０、Ｃ´１、Ｃ´２の座標値で表すことができる。
　ｐ３＝（ｑ１－ｑ０）・（ｒ２－ｒ０）－（ｒ１－ｒ０）（ｑ２－ｑ０）＋ｐ０
　ｑ３＝（ｒ１－ｒ０）・（ｐ２－ｐ０）－（ｐ１－ｐ０）・（ｒ２－ｒ０）＋ｑ０
　ｒ３＝（ｐ１－ｐ０）・（ｑ２－ｑ０）－（ｑ１－ｑ０）・（ｐ２－ｐ０）＋ｒ０
　こうすると、以下の式４が成立する。
Figure JPOXMLDOC01-appb-M000004
　このように、キャリブレーション処理部３２は、マーカー２３（ｎ）の頂点Ｃ´０、Ｃ´１、Ｃ´２の位置を表す第１計測座標系（ｉ）における座標値に基づいて、式５によって、マーカー座標系（ｎ）を第１計測座標系（ｉ）に変換するための第１計測座標変換行列ＭｎＴｉを算出することができる。
Figure JPOXMLDOC01-appb-M000005
 　なお、上記式は、マーカー２３（ｎ）における三角形を３辺の比が３：４：５となる直角三角形とした場合の一例であって、マーカー２３（ｎ）を任意の三角形とした場合、各点Ｃ´０、Ｃ´１、Ｃ´２、Ｃ´３のマーカー座標系（ｎ）における座標値は、当該三角形に基づいて、算出される。
［第２座標系をマーカー座標系に変換するためのマーカー座標変換行列ｎＴＭ］
　第２電子機器２０ｎの３次元計測部２２ｎの備える第２座標系（ｎ）における座標値を第２電子機器２０ｎの備えるマーカー２３（ｎ）によるマーカー座標系（ｎ）による座標値に変換するためのマーカー座標変換行列ｎＴＭとする。
　図３を参照すると、第１計測座標系（ｉ）における座標値を基準座標系における座標値に変換するための基準座標変換行列ｉＴＷ、基準座標系における座標値を第２座標系（ｎ）における座標値に変換するための第２座標変換行列ｎＴＷ －１、第２座標系（ｎ）における座標値をマーカー座標系（ｎ）における座標値に変換するためのマーカー座標変換行列ｎＴＭ、マーカー座標系（ｎ）における座標値を第１計測座標系（ｉ）における座標値に変換するための第１計測座標変換行列ＭｎＴｉの順番に掛け合わせることにより、式６に示すように、第１計測座標系における座標値を第１計測座標系における座標値に変換する単位行列Ｅとなる。
　ＭｎＴｉ・ｎＴＭ・ｎＴＷ －１・ｉＴＷ＝Ｅ　　　　（式６）
　以上から、キャリブレーション処理部３２は、式７によって、第２電子機器２０ｎの３次元計測部２２ｎの備える第２座標系（ｎ）における座標値を第２電子機器２０ｎの備えるマーカー２３（ｎ）によるマーカー座標系（ｎ）における座標値に変換するためのマーカー座標変換行列ｎＴＭを算出することができる。
　ｎＴＭ＝ＭｎＴｉ －１・ｉＴＷ －１・ｎＴＷ　　　　（式７）
　このように、キャリブレーション処理部３２は、位置情報計測部１２（ｉ）における第１計測座標系（ｉ）における座標値を基準座標系における座標値に変換するための基準座標変換行列ｉＴＷ、及び第２電子機器２０ｎの３次元計測部２２ｎの備える第２座標系（ｎ）における座標値を第２電子機器２０ｎの備えるマーカー座標系（ｎ）における座標値に変換するためのマーカー座標変換行列ｎＴＭを算出する。
　ここで、基準座標変換行列ｉＴＷ、及びマーカー座標変換行列ｎＴＭは、それぞれ固定の変換行列である。
　以上のように、各位置情報計測部１２（ｉ）（１≦ｉ≦Ｍ）、及び各第２電子機器２０ｎ（１≦ｎ≦Ｎ）のキャリブレーションを行い、第１計測座標系（ｉ）における座標値を基準座標系における座標値に変換するための基準座標変換行列ｉＴＷ、及び第２座標系（ｎ）における座標値をマーカー座標系（ｎ）における座標値に変換するためのマーカー座標変換行列ｎＴＭを算出した後、第１電子機器１０（キャリブレーション処理部３２）は、例えば３次元データ処理部４０の記憶部に記憶するようにしてもよい。その後、基準座標系マーカー１０Ａを現実空間から撤去することができる。
［基準座標変換行列の補正について］
　なお、位置情報計測部１２（ｉ）（１≦ｉ≦Ｍ）の備える第１計測座標系（ｉ）における座標値を基準座標系における座標値に変換するための基準座標変換行列ｉＴＷとすると、現実空間上に例えば、基準座標系マーカー１０Ａを適当に置いた場合、当該基準座標系マーカー１０Ａの各頂点Ｗ０、Ｗ１、Ｗ２及びベクトルＷ０Ｗ１とベクトルＷ０Ｗ２との外積ベクトルをＷ０Ｗ３とした場合の、各点Ｗ０、Ｗ１、Ｗ２、Ｗ３の位置情報計測部１２（ｉ）（１≦ｉ≦Ｍ）の第１計測座標系（ｉ）における座標値をそれぞれ、Ｗ０（ｉ）、Ｗ１（ｉ）、Ｗ２（ｉ）、Ｗ３（ｉ）とする。
　そうすると、これらの座標値を第１計測座標系（ｉ）における座標値を基準座標系における座標値に変換するための基準座標変換行列ｉＴＷで変換して得られる基準座標系における座標値ｉＴＷ（Ｗ０（ｉ））、ｉＴＷ（Ｗ１（ｉ））、ｉＴＷ（Ｗ２（ｉ））、ｉＴＷ（Ｗ３（ｉ））は、全て同一の座標値となるはずである。
　しかしながら、仮に、位置情報計測部１２（ｉ）（１≦ｉ≦Ｍ）による測定誤差により、座標値がずれる場合、例えば、ｉが２以上の第１計測座標系（ｉ）における座標値を基準座標系における座標値を基準座標系に変換した座標値｛ｉＴＷ（Ｗ０（ｉ））、ｉＴＷ（Ｗ１（ｉ））、ｉＴＷ（Ｗ２（ｉ））、ｉＴＷ（Ｗ３（ｉ））｝（ｉ≧２）の値が、１番目の第１計測座標系（１）における座標値を基準座標系における座標値を基準座標系に変換した座標値｛１ＴＷ（Ｗ０（ｉ））、１ＴＷ（Ｗ１（ｉ））、１ＴＷ（Ｗ２（ｉ））、１ＴＷ（Ｗ３（ｉ））｝に一致するように、第１計測座標系（ｉ）（ｉ≧２）における座標値を基準座標系における座標値に変換するための基準座標変換行列ｉＴＷ（ｉ≧２）を補正するようにしてもよい。
　そうすることで、補正後の第１計測座標系（ｉ）（ｉ≧２）における座標値を基準座標系における座標値を基準座標系に変換した座標値｛ｉＴＷ（Ｗ０（ｉ））、ｉＴＷ（Ｗ１（ｉ））、ｉＴＷ（Ｗ２（ｉ））、ｉＴＷ（Ｗ３（ｉ））｝（ｉ≧２）の値は、１番目の第１計測座標系（１）における座標値を基準座標系における座標値を基準座標系に変換した座標値｛１ＴＷ（Ｗ０（ｉ））、１ＴＷ（Ｗ１（ｉ））、１ＴＷ（Ｗ２（ｉ））、１ＴＷ（Ｗ３（ｉ））｝に一致するようにできる。
　以上、第１電子機器１０の備える第１機能部、第２電子機器２０の備える第２機能部、及び座標系算出部３０の備える座標系算出機能部について説明した。
　このように、第１電子機器１０の位置情報計測部１２（ｉ）及び座標系算出部３０は、第２電子機器１０ｎの備えるマーカー２３（ｎ）のマーカー位置情報（ｎ）を正確に算出することができる。そうすることで、３次元計測部２２ｎの視線方向及び視線周りの回転角が決まり、例えば従来のように例えば加速度センサやジャイロセンサ等により視線方向及び視線周りの回転角を算出するよりも、正確な位置情報を得ることができる。
　次に、３次元データ処理部４０について説明する。
＜３次元データ処理部４０について＞
　図１Ｅに示すように、３次元データ処理部４０は、点群データ座標値変換部４１と、合成点群データ作成部４２と、を含む。また、合成点群データ作成部４２は、さらに、第１合成点群データ作成部４２１と、点群データマッチング部４２２と、を備える。
［点群データ座標値変換部４１］
　ｎを第２電子機器２０（３次元計測部２２）のインデックス（識別番号）、計測時刻をｔとしたとき、点群データ座標値変換部４１は、点群データ｛Ｑｎ（ｔ）｝（１≦ｎ≦Ｎ）（ｔ：タイムスタンプ）を、同一座標系（基準座標系）の座標に変換するための座標変換行列｛Ｆｎ（ｔ）｝（１≦ｉ≦Ｍ）（１≦ｎ≦Ｎ）（ｔ：タイムスタンプ）を算出し、各点群データＱｎ（ｔ）の各点を表す第２座標系における座標値から基準座標系における座標値への座標変換を行う。
　以下に、点群データ座標値変換部４１が、時刻ｔにおいて位置情報計測部１２（ｉ）により計測される第２電子機器２０ｎのマーカー位置情報ｉＬｎ（ｔ）（ここで、ｉは位置情報計測部１２の識別番号（１≦ｉ≦Ｍ）、ｎは第２電子機器２０の識別番号、ｔはタイムスタンプ）に基づいて、各点群データＱｎ（ｔ）の各点を示す第２座標系における座標値を基準座標系における座標値に変換するための変換行列Ｆｎ（ｔ）を算出する処理について、説明する。
　前述したように、キャリブレーションにより、位置情報計測部１２（ｉ）の備える第１計測座標系（ｉ）（１≦ｉ≦Ｍ）における座標値を基準座標系における座標値に変換するための基準座標変換行列ｉＴＷが、３次元データ処理部４０の記憶部に記憶されている。
　同様に、キャリブレーションにより、第２電子機器２０ｎ（１≦ｎ≦Ｎ）の３次元計測部２２ｎの備える第２座標系（ｎ）における座標値を第２電子機器２０ｎの備えるマーカー２３（ｎ）によるマーカー座標系（ｎ）における座標値に変換するためのマーカー座標変換行列ｎＴＭが、３次元データ処理部４０の記憶部に記憶されている。
　まず、点群データ座標値変換部４１は、マーカー位置情報の集合｛ｉＬｎ（ｔ）｝（１≦ｎ≦Ｎ，１≦ｉ≦Ｍ，ｔ：タイムスタンプ）と３次元計測部２２ｎにより計測された点群データの集合｛Ｑｎ（ｔ）｝（１≦ｎ≦Ｎ）（ｔ：タイムスタンプ）のタイムスタンプとを突合せすることで、点群データの計測位置を特定することができる。
　なお、点群データＱｎ（ｔ）を測定したときの測定時刻とマーカー位置情報ｉＬｎ（ｔ）を測定したときの測定時刻とが必ずしも一致しない場合には、例えば点群データＱｎ（ｔ）を測定したときの測定時刻の近傍の時刻におけるマーカー２３（ｎ）のマーカー位置情報を用いて、線形補完することができる。
　点群データ座標値変換部４１は、時刻ｔ及び第２電子機器２０の識別番号ｎに基づいて、各点群データＱｎ（ｔ）とマーカー位置情報ｉＬｎ（ｔ）とを対応づけることができる。
　点群データ座標値変換部４１は、Ｑｎ（ｔ）に対して、ｉＬｎ（ｔ）を対応付ける。
　なお、位置情報計測部１２（ｉ）を複数備える場合、Ｑｎ（ｔ）に対して、異なる位置情報計測部１２（ｉ）及び位置情報計測部１２（ｊ）（ｉ≠ｊ）によりそれぞれ算出された位置情報ｉＬｎ（ｔ）及びｊＬｎ（ｔ）（ｉ≠ｊ）が対応付けられる可能性がある。
　そこで、点群データ座標値変換部４１は、Ｑｎ（ｔ）に対して、複数のマーカー位置情報から、所定の条件を満たす１つのマーカー構成要素位置情報ｉＬｎ（ｔ）を選択する。
　例えば、選択するための条件としては、（ｉ、ｔ）に対して、集合｛ｉＬｎ（ｔ）｝の個数が最大となる（ｉ）を選択するようにしてもよい。すなわち、位置情報計測部１２（ｉ）により、マーカー位置情報（ｎ）を取得することができた第２電子機器２０の個数が最大となるｉを選択する。
　こうすることで、後述する座標値変換の効率をあげることが可能となる。
　そこで、Ｑｎ（ｔ）に対してｉＬｎ（ｔ）が選択されたとする。
　前述したように、点群データ座標値変換部４１は、マーカー位置情報ｉＬｎ（ｔ）に基づいて、マーカー座標系（ｎ）における座標値を第１計測座標系（ｉ）における座標値に変換するための第１計測座標変換行列ＭｎＴｉ（ｔ）を算出することができる（式５参照）。
　他方、予めキャリブレーションによって算出された第２座標系（ｎ）における座標値をマーカー座標系（ｎ）における座標値に変換するためのマーカー座標変換行列ｎＴＭ、第１計測座標系（ｉ）における座標値を基準座標系における座標値に変換するための基準座標変換行列をｉＴＷとすると、点群データ座標値変換部４１は、タイムスタンプｔにおいて、点群データの点Ｑｎ（ｔ）の第２座標系（ｎ）での座標が（ｘ，ｙ，ｚ）で表される点に対して、マーカー座標変換行列ｎＴＭ、第１計測座標変換行列ＭｎＴｉ（ｔ）、及び基準座標変換行列ｉＴＷによる座標変換を行うことで、基準座標系での座標（ｘｇ，ｙｇ，ｚｇ）を算出する（式８参照）。
　すなわち、Ｆｎ（ｔ）＝ｉＴＷ・ＭｎＴｉ（ｔ）・ｎＴＭとなる。
Figure JPOXMLDOC01-appb-M000006
 　このようにして、点群データ座標値変換部４１は、点群データＱｎ（ｔ）の各点を示す第２座標系における座標値を基準座標系における座標値にリアルタイムに変換することができる。
　マーカー位置情報算出部３１は、マーカー位置情報ｉＬｎ（ｔ）をリアルタイムに算出して、第２電子機器２０ｎ毎に、ネットワークを介して、３次元データ処理部４０（点群データ座標値変換部４１）に、例えば通信等のインターフェースを介して引き渡すように構成することができる。
　なお、マーカー位置情報算出部３１は、マーカー位置情報ｉＬｎ（ｔ）をリアルタイムに算出して、第２電子機器２０ｎ毎に、ネットワークを介して３次元データ保存部６０の第２電子機器位置情報記憶部６２にリアルタイムに記憶し、第２電子機器位置情報記憶部６２を介して３次元データ処理部４０（点群データ座標値変換部４１）に引き渡すようにしてもよい。
　このようにして、本発明の点群データ取得システム１００は、点群データＱｎ（ｔ）の各点を基準座標系での座標値で構成される点群データ｛Ｑ´ｎ（ｔ）｝にリアルタイムに変換することができる。
［合成点群データ作成部４２］
　合成点群データ作成部４２は、第１合成点群データ作成部４２１と、点群データマッチング部４２２と、を備える。
［第１合成点群データ作成部４２１］
　第１合成点群データ作成部４２１は、点群データ座標値変換部４１により、時刻ｔにおける各点群データＱｎ（ｔ）の各点の第２座標系での座標値を、基準座標系での座標値に変換した各点群データ｛Ｑ´ｎ（ｔ）｝　（１≦ｎ≦Ｎ）間の基準座標系での座標値が同じ点については、同一点として、重ね合わせることで、合成点群データＱ´（ｔ）を作成することができる。
［点群データマッチング部４２２］
　しかし、各点群データ｛Ｑ´ｎ（ｔ）｝（１≦ｎ≦Ｎ）間の基準座標系での座標値が同じ点であっても、測定誤差等により、位置ずれが発生する可能性がある。
　このため、点群データマッチング部４２２は、点群データ座標値変換部４１により、基準座標系での座標に変換した各点群データ｛Ｑ´ｎ（ｔ）｝の各点の座標値に基づいて、それぞれの点群データ｛Ｑ´ｎ（ｔ）｝（１≦ｎ≦Ｎ）から抽出した３次元形状に係る特徴パラメータ（例えば、曲面の曲率（ガウス曲率））に基づいて重なる部分の位置合わせ（マッチング）を、行うことで、位置ずれを補正することができる。
　そうすることで、同一の基準座標系での座標で表される複数の点群データ｛Ｑ´ｎ（ｔ）｝（１≦ｎ≦Ｎ）を用いて、より正確な欠損部分の少ない３次元立体となる合成点群データ（以下、「Ｑ（ｔ）」と表す）を取得することができる。
　なお、隣り合う計測時刻（例えば、ｔｉ、ｔｉ＋１）に、同じ３次元計測部２２ｎにより計測された点群データＱｎ（ｔｉ）及びＱｎ（ｔｉ＋１）について、位置ずれがある場合にも、必要に応じて、重なる部分の位置合わせ（マッチング）を行うことで、位置ずれを補正することができる。
　なお、位置ずれの補正については、バックグラウンド処理として、例えば、１秒１回程度のサンプリングとしてもよい。
　点群データの位置合わせ（マッチング）は、例えば周知の技術であるＩＣＰ法と呼ばれる位置合わせ手法を用いることもできる。ＩＣＰ法は、位置合わせを行うそれぞれの点群データについて、最近傍頂点間距離の二乗和を反復計算により最小化（収束）させることで位置合わせを行うものである。
　しかしながら、ＩＣＰ法は総当たり方式であるため、データ量が多くなると、膨大な時間を要していた。
　また、位置合わせのための判定指標として、色情報を用いる方法もある。しかしながら、色は、同一個所であっても、見る角度や光の当たり具合によって違って見えることもあり、したがって、異なる位置から測定された点群データＱｎ（ｔ）とＱｍ（ｔ）（ｎ≠ｍ）とを、色を判定指標とするマッチングは不安定であった。
　点群データマッチング部４２２では、判定指標として、各点の形状面での特性を示す「曲面の曲率」を用いるようにしてもよい。点群データ間において、頂点や尖った点等の特徴点ではなく、「ある程度の広がりを持った面」を考え、曲面の曲率を用いることで、それらの「凹凸具合の一致度」を見ることで、判定指標とする。
　曲面の曲率は、座標系に依存しない物理的数学的特性であって、同じ曲面の同一箇所の凸凹度合いは、どの位置（すなわち、どの３次元計測部２２）から見ても同じになることから、マッチングの判定指標として使用することができる。「曲面の曲率」を用いることで、どの３次元計測部２２から測定されても、「曲面」の曲率は同一の値をとることが想定されることから、位置合わせ時のエラー発生を減少させることができる。また、マーカー設置の手間が無く、色情報と違って光が不要なため、光源（太陽等）の具合に左右されることがない。
　なお、曲面の曲率としては、例えばガウス曲率、平均曲率等があるが、第１実施形態では、ガウス曲率を適用することができる。
　また、マッチング処理の前処理もまた重要である。
　具体的には、点群データマッチング部４２２は、まず複数の点群データを基準座標系での座標値を突き合わせ、その積集合を得ることで、マッチング処理対象となる点群データの範囲を限定する。このことにより、マッチング処理に要する計算量を大幅に減らすことができ、システム全体の速度向上に寄与することができる。また、積集合が空集合の場合は、そもそもマッチング処理をしなくてよい。
　次に、点群データマッチング部４２２は、部分的に重なる、点群データＡ及び点群データＢの重なる部分において、「両曲面」上の「ある程度の広がりをもった面」上の各点の曲率を求め、それらを比較して、例えば曲率の差の合計が最小となるような最適な変換を、これら一連の処理を繰り返しながら求める。
　ここで、点群データマッチング部４２２は、曲率の計算を、例えば次のように行うことができる。まず、曲面の曲率を求める１つの点群データＱｎ（ｔ）の点（ｘ０、ｙ０、ｚ０）を原点とし、その点を含む、例えば基準座標系の平面Ｘ及びＹに平行となる、平面Ｘ’Ｙ’を含む局所座標系（ｘ´、ｙ´、ｚ´）を設定する。次に、その点（ｘ０、ｙ０、ｚ０）の近傍点における「曲面」の局所座標を求める。この「曲面」の局所座標値は、点（ｘ０、ｙ０、ｚ０）の近傍にある点群データの点（ｘ、ｙ、ｚ）により算出できる。そうすることで、「曲面」上のｚ値と（ｘ、ｙ）との関係を得ることができる。
　例えば近傍点は、ｘ０の隣り合う値を例えばｘ－２、ｘ－１、ｘ０、ｘ＋１、ｘ＋２等として表すと、
（ｘ＋１、ｙ０）、（ｘ＋２、ｙ０）、・・・
（ｘ－１、ｙ０）、（ｘ－２、ｙ０）、・・・
（ｘ０、ｙ＋１）、（ｘ０、ｙ＋２）、・・・
（ｘ０、ｙ－１）、（ｘ０、ｙ－２）、・・・
等として求めることができる。
　次に２次曲面パッチｐ（ｕ、ｖ）＝（ｕ、ｖ、ａｕ２＋ｂｖ２＋ｃｕｖ＋ｄｕ＋ｅｖ＋ｆ）を計測対象物表面に最小二乗法によって局所的に当てはめて、２次元曲面パッチの偏導関数から、曲面の曲率を計算する。
　最後に、対象物の曲面が滑らかであることを制約条件として用いて曲率計算の精度を反復計算によって向上させて、算出する。
　しかし、この曲率を用いる方法は、正確ではあるが計算量が多くなる。あるいは、物体の場所によっては（エッジ部分等）、うまく適用できない場合がある。その場合は、従来のＩＣＰ法、色情報を用いる方法等を組み合わせることで、対応することができる。
［直線のＨｏｕｇｈ変換を用いた、マッチング方法］
　以上、曲率を用いる方法について、説明したが、直線のＨｏｕｇｈ変換を用いた点群データのマッチング方法について説明する。
　２つの深度画像をＡ，Ｂとし、基準座標系におけるその点群データをそれぞれＡｗ，Ｂｗとする。
　点群データマッチング部４２２は、深度画像Ａ及び深度画像Ｂのそれぞれにおいて、エッジ画像を生成し、生成した各エッジ画像からＨｏｇｈ変換を用いて、それぞれ直線を抽出し、それぞれから抽出した直線を第２座標系上の直線（３次元）に変換する。
　点群データマッチング部４２２は、深度画像Ａ及び深度画像Ｂそれぞれから抽出した直線を基準座標系上の直線に変換する。
　次に、深度画像Ａ及び深度画像Ｂから抽出された基準座標系上の直線（３次元直線）をそれぞれ、４次元上の点として表現する。
　より具体的には、点群データマッチング部４２２は、深度画像Ａから得られた３次元直線をＡｗｉ（０≦ｉ≦ｎ１）、深度画像Ｂから得られた３次元直線をＢｗｊ（０≦ｊ≦ｎ２）とした場合、３次元直線Ａｗｉ（０≦ｉ≦ｎ１）及び３次元直線Ｂｗｊ（０≦ｊ≦ｎ２）をそれぞれ４次元空間上の点として以下のように表わすことができる。
　　　　　Ａｗｉ＝（αＡｉ，βＡｉ，ｌＡｉ，ｍＡｉ）　（０≦ｉ≦ｎ１）
　　　　　Ｂｗｊ＝（αＢｊ，βＢｊ，ｌＢｊ，ｍＢｊ）　（０≦ｊ≦ｎ２）
　一般に、３次元直線Ｌを４次元上の点として表す変換としては、例えば次の例が挙げられるが、この例に限定されるものではない。
　直線Ｌの方向ベクトル（原点Ｏを始点とする方向ベクトル）の終点Ｐから、ＸＺ平面上に垂直に引いた直線のＸＺ平面との交点Ｑとすると、ＯＱとＸ軸との角度α、辺ＱＯと辺ＰＯとの角度をβとする。こうすることで、直線Ｌの方向ベクトルが決定される。
　次に、方向ベクトルの法平面上と直線Ｌとの交点の座標を（ｍ、ｌ）とすると、直線Ｌは、４次元上の点（α，β，ｌ，ｍ）で表すことができる。
　そうすることで、点群データマッチング部４２２は、全てのｉ（０≦ｉ≦ｎ１）とｊ（０≦ｊ≦ｎ２）について、４次元上の点ＡｗｉとＢｗｊとの４次元上の距離Ｄｉｊを算出し、その距離の値が０に近い値となる組み合わせを４個を抽出する。
　こうすることで、深度画像Ａ及び深度画像Ｂにおいてマッチングする直線を４個抽出することができる。
　このようにして、点群データマッチング部４２２は、４個のペア（Ａｗｉ，Ｂｗｊ）を抽出した後、各点Ａｗｉ及びＢｗｊを３次元空間上の直線に変換して、直線Ｂｗｊを直線Ａｗｉに変換するための行列を算出することで、点群データＢｗを点群データＡｗとにマッチングするための変換行列を得ることができる。
　このように、点群データマッチング部４２２は、これら一連の作業を、各点群データ毎に行い、それぞれの一致度合いを見ながら、複数の点群データを合成していくことで、マッチングを行うことができる。そして、その結果は、後述する３次元データ表示制御部５０に、例えば通信等のインターフェースを介して、引き渡すように構成することができる。なお、後述する３次元データ表示制御部５０に引き渡すに際して、例えば、３次元データ保存部６０の記憶部（図示せず）に格納し、当該記憶部を介して引き渡すようにしてもよい。
　なお、上述した点群データマッチング部４２２のマッチング処理として、ＩＣＰマッチング処理、曲率を用いたマッチング処理、及び直線を用いたマッチング処理について説明したが、これらのマッチング処理に限定されるものではない。これらのマッチング処理を組み合わせて使用してもよい。また、別のマッチングアルゴリズムを使用してもよい。
　このようにして、点群データマッチング部４２２は、点群データ座標値変換部４１により、同時刻に計測された複数の点群データ（例えば、｛Ｑｎ（ｔ）｝（１≦ｎ≦Ｎ））を、点群データ座標値変換部４１により変換された基準座標系（第１座標系）における座標値に基づいて重なる部分の位置合わせを行った後に、必要に応じて、測定誤差等により、各点群データ｛Ｑｎ（ｔ）｝（１≦ｎ≦Ｎ）間の基準座標系での座標値が同じであっても、位置ずれの発生した場合の補正を行うことで、より正確な、欠損部分の少ない１つの合成点群データを取得することができる。
　こうすることで、例えば、形状の変化する計測対象物の多視点同時刻の点群データの合成を行うことができる。
　なお、形状の変化しない静止した計測対象物の場合には、第２電子機器２０ｎを移動させないで、すなわち、基準座標系における座標値が同じ値となる、同一位置において計測された複数の点群データを、点群データ座標値変換部４１により変換された基準座標系（第１座標系）における座標値に基づいて、重なる部分の位置合わせを行うことで、１つの合成点群データを作成することができる。
　この場合は、タイムスタンプを省略することができる。
　また、形状の変化しない静止した計測対象物の場合には、１つの第２電子機器２０を当該計測対象物の周りを移動しながら計測することで得られる複数の点群データを、点群データ座標値変換部４１により変換された基準座標系における座標値に基づいて、重なる部分の位置合わせを行うことで、１つの合成点群データを作成することができる。
＜３次元データ表示制御部５０＞
　次に、３次元データ表示制御部５０について説明する。
　図１Ｆに示すように、３次元データ表示制御部５０は、視点操作部５１と、データ表示方式選択部５２と、データ再生・保存指示部５３と、３次元データ表示処理部５４と、を備える。
　点群データは、そのままの形式でレンダリングすることは可能であるが、そのデータ形式のままでは、各種の３次元処理には適さないことが多い。
　このため、点群データを面形式に変換し、例えばポリゴン、不整三角網のメッシュ、及びＣＡＤモデルとして扱うことができる。
　また、点群データは、各点データが三次元座標値を持つため、自由視点からのデータ閲覧及び空間参照を実現できる。具体的には、点群データ自体が有する３次元座標値を用いて、点群データを３次元空間から、例えばパノラマ空間への投影が可能となる。
［視点操作部５１］
　視点操作部５１は、利用者の視点方向、視点座標等の入力を利用者から受け取ることができる。このことにより、表示画像のズーム等のカメラワークと同様の操作が可能となる。
［データ表示方式選択部５２］
　データ表示方式選択部５２は、表示画像の表示方式に関する指示を利用者から受け取ることができる。例えば、３次元空間上の点群データをどのような投影面に投影するか、を選択することができる。例えばパノラマモデルは、球面、円柱、立方体等の投影面を選択できる。
［データ再生・保存指示部５３］
　データ再生・保存指示部５３は、点群データから生成された３次元モデルデータの再生又は保存に関する指示を利用者から受け取ることができる。
［３次元データ表示処理部５４］
　３次元データ表示処理部５４は、合成点群データ作成部４２により作成された合成点群データを、視点操作部５１により入力された利用者の仮想視点に基づいて、マッピング加工を行い、その結果の表示画像をディスプレイ画面に３次元表示する。
　また、３次元データ表示処理部５４は、動的な３次元モデルを用いて、視点操作部５１から指定された視点パラメータで３次元空間を眺めた動画像を描画することができる。
　次に、３次元データ保存部６０について説明する。
　図１Ｇに示すように、３次元データ保存部６０は、源点群データ記憶部６１と、第２電子機器位置情報記憶部６２と、を備える。
［源点群データ記憶部６１］
　源点群データ記憶部６１は、各３次元計測部２２により計測された点群データに、当該計測時刻となるタイムスタンプを関連付けた点群データ情報を、第２電子機器２０ｎ毎に記憶する。
　前述したように、例えば、各３次元計測部２２ｎにより計測対象物表面の各点を画素単位で、予め設定した時間間隔（例えば、１秒間に３０コマ）で取得する場合、源点群データ記憶部６１は、３次元計測部２２ｎ毎に、例えば、１／３０秒単位の計測時刻（ｔ）毎に生成される点群データ｛Ｑｎ（ｔ）｝を記憶する（１≦ｎ≦Ｎ）（ｔ：タイムスタンプ）。
［第２電子機器位置情報記憶部６２］
　第２電子機器位置情報記憶部６２は、第２電子機器２０の備えるマーカー２３のマーカー位置情報にタイムスタンプを関連付けたマーカー位置情報を、第２電子機器２０ｎ毎、位置情報計測部１２（ｉ）毎に記憶する。
　前述したように、第２電子機器位置情報記憶部６２は、すべての第２電子機器２０ｎの、時刻ｔに測定される第２電子機器位置情報の集合｛ｉＬｎ（ｔ）｝（１≦ｎ≦Ｎ）（１≦ｉ≦Ｍ）（ｔ：タイムスタンプ）を記憶する。
　以上、これまで説明した本発明の実施形態における、一連の処理の流れを簡単に図示したものが図４である。
　図４を参照すると、ＳＴ１において、基準座標系マーカー１０Ａを所定の場所に設定される。各位置情報計測部１２（ｉ）（１≦ｉ≦Ｍ）が所定の場所に設定される。同様に、第２電子機器２０ｎ（１≦ｎ≦Ｎ）が所定の場所に設定される。
　ＳＴ２において、キャリブレーションを行うことで、第１計測座標系（ｉ）における座標値を基準座標系における座標値に変換するための基準座標変換行列ｉＴＷ、及び第２座標系（ｎ）における座標値をマーカー座標系（ｎ）における座標値に変換するためのマーカー座標変換行列ｎＴＭを算出し、３次元データ処理部４０の記憶部に記憶する。
　ＳＴ３において、基準座標系マーカー１０Ａを現実空間から撤去する。
　ＳＴ４において、例えば、計測作業者が、移動しながら、各第２電子機器２０ｎ（３次元計測部２２ｎ）により、計測対象物の計測を開始する。
　ＳＴ５において、測定時刻ｔ毎に、各第２電子機器２０ｎ（３次元計測部２２ｎ）は点群データＱｎ（ｔ）を取得する。
　ＳＴ６において、測定時刻ｔ毎に、マーカー位置情報算出部３１は、各位置情報計測部１２（ｉ）（１≦ｉ≦Ｍ）の計測した計測情報に基づいて、各第２電子機器２０ｎのマーカー位置情報ｉＬｎ（ｔ）を算出する。
　ＳＴ７において、３次元データ処理部４０により、３次元計測部２２ｎの取得した点群データＱｎ（ｔ）と、各位置情報計測部１２（ｉ）の算出した各第２電子機器２０ｎのマーカー位置情報ｉＬｎ（ｔ）との対応付けがなされる。
　ＳＴ８において、３次元データ処理部４０（点群データ座標値変換部４１）により、点群データＱｎ（ｔ）の各点の第２座標系（ｎ）における座標値を基準座標系における座標値に変換する。
　ＳＴ９において、３次元データ処理部４０（合成点群データ作成部４２）により、同時刻ｔにおける各点群データＱｎ（ｔ）のマッチング・結合（合成）がなされる。
　ＳＴ１０において、３次元データ表示制御部５０により、ユーザの仮想的な視点の指定にしたがい、当該仮想的な視点から見た３次元動画が表示される。
　以上のように、第１実施形態によれば、各３次元計測部２２を自由かつダイナミックに移動させることが可能となり、計測対象物の変形に伴って生じるオクルージョンによる死角が発生する場合においても、３次元計測装置の計測位置を即座に変更して対応することで。欠損部分の少ない３次元画像を取得することができる。
　また、本発明は、このような一連の処理により、合成点群データを視点操作部５１によって指定入力された視点の位置から計測対象物を見たものとしてクリッピングし、欠損部分の少ない三次元物体の画像を、任意の視点からリアルタイムで見ることができる。
　例えば、医療分野において、資料映像として残すために、手術中の患部の状況を画像撮影することがある。その際、カメラが手術の邪魔になるからと、他の位置に移動させたとしても、見る側は、実際のカメラの位置とは無関係に、常に同じ視点からの映像を見ることが可能になる。それゆえ、この方式で資料化された映像は、きわめて有用性の高いものとなる。
　また、手術者の体で隠れる視点からの映像として表示することができる。また、腹腔鏡手術においては、内臓の状況を患者の皮膚の外側からの視点で見ることもできる。
　また、本発明を撮影カメラに応用することで、スポーツ実況中継等において、その都度最適な位置にカメラを移動することで、死角を少なく、欠損部分を少なくし、ありえない視点から選手の動きを、各々の画像装置で表示することができるようになること等、様々なシーンにおいて、「撮影位置とは異なった視点からの画像表示対象物体を見ることができる」ができるようになる。
　また、合成点群データをサーバ上におき、これをネットワーク経由で例えば、スマートフォン、タブレット端末、ノートパソコン等を用いて、複数のユーザが同一の物体を任意の視点から閲覧することができる。
＜第２実施形態＞
＜電磁波伝播時間を用いた第２電子機器２０の位置情報の算出＞
　第１実施形態では、第１電子機器１０の備える位置情報計測部１２により、第２電子機器２０の備えるマーカー２３の位置情報を計測することで、第２電子機器２０の備える３次元計測部２２の備える第２座標系から第１電子機器の備える第１計測座標系への座標変換行列を算出した。
　これに対して、第２実施形態では、電磁波（電波）が第１電子機器１０の備える電波発信部１２Ｐｊ（１≦ｊ≦４）から発信されてから、第２電子機器２０の備える電波受信部２３Ｃｋ（１≦ｋ≦３）により受信されるまでの１２個の電波伝播時間測定値（Ｔｊｋ）を測定し、各電波発信部１２Ｐｊと各電波受信部２３Ｃｋ間の直線距離Ｒｊｋ（１≦ｊ≦４，１≦ｋ≦３）を算出し、直線距離Ｒｊｋ（１≦ｊ≦４，１≦ｋ≦３）を用いて三角測量の原理に基づいて、第２電子機器２０の備える電波受信部２３Ｃｋ（１≦ｋ≦３）の位置情報を算出する。
　なお、以下、簡単のため、電波発信部１２Ｐｊ（１≦ｊ≦４）及び電波受信部２３Ｃｋ（１≦ｋ≦３）を、それぞれ単にＰｊ（１≦ｊ≦４）とＣｋ（１≦ｋ≦３）と略して説明することもある。
　図５Ａ、図５Ｂ、図５Ｃは、それぞれ、第２実施形態における点群データ取得システムの第１電子機器１０、第２電子機器２０、及び座標系算出部３０の機能ブロックの一例を示す図である。
　図５Ａに示すように、第１電子機器１０は、位置情報計測部１２に換えて、複数（例えば４つ）の電波発信部１２Ｐｊ（１≦ｊ≦４）及び距離計測部１６を備える。
　図５Ｂに示すように、第２電子機器２０は、マーカー２３に換えて、複数（例えば３つ）の電波受信部２３Ｃｋ（１≦ｋ≦３）を備える。複数（例えば３つ）の電波受信部２３Ｃｋ（１≦ｋ≦３）を「位置情報ユニット」ともいう。
　ここで、第１電子機器１０は基準座標系（第１座標系）を備えており、電波発信部Ｐｊ（１≦ｊ≦４）は、例えば、基準座標系（第１座標系）のＸ軸、Ｙ軸、Ｚ軸上、線形独立となる位置に設定されるものとする。同様に、電波受信部２３Ｃｋ（１≦ｋ≦３）は、第２電子機器２０側の３次元計測部２２の備える第２座標系の固有座標系のＸ軸、Ｙ軸、Ｚ軸上、線形独立となる位置に設定されるものとする。
　図５Ｃに示すように、座標系算出部３０は、第２電子機器位置情報算出部３１Ａを備える。
　電波発信部１２Ｐｊ（１≦ｊ≦４）、距離計測部１６、及び第２電子機器位置情報算出部３１Ａを総称して、「位置情報算出部」という。
　第１電子機器１０は、距離計測部１６を備える。距離計測部１６は、各電波発信部１２Ｐｊ（１≦ｊ≦４）から送信された電波を各電波受信部２３Ｃｋ（１≦ｋ≦３）が受信することにより、送信、受信の時間間隔（伝播時間）を算出し、その距離を計測する。
　より、具体的には、第２電子機器２０の備える電波受信部２３Ｃｋ（１≦ｋ≦３）は、第１電子機器１０の電波発信部１２Ｐｊ（１≦ｊ≦４）から信号を受信すると、例えば、電波受信部２３Ｃｋ（１≦ｋ≦３）の各識別信号（電波受信部２３Ｃｋ（１≦ｋ≦３）の各ＩＤ）を付加して反射させる。
　こうすることで、第１電子機器１０が、距離計測部１６を備えることで、電波発信部１２Ｐｊ（１≦ｊ≦４）から送信された電波を各電波受信部２３Ｃｋ（１≦ｋ≦３）が反射した反射波を受信することにより、送信、受信の時間間隔（伝播時間）が算出され、その距離を計測することができる。
　距離計測部１６により、各電波発信部１２Ｐｊ（１≦ｊ≦４）と各電波受信部２３Ｃｋ（１≦ｋ≦３）間の直線距離Ｒｊｋ（１≦ｊ≦４，１≦ｋ≦３）を算出した後は、第２電子機器位置情報算出部３１Ａは、三角測量の原理に基づいて、第２電子機器２０の備える電波受信部２３Ｃｋ（１≦ｋ≦３）の第１電子機器の備える第１座標系（基準座標系）における位置情報を算出することができる。
　なお、タイムスタンプについては、各電波発信部１２Ｐｊ（１≦ｊ≦４）の送信時刻となるタイムスタンプを付して、第２電子機器２０ｎ毎に、第２電子機器位置情報Ｌｎ（ｔ）（ここで、ｎは第２電子機器２０の識別番号、ｔはタイムスタンプ）を３次元データ保存部６０の第２電子機器位置情報記憶部６２にリアルタイムに記憶することができる。
［変形例］
　前述のように、電波受信部２３Ｃｋ（１≦ｋ≦３）が受信した電波を反射させる方式に換えて、各電波発信部１２Ｐｊ（１≦ｊ≦４）から送信された電波を各電波受信部２３Ｃｋ（１≦ｋ≦３）が受信することにより、送信、受信の時間間隔（伝播時間）を算出し、その距離を計測するようにしてもよい。
　この場合、第１電子機器１０の備える電波発信部１２Ｐｊ（１≦ｊ≦４）は、電波発信部１２Ｐｊ（１≦ｊ≦４）の各識別信号（電波発信部１２Ｐｊ（１≦ｊ≦４）の各ＩＤ）を付加して送信させるようにしてもよい。
　このようにして、距離計測部１６は、第１電子機器１０側の基準座標系（例えば、Ｘ軸、Ｙ軸、Ｚ軸上の線形独立となる４点Ｐｊ（１≦ｊ≦４）から、第２電子機器２０側の第２座標系（例えば、Ｘ軸、Ｙ軸、Ｚ軸上の線形独立となる３点Ｃｋ（１≦ｋ≦３）へのそれぞれの距離Ｒｊｋ（１≦ｊ≦４，１≦ｋ≦３）を計測することができる。
　距離計測部１６により、各電波発信部１２Ｐｊ（１≦ｊ≦４）と各電波受信部２３Ｃｋ（１≦ｋ≦３）間の直線距離Ｒｊｋ（１≦ｊ≦４，１≦ｋ≦３）を算出した後は、三角測量の原理に基づいて、第２電子機器位置情報算出部３１Ａは、第２電子機器２０の有する各３次元計測部２２の第１座標系における位置情報を算出することができる。
　次に、各第２電子機器２０の第２電子機器位置情報の算出方法について説明する。
　まず、図６を参照して、距離計測部１６により、電波が第１電子機器１０の各電波発信部１２Ｐｊ（１≦ｊ≦４）から発信されてから、各第２電子機器２０の各電波受信部２３Ｃｋ（１≦ｋ≦３）により受信されるまでの時間を計測することにより２点間の距離を算出する処理について簡単に説明する。
　ここでは、計算式を簡単にするため、各電波受信部２３Ｃｋ（１≦ｋ≦３）を３次元計測部２２の備える第２座標軸に一致して、第２座標軸の原点Ｃ０から１０ｃｍの距離に設置していると仮定する。
　なお、図６を参照すると、例えば、レンズの焦点（あるいは、カメラの重心）を原点Ｃ０とし、光軸方向をＺ’軸、水平方向をＸ’軸、垂直方向をＹ’軸とすると、Ｃ１、Ｃ２、Ｃ３はそれぞれ、Ｚ’軸、Ｘ’軸、Ｙ’軸に一致して、原点Ｃ０から一定の距離例えば１０ｃｍ離れた点に設置する。
　すなわち、Ｃ０，Ｃ１，Ｃ２，Ｃ３の第２座標系における座標値は、以下のとおりとする（単位ｃｍ）。
　　Ｃ０の座標値＝（０，０，０）、
　　Ｃ１の座標値＝（０，０，１０）、
　　Ｃ２の座標値＝（１０，０，０）
　　Ｃ３の座標値＝（０，１０，０）
　同様に、計算式を簡単にするため、４つの電波発信部１２Ｐｊ（１≦ｊ≦４）のうち、Ｐ１を基準座標系（第１座標系）の原点に設置し、Ｐ２、Ｐ３、Ｐ４をそれぞれ基準座標軸（第１座標軸）に一致して、基準座標軸（第１座標軸）の原点Ｐ１からそれぞれ１０ｃｍの距離に設置していると仮定する。
　図６を参照すると、例えば、４つの電波発信部１２Ｐｊ（１≦ｊ≦４）は、それぞれ基準座標系（第１座標系）の原点、Ｘ軸、Ｙ軸、及びＺ軸に一致して設置され、各Ｐ１～Ｐ３は、原点Ｐ１から一定の距離例えば１０ｃｍ離れた点に設置する。
　すなわち、Ｐ１、Ｐ２、Ｐ３、Ｐ４の基準座標系（第１座標系）における座標値は、以下のとおりとする（単位ｃｍ）。
　　Ｐ１の座標値＝（０，０，０）、
　　Ｐ２の座標値＝（１０，０，０）、
　　Ｐ３の座標値＝（０，１０，０）、
　　Ｐ４の座標値＝（０，０，１０）
　図６には、各電波発信部１２Ｐｊ（１≦ｊ≦４）、及び各電波受信部２３Ｃｋ（１≦ｋ≦３）の位置関係を示している。
　図６に示すように、点Ｃ０、Ｃ１、Ｃ２、及びＣ３の基準座標系（第１座標系）における座標値をそれぞれ（ｘ０，ｙ０，ｚ０）、（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）、及び（ｘ３，ｙ３，ｚ３）と表す。
　図６に示すように、各電波発信部１２Ｐｊ（１≦ｊ≦４）と各電波受信部２３Ｃｋ（１≦ｋ≦３）間の直線距離は全部で１２本あり、これらをＲｊｋ（１≦ｊ≦４、１≦ｋ≦３）で表す。これらの距離Ｒｊｋは、その二点間の電波の伝播時間Ｔｊｋ（１≦ｊ≦４、１≦ｋ≦３）及び電波の速度から算出することができる。
　第１電子機器１０は、各電波発信部１２Ｐｊ（１≦ｊ≦４）から順次、予め設定された時間間隔（例えば、６ミリ秒間隔）で、電波を発信する。各電波受信部２３Ｃｋ（１≦ｋ≦３）は、各電波発信部１２Ｐｊ（１≦ｊ≦４）の発信した電波を反射させることで、各電波発信部１２Ｐｊ（１≦ｊ≦４）は、反射された電波を受信する。
　このようにして、距離計測部１６は、各電波発信部１２Ｐｊ（１≦ｊ≦４）から発信されて、各電波受信部２３Ｃｋ（１≦ｋ≦３）により受信されるまでのそれぞれの電波伝播時間測定値Ｔｊｋ（１≦ｊ≦４、１≦ｋ≦３）に基づいて、各電波発信部１２Ｐｊ（１≦ｊ≦４）と各電波受信部２３Ｃｋ（１≦ｋ≦３）間の直線距離Ｒｊｋ（１≦ｊ≦４、１≦ｋ≦３）を算出することができる。
　この際、前述したように、各電波発信部１２Ｐｊ（１≦ｊ≦４）の電波送信時刻となるタイムスタンプを直線距離｛Ｒｊｋ｝（１≦ｊ≦4，１≦ｋ≦３）に付すことができ、当該タイムスタンプに基づいて第２電子機器位置計測結果間で関連付けが可能となる。
＜３次元計測部２２の位置情報の算出について＞
　次に、第２電子機器位置情報算出部３１Ａが、各電波発信部１２Ｐｊ（１≦ｊ≦４）と各電波受信部２３Ｃｋ（１≦ｋ≦３）間の各直線距離Ｒｊｋ（１≦ｊ≦４、１≦ｋ≦３）に基づいて、各点Ｃ０、Ｃ１、Ｃ２、Ｃ３の基準座標系（第１座標系）における座標値を算出する処理について、前述の例に基づいて説明する。
　ここで、各点Ｃ０、Ｃ１、Ｃ２、Ｃ３の基準座標系（第１座標系）における座標値を（ｘ０，ｙ０，ｚ０）、（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）、及び（ｘ３，ｙ３，ｚ３）とする。
　そうすると、三平方の定理に基づき、Ｐ１とＣ１間の距離、Ｐ２とＣ１間の距離、Ｐ３とＣ１間の距離、Ｐ４とＣ１間の距離は、以下の式９～式１２が成り立つ。
　　　ｘ１ 2＋ｙ１ 2＋ｚ１ 2　＝　Ｒ１１ ２　　　　　　　　　　　　　（式９）
　　　（ｘ１－１０）2＋ｙ１ 2＋ｚ１ 2　＝　Ｒ２１ ２　　　　　　　　（式１０）
　　　ｘ１ 2＋（ｙ１－１０）2＋ｚ１ 2　＝　Ｒ３１ ２　　　　　　　　（式１１）
　　　ｘ１ 2＋ｙ１ 2＋（ｚ１－１０）2　＝　Ｒ４１ ２　　　　　　　　（式１２）
　第２電子機器位置情報算出部３１Ａは、式９～式１２に基づいて、Ｃ１の基準座標系（第１座標系）における座標値（ｘ１、ｙ１、ｚ１）を式１３により算出する。
　　ｘ１＝（Ｒ２１ ２　－　Ｒ１１ ２　＋１００）／２０　　　　　
　　ｙ１＝（Ｒ３１ ２　－　Ｒ１１ ２　＋１００）／２０　　　　　
　　ｚ１＝（Ｒ４１ ２　－　Ｒ１１ ２　＋１００）／２０　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（式１３）
　同様に、第２電子機器位置情報算出部３１Ａは、Ｃ２の基準座標系（第１座標系）における座標値（ｘ２、ｙ２、ｚ２）を、Ｐ１とＣ２間の距離、Ｐ２とＣ２間の距離、Ｐ３とＣ２間の距離、Ｐ４とＣ２間の距離に基づいて、Ｃ２の基準座標系（第１座標系）における座標値（ｘ２、ｙ２、ｚ２）を式１４により算出する。
　　ｘ２＝（Ｒ２２ ２　－　Ｒ１２ ２　＋１００）／２０　　　　　
　　ｙ２＝（Ｒ３２ ２　－　Ｒ１２ ２　＋１００）／２０　　　　　
　　ｚ２＝（Ｒ４２ ２　－　Ｒ１２ ２　＋１００）／２０　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（式１４）
　同様に、第２電子機器位置情報算出部３１Ａは、Ｃ３の基準座標系（第１座標系）における座標値（ｘ３、ｙ３、ｚ３）を、Ｐ１とＣ３間の距離、Ｐ２とＣ３間の距離、Ｐ３とＣ３間の距離、Ｐ４とＣ３間の距離に基づいて、Ｃ３の基準座標系（第１座標系）における座標値（ｘ３、ｙ３、ｚ３）を式１５により算出する。
　　ｘ３＝（Ｒ２３ ２　－　Ｒ１３ ２　＋１００）／２０　　　　　
　　ｙ３＝（Ｒ３３ ２　－　Ｒ１３ ２　＋１００）／２０　　　　　
　　ｚ３＝（Ｒ４３ ２　－　Ｒ１３ ２　＋１００）／２０　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（式１５）
　次に、第２電子機器位置情報算出部３１Ａは、Ｃ０の基準座標系（第１座標系）における座標値（ｘ０，ｙ０，ｚ０）を（式１６）～（式１８）に基づいて算出する。
　（ｘ０－ｘ１）2＋（ｙ０－ｙ１）2＋（ｚ０－ｚ１）2　＝　１０２　　（式１６）
　（ｘ０－ｘ２）2＋（ｙ０－ｙ２）2＋（ｚ０－ｚ２）2　＝　１０２　　（式１７）
　（ｘ０－ｘ３）2＋（ｙ０－ｙ３）2＋（ｚ０－ｚ３）2　＝　１０２　　（式１８）
　こうすることで、第２電子機器位置情報算出部３１Ａは、第２電子機器２０の３次元計測部２２の固有座標系（第２座標系）における原点Ｃ０（０，０，０）、Ｚ´軸上の点Ｃ１（０，０，１０）、Ｘ´軸上の点Ｃ２（１０，０，０）、及びＹ´軸上の点Ｃ３（０，１０，０）の基準座標系（第１座標系）における座標値を各々算出することができる。
　なお、Ｃ１、Ｃ２、Ｃ３の位置を計測するためには、第１電子機器１０側の超音波発信部１２は３つあればよいが、本実施形態ではＰ１、Ｐ２、Ｐ３、Ｐ４の４つとした。そうすることで、計算を簡単にするとともに、測定精度を向上させることができる。
　以上のようにして、第２電子機器位置情報算出部３１Ａは、三角測量の原理に基づいて、第２電子機器２０の有する各３次元計測部２２の基準座標系（第１座標系）における位置情報を算出することができる。
　なお、４つの電波発信部１２Ｐｊ（１≦ｊ≦４）の位置は、線形独立である任意の位置とすることができる。また、３つの電波受信部２３Ｃｋ（１≦ｋ≦３）の位置についても、第２座標系の原点Ｃ０とした場合に、始点をＣ０、終点をそれぞれＣ１、Ｃ２、Ｃ３とする３つのベクトルが、線形独立であれば、Ｃ１、Ｃ２、Ｃ３の位置は、任意の位置とすることができる。
　この場合においても、第２電子機器位置情報算出部３１Ａは、上記と同様に、三角測量の原理により、各Ｃｊ（１≦ｊ≦３）の基準座標系（第１座標系）における座標値を、Ｐ１とＣｊ（１≦ｊ≦３）間の距離、Ｐ２とＣｊ（１≦ｊ≦３）間の距離、Ｐ３とＣｊ（１≦ｊ≦３）間の距離、Ｐ４とＣｊ（１≦ｊ≦３）間の距離と、Ｐ１、Ｐ２、Ｐ３、Ｐ４の基準座標系（第１座標系）における座標値に基づいて、求めることができる。
　そして、第２電子機器位置情報算出部３１Ａは、上記と同様に、第２座標系の原点Ｃ０の基準座標系（第１座標系）における座標値を、各Ｃｊ（１≦ｊ≦３）の基準座標系（第１座標系）における座標値と各Ｃｊ（１≦ｊ≦３）の第２座標系における座標値とに基づいて、算出することができる。
　以上のように、第２電子機器位置情報算出部３１Ａは、第２電子機器２０（３次元計測部２２）の位置を表す各電波受信部２３Ｃｋ（１≦ｋ≦３）の基準座標系（第１座標系）における座標値（第２電子機器位置計測結果）を算出することができる。
　なお、前述したように、第２電子機器位置情報算出部３１Ａにより算出された各電波受信部２３Ｃｋ（１≦ｋ≦３）の基準座標系（第１座標系）における座標値は、各電波発信部１２Ｐｊ（１≦ｊ≦４）の送信時刻となるタイムスタンプを付して、第２電子機器２０ｎ毎に、第２電子機器位置情報Ｌｎ（ｔ）（ここで、ｎは第２電子機器２０の識別番号、ｔはタイムスタンプ）を３次元データ保存部６０の第２電子機器位置情報記憶部６２にリアルタイムに記憶することができる。
　距離計測部１６及び第２電子機器位置情報算出部３１Ａの一連の処理はリアルタイムに処理することができる。
［第２実施形態におけるキャリブレーションの適用］
　第２実施形態においては、第１電子機器１０の電波発信部１２Ｐｊ（１≦ｊ≦４）に基づく座標系を基準座標系（第１座標系）とし、第２電子機器２０ｎの３次元計測部２２の備える第２座標系とした場合に、第２電子機器２０ｎの電波受信部２３Ｃｋ（１≦ｋ≦３）を第２座標系における座標値が既知となる位置に取り付けることを前提とした。
　これに対して、第２電子機器２０ｎの電波受信部２３Ｃｋ（１≦ｋ≦３）の第２座標系における座標値が必ずしも既知でない場合又は取り付け時に誤差が生じる場合、第２電子機器２０ｎを予め固定した位置においた状態で、第１実施形態と同様に、キャリブレーションを行うことができる。
　説明を簡単にするため、第２電子機器２０ｎの電波受信部２３Ｃｋ（１≦ｋ≦３）に基づく座標系を電波受信部座標系という。
　ここで、説明を簡単にするため、電波受信部２３Ｃｋ（１≦ｋ≦３）の電波受信部座標系における座標値を、例えば、次のようにする（ｉは、所定の自然数）。
　Ｃ１＝（０，０，０）
　Ｃ２＝（４ｉ，０，０）
　Ｃ３＝（０，３ｉ，０）
　そして、ベクトルＣ１Ｃ２とベクトルＣ１Ｃ３との外積を頂点Ｃ１を始点として表現した場合における終点をＣ４とする。
　Ｃ４＝（０，０，１２ｉ２）
　また、第２電子機器２０ｎの第２座標系における座標値を電波受信部座標系における座標値に変換するための変換行列を電波受信部座標変換行列を、「ｎＴＭ」とする。
　第１実施形態の場合と同様に、基準座標系マーカー１０Ａを用意することで、第１座標系における座標値を基準座標系における座標値に変換するための基準座標変換行列１Ｔｗ及び第２電子機器２０ｎの第２座標系における座標値を電波受信部座標系における座標値に変換するための変換行列（電波受信部座標変換行列ｎＴＭ）を算出することができる。
　例えば、基準座標系マーカー１０Ａの球体の中心に電波受信部（Ｗ０、Ｗ１、Ｗ２）を設置する。そして、基準系マーカーの各頂点Ｗ０、Ｗ１、Ｗ２の座標を簡単のため、例えば次のようにする（ｊは、所定の自然数）。
　Ｗ０＝（０，０，０）
　Ｗ１＝（４ｊ，０，０）
　Ｗ２＝（０，３ｊ，０）
　そして、ベクトルＷ０Ｗ１とベクトルＷ０Ｗ２との外積を頂点Ｗ０を始点として表現した場合における終点をＷ３とする。
　Ｗ３＝（０，０，１２ｊ２）
を設ける。
［第１電子機器１０のキャリブレーション］
　第１実施形態と同様に、第１電子機器１０及び座標系算出部３０は、電磁波に基づいて、基準座標系マーカー１０Ａの有する電波受信部（Ｗ０、Ｗ１、Ｗ２）及びＷ３の第１座標系における座標値を算出する。
　そうすることで、第１実施形態と同様に、キャリブレーション処理部３２は、式２と同様に、第１座標系における座標値を基準座標系における座標値に変換するための基準座標変換行列１Ｔｗを算出することができる。
　次に、第１実施形態と同様に、第２電子機器２０ｎを予め固定した位置においた状態で、３次元計測部２２ｎの備える第２座標系における座標値を基準座標系における座標値に変換するための座標変換行列（以下、「ｎＴＷ」という）を算出する。
　このため、座標系算出部３０は、例えば、マーカー位置情報算出部３１を備えるように構成する。
　そうすることで、第２電子機器２０ｎの３次元計測部２２及びマーカー位置情報算出部３１により基準座標系マーカー１０Ａの頂点Ｗ０、Ｗ１、Ｗ２の位置を表す第２座標系における座標値を算出することにより、キャリブレーション処理部３２は、３次元計測部２２ｎの備える第２座標系における座標値を基準座標系における座標値に変換するための座標変換行列ｎＴＷを算出することができる。
　次に、第２電子機器２０ｎを固定した位置においた状態のままで、第２電子機器２０ｎの備える電波受信部座標系による座標値を第１電子機器１０の第１座標系における座標値に変換するための第１座標変換行列ＭｎＴ１を算出する。
　具体的には、第１実施形態と同様に、第１電子機器１０は、電波に基づいて、第２電子機器２０ｎの電波受信部２３Ｃｋ（１≦ｋ≦３）及びＣ４の第１座標系における座標値を算出する。
　そうすることで、第１実施形態と同様に、キャリブレーション処理部３２は、第２電子機器２０ｎの電波受信部座標系による座標値を第１電子機器１０の第１座標系における座標値に変換するための第１座標変換行列ＭｎＴ１を算出することができる。
　以上から、第１実施形態と同様に、キャリブレーション処理部３２は、基準座標変換行列１ＴＷ、第１座標変換行列ＭｎＴ１、及び第２座標系における座標値を基準座標系における座標値に変換するための座標変換行列ｎＴＷに基づいて、式７と同様に、第２電子機器２０ｎの３次元計測部２２の備える第２座標系における座標値を第２電子機器２０ｎの備える電波受信部２３Ｃｋ（１≦ｋ≦３）による電波受信部座標系における座標値に変換するための電波受信部座標変換行列ｎＴＭを算出することができる。
　第１実施形態の場合と同様に、基準座標変換行列１ＴＷ、及び電波受信部座標変換行列ｎＴＭは、それぞれ固定の変換行列である。
　以上のようにキャリブレーションを行い、基準座標変換行列１ＴＷ、及び電波受信部座標変換行列ｎＴＭを算出した後、例えば３次元データ処理部４０の記憶部（図示せず）に記憶するように構成する。その後、基準座標系マーカー１０Ａを現実空間から撤去することができる。
　その後、点群データ座標値変換部４１は、タイムスタンプｔにおいて、点群データの点Ｑｎ（ｔ）の第２座標系（ｎ）での座標が（ｘ，ｙ，ｚ）で表される点に対して、電波受信部座標変換行列ｎＴＭ、第２電子機器２０ｎの電波受信部座標系による座標値を第１電子機器１０の第１座標系における座標値に変換するための第１座標変換行列ＭｎＴ１（ｔ）、及び第１座標系における座標値を基準座標系における座標値に変換するための基準座標変換行列１Ｔｗによる座標変換を行うことで、基準座標系での座標（ｘｇ，ｙｇ，ｚｇ）を算出する（式１９参照）。
Figure JPOXMLDOC01-appb-M000007
 　　ここで、Ｆｎ（ｔ）＝１ＴＷ・ＭｎＴ１（ｔ）・ｎＴＭである。
　このようにして、点群データ座標値変換部４１は、タイムスタンプｔにおける、点群データＱｎ（ｔ）の各点を基準座標系での座標値に変換した点群データ｛Ｑ´ｎ（ｔ）｝を算出することができる。
［第３実施形態］
　第１実施形態又は第２実施形態では、点群データ取得システム１００は、第１電子機器１０と、当該第１電子機器１０の備える位置情報計測部１２が、その計測対象とする、第２電子機器２０とからなる１つのグループ（以下、「電子機器群」という）から構成される。
　これに対して、第１電子機器１０と第２電子機器２０とを有する電子機器群が、階層構造を構成するようにすることができる。
　図７に、電子機器群を階層構造とする場合の一例を示す。図７を参照すると、第（ｎ＋１）層（ｎ≧１）に第１電子機器１０を備え、第（ｎ＋１）層の第１電子機器１０は、第ｎ層の第１電子機器１０からみると、第２電子機器２０のように作用する。
　例えば、第１実施形態において、第（ｎ＋１）層（ｎ≧１）の第１電子機器１０は、マーカー２３を備えることにより、第ｎ層の第１電子機器１０が、第（ｎ＋１）層（ｎ≧１）の第１電子機器１０の位置情報を取得することができる。
　そうすることで、点群データ座標値変換部４１は、第（ｎ＋１）層の第１電子機器１０の第１計測座標系における座標値を第ｎ層の第１電子機器１０の第１計測座標系における座標値に変換することができる。
　このように反復処理することにより、第（ｎ＋１）層以上（ｎ≧１）にある第１電子機器１０の第１計測座標系における座標値及び第２電子機器２０の第２座標系における座標値を、第１層にある第１電子機器１０の基準座標系における座標値に変換することができる。
　第２実施形態において、電磁波伝播時間を用いて第２電子機器２０の位置情報の算出を測定することにより、第１電子機器１０が第２電子機器２０の位置情報を取得する場合、第（ｎ＋１）層（ｎ≧１）の第１電子機器１０は、電波発信部１２Ｐｊ（１≦ｊ≦４）に加えて、電波受信部２３Ｃｋ（１≦ｋ≦３）を備えることで、第ｎ層の第１電子機器１０の電波発信部１２Ｐｊ（１≦ｊ≦４）から送信された電波を、第（ｎ＋１）層（ｎ≧１）の第１電子機器１０の電波受信部２３Ｃｋ（１≦ｋ≦３）が受信することにより、第ｎ層の第１電子機器１０から、第（ｎ＋１）層の第１電子機器１０の位置情報を算出するように構成することができる。
　こうすることで、点群データ座標値変換部４１は、第（ｎ＋１）層の第１電子機器１０の第１座標系における座標値を第ｎ層の第１電子機器１０の第１座標系における座標値に変換することができる。
　このように反復処理することにより、第（ｎ＋１）層以上（ｎ≧１）にある第１電子機器１０の第１計測座標系における座標値及び第２電子機器２０の第２座標系における座標値を、第１層にある第１電子機器１０の基準座標系における座標値に変換することができる。
　以上のように、点群データ取得システム１００において、複数の電子機器群を階層的に構成することにより、３次元計測部２２の個数及び計測位置を柔軟に拡張することができる。すなわち、電子機器群の階層を増やすことにより、３次元計測部２２による測定可能な領域を広げることができる。
　以上、本発明の点群データ取得システム１００の好ましい実施形態について説明したが、本発明は上述の実施形態に制限されるものではなく、適宜変更が可能である。
［システム構成の自由度］
　本発明の点群データ取得システム１００において、第１電子機器１０、第２電子機器２０、座標系算出部３０、３次元データ処理部４０、及び３次元データ表示制御部５０、及び３次元データ保存部６０、の有する各機能部をそれぞれ、適宜特定のコンピュータに集中させるか、又は分散させることは、ユーザにとって適宜成しえる設計事項である。
　例えば、第１実施形態において、座標系算出部３０、３次元データ処理部４０、３次元データ表示制御部５０、３次元データ保存部６０の機能の一部、一部の組み合わせ、又は全部を、例えば、第１電子機器１０の機能としてもよい。
　また、座標系算出部３０、３次元データ処理部４０、３次元データ表示制御部５０、３次元データ保存部６０の機能を１つのコンピュータ又は複数のコンピュータで実装することも当業者が適宜設計できる事項である。
［位置情報算出部と位置情報ユニット］
　前述したように、第１実施形態の第１電子機器１０の備える位置情報計測部１０、座標系算出部３０の備えるマーカー位置情報算出部３１を総称して、「位置情報算出部」といい、第２実施形態の第１電子機器１０の備える電波発信部１２Ｐｊ（１≦ｊ≦４）、第２電子機器位置情報算出部３１Ａを総称して、「位置情報算出部」ということとする。
　第１実施形態の第２電子機器２０の備えるマーカー２３を総称して、「位置情報ユニット」といい、第２実施形態の第２電子機器２０の備える電波受信部２３Ｃｋ（１≦ｋ≦３）を総称して、「位置情報ユニット」ということとする。
　そうすると、本願発明は、「位置情報算出部」が、第２電子機器２０の備える「位置情報ユニット」の位置情報を算出することにより、第２電子機器２０の備える３次元計測部１２による計測した各点群データを共通の基準座標系における座標に変換することを可能とするものであるといえる。
［自律計測］
　上記実施形態においては、第２電子機器２０（３次元計測部２２）は、例えば、カメラマン等により自由に移動可能とされた。しかし、第２電子機器２０（３次元計測部２２）が、例えば、予め設定された直線レールの上を動く場合等所定の直線の上に限定して移動する場合、特に、レールが直線かつ起伏のない場合に走行距離計によりある地点からの走行距離を計測できる場合、電磁波伝播時間、又は位置情報計測部１２等に基づいて位置を算出する替わりに、自律的に位置を算出するように構成してもよい。
　同様に、第２電子機器２０（３次元計測部２２）が、例えば、回転検出器を内蔵したリールにワイヤを巻き付け、ワイヤの巻き取り回数と巻き取り角度を計測して位置を算出することができる場合、自律的に位置を算出するように構成してもよい。
　同様に、例えば、第２電子機器２０（３次元計測部２２）をコロにより移動させる場合において、回転計をコロに係合し、当該コロをレール等に押圧してコロの回転数及び角度を計測することで、第２電子機器２０（３次元計測部２２）の位置を算出することができる場合、自律的に位置を算出するように構成してもよい。
　上記実施形態では、深度カメラを３次元計測部２２として適用することを前提としたが、本発明はこれに限定されない。レーザースキャナやデジタイザや電子カメラ等であっても、同様に適用できる。
　また、第１実施形態においては、第１電子機器１０又は座標系算出部３０のトリガーによる同期制御により、複数個あるすべての３次元計測部２２に対して計測動作を同期させることにより、同時刻に計測対象物を計測させるように構成するものとしているが、各３次元計測部２２は、各々別の時刻に計測対象物を計測させるように構成してもよい。
　複数の３次元計測部２２は、各々自分のタイミングで対象物を計測して点群データを取り込み、その結果をリアルタイムに、源点群データ記憶部６１内の割り当てられた領域に格納することができる。その際、点群データにタイムスタンプは付与されるが、その時刻は３次元計測部２２毎に付与される。３次元計測部２２によって性能が違うかもしれないし、同じ性能の３次元計測部２２で同じ対象物を見ても、見る角度によって取得する点群データの量が異なれば、データ取り込みのタイミングもずれることもあるからである。
　しかし、複数の点群データを使ってデータ合成、マッチング処理を行う段階になると、データ同士の時刻合わせが必要になる。具体的には、測定時刻が必ずしも一致しない場合には、例えば当該時刻の近傍の３次元計測部２２ｎの計測位置により、線形補完することができる。また、複数の点群データ間において、時刻の近いもの同士を取り出して合成、マッチング処理することもできる。
　このように構成することで、３次元計測部２２は、第１電子機器１０のトリガーによる同期制御なしに、各々自分のタイミングで計測対象物を計測することができる。
　また、本システムの自然な拡張として、深度センサ以外の特殊カメラの追加が考えられる。サーモグラフィーのように温度データを取得できるもの、あるいは分光センシングカメラ等、スペクトルグラフを解析して、水分量、糖度、癌細胞と正常細胞の分離、血管の強調等、様々な画像情報を取得できるカメラが存在している。そのような特殊なカメラと第２電子機器２０とを組み合わせることによって、点群データに特殊な情報を付加することができる。これは、コンピュータによる外界の認識に必要な「セグメント化（画像の有意味な分離）」を可能にする。
　これらにより、例えば、機械と人体の分離、正常細胞と癌細胞の分離等の認識処理が、リアルな３次元画像を用いて行うことができるようになる。これらは、ロボットによる手術を行う場合等に有用な技術である。
１０　第１電子機器
１０Ａ　基準座標系マーカー
１１　第１通信部
１２　位置情報計測部
１２Ｐ　電波発信部
１５　時刻同期部
１６　距離計測部
２０　第２電子機器
２１　第２通信部
２２　３次元計測部
２３　マーカー
２３Ｃ　電波受信部
２５　時刻同期部
３０　座標系算出部
３１　マーカー位置情報算出部
３１Ａ　第２電子機器位置情報算出部
３２　キャリブレーション処理部
３３　時刻同期部
４０　３次元データ処理部
４１　点群データ座標値変換部
４２　合成点群データ作成部
４２１　第１合成点群データ作成部
４２２　点群データマッチング部
５０　３次元データ表示制御部
５１　視点操作部
５２　データ表示方式選択部
５３　データ再生・保存指示部
５４　３次元データ表示処理部
６０　３次元データ保存部
６１　源点群データ記憶部
６２　第２電子機器位置情報記憶部
１００　点群データ取得システム

Claims (12)

  1. 　第１電子機器と１つ以上の移動可能な第２電子機器とを有する第１の電子機器群を備える、被写体の表面の各点までの深度情報を画素単位に有する点群データを取得する点群データ取得システムであって、
    　前記第２電子機器は、
    　　第２座標系を有し、
    　　複数の、視覚的特徴を有する所定の標識物であって、前記複数の標識物はそれぞれ第２座標系において線形独立となる位置にそれぞれ設けられる、前記複数の標識物と、
    　　被写体の点群データを前記第２座標系に基づいて計測する３次元計測部と、
    　を備え、
    　前記第１電子機器は、
    　　第１座標系を有し、
    　　被写体を前記第１座標系に基づいて計測する位置情報計測部を備え、
    　前記点群データ取得システムは、さらに
    　　基準座標系を有し、
    　　前記位置情報計測部により計測されたデータに基づいて、前記第２電子機器の備える前記複数の標識物の前記第１座標系における座標値である第２電子機器位置情報を算出するマーカー位置情報算出部と、
    　　前記第２電子機器位置情報に基づいて、前記第２電子機器の備える前記３次元計測部により計測された前記点群データにおける各点のデータの前記第２座標系における座標値を、前記基準座標系における座標値に変換する点群データ座標値変換部と、
    　　前記第２電子機器の備える前記３次元計測部により計測された複数の点群データを、前記点群データ座標値変換部により変換された前記基準座標系における座標値に基づいて、１つの合成点群データを作成する合成点群データ作成部と、
    　を備える、点群データ取得システム。
  2. 　前記第２電子機器の備える視覚的特徴を有する所定の標識物は、それぞれ表面が予め設定された色で着色された、所定の半径の球であって、前記球の中心がそれぞれ予め設定された三角形の頂点を形成するとともに、前記第２電子機器を一意的に識別できるように、前記複数の標識物の視覚的特徴を前記第２電子機器ごとに異なるように構成されたことを特徴とする、請求項１に記載の点群データ取得システム。
  3. 　前記第１の電子機器群は、２つ以上の第１電子機器を備え、
    　１つの第１電子機器の備える位置情報計測部、及び別の第１電子機器の備える位置情報計測部が、それぞれの備える固有の第１座標系に基づいて、前記第２電子機器の備える前記複数の標識物を計測することを特徴とする請求項１又は請求項２に記載の点群データ取得システム。
  4. 　前記点群データ取得システムは、さらに、複数の、視覚的特徴を有する所定の標識物であって、前記複数の標識物はそれぞれ基準座標系において線形独立となる座標位置にそれぞれ設けられる、前記複数の標識物を備え、
    　前記点群データ座標値変換部は、前記マーカー位置情報算出部により算出された、前記複数の、視覚的特徴を有する所定の標識物の前記第１座標系における座標値、及び前記複数の、視覚的特徴を有する所定の標識物の前記基準座標系における座標値に基づいて、予め前記第１座標系における座標値を前記基準座標系における座標値に変換する基準座標変換行列を生成し、
    　　前記点群データ座標値変換部は、前記第２電子機器位置情報、前記点群データ、及び前記基準座標変換行列に基づいて、前記点群データにおける各点のデータの前記第２座標系における座標値を、前記基準座標系における座標値に変換する、
    　請求項１乃至請求項３のいずれか１項に記載の点群データ取得システム。
  5. 　前記点群データ取得システムは、さらに、
    　　前記第１の電子機器群に属さない、１つの第１電子機器と１つ以上の第２電子機器を備える第２の電子機器群を有し、
    　　前記第２の電子機器群に属する第１電子機器は、さらに、
    　　複数の、視覚的特徴を有する所定の標識物であって、前記複数の標識物はそれぞれ第１座標系において線形独立となる位置にそれぞれ設けられる、前記複数の標識物を備え、
    　前記第１の電子機器群に属する前記第１電子機器の前記位置情報計測部は、第１座標系に基づいて前記第２の電子機器群に属する前記第１電子機器の備える前記複数の標識物を計測し、
    　前記マーカー位置情報算出部は、前記第２の電子機器群に属する前記第１電子機器の備える前記複数の標識物の前記第１座標系における座標値である、前記第２の電子機器群に属する前記第１電子機器の位置情報を算出する、請求項１乃至請求項４のいずれか１項に記載の点群データ取得システム。
  6. 　第１電子機器と１つ以上の移動可能な第２電子機器とを有する第１の電子機器群を備える、被写体の表面の各点までの深度情報を画素単位に有する点群データを取得する点群データ取得システムであって、
    　前記第１電子機器は、
    　　第１座標系を有し、
    　　電磁波を発信する、複数の電磁波発信部であって、前記複数の電磁波発信部は、それぞれ第１座標系の線形独立である任意の位置に設けられる、前記複数の電磁波発信部と、
    　を備え、
    　前記第２電子機器は、
    　　それぞれが固有の第２座標系を有し、
    　　電磁波を受信又は反射する、複数の電磁波受信部であって、前記複数の電磁波受信部は、それぞれ前記第２座標系の線形独立である任意の位置に設けられる、前記複数の電磁波受信部と、
    　　前記点群データを前記第２座標系に基づいて計測する３次元計測部と、
    　を備え、
    　前記点群データ取得システムは、さらに
    　　基準座標系を有し、
    　　前記複数の電磁波受信部のそれぞれが、前記複数の電磁波発信部のそれぞれから発信された電磁波を受信するのに要した電磁波伝播時間、又は前記複数の電磁波発信部のそれぞれが、前記複数の電磁波受信部のそれぞれから反射された電磁波を受信するのに要した電磁波伝播時間に基づいて、前記複数の電磁波発信部のそれぞれと前記複数の電磁波受信部それぞれとの距離を測定する距離計測部と、
    　　前記距離計測部により測定された距離に基づいて、前記複数の電磁波受信部の前記第１座標系における座標値である第２電子機器位置情報をそれぞれ算出する第２電子機器位置情報算出部と、
    　　前記第２電子機器位置情報に基づいて、前記第２電子機器の備える前記３次元計測部により計測された前記点群データにおける各点のデータの前記第２座標系における座標値を、前記基準座標系における座標値に変換する点群データ座標値変換部と、
    　　前記第２電子機器の備える前記３次元計測部により計測された複数の点群データを、前記点群データ座標値変換部により変換された前記基準座標系における座標値に基づいて、１つの合成点群データを作成する合成点群データ作成部と、
    　を備える、点群データ取得システム。
  7. 　前記点群データ取得システムは、さらに、
    　　前記第１の電子機器群に属さない、１つの第１電子機器と１つ以上の第２電子機器を備える第２の電子機器群を有し、
    　　前記第２の電子機器群に属する第１電子機器は、さらに、
    　　　電磁波を受信又は反射する、複数の電磁波受信部を備え、
    　　前記距離計測部は、さらに前記第１の電子機器群に属する前記第１電子機器の前記複数の電磁波発信部のそれぞれから発信された電磁波を、前記複数の電磁波受信部のそれぞれが、前記複数の電磁波発信部のそれぞれから発信された電磁波を受信するのに要した電磁波伝播時間、又は前記複数の電磁波発信部のそれぞれが、前記複数の電磁波受信部のそれぞれから反射された電磁波を受信するのに要した電磁波伝播時間に基づいて、前記複数の電磁波発信部のそれぞれと前記第２の電子機器群に属する前記第１電子機器の備える前記複数の電磁波受信部それぞれとの距離を測定し、
    　　前記第２電子機器位置情報算出部は、さらに前記距離計測部により測定された前記距離に基づいて、前記第２の電子機器群に属する第１電子機器の複数の電磁波受信部の前記第１の電子機器群に属する第１電子機器における第１座標系における座標値をそれぞれ算出する、請求項６に記載の点群データ取得システム。
  8. 　前記合成点群データ作成部は、さらに、
    　　複数の点群データを、前記点群データ座標値変換部により変換された前記基準座標系における座標値に基づいて、重なる部分の位置合わせを行うことで、１つの合成点群データを作成する、請求項１乃至請求項７のいずれか１項に記載の点群データ取得システム。
  9. 　前記合成点群データ作成部は、さらに、
    　　複数の点群データを、前記点群データ座標値変換部により変換された前記基準座標系における座標値に基づいて、重なる部分の位置合わせを行い、さらに前記基準座標系における同一座標値を有する部分を有する異なる複数の点群データを用いて、前記複数の点群データをマッチングする点群データマッチング部を備える請求項１乃至請求項８のいずれか１項に記載の点群データ取得システム。
  10. 　被写体の表面の各点までの深度情報を画素単位に有する点群データを取得する点群データ取得方法であって、
    　第１座標系を有する第１電子機器の位置情報計測部により、第２座標系をそれぞれ有する１つ以上の第２電子機器がそれぞれ備える複数の標識物を計測する位置情報計測ステップと、
    　前記位置情報計測ステップにより計測されたデータに基づいて、前記第２電子機器の備える前記複数の標識物の前記第１座標系における座標値である第２電子機器位置情報を算出する位置情報算出ステップと、
    　前記１つ以上の第２電子機器の３次元計測部により、点群データを前記第２座標系に基づいて計測する３次元計測ステップと、
    　前記第２電子機器位置情報に基づいて、前記３次元計測ステップにより計測された前記点群データにおける各点のデータの前記第２座標系における座標値を、基準座標系における座標値に変換する点群データ座標値変換ステップと、
    　前記３次元計測ステップにより計測された複数の点群データを、前記点群データ座標値変換ステップにより変換された前記基準座標系における座標値に基づいて、１つの合成点群データを作成する合成点群データ作成ステップと、
    　を備える点群データ取得方法。
  11. 　被写体の表面の各点までの深度情報を画素単位に有する点群データを取得する点群データ取得方法であって、
    　第１座標系を有する第１電子機器の複数の電磁波発信部により複数の電磁波を発信する電磁波発信ステップと、
    　第２座標系をそれぞれ有する１つ以上の第２電子機器の複数の電磁波受信部により、前記電磁波発信ステップにより発信された前記複数の電磁波のそれぞれを受信する超音波受信ステップと、
    　前記複数の電磁波受信部のそれぞれが、前記複数の電磁波発信部のそれぞれから発信された電磁波を受信するのに要した電磁波伝播時間、又は前記複数の電磁波発信部のそれぞれが、前記複数の電磁波受信部のそれぞれから反射された電磁波を受信するのに要した電磁波伝播時間に基づいて、前記複数の電磁波発信部のそれぞれと前記複数の電磁波受信部それぞれとの距離を測定する距離計測ステップと、
    　前記距離計測ステップにより測定された距離に基づいて、前記複数の電磁波受信部の前記第１座標系における座標値である第２電子機器位置情報をそれぞれ算出する第２電子機器位置情報算出ステップと、
    　前記１つ以上の第２電子機器の３次元計測部により、点群データを前記第２座標系に基づいて計測する３次元計測ステップと、
    　前記第２電子機器位置情報に基づいて、前記３次元計測ステップにより計測された前記点群データにおける各点のデータの前記第２座標系における座標値を、基準座標系における座標値に変換する点群データ座標値変換ステップと、
    　　前記３次元計測ステップにより計測された複数の点群データを、前記点群データ座標値変換ステップにより変換された前記基準座標系における座標値に基づいて、１つの合成点群データを作成する合成点群データ作成ステップと、
    　を備える点群データ取得方法。
  12. 　コンピュータに、請求項１０又は請求項１１に記載の方法の各ステップを実行させるためのコンピュータプログラム。
PCT/JP2016/085397 2015-12-07 2016-11-29 点群データ取得システム及びその方法 WO2017098966A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-238724 2015-12-07
JP2015238724A JP6293110B2 (ja) 2015-12-07 2015-12-07 点群データ取得システム及びその方法

Publications (1)

Publication Number Publication Date
WO2017098966A1 true WO2017098966A1 (ja) 2017-06-15

Family

ID=59013071

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/085397 WO2017098966A1 (ja) 2015-12-07 2016-11-29 点群データ取得システム及びその方法

Country Status (2)

Country Link
JP (1) JP6293110B2 (ja)
WO (1) WO2017098966A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862215A (zh) * 2020-07-29 2020-10-30 上海高仙自动化科技发展有限公司 一种计算机设备定位方法、装置、计算机设备和存储介质
WO2021019906A1 (ja) * 2019-07-26 2021-02-04 パナソニックＩｐマネジメント株式会社 測距装置、情報処理方法、および情報処理装置
CN113671513A (zh) * 2020-05-14 2021-11-19 日立乐金光科技株式会社 测距系统以及测距传感器的校准方法
WO2023204105A1 (ja) * 2022-04-21 2023-10-26 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法、データ製造方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109212540A (zh) * 2018-09-12 2019-01-15 百度在线网络技术（北京）有限公司 基于激光雷达系统的测距方法、装置及可读存储介质
JP7078127B2 (ja) 2018-10-18 2022-05-31 富士通株式会社 算出方法、算出プログラムおよび情報処理装置
JP2021060666A (ja) * 2019-10-03 2021-04-15 デンカ株式会社 三次元画像の生成方法、三次元画像生成装置、ガイダンス装置、およびプログラム
WO2021112107A1 (ja) * 2019-12-04 2021-06-10 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
CN117501315A (zh) 2021-06-29 2024-02-02 富士胶片株式会社 图像处理装置、图像处理方法及程序
JP2023022517A (ja) 2021-08-03 2023-02-15 株式会社東芝 計測システム及び計測プログラム
WO2023223437A1 (ja) * 2022-05-17 2023-11-23 日本電信電話株式会社 レジストレーション装置、レジストレーション方法、及びプログラム
JP7228070B1 (ja) * 2022-07-20 2023-02-22 株式会社ダイヘン 点群データ合成装置、点群データ合成プログラム、点群データ合成方法及び点群データ合成システム
WO2024047785A1 (ja) * 2022-08-31 2024-03-07 クオリカ株式会社 測量システムおよび測量方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11513495A (ja) * 1995-10-12 1999-11-16 メトロノール・エイ・エス・エイ 空間座標の点から点への測定システム
JP2001051593A (ja) * 1999-08-10 2001-02-23 Morita Mfg Co Ltd 再構成画像による歯科実習方法、歯科実習システム、この方法を実現するプログラムを記録した記録媒体、及び、再構成画像による歯科表示システム、このシステムを実現するプログラムを記録した記録媒体
JP2015034711A (ja) * 2013-08-07 2015-02-19 株式会社東芝 ３次元データの処理装置、その処理方法及びその処理プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080243416A1 (en) * 2007-03-30 2008-10-02 Mitutoyo Corporation Global calibration for stereo vision probe
JP5200582B2 (ja) * 2008-02-27 2013-06-05 国立大学法人浜松医科大学 長軸部を有する物体の長軸部の先端座標と該物体の位置姿勢を定義する手段との３次元相対関係測定方法およびシステム
JP6181388B2 (ja) * 2013-03-08 2017-08-16 株式会社トプコン 計測装置
WO2015021173A1 (en) * 2013-08-06 2015-02-12 Laser Projection Technologies, Inc. Virtual laser projection system and method
JP6293049B2 (ja) * 2014-12-26 2018-03-14 株式会社Ｈｉｅｌｅｒｏ 点群データ取得システム及びその方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11513495A (ja) * 1995-10-12 1999-11-16 メトロノール・エイ・エス・エイ 空間座標の点から点への測定システム
JP2001051593A (ja) * 1999-08-10 2001-02-23 Morita Mfg Co Ltd 再構成画像による歯科実習方法、歯科実習システム、この方法を実現するプログラムを記録した記録媒体、及び、再構成画像による歯科表示システム、このシステムを実現するプログラムを記録した記録媒体
JP2015034711A (ja) * 2013-08-07 2015-02-19 株式会社東芝 ３次元データの処理装置、その処理方法及びその処理プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021019906A1 (ja) * 2019-07-26 2021-02-04 パナソニックＩｐマネジメント株式会社 測距装置、情報処理方法、および情報処理装置
CN113671513A (zh) * 2020-05-14 2021-11-19 日立乐金光科技株式会社 测距系统以及测距传感器的校准方法
CN113671513B (zh) * 2020-05-14 2024-02-23 日立乐金光科技株式会社 测距系统以及测距传感器的校准方法
CN111862215A (zh) * 2020-07-29 2020-10-30 上海高仙自动化科技发展有限公司 一种计算机设备定位方法、装置、计算机设备和存储介质
CN111862215B (zh) * 2020-07-29 2023-10-03 上海高仙自动化科技发展有限公司 一种计算机设备定位方法、装置、计算机设备和存储介质
WO2023204105A1 (ja) * 2022-04-21 2023-10-26 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法、データ製造方法

Also Published As

Publication number Publication date
JP2017106749A (ja) 2017-06-15
JP6293110B2 (ja) 2018-03-14

Similar Documents

Publication Publication Date Title
JP6293110B2 (ja) 点群データ取得システム及びその方法
JP6293049B2 (ja) 点群データ取得システム及びその方法
US11928838B2 (en) Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
CN110383343B (zh) 不一致检测系统、混合现实系统、程序和不一致检测方法
JP5538667B2 (ja) 位置姿勢計測装置及びその制御方法
WO2021203883A1 (zh) 三维扫描方法、三维扫描系统和计算机可读存储介质
WO2016184255A1 (zh) 一种视觉定位装置及基于该装置的三维测绘系统及方法
JP2021530821A (ja) 三次元無線モデル構築を実行するための方法、装置およびコンピュータプログラム
JP2004062758A (ja) 情報処理装置および方法
WO2019100219A1 (zh) 输出影像生成方法、设备及无人机
CN110889873A (zh) 一种目标定位方法、装置、电子设备及存储介质
CN111238368A (zh) 三维扫描方法及装置
JP7379065B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2018106661A (ja) 不整合検出システム、複合現実システム、プログラム及び不整合検出方法
CN112270702A (zh) 体积测量方法及装置、计算机可读介质和电子设备
US20070076096A1 (en) System and method for calibrating a set of imaging devices and calculating 3D coordinates of detected features in a laboratory coordinate system
CN116824067B (zh) 一种室内三维重建方法及其装置
KR102298047B1 (ko) 디지털 콘텐츠를 녹화하여 3d 영상을 생성하는 방법 및 장치
WO2022228461A1 (zh) 一种基于激光雷达的三维超声成像方法和系统
CA3142001C (en) Spherical image based registration and self-localization for onsite and offsite viewing
CN113888702A (zh) 基于多tof激光雷达和rgb摄像头的室内高精度实时建模和空间定位的装置和方法
JP2008203991A (ja) 画像処理装置
CN116136408A (zh) 室内导航方法、服务器、装置和终端
Kim et al. Pose initialization method of mixed reality system for inspection using convolutional neural network
CN114723923B (zh) 一种传动解决方案模拟展示系统和方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16872866

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16872866

Country of ref document: EP

Kind code of ref document: A1