WO2017033300A1 - ３次元形状データの作成方法 - Google Patents

３次元形状データの作成方法 Download PDF

Info

Publication number
WO2017033300A1
WO2017033300A1 PCT/JP2015/073959 JP2015073959W WO2017033300A1 WO 2017033300 A1 WO2017033300 A1 WO 2017033300A1 JP 2015073959 W JP2015073959 W JP 2015073959W WO 2017033300 A1 WO2017033300 A1 WO 2017033300A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
point cloud
scanners
point
cloud data
Prior art date
Application number
PCT/JP2015/073959
Other languages
English (en)
French (fr)
Inventor
田中　健治
中村　薫
Original Assignee
株式会社イノベーション・アイ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社イノベーション・アイ filed Critical 株式会社イノベーション・アイ
Priority to PCT/JP2015/073959 priority Critical patent/WO2017033300A1/ja
Priority to PCT/JP2016/072771 priority patent/WO2017033692A1/ja
Priority to JP2017536719A priority patent/JP6647548B2/ja
Publication of WO2017033300A1 publication Critical patent/WO2017033300A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Definitions

  • the present invention relates to a method for creating three-dimensional shape data, and in particular, acquires point cloud data in a short time by using a high-speed scan and without using a measurement target, and combines the point cloud data acquired from a plurality of directions.
  • the present invention relates to a method for generating synthesized three-dimensional shape data.
  • a technique for estimating the three-dimensional shape of a target object from a sequence of moving images and still images captured by a digital camera or the like is one of important issues in the field of computer vision research.
  • the shape is estimated by obtaining the motion of the camera, and then obtaining the distance from the camera center of the feature point on the measurement object.
  • the method is performed, in a time-series moving image, since the movement of the corresponding point between each frame is small, it is almost impossible to specify the movement by parallel movement or rotational movement.
  • a plurality of measurement targets are set on the measurement object and its vicinity or surface, and the measurement object and the plurality of targets are imaged from a plurality of directions using a camera or the like, and point groups corresponding to the plurality of directions While creating data, a method is known in which point cloud data corresponding to a plurality of directions is synthesized based on calculated three-dimensional coordinates of a plurality of targets to create three-dimensional shape data (Patent Document 1). Patent Document 2, Patent Document 3).
  • Patent Document 1 A method of constructing a three-dimensional space is conceivable (Patent Document 1).
  • the present invention provides a method for creating three-dimensional shape data in which point cloud data is acquired and combined in a short time by high-speed scanning and without using a measurement target. Is an issue.
  • a measurement object is placed on a reference axis, and at least the first and second 3D scanners are placed on the reference axis.
  • the first 3D scanner includes a step of scanning a scan area on the surface of the object in one frame, and first point cloud data composed of position data and color data of a plurality of points up to the surface of the measurement object.
  • 2nd point cloud data which is obtained from the scan data of one frame and comprises position data and color data of each point up to the surface of the measurement object Obtaining from one frame of scan data of the second 3D scanner, and creating combined three-dimensional shape data by combining the first point cloud data and the second point cloud data. It is characterized by having.
  • a measurement object is placed on a reference axis, and at least the first and second 3D scanners are placed on the reference axis.
  • the reference axis line is directed from a plurality of different directions around the reference axis line, and a point group to be acquired is superimposed on at least the side of the scan area of the first and second 3D scanners.
  • First point group data composed of position data and color data of each point is acquired from scan data of one frame of the first 3D scanner.
  • the second point group data composed of the position data and color data of each point up to the surface of the measurement object is obtained from the scan data of one frame of the second 3D scanner, and the first Correcting the position data of the point cloud data and / or the second point cloud data into position data in the same three-dimensional space corresponding to the positional relationship of the first and second 3D scanners, and the first point Among the group data, position data and / or color data of the point group that is assumed to be superimposed on the second point group data are extracted, and the extracted position data and / or color data and the second point group are extracted.
  • the three-dimensional shape data of the measurement object placed on the reference axis is created on the same plane perpendicular to the reference axis.
  • each of the at least first and second 3D scanners scans the scan area of the surface of the measurement object in a stationary posture in one frame, and each of a plurality of each of the surfaces up to the surface of the measurement object
  • First point cloud data composed of point position data and color data is acquired from scan data of one frame of the first 3D scanner.
  • Second point cloud data composed of position data and color data of each point up to the surface of the measurement object is acquired from scan data of one frame of the second 3D scanner, and the first point cloud
  • the position data of the data and / or the second point cloud data is corrected to the position data in the same three-dimensional space corresponding to the positional relationship of the first and second 3D scanners, and among the first point cloud data,
  • the position data and / or color data of the point group that is assumed to be superimposed on the second point group data are extracted, and the position of the extracted position data and / or color data and the second point group data is extracted.
  • the first and second point cloud data Coupling is characterized in that so as to create a composite three-dimensional shape data by.
  • the point cloud data is acquired by the 3D scanner in the same manner as capturing a video with a video camera, and the obtained point cloud data is aligned in real time to repeat the three-dimensional space.
  • a method of building a space can be considered.
  • a typical 3D scanner scans 15 to 30 frames (number of times) per second to acquire point cloud data, and at the same time, combines with already acquired point cloud data.
  • Point cloud data is acquired from one frame of scan data obtained by scanning (infrared laser irradiation) and stored.
  • the point cloud data obtained at this time is data composed only of position data (for example, X, Y, Z) and color data (for example, R, G, B).
  • position data for example, X, Y, Z
  • color data for example, R, G, B.
  • the creation method of the present invention even when the object to be measured W is scanned 360 °, only one frame is scanned from a plurality of directions. For example, one frame is scanned once from four directions every 90 °, and point cloud data is scanned. Therefore, scanning can be performed in an extremely short time, and the processing load on the arithmetic processing unit (computer) can be reduced. Therefore, processing can be performed even with relatively low-spec hardware.
  • the object to be 3D scanned is a human or an animal
  • 3D scanning and 3D space construction can be performed separately. Not only can the time required for 3D scanning be shortened, but also the burden on the human being or animal to be measured is reduced. As a result, small children (1-2 years old) and pets who are difficult to maintain the same posture can be targeted for 3D scanning.
  • the point cloud data obtained by the first 3D scanner is considered as data from the front, and the second and later.
  • the point cloud data obtained by this 3D scanner is rotated and moved to the approximate position according to the mutual positional relationship between the first 3D scanner and the second and subsequent 3D scanners, and then the correlation Is used to focus on the overlapping parts of the point cloud data and perform detailed alignment.
  • the surface layer portion of the point cloud data is meshed.
  • a 3D model obtained by scanning a measurement object when a 3D model obtained by scanning a measurement object is mainly considered, a 3D model from a plurality of directions is obtained.
  • a registered parameter rotation matrix
  • spatial alignment is performed.
  • Another feature of the present invention is that position data and / or color data of a portion that is supposed to be superimposed on the second point cloud data is extracted from the first point cloud data, and the position data of the second point cloud data and Compared with the color data, the position data and / or color data of the first and second point group data is identified and the portion correlated with the color data is overlaid and the first and second point group data is The point is that the combined three-dimensional shape data is created by combining.
  • point cloud data in a plurality of directions can be acquired without using a measurement target, and a plurality of point cloud data in each direction can be synthesized to create 3D shape data.
  • the possibility of generation failure of 3D shape data due to a setting error or the like can be eliminated, and the installation of the target is not required, so that the work efficiency can be improved.
  • the 3D scanner is known, for example, as a 3D scanner that acquires point position data from a distance to a measurement object by laser transmission and reception and color data of a point by imaging with an RGB camera, for example, 3D known as Kinect (trade name, manufactured by Microsoft Corporation).
  • a scanner can be used.
  • the first, second, and third 3D scanners may be set every 120 °, and the first, second, third, and fourth 3D scanners may be set.
  • the four 3D scanners may be set every 90 °, and in any case, the correlation between the color data of the point cloud data is determined and the point cloud data to be superimposed is identified and superimposed and synthesized. What should I do?
  • the first, second, third, and fourth 3D scanners are on the same plane perpendicular to the reference axis.
  • the point groups to be acquired and directed from the directions 90 ° apart from each other with the reference axis as the center are overlapped at the ends of the scan areas of the first to fourth 3D scanners.
  • first, second, third, and fourth point group data are obtained by the first, second, third, and fourth 3D scanners, and the first, second, third, and / or Alternatively, the position data of the fourth point group data is corrected to position data in the same three-dimensional space corresponding to the positional relationship of the first to fourth 3D scanners, and the first point group data and the second point data are corrected.
  • Group data, second point cloud data and third point cloud data, third The point cloud data and the fourth point cloud data and the portion where the color data of the fourth point cloud data and the first point cloud data are correlated are identified, and the identified point cloud data is superimposed and the above-mentioned point cloud data is superimposed.
  • Three-dimensional shape data may be created by combining the first to fourth point group data.
  • the point color data of the point cloud data includes not only chromatic colors but also achromatic colors expressed in white and black.
  • the point color data of the point cloud data can be expressed by, for example, RGB numerical values.
  • the color density is expressed by the black area of the unit area points. Therefore, the black area of each point can be handled as color data.
  • the point position data can be expressed as XYZ three-dimensional coordinate data, but may be expressed as polar coordinate data.
  • FIG. 1 to 6 show a preferred embodiment of a method for creating three-dimensional shape data according to the present invention.
  • the measurement object W is placed on the reference axis C, and the first to fourth 3D scanners 10A to 10D are located with respect to the reference axis C.
  • the point groups that are directed to the reference axis C from the directions spaced apart from each other by 90 ° with respect to the reference axis C and are to be acquired are the scan areas of the first to fourth 3D scanners 10A to 10D. It is set so that it may overlap in the edge part.
  • the 3D scanners 10A to 10D include an infrared laser emitting unit 11, a light receiving unit 12 that receives reflected light, and an RGB camera 13.
  • the 3D scanners 10A to 10D each of the measurement object W Measure the 3D shape of the outer surface for only one frame.
  • the arithmetic processing unit 20 initializes the 3D scanners 10A to 10D of this example (the arithmetic processing unit 20 may be provided for each of a plurality of 3D scanners), and the scanner 11 and the 3D scanners 10A to 10D are scanned by an infrared laser.
  • the distance from 12 to the outer surface of the measuring object W is obtained as a depth image.
  • This depth image is, for example, 640 ⁇ 480 pixels, and each pixel has, for example, an accuracy of 13 bits.
  • the numerical value of the pixel represents the depth from the infrared laser emitting portion 11 and the light receiving portion 12 to the outer surface of the measurement object W in mm units, and each pixel corresponds to one point on the outer surface of the measurement object W.
  • the coordinate values of the X axis (horizontal direction), the Y axis (vertical direction), and the Z axis (depth direction) can be calculated. That is, the numerical value of the pixel corresponds to the value of the Z axis, and the coordinate values of the X axis and the Y axis can be obtained from the image coordinates and the viewing angles and depths (Z values) of the 3D scanners 10A to 10D.
  • the point cloud data is data (X, Y, Z / (R, R, G) in which the position data (X, Y, Z) and color data (R, G, B) of each point in three-dimensional coordinates are combined. G, B), it is stored in the arithmetic processing unit 20 (steps S12 and S13 in FIG. 4).
  • the position data of the four point group data are converted into position data in the same three-dimensional space (steps S20 to S22). Since the first to fourth 3D scanners 10A to 10D are 90 ° apart from each other on the same plane, the position data (X, Y) are converted so that they become the same three-dimensional space data. , Z).
  • first to fourth point cloud data combination processing is performed (steps S23 to S24).
  • the point cloud data obtained by the measurement by the 3D scanners 10A to 10D only represents a part of the shape of the measurement object W, and in order to obtain complete three-dimensional shape data of the measurement object W, it is from a different direction. It is necessary to integrate the point cloud data acquired by the four 3D scanners 10A to 10D into one.
  • each of the first to fourth 3D scanners 10A to 10D is set so that the end of the scan area is overlapped. Therefore, first, the first point group data G1 obtained by the first 3D scanner 10A is set. The position data and color data of the point cloud data G1a of the portion that is supposed to be superimposed on the second point cloud data G2 are extracted. The extraction may be only position data or only color data. The extracted first point cloud data G1a is compared with the position data and color data of the end of the second point cloud data G2 by the second 3D scanner 10B, and the point cloud data D2a of the correlated portion is specified. To do.
  • the correlation is determined to be coincident when there is a correlation of 90% or more, for example, because the point cloud data G1 and G2 are not always completely matched because of noise and the like. It means to judge.
  • the first and second point group data G1 and G2 are combined by superimposing the portions G1a and G2a.
  • the second and third point cloud data, the third point cloud data and the fourth point cloud data, and the fourth point cloud data and the first point cloud data are combined, a complete three-dimensional point is obtained. Since group data is obtained, it is stored in the arithmetic processing unit 20.
  • the number of pixels can be reduced by filtering if the noise of the color data can be removed and the density of the point cloud data can be lowered after the combination.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

　【課題】　高速スキャンによって短時間で、しかも計測用のターゲットを使用することなく、点群データを取得し、複数の方向から取得した点群データを合成して合成３次元形状データを作成する方法を提供する。　【解決手段】　基準軸線Ｃ上に測定対象物Ｗを設置し、基準軸線に対して垂直な同一平面上において基準軸線を中心にして異なる複数の方向から基準軸線を指向するように設定された少なくとも第１、第２の３Ｄスキャナーを用いる。少なくとも第１、第２の３Ｄスキャナーの各々によって静止姿勢の測定対象物表面のスキャン領域を１フレームでスキャンし、測定対象物の表面までの複数の各点の位置データと色データから構成される第１、第２の点群データを第１、第２の３Ｄスキャナーの１フレームのスキャンデータから取得し、第１、第２の点群データを結合して合成３次元形状データを作成する。

Description

３次元形状データの作成方法
　本発明は３次元形状データの作成方法に関し、特に高速スキャンによって短時間で、しかも計測用のターゲットを使用することなく、点群データを取得し、複数の方向から取得した点群データを結合して合成３次元形状データを作成するようにした方法に関する。
　例えば、デジタルカメラなどによって取り込んだ動画像や静止画像の系列から、対象物体の３次元形状を推定する技術は、コンピュータヴィジョンの研究分野における重要な課題の一つである。
　例えば、時系列の２次元動画の画像から３次元形状データを作成する場合、カメラの運動を求め、次に計測対象物上の特徴点のカメラ中心からの距離を求めることにより、形状を推定する方法が行われるが、時系列動画像では各フレーム間での対応点の動きが小さいので、運動を平行運動か回転運動かによって特定するのは不可能に近い。
　他方、計測対象物とその近傍または表面に測定用の複数のターゲットを設定し、カメラ等を使用して複数の方向から計測対象物及び複数のターゲットを撮像し、複数の方向に対応した点群データを作成する一方、複数の方向に対応する点群データを、算出された複数のターゲットによる３次元座標に基づいて合成して３次元形状データを作成する方法が知られている（特許文献１、特許文献２、特許文献３）。
　ところで、３次元空間を構築する場合、ビデオカメラで動画を撮影するような要領で、３Ｄスキャナーによって点群データを取得し、得られた点群データをリアルタイムで位置合わせすることを繰り返すことによって、３次元空間を構築していく方法が考えられる（特許文献１）。
特開２００２－８０１４号公報 特開２００７－６４６６８号公報 特開２０１２－５３００４号公報
　しかし、特許文献１記載の３次元形状データの作成方法では、一般的な３Ｄスキャナーを用いると、１秒間に１５～３０フレーム（回数）のスキャンを行い、点群データを取得すると同時に、既に取得している点群データとの結合を行う必要があるので、演算処理装置（コンピュータ）に過大な処理負荷がかかるため、高いスペックのハードウェアが必要になる。
　また、３Ｄスキャンを行う対象が人間や動物等である場合、同じ姿勢を維持することが必要であるが、小さな子供（１～２歳児）やペットなどは同じ姿勢を維持させることが難しく、３Ｄスキャンの対象とすることが難しい。
　さらに、特許文献１～３記載の３次元形状データの作成方法ではターゲットを基準に点群データを重ね合わせて合成するようにしているので、作業者によるターゲット設定ミスなどに起因して正確な３次元形状データを合成できないおそれがあるばかりでなく、作業効率が悪いという問題があった。
　本発明はかかる問題点に鑑み、高速スキャンによって短時間で、しかも計測用のターゲットを使用することなく、点群データを取得して結合するようにした３次元形状データの作成方法を提供することを課題とする。
　そこで、本発明に係る３次元形状データの作成方法は、３次元形状データを作成するにあたり、基準軸線上に測定対象物を設置し、少なくとも第１、第２の３Ｄスキャナーを上記基準軸線に対して垂直な同一平面上において上記基準軸線を中心にして異なる複数の方向から上記基準軸線を指向するように設定する工程と、上記少なくとも第１、第２の３Ｄスキャナーの各々によって静止姿勢の上記測定対象物表面のスキャン領域を１フレームでスキャンする工程と、上記測定対象物の表面までの複数の各点の位置データと色データから構成される第１の点群データを上記第１の３Ｄスキャナーの１フレームのスキャンデータから取得するとともに、上記測定対象物の表面までの各点の位置データと色データから構成される第２の点群データを上記第２の３Ｄスキャナーの１フレームのスキャンデータから取得する工程と、上記第１の点群データと上記第２の点群データを結合することによって合成３次元形状データを作成する工程と、を備えたことを特徴とする。
　また、本発明に係る３次元形状データの作成方法は、３次元形状データを作成するにあたり、基準軸線上に測定対象物を設置し、少なくとも第１、第２の３Ｄスキャナーを上記基準軸線に対して垂直な同一平面上において上記基準軸線を中心にして異なる複数の方向から上記基準軸線を指向しかつ取得すべき点群が上記少なくとも第１、第２の３Ｄスキャナーのスキャン領域の側部において重畳するように設定する工程と、上記少なくとも第１、第２の３Ｄスキャナーの各々によって静止姿勢の上記測定対象物表面のスキャン領域を１フレームでスキャンする工程と、上記測定対象物の表面までの複数の各点の位置データと色データから構成される第１の点群データを上記第１の３Ｄスキャナーの１フレームのスキャンデータから取得するとともに、上記測定対象物の表面までの各点の位置データと色データから構成される第２の点群データを上記第２の３Ｄスキャナーの１フレームのスキャンデータから取得する工程と、上記第１の点群データ及び／又は第２の点群データの位置データを第１、第２の３Ｄスキャナーの位置関係に対応して同一３次元空間における位置データに修正する工程と、上記第１の点群データのうち、上記第２の点群データとの重畳が想定される点群の位置データ及び／又は色データを抽出し、該抽出した位置データ及び／又は色データと上記第２の点群データのうちの位置データ及び／又は色データを比較して相関関係にある点群データを特定する工程と、該特定した上記第２の点群データの部分と上記第１の点群データの想定した部分とを重ね合わせて上記第１、第２の点群データを結合することによって合成３次元形状データを作成する工程と、を備えたことを特徴とする。
　また、本発明に係る３次元形状データの作成方法は、基準軸線上に設置された測定対象物の３次元形状データを作成するにあたり、上記基準軸線に対して垂直な同一平面上において上記基準軸線を中心にして異なる複数の方向から上記基準軸線を指向しかつ取得すべき点群が少なくとも第１、第２の３Ｄスキャナーのスキャン領域の側部において重畳するように設定された上記少なくとも第１、第２の３Ｄスキャナーを用い、上記少なくとも第１、第２の３Ｄスキャナーの各々によって静止姿勢の上記測定対象物表面のスキャン領域を１フレームでスキャンし、上記測定対象物の表面までの複数の各点の位置データと色データから構成される第１の点群データを上記第１の３Ｄスキャナーの１フレームのスキャンデータから取得するとともに、上記測定対象物の表面までの各点の位置データと色データから構成される第２の点群データを上記第２の３Ｄスキャナーの１フレームのスキャンデータから取得し、上記第１の点群データ及び／又は第２の点群データの位置データを第１、第２の３Ｄスキャナーの位置関係に対応して同一３次元空間における位置データに修正し、上記第１の点群データのうち、上記第２の点群データとの重畳が想定される点群の位置データ及び／又は色データを抽出し、該抽出した位置データ及び／又は色データと上記第２の点群データのうちの位置データ及び／又は色データを比較して相関関係にある点群データを特定し、該特定した上記第２の点群データの部分と上記第１の点群データの想定した部分とを重ね合わせて上記第１、第２の点群データを結合することによって合成３次元形状データを作成するようにしたことを特徴とする。
　３次元空間を構築する場合、ビデオカメラで動画を撮影するような要領で、３Ｄスキャナーによって点群データを取得し、得られた点群データをリアルタイムで位置合わせすることを繰り返すことによって、３次元空間を構築していく方法が考えられる。
　一般的な３Ｄスキャナーでは１秒間に１５～３０フレーム（回数）のスキャンを行い、点群データを取得すると同時に、既に取得している点群データとの結合を行う。例えば、測定対象物を３６０°スキャンするのに９０秒かかるとし、１，３５０フレーム～２，７００フレームのデータを取得すると同時に、結合とメッシュ化を行い、スキャンを終了した時点で求める３次元空間を構築するので、演算処理装置（コンピュータ）に処理負荷がかかるため、高いスペックのハードウェアが必要になる。
　また、測定対象物か３Ｄスキャナーのどちらかの位置をずらして３次元空間を構築する必要がある。
　さらに、複数の３Ｄスキャナーを使用し、スキャン後にデータを結合する場合、事前にそれぞれの３Ｄスキャナーの位置合わせを高精度に行っておく必要がある。
　これに対し、本発明に係る３次元形状データの作成方法では測定対象物及び３Ｄスキャナーの両方とも静止させた状態でスキャンを行い、しかもカメラで静止画を撮影するような要領で、１回だけのスキャン（赤外線レーザー照射）により得られる１フレームのスキャンデータから点群データを取得して保存する。この時に得られる点群データは、位置データ（例えばＸ，Ｙ，Ｚ）及び色データ（例えばＲ，Ｇ，Ｂ）のみから構成されるデータである。
　複数の３Ｄスキャナーによって得られた点群データを利用する場合、保存した点群データを事後的に読み出し、位置合わせを行ってから結合して３次元空間を構築する。
　また、本発明の作成方法では測定対象物Ｗを３６０°スキャンする場合にも複数の方向から１フレームだけスキャンする、例えば９０°毎の４方向から１フレームを１回ずつスキャンして点群データを取得すればよいので、極めて短時間でスキャンを行うことができ、演算処理装置（コンピュータ）の処理負荷が軽減されるので、比較的低いスペックのハードウェアでも処理を行うことができる。
　さらに、３Ｄスキャンを行う対象が人間や動物等である場合、同じ姿勢を維持することが必要であるが、本例の方法では３Ｄスキャンと３次元空間の構築を別々に行うことができるので、３Ｄスキャンに要する時間が短くて済むだけでなく、測定対象の人間や動物などに加わる負担が軽減される。その結果として、同じ姿勢を維持させることが難しい小さな子供（１～２歳児）やペットなども３Ｄスキャンの対象とすることが可能になる。
　本発明の作成方法では事後的に点群データの位置合わせを行って３次元空間を構築する場合、第１の３Ｄスキャナーよって得られた点群データを正面からのデータとして考え、２つ目以降の３Ｄスキャナーによって得られた点群データを、第１の３Ｄスキャナーと２つ目以降の３Ｄスキャナーの相互の位置関係に合わせて概ねの位置に点群データを回転・移動させた後、相関関係を用いて各点群データの重畳する部分を重点的に抽出し、詳細な位置合わせを行う。複数の全ての方向からの点群データの結合が終わった後に、点群データの表層部分をメッシュ化する。
　本発明の場合、測定対象物をスキャンした３Ｄモデルを主として考える場合には複数方向からの３Ｄモデルとなるが、位置合わせされたパラメーター（回転行列）を主として考える場合には、空間の位置合わせとしても活用することができる。例えば、４方向に無造作に配置した３Ｄスキャナーの中心に測定対象物を配置し、詳細な位置合わせを行うことで、それぞれの３Ｄスキャナーがどの位置にあるかを計算することができる。３Ｄスキャナーの位置がわかると、それぞれの点群データをリアルタイムに合成して３Ｄ空間を作成することが可能となる。
　本発明の他の特徴は第１の点群データから第２の点群データとの重畳が想定される部分の位置データ及び／又は色データを抽出し、第２の点群データの位置データ及び／又は色データと比較し、第１、第２の点群データの位置データ及び／又は色データに相関関係のある部分を特定し、これを重ね合わせて第１、第２の点群データを結合して合成３次元形状データを作成するようにした点にある。
　これにより、測定用のターゲットを使用することなく複数の方向の点群データを取得し、複数の各方向の点群データを合成して３次元形状データを作成することができ、作業者のターゲット設定ミスなどに起因して３次元形状データの作成不良が発生するおそれを解消でき、又ターゲットの設置が必要なく、作業効率を向上できる。
　３Ｄスキャナーは例えばレーザーの送受によって測定対象物までの距離から点の位置データと例えばＲＧＢカメラによる撮像によって点の色データを取得する３Ｄスキャナー、例えばＫｉｎｅｃｔ（マイクロソフト社製：商品名）で知られる３Ｄスキャナーを使用することができる。
　３Ｄスキャナーは少なくとも２台あればよいが、第１、第２、第３の３台の３Ｄスキャナーを１２０°毎に設定するようにしてもよく、又第１、第２、第３、第４の４台の３Ｄスキャナーを９０°毎に設定するようにしてもよく、いずれの場合も点群データの色データの相関関係を判定して重畳する点群データを特定して重ね合わせて合成するようにすればよい。
　例えば、第１、第２、第３、第４の４台の３Ｄスキャナーを使用する場合、第１、第２、第３及び第４の３Ｄスキャナーを上記基準軸線に対して垂直な同一平面上において上記基準軸線を中心にして相互に９０°間隔をあけた方向から上記基準軸線を指向しかつ取得すべき点群が上記第１～第４の３Ｄスキャナーのスキャン領域の端部において重畳するように設定し、上記第１、第２、第３及び第４の３Ｄスキャナーによって第１、第２、第３、第４の点群データを取得し、上記第１、第２、第３及び／又は第４の点群データの位置データを第１～第４の３Ｄスキャナーの位置関係に対応して同一の３次元空間における位置データに修正し、上記第１の点群データと第２の点群データ、上記第２の点群データと第３の点群データ、上記第３の点群データと第４の点群データ及び上記第４の点群データと第１の点群データの色データの相関関係にある部分を特定し、該特定した点群データを重ね合わせて上記第１～第４の点群データを結合することによって３次元形状データを作成すればよい。
　点群データの点の色データには有彩色だけでなく、白灰黒で表される無彩色も含まれる。有彩色の場合には点群データの点の色データは例えばＲＧＢの数値によって表すことができるが、無彩色の場合には単位面積の点の中の黒色の面積によって色の濃さを表現することもできるので、各点の黒色の面積を色データとして取り扱うこともできる。
　また、点の位置データはＸＹＺの３次元座標データとして表すことができるが、極座標データとして表すようにしてもよい。
本発明に係る３次元形状データの作成方法の好ましい実施形態に用いるシステムの１例を示す図である。 上記実施形態における３Ｄスキャナーの例を示す図である。 上記実施形態における３Ｄスキャナー及び演算処理装置の１例を示す図である。 上記実施形態における点群データの取得処理を示すフロー図である。 上記実施形態における点群データの結合処理を示すフロー図である。 上記点群データの結合処理を説明するための図である。
　以下、本発明を図面に示す具体例に基づいて詳細に説明する。図１ないし図６は本発明に係る３次元形状データの作成方法の好ましい実施形態を示す。
　３次元形状データの作成方法に用いるシステムでは図１に示されるように、測定対象物Ｗは基準軸線Ｃ上に設置され、第１～第４の３Ｄスキャナー１０Ａ～１０Ｄは基準軸線Ｃに対して垂直な同一平面上において基準軸線Ｃを中心にして相互に９０°間隔をあけた方向から基準軸線Ｃを指向しかつ取得すべき点群が第１～第４の３Ｄスキャナー１０Ａ～１０Ｄのスキャン領域の端部において重畳するように設定されている。
　３Ｄスキャナー１０Ａ～１０Ｄは図２に示されるように、赤外線レーザーの出射部１１と反射光を受光する受光部１２及びＲＧＢカメラ１３から構成されている。
　測定対象物Ｗの３次元形状データを作成する場合、図１に示されるように、測定対象物Ｗを基準軸線Ｃ上に載置した後、３Ｄスキャナー１０Ａ～１０Ｄの各々によって測定対象物Ｗの外表面の３Ｄ形状を１フレームだけ測定する。
　測定は演算処理装置２０によって本例の３Ｄスキャナー１０Ａ～１０Ｄを初期化し（演算処理装置２０は複数の３Ｄスキャナー毎に設けてもよい）、３Ｄスキャナー１０Ａ～１０Ｄの赤外線レーザーによるスキャンによってスキャナー１１、１２から測定対象物Ｗの外表面までの距離をデプス画像として得る。このデプス画像は例えば６４０×４８０画素で、各画素は例えば１３ビットの精度を有する。画素の数値は赤外線レーザーの出射部１１と受光部１２から測定対象物Ｗ外表面までの奥行きをｍｍ単位で表したもので、各画素は測定対象物Ｗの外表面の１点に対応する。３Ｄスキャナー１０Ａ～１０Ｄを中心とする３次元座標系においてＸ軸（水平方向）、Ｙ軸（垂直方向）、Ｚ軸（奥行き方向）の座標値を計算することができる。つまり、画素の数値はＺ軸の値に相当し、Ｘ軸及びＹ軸の座標値は画像座標と３Ｄスキャナー１０Ａ～１０Ｄの視野角および奥行き（Ｚ値）から求めることができる。
　また、３Ｄスキャナー１０Ａ～１０ＤのＲＧＢカメラ１３によって測定対象物Ｗの外表面のカラー画像を得る（図４のステップＳ１０、Ｓ１１）。その結果、点群データは３次元座標における各点の位置データ（Ｘ，Ｙ，Ｚ）と色データ（Ｒ，Ｇ，Ｂ）が結合された形式のデータ（Ｘ，Ｙ，Ｚ／（Ｒ，Ｇ，Ｂ）として得られるので、これが演算処理装置２０に保存される（図４のステップＳ１２，Ｓ１３）。
　こうして第１～第４の３Ｄスキャナー１０Ａ～１０Ｄによって測定対象物Ｗの第１～第４の点群データが得られると、図５に示されるように、演算処理装置２０において第１～第４の点群データを読み込み、４つの点群データの位置データを同一の３次元空間における位置データに変換する（ステップＳ２０～ステップＳ２２）。位置データの変換は第１～第４の３Ｄスキャナー１０Ａ～１０Ｄが同一平面上において相互に９０°間隔となっているので、これらが同一３次元空間のデータとなるように位置データ（Ｘ，Ｙ，Ｚ）を修正することによって行う。
　次に、第１～第４の点群データ結合処理を行う（ステップＳ２３～ステップＳ２４）。３Ｄスキャナー１０Ａ～１０Ｄによる測定で得られる点群データは測定対象物Ｗの一部分の形状を現しているに過ぎず、測定対象物Ｗの完全な３次元形状データを取得するためには異なる方向からの４台の３Ｄスキャナー１０Ａ～１０Ｄで取得した点群データを一つに統合する必要がある。
　そこで、第１～第４の各３Ｄスキャナー１０Ａ～１０Ｄはスキャン領域の端部が重畳するように設定されているので、まず第１の３Ｄスキャナー１０Ａによって得られた第１の点群データＧ１の第２の点群データＧ２との重畳が想定される部分の点群データＧ１ａの位置データ及び色データを抽出する。なお、抽出は位置データだけでもよく、色データだけでもよい。この抽出した第１の点群データＧ１ａを第２の３Ｄスキャナー１０Ｂによる第２の点群データＧ２の端部の位置データ及び色データと比較し、相関関係がある部分の点群データＤ２ａを特定する。
　ここで、相関関係としたのは、点群データＧ１、Ｇ２にはノイズなどが乗っていて必ずしも完全に一致するとは限らないことがあるので、例えば９０％以上の相関関係があるときに一致と判断することを意味している。
　こうして第１、第２の点群データＧ１、Ｇ２の相関関係の部分が特定されると、その部分Ｇ１ａ，Ｇ２ａを重ね合わせて第１、第２の点群データＧ１、Ｇ２を結合する。同様に、第２、第３の点群データ、第３の点群データと第４の点群データ、第４の点群データと第１の点群データを結合すると、完全な３次元の点群データがえられるのでこれを演算処理装置２０に保存する。
　なお、結合後に、色データのノイズを除去し、点群データの密度を下げてもよい場合にはフィルタリングによって画素数を減少させることもできる。
　１０Ａ～１０Ｄ　　　３Ｄスキャナー
　２０　　　演算処理装置
　Ｗ　　　　測定対象物
　Ｃ　　　　基準軸線
 

Claims (5)

  1. 　３次元形状データを作成するにあたり、
    　基準軸線（Ｃ）上に測定対象物（Ｗ）を設置し、少なくとも第１、第２の３Ｄスキャナー（１０Ａ、１０Ｂ）を上記基準軸線（Ｃ）に対して垂直な同一平面上において上記基準軸線（Ｃ）を中心にして異なる複数の方向から上記基準軸線（Ｃ）を指向するように設定する工程と、
    　上記少なくとも第１、第２の３Ｄスキャナー（１０Ａ、１０Ｂ）の各々によって静止姿勢の上記測定対象物（Ｗ）表面のスキャン領域を１フレームでスキャンする工程と、
    　上記測定対象物（Ｗ）の表面までの複数の各点の位置データと色データから構成される第１の点群データを上記第１の３Ｄスキャナー（１０Ａ）の１フレームのスキャンデータから取得するとともに、上記測定対象物（Ｗ）の表面までの各点の位置データと色データから構成される第２の点群データを上記第２の３Ｄスキャナー（１０Ｂ）の１フレームのスキャンデータから取得する工程と、
    　上記第１、第２の点群データを結合することによって合成３次元形状データを作成する工程と、
    を備えたことを特徴とする３次元形状データの作成方法。
  2. 　３次元形状データを作成するにあたり、
    　基準軸線（Ｃ）上に測定対象物（Ｗ）を設置し、少なくとも第１、第２の３Ｄスキャナー（１０Ａ、１０Ｂ）を上記基準軸線（Ｃ）に対して垂直な同一平面上において上記基準軸線（Ｃ）を中心にして異なる複数の方向から上記基準軸線（Ｃ）を指向しかつ取得すべき点群が上記少なくとも第１、第２の３Ｄスキャナー（１０Ａ、１０Ｂ）のスキャン領域の側部において重畳するように設定する工程と、
    　上記少なくとも第１、第２の３Ｄスキャナー（１０Ａ、１０Ｂ）の各々によって静止姿勢の上記測定対象物（Ｗ）表面のスキャン領域を１フレームでスキャンする工程と、
    　上記測定対象物（Ｗ）の表面までの複数の各点の位置データと色データから構成される第１の点群データを上記第１の３Ｄスキャナー（１０Ａ）の１フレームのスキャンデータから取得するとともに、上記測定対象物（Ｗ）の表面までの各点の位置データと色データから構成される第２の点群データを上記第２の３Ｄスキャナー（１０Ｂ）の１フレームのスキャンデータから取得する工程と、
    　上記第１の点群データ及び／又は第２の点群データの位置データを第１、第２の３Ｄスキャナー（１０Ａ、１０Ｂ）の位置関係に対応して同一３次元空間における位置データに修正する工程と、
    　上記第１の点群データのうち、上記第２の点群データとの重畳が想定される点群の位置データ及び／又は色データを抽出し、該抽出した位置データ及び／又は色データと上記第２の点群データのうちの位置データ及び／又は色データを比較して相関関係にある点群データを特定する工程と、
    　該特定した上記第２の点群データの部分と上記第１の点群データの想定した部分とを重ね合わせて上記第１、第２の点群データを結合することによって合成３次元形状データを作成する工程と、
    を備えたことを特徴とする３次元形状データの作成方法。
  3. 　基準軸線上に設置された測定対象物の３次元形状データを作成するにあたり、
    　上記基準軸線（Ｃ）に対して垂直な同一平面上において上記基準軸線（Ｃ）を中心にして異なる複数の方向から上記基準軸線（Ｃ）を指向しかつ取得すべき点群が少なくとも第１、第２の３Ｄスキャナー（１０Ａ、１０Ｂ）のスキャン領域の側部において重畳するように設定された上記少なくとも第１、第２の３Ｄスキャナー（１０Ａ、１０Ｂ）を用い、
     
    　上記少なくとも第１、第２の３Ｄスキャナー（１０Ａ、１０Ｂ）の各々によって静止姿勢の上記測定対象物（Ｗ）表面のスキャン領域を１フレームでスキャンし、
    　上記測定対象物（Ｗ）の表面までの複数の各点の位置データと色データから構成される第１の点群データを上記第１の３Ｄスキャナー（１０Ａ）の１フレームのスキャンデータから取得するとともに、上記測定対象物（Ｗ）の表面までの各点の位置データと色データから構成される第２の点群データを上記第２の３Ｄスキャナー（１０Ｂ）の１フレームのスキャンデータから取得し、
    　上記第１の点群データ及び／又は第２の点群データの位置データを第１、第２の３Ｄスキャナー（１０Ａ、１０Ｂ）の位置関係に対応して同一３次元空間における位置データに修正し、
    　上記第１の点群データのうち、上記第２の点群データとの重畳が想定される点群の位置データ及び／又は色データを抽出し、該抽出した位置データ及び／又は色データと上記第２の点群データのうちの位置データ及び／又は色データを比較して相関関係にある点群データを特定し、
    　該特定した上記第２の点群データの部分と上記第１の点群データの想定した部分とを重ね合わせて上記第１、第２の点群データを結合することによって合成３次元形状データを作成するようにしたことを特徴とする３次元形状データの作成方法。
  4. 　上記第１、第２の３Ｄスキャナー（１０Ａ、１０Ｂ）に加え、さらに第３、第４の３Ｄスキャナー（１０Ｃ、１０Ｄ）を用い、上記第１、第２、第３及び第４の３Ｄスキャナー（１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ）を上記基準軸線（Ｃ）に対して垂直な同一平面上において上記基準軸線（Ｃ）を中心にして相互に９０°間隔をあけた方向から上記基準軸線（Ｃ）を指向しかつ取得すべき点群が上記第１、第２、第３及び第４の３Ｄスキャナー（１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ）のスキャン領域の端部において重畳するように設定し、
    　上記第１、第２、第３及び第４の３Ｄスキャナー（１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ）によって第１、第２、第３、第４の点群データを取得し、
    　上記第１、第２、第３及び／又は第４の点群データの位置データを第１～第４の３Ｄスキャナー（１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ）の位置関係に対応して同一３次元空間における位置データに修正し、
    　上記第１の点群データと第２の点群データ、上記第２の点群データと第３の点群データ、上記第３の点群データと第４の点群データ及び上記第４の点群データと第１の点群データの色データの相関関係にある部分を特定し、
    　該特定した点群データを重ね合わせて上記第１ないし第４の点群データを結合することによって合成３次元形状データを作成するようにした請求項２又は３記載の３次元形状データの作成方法。
  5. 　上記３Ｄスキャナーは測定対象物の表面に対する１回のスキャンによって測定対象物の所定のスキャン領域の１フレームのスキャンデータを取得するようになっている請求項１ないし４のいずれかに記載の３次元形状データの作成方法。
PCT/JP2015/073959 2015-08-26 2015-08-26 ３次元形状データの作成方法 WO2017033300A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2015/073959 WO2017033300A1 (ja) 2015-08-26 2015-08-26 ３次元形状データの作成方法
PCT/JP2016/072771 WO2017033692A1 (ja) 2015-08-26 2016-08-03 ３次元形状データの作成方法及びプログラム
JP2017536719A JP6647548B2 (ja) 2015-08-26 2016-08-03 ３次元形状データの作成方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/073959 WO2017033300A1 (ja) 2015-08-26 2015-08-26 ３次元形状データの作成方法

Publications (1)

Publication Number Publication Date
WO2017033300A1 true WO2017033300A1 (ja) 2017-03-02

Family

ID=58099906

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2015/073959 WO2017033300A1 (ja) 2015-08-26 2015-08-26 ３次元形状データの作成方法
PCT/JP2016/072771 WO2017033692A1 (ja) 2015-08-26 2016-08-03 ３次元形状データの作成方法及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/072771 WO2017033692A1 (ja) 2015-08-26 2016-08-03 ３次元形状データの作成方法及びプログラム

Country Status (2)

Country Link
JP (1) JP6647548B2 (ja)
WO (2) WO2017033300A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6888386B2 (ja) * 2017-04-17 2021-06-16 富士通株式会社 差分検知プログラム、差分検知装置、差分検知方法
JP7078127B2 (ja) 2018-10-18 2022-05-31 富士通株式会社 算出方法、算出プログラムおよび情報処理装置
KR102284775B1 (ko) * 2020-04-23 2021-08-02 (주)폴리곤 마커 스탬프를 이용한 3d 스캔 방법
CN113587816A (zh) * 2021-08-04 2021-11-02 天津微深联创科技有限公司 一种阵列式大场景结构光三维扫描测量方法及其装置
CN113978756B (zh) * 2021-10-09 2023-06-13 西北工业大学 一种基于试装配仿真的大部件筒段对接实验台和对接方法
CN114234838B (zh) * 2021-11-19 2023-09-08 武汉尺子科技有限公司 一种3d扫描方法及装置
JP7367941B1 (ja) 2022-08-03 2023-10-24 株式会社岩崎 ターゲット群装置およびこれを用いた点群データ計測方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002175521A (ja) * 2000-09-12 2002-06-21 Sony Corp 三次元データ処理装置および三次元データ処理方法、並びにプログラム提供媒体
JP2009128261A (ja) * 2007-11-27 2009-06-11 Takashima Giken Kk 外観検査方法および装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001351096A (ja) * 2000-06-06 2001-12-21 Sanyo Electric Co Ltd ３次元モデリングシステムおよびオリジナル商品作成システム
JP2003057017A (ja) * 2001-08-10 2003-02-26 Kao Corp 三次元物体の測定装置
JP2004295813A (ja) * 2003-03-28 2004-10-21 Babcock Hitachi Kk ３次元人物照合装置
JP2005284775A (ja) * 2004-03-30 2005-10-13 Kao Corp 画像処理装置
JP2008209354A (ja) * 2007-02-28 2008-09-11 Toyota Motor Corp キャリブレーション方法及び装置、並びに自動検知装置
JP2011055294A (ja) * 2009-09-02 2011-03-17 Sony Corp 撮像装置、撮像システム及び撮像方法
JP3195609U (ja) * 2014-11-10 2015-01-29 株式会社イノベ−ション・アイ ３ｄモデル作成装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002175521A (ja) * 2000-09-12 2002-06-21 Sony Corp 三次元データ処理装置および三次元データ処理方法、並びにプログラム提供媒体
JP2009128261A (ja) * 2007-11-27 2009-06-11 Takashima Giken Kk 外観検査方法および装置

Also Published As

Publication number Publication date
JPWO2017033692A1 (ja) 2018-06-14
WO2017033692A1 (ja) 2017-03-02
JP6647548B2 (ja) 2020-02-14

Similar Documents

Publication Publication Date Title
WO2017033300A1 (ja) ３次元形状データの作成方法
KR102096806B1 (ko) 3차원 센서 시스템 및 3차원 데이터 획득방법
KR102073205B1 (ko) 복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법 및 스캐너
US8265376B2 (en) Method and system for providing a digital model of an object
Khoshelham Accuracy analysis of kinect depth data
JP5263804B2 (ja) 多点測定方法及び測量装置
CN101853528B (zh) 一种手持式三维型面信息提取方法及其提取仪
CN107154014B (zh) 一种实时彩色及深度全景图像拼接方法
JP2017531976A (ja) アレイカメラを動的に較正するためのシステム及び方法
JP6574845B2 (ja) 図面作成装置及び図面作成方法
JP7218435B2 (ja) キャリブレーション装置、キャリブレーション用チャート、およびキャリブレーション方法
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
JP2003254748A (ja) ステレオ画像特性検査システム
CN110033407B (zh) 一种盾构隧道表面图像标定方法、拼接方法及拼接系统
JP2009524349A (ja) 立体表示システムの調整方法
JP5762525B2 (ja) 画像処理方法および熱画像カメラ
WO2011033569A1 (ja) 画像処理装置及び画像処理方法
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
CN113965721B (zh) 图像与深度传输监视系统的对齐方法
JP2005077385A (ja) 画像対応付け方法ならびに測量方法およびそれらを利用する計測システム
CN115880369A (zh) 线结构光3d相机和线阵相机联合标定的装置、系统及方法
Garcia et al. Geometric calibration for a multi-camera-projector system
JP6139141B2 (ja) 外観画像生成方法及び外観画像生成装置
JP2015148498A (ja) 測距装置および測距方法
JP2018044942A (ja) カメラパラメータ算出装置、カメラパラメータ算出方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15902269

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15902269

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP