WO2013187202A1 - ３次元計測装置及び３次元計測方法 - Google Patents

３次元計測装置及び３次元計測方法 Download PDF

Info

Publication number
WO2013187202A1
WO2013187202A1 PCT/JP2013/064276 JP2013064276W WO2013187202A1 WO 2013187202 A1 WO2013187202 A1 WO 2013187202A1 JP 2013064276 W JP2013064276 W JP 2013064276W WO 2013187202 A1 WO2013187202 A1 WO 2013187202A1
Authority
WO
WIPO (PCT)
Prior art keywords
background
measured
image
dimensional
phase
Prior art date
Application number
PCT/JP2013/064276
Other languages
English (en)
French (fr)
Inventor
一能 岩井
Original Assignee
株式会社島精機製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社島精機製作所 filed Critical 株式会社島精機製作所
Publication of WO2013187202A1 publication Critical patent/WO2013187202A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object

Definitions

  • This invention relates to three-dimensional measurement, and more particularly to background removal.
  • a three-dimensional shape of a measurement target object (hereinafter simply referred to as “measurement object”) is obtained by projecting a grid onto the measurement target object from a projector and capturing an image with a camera (for example, Patent Document 1: Patent 2903111).
  • a glass plate or the like having a grating whose transmissivity changes periodically in a sine wave shape is disposed on the front surface of the projector, and the position of the glass plate is shifted by 1 ⁇ 4 of the sine wave cycle, and images are taken four times, for example. Assuming that the luminance of the same pixel in four images is I0 to I3, (I1-I3) / (I0-I2) etc.
  • the phase represents the phase of the pixel with respect to the lattice
  • the phase represents the direction of the measurement object viewed from the projector. ing. Since the direction of the pixel viewed from the camera is known, when the direction of the measured object viewed from the projector is determined, the three-dimensional shape of the surface of the measured object is determined by the principle of stereo measurement. Note that the minimum number of times for obtaining the phase is three, and the grating is not limited to a sine wave but may be a rectangular wave or the like, and any grating that changes periodically may be used.
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2004-191198A obtains a histogram of luminance in a photographed image, and determines a threshold value so that a low luminance area is a background and a high luminance area is a measurement object. Disclosure. Therefore, pixels with a luminance lower than the threshold value belong to the background, and pixels with a luminance higher than the threshold value belong to the measurement object. However, if a mirror surface of metal, glass or the like is included in the background, this method does not sufficiently separate the background from the measurement object.
  • An object of the present invention is to make it possible to accurately separate the background and the measurement object even if the background includes a highly reflective surface.
  • the three-dimensional measuring apparatus projects a grid multiple times at different positions on the object to be measured, or projects the grid multiple times at different pitches, and also captures and analyzes the image of the projected grid.
  • a pixel in which a position in a three-dimensional space obtained from an image including an object to be measured and a background is different from a position in a three-dimensional space obtained from a background image not including the object to be measured by a predetermined value or more is measured.
  • the image processing apparatus includes a background removal unit that extracts pixels belonging to the object.
  • the projector of the three-dimensional measuring apparatus projects the grating a plurality of times while changing the position on the object to be measured, or projects the grating a plurality of times while changing the pitch, and the projected grating
  • a three-dimensional measurement method for obtaining a three-dimensional shape of an object to be measured by taking an image of and analyzing with a three-dimensional measurement device The position in the three-dimensional space obtained from the image including the object to be measured and the background by the background removing unit of the three-dimensional measurement apparatus, and the position in the three-dimensional space obtained from the background image not including the object to be measured A pixel having a difference of a predetermined value or more is extracted as a pixel belonging to an object to be measured.
  • the phase shift method or the spatial encoding method is used for measuring the three-dimensional shape, and the position in the three-dimensional space includes the three-dimensional coordinates, the phase by the phase shift method, and the space by the spatial encoding method.
  • the code that was coded is coded.
  • the measurement object is extracted by a change in position in a three-dimensional space between the image including the measurement target object and the background and the background image not including the measurement target object. Therefore, the measurement object can be accurately extracted, and the measurement object and the background can be separated even if the background includes a highly reflective surface such as a metal surface or glass.
  • the description relating to the three-dimensional measuring apparatus also applies to the three-dimensional measuring method as it is, and the description relating to the three-dimensional measuring method also applies to the three-dimensional measuring apparatus. *
  • a phase shift method is used for measuring a three-dimensional shape
  • the three-dimensional measurement apparatus further includes a projector, a camera, a phase analysis unit, and a phase connection unit.
  • the three-dimensional measuring device With the projector, the grating whose light transmittance changes periodically is projected multiple times on the object to be measured by changing the position of the grating, Take a picture of the projected grid with the camera,
  • the phase analysis unit obtains the phase of the pixel in the image captured by the camera for one period of the light transmittance of the grating
  • the phase connection unit adds the number of periods from the reference point of the grating to the phase of the pixel, and converts the phase of the pixel to which the number of periods is added into a three-dimensional coordinate, and the three-dimensional shape of the object to be measured Is configured to ask for
  • the background removal unit is configured such that a difference between a phase with respect to the light transmittance of the lattice in the image including the measurement target object and the background and
  • the difference is for extracting the difference between the image including the object to be measured and the background and the background image, and the sign of the difference value is not important. Therefore, the difference value is expressed by its absolute value. Since the position of the grating is changed and projected a plurality of times, an image of the amplitude of the projected grating can be obtained. If this image is referred to as an amplitude image, the amplitude image and the luminance image may be similar images, and the amplitude image is not affected by the background light, and the luminance image is affected by the background light.
  • the background removing unit adds the difference between the luminance of the image including the object to be measured and the background and the luminance of the background image in addition to the pixels having a phase difference equal to or greater than the first predetermined value,
  • the difference between the luminance change between the images obtained by shooting the object and the background a plurality of times and the luminance change between the images obtained by shooting the background a plurality of times is obtained, and the obtained difference is equal to or greater than the second predetermined value.
  • a pixel is added to a pixel belonging to an object to be measured.
  • the measurement object may not be extracted, but not only the phase but also the brightness etc. of the image including the object to be measured and the background and the background image There is little to be the same. Therefore, if a measurement object that could not be extracted by the phase difference is extracted by a difference such as luminance, the measurement object can be completely extracted.
  • the background removal unit extracts, as a mask, pixels whose luminance or the change in luminance between images captured a plurality of times of the image including the object to be measured and the background is a predetermined value or more, and includes the mask. Pixels belonging to the object to be measured are extracted from only the pixels to be measured. If the luminance image in the input image is used as a mask, the range in which the differential process for extracting the measurement object can be limited. Further, the range for obtaining the phase can be limited. Therefore, three-dimensional measurement can be performed at high speed.
  • Block diagram of the three-dimensional measuring apparatus of the embodiment The figure which shows the translucency of the grating
  • the flowchart which shows the separation algorithm of the background and measurement object in an Example Measurement image when the background is not removed Measurement image when background is removed Image of background amplitude distribution Image of background phase distribution Image taken by projecting a grid onto the background and the measurement object Image of amplitude distribution between background and measurement object Image of phase distribution between background and measurement object Measurement image when the background is not removed Measurement image when background is removed
  • Reference numeral 1 denotes an object to be measured for measuring a three-dimensional shape, such as a human body, furniture, a machine, an automobile, and a building.
  • Reference numeral 1 denotes an object to be measured for measuring a three-dimensional shape, such as a human body, furniture, a machine, an automobile, and a building.
  • a plurality of units 4 are arranged so as to surround the measurement object 1, and each unit 4 includes a projector 6 and a digital camera 8.
  • the projector 6 of the unit 4 projects the grid onto the measuring object 1 and takes a picture with the camera 8.
  • the unit 4 is controlled by the controller 10 and the image from the camera 8 is processed to obtain a set of three-dimensional coordinates of the surface of the measurement object 1.
  • the unit control unit 12 of the controller 10 controls projection (light emission) and photographing of the grating from each unit 4, and the phase analysis unit 14 applies to the surface of the measurement object based on the digital image from each camera 8.
  • the phase ⁇ (0 to 2 ⁇ ) within one period of the grating is obtained.
  • the phase connection unit 16 converts the phase of 0 to 2 ⁇ into a phase from the reference point of the lattice (2n ⁇ + ⁇ : n is an integer), and obtains the three-dimensional coordinates (xyz) of the measurement object from the phase and the pixel position. .
  • the coordinate conversion unit 18 converts the coordinates into three-dimensional coordinates in an appropriate reference coordinate system. If, for example, four units 4 are arranged, the same position of the measurement object 1 can be photographed by a plurality of units, so that a plurality of three-dimensional coordinates can also be obtained.
  • the synthesizing unit 20 averages a plurality of three-dimensional coordinates with the reliability depending on the pixel position as a weight, and outputs a set (point cloud data) of the three-dimensional coordinates of the surface of the measurement object 1 in the reference coordinate system.
  • the surface including the set point is the surface of the measurement object 1.
  • the background removing unit 22 separates the background and the measurement target, and the configuration thereof is shown in FIG. Note that the phase analysis unit 14, the phase connection unit 16, the coordinate conversion unit 18, and the background removal unit 22 may be provided in each unit 4.
  • FIG. 2 shows the translucency of a lattice, for example, printed on a substrate such as a glass plate, a transparent plastic film, or a plastic sheet.
  • the transmissivity may change, for example, in a sine wave shape along one direction, and may be a lattice in which the translucency changes in a rectangular wave shape, a ramp wave shape, or the like.
  • the period and the phase ⁇ of 0 to 2 ⁇ are determined as shown in FIG.
  • the three-dimensional measuring apparatus 2 projects and shoots a grating on a measurement object, and slides the grating every 1/3 period or 1/4 period (2 / 3 ⁇ or 1 / 2 ⁇ as a phase), thereby 3 Take four or four images.
  • the phase connection unit 16 changes the phase after connection to 2n ⁇ + ⁇ with respect to the pixel in the nth cycle from the reference point of the grating (the phase within one cycle is ⁇ ). This process is called phase connection.
  • the direction of the measurement object viewed from the projector 6 is determined, and the direction viewed from the camera 8 is known from the pixel position, so that the three-dimensional coordinates of the measurement object are determined based on the principle of stereo measurement.
  • a method for determining the three-dimensional coordinates of the measurement object in this way is called a phase shift method.
  • the projector 6 may be provided with a liquid crystal panel or the like. In this case, the light transmittance of the liquid crystal panel is changed to, for example, a sine wave to form a lattice, and the lattice (sine wave) is slid on the liquid crystal panel to slide the lattice.
  • FIG. 3 shows the configuration of the background removal unit 22. At least three images, preferably four images, are taken without sliding the measurement object while sliding the position of the lattice.
  • the luminance of each pixel from each camera and the phase of each pixel obtained by the phase analysis unit 14 are input, and the luminance of the background image is stored in the memory 30. Since the luminance image does not require a grid, the comparison unit 35 extracts the maximum luminance value in three or four input images (hereinafter simply referred to as “input images”) and stores it in the memory 30.
  • the contrast of the sinusoidal lattice at each pixel is obtained from the input image and stored as an amplitude image, or the luminance I in the input image is divided by phase ⁇ to be I ⁇ (1 + sin ⁇ + ⁇ ) ( ⁇ is a positive constant ) Etc. may be stored.
  • a luminance image may be acquired by photographing an image without projecting a grid.
  • the luminance image and the amplitude image are similar in nature, except that the luminance image is affected by background light and the amplitude image is not affected.
  • the memory 31 stores the phase of the background image, and preferably stores the phase having a value of 0 to 2 ⁇ before the phase connection.
  • the same luminance image is stored in the memory 32 and the phase image is stored in the memory 34 for the image including the measurement object and the background (hereinafter simply “input image”).
  • Reference numeral 36 denotes a comparison unit for extracting the maximum luminance value, which is not necessary when an amplitude image or the like is used. Since the three-dimensional measuring apparatus 2 shoots the measurement object 1 by projecting a grid from the projector 6, the measurement object has high luminance. If the comparison unit 37 compares the luminance and threshold value for each pixel in the input image, a mask including all the pixels included in the measurement object can be created. This threshold value is sometimes referred to as a first threshold value, and is set to a low value so as not to discard the measurement object. The threshold value may be fixed or variable.
  • a binary image having a value of, for example, 1 at the pixel extracted by the comparison unit 37 and a value of, for example, 0 at another pixel is stored in the memory 38 as a mask image.
  • the difference between the luminance image of the background and the luminance image in the memory 32 is performed by the difference unit 40 within the range of the mask image, and pixels whose absolute value of the difference is equal to or larger than the second threshold value are extracted.
  • the difference unit 41 performs a difference between the background phase image and the phase image in the memory 34, and extracts a pixel whose absolute value is equal to or more than a third threshold value. Pixels extracted by one of the difference units 40 and 41 are collected by the OR operation unit 42 and stored in the memory 44 as a binary image representing the range of the measurement object.
  • the range for performing the difference can be limited.
  • the range for creating the phase image in the memory 34 can be limited to the range of the mask image. Pixels that belong to the measurement object but have the same phase as that of the background may exist, and pixels that have the same luminance as the background may also exist. However, by providing the OR operation unit 42, the pixels of the measurement object are extracted without omission. it can. When the phase connection is applied to the phase image in the memory 34, the three-dimensional coordinates of the pixel are determined.
  • FIG. 4 shows the background removal algorithm.
  • a background image is taken while projecting the grid from the projector by sliding the glass plate or the like provided with the grid to the 3 position or the 4 position (step 1).
  • a background luminance image or an equivalent image, or a background amplitude image is created and stored (step 2), and the phase of each pixel of the background is obtained and stored as a phase image (step 3).
  • a luminance image and an equivalent image are simply referred to as a “luminance image”.
  • Step 12 In order to measure the three-dimensional shape by removing the background from the input image, at least three or four projected images of the grid are taken in the same manner as the background (step 11), and a luminance image is created and stored.
  • Step 12 A mask image composed of pixels having a luminance equal to or higher than the first threshold is created and stored (step 13), and a phase image is created within the mask range (step 14).
  • the difference in luminance and phase within the mask range is obtained from the background, and pixels whose absolute value of the difference is greater than or equal to the threshold are extracted (steps 15 and 16), and extracted by either the phase difference or the luminance difference.
  • the set of pixels is output as an image of the measurement object (step 17).
  • a phase connection is applied to this image to obtain a three-dimensional shape.
  • FIG. 5 shows a measurement image when the background is not removed
  • FIG. 6 shows a measurement image when the background is removed.
  • a measurement object composed of both legs of a person, a background unit 4 and the like are shown.
  • the background is removed and only the measurement object is extracted.
  • FIG. 7 shows the luminance distribution of the background
  • FIG. 8 shows the phase distribution of the background, both of which include the background metal surface and the like.
  • FIG. 9 shows one of the images on which the grid is projected, including the background as well.
  • FIG. 10 shows an image of the amplitude distribution obtained from the image of FIG.
  • FIG. 11 shows an image of the phase distribution obtained from the image of FIG.
  • the images of FIGS. 10 and 11 include the background in addition to both legs. If the three-dimensional shape is obtained from the phase distribution of FIG. 11 without removing the background, the image of FIG. 12 is obtained, the luminance indicates the x-direction coordinate, and the pixel position indicates the yz coordinate. When the three-dimensional shape of the measurement object is obtained after the background is removed, the image shown in FIG. 13 is obtained, the background is removed, and the shapes of both legs are accurately measured.
  • the following effects can be obtained. 1)
  • the measurement object can be accurately extracted from the background. 2) Since the luminance image in the input image is used as a mask, the range in which the differential process for extracting the measurement object can be limited. Further, the range for obtaining the phase can be limited. When the mask threshold is lowered, the measurement object can be completely included in the mask. 3) Extract the measurement object based on the phase difference. This means that a pixel whose three-dimensional coordinates change from the background is used as a measurement object. The measurement object can be accurately extracted unless the background and the measurement object accidentally have the same phase. 4) Extract the measurement object that could not be extracted by the phase difference by the luminance difference. For this reason, the measurement object is not used as a background.
  • background removal may be performed with the same resolution as the measurement of the three-dimensional shape or with a lower resolution.
  • the phase before phase connection is used, but the phase after phase connection may be used.
  • the projector 6 may project monochromatic light or the like in addition to white light.
  • the phase shift method is taken as an example, but the spatial coding method can be implemented in exactly the same manner.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

　計測対象の物体に、位置を変えて格子を複数回投影し、もしくはピッチを変えて格子を複数回投影すると共に、投影された格子の画像を撮影して解析することにより、計測対象の物体の３次元形状を求める。計測対象の物体と背景とを含む画像から求めた３次元空間での位置と、計測対象の物体を含まない背景画像から求めた３次元空間での位置とが所定値以上異なる画素を、計測対象の物体に属する画素として抽出する。背景に反射率の高い面が含まれていても、背景と計測物体とを正確に分離できる。

Description

３次元計測装置及び３次元計測方法
　この発明は３次元計測に関し、特に背景の除去に関する。
　プロジェクタから格子を計測対象物体に投影し、カメラで画像を撮影することにより、計測対象物体（以下単に「計測物体」という）の３次元形状を求めることが行われている（例えば特許文献１：特許2903111）。透光度が正弦波状に周期的に変化する格子を有するガラス板等をプロジェクタの前面に配置し、ガラス板の位置を正弦波の周期の1/4ずつシフトさせて、例えば４回撮影する。４枚の画像での同じ画素の輝度をＩ0～Ｉ3とすると、（Ｉ1－Ｉ3）／（Ｉ0－Ｉ2）等は格子に対する画素の位相を表し、位相はプロジェクタから見た計測物体の方向を表している。カメラから見た画素の方向は既知なので、プロジェクタから見た計測物体の方向が定まると、ステレオ測量の原理により、計測物体表面の３次元形状が定まる。なお位相を求めるための最小撮影回数は３回で、格子は正弦波状に限らず矩形波状等でも良く、周期的に変化する格子であれば良い。
特許2903111 特開2004-191198A
　計測物体の３次元形状を求めるためには、撮影した画像から計測物体と背景との分離（計測物体に属する画像の抽出）が必要である。計測物体の抽出について、特許文献２：特開2004-191198Aは、撮影した画像中の輝度のヒストグラムを求め、低輝度領域を背景、高輝度領域を計測物体とするように、閾値を定めることを開示している。従って閾値未満の輝度の画素は背景に属し、閾値以上の輝度の画素は計測物体に属することになる。しかし金属、ガラス等の鏡面が背景に含まれていると、この手法では背景と計測物体の分離は不十分になる。
　この発明の課題は、背景に反射率の高い面が含まれていても、背景と計測物体とを正確に分離できるようにすることにある。
　この発明の３次元計測装置は、計測対象の物体に、位置を変えて格子を複数回投影し、もしくはピッチを変えて格子を複数回投影すると共に、投影された格子の画像を撮影して解析することにより、計測対象の物体の３次元形状を求める３次元計測装置において、
　計測対象の物体と背景とを含む画像から求めた３次元空間での位置と、計測対象の物体を含まない背景画像から求めた３次元空間での位置とが所定値以上異なる画素を、計測対象の物体に属する画素として抽出する背景除去部を備えていることを特徴とする。
　この発明の３次元計測方法は、３次元計測装置のプロジェクタにより、計測対象の物体に位置を変えて格子を複数回投影し、もしくはピッチを変えて格子を複数回投影すると共に、投影された格子の画像を撮影して３次元計測装置により解析することにより、計測対象の物体の３次元形状を求める３次元計測方法において、
　３次元計測装置の背景除去部により、計測対象の物体と背景とを含む画像から求めた３次元空間での位置と、計測対象の物体を含まない背景画像から求めた３次元空間での位置とが所定値以上異なる画素を、計測対象の物体に属する画素として抽出することを特徴とする。
　この発明では、３次元形状の測定には位相シフト法あるいは空間コード化法等を用い、３次元空間での位置としては、３次元座標、位相シフト法での位相、空間コード化法で空間をコード化した際のコードなどを用いる。そして計測対象の物体と背景とを含む画像と、計測対象の物体を含まない背景画像との３次元空間での位置の変化により、計測物体を抽出する。このため計測物体を正確に抽出でき、背景に金属の表面、ガラス等のように反射率が高い面が含まれていても、計測物体と背景とを分離できる。なおこの明細書において、３次元計測装置に関する記載は３次元計測方法にもそのまま当てはまり、３次元計測方法に関する記載は３次元計測装置にもそのまま当てはまる。　
　好ましくは３次元形状の測定に位相シフト法を用い、前記３次元計測装置は、プロジェクタとカメラと位相解析部と位相接続部とをさらに備えている。
　前記３次元計測装置は、
　　プロジェクタにより、透光度が周期的に変化する格子を、格子の位置を変えて計測対象の物体に複数回投影すると共に、
　　投影された格子の画像をカメラで撮影し、
　　位相解析部により、格子の透光度の１周期に対する、カメラで撮影した画像での画素の位相を求め、
　　位相接続部により、格子の基準点からの周期の数を前記画素の位相に付加すると共に、周期の数を付加した画素の位相を３次元座標に変換して、計測対象の物体の３次元形状を求めるように構成され、
　　前記背景除去部は、計測対象の物体と背景とを含む画像での格子の透光度に対する位相と、前記背景画像での格子の透光度に対する位相との差分が、第１の所定値以上の画素を、計測対象の物体に属する画素として抽出する。
　差分は計測対象の物体と背景とを含む画像と背景画像との相違を抽出するためのものであり、差分値の正負の符号は重要ではない。従って差分の値はその絶対値により表す。格子の位置を変えて複数回投影するので、投影された格子の振幅の画像を求めることができる。この画像を振幅画像と呼ぶと、振幅画像と輝度画像は類似の画像でいずれを用いても良く、振幅画像は背景光の影響を受けず、輝度画像は背景光の影響を受ける点が異なる。
　好ましくは、前記背景除去部は、位相の差分が第１の所定値以上の画素に加えて、計測対象の物体と背景とを含む画像の輝度と背景画像の輝度との差分、もしくは計測対象の物体と背景とを複数回撮影した画像間での輝度の変化分と、背景を複数回撮影した画像間での輝度の変化分との差分を求め、求めた差分が第２の所定値以上の画素を、計測対象の物体に属する画素に追加する。上記のように、背景と計測物体が偶々同じ位相になる場合、計測物体を抽出できないことがあるが、位相のみでなく、計測対象の物体と背景とを含む画像と背景画像とで輝度等も同じになることは少ない。そこで位相の差分で抽出できなかった計測物体を、輝度等の差分で抽出すると、計測物体を完全に抽出できる。
　また好ましくは、前記背景除去部は、計測対象の物体と背景とを含む画像の、輝度もしくは複数回撮影した画像間の輝度の変化分が所定値以上の画素をマスクとして抽出し、マスクに含まれる画素のみから計測対象の物体に属する画素を抽出する。入力画像中の輝度画像をマスクとすると、計測物体を抽出するための差分処理を行う範囲を限定できる。また位相を求める範囲を限定できる。従って高速で３次元計測を行うことができる。
実施例の３次元計測装置のブロック図 実施例で用いる格子の透光度を示す図 実施例の背景除去部のブロック図 実施例での背景と計測物体との分離アルゴリズムを示すフローチャート 背景を除去しない際の計測画像 背景を除去した際の計測画像 背景の振幅分布の画像 背景の位相分布の画像 背景と計測物体とに格子を投影して撮影した画像 背景と計測物体との振幅分布の画像 背景と計測物体との位相分布の画像 背景を除去しない際の計測画像 背景を除去した際の計測画像
　以下に、発明を実施するための最適実施例を示す。
　図１～図１３に、実施例の３次元計測装置２と、背景の除去方法とを示す。１は３次元形状を測定する計測対象の物体で、例えば人体、家具、機械、自動車、建築物等である。計測物体１を例えば取り囲むように複数のユニット４が配置され、各ユニット４はプロジェクタ６とデジタルカメラ８とを備えている。ユニット４のプロジェクタ６は格子を計測物体１に投影し、カメラ８で撮影する。そしてユニット４をコントローラ１０で制御すると共に、カメラ８からの画像を処理して、計測物体１の表面の３次元座標の集合を求める。
　コントローラ１０のユニット制御部１２は、各ユニット４からの格子の投影（発光）と撮影とを制御し、位相解析部１４は、各カメラ８からのデジタル画像を基に、計測物体の表面に対し、格子の１周期内での位相θ（０～２π）を求める。位相接続部１６は、０～２πの位相を、格子の基準点からの位相（２ｎπ＋θ：ｎは整数）に変換し、位相と画素の位置とから、計測物体の３次元座標（ｘｙｚ）を求める。
　このようにして得られた座標は、カメラ８毎の座標系に基づくものなので、座標変換部１８により適宜の基準座標系での３次元座標に変換する。ユニット４を例えば４台配置すると、計測物体１の同じ位置を複数のユニットで撮影できるので、３次元座標も複数求まる。合成部２０は、画素の位置による信頼性を重みとして、複数の３次元座標を平均し、基準座標系での計測物体１の表面の３次元座標の集合（点群データ）を出力し、この集合の点を含む面が計測物体１の表面である。背景除去部２２は背景と計測対象とを分離し、その構成を図３に示す。なお位相解析部１４，位相接続部１６，座標変換部１８及び背景除去部２２を、各ユニット４に設けても良い。
　図２は、ガラス板、透明なプラスチックフィルム、プラスチックシート等のサブストレートに例えばプリントされた、格子の透光度を示す。透光度は１方向に沿って例えば正弦波状に変化し、矩形波状、ランプ波状等に透光度が変化する格子でも良い。格子の透光度に対して周期と０～２πの位相θを図２のように定める。
　３次元計測装置２は、計測物体に格子を投影して撮影し、格子を１／３周期ずつあるいは１／４周期ずつ（位相としては２／３πあるいは１／２πずつ）スライドさせることにより、３枚あるいは４枚の画像を撮影する。格子をスライドさせながら、３枚以上の画像を撮影すると、各画素の格子に対する位相を求めることができる。そして位相接続部１６は、格子の基準点からｎ周期目の画素（１周期内での位相がθ）に対し、接続後の位相を２ｎπ＋θに変化させる。この処理を位相接続という。この処理によってプロジェクタ６から見た計測物体の方向が定まり、カメラ８から見た方向は画素の位置から分かるので、ステレオ測量の原理により、計測物体の３次元座標が定まる。このようにして計測物体の３次元座標を定める方法を、位相シフト法という。なお格子に代えてプロジェクタ６に液晶パネル等を設けても良い。その場合、液晶パネルの透光度を例えば正弦波状に変化させることにより格子とし、液晶パネル上で格子（正弦波）をスライドさせることにより、格子をスライドさせる。
　図３は背景除去部２２の構成を示す。計測物体無しで、格子の位置をスライドさせながら、少なくとも３枚、好ましくは４枚の画像を撮影する。各カメラからの各画素の輝度及び位相解析部１４で求めた各画素の位相を入力とし、メモリ３０に背景画像の輝度を記憶させる。輝度の画像には格子は不要なので、比較部３５で３枚あるいは４枚の入力画像（以下単に「入力画像」）中での輝度の最大値を抽出し、メモリ３０に記憶させる。この代わりに、入力画像から各画素での正弦波状の格子のコントラストを求めて振幅画像として記憶しても、あるいは入力画像での輝度Ｉを位相θにより　Ｉ÷（１＋sinθ＋α）（αは正の定数）等　により補正した画像等を記憶しても良い。さらに格子を投影しない画像を撮影して、輝度画像を取得しても良い。輝度画像と振幅画像とは性質が類似であるが、輝度画像は背景光の影響を受け、振幅画像は影響を受けない点が異なる。メモリ３１は背景画像の位相を記憶し、好ましくは位相接続前で値が０～２πの位相を記憶する。
　計測物体と背景とを含む画像（以下単に「入力画像」）に対し、同様の輝度画像をメモリ３２に、位相画像をメモリ３４に記憶する。３６は輝度の最大値を取り出すための比較部で、振幅画像等を用いる場合は不要である。３次元計測装置２は計測物体１にプロジェクタ６から格子を投影して撮影するので、計測物体は高い輝度を持つ。入力画像中の画素毎の輝度と閾値とを比較部３７で比較すると、計測物体に含まれる画素を全て含むマスクを作成できる。この閾値を第１の閾値ということがあり、計測物体を切り捨てないように低い値とし、閾値は固定でも可変でも良い。比較部３７で抽出した画素で値が例えば１，他の画素で値が例えば０の２値画像を、マスク画像としてメモリ３８に記憶する。マスク画像の範囲で、背景の輝度画像とメモリ３２の輝度画像との差分を差分部４０で行い、差分の絶対値が第２の閾値以上の画素を抽出する。同様に差分部４１で、背景の位相画像とメモリ３４の位相画像との差分を行い、差分の絶対値が第３の閾値以上の画素を抽出する。差分部４０，４１のいずれかで抽出された画素をＯＲ演算部４２で集め、計測物体の範囲を表す２値画像として、メモリ４４に記憶する。
　上記の処理ではマスク画像を用いるので、差分を行う範囲を限定できる。またメモリ３４の位相画像を作成する範囲を、マスク画像の範囲に限定できる。計測物体に属するが位相が偶々背景と同じ画素も存在し得るし、同様に輝度が偶々背景と同じ画素も存在し得るが、ＯＲ演算部４２を設けることにより、計測物体の画素を漏れなく抽出できる。またメモリ３４の位相画像に位相接続を施すと、画素の３次元座標が定まる。
　図４に背景の除去アルゴリズムを示す。準備段階で、格子を設けたガラス板等を３位置，あるいは４位置にスライドさせて、プロジェクタから格子を投影しながら、背景画像を撮影する（ステップ１）。背景の輝度画像もしくはそれと同等の画像、あるいは背景の振幅画像を作成して記憶し（ステップ２）、背景の各画素の位相を求めて位相画像として記憶する（ステップ３）。この明細書では、輝度画像及び同等の画像を単に「輝度画像」という。
　入力画像から背景を除去して３次元形状を計測するために、背景の場合と同様にして少なくとも３枚あるいは４枚の、格子の投影画像を撮影し（ステップ１１）、輝度画像を作成し記憶する（ステップ１２）。輝度が第１の閾値以上の画素からなるマスク画像を作成して記憶し（ステップ１３）、マスクの範囲で位相画像を作成する（ステップ１４）。またマスクの範囲で輝度及び位相の差分を背景との間で求め、差分の絶対値が閾値以上の画素を抽出し（ステップ１５，１６）、位相の差あるいは輝度の差のいずれかで抽出された画素の集合を、計測物体の画像として出力する（ステップ１７）。以下、この画像に対して位相接続を施し、３次元形状を求める。
　３次元形状を表す画像を計測画像と呼び、例えば奥行き方向をｘ方向として画素の輝度で表し、ｙｚ方向の位置を画素の位置で表す。図５は背景除去しない際の、図６は背景を除去した際の、計測画像を示す。図５では、人の両脚からなる計測物体と、背景のユニット４等が示されている。これに対して図６では、背景が除去されて計測物体のみが抽出されている。　
　図７は背景の輝度分布を、図８は背景の位相分布を示し、いずれも背景の金属表面等を含んでいる。図９は格子を投影した画像の１枚を示し、同様に背景も含んでいる。図９の画像等から求めた振幅分布の画像を図１０に示す。また図９の画像等から求めた位相分布の画像を図１１に示す。図１０，１１の画像は、両脚の他に背景も含んでいる。背景を除去せずに、図１１の位相分布から３次元形状を求めると図１２の画像となり、輝度はｘ方向座標を示し、画素の位置はｙｚ座標を示す。背景を除去した後に計測物体の３次元形状を求めると図１３の画像となり、背景は除去され、両脚の形状が正確に測定されている。
　実施例では以下の効果が得られる。
1)　背景から計測物体を正確に抽出できる。
2)　入力画像中の輝度画像をマスクとするので、計測物体を抽出するための差分処理を行う範囲を限定できる。また位相を求める範囲を限定できる。マスクの閾値を低くすると、計測物体を完全にマスクに含めることができる。　
3)　位相の差分により、計測物体を抽出する。このことは背景から３次元座標が変化している画素を計測物体とすることを意味する。そして背景と計測物体が偶々位相が同じになる場合を除き、計測物体を正確に抽出できる。
4)　位相の差分で抽出できなかった計測物体を、輝度の差分で抽出する。このため計測物体を背景とすることがない。
　なお背景の除去は、３次元形状の測定と同じ分解能で行っても、より低い分解能で行っても良い。背景除去では位相接続前の位相を用いるが、位相接続後の位相を用いても良い。またプロジェクタ６から、白色光に限らず、単色光等を投影しても良い。実施例では位相シフト法を例としたが、空間コード化法でも全く同様に実施できる。
１　計測物体　　２　３次元計測装置　　４　ユニット　　
６　プロジェクタ　　８　カメラ　　１０　コントローラ
１２　ユニット制御部　　１４　位相解析部　　１６　位相接続部
１８　座標変換部　　２０　合成部　　２２　背景除去部
３０～３４　メモリ　　３５～３７　比較部　　３８　メモリ
４０，４１　差分部　　４２　ＯＲ演算部　　　４４　メモリ

Claims (5)

  1. 　計測対象の物体に、位置を変えて格子を複数回投影し、もしくはピッチを変えて格子を複数回投影すると共に、投影された格子の画像を撮影して解析することにより、計測対象の物体の３次元形状を求める３次元計測装置において、
    　計測対象の物体と背景とを含む画像から求めた３次元空間での位置と、計測対象の物体を含まない背景画像から求めた３次元空間での位置とが所定値以上異なる画素を、計測対象の物体に属する画素として抽出する背景除去部を備えていることを特徴とする、３次元計測装置。
  2. 　前記３次元計測装置は、プロジェクタとカメラと位相解析部と位相接続部とをさらに備え、
    　前記３次元計測装置は、
    　　プロジェクタにより、透光度が周期的に変化する格子を、格子の位置を変えて計測対象の物体に複数回投影すると共に、
    　　投影された格子の画像をカメラで撮影し、
    　　位相解析部により、格子の透光度の１周期に対する、カメラで撮影した画像での画素の位相を求め、
    　　位相接続部により、格子の基準点からの周期の数を前記画素の位相に付加すると共に、周期の数を付加した画素の位相を３次元座標に変換して、計測対象の物体の３次元形状を求めるように構成され、
    　　前記背景除去部は、計測対象の物体と背景とを含む画像での格子の透光度に対する位相と、前記背景画像での格子の透光度に対する位相との差分が、第１の所定値以上の画素を、計測対象の物体に属する画素として抽出するように構成されていることを特徴とする、請求項１の３次元計測装置。
  3. 　前記背景除去部は、位相の差分が第１の所定値以上の画素に加えて、計測対象の物体と背景とを含む画像の輝度と背景画像の輝度との差分、もしくは計測対象の物体と背景とを複数回撮影した画像間での輝度の変化分と、背景を複数回撮影した画像間での輝度の変化分との差分を求め、求めた差分が第２の所定値以上の画素を、計測対象の物体に属する画素に追加することを特徴とする、請求項２の３次元計測装置。
  4. 　前記背景除去部は、計測対象の物体と背景とを含む画像の、輝度もしくは複数回撮影した画像間の輝度の変化分が所定値以上の画素をマスクとして抽出し、マスクに含まれる画素のみから計測対象の物体に属する画素を抽出することを特徴とする、請求項２または３の３次元計測装置。
  5. 　３次元計測装置のプロジェクタにより、計測対象の物体に位置を変えて格子を複数回投影し、もしくはピッチを変えて格子を複数回投影すると共に、投影された格子の画像を撮影して３次元計測装置により解析することにより、計測対象の物体の３次元形状を求める３次元計測方法において、
    　３次元計測装置の背景除去部により、計測対象の物体と背景とを含む画像から求めた３次元空間での位置と、計測対象の物体を含まない背景画像から求めた３次元空間での位置とが所定値以上異なる画素を、計測対象の物体に属する画素として抽出することを特徴とする、３次元計測方法。
PCT/JP2013/064276 2012-06-12 2013-05-22 ３次元計測装置及び３次元計測方法 WO2013187202A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-132959 2012-06-12
JP2012132959 2012-06-12

Publications (1)

Publication Number Publication Date
WO2013187202A1 true WO2013187202A1 (ja) 2013-12-19

Family

ID=49758032

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/064276 WO2013187202A1 (ja) 2012-06-12 2013-05-22 ３次元計測装置及び３次元計測方法

Country Status (1)

Country Link
WO (1) WO2013187202A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181128A1 (ja) * 2021-02-24 2022-09-01 株式会社デンソーウェーブ 三次元計測システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004108950A (ja) * 2002-09-18 2004-04-08 Ricoh Co Ltd 光学式形状測定システム
JP2007121294A (ja) * 2005-10-24 2007-05-17 General Electric Co <Ge> 物体を検査する方法および装置
JP2009180690A (ja) * 2008-02-01 2009-08-13 Nikon Corp 三次元形状測定装置
JP2009536731A (ja) * 2006-05-11 2009-10-15 プライム・センス・リミテッド 深度マップによるヒューマノイド形状のモデル化
JP2010243296A (ja) * 2009-04-03 2010-10-28 Omron Corp 三次元形状計測装置、三次元形状計測方法、および三次元形状計測プログラム
JP2012043181A (ja) * 2010-08-19 2012-03-01 Sony Corp 情報処理装置、情報処理方法、プログラム、及び電子装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004108950A (ja) * 2002-09-18 2004-04-08 Ricoh Co Ltd 光学式形状測定システム
JP2007121294A (ja) * 2005-10-24 2007-05-17 General Electric Co <Ge> 物体を検査する方法および装置
JP2009536731A (ja) * 2006-05-11 2009-10-15 プライム・センス・リミテッド 深度マップによるヒューマノイド形状のモデル化
JP2009180690A (ja) * 2008-02-01 2009-08-13 Nikon Corp 三次元形状測定装置
JP2010243296A (ja) * 2009-04-03 2010-10-28 Omron Corp 三次元形状計測装置、三次元形状計測方法、および三次元形状計測プログラム
JP2012043181A (ja) * 2010-08-19 2012-03-01 Sony Corp 情報処理装置、情報処理方法、プログラム、及び電子装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181128A1 (ja) * 2021-02-24 2022-09-01 株式会社デンソーウェーブ 三次元計測システム

Similar Documents

Publication Publication Date Title
US10739131B2 (en) Three-dimensional scanning device using structured light
US8908958B2 (en) Devices and methods of generating three dimensional (3D) colored models
CN101697233B (zh) 一种基于结构光的三维物体表面重建方法
WO2017023210A1 (en) Generating a merged, fused three-dimensional point cloud based on captured images of a scene
JP6302219B2 (ja) Ｍｔｆ測定装置およびｍｔｆ測定プログラム
TWI573984B (zh) 圖像匹配系統及方法
US10430962B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, and storage medium that calculate a three-dimensional shape of an object by capturing images of the object from a plurality of directions
US20180176440A1 (en) Structured-light-based exposure control method and exposure control apparatus
US10181202B2 (en) Control apparatus, robot, and control method
CN105579809B (zh) 测量方法、测量装置以及计算机可读记录介质
US11512946B2 (en) Method and system for automatic focusing for high-resolution structured light 3D imaging
KR20160047847A (ko) 영상 정합 방법
TW201225658A (en) Imaging device, image-processing device, image-processing method, and image-processing program
US9204130B2 (en) Method and system for creating a three dimensional representation of an object
TW202014993A (zh) 資訊處理裝置、記錄媒體、程式產品及資訊處理方法
CN101799924A (zh) 借助ccd照相机对投影仪进行标定的方法
JP5336325B2 (ja) 画像処理方法
KR20200046789A (ko) 이동하는 물체의 3차원 데이터를 생성하는 방법 및 장치
WO2013187202A1 (ja) ３次元計測装置及び３次元計測方法
US9270883B2 (en) Image processing apparatus, image pickup apparatus, image pickup system, image processing method, and non-transitory computer-readable storage medium
JP2005283197A (ja) 画面のスジ欠陥検出方法及び装置
CN107515844B (zh) 字体设置方法、装置及移动设备
CN107103620B (zh) 一种基于独立相机视角下空间采样的多光编码相机的深度提取方法
KR20190103833A (ko) 실시간 3차원 데이터 측정 방법
JP5968370B2 (ja) 三次元計測装置、三次元計測方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13803953

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13803953

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP