JP7117800B2 - Shape measuring device and method - Google Patents
Shape measuring device and method Download PDFInfo
- Publication number
- JP7117800B2 JP7117800B2 JP2021138487A JP2021138487A JP7117800B2 JP 7117800 B2 JP7117800 B2 JP 7117800B2 JP 2021138487 A JP2021138487 A JP 2021138487A JP 2021138487 A JP2021138487 A JP 2021138487A JP 7117800 B2 JP7117800 B2 JP 7117800B2
- Authority
- JP
- Japan
- Prior art keywords
- wavelength
- shape
- distance
- shape measuring
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、被測定物の形状を測定する光学式形状測定装置及び方法に関する。 The present invention relates to an optical shape measuring apparatus and method for measuring the shape of an object.
特許文献1は、吸収を使用する3次元画像化システムを開示している。当該3次元画像化システムにおいて、物体とセンサとの間の蛍光媒質を励起し、励起光源からの励起光を用いて2つの波長の光束を射出させ、3次元撮像系では、センサは物体によって反射された光ビームを受光する。センサに接続されたコンピュータは、第1の波長の強度と第2の波長の強度との比に基づいて、媒質の厚さを決定し、前記物体の領域内の複数の追加の厚さを決定し、物体の領域の3次元画像を再構成する。 US Pat. No. 5,300,008 discloses a three-dimensional imaging system using absorption. In the three-dimensional imaging system, the fluorescent medium between the object and the sensor is excited, and the excitation light from the excitation light source is used to emit light beams of two wavelengths. In the three-dimensional imaging system, the sensor is reflected by the object receive a beam of light. A computer connected to the sensor determines the thickness of the medium based on the ratio of the intensity of the first wavelength to the intensity of the second wavelength and determines a plurality of additional thicknesses within the region of the object. and reconstruct a three-dimensional image of the region of the object.
また、特許文献2は、物体の表面形状を短時間で精度良く測定する形状測定装置を開示している。ここで、当該形状測定装置は、媒質を介して被検体を照明する照明部と、前記物体によって反射された2つの波長の光ビームを受光するための光センサと、2つの波長の光の強度と媒質の透過率とに基づいて、被測定物の表面までの距離を測定する測定部とを備えたことを特徴としている。
Further,
しかし、上述の特許文献1に開示された3次元画像化システムでは、励起光源からの励起光に応答して2つの波長の光ビームを励起するために、物体とセンサとの間に蛍光媒質を設ける必要があるという制限があった。
However, in the three-dimensional imaging system disclosed in the above-mentioned
また、特許文献2に開示された形状測定装置においては、物体の反射係数が同じである2つの波長が選択され、対象物の反射係数は測定前に知る必要がある。
Further, in the shape measuring apparatus disclosed in
本発明の目的は、媒質を介して2つの波長で観察された物体の輝度を使用することにより、従来技術よりも高い精度で物体の形状を測定する形状測定装置及び方法を提供することにある。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a shape measuring apparatus and method for measuring the shape of an object with higher accuracy than the prior art by using the brightness of the object viewed at two wavelengths through a medium. .
本発明の別の目的は、3つの波長の物体の輝度を使用することによって、従来技術における反射特性既知という制限を回避し、さらに高い精度で物体の形状を測定する形状測定装置及び方法を提供することにある。 Another object of the present invention is to provide a shape measuring apparatus and method that circumvents the limitation of known reflective properties in the prior art by using the brightness of the object at three wavelengths and yet measures the shape of the object with high accuracy. to do.
第1の発明に係る形状測定装置は、
第1の波長における各吸収係数と、第1の波長よりも長い第2の波長における吸収係数とを有する媒質を介して、第1の波長及び第2の波長の各反射率係数を有する物体の表面に、第1の波長及び第2の波長を有する光を照射する光源と、
前記物体の表面から来て前記媒質を通って伝搬する光を受光して、第1の波長と第2の波長の各強度を測定するセンサと、
前記測定された第1の波長及び第2の波長の各強度と、第1の波長及び第2の波長における媒質の各吸収係数に基づいて、前記媒質の表面から前記物体の表面までの距離を計算し、前記計算された距離に基づいて前記物体の形状を測定する測定部とを備えた形状測定装置であって、
第1の波長及び第2の波長は、第1の波長における最短距離の強度と第2の波長における最長距離の強度との差が所定の第1の値よりも大きくなり、かつ、第1の波長における反射率係数と第2の波長における反射率係数との差が所定の第2の値よりも小さくなるように選択され、
ここで、前記最短距離は、前記物体の表面上の複数の位置における対応する複数の距離のうちの最も短い距離をいい、
前記最長距離は、前記物体の表面上の複数の位置における対応する複数の距離のうちの最も長い距離をいう
ことを特徴とする。
A shape measuring device according to a first invention comprises:
of an object having reflectance coefficients at a first wavelength and a second wavelength through a medium having an absorption coefficient at a first wavelength and an absorption coefficient at a second wavelength longer than the first wavelength a light source that irradiates a surface with light having a first wavelength and a second wavelength;
a sensor for receiving light coming from the surface of the object and propagating through the medium and measuring respective intensities at first and second wavelengths;
Based on the measured intensities of the first and second wavelengths and the absorption coefficients of the medium at the first and second wavelengths, determine the distance from the surface of the medium to the surface of the object. a measuring unit that calculates and measures the shape of the object based on the calculated distance,
For the first wavelength and the second wavelength, the difference between the intensity at the shortest distance at the first wavelength and the intensity at the longest distance at the second wavelength is greater than a predetermined first value, and selected such that the difference between the reflectance coefficient at the wavelength and the reflectance coefficient at the second wavelength is less than a second predetermined value;
Here, the shortest distance is the shortest distance among a plurality of corresponding distances at a plurality of positions on the surface of the object,
The longest distance is the longest distance among a plurality of corresponding distances at a plurality of positions on the surface of the object.
第2の発明に係る形状測定装置は、
第3の波長が第1の波長と、第1の波長よりも長い第2の波長との間にあり、第1の波長、第2の波長及び第3の波長における各吸収係数を有する媒質を介して、第1の波長、第2の波長及び第3の波長における各反射率係数を有する物体の表面に光を照射する光源と、
前記物体の前記表面から来て前記媒質を通って伝搬する光を受光して、第1の波長、第2の波長及び第3の波長の各強度を測定するセンサと、
第1の波長及び第2の波長の各強度と、第1及び第2の波長における媒質の各吸収係数とに基づいて、前記媒質の表面から前記物体の表面までの距離を計算し、前記計算された距離に基づいて、前記物体の表面の反射係数特性が、第1の波長から第3の波長を介して第2の波長までの波長範囲にわたって実質的に線形関係を有する条件のもとで、前記物体の形状を測定する測定部とを備えたことを特徴とする。
A shape measuring device according to a second invention is
a medium having a third wavelength between the first wavelength and a second wavelength longer than the first wavelength and having absorption coefficients at the first wavelength, the second wavelength, and the third wavelength; a light source for illuminating a surface of an object having respective reflectance coefficients at the first wavelength, the second wavelength and the third wavelength through the light source;
a sensor for receiving light coming from the surface of the object and propagating through the medium to measure the intensity of each of first, second and third wavelengths;
calculating a distance from the surface of the medium to the surface of the object based on the intensities of the first and second wavelengths and the absorption coefficients of the medium at the first and second wavelengths; under the condition that the reflection coefficient characteristic of the surface of the object has a substantially linear relationship over the wavelength range from the first wavelength through the third wavelength to the second wavelength, based on the determined distance. and a measuring unit for measuring the shape of the object.
従って、本発明によれば、先行技術より高い精度で、物体から到来する2つの波長の光を用いて形状を測定することができる。また、従来技術よりもさらに高い精度で、物体から到来する3つの波長の光を用いて、物体の形状を測定することができる。 Therefore, according to the present invention, the shape can be measured using two wavelengths of light coming from the object with greater accuracy than the prior art. Also, the shape of an object can be measured using three wavelengths of light coming from the object with even higher accuracy than the prior art.
本発明のこれら及び他の目的及び特徴は、添付の図面を参照して、その実施形態に関連する以下の説明から明らかになるであろう。 These and other objects and features of the present invention will become apparent from the following description relating to its embodiments, with reference to the accompanying drawings.
以下、図面を参照して基本実施形態について説明する。以下の基本実施形態では、同様の構成要素には同じ参照符号を付している。 A basic embodiment will be described below with reference to the drawings. In the following basic embodiments, similar components are given the same reference numerals.
第1の基本実施形態
図1Aは、本発明の第1の基本実施形態に係る光学式形状測定装置の構成を示す概略ブロック図である。図1Aを参照すると、第1の基本実施形態に係る状測定装置は、物体60の形状を測定するものであり、媒質10を含むタンク50と、光源80と、ハーフミラー40と、バンドパスフィルタ31,32と、例えば撮像カメラなどのセンサ21,22と、内部メモリ70mを有しデジタルコンピュータからなる測定装置70と、操作部71と、ディスプレイ72とを備えて構成される。ここで、光源80は測定装置70からの制御信号S80によりその動作のオン/オフが制御される。
First Basic Embodiment FIG. 1A is a schematic block diagram showing the configuration of an optical shape measuring apparatus according to a first basic embodiment of the present invention. Referring to FIG. 1A, the shape measuring apparatus according to the first basic embodiment measures the shape of an
図1Aに示すように、タンク50の内部は、例えば水、液体、気体、固体、及びゲルのうちの少なくとも1つである媒質10によって満たされ、物体表面60sを有する被測定物体(以下、物体ともいう)60が載置され、物体60は、形状測定及び3次元画像化のときに、測定装置70からの制御信号S61に基づいて、移動支持部61により、例えばタンク50の底面に平行な2次元平面上で支持しながら移動される。移動支持部61の当該動作は後述する基本実施形態及び実施形態においても同様である。
As shown in FIG. 1A, the interior of the
媒質10は、波長に対する吸収係数特性を有し、例えば、第1の波長λ1における吸収係数α(λ1)と、第1の波長λ1とは異なる第2の波長λ2における吸収係数α(λ2)とを有する。物体60は、上述のようにタンク50の底面に配置され、物体60の上面などのターゲット面である物体表面60sは、波長に対する反射率特性を有しており、例えば、第1の波長λ1における反射率係数s(λ1)と、第2の波長λ2における反射率係数s(λ2)とを有する。光源80は、第1及び第2の波長λ1,λ2を含む広帯域の平行光を出射し、媒質10を介して物体表面60sに向けて入射光L80として照射する。ここで、入射光L80の矢印は入射光L80が伝搬する方向を示す。
The medium 10 has an absorption coefficient characteristic with respect to wavelength, for example an absorption coefficient α(λ 1 ) at a first wavelength λ 1 and an absorption coefficient α at a second wavelength λ 2 different from the first wavelength λ 1 . (λ 2 ). The
入射光L80は、物体60の物体表面60sによって、入射光L80に対して実質的に平行な反射光R60として実質的に光軸40aに沿って反射される。ここで、反射光R60の矢印は反射光R60が伝搬する方向を示す。反射光R60のうちの、第1の波長λ1の通過波長を有する光は、媒質10、ハーフミラー40及びバンドパスフィルタ31を介してセンサ21に伝搬する。ハーフミラー40は、反射光R60を反射して、当該光をバンドパスフィルタ32を介してセンサ22に向けて伝搬させる。ここで、バンドパスフィルタ32が挿入されているので、反射光R60のうち第2の波長λ2の光がセンサ22に入射する。センサ21,22は、例えば撮像カメラにより構成することができる。ここで、センサ21は、反射光R60のうちの、第1の波長λ1の反射光R60の強度を検出し、その強度のデータを測定装置70に出力する。また、センサ22は、反射光R60のうち、第2の波長λ2の反射光R60の強度を検出し、その強度のデータを測定装置70に出力する。
Incident light L80 is reflected by
操作部71は、測定装置70に接続されており、ユーザによる形状測定処理を行うために必要なデータや指示コマンドを入力するために設けられる。ディスプレイ72は、測定装置70に動作可能に接続され、形状測定処理の結果を表示するために提供される。
The
測定装置70は、以下のデータを、例えば操作部71を用いて予め入力されて格納する内部メモリ70mを有する:媒質10の、波長に対する吸収係数特性であって、例えば、第1の波長λ1における吸収係数α(λ1)と、第1の波長λ1とは異なる第2の波長λ2における吸収係数α(λ2)のデータ。測定装置70は後述する図1Aの形状測定処理を実行することで、物体60の物体表面60sの3次元形状を推定して測定する。
The measuring
測定装置70は、特許文献2に開示された発明と概念的には同様に、第1及び第2の波長λ1,λ2の各強度に基づいて、物体60の物体表面60s上の複数箇所の距離l(媒質表面10sから物体表面60sまでの距離をいう。)を計算することにより、対象物の1次元、2次元又は3次元形状を測定する。当該形状測定装置はさらに、測定された物体の形状に基づいて物体の3次元画像を再構成して物体60の3次元撮像を行うことができる。
Conceptually similar to the invention disclosed in
第1の基本実施形態では、特許文献2に記載されている形状測定装置とは異なる以下の方法を用いて、特許文献2の装置精度よりも高い精度で、上記距離lを計算して物体60の形状を測定することができる。すなわち、第1の基本実施形態の方法は、半透明の物体60が設けられていても、物体60の3次元画像を再構成することができることが、特許文献2の形状測定装置とは大きく異なる。
In the first basic embodiment, the following method, which is different from the shape measuring device described in
まず、第1に、s(λ)は物体60の物体表面60sの反射放射スペクトル(透明物体の場合は、物体内部に入り出てくる光もあるため、物体表面から到来する光は、反射スペクトルと、放射スペクトルとの少なくとも一方を含み、以下、「反射放射スペクトル」という。ただし、明らかに透明物体ではない場合は、「反射スペクトル」という。)であると定義し、すなわち、本実施形態は反射面に限定されない。特定の波長λにおける入射放射照度に対する表面点における放射輝度の比としてs(λ)を定義すると、同じ理論は、半透明、表面下散乱、体積散乱、及び相互反射などのより複雑な材料を有する物体に適用可能である。言い換えれば、当該第1の基本実施形態は、半透明な物体60に対して3次元画像化を行うことができる。
First, s(λ) is the reflected radiation spectrum of the
次に、正確な推定のための波長選択について以下に説明する。正確な形状再構成のために、形状測定のために、2つの波長λ1及びλ2を適切に選択することが重要である。形状測定精度に影響を与える主な要因は次のとおりである。 Wavelength selection for accurate estimation is now discussed below. For accurate shape reconstruction, it is important to properly choose the two wavelengths λ 1 and λ 2 for shape measurement. The main factors affecting shape measurement accuracy are:
(1)センサ21,22の分光感度、
(2)媒質10の吸収係数α(λ1)と吸収係数α(λ2)との差、
(3)物体60の物体表面60sの反射率係数s(λ1)と反射率係数s(λ2)との差、及び
(4)物体60の厚さなどの物体60のサイズの大きさ。
(1) spectral sensitivity of
( 2 ) the difference between the absorption coefficients α(λ 1 ) and α(λ 2 ) of the medium 10;
(3) the difference between the reflectance coefficient s(λ 1 ) and the reflectance coefficient s(λ 2 ) of the
波長選択のために満たすべき条件は、以下のように要約することができる。
(A)例えばカメラなどのセンサ21,22のダイナミックレンジを最大限に活用するために、以下の条件で2つの波長λ1とλ2を選択する必要がある。
条件:「exp(-2α(λ2)-α(λ1)lmin)とexp(-2α(λ2)-α(λ1)lmax)との差が所定のしきい値Dth1よりも大きくなるように、好ましくは、当該差が最大になること。」
ここで、lmaxは形状測定装置により測定された物体表面60s上の複数の位置における対応する複数の距離lのうちの最も長い距離を表し、lminはその最短距離を表す。なお、実施形態において、媒質10として水を用いているが、媒質10は水に限定されない。
The conditions to be met for wavelength selection can be summarized as follows.
(A) In order to maximize the dynamic range of
Condition: "the difference between exp(-2α(λ 2 )-α(λ 1 )l min ) and exp(-2α(λ 2 )-α(λ 1 )l max ) is greater than a predetermined threshold value D th1 is also large, preferably the difference is maximized.”
Here, l max represents the longest distance among the corresponding multiple distances l at multiple positions on the
上記の条件は、λ2>λ1の場合において、第1の波長λ1の画像であるλ1画像の物体表面60s上の距離l1の点(l1)の画素における強度はできるだけ高くなければならず、第2の波長λ2の画像であるλ2画像の物体表面60s上の距離l2の点(l2)の画素での強度はできるだけ小さくなければならないことを意味する。この場合において、第1の波長λ1における最短距離lminにおける強度と第2の波長λ2における最長距離lmaxにおける強度との差がしきい値Dth1よりも大きくなるように、好ましくは当該差が最大となることである。ここで、最短距離lminは、物体60の物体表面60s上に最小深さを有する位置に対応し、最長距離lmaxは、物体60の物体表面60s上で最大の深さを有する位置に対応する。
The above condition is that when λ 2 >λ 1 , the intensity at a pixel at a point (l 1 ) at a distance l 1 on the
本発明者らの実験では、第1の波長λ1における最短距離lminにおける強度と、第2の波長λ2における最長距離lmaxにおける強度との比は、約4又は5よりも大きいことが好ましい。 In our experiments, the ratio of the intensity at the shortest distance l min at the first wavelength λ 1 to the intensity at the longest distance l max at the second wavelength λ 2 is found to be greater than about 4 or 5. preferable.
(B)第1及び第2の波長λ1,λ2における反射率係数s(λ1)とs(λ2)との差を最小にして高精度化するためには、複数の物体60の反射率係数の統計データに基づいて、反射率係数s(λ1)とs(λ2)との差はできるだけ小さく、好ましくは所定のしきい値Dth2よりも小さいように、2つの波長λ1,λ2を選択する。 (B) In order to minimize the difference between the reflectance coefficients s(λ 1 ) and s(λ 2 ) at the first and second wavelengths λ 1 and λ 2 and improve the accuracy, Based on the statistical data of the reflectance coefficients, the difference between the reflectance coefficients s(λ 1 ) and s(λ 2 ) is as small as possible, preferably less than a predetermined threshold value D th2 . 1 , λ 2 .
(C)センサ21,22の出力におけるノイズを低減するためには、第1及び第2の波長λ1,λ2におけるセンサ21,22の分光感度や強度が十分に高く、所定のしきい値Dth3よりも大きいことが好ましい。
(C) In order to reduce noise in the outputs of the
図1Bは図1Aの測定装置70によって実行される形状測定処理を示すフローチャートである。
FIG. 1B is a flow chart showing the shape measurement process performed by the measuring
図1Bにおいて、まず、ステップS1において、センサ21,22により測定された第1の波長λ1及び第2の波長λ2の各強度をセンサ21,22,23から受信する。次いで、ステップS2において、受信された第1の波長λ1及び第2の波長λ2の各強度と、内部メモリ70mに予め格納された、第1の波長λ1における媒質10の吸収係数α(λ1)及び第2の波長λ2における媒質10の吸収係数α(λ2)に基づいて、媒質表面10sから物体表面60sまでの距離lを計算する。そして、ステップS3において、計算された距離lに基づいて物体60の物体表面60sの形状を測定し、ステップS4において、測定された物体60の物体表面60sの形状に基づいて、物体60の3次元形状を有する画像を再構成する。さらに、ステップS5において、再構成された物体60の3次元形状を有する画像をディスプレイ72に表示して当該形状測定処理を終了する。
In FIG. 1B, first, in step S1, the respective intensities of the first wavelength λ 1 and the second wavelength λ 2 measured by the
図4は、距離lを補正する補正方法を示す概略ブロック図である。入射光L80及び反射光R60が媒質10の表面(光軸40aに垂直な媒質面)に対して、角度φ及びθで傾斜している場合には、図4に示すように、距離lは、(lm1/cosφ+lm2/cosθ)/2に補正されるべきである。ここで、lm1及びlm2はそれぞれ、入射光L80及び反射光R60の実測長さ(距離)を示す。補正方法は、後述する第2及び第3の基本実施形態に適用することができる。
FIG. 4 is a schematic block diagram showing a correction method for correcting the distance l. When the incident light L80 and the reflected light R60 are inclined at angles φ and θ with respect to the surface of the medium 10 (medium surface perpendicular to the
以上説明したように、第1の基本実施形態によれば、上述のように2つの波長λ1,λ2が選択され、形状測定装置は、従来技術よりも高い精度で物体60の形状を測定することができる。
As described above, according to the first basic embodiment, the two wavelengths λ 1 and λ 2 are selected as described above, and the shape measuring device measures the shape of the
第2の基本実施形態
図2Aは、本発明の第2の基本実施形態に係る光学式形状測定装置の構成を示す概略ブロック図である。図2Aを参照すると、第2の基本実施形態に係る形状測定装置は、λ1<λ3<λ2の互いに異なる3つの波長λ1,λ2,λ3を用いることにより、第1の基本実施形態の精度よりも高い精度で、物体60の形状を測定することを特徴としている。当該形状測定装置は、媒質10と、光源80と、ハーフミラー41,42と、バンドパスフィルタ31,32,33と、撮像カメラ等のセンサ21,22,23と、内部メモリ70mを有する測定装置70Aと、操作部71と、ディスプレイ72とを備えて構成される。以下、第1の基本実施形態と第2の基本実施形態との相違点について説明する。
Second Basic Embodiment FIG. 2A is a schematic block diagram showing the configuration of an optical shape measuring apparatus according to a second basic embodiment of the present invention. Referring to FIG. 2A, the shape measuring apparatus according to the second basic embodiment uses three mutually different wavelengths λ 1 , λ 2 , and λ 3 with λ 1 <λ 3 <λ 2 to achieve the first basic It is characterized in that the shape of the
図2Aを参照すると、反射光R60は実質的に光軸40aに沿って、媒質10、ハーフミラー41、及び第1の波長λ1の通過波長を有するバンドパスフィルタ31を介してセンサ21に伝搬する。ハーフミラー41は、反射光R60を反射して、ハーフミラー42及び第3の波長λ3の通過波長を有するバンドパスフィルタ33を介してセンサ23に向けて伝搬させる。ハーフミラー42は、反射光R60を反射して、第2の波長λ2の通過波長を有するバンドパスフィルタ32を介してセンサ22に向けて伝搬させる。
Referring to FIG. 2A, reflected light R60 propagates substantially along
センサ21,22,23は、例えば撮像カメラにより構成することができる。センサ21は、反射光R60を受光し、第1の波長λ1の反射光R60の強度を検出し、その強度のデータを測定装置70Aに出力する。センサ22は、反射光R60を受光し、第2の波長λ2の反射光R60の強度を検出し、その強度のデータを測定装置70Aに出力する。センサ23は、反射光R60を受光し、第3の波長λ3の反射光R60の強度を検出し、その強度のデータを測定装置70Aに出力する。
The
測定装置70Aは、λ1<λ3<λ2の関係を有する第1の波長、第2の波長及び第3の波長λ1,λ2,λ3の強度に基づいて距離lを計算し、物体60の物体表面60s上の複数箇所の距離lを計算することにより、物体60の1次元、2次元、3次元形状をさらに測定することができる。加えて、測定装置70Aは、測定された物体60の形状に基づいて物体60の3次元画像を再構成して、物体60の3次元画像を画像化する。
the measuring
第2の基本実施形態では、測定のために以下の係数を定義する。
(A)第1の波長λ1における物体60の物体表面60sの反射係数s(λ1);
(B)第2の波長λ2における物体60の物体表面60sの反射係数s(λ2);
(C)第3の波長λ3における物体60の物体表面60sの反射係数s(λ3);
(D)第1の波長λ1における媒質10の吸収係数α(λ1);
(E)第2の波長λ2における媒質10の吸収係数α(λ2);及び
(F)第3の波長λ3における媒質10の吸収係数α(λ3)。
In a second basic embodiment, we define the following coefficients for the measurement.
(A) Reflection coefficient s(λ 1 ) of
(B) Reflection coefficient s(λ 2 ) of
(C) Reflection coefficient s(λ 3 ) of
(D) the absorption coefficient α(λ 1 ) of the medium 10 at the first wavelength λ 1 ;
(E) the absorption coefficient α(λ 2 ) of
第2の基本実施形態では、反射係数s(λ1)と反射係数s(λ2)は、反射係数s(λ1)と反射係数s(λ2)との差が、反射係数s(λ1)又は反射係数s(λ2)の1/100等の所定の小さな値よりも小さくなるように設定することが好ましい。この場合において、物体60の物体表面60sの反射係数の波長特性は、次式のように、第1の波長λ1から第3の波長λ3を介して第2の波長λ2までの波長範囲において、波長λに対して実質的な線形関係(直線近似)を有することが好ましい。
In the second basic embodiment, the reflection coefficient s(λ 1 ) and the reflection coefficient s(λ 2 ) are such that the difference between the reflection coefficient s(λ 1 ) and the reflection coefficient s(λ 2 ) is the reflection coefficient s(λ 1 ) or smaller than a predetermined small value such as 1/100 of the reflection coefficient s(λ 2 ). In this case , the wavelength characteristic of the reflection coefficient of the
s(λ)=a×λ+b s(λ)=a×λ+b
ここで、a,bは定数である。各波長λ1,λ2,λ3に対して次式で表される。 where a and b are constants. It is expressed by the following equation for each wavelength λ 1 , λ 2 , λ 3 .
s(λ1)=a×λ1+b
s(λ2)=a×λ2+b
s(λ3)=a×λ3+b
s(λ 1 )=a×λ 1 +b
s(λ 2 )=a×λ 2 +b
s(λ 3 )=a×λ 3 +b
図2Bは図2Aの測定装置70Aによって実行される形状測定処理を示すフローチャートである。
FIG. 2B is a flow chart showing a shape measurement process performed by measuring
図2Bにおいて、まず、ステップS11において、センサ21,22,23により測定された第1の波長λ1、第2の波長λ2、及び第3の波長λ3の各強度を、センサ21,22,23から受信する。次いで、ステップS12において、受信された第1の波長λ1、第2の波長λ2、及び第3の波長λ3の各強度と、内部メモリ70mに予め格納された、第1の波長λ1における媒質10の吸収係数α(λ1)、第2の波長λ2における媒質10の吸収係数α(λ2)及び第3の波長λ3における媒質10の吸収係数α(λ3)に基づいて、媒質表面10sから物体表面60sまでの距離lを計算する。ステップS13において、計算された距離lに基づいて、物体表面60sの反射係数特性が、第1の波長λ1から第3の波長λ3を介して第2の波長λ2までの波長範囲にわたって 実質的に線形関係を有する条件のもとで、物体60の物体表面60sの形状を測定する。さらに、ステップS14において、測定された物体60の物体表面60sの形状に基づいて、物体60の3次元形状を有する画像を再構成し、ステップS15において再構成された物体60の3次元形状を有する画像をディスプレイ72に表示して当該形状測定処理を終了する。
In FIG. 2B, first, in step S11, the intensities of the first wavelength λ 1 , the second wavelength λ 2 , and the third wavelength λ 3 measured by the
測定装置70Aは、反射係数の波長特性の実質的な線形関係を前提として、反射係数s(λ1)とs(λ2)との誤差を考慮して、第1の基本実施形態よりも高い精度で距離lを計算することができる。さらに、測定装置70Aは、非線形最小2乗法と並列処理を用いることにより、前記の方法よりも短い時間で距離lを計算することができる。さらに、測定装置70Aは、次式の近似条件を用いることで、前記の方法よりも短い時間で距離lを計算してもよい。
Measurement apparatus 70A has a higher Distance l can be calculated with precision. Furthermore, the measuring
(ケース1)α(λ3)-α(λ1)=α(λ2)-α(λ3)
(ケース2)2α(λ3)-2α(λ1)=α(λ2)-α(λ3)
(Case 1) α(λ 3 )−α(λ 1 )=α(λ 2 )−α(λ 3 )
(Case 2) 2α(λ 3 )−2α(λ 1 )=α(λ 2 )−α(λ 3 )
以上説明したように、第2の基本実施形態によれば、測定装置70Aは、物体60の物体表面60sの反射係数の波長特性が波長に対して実質的な線形関係(線形近似)を有するという仮定を用いて、従来技術よりも高い精度で形状測定を行うことができる。この場合、さらに非線形最小二乗法を用いて並列処理を行うことにより、前記方法と比較して更に短い時間で長さ計算を実行することができる。加えて、さらに、前記の2つの条件を近似に用いることにより、前記の方法と比較してさらに短い時間で長さ計算を行うことができる。
As described above, according to the second basic embodiment, the
第3の基本実施形態
図3は、本発明の第3の基本実施形態に係る光学式形状測定装置の構成を示す概略ブロック図である。図2Aに示す第2の基本実施形態の形状測定装置は3つのセンサ21,22,23を備えるが、第3の基礎実施形態では、図3に示すように、3つのセンサ21,22,23の代わりに、スペクトロスコープ(分光器)カメラなどのスペクトロスコープセンサ24を使用してもよい。この場合において、3つのバンドパスフィルタ31,32,33に代えて3つの波長λ1,λ2,λ3の光を通過させるバンドパスフィルタ34を1つだけ設け、図2Aの測定装置70Aの代わりに測定装置70Bが設けられている。
Third Basic Embodiment FIG. 3 is a schematic block diagram showing the configuration of an optical shape measuring apparatus according to a third basic embodiment of the present invention. The shape measuring device of the second basic embodiment shown in FIG. 2A comprises three
図3を参照すると、反射光R60は実質的に光軸40aに沿って反射され、バンドパスフィルタ34を介してスペクトロスコープセンサ24に受光される。スペクトロスコープセンサ24は、第1、第2、第3の波長λ1,λ2,λ3の強度だけでなく、写真用RGB画像データを測定装置70Bに出力する。測定装置70Bはこれに応答して、物体60の形状を測定して3次元画像化を行い、その画像化データである写真用RGB画像データをディスプレイ72に出力して表示する。
Referring to FIG. 3, reflected light R60 is reflected substantially along
なお、第3の基本実施形態では、第2の基礎実施形態における高速化と高精度化のための計算方法も用いることもできる。 In addition, in the third basic embodiment, the calculation method for increasing the speed and accuracy in the second basic embodiment can also be used.
以下では、第1の基礎実施形態に対応する第1の実施形態と、第2及び第3の基礎実施形態に対応する第2の実施形態とについて、実施例を参照しつつ詳細説明する。 Below, a first embodiment corresponding to the first basic embodiment and a second embodiment corresponding to the second and third basic embodiments will be described in detail with reference to examples.
第1の実施形態
以下の第1の実施形態では、その中で章番号及び節番号を付して説明する。
First Embodiment In the following first embodiment, chapter numbers and section numbers will be assigned and explained.
1.媒質による光の吸収特性を利用した形状推定
ここでは、例えば水である媒質10による光の吸収特性を利用した距離推定について説明する。まず、はじめに、光の吸収特性について簡単に説明した後、2つの波長λ1,λ2の光の吸収特性から距離推定を行う原理について述べる。次いで、推定した距離の精度を考察し、最後に使用する近赤外線領域での2つの波長λ1,λ2間での物体の反射放射スペクトルについて検証する。
1. Shape Estimation Using Light Absorption Characteristics of Medium Here, distance estimation using light absorption characteristics of the medium 10, which is water, for example, will be described. First, the light absorption characteristics will be briefly described, and then the principle of distance estimation from the light absorption characteristics of two wavelengths λ 1 and λ 2 will be described. We then consider the accuracy of the estimated range and finally verify the reflected radiation spectrum of the object between the two wavelengths λ 1 and λ 2 in the near-infrared range used.
1.1 光の吸収特性
光がある媒質10を透過する際に、光はその媒質10によって吸収される特性を持つ。しかし、光の全波長域において一定の割合で吸収されて強度が下がるというわけではなく、媒質に依存した吸収特性に従って光は吸収される。一般的に、媒質10には光が強く吸収される波長域もあれば、ほとんど吸収されない波長域もある。本実施形態では、媒質10の一例として水に着目し、水による光の吸収特性を利用することで物体60の形状推定を行うことを考える。
1.1 Absorption Characteristics of Light Light has a characteristic of being absorbed by the medium 10 when the light is transmitted through the medium 10 . However, light is not absorbed at a constant rate in the entire wavelength range and the intensity is reduced, and the light is absorbed according to the absorption characteristics depending on the medium. In general, the medium 10 has a wavelength range in which light is strongly absorbed and a wavelength range in which light is hardly absorbed. In this embodiment, attention is focused on water as an example of the medium 10, and the shape estimation of the
図5は400nm~1400nmにおける水による光の吸収割合を示すグラフである。すなわち、図5においては、一例として、長さ12mmの水中を光が通過した際に、400nm~1400nmの波長域における光が吸収された割合を示したグラフを示す。図5から明らかなように、可視光域である400nm~750nmでは光がほとんど吸収されていないことが分かる。これは、この波長域に感度を持つ人間の目には水が透明に見えるという事実を示している。一方、ちょうど可視光域より波長が長くなった波長域から、光の吸収が強まり始め、900nmの波長域から急激に吸収率が高くなる。そして1200nm~1400nmの近赤外領域の光はきれいに吸収されていることが分かる。 FIG. 5 is a graph showing the absorption rate of light by water in the range of 400 nm to 1400 nm. That is, FIG. 5 shows, as an example, a graph showing the ratio of absorption of light in the wavelength range of 400 nm to 1400 nm when light passes through water having a length of 12 mm. As is clear from FIG. 5, it can be seen that almost no light is absorbed in the visible light range of 400 nm to 750 nm. This indicates the fact that water appears transparent to the human eye, which is sensitive to this wavelength range. On the other hand, the absorption of light begins to intensify from a wavelength range just longer than the visible light range, and the absorptance increases sharply from a wavelength range of 900 nm. It can be seen that light in the near-infrared region of 1200 nm to 1400 nm is well absorbed.
図6Aは可視光と近赤外線での水の見え方の違いを示す写真画像であって、フィルタを使わず赤外線カメラで撮影した水の見え方を示す写真画像である。また、図6Bは可視光と近赤外線での水の見え方の違いを示す写真画像であって、950nmのフィルタを通して赤外線カメラで撮影した水の見え方を示す写真画像である。 FIG. 6A is a photographic image showing the difference in appearance of water in visible light and near-infrared light, and is a photographic image showing the appearance of water photographed with an infrared camera without using a filter. FIG. 6B is a photographic image showing the difference in appearance of water in visible light and near-infrared light, and is a photographic image showing the appearance of water photographed with an infrared camera through a 950 nm filter.
すなわち、図6A及び図6Bは、可視光域では水によりほとんど光が吸収されていないが、近赤外線の吸収の強い波長域では光が強く吸収されていることを確認するための比較画像である。これらの画像は、可視光域に加えて1100nmの近赤外線まで感度のある撮像カメラで、水の入った容器を撮影したものである。ここで、図6Aはフィルタを使わずに撮影したものに対し、図6Bはカメラレンズの前に水による光の吸収が強い波長である950nmのバンドパスフィルタを設置して撮影してある。バンドパスフィルタはそのバンドの光のみを透過させる特性を持つので、撮像カメラには950nmの光しか届かず、その結果950nmの分光画像が得られる。 That is, FIGS. 6A and 6B are comparison images for confirming that water hardly absorbs light in the visible light range, but strongly absorbs light in the wavelength range where near-infrared light absorption is strong. . These images were taken of a water-filled container with an imaging camera sensitive to near-infrared rays of 1100 nm in addition to the visible light region. Here, FIG. 6A was taken without using a filter, while FIG. 6B was taken with a band-pass filter of 950 nm, which is a wavelength at which light is strongly absorbed by water, placed in front of the camera lens. Since the band-pass filter has the property of transmitting only the light of that band, only light of 950 nm reaches the imaging camera, and as a result, a spectral image of 950 nm is obtained.
また、図6Bの画像は図6Aの画像に比べて、強く光が吸収されていて、水が黒く見えることが分かる。実際に光が吸収されていることを確認してきたが、この光の吸収特性はランベルト・ベールの法則に従っている。 In addition, it can be seen that the image in FIG. 6B shows stronger light absorption than the image in FIG. 6A, and the water looks black. We have confirmed that light is actually absorbed, and the absorption characteristics of this light follow the Beer-Lambert law.
図7はランベルト・ベールの法則に従った光量を示すための装置の概略側面図である。図7の装置の状況を仮定すると、ある波長λにおいて媒質10に入射する前の光の強度I0と媒質10に入射して透過した後の光の強度Iとの関係は、ランベルト・ベールの法則により、次式で表現できる。 FIG. 7 is a schematic side view of a device for indicating the amount of light according to the Beer-Lambert law. Assuming the situation of the apparatus in FIG. 7, the relationship between the intensity I0 of the light before entering the medium 10 at a certain wavelength λ and the intensity I of the light after entering and passing through the medium 10 can be expressed by Lambert-Beer's According to the law, it can be expressed by the following formula.
ここで、lは距離(mm)であり、α(λ)は波長λに依存した吸収係数(mm-1)を示しており、e-α(λ)lはネイピア数の-α(λ)l乗である。このように、入射したときの光量と放射したときの光量が分かれば、光がどれだけ吸収されたかを求めることができ、さらに、吸収係数が既知であれば、光が通過した媒質の長さも推定することが可能となる。 where l is the distance (mm), α(λ) is the wavelength λ-dependent absorption coefficient (mm −1 ), and e −α(λ)l is the Napier number −α(λ) It is the lth power. Thus, if we know the amount of light when it is incident and the amount of light when it is emitted, we can determine how much light is absorbed. Furthermore, if the absorption coefficient is known, we can also determine the length of the medium through which the light passed. It is possible to estimate
1.2 二波長の光の吸収を利用した距離推定
水面(媒質表面10s)から水中にある物体表面60sまでの距離lを推定するために、光の吸収量が波長によって全く異なっている特性を利用することを考える。想定している状況としては、無限遠にある光源から水中にある物体60の物体表面60sに平行光が照射されている場面を、その光源80の光軸と同軸に配置してある、例えば正投影カメラであるセンサ21,22を用いて撮影する。物体表面60sでランバート反射、あるいは拡散反射や鏡面反射が起こることは想定していないので、得られた画像の輝度値は、幾何学形状と波長の反射特性に分離できると考えることができる。つまり、反射率関数f(ω,λ)=r(ω)s(λ)が物体60の幾何形状特性r(ω)(ωは入射光、放射光の角度等をいう)と、反射における波長特性s(λ)に分離できるという緩い仮定である。それでもこの仮定は多くの実物体に適用できる。数少ない例外としては、CD-ROMのように物体の表面形状が光の波長スケールに相当するほど細かい場合である。
1.2 Distance estimation using light absorption of two wavelengths In order to estimate the distance l from the surface of water (surface of medium 10s) to the surface of an object in
実際に計測する際に水面の影響を考慮する必要をなくすために、水中に画像化システムを設置することを想起しているが、現状使用できる機材の関係から、本実施形態ではセンサ21,22と光源80を媒質10の水中に入れないことにする。指向性光源80と、例えば正投影カメラであるセンサ21,22とが、二波長が近い波長域を使用することを想定しているため、水面での光の鏡面反射の影響を無視できるものとして以下に説明する。また、仮に水面での鏡面反射成分が強い場合には、鏡面反射成分のみを撮影し、それが含まれている画像から差し引く対処や、偏光板を利用することで鏡面反射成分を撮影しないようにする対処方法が考えられる。
In order to eliminate the need to consider the influence of the water surface when actually measuring, it is conceivable to install an imaging system underwater. and the
1.2.1 二波長の距離画像
図8は例えばセンサ21,22と光源80の光軸が平行でかつ水面に対して垂直な位置関係を有するときの形状測定装置の概略側面図である。図8に示すように、理想的に一直線上に配置された光源80とセンサ21,22の位置構成について考える。ここでは、センサ21,22の光軸と、指向性のある光源80の光軸とが、平面となっている水面に対して垂直になっている。波長λ1で光量I0であるモノクロの光が水面から入射し、媒質10の水中を通って距離lにある光沢のないポイント60pに達する。そしてそのポイント60pから反射し、センサ21,22が感知した光量は次式で表される。
1.2.1 Two-Wavelength Distance Image FIG. 8 is a schematic side view of the shape measuring apparatus when the optical axes of the
ここで、2lは距離lの2倍であり、光は水面(媒質表面10s)から物体表面60sのポイント60pまでを往復しているので距離lの2倍の長さを通過していることになる。物体表面60sの幾何形状特性r(ω)と反射による波長特性s(λ)は、当然ながら物体表面60sの形成や材質に依存するので未知である。この未知な要素をキャンセルするために、もう一種類の別のモノクロな光を利用する。その光の波長をλ2とし、一つ目の光(波長λ1)と同じ光量I0の光源80とすると、センサ21,22が感知した二つ目の光の光量I(波長λ2)は次式で表される。
Here, 2l is twice the distance l, and since the light travels back and forth from the water surface (
ここで、式(2)を式(3)で割ると、距離lは次式のように計算することができる。 Here, dividing the equation (2) by the equation (3), the distance l can be calculated as the following equation.
注目すべき点は、物体表面60sがどれほど複雑な形状をしていたとしても、幾何形状特性r(ω)をキャンセルできるところにある。ここで、波長λ1,λ2における反射率が同値、つまり
式(5)は本実施形態において核となるアルゴリズムを示す式である。これにより、物体60の材質、表面反射特性及び幾何形状特性が未知であっても、適切に選択した波長に関して撮影した2枚のカメラ画像の各ピクセルの輝度値の差を計測することで、簡単に距離lを推定することができる。
Equation (5) is an equation representing a core algorithm in this embodiment. As a result, even if the material, surface reflection properties, and geometric properties of the
3.2.2 推定した距離の精度
2つの波長λ1,λ2における表面反射特性s(λ1)及びs(λ2)の誤差Δsに対する、例えば次式の相対的距離推定誤差Δlを考えてみる。
3.2.2 Accuracy of Estimated Distance For the error Δs of the surface reflection characteristics s(λ 1 ) and s(λ 2 ) at two wavelengths λ 1 and λ 2 , consider the relative distance estimation error Δl of the following equation, for example. Try.
式(4)及び式(5)から、推定距離誤差Δlを計算すると次のようになる。 From equations (4) and (5), the estimated distance error Δl is calculated as follows.
図9は相対的反射率誤差と推定距離誤差の関係を示すグラフである。すなわち、図9は輝度比I(λ1)=I(λ2)を変化させたとき(2つの選択波長の差を大きくするなど)の相対的反射率誤差に対する相対的距離誤差をプロットしたものである。図9のカーブから明らかなように、推定された距離lは反射放射スペクトルの誤差に対して、ほとんど影響しないことが分かる。これは二波長を利用した距離推定において、波長を選択するのに重要な基準になる。特に、本実施形態では2つの波長において、水の吸収係数の差が最大になるように、そして反射率の差が最小になるように選択することで、最大の推定精度を得ることができる。 FIG. 9 is a graph showing the relationship between relative reflectance error and estimated range error. That is, FIG. 9 plots the relative reflectance error versus the relative distance error when the luminance ratio I(λ 1 )=I(λ 2 ) is changed (for example, by increasing the difference between the two selected wavelengths). is. As is clear from the curves in FIG. 9, the estimated distance l has little effect on the error of the reflected radiation spectrum. This is an important criterion for wavelength selection in distance estimation using two wavelengths. In particular, in this embodiment, the two wavelengths are selected to maximize the difference in water absorption coefficients and minimize the difference in reflectance, thereby obtaining maximum estimation accuracy.
3.2.3 表面反射特性
図10は「24色のカラーチェッカーボード」の反射スペクトルを示すグラフである。すなわち、図10は、互いに色が異なる24個のパッチタイル(24色)を格子形状で配置してなるカラーチェッカーボードについて反射スペクトルを測定したものであり、図10の24本のグラフが24色の反射スペクトルに対応する。図10から分かるように、水中における光の吸収量は900nm~1000nmの波長域で急激に変化している。さらにこの波長域において、様々な材質の反射スペクトルがフラットになる傾向があることについて実証していく。まず始めに、図10に示すように、標準的なカラーチェッカーボードの反射スペクトルを計測してみたところ、すべてのパッチタイルにおいて900nm以降の長波長領域では、反射スペクトルの変化が大幅に減っていることが分かった。
3.2.3 Surface Reflection Characteristics FIG. 10 is a graph showing the reflection spectrum of "24 color checkerboard". That is, FIG. 10 shows the measurement of the reflection spectrum of a color checkerboard in which 24 patch tiles (24 colors) of different colors are arranged in a grid pattern, and the 24 graphs in FIG. corresponds to the reflection spectrum of As can be seen from FIG. 10, the amount of light absorbed in water changes abruptly in the wavelength range of 900 nm to 1000 nm. We will also demonstrate that the reflectance spectra of various materials tend to be flat in this wavelength range. First, as shown in Fig. 10, when we measured the reflectance spectrum of a standard color checkerboard, we found that the change in the reflectance spectrum was significantly reduced in the long wavelength region after 900 nm in all patch tiles. I found out.
図11は1波長ペアにおける「カラーチェッカーボード」の反射スペクトル誤差を示すグラフである。図11の例では、波長ペアとして、900nmと950nmのペアと、900nmと920nmのペアについて検討した。大きな差があるパッチタイルも少しはあるが、900nmと950nmの波長ペアでの反射スペクトルの差の相対平均は5.7%となり、900nmと920nmの波長ペアでの反射スペクトルの差の相対平均はさらに減って、2.1%となっている。 FIG. 11 is a graph showing the "color checkerboard" reflectance spectral error for one wavelength pair. In the example of FIG. 11, as wavelength pairs, a pair of 900 nm and 950 nm and a pair of 900 nm and 920 nm were examined. Although there are a few patch tiles with large differences, the relative average difference in reflectance spectra for the wavelength pair of 900 nm and 950 nm is 5.7%, and the relative average difference in reflectance spectra for the wavelength pair of 900 nm and 920 nm is It has decreased further to 2.1%.
さらなる調査として、木材、布、革、金属などの基本的な材質を集めて反射スペクトルを計測し、データベースを作成した。 As a further investigation, we collected basic materials such as wood, cloth, leather, and metal, measured their reflectance spectra, and created a database.
図12Aは「木材」の反射スペクトルを示すスペクトル図である。図12Bは「布」の反射スペクトルを示すスペクトル図である。図12Cは「革」の反射スペクトルを示すスペクトル図である。図12Dは「金属」の反射スペクトルを示すスペクトル図である。 FIG. 12A is a spectrum diagram showing the reflection spectrum of "wood". FIG. 12B is a spectrum diagram showing the reflectance spectrum of "cloth". FIG. 12C is a spectrum diagram showing the reflectance spectrum of "leather". FIG. 12D is a spectral diagram showing the reflectance spectrum of "metal".
図13Aは1波長ペアにおける「木材のカラーチェッカーボード」の反射スペクトル誤差を示すグラフである。図13Bは1波長ペアにおける「布のカラーチェッカーボード」の反射スペクトル誤差を示すグラフである。図13Cは1波長ペアにおける「革のカラーチェッカーボード」の反射スペクトル誤差を示すグラフである。図13Dは1波長ペアにおける「金属のカラーチェッカーボード」の反射スペクトル誤差を示すグラフである。 FIG. 13A is a graph showing the reflectance spectral error of "wood color checkerboard" for one wavelength pair. FIG. 13B is a graph showing the reflectance spectral error of the "cloth color checkerboard" for one wavelength pair. FIG. 13C is a graph showing the reflectance spectral error of "leather color checkerboard" for one wavelength pair. FIG. 13D is a graph showing the reflectance spectral error of "metallic color checkerboard" for one wavelength pair.
図12A~図13Dのグラフにおいては、各材質において、約20種類の異なる材質のデータが含まれている。例えば図12Aにおける20本のグラフが木材の約20種類の異なる材質のデータに対応する。そして、上述のカラーチェッカーボードと同様に、900nmと950nmの波長ペアと、900nmと920nmの波長ペアとの反射スペクトルの差を評価したところ、900nmと950nmの波長ペアにおける平均誤差は木材、布、革、金属の材質群で3.8%、2.1%、6.0%、11.1%であったのに対し、900nmと920nmの波長ペアにおける平均誤差は1.4%、1.1%、1.9%、5.0%であった。このデータベースは材質のサンプル数としては少ないかもしれないが、平均誤差の評価結果から近赤外線領域における近接した二波長のペアの反射スペクトルの誤差はかなり小さいことが分かった。 In the graphs of FIGS. 12A-13D, data for about 20 different materials are included for each material. For example, the 20 graphs in FIG. 12A correspond to data for about 20 different materials of wood. Then, in the same manner as the color checkerboard described above, the difference in the reflection spectra between the wavelength pair of 900 nm and 950 nm and the wavelength pair of 900 nm and 920 nm was evaluated. The average errors in the wavelength pair of 900 nm and 920 nm are 1.4%, 1.4%, 1.4%, 1.4%, 1.4%, 1.4%, 1.4%, 1.4%, 1.4%, 1.4%, 1.4%, 1.4%, 1.4%, 1.4%. 1%, 1.9% and 5.0%. Although this database may have a small number of material samples, the evaluation results of the mean error show that the errors in the reflectance spectra of pairs of adjacent two wavelengths in the near-infrared region are quite small.
2.「Shape from Water」のアルゴリズム
2つの波長画像を用いた距離推定に基づいて、実用的なセットアップをするための「Shape from Water」のアルゴリズム(以下、SFWアルゴリズムという)について以下に説明する。当該SFWアルゴリズムは、画像化システムを構築するにあたり、問題となってくるカメラ位置のずれや、実際のバンドパスフィルタの透過率による距離推定結果の誤差を補正することを目的としている。
2. "Shape from Water" Algorithm A "Shape from Water" algorithm (hereinafter referred to as the SFW algorithm) for practical setup based on distance estimation using two wavelength images is described below. The purpose of the SFW algorithm is to correct errors in distance estimation results due to deviations in the camera position and actual transmittance of the band-pass filter, which pose problems when constructing an imaging system.
2.1 センサ位置
これまで、指向性光源80と、例えば正投影カメラであるセンサ21,22はどちらも同一の光軸上に設置し、水面に対して垂直な光軸となっていることを想定していた。実際に画像化システムのデバイスを設置する上で、光軸を水面に対し垂直に設計、調整することは難しく、光源80又はセンサ21,22、あるいは両方とも垂直方向に対して少し傾いていることが予想される。そこで、ある一点の距離を推定した際に、デバイス位置のずれによる推定結果の誤差を補正する方法を紹介する。
2.1 Sensor Position So far, both the directional
図14はセンサ21,22の光軸21a(2つのセンサ21,22の光軸が同一のなので1つの符号21aを付す)と光源80の光軸80aが平行でなくかつ水面に対して垂直ではない位置関係を有するときの形状測定装置の概略側面図である。図14に示すように、媒質10が例えば水である水中のあるポイント60p(物体表面60s上の反射点)において、水面の垂直な基準の光軸40a(仮想線)に対するセンサ21,22の光軸21aの傾きをθとし、光源80の光軸80aの傾きをφとする。水の屈折率は近赤外領域ではほぼ一定であるので、これらのセンサ21,22及び光源80の各光軸21a,80aの傾きθ,φは近赤外領域の近接している二つの波長間では変化しないと想定することができる。しかし、距離lの2倍が式(5)では2lとなっているが、水面に対し垂直方向からセンサ21,22の光軸21aと、光源80の光軸80aが基準の光軸40aから少しずれていることで、
式(7)を用いることで、一点での距離推定においては傾きによる距離lの2倍の長さの変化率
4.2 ナローバンドパスフィルタ
SFWアルゴリズムを用いた画像化システムを実装するためには、広い波長域において十分な光量を持つ光源と二つのナローバンドパスフィルタをカメラの前に設置して使用することが理想的である。これまで、フィルタの透過率関数はデルタ関数(完全なナローバンドフィルタ)であることを想定してきたが、これは現実的ではない。そこで使用するバンドパスフィルタの透過率関数を考慮し、補正する必要がある。実際に使用する二つの波長λ1,λ2におけるナローバンドフィルタの透過率関数をそれぞれβ1(λ),β2(λ)として考える。
4.2 Narrow bandpass filter In order to implement an imaging system using the SFW algorithm, it is ideal to use a light source with sufficient light intensity over a wide wavelength range and two narrow bandpass filters placed in front of the camera. target. So far we have assumed that the transmittance function of the filter is a delta function (perfect narrowband filter), but this is not realistic. It is necessary to consider and correct the transmittance function of the bandpass filter used there. Let β 1 (λ) and β 2 (λ) be the transmittance functions of the narrow band filter at two wavelengths λ 1 and λ 2 actually used.
バンドパスフィルタが十分に狭帯域のみを透過していると仮定すると、物体60のあるポイントの反射スペクトルが二つのバンド間でフラットであると考えることができる。これにより、式(2)にバンドパスフィルタの透過関数を考慮すると次式で表される。
Assuming that the bandpass filter is sufficiently narrow band-only, the reflectance spectrum of a point on
同様に式(3)についても次式で表される。 Similarly, the formula (3) is expressed by the following formula.
これら2式から得られる次式を解くことで、光路長に対応する距離lを推定することが可能となる。 By solving the following equation obtained from these two equations, it becomes possible to estimate the distance l corresponding to the optical path length.
これまで光源80のスペクトルとカメラの応答関数を考慮してきていないが、それらについてもフィルタの関数と同様に考慮することができ、フィルタの透過関数に内包することとする。
Although the spectrum of the
3.同軸のカメラシステムと実験
本発明者らは、SFWアルゴリズムを用いて、被測定物体60の形状推定をするための画像化システムとして、同軸システムを構築した。これは2台のセンサ21,22を同軸上に配置し、ビデオレートで二つの波長画像をリアルタイムに撮影することが可能である。連続撮影された画像から、水中にある複雑な幾何形状の物体60や、動的な物体60の形状を推定する。はじめに画像化システムの概要を述べ、実際にそのシステムで推定した距離の精度について検討する。
3. Coaxial Camera System and Experiments The present inventors constructed a coaxial system as an imaging system for estimating the shape of the
5.1 画像化システムの概要と調整
図15は本発明の第1の実施形態に係る同軸のスペクトラル画像化システム(形状測定装置)の外観を示す写真画像である。図15に示すように、ビームスプリッターと、二つのグレイスケールのカメラ(POINT-GREYGS3-U3-41C6NIR)を使って、同軸の二波長の画像化システムを構築した。
5.1 Overview and Adjustment of Imaging System FIG. 15 is a photographic image showing the appearance of the coaxial spectral imaging system (shape measuring device) according to the first embodiment of the present invention. A coaxial dual wavelength imaging system was constructed using a beam splitter and two grayscale cameras (POINT-GREYGS3-U3-41C6NIR) as shown in FIG.
図16は図15のカメラ(POINT-GREY製、GS3-U3-41C6NIR型)の、波長300nmから1100nmまでの応答関数を示すスペクトル図である。図16から明らかなように、近赤外線の感度は可視光域に比べれば低いものの、光源80の光量を増やし、もしくはセンサ21,22の露光時間を少し長くすることで、実際に使用している近赤外線波長の画像を鮮明に撮影することができる。そして、センサ21,22の前に905nmと950nmの二つのナローバンドパスフィルタを設置することで、その波長画像をカメラで撮影できる。
FIG. 16 is a spectrum diagram showing the response function of the camera in FIG. 15 (GS3-U3-41C6NIR type manufactured by POINT-GREY) at wavelengths from 300 nm to 1100 nm. As is clear from FIG. 16, although the sensitivity to near-infrared rays is lower than that in the visible light range, it is actually used by increasing the amount of light from the
図17は図15の2つのバンドパスフィルタの透過関数とカメラの応答関数を示すスペクトル図である。すなわち、図17において、実際に使用する近赤外線領域のセンサ21,22の応答関数とバンドパスフィルタの透過関数のカーブを比較するために、両方をプロットした。ここで、光源80には近赤外線領域の光量が十分にある白熱電球を使用している。
FIG. 17 is a spectral diagram showing the transmission functions of the two bandpass filters of FIG. 15 and the response function of the camera. That is, in FIG. 17, both the curves of the response functions of the
図18は図15の光源80のスペクトルを示すスペクトル図である。ここで、実際に2台の赤外線カメラであるセンサ21,22を同期させ、撮影する物体60に対して光軸が同一で二つの波長画像が同じ画角で撮影できるようにビームスプリッターとセンサ21,22の位置及び角度を調整し、カメラシステムを構築した。また、SFWアルゴリズムを用いて形状推定するには、水の吸収係数のデータが必要となるが、容易に測定することができる。水の中にホワイトターゲットを既知の深さに固定した状態で、ホワイトターゲットのスペクトルを計測する。スペクトルは距離に応じて光が吸収されているので、そのデータをランベルト・ベールの法則に当てはめることで、水の吸収係数を計算した。
FIG. 18 is a spectral diagram showing the spectrum of
図19は水の吸収係数を示すスペクトル図である。すなわち、図19において、精度を向上させるために複数の深さで計測し、補正した水の吸収係数を示す。 FIG. 19 is a spectral diagram showing the absorption coefficient of water. That is, in FIG. 19, the absorption coefficient of water measured at multiple depths and corrected for improved accuracy is shown.
3.2 推定した距離の精度
推定した距離の精度を評価するために、複数の異なった材質の平面上のプレートを使用して、本実施形態に係る手法で距離を推定した。距離を定規で測定したものを真値とし、距離を10mmから40mmまで変化させて精度を評価した。それぞれの距離状況において、同軸のイメージングシステムを使用して撮影された二つ波長の画像を入力データとすることで、式(5)から距離を推定する。本実施形態に係る手法のアルゴリズムの有効性を評価するために、式(7)と式(10)から、推定結果を補正した。
3.2 Accuracy of Estimated Distance In order to evaluate the accuracy of the estimated distance, the method according to the present embodiment was used to estimate the distance using a plurality of planar plates made of different materials. The distance measured with a ruler was taken as the true value, and the accuracy was evaluated by changing the distance from 10 mm to 40 mm. In each range situation, the range is estimated from Eq. (5) using dual wavelength images taken using the coaxial imaging system as input data. In order to evaluate the effectiveness of the algorithm of the method according to this embodiment, the estimation results were corrected from Equations (7) and (10).
(1)図20Aは「シアン色のタイル」での距離精度を示すグラフであって、推定した距離と真値との比較を示すグラフである。図20Bは「シアン色のタイル」での距離精度を示すグラフであって、推定した距離の相対誤差を示すグラフである。
(2)図21Aは「赤色のプラスチックボード」での距離精度を示すグラフであって、推定した距離と真値との比較を示すグラフである。図21Bは「赤色のプラスチックボード」での距離精度を示すグラフであって、推定した距離の相対誤差を示すグラフである。
(3)図22Aは「白色の大理石」での距離精度を示すグラフであって、推定した距離と真値との比較を示すグラフである。図22Bは「白色の大理石」での距離精度を示すグラフであって、推定した距離の相対誤差を示すグラフである。
(4)図23Aは「黒色の大理石」での距離精度を示すグラフであって、推定した距離と真値との比較を示すグラフである。図23Bは「黒色の大理石」での距離精度を示すグラフであって、推定した距離の相対誤差を示すグラフである。
(1) FIG. 20A is a graph showing the distance accuracy in the "cyan tile", which is a graph showing a comparison between the estimated distance and the true value. FIG. 20B is a graph showing the distance accuracy on the "cyan tile", showing the relative error of the estimated distance.
(2) FIG. 21A is a graph showing the distance accuracy in the "red plastic board", which is a graph showing a comparison between the estimated distance and the true value. FIG. 21B is a graph showing the distance accuracy for the "red plastic board" and showing the relative error of the estimated distance.
(3) FIG. 22A is a graph showing the distance accuracy in the "white marble", which is a graph showing a comparison between the estimated distance and the true value. FIG. 22B is a graph showing the distance accuracy on the "white marble", showing the relative error of the estimated distance.
(4) FIG. 23A is a graph showing the distance accuracy in "black marble", which is a graph showing a comparison between the estimated distance and the true value. FIG. 23B is a graph showing the distance accuracy on "black marble" showing the relative error of the estimated distance.
すなわち、図20Aから図23Bまでのグラフは、シアン色のタイル、赤色のプラスチックボード、白色の大理石、黒色の大理石の四種類の材質を使用し、推定した距離の精度評価をした結果である。それぞれの材質において、ランダムに121ポイント(ピクセル)を抽出し、そのポイントの距離推定結果の平均とその補正結果と真値を図20Aから図23Aまでのグラフに示した。また、各距離において、空間的に一貫性があることを評価するために、その121個のポイントの距離について補正した推定結果における相対誤差の分布を図20Bから図23Bのグラフに示した。図20Bから図23Bのグラフにおいては、25~75パーセンタイルの値をボックス、平均値を矩形ボックス内の中央の水平ラインで示した。 That is, the graphs of FIGS. 20A to 23B show the results of evaluating the accuracy of the estimated distance using four types of materials: cyan tile, red plastic board, white marble, and black marble. 121 points (pixels) were randomly extracted for each material, and the average of the distance estimation results of the points, the corrected results, and the true values are shown in graphs from FIG. 20A to FIG. 23A. Also, in order to evaluate spatial consistency at each distance, the distribution of relative errors in the estimation results corrected for the distances of the 121 points is shown in the graphs of FIGS. 20B to 23B. In the graphs of Figures 20B to 23B, the 25th to 75th percentile values are shown in boxes, and the mean value is shown in the middle horizontal line within the rectangular box.
これらの結果から、補正アルゴリズムは推定精度を向上させる上で重要な役割を果たしていることが分かる。補正することで距離推定の平均値は真値にかなり近い値となっていて、約3%の相対誤差となっている。空間的な一貫性を評価するために、121ポイントで計測して計算した補正後の推定結果は、材質のテクスチャに依存せず一貫性を保っている。 These results show that the correction algorithm plays an important role in improving the estimation accuracy. By correcting, the average value of the distance estimation becomes a value that is quite close to the true value, with a relative error of about 3%. In order to evaluate the spatial consistency, the corrected estimation results calculated by measuring at 121 points are independent of the texture of the material and are consistent.
6.形状推定実験
SFWアルゴリズムを用いて、複雑な反射特性を持つ物体や形状が変化しながら動く物体を形状推定してみた。物体自体の形状データの真値を取得することが難しいので、推定した形状を定性的に評価した。
6. Shape Estimation Experiment Using the SFW algorithm, we tried to estimate the shape of an object with complex reflection characteristics or an object that moves while changing its shape. Since it is difficult to obtain the true value of the shape data of the object itself, the estimated shape was evaluated qualitatively.
6.1 複雑な反射特性のある物体の形状推定結果
当該形状推定結果を示す写真画像の図面を以下に示す。
6.1 Shape Estimation Results of Objects with Complex Reflection Characteristics A drawing of a photographic image showing the shape estimation results is shown below.
(1)図24Aは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「貝」の写真画像である。図24Bは第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「貝」の写真画像である。図24Cは第1の実施形態に係る形状測定装置によって推定された「貝」距離画像(白黒変換後)を示す写真画像である。図24Dは第1の実施形態に係る形状測定装置によって推定された「貝」推定形状画像を示す写真画像である。図24Eは第1の実施形態に係る形状測定装置によって推定された「貝」RGB画像(白黒変換後)を示す写真画像である。 (1) FIG. 24A is a photographic image of a “shellfish” photographed by the shape measuring apparatus according to the first embodiment using a wavelength of 905 nm. FIG. 24B is a photographic image of a “shellfish” photographed by the shape measuring device according to the first embodiment using a wavelength of 950 nm. FIG. 24C is a photographic image showing a "shellfish" distance image (after black-and-white conversion) estimated by the shape measuring device according to the first embodiment. FIG. 24D is a photographic image showing a "shellfish" estimated shape image estimated by the shape measuring device according to the first embodiment. FIG. 24E is a photographic image showing a “shellfish” RGB image (after black-and-white conversion) estimated by the shape measuring device according to the first embodiment.
(2)図25Aは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「石」の写真画像である。図25Bは第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「石」の写真画像である。図25Cは第1の実施形態に係る形状測定装置によって推定された「石」の距離画像(白黒変換後)を示す写真画像である。図25Dは第1の実施形態に係る形状測定装置によって推定された「石」の推定形状画像を示す写真画像である。図25Eは第1の実施形態に係る形状測定装置によって推定された「石」のRGB画像(白黒変換後)を示す写真画像である。 (2) FIG. 25A is a photographic image of a "stone" photographed by the shape measuring apparatus according to the first embodiment using a wavelength of 905 nm. FIG. 25B is a photographic image of the "stone" photographed by the shape measuring apparatus according to the first embodiment using a wavelength of 950 nm. FIG. 25C is a photographic image showing a distance image (after black-and-white conversion) of the "stone" estimated by the shape measuring device according to the first embodiment. FIG. 25D is a photographic image showing an estimated shape image of "stone" estimated by the shape measuring apparatus according to the first embodiment. FIG. 25E is a photographic image showing an RGB image (after black-and-white conversion) of the "stone" estimated by the shape measuring device according to the first embodiment.
(3)図26Aは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「木材にてなるリスのオブジェ」の写真画像である。図26Bは第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「木材にてなるリスのオブジェ」の写真画像である。図26Cは第1の実施形態に係る形状測定装置によって推定された「木材にてなるリスのオブジェ」の距離画像(白黒変換後)を示す写真画像である。図26Dは第1の実施形態に係る形状測定装置によって推定された「木材にてなるリスのオブジェ」の推定形状画像を示す写真画像である。図26Eは第1の実施形態に係る形状測定装置によって推定された「木材にてなるリスのオブジェ」のRGB画像(白黒変換後)を示す写真画像である。 (3) FIG. 26A is a photographic image of "a squirrel object made of wood" photographed by the shape measuring apparatus according to the first embodiment using a wavelength of 905 nm. FIG. 26B is a photographic image of the “squirrel object made of wood” photographed by the shape measuring apparatus according to the first embodiment using a wavelength of 950 nm. FIG. 26C is a photographic image showing a distance image (after black-and-white conversion) of the “squirrel object made of wood” estimated by the shape measuring apparatus according to the first embodiment. FIG. 26D is a photographic image showing an estimated shape image of the “squirrel object made of wood” estimated by the shape measuring apparatus according to the first embodiment. FIG. 26E is a photographic image showing an RGB image (after black-and-white conversion) of the “squirrel object made of wood” estimated by the shape measuring apparatus according to the first embodiment.
(4)図27Aは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「陶器にてなるサルのオブジェ」の写真画像である。図27Bは第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「陶器にてなるサルのオブジェ」の写真画像である。図27Cは第1の実施形態に係る形状測定装置によって推定された「陶器にてなるサルのオブジェ」の距離画像(白黒変換後)を示す写真画像である。図27Dは第1の実施形態に係る形状測定装置によって推定された「陶器にてなるサルのオブジェ」の推定形状画像を示す写真画像である。図27Eは第1の実施形態に係る形状測定装置によって推定された「陶器にてなるサルのオブジェ」のRGB画像(白黒変換後)を示す写真画像である。 (4) FIG. 27A is a photographic image of a "monkey object made of pottery" photographed by the shape measuring apparatus according to the first embodiment using a wavelength of 905 nm. FIG. 27B is a photographic image of the “monkey object made of pottery” photographed by the shape measuring apparatus according to the first embodiment using a wavelength of 950 nm. FIG. 27C is a photographic image showing a distance image (after black-and-white conversion) of the “monkey object made of pottery” estimated by the shape measuring apparatus according to the first embodiment. FIG. 27D is a photographic image showing an estimated shape image of the “monkey object made of pottery” estimated by the shape measuring apparatus according to the first embodiment. FIG. 27E is a photographic image showing an RGB image (after black-and-white conversion) of the “monkey object made of pottery” estimated by the shape measuring apparatus according to the first embodiment.
(5)図28Aは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「カラフルな色を有するカップのオブジェ」の写真画像である。図28Bは第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「カラフルな色を有するカップのオブジェ」の写真画像である。図28Cは第1の実施形態に係る形状測定装置によって推定された「カラフルな色を有するカップのオブジェ」の距離画像(白黒変換後)を示す写真画像である。図28Dは第1の実施形態に係る形状測定装置によって推定された「カラフルな色を有するカップのオブジェ」の推定形状画像を示す写真画像である。図28Eは第1の実施形態に係る形状測定装置によって推定された「カラフルな色を有するカップのオブジェ」のRGB画像(白黒変換後)を示す写真画像である。 (5) FIG. 28A is a photographic image of a “colorful cup object” photographed by the shape measuring apparatus according to the first embodiment using a wavelength of 905 nm. FIG. 28B is a photographic image of a “colorful cup object” photographed by the shape measuring apparatus according to the first embodiment using a wavelength of 950 nm. FIG. 28C is a photographic image showing a distance image (after black-and-white conversion) of the “colorful cup object” estimated by the shape measuring apparatus according to the first embodiment. FIG. 28D is a photographic image showing an estimated shape image of the “colorful colored cup object” estimated by the shape measuring apparatus according to the first embodiment. FIG. 28E is a photographic image showing an RGB image (after black-and-white conversion) of the “colorful cup object” estimated by the shape measuring apparatus according to the first embodiment.
(6)図29Aは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「テクスチャを有する紙コップのオブジェ」の写真画像である。図29Bは第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「テクスチャを有する紙コップのオブジェ」の写真画像である。図29Cは第1の実施形態に係る形状測定装置によって推定された「テクスチャを有する紙コップのオブジェ」の距離画像(白黒変換後)を示す写真画像である。図29Dは第1の実施形態に係る形状測定装置によって推定された「テクスチャを有する紙コップのオブジェ」の推定形状画像を示す写真画像である。図29Eは第1の実施形態に係る形状測定装置によって推定された「テクスチャを有する紙コップのオブジェ」のRGB画像(白黒変換後)を示す写真画像である。 (6) FIG. 29A is a photographic image of a “textured paper cup object” photographed by the shape measuring apparatus according to the first embodiment using a wavelength of 905 nm. FIG. 29B is a photographic image of the “textured paper cup object” photographed by the shape measuring apparatus according to the first embodiment using a wavelength of 950 nm. FIG. 29C is a photographic image showing a distance image (after black-and-white conversion) of the “textured paper cup object” estimated by the shape measuring apparatus according to the first embodiment. FIG. 29D is a photographic image showing an estimated shape image of the “textured paper cup object” estimated by the shape measuring apparatus according to the first embodiment. FIG. 29E is a photographic image showing an RGB image (after black-and-white conversion) of the “textured paper cup object” estimated by the shape measuring apparatus according to the first embodiment.
図24Aから図29Eまでの写真画像は、テクスチャがあり、もしくは複雑な反射特性を持つ不透明な物体を形状推定した結果である。これらの物体は従来の形状推定手法では推定しづらいものであるが、推定結果から分かるように本実施形態で構築した画像化システムと本実施形態に係る手法がテクスチャのある物体60、もしくは強い鏡面反射特性を持つ物体60にも有用であることが分かる。
The photographic images of Figures 24A through 29E are the results of shape estimation of textured or opaque objects with complex reflection properties. These objects are difficult to estimate by the conventional shape estimation method. It can also be found useful for
特に、図28A~図28Eのカラフルな色のカップは、SFWアルゴリズムの利点が顕著に現れている。カラフルな色であることで複雑なテクスチャとなっており、従来手法で推定するのは難しいが、905nmと950nmの画像を見ると分かるように、この波長域ではすべての色の反射率がほぼ同値となり、テクスチャがない物体として扱うことができる。 In particular, the colorful cups of Figures 28A-28E highlight the benefits of the SFW algorithm. The colorful colors create complex textures that are difficult to estimate using conventional methods, but as can be seen from the images at 905 nm and 950 nm, the reflectance of all colors is almost the same in this wavelength range. and can be treated as an object without texture.
また、図27A~図27Eのサルの物体は、鏡面反射成分の強い工芸品であり、鏡面反射が起こっているポイントのピクセルでセンサ21,22がサチュレーションを起こすと、距離推定結果は不正確になる。しかし、センサ21,22がサチュレーションを起こさないようにセッティングすることで回避することができる。そして、図24A~図24Eの貝、及び、図25A~図25Eの石は、表面がかなり凸凹していているが、推定結果から凸凹の部分も推定できていることが分かる。
The monkey object in FIGS. 27A to 27E is an artefact with a strong specular reflection component, and if the
4.2 半透明な物体の形状推定結果
半透明な反射特性を持つ物体を従来手法で形状推定することはかなり難しい。反射特性をキャンセルして形状推定を行うSFWアルゴリズムは、半透明な物体も形状推定することが可能である。
4.2 Results of Shape Estimation of Translucent Objects It is quite difficult to estimate the shape of objects with semi-transparent reflection characteristics using conventional methods. The SFW algorithm, which performs shape estimation by canceling reflection characteristics, can also estimate the shape of semi-transparent objects.
当該形状推定結果の写真画像を以下に示す。 A photographic image of the shape estimation result is shown below.
(1)図30Aは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「桜の花のオブジェ」の写真画像である。図30Bは第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「桜の花のオブジェ」の写真画像である。図30Cは第1の実施形態に係る形状測定装置によって推定された「桜の花のオブジェ」の距離画像(白黒変換後)を示す写真画像である。図30Dは第1の実施形態に係る形状測定装置によって推定された「桜の花のオブジェ」の推定形状画像を示す写真画像である。図30Eは第1の実施形態に係る形状測定装置によって推定された「桜の花のオブジェ」のRGB画像(白黒変換後)を示す写真画像である。 (1) FIG. 30A is a photographic image of a "cherry blossom object" photographed by the shape measuring apparatus according to the first embodiment using a wavelength of 905 nm. FIG. 30B is a photographic image of the “cherry blossom object” photographed by the shape measuring apparatus according to the first embodiment using a wavelength of 950 nm. FIG. 30C is a photographic image showing a distance image (after black-and-white conversion) of the “cherry blossom object” estimated by the shape measuring apparatus according to the first embodiment. FIG. 30D is a photographic image showing an estimated shape image of the “cherry blossom object” estimated by the shape measuring apparatus according to the first embodiment. FIG. 30E is a photographic image showing an RGB image (after black-and-white conversion) of the “cherry blossom object” estimated by the shape measuring apparatus according to the first embodiment.
(2)図31Aは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「別の桜の花のオブジェ」の写真画像である。図31Bは第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「別の桜の花のオブジェ」の写真画像である。図31Cは第1の実施形態に係る形状測定装置によって推定された「別の桜の花のオブジェ」の距離画像(白黒変換後)を示す写真画像である。図31Dは第1の実施形態に係る形状測定装置によって推定された「別の桜の花のオブジェ」の推定形状画像を示す写真画像である。図31Eは第1の実施形態に係る形状測定装置によって推定された「別の桜の花のオブジェ」のRGB画像(白黒変換後)を示す写真画像である。 (2) FIG. 31A is a photographic image of "another cherry blossom object" photographed by the shape measuring apparatus according to the first embodiment using a wavelength of 905 nm. FIG. 31B is a photographic image of "another cherry blossom object" photographed by the shape measuring apparatus according to the first embodiment using a wavelength of 950 nm. FIG. 31C is a photographic image showing a distance image (after black-and-white conversion) of "another cherry blossom object" estimated by the shape measuring apparatus according to the first embodiment. FIG. 31D is a photographic image showing an estimated shape image of "another cherry blossom object" estimated by the shape measuring apparatus according to the first embodiment. FIG. 31E is a photographic image showing an RGB image (after black-and-white conversion) of “another cherry blossom object” estimated by the shape measuring apparatus according to the first embodiment.
(3)図32Aは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「半透明で色のグラデーションを有するオブジェ」の写真画像である。図32Bは第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「半透明で色のグラデーションを有するオブジェ」の写真画像である。図32Cは第1の実施形態に係る形状測定装置によって推定された「半透明で色のグラデーションを有するオブジェ」の距離画像(白黒変換後)を示す写真画像である。図32Dは第1の実施形態に係る形状測定装置によって推定された「半透明で色のグラデーションを有するオブジェ」の推定形状画像を示す写真画像である。図32Eは第1の実施形態に係る形状測定装置によって推定された「半透明で色のグラデーションを有するオブジェ」のRGB画像(白黒変換後)を示す写真画像である。 (3) FIG. 32A is a photographic image of a “semi-transparent object having color gradation” photographed by the shape measuring apparatus according to the first embodiment using a wavelength of 905 nm. FIG. 32B is a photographic image of a “semi-transparent object having color gradation” photographed by the shape measuring apparatus according to the first embodiment using a wavelength of 950 nm. FIG. 32C is a photographic image showing a distance image (after black-and-white conversion) of the “translucent object having color gradation” estimated by the shape measuring apparatus according to the first embodiment. FIG. 32D is a photographic image showing an estimated shape image of the “translucent object having color gradation” estimated by the shape measuring apparatus according to the first embodiment. FIG. 32E is a photographic image showing an RGB image (after black-and-white conversion) of the “translucent object having color gradation” estimated by the shape measuring apparatus according to the first embodiment.
(4)図33Aは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「鏡面反射で半透明のハート型オブジェ」の写真画像である。図33Bは第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「鏡面反射で半透明のハート型オブジェ」の写真画像である。図33Cは第1の実施形態に係る形状測定装置によって推定された「鏡面反射で半透明のハート型オブジェ」の距離画像(白黒変換後)を示す写真画像である。図33Dは第1の実施形態に係る形状測定装置によって推定された「鏡面反射で半透明のハート型オブジェ」の推定形状画像を示す写真画像である。図33Eは第1の実施形態に係る形状測定装置によって推定された「鏡面反射で半透明のハート型オブジェ」のRGB画像(白黒変換後)を示す写真画像である。 (4) FIG. 33A is a photographic image of a “mirror-reflected and translucent heart-shaped object” photographed by the shape measuring apparatus according to the first embodiment using a wavelength of 905 nm. FIG. 33B is a photographic image of a “mirror-reflected and translucent heart-shaped object” photographed by the shape measuring apparatus according to the first embodiment using a wavelength of 950 nm. FIG. 33C is a photographic image showing a distance image (after black-and-white conversion) of the “mirror-reflected and translucent heart-shaped object” estimated by the shape measuring apparatus according to the first embodiment. FIG. 33D is a photographic image showing an estimated shape image of a “mirror-reflected, translucent heart-shaped object” estimated by the shape measuring apparatus according to the first embodiment. FIG. 33E is a photographic image showing an RGB image (after black-and-white conversion) of the “mirror-reflected and translucent heart-shaped object” estimated by the shape measuring apparatus according to the first embodiment.
すなわち、図30A~図33Eの各物体は半透明で鏡面反射の強い物体であり、RGB画像からも強い光沢感が分かる。また、図32A~図32Eの物体は鏡面反射特性に加え、色にグラデーションがあり、かなり複雑な形状をしている物体である。図30E~図33EのRGB画像と推定結果画像を比較することでこれらの物体も正しく形状推定できていることが分かる。 That is, each object in FIGS. 30A to 33E is a translucent object with strong specular reflection, and a strong glossiness can be seen from the RGB image. Also, the objects in FIGS. 32A to 32E have specular reflection characteristics, color gradation, and rather complicated shapes. By comparing the RGB images of FIGS. 30E to 33E with the estimation result images, it can be seen that the shape of these objects can also be correctly estimated.
2.3 動的な物体の形状推定結果
本実施形態で構築した同軸の画像化システムは、動的な物体をリアルタイムに形状推定するのに適している。
2.3 Shape Estimation Results of Dynamic Objects The coaxial imaging system constructed in this embodiment is suitable for real-time shape estimation of dynamic objects.
当該形状推定結果の写真画像を以下に示す。 A photographic image of the shape estimation result is shown below.
(1)図34Aは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「動いている手(第1の画像)」の写真画像である。図34Bは図34Aの「動いている手(第1の画像)」に対して、第1の実施形態に係る形状測定装置によって形状推定された「動いている手(第1の画像)」の写真画像である。
(2)図34Cは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「動いている手(第2の画像)」の写真画像である。図34Dは図34Cの動いている手(第2の画像)に対して、第1の実施形態に係る形状測定装置によって形状推定された「動いている手(第2の画像)」の写真画像である。
(3)図34Eは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「動いている手(第3の画像)」の写真画像である。図34Fは図34Eの「動いている手(第3の画像)」に対して、第1の実施形態に係る形状測定装置によって形状推定された「動いている手(第3の画像)」の写真画像である。
(4)図34Gは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「動いている手(第4の画像)」の写真画像である。図34Hは図34Gの「動いている手(第4の画像)」に対して、第1の実施形態に係る形状測定装置によって形状推定された「動いている手(第4の画像)」の写真画像である。
(1) FIG. 34A is a photographic image of a “moving hand (first image)” captured by the shape measuring apparatus according to the first embodiment using a wavelength of 905 nm. FIG. 34B shows a “moving hand (first image)” whose shape is estimated by the shape measuring apparatus according to the first embodiment with respect to the “moving hand (first image)” in FIG. 34A. It is a photographic image.
(2) FIG. 34C is a photographic image of a “moving hand (second image)” captured by the shape measuring apparatus according to the first embodiment using a wavelength of 905 nm. FIG. 34D is a photographic image of a “moving hand (second image)” whose shape is estimated by the shape measuring apparatus according to the first embodiment with respect to the moving hand (second image) of FIG. 34C. is.
(3) FIG. 34E is a photographic image of a “moving hand (third image)” captured by the shape measuring apparatus according to the first embodiment using a wavelength of 905 nm. FIG. 34F shows a “moving hand (third image)” whose shape is estimated by the shape measuring apparatus according to the first embodiment with respect to the “moving hand (third image)” in FIG. 34E. It is a photographic image.
(4) FIG. 34G is a photographic image of a “moving hand (fourth image)” captured by the shape measuring apparatus according to the first embodiment using a wavelength of 905 nm. FIG. 34H shows a “moving hand (fourth image)” whose shape is estimated by the shape measuring apparatus according to the first embodiment with respect to the “moving hand (fourth image)” in FIG. 34G. It is a photographic image.
図34A~図34Hは水中で手を動かしている場面を撮影し、形状推定した結果である。この結果から動的な物体も正しく形状推定できていることが分かる。実際の撮影は30FPS程度で撮影していて、それぞれのフレームにおいて手の形状推定を行っているが、ここでは、動きが分かりやすいフレームを選択してある。 FIGS. 34A to 34H show the results of estimating the shape of a scene in which a hand is moving in water. From this result, it can be seen that the shape of a dynamic object can be correctly estimated. Actual shooting is performed at about 30 FPS, and the shape of the hand is estimated in each frame.
次に、図33は水槽を泳いでいる金魚の形状推定結果である。 Next, FIG. 33 shows the result of estimating the shape of a goldfish swimming in a tank.
(1)図35Aは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「金魚(第1の画像)」の写真画像である。図35Bは図35Aの「金魚(第1の画像)」に対して、第1の実施形態に係る形状測定装置によって形状推定された「金魚(第1の画像)」の写真画像である。
(2)図35Cは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「金魚(第2の画像)」の写真画像である。図35Dは図35Cの「金魚(第2の画像)」に対して、第1の実施形態に係る形状測定装置によって形状推定された「金魚(第2の画像)」の写真画像である。
(3)図35Eは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「金魚(第3の画像)」の写真画像である。図35Fは図35Eの「金魚(第3の画像)」に対して、第1の実施形態に係る形状測定装置によって形状推定された「金魚(第3の画像)」の写真画像である。
(4)図35Gは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「金魚(第4の画像)」の写真画像である。図35Hは図35Gの「金魚(第4の画像)」に対して、第1の実施形態に係る形状測定装置によって形状推定された「金魚(第4の画像)」の写真画像である。
(1) FIG. 35A is a photographic image of a “goldfish (first image)” captured by the shape measuring apparatus according to the first embodiment using a wavelength of 905 nm. FIG. 35B is a photographic image of the "goldfish (first image)" whose shape is estimated by the shape measuring apparatus according to the first embodiment with respect to the "goldfish (first image)" of FIG. 35A.
(2) FIG. 35C is a photographic image of a “goldfish (second image)” captured by the shape measuring apparatus according to the first embodiment using a wavelength of 905 nm. FIG. 35D is a photographic image of the "goldfish (second image)" whose shape is estimated by the shape measuring apparatus according to the first embodiment with respect to the "goldfish (second image)" of FIG. 35C.
(3) FIG. 35E is a photographic image of a “goldfish (third image)” captured by the shape measuring apparatus according to the first embodiment using a wavelength of 905 nm. FIG. 35F is a photographic image of a “goldfish (third image)” shape-estimated by the shape measuring apparatus according to the first embodiment with respect to the “goldfish (third image)” of FIG. 35E.
(4) FIG. 35G is a photographic image of a “goldfish (fourth image)” captured by the shape measuring apparatus according to the first embodiment using a wavelength of 905 nm. FIG. 35H is a photographic image of a “goldfish (fourth image)” shape-estimated by the shape measuring apparatus according to the first embodiment with respect to the “goldfish (fourth image)” of FIG. 35G.
魚が泳いでいるシーンの推定は従来手法で行うことは全くできなかったが、SFWアルゴリズムを用いた手法では所定以上推定することができており、有効であることが分かる。これも同様に動きの分かりやすいフレームを選択している。905nmの画像がかなり暗くなっているが、これは金魚のうろこが強い鏡面反射特性を持っているので、センサ21,22がサチュレーションを起こさないように調整したためである。
Although the conventional method was completely unable to estimate a scene in which fish are swimming, the method using the SFW algorithm was able to estimate more than a predetermined amount, which proves its effectiveness. In this case as well, we have selected frames in which the movement is easy to understand. The 905 nm image is considerably darker because goldfish scales have strong specular reflection characteristics, and the
5.考察
本実施形態に係るSFWアルゴリズムを用いた二波長による距離推定は、現状では環境光に直接対処することはできていないが、実際には、光源80を消して環境光だけで照らされている状態を撮影し、環境光と光源の両方で照らされている状態の画像から差し引くことで対処できる。
5. Discussion Distance estimation by two wavelengths using the SFW algorithm according to the present embodiment cannot directly deal with ambient light at present, but in reality, the
また、SFWアルゴリズムを用いた画像化システムを水の外側に設置した場合に、水面での表面反射が推定誤差を引き起こす。この問題については、水中に物体60を置かない状態で一枚撮影することで、軽減できることが分かっている。これは物体を水中に置いていない場合、水面から入射した近赤外線は水により吸収され、ほぼ光量がなくなり、光がセンサ21,22まで返ってこない。この状態で撮影された画像の輝度値は水面での表面反射成分のみとなるため、画像化システムを水中に設置せずに水中にある物体60を撮影した画像から、この水面での反射成分を撮影した画像を差し引くことで、水面での表面反射を除去することができる。
Also, surface reflections at the surface of the water cause estimation errors when the imaging system using the SFW algorithm is placed outside the water. It has been found that this problem can be alleviated by taking a single image without the
本実施形態の1.2.3節において、利用している水の吸収が急激に強まる900nm~1000nmの波長域において、様々な材質の反射スペクトルがほぼ変化しないことを示した。しかし、例外として、多少反射率が変化する材質があることも確認している。本実施形態に係る手法は物体60の二つの波長域での反射率の差が直接形状推定結果の誤差につながってしまう。この問題に対処するために、二つの波長間のスペクトルを線形に近似した上で、現状使用している二枚の画像に加え、もう一波長の画像を用いて物体の反射率誤差を補正することで、より精度の高い形状推定が可能となる。
In section 1.2.3 of this embodiment, it was shown that the reflection spectra of various materials do not change substantially in the wavelength range of 900 nm to 1000 nm where the absorption of water used sharply increases. However, as an exception, it has been confirmed that there are materials whose reflectance changes somewhat. In the method according to this embodiment, the difference in reflectance between the two wavelength ranges of the
透明な物体60の三次元形状推定は、非接触な形状推定手法では困難であったが、SFWアルゴリズムはガラス又はプラスチックなどの透明材質でできている物体であっても、その材質が近赤外線の光を吸収しなければ、形状推定をすることができる。しかし、物体60の底面が透明な場合には、光が底面を透過した後の水中も距離として計算してしまうので、形状推定できない問題点がある。
The three-dimensional shape estimation of the
次いで、参照する写真画像は以下の通りである。 Next, the photographic images to be referred to are as follows.
図36Aは「上部が透明な卵型のオブジェの表面がペイントされていない状態のオブジェ」のRGB画像(白黒変換後)の写真画像である。図36Bは図36Aの「ペイントなしのオブジェ」に対して、従来技術に係る形状測定装置によって形状推定された「ペイントなしのオブジェ」の写真画像である。図36Cは「上部が透明な卵型のオブジェの表面がペイントされた状態のオブジェ」のRGB画像(白黒変換後)の写真画像である。図36Dは図36Cの「ペイントありのオブジェ」に対して、第1の実施形態に係る形状測定装置によって形状推定された「ペイントありのオブジェ」の写真画像である。図36Eは図36Aの「ペイントなしのオブジェ」に対して、第1の実施形態に係る形状測定装置によって形状推定された「ペイントなしのオブジェ」の写真画像である。 FIG. 36A is a photographic image of an RGB image (after black-and-white conversion) of "an egg-shaped object whose top is transparent and whose surface is not painted". FIG. 36B is a photographic image of an “unpainted object” whose shape is estimated by a conventional shape measuring device with respect to the “unpainted object” of FIG. 36A. FIG. 36C is a photographic image of an RGB image (after black-and-white conversion) of "an object in which the surface of an egg-shaped object with a transparent top is painted". FIG. 36D is a photographic image of the "painted object" whose shape is estimated by the shape measuring apparatus according to the first embodiment with respect to the "painted object" of FIG. 36C. FIG. 36E is a photographic image of the "unpainted object" whose shape is estimated by the shape measuring apparatus according to the first embodiment with respect to the "unpainted object" of FIG. 36A.
図36A~図36Eにおいては、底は透明ではないが、上面は透明なプラスチックでできている卵の形をしたオブジェの形状推定を試みた結果を示す。従来技術に係るレーザー三次元形状測定装置では、まったく透明な部分に対処できていなく、不正確な結果になってしまっている(図36B参照)。しかし、SFWアルゴリズムを用いることで、正しく形状推定できている。参考にこの物体をペイントし、表面を透明ではなくした状態をレーザー三次元測定装置で推定してみたが、本実施形態に係る手法の結果とほぼ一致していることから、SFWアルゴリズムによる透明物体の形状推定結果は正しいことが分かる。 Figures 36A-36E show the results of an attempt to estimate the shape of an egg-shaped object with a non-transparent bottom but a transparent top made of plastic. The laser three-dimensional shape measuring device according to the prior art cannot deal with the transparent part at all, resulting in inaccurate results (see FIG. 36B). However, by using the SFW algorithm, the shape can be correctly estimated. For reference, I painted this object and estimated the state of the surface with a non-transparent object using a laser three-dimensional measurement device. is correct.
本実施形態の1.2.2節及び1.2.3節で示したように、形状推定の精度が良くなるように二つの近赤外線波長で、吸収係数差が大きくなるように波長を選定したが、吸収係数が大きい方の波長画像(本実施形態では、950nm画像)の光の吸収が強すぎるために、適切なSNRに対して画像が暗くなりすぎてしまっている。この問題の解決方法としては、カメラでの撮影段階で露光時間を長くする、あるいは光源の光量を強くするなどが考えられる。本実施形態に掲載している形状推定結果については、機材的な制限があるため光源の光量の調整は行っていないが、センサ21,22の露光時間の調整は行っている。
As shown in Sections 1.2.2 and 1.2.3 of this embodiment, the wavelength is selected so that the difference in absorption coefficient is large between the two near-infrared wavelengths so that the accuracy of shape estimation is improved. However, the absorption of light in the wavelength image with the higher absorption coefficient (the 950 nm image in this embodiment) is too strong, making the image too dark for an adequate SNR. As a solution to this problem, it is conceivable to lengthen the exposure time at the stage of photographing with a camera or to increase the amount of light from the light source. For the shape estimation results shown in this embodiment, the light amount of the light source is not adjusted due to equipment limitations, but the exposure time of the
6.まとめ
以上説明したように、本実施形態では、光の吸収を利用した全く新しい距離推定手法であるSFWアルゴリズムを用いた画像化システムを提案した。SFWアルゴリズムは物体の表面反射特性に影響されずに、二つの近赤外線領域の波長間における光の吸収度合いの差を利用して形状推定をする。低コストの既製のハードウェアを使用して、同軸の画像化システムを構築し、二つの波長画像を同時に撮影することで、リアルタイム形状推定を可能にした。実際に形状推定をしてみた結果から、SFWアルゴリズムで複雑な反射特性を持つ物体や動的に変形する物体の形状を正確に推定することができることが分かった。
6. Summary As described above, in this embodiment, an imaging system using the SFW algorithm, which is a completely new distance estimation method using light absorption, has been proposed. The SFW algorithm uses the difference in light absorption between two wavelengths in the near-infrared region to estimate the shape without being affected by the surface reflectivity of the object. Using low-cost off-the-shelf hardware, we constructed a coaxial imaging system that takes two wavelength images simultaneously to enable real-time shape estimation. From the results of actual shape estimation, it was found that the SFW algorithm can accurately estimate the shape of objects with complex reflection characteristics and dynamically deforming objects.
第2の実施形態
以下の第2の実施形態では、その中で章番号を付して説明する。
Second Embodiment The following second embodiment will be described with chapter numbers assigned therein.
1.三波長の光の吸収を利用した距離推定
上述の第1の実施形態では、撮影する二つ波長λ1とλ2における対象物体の反射率が同値、つまりs(λ1)≒s(λ2)であることを想定して、二波長の光の吸収を利用した距離推定について述べてきた。この想定は、基本的な材質の反射スペクトルのデータベース(例えば、図10参照)から分かるように、ほとんどの材質に関しては問題ない。しかし、金属のように、この想定が成り立たない物質も存在する。そこで、二つの波長λ1,λ2に加えて、λ1とλ2の間にある三つ目の波長λ3(λ1<λ3<λ2)について撮影した情報を利用することで、想定が成り立たない問題を対処する手法について以下に説明する。
1. Distance estimation using absorption of light of three wavelengths In the first embodiment described above, the reflectance of the target object at the two wavelengths λ 1 and λ 2 to be imaged is the same, that is, s(λ 1 )≈s(λ 2 ). ), we have discussed distance estimation using the absorption of two wavelengths of light. This assumption is fine for most materials, as can be seen from the database of reflectance spectra of basic materials (see, eg, FIG. 10). However, there are substances for which this assumption does not hold, such as metals. Therefore, in addition to the two wavelengths λ 1 and λ 2 , by using the information captured for the third wavelength λ 3 (λ 1 < λ 3 < λ 2 ) between λ 1 and λ 2 , Techniques for dealing with problems where assumptions do not hold are described below.
図37は本発明の第2の実施形態に係る形状測定装置で用いる、[λ1,λ2]の波長範囲における反射放射スペクトルの線形近似法を示すグラフである。図37に示すように、近赤外線領域の二つの波長λ1とλ2の間の反射スペクトルは、傾きは未知だが、ほぼ線形になっていると想定することができる。上記三つ目の波長λ3における反射率s(λ3)は次式のように計算できる。 FIG. 37 is a graph showing a linear approximation method of the reflected radiation spectrum in the wavelength range of [λ 1 , λ 2 ], which is used in the shape measuring device according to the second embodiment of the present invention. As shown in FIG. 37, the reflection spectrum between two wavelengths λ 1 and λ 2 in the near-infrared region can be assumed to be almost linear, although the slope is unknown. The reflectance s(λ 3 ) at the third wavelength λ 3 can be calculated as follows.
ここで、
第1の実施形態における式(2)と式(3)は、センサ21,22が感知した光量を定式化したものであるが、次式のように三つ目の波長λ3についても同様に表すことができる。
Equations (2) and (3) in the first embodiment formulate the amount of light sensed by the
式(12)と式(13)から、対象物体の反射率の比
式(15)を式(13)と式(14)に代入することで、次の三波長における光量の関係式が得られる。 By substituting the equation (15) into the equations (13) and (14), the following relational expressions for the amounts of light at the three wavelengths are obtained.
この式(16)から、二波長において対象物体の反射率が同値であるというこの想定が成り立たない場合においても、三波長を利用することで正確な距離lを推定することが可能になる。 From this equation (16), it is possible to estimate the accurate distance l by using three wavelengths even if this assumption that the reflectance of the target object is the same at two wavelengths does not hold.
2.反射率データベースにおいて、三波長を用いた推定での反射率誤差評価
二つの波長λ1とλ2の間の波長域において、対象物体の反射率が同値でない場合に、三波長を用いることで、反射率の差を考慮した推定が可能であることを、反射率データベースから評価する。ここでは、λ1,λ2,λ3をそれぞれ900nm、950nm、925nmとして反射率誤差を計算する。三波長を用いた推定の場合には、波長λ3における反射率s(λ3)は、図37に示すように、グラフ上の2つのポイント[λ1,s(λ1)]と[λ2,s(λ2)]を通る一次関数の直線上に存在するものと想定され、推定された波長λ3における反射率をe(λ3)とする。推定された反射率e(λ3)と、実際の反射率s(λ3)の誤差を評価するために、次式を計算した。
2. Reflectance error evaluation in estimation using three wavelengths in the reflectance database When the reflectance of the target object is not the same in the wavelength range between two wavelengths λ 1 and λ 2 , by using three wavelengths, It is evaluated from the reflectance database that estimation considering the reflectance difference is possible. Here, reflectance errors are calculated with λ 1 , λ 2 , and λ 3 set to 900 nm, 950 nm, and 925 nm, respectively. In the case of estimation using three wavelengths, the reflectance s(λ 3 ) at wavelength λ 3 is obtained by two points [λ 1 , s(λ 1 )] and [λ 2 , s(λ 2 )], and let e(λ 3 ) be the reflectance at the estimated wavelength λ 3 . To evaluate the error between the estimated reflectance e(λ 3 ) and the actual reflectance s(λ 3 ), the following equation was calculated.
ここで、4つの材質の物体に対するスペクトル図を以下に示す。 Here, spectral diagrams for objects of four materials are shown below.
図38Aは「木材」に対して、[λ1,λ2]の波長範囲における反射スペクトルの線形近似を行った結果を示すスペクトル図である。図38Bは「布」に対して、[λ1,λ2]の波長範囲における反射スペクトルの線形近似を行った結果を示すスペクトル図である。図38Cは「革」に対して、[λ1,λ2]の波長範囲における反射スペクトルの線形近似を行った結果を示すスペクトル図である。図38Dは「金属」に対して、[λ1,λ2]の波長範囲における反射スペクトルの線形近似を行った結果を示すスペクトル図である。 FIG. 38A is a spectrum diagram showing the result of linear approximation of the reflection spectrum in the wavelength range of [λ 1 , λ 2 ] for "wood". FIG. 38B is a spectrum diagram showing the result of linear approximation of the reflection spectrum in the wavelength range [λ 1 , λ 2 ] for "cloth". FIG. 38C is a spectrum diagram showing the results of linear approximation of the reflection spectrum in the wavelength range [λ 1 , λ 2 ] for "leather". FIG. 38D is a spectral diagram showing the result of linear approximation of the reflection spectrum in the wavelength range [λ 1 , λ 2 ] for "metal".
図38A~図38Dに示した評価結果から、二つの波長λ1とλ2の間の反射スペクトルは、ほぼ線形になっているという想定は妥当であることが分かる。二波長で推定した場合の反射率の平均誤差を計算してみると、木材、布、革、金属それぞれで3.8%、2.1%、6.0%、11.1%だったのに対し、三波長では、0.1%、0.4%、0.4%、0.6%と大幅に誤差を減らすことが可能となる。 From the evaluation results shown in FIGS. 38A to 38D, it can be seen that it is reasonable to assume that the reflection spectrum between the two wavelengths λ 1 and λ 2 is approximately linear. When calculating the average reflectance error when estimating at two wavelengths, it was 3.8%, 2.1%, 6.0%, and 11.1% for wood, cloth, leather, and metal, respectively. On the other hand, with three wavelengths, the error can be greatly reduced to 0.1%, 0.4%, 0.4%, and 0.6%.
3.三波長の光の吸収を利用した距離推定処理の高速化
前記で説明した三波長における光量の関係式を示した式(16)を変形すると、次式を得る。
3. Acceleration of Distance Estimation Processing Using Absorption of Light of Three Wavelengths The following formula is obtained by modifying the above-described formula (16) showing the relational expression of the light amount at the three wavelengths.
この式(16a)を距離lについて解けば、距離lを求めることができる。しかし、画像の画素毎に距離lを推定することは、計算コストが非常に高く、非線形最小二乗法を使っても画像の距離を実時間で推定することは非常に難しい。そこで、使用する三波長の選択に制限を加えることで、実時間で推定可能なアルゴリズムを考案した。 The distance l can be obtained by solving the equation (16a) for the distance l. However, estimating the distance l for each pixel of the image is very computationally expensive, and it is very difficult to estimate the distance of the image in real time even using the nonlinear least-squares method. Therefore, we devised a real-time estimation algorithm by limiting the selection of three wavelengths to be used.
(1)ケース1:
α(λ3)-α(λ1)=α(λ2)-α(λ3)となる波長を選択する。次いで、α(λ3)-α(λ1)=α(λ2)-α(λ3)=kとすると、式(16)は次式のように表現できる。
(1) Case 1:
Select wavelengths such that α(λ 3 )−α(λ 1 )=α(λ 2 )−α(λ 3 ). Next, if α(λ 3 )−α(λ 1 )=α(λ 2 )−α(λ 3 )=k, Equation (16) can be expressed as the following equation.
式(17)の両辺にe2klを乗算すると,次式を得る。 Multiplying both sides of equation (17) by e 2kl yields the following equation.
ここで、e2kl=Aとすると、式(18)は次式のように、Aについての二次方程式として表現できる。 Here, if e 2kl =A, Equation (18) can be expressed as a quadratic equation for A as shown below.
この式(19)をAについて解くことで、距離lを計算することができる。これは単純に二次方程式を解く処理なので、計算コストも微小となり、実時間での距離推定が可能となる。 By solving this equation (19) for A, the distance l can be calculated. Since this is a process of simply solving a quadratic equation, the calculation cost is very small, and real-time distance estimation is possible.
(2)ケース2:
2(α(λ3)-α(λ1))=α(λ2)-α(λ3)となる波長を選択する。次いで、ケースIと同様に、式(16)の両辺にe4klを乗算すると次式を得る。
(2) Case 2:
2(α(λ 3 )−α(λ 1 ))=α(λ 2 )−α(λ 3 ). Then, as in Case I, multiplying both sides of equation (16) by e 4kl yields:
ここで、e2kl=Bとすると、式(19a)は次式のように、Bについての三次方程式として表現できる。 Here, if e 2kl =B, Equation (19a) can be expressed as a cubic equation for B as shown below.
この式(20)をBについて解くことで、距離lを計算することができる。同様に単純な三次方程式を解くだけなので、実時間での距離推定が可能となる。 By solving this equation (20) for B, the distance l can be calculated. Similarly, since only a simple cubic equation is solved, distance estimation in real time is possible.
4.光源(平行光)とカメラの光軸が同軸である測定装置
光の吸収を利用した距離推定及び物体の形状推定をする上で、光源80又はセンサ21,22、あるいは両方ともに、水面に対して垂直方向から少し傾いていることが予想される(図14参照)。第1の実施形態において説明したように、傾いている影響を補正することは可能である。しかし、より精度良く推定するためには、光源80とセンサ21,22の光軸が同軸であることが望ましい。そこで、平行光である光源80の光軸とセンサ21,22,23の光軸が同軸で撮影可能な測定装置を開発した。
4. A measurement device in which the light source (parallel light) and the optical axis of the camera are coaxial. A slight tilt from the vertical is expected (see FIG. 14). As explained in the first embodiment, it is possible to correct for tilting effects. However, for more accurate estimation, it is desirable that the optical axes of the
図39は光源80(平行光)とスペクトロスコープセンサ24の光軸が同軸であるときの形状測定装置(第3の基礎実施形態の図3の装置に対応する)の構成例を示す平面図である。ここで、スペクトロスコープセンサ24はセンサ21,22,23を1つのデバイスで構成したものである。
FIG. 39 is a plan view showing a configuration example of a shape measuring device (corresponding to the device in FIG. 3 of the third basic embodiment) when the optical axis of the light source 80 (parallel light) and the
図39において、光源80、アイリスダイアフラムIRD、3個のフィルタFR,FG,FB、フィルタ用の自動移動ステージMS、シリンドリカルレンズCL1~CL4、スペクトロスコープセンサ24、及びハーフミラー(ビームスプリッター)40を図のごとく配置することで、図39の上側に配置された物体60を、スペクトロスコープセンサ24が、光源80の光を用いてが同軸な状態で撮影することができる。ここで、フィルタFRは赤色波長のみを通過させる赤色フィルタであり、フィルタFGは緑色波長のみを通過させる緑色フィルタであり、フィルタFBは青色波長のみを通過させる青色フィルタである。自動移動ステージMSは、3つのフィルタのうちの1つを選択して光軸上に移動配置させる。
In FIG. 39, a
図39の測定装置において、光源80から入射された光は初めにシリンドリカルレンズCL1を通ることで、平行光となる。さらに、フィルタFR,FG,FBのうちの1つのフィルタで指定された波長の光のみが透過する。次いで、ハーフミラー40で直角に反射した光は図39の上側の物体60に向かって進む。物体60に照射された光は反射して、再びハーフミラー40を通るが、ここでハーフミラー40を透過することでスペクトロスコープセンサ24に入射する。このように構成することで、スペクトロスコープセンサ24と光源80の光軸を同軸な状態で撮影することが可能となる。なお、図39では、小さいハーフミラー40を想定したので、ハーフミラー40に光が入射する前後にシリンドリカルレンズCL2~CL4を配置することで、一度光を集約させている。すなわち、ハーフミラー40が所定の光幅以上のサイズを有するときは、シリンドリカルレンズCL1~CL4を省略してもよい。
In the measurement apparatus of FIG. 39, the light incident from the
5.三波長同軸の撮影システム
移動する物体60を対象に、三波長の光の吸収を利用した距離の推定を行うためには、三波長それぞれの画像をリアルタイムに取得する必要がある。そこで三台のカメラ21C,22C,23Cを用いて、同画角で同軸のカメラシステムを構築した。
5. Three-Wavelength Coaxial Imaging System In order to estimate the distance of the moving
図40は例えば第2の基礎実施形態に係る形状測定装置で用いる、3台のカメラ21C,22C,23Cによる同画角のカメラシステムの構成例(第2の基礎実施形態の図2Aの装置に対応する)を示す平面図である。
FIG. 40 is a configuration example of a camera system with the same angle of view using three
図40において、二つのハーフミラー41,42を用いて光を三方向に分離させる。分離させた光を撮影できるように三台のカメラ21C,22C,23Cを配置することで、リアルタイムに三波長の画像を取得することが可能になる。ハーフミラー41に入射し、分離した光を撮影するカメラ21Cに入射する光量に比べて、ハーフミラー42で分離した光を撮影するカメラ22Cに入射する光量は、半分以下になってしまうが、光源80の光量及びカメラ21C,22C,23Cの感度を調整することで、三台のカメラ21C,22C,23Cのそれぞれにおいて輝度差を補正している。なお、図40において、RLはリレーレンズであり、各カメラ21C,22C,23Cの前面にそれぞれバンドパスフィルタ31,32,33が配置されている。
In FIG. 40, two half mirrors 41 and 42 are used to separate light into three directions. By arranging the three
さらに、第2の実施形態に係る形状測定装置による形状推定結果について以下に説明する。 Further, shape estimation results obtained by the shape measuring apparatus according to the second embodiment will be described below.
(1)図41Aは第2の実施形態に係る形状測定装置による形状推定のための「卵型オブジェ」についての波長905nmの入力画像を示す写真画像である。図41Bは図41Aの「卵型オブジェ」に対して、第2の実施形態に係る形状測定装置による形状推定された推定結果画像を示す写真画像である。
(2)図42Aは第2の実施形態に係る形状測定装置による形状推定のための「ロールケーキの食品サンプル」についての波長905nmの入力画像を示す写真画像である。図42Bは図42Aの「ロールケーキの食品サンプル」に対して、第2の実施形態に係る形状測定装置による形状推定された推定結果画像を示す写真画像である。
(3)図43Aは第2の実施形態に係る形状測定装置による形状推定のための「かぶのオブジェ」についての波長905nmの入力画像を示す写真画像である。図43Bは図43Aの「かぶのオブジェ」に対して、第2の実施形態に係る形状測定装置による形状推定された推定結果画像を示す写真画像である。
(1) FIG. 41A is a photographic image showing an input image with a wavelength of 905 nm for an "egg-shaped object" for shape estimation by the shape measuring apparatus according to the second embodiment. FIG. 41B is a photographic image showing an estimation result image obtained by estimating the shape of the “egg-shaped object” in FIG. 41A by the shape measuring apparatus according to the second embodiment.
(2) FIG. 42A is a photographic image showing an input image with a wavelength of 905 nm for a “roll cake food sample” for shape estimation by the shape measuring apparatus according to the second embodiment. FIG. 42B is a photographic image showing an estimation result image in which the shape of the “roll cake food sample” in FIG. 42A is estimated by the shape measuring apparatus according to the second embodiment.
(3) FIG. 43A is a photographic image showing an input image with a wavelength of 905 nm for a “turnip object” for shape estimation by the shape measuring apparatus according to the second embodiment. FIG. 43B is a photographic image showing an estimation result image in which the shape of the “turnip object” in FIG. 43A is estimated by the shape measuring apparatus according to the second embodiment.
図41A~図43Bから明らかなように、第2の実施形態に係る形状測定装置によれば、第1の実施形態に係る形状測定装置の形状推定結果に比較して高精度で推定して測定できることがわかる。 As is clear from FIGS. 41A to 43B, according to the shape measuring apparatus according to the second embodiment, the shape estimation results obtained by the shape measuring apparatus according to the first embodiment are estimated and measured with higher accuracy. I know you can.
以上詳述したように、本発明によれば、先行技術より高い精度で、物体から到来する2つの波長の光を用いて形状を測定することができる。また、従来技術よりもさらに高い精度で、物体から到来する3つの波長の光を用いて、物体の形状を測定することができる。 As detailed above, according to the present invention, the shape can be measured using two wavelengths of light coming from the object with higher accuracy than the prior art. Also, the shape of an object can be measured using three wavelengths of light coming from the object with even higher accuracy than the prior art.
本発明は、その実施形態に関連して十分に説明されたが、添付図面を参照して、様々な変更及び修正が当業者には明らかであることに留意すべきである。そのような変更及び修正は、添付の特許請求の範囲によって規定される本発明の範囲内に含まれるものと理解されるべきである。 Although the present invention has been fully described in connection with its embodiments, it should be noted that various alterations and modifications will become apparent to those skilled in the art upon reference to the accompanying drawings. Such changes and modifications are intended to be included within the scope of the invention as defined by the appended claims.
10 媒質
21,22,23 センサ
21C、22C,23C センサカメラ
24 スペクトロスコープセンサ
31,32,33 バンドパスフィルタ(BPF)
40,41,42 ハーフミラー
40a 光軸
50 タンク
60 被測定物体(物体)
60s 被測定物体の表面(物体表面)
61 移動支持部
70,70A 測定装置
70m 内部メモリ
71 操作部
72 ディスプレイ
80 光源
CL1~CL4 コリメートレンズ
CAL カメラレンズ
FR,FG,FB 色フィルタ
IRD アイリスダイアフラム
L80 入射光
MS 自動移動ステージ
R60 反射光
S61,S80 制御信号
10 medium 21, 22, 23
40, 41, 42
60s Surface of object to be measured (object surface)
61 moving
Claims (6)
前記物体の表面から来て前記媒質を通って伝搬する光を受光して、第1の波長と第2の波長の各強度を測定するセンサと、
前記測定された第1の波長及び第2の波長の各強度と、第1の波長及び第2の波長における媒質の各吸収係数に基づいて、前記媒質の表面から前記物体の表面までの距離を計算し、前記計算された距離に基づいて物体の形状を測定する測定部とを備えた形状測定装置であって、
第1の波長及び第2の波長は、第1の波長における最短距離の強度と第2の波長における最長距離の強度との差が最大となり、かつ、第1の波長における反射率係数と第2の波長における反射率係数との差が最小となり、かつ、第1の波長における吸収係数と第2の波長における吸収係数との差が最大となるように選択され、
ここで、前記最短距離は、前記物体の表面上の複数の位置における対応する複数の距離のうちの最も短い距離をいい、
前記最長距離は、前記物体の表面上の複数の位置における対応する複数の距離のうちの最も長い距離をいい、
第1の波長をλ1とし、第2の波長をλ2とし、
前記測定された第1の波長の強度をI(λ1)とし、
前記測定された第2の波長の強度をI(λ2)とし、
第1の波長における媒質の吸収係数をα(λ1)とし、
第2の波長における媒質の吸収係数をα(λ2)とし、
第1の波長における反射率係数をs(λ1)とし、
第2の波長における反射率係数をs(λ2)としたときに、
前記媒質の表面から前記物体の表面までの距離lを、次式を用いて、
a sensor for receiving light coming from the surface of the object and propagating through the medium and measuring respective intensities at first and second wavelengths;
Based on the measured intensities of the first and second wavelengths and the absorption coefficients of the medium at the first and second wavelengths, determine the distance from the surface of the medium to the surface of the object. and a measuring unit that calculates and measures the shape of an object based on the calculated distance,
The first wavelength and the second wavelength have the maximum difference between the intensity at the shortest distance at the first wavelength and the intensity at the longest distance at the second wavelength, and the reflectance coefficient at the first wavelength and the second wavelength are is selected to minimize the difference between the reflectance coefficient at the wavelength of and maximize the difference between the absorption coefficient at the first wavelength and the absorption coefficient at the second wavelength,
Here, the shortest distance is the shortest distance among a plurality of corresponding distances at a plurality of positions on the surface of the object,
the longest distance is the longest distance among the corresponding multiple distances at multiple locations on the surface of the object;
Let the first wavelength be λ 1 and the second wavelength be λ 2 ,
Let the measured intensity of the first wavelength be I(λ 1 ),
Let the measured intensity of the second wavelength be I(λ 2 ),
Let α(λ 1 ) be the absorption coefficient of the medium at the first wavelength,
Let α(λ 2 ) be the absorption coefficient of the medium at the second wavelength,
Let s(λ 1 ) be the reflectance coefficient at the first wavelength,
When the reflectance coefficient at the second wavelength is s(λ 2 ),
Using the following formula, the distance l from the surface of the medium to the surface of the object is
センサが、前記物体の表面から来て前記媒質を通って伝搬する光を受光して、第1の波長と第2の波長の各強度を測定するステップと、
測定部が、前記測定された第1の波長及び第2の波長の各強度と、第1及び第2の波長における吸収係数に基づいて、前記媒質の表面から前記物体の表面までの距離を計算し、前記計算された距離に基づいて物体の形状を測定するステップとを含む形状測定方法であって、
第1の波長及び第2の波長は、第1の波長における最短距離の強度と第2の波長における最長距離の強度との差が最大となり、かつ、第1の波長における反射率係数と第2の波長における反射率係数との差が最小となり、かつ、第1の波長における吸収係数と第2の波長における吸収係数との差が最大となるように選択され、
ここで、前記最短距離は、前記物体の表面上の複数の位置における対応する複数の距離のうちの最も短い距離をいい、
前記最長距離は、前記物体の表面上の複数の位置における対応する複数の距離のうちの最も長い距離をいい、
第1の波長をλ1とし、第2の波長をλ2とし、
前記測定された第1の波長の強度をI(λ1)とし、
前記測定された第2の波長の強度をI(λ2)とし、
第1の波長における媒質の吸収係数をα(λ1)とし、
第2の波長における媒質の吸収係数をα(λ2)とし、
第1の波長における反射率係数をs(λ1)とし、
第2の波長における反射率係数をs(λ2)としたときに、
前記媒質の表面から前記物体の表面までの距離lを、次式を用いて、
a sensor receiving light coming from the surface of the object and propagating through the medium to measure the intensity of each of first and second wavelengths;
A measuring unit calculates the distance from the surface of the medium to the surface of the object based on the measured intensities of the first and second wavelengths and the absorption coefficients at the first and second wavelengths. and measuring the shape of an object based on the calculated distance,
The first wavelength and the second wavelength have the maximum difference between the intensity at the shortest distance at the first wavelength and the intensity at the longest distance at the second wavelength, and the reflectance coefficient at the first wavelength and the second wavelength are is selected to minimize the difference between the reflectance coefficient at the wavelength of and maximize the difference between the absorption coefficient at the first wavelength and the absorption coefficient at the second wavelength,
Here, the shortest distance is the shortest distance among a plurality of corresponding distances at a plurality of positions on the surface of the object,
the longest distance is the longest distance among the corresponding multiple distances at multiple locations on the surface of the object;
Let the first wavelength be λ 1 and the second wavelength be λ 2 ,
Let the measured intensity of the first wavelength be I(λ 1 ),
Let the measured intensity of the second wavelength be I(λ 2 ),
Let α(λ 1 ) be the absorption coefficient of the medium at the first wavelength,
Let α(λ 2 ) be the absorption coefficient of the medium at the second wavelength,
Let s(λ 1 ) be the reflectance coefficient at the first wavelength,
When the reflectance coefficient at the second wavelength is s(λ 2 ),
Using the following formula, the distance l from the surface of the medium to the surface of the object is
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662405512P | 2016-10-07 | 2016-10-07 | |
US62/405,512 | 2016-10-07 | ||
JP2018543991A JP6979701B2 (en) | 2016-10-07 | 2017-10-06 | Shape measuring device and method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018543991A Division JP6979701B2 (en) | 2016-10-07 | 2017-10-06 | Shape measuring device and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021185372A JP2021185372A (en) | 2021-12-09 |
JP7117800B2 true JP7117800B2 (en) | 2022-08-15 |
Family
ID=61831061
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018543991A Active JP6979701B2 (en) | 2016-10-07 | 2017-10-06 | Shape measuring device and method |
JP2021138487A Active JP7117800B2 (en) | 2016-10-07 | 2021-08-27 | Shape measuring device and method |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018543991A Active JP6979701B2 (en) | 2016-10-07 | 2017-10-06 | Shape measuring device and method |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP6979701B2 (en) |
WO (1) | WO2018066698A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7317732B2 (en) * | 2020-01-20 | 2023-07-31 | 株式会社東芝 | Estimation device, object transport system, estimation method, and program |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1994010532A1 (en) | 1992-10-13 | 1994-05-11 | Kms Fusion, Inc. | Electro-optical system for gauging surface profiles |
US5517575A (en) | 1991-10-04 | 1996-05-14 | Ladewski; Theodore B. | Methods of correcting optically generated errors in an electro-optical gauging system |
JP2008256504A (en) | 2007-04-04 | 2008-10-23 | Nikon Corp | Shape measuring apparatus |
US20110290005A1 (en) | 2008-07-24 | 2011-12-01 | Hart Douglas P | Dynamic three-dimensional imaging of ear canals |
CN105136062A (en) | 2015-08-25 | 2015-12-09 | 上海集成电路研发中心有限公司 | Three-dimensional scanning device based on attenuation light and three-dimensional scanning method |
JP2016170164A (en) | 2015-03-10 | 2016-09-23 | 富士フイルム株式会社 | Measuring method, measuring apparatus and program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8310560B2 (en) * | 2008-07-24 | 2012-11-13 | Massachusetts Institute Of Technology | Three-dimensional imaging using a single camera |
JP6502626B2 (en) * | 2014-07-10 | 2019-04-17 | 株式会社東京精密 | Distance measuring device and distance measuring method |
-
2017
- 2017-10-06 WO PCT/JP2017/036510 patent/WO2018066698A1/en active Application Filing
- 2017-10-06 JP JP2018543991A patent/JP6979701B2/en active Active
-
2021
- 2021-08-27 JP JP2021138487A patent/JP7117800B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5517575A (en) | 1991-10-04 | 1996-05-14 | Ladewski; Theodore B. | Methods of correcting optically generated errors in an electro-optical gauging system |
WO1994010532A1 (en) | 1992-10-13 | 1994-05-11 | Kms Fusion, Inc. | Electro-optical system for gauging surface profiles |
JP2008256504A (en) | 2007-04-04 | 2008-10-23 | Nikon Corp | Shape measuring apparatus |
US20110290005A1 (en) | 2008-07-24 | 2011-12-01 | Hart Douglas P | Dynamic three-dimensional imaging of ear canals |
JP2016170164A (en) | 2015-03-10 | 2016-09-23 | 富士フイルム株式会社 | Measuring method, measuring apparatus and program |
CN105136062A (en) | 2015-08-25 | 2015-12-09 | 上海集成电路研发中心有限公司 | Three-dimensional scanning device based on attenuation light and three-dimensional scanning method |
Also Published As
Publication number | Publication date |
---|---|
WO2018066698A1 (en) | 2018-04-12 |
JP6979701B2 (en) | 2021-12-15 |
JPWO2018066698A1 (en) | 2019-07-18 |
JP2021185372A (en) | 2021-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10383711B2 (en) | Focus scanning apparatus recording color | |
US20240056561A1 (en) | User interface for intraoral scanning with tooth color detection | |
CN109642787B (en) | System and method for 3D surface measurement | |
TWI509220B (en) | Surface topography interferometer with surface color | |
TWI278597B (en) | Optical film tester | |
Asano et al. | Shape from water: Bispectral light absorption for depth recovery | |
JP6364777B2 (en) | Image data acquisition system and image data acquisition method | |
JP5871242B2 (en) | Film thickness measuring apparatus and film thickness measuring method | |
JP7117800B2 (en) | Shape measuring device and method | |
US9531950B2 (en) | Imaging system and imaging method that perform a correction of eliminating an influence of ambient light for measurement data | |
JP2022509387A (en) | Optical equipment for measuring the optical properties of materials | |
Holroyd et al. | An analysis of using high-frequency sinusoidal illumination to measure the 3D shape of translucent objects | |
CN111295565B (en) | Apparatus and method for determining surface topology and associated colors | |
WO2022070774A1 (en) | Image analysis method, image analysis device, program, and recording medium | |
CN112912713B (en) | Coefficient determination device, pigment concentration calculation device, and coefficient determination method | |
Gupta et al. | (De) Focusing on global light transport for active scene recovery | |
Kim | The three-dimensional evolution of hyperspectral imaging | |
KR102087566B1 (en) | Devices and methods for determining surface topology and associated color | |
JP2019191175A (en) | Imaging device and method | |
JP6849708B2 (en) | Focus scanning device that records colors | |
Lu et al. | Spatial variant gloss measurement of dielectric material based on a polarized | |
JP2021085788A (en) | Evaluation device and method for evaluation | |
Sitnik et al. | Extending 3D shape measurement with reflectance estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220726 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7117800 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |