JPWO2018066698A1 - 形状測定装置及び方法 - Google Patents

形状測定装置及び方法 Download PDF

Info

Publication number
JPWO2018066698A1
JPWO2018066698A1 JP2018543991A JP2018543991A JPWO2018066698A1 JP WO2018066698 A1 JPWO2018066698 A1 JP WO2018066698A1 JP 2018543991 A JP2018543991 A JP 2018543991A JP 2018543991 A JP2018543991 A JP 2018543991A JP WO2018066698 A1 JPWO2018066698 A1 JP WO2018066698A1
Authority
JP
Japan
Prior art keywords
wavelength
distance
shape
medium
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018543991A
Other languages
English (en)
Other versions
JP6979701B2 (ja
Inventor
いまり 佐藤
いまり 佐藤
祐太 浅野
祐太 浅野
銀強 鄭
銀強 鄭
恒 西野
恒 西野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inter University Research Institute Corp Research Organization of Information and Systems
Original Assignee
Inter University Research Institute Corp Research Organization of Information and Systems
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inter University Research Institute Corp Research Organization of Information and Systems filed Critical Inter University Research Institute Corp Research Organization of Information and Systems
Publication of JPWO2018066698A1 publication Critical patent/JPWO2018066698A1/ja
Priority to JP2021138487A priority Critical patent/JP7117800B2/ja
Application granted granted Critical
Publication of JP6979701B2 publication Critical patent/JP6979701B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Abstract

形状測定装置は、第1及び第2の波長における各吸収係数を有する媒質を介して、第1及び第2の波長の各反射率係数を有する物体の表面に、第1及び第2の波長を有する光を照射する光源と、物体の表面から来て媒質を通って伝搬する光を受光して、第1及び第2の波長の各強度を測定するセンサと、測定された第1及び第2の波長の各強度と、第1及び第2の波長における吸収係数に基づいて、媒質の表面から物体の表面までの距離を計算し、計算された距離に基づいて物体の形状を測定する測定部とを備える。第1及び第2の波長は、第1の波長における最短距離の強度と第2の波長における最長距離の強度との差が所定の第1の値よりも大きくなり、かつ、第1の波長における反射率係数と第2の波長における反射率係数との差が所定の第2の値よりも小さくなるように選択される。

Description

本発明は、被測定物の形状を測定する光学式形状測定装置及び方法に関する。
特許文献1は、吸収を使用する3次元画像化システムを開示している。当該3次元画像化システムにおいて、物体とセンサとの間の蛍光媒質を励起し、励起光源からの励起光を用いて2つの波長の光束を射出させ、3次元撮像系では、センサは物体によって反射された光ビームを受光する。センサに接続されたコンピュータは、第1の波長の強度と第2の波長の強度との比に基づいて、媒質の厚さを決定し、前記物体の領域内の複数の追加の厚さを決定し、物体の領域の3次元画像を再構成する。
また、特許文献2は、物体の表面形状を短時間で精度良く測定する形状測定装置を開示している。ここで、当該形状測定装置は、媒質を介して被検体を照明する照明部と、前記物体によって反射された2つの波長の光ビームを受光するための光センサと、2つの波長の光の強度と媒質の透過率とに基づいて、被測定物の表面までの距離を測定する測定部とを備えたことを特徴としている。
米国特許第8107806号明細書 特開2008−256504号公報
しかし、上述の特許文献1に開示された3次元画像化システムでは、励起光源からの励起光に応答して2つの波長の光ビームを励起するために、物体とセンサとの間に蛍光媒質を設ける必要があるという制限があった。
また、特許文献2に開示された形状測定装置においては、物体の反射係数が同じである2つの波長が選択され、対象物の反射係数は測定前に知る必要がある。
本発明の目的は、媒質を介して2つの波長で観察された物体の輝度を使用することにより、従来技術よりも高い精度で物体の形状を測定する形状測定装置及び方法を提供することにある。
本発明の別の目的は、3つの波長の物体の輝度を使用することによって、従来技術における反射特性既知という制限を回避し、さらに高い精度で物体の形状を測定する形状測定装置及び方法を提供することにある。
第1の発明に係る形状測定装置は、
第1の波長における各吸収係数と、第1の波長よりも長い第2の波長における吸収係数とを有する媒質を介して、第1の波長及び第2の波長の各反射率係数を有する物体の表面に、第1の波長及び第2の波長を有する光を照射する光源と、
前記物体の表面から来て前記媒質を通って伝搬する光を受光して、第1の波長と第2の波長の各強度を測定するセンサと、
前記測定された第1の波長及び第2の波長の各強度と、第1の波長及び第2の波長における媒質の各吸収係数に基づいて、前記媒質の表面から前記物体の表面までの距離を計算し、前記計算された距離に基づいて前記物体の形状を測定する測定部とを備えた形状測定装置であって、
第1の波長及び第2の波長は、第1の波長における最短距離の強度と第2の波長における最長距離の強度との差が所定の第1の値よりも大きくなり、かつ、第1の波長における反射率係数と第2の波長における反射率係数との差が所定の第2の値よりも小さくなるように選択され、
ここで、前記最短距離は、前記物体の表面上の複数の位置における対応する複数の距離のうちの最も短い距離をいい、
前記最長距離は、前記物体の表面上の複数の位置における対応する複数の距離のうちの最も長い距離をいう
ことを特徴とする。
第2の発明に係る形状測定装置は、
第3の波長が第1の波長と、第1の波長よりも長い第2の波長との間にあり、第1の波長、第2の波長及び第3の波長における各吸収係数を有する媒質を介して、第1の波長、第2の波長及び第3の波長における各反射率係数を有する物体の表面に光を照射する光源と、
前記物体の前記表面から来て前記媒質を通って伝搬する光を受光して、第1の波長、第2の波長及び第3の波長の各強度を測定するセンサと、
第1の波長及び第2の波長の各強度と、第1及び第2の波長における媒質の各吸収係数とに基づいて、前記媒質の表面から前記物体の表面までの距離を計算し、前記計算された距離に基づいて、前記物体の表面の反射係数特性が、第1の波長から第3の波長を介して第2の波長までの波長範囲にわたって実質的に線形関係を有する条件のもとで、前記物体の形状を測定する測定部とを備えたことを特徴とする。
従って、本発明によれば、先行技術より高い精度で、物体から到来する2つの波長の光を用いて形状を測定することができる。また、従来技術よりもさらに高い精度で、物体から到来する3つの波長の光を用いて、物体の形状を測定することができる。
本発明のこれら及び他の目的及び特徴は、添付の図面を参照して、その実施形態に関連する以下の説明から明らかになるであろう。
本発明の第1の基本実施形態に係る光学式形状測定装置の構成を示す概略ブロック図である。 図1Aの測定装置70によって実行される形状測定処理を示すフローチャートである。 本発明の第2の基本実施形態に係る光学式形状測定装置の構成を示す概略ブロック図である。 図2Aの測定装置70Aによって実行される形状測定処理を示すフローチャートである。 本発明の第3の基本実施形態に係る光学式形状測定装置の構成を示す概略ブロック図である。 入射光L80及び反射光R60が媒質10の表面(水面)に垂直な方向に対して、角度φ及びθで傾斜している場合において、媒質表面10sから物体表面60sまでの距離lを補正する補正方法を示す概略ブロック図である。 400nm〜1400nmにおける水による光の吸収割合を示すグラフである。 可視光と近赤外線での水の見え方の違いを示す写真画像であって、フィルタを使わず赤外線カメラで撮影した水の見え方を示す写真画像である。 可視光と近赤外線での水の見え方の違いを示す写真画像であって、950nmのフィルタを通して赤外線カメラで撮影した水の見え方を示す写真画像である。 ランベルト・ベールの法則に従った光量を示すための装置の概略側面図である。 例えばカメラであるセンサ21,22と光源80の光軸が平行でかつ水面に対して垂直な位置関係を有するときの形状測定装置の概略側面図である。 相対的反射率誤差と推定距離誤差の関係を示すグラフである。 「24色のカラーチェッカーボード」の反射スペクトルを示すグラフである。 1波長ペアにおける「カラーチェッカーボード」の反射スペクトル誤差を示すグラフである。 「木材」の反射スペクトルを示すスペクトル図である。 「布」の反射スペクトルを示すスペクトル図である。 「革」の反射スペクトルを示すスペクトル図である。 「金属」の反射スペクトルを示すスペクトル図である。 1波長ペアにおける「木材のカラーチェッカーボード」の反射スペクトル誤差を示すグラフである。 1波長ペアにおける「布のカラーチェッカーボード」の反射スペクトル誤差を示すグラフである。 1波長ペアにおける「革のカラーチェッカーボード」の反射スペクトル誤差を示すグラフである。 1波長ペアにおける「金属のカラーチェッカーボード」の反射スペクトル誤差を示すグラフである。 センサ21,22と光源80の光軸が平行でなくかつ水面に対して垂直ではない位置関係を有するときの形状測定装置の概略側面図である。 本発明の第1の実施形態に係る同軸のスペクトラル画像化システム(形状測定装置)の外観を示す写真画像である。 図15のカメラ(POINT−GREY製、GS3−U3−41C6NIR型)の、波長300nmから1100nmまでの応答関数を示すスペクトル図である。 図15の2つのバンドパスフィルタの透過関数とカメラの応答関数を示すスペクトル図である。 図15の光源のスペクトルを示すスペクトル図である。 水の吸収係数を示すスペクトル図である。 「シアン色のタイル」での距離精度を示すグラフであって、推定した距離と真値との比較を示すグラフである。 「シアン色のタイル」での距離精度を示すグラフであって、推定した距離の相対誤差を示すグラフである。 「赤色のプラスチックボード」での距離精度を示すグラフであって、推定した距離と真値との比較を示すグラフである。 「赤色のプラスチックボード」での距離精度を示すグラフであって、推定した距離の相対誤差を示すグラフである。 「白色の大理石」での距離精度を示すグラフであって、推定した距離と真値との比較を示すグラフである。 「白色の大理石」での距離精度を示すグラフであって、推定した距離の相対誤差を示すグラフである。 「黒色の大理石」での距離精度を示すグラフであって、推定した距離と真値との比較を示すグラフである。 「黒色の大理石」での距離精度を示すグラフであって、推定した距離の相対誤差を示すグラフである。 第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「貝」の写真画像である。 第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「貝」の写真画像である。 第1の実施形態に係る形状測定装置によって推定された「貝」距離画像(白黒変換後)を示す写真画像である。 第1の実施形態に係る形状測定装置によって推定された「貝」推定形状画像を示す写真画像である。 第1の実施形態に係る形状測定装置によって推定された「貝」RGB画像(白黒変換後)を示す写真画像である。 第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「石」の写真画像である。 第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「石」の写真画像である。 第1の実施形態に係る形状測定装置によって推定された「石」の距離画像(白黒変換後)を示す写真画像である。 第1の実施形態に係る形状測定装置によって推定された「石」の推定形状画像を示す写真画像である。 第1の実施形態に係る形状測定装置によって推定された「石」のRGB画像(白黒変換後)を示す写真画像である。 第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「木材にてなるリスのオブジェ」の写真画像である。 第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「木材にてなるリスのオブジェ」の写真画像である。 第1の実施形態に係る形状測定装置によって推定された「木材にてなるリスのオブジェ」の距離画像(白黒変換後)を示す写真画像である。 第1の実施形態に係る形状測定装置によって推定された「木材にてなるリスのオブジェ」の推定形状画像を示す写真画像である。 第1の実施形態に係る形状測定装置によって推定された「木材にてなるリスのオブジェ」のRGB画像(白黒変換後)を示す写真画像である。 第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「陶器にてなるサルのオブジェ」の写真画像である。 第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「陶器にてなるサルのオブジェ」の写真画像である。 第1の実施形態に係る形状測定装置によって推定された「陶器にてなるサルのオブジェ」の距離画像(白黒変換後)を示す写真画像である。 第1の実施形態に係る形状測定装置によって推定された「陶器にてなるサルのオブジェ」の推定形状画像を示す写真画像である。 第1の実施形態に係る形状測定装置によって推定された「陶器にてなるサルのオブジェ」のRGB画像(白黒変換後)を示す写真画像である。 第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「カラフルな色を有するカップのオブジェ」の写真画像である。 第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「カラフルな色を有するカップのオブジェ」の写真画像である。 第1の実施形態に係る形状測定装置によって推定された「カラフルな色を有するカップのオブジェ」の距離画像(白黒変換後)を示す写真画像である。 第1の実施形態に係る形状測定装置によって推定された「カラフルな色を有するカップのオブジェ」の推定形状画像を示す写真画像である。 第1の実施形態に係る形状測定装置によって推定された「カラフルな色を有するカップのオブジェ」のRGB画像(白黒変換後)を示す写真画像である。 第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「テクスチャを有する紙コップのオブジェ」の写真画像である。 第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「テクスチャを有する紙コップのオブジェ」の写真画像である。 第1の実施形態に係る形状測定装置によって推定された「テクスチャを有する紙コップのオブジェ」の距離画像(白黒変換後)を示す写真画像である。 第1の実施形態に係る形状測定装置によって推定された「テクスチャを有する紙コップのオブジェ」の推定形状画像を示す写真画像である。 第1の実施形態に係る形状測定装置によって推定された「テクスチャを有する紙コップのオブジェ」のRGB画像(白黒変換後)を示す写真画像である。 第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「桜の花のオブジェ」の写真画像である。 第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「桜の花のオブジェ」の写真画像である。 第1の実施形態に係る形状測定装置によって推定された「桜の花のオブジェ」の距離画像(白黒変換後)を示す写真画像である。 第1の実施形態に係る形状測定装置によって推定された「桜の花のオブジェ」の推定形状画像を示す写真画像である。 第1の実施形態に係る形状測定装置によって推定された「桜の花のオブジェ」のRGB画像(白黒変換後)を示す写真画像である。 第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「別の桜の花のオブジェ」の写真画像である。 第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「別の桜の花のオブジェ」の写真画像である。 第1の実施形態に係る形状測定装置によって推定された「別の桜の花のオブジェ」の距離画像(白黒変換後)を示す写真画像である。 第1の実施形態に係る形状測定装置によって推定された「別の桜の花のオブジェ」の推定形状画像を示す写真画像である。 第1の実施形態に係る形状測定装置によって推定された「別の桜の花のオブジェ」のRGB画像(白黒変換後)を示す写真画像である。 第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「半透明で色のグラデーションを有するオブジェ」の写真画像である。 第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「半透明で色のグラデーションを有するオブジェ」の写真画像である。 第1の実施形態に係る形状測定装置によって推定された「半透明で色のグラデーションを有するオブジェ」の距離画像(白黒変換後)を示す写真画像である。 第1の実施形態に係る形状測定装置によって推定された「半透明で色のグラデーションを有するオブジェ」の推定形状画像を示す写真画像である。 第1の実施形態に係る形状測定装置によって推定された「半透明で色のグラデーションを有するオブジェ」のRGB画像(白黒変換後)を示す写真画像である。 第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「鏡面反射で半透明のハート型オブジェ」の写真画像である。 第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「鏡面反射で半透明のハート型オブジェ」の写真画像である。 第1の実施形態に係る形状測定装置によって推定された「鏡面反射で半透明のハート型オブジェ」の距離画像(白黒変換後)を示す写真画像である。 第1の実施形態に係る形状測定装置によって推定された「鏡面反射で半透明のハート型オブジェ」の推定形状画像を示す写真画像である。 第1の実施形態に係る形状測定装置によって推定された「鏡面反射で半透明のハート型オブジェ」のRGB画像(白黒変換後)を示す写真画像である。 第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「動いている手(第1の画像)」の写真画像である。 図34Aの「動いている手(第1の画像)」に対して、第1の実施形態に係る形状測定装置によって形状推定された「動いている手(第1の画像)」の写真画像である。 第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「動いている手(第2の画像)」の写真画像である。 図34Cの動いている手(第2の画像)に対して、第1の実施形態に係る形状測定装置によって形状推定された「動いている手(第2の画像)」の写真画像である。 第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「動いている手(第3の画像)」の写真画像である。 図34Eの「動いている手(第3の画像)」に対して、第1の実施形態に係る形状測定装置によって形状推定された「動いている手(第3の画像)」の写真画像である。 第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「動いている手(第4の画像)」の写真画像である。 図34Gの「動いている手(第4の画像)」に対して、第1の実施形態に係る形状測定装置によって形状推定された「動いている手(第4の画像)」の写真画像である。 第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「金魚(第1の画像)」の写真画像である。 図35Aの「金魚(第1の画像)」に対して、第1の実施形態に係る形状測定装置によって形状推定された「金魚(第1の画像)」の写真画像である。 第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「金魚(第2の画像)」の写真画像である。 図35Cの「金魚(第2の画像)」に対して、第1の実施形態に係る形状測定装置によって形状推定された「金魚(第2の画像)」の写真画像である。 第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「金魚(第3の画像)」の写真画像である。 図35Eの「金魚(第3の画像)」に対して、第1の実施形態に係る形状測定装置によって形状推定された「金魚(第3の画像)」の写真画像である。 第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「金魚(第4の画像)」の写真画像である。 図35Gの「金魚(第4の画像)」に対して、第1の実施形態に係る形状測定装置によって形状推定された「金魚(第4の画像)」の写真画像である。 「上部が透明な卵型のオブジェの表面がペイントされていない状態のオブジェ」のRGB画像(白黒変換後)の写真画像である。 図36Aの「ペイントなしのオブジェ」に対して、従来技術に係る形状測定装置によって形状推定された「ペイントなしのオブジェ」の写真画像である。 「上部が透明な卵型のオブジェの表面がペイントされた状態のオブジェ」のRGB画像(白黒変換後)の写真画像である。 図36Cの「ペイントありのオブジェ」に対して、第1の実施形態に係る形状測定装置によって形状推定された「ペイントありのオブジェ」の写真画像である。 図36Aの「ペイントなしのオブジェ」に対して、第1の実施形態に係る形状測定装置によって形状推定された「ペイントなしのオブジェ」の写真画像である。 本発明の第2の実施形態に係る形状測定装置で用いる、[λ,λ]の波長範囲における反射放射スペクトルの線形近似法を示すグラフである。 「木材」に対して、[λ,λ]の波長範囲における反射スペクトルの線形近似を行った結果を示すスペクトル図である。 「布」に対して、[λ,λ]の波長範囲における反射スペクトルの線形近似を行った結果を示すスペクトル図である。 「革」に対して、[λ,λ]の波長範囲における反射スペクトルの線形近似を行った結果を示すスペクトル図である。 「金属」に対して、[λ,λ]の波長範囲における反射スペクトルの線形近似を行った結果を示すスペクトル図である。 光源80(平行光)とスペクトロスコープセンサ24の光軸が同軸であるときの形状測定装置(第3の基礎実施形態に対応する)の構成例を示す平面図である。 例えば第2の基礎実施形態に係る形状測定装置で用いる、3台のカメラ21C,22C,23Cによる同画角のカメラシステムの構成例を示す平面図である。 第2の実施形態に係る形状測定装置による形状推定のための「卵型オブジェ」についての波長905nmの入力画像を示す写真画像である。 図41Aの「卵型オブジェ」に対して、第2の実施形態に係る形状測定装置による形状推定された推定結果画像を示す写真画像である。 第2の実施形態に係る形状測定装置による形状推定のための「ロールケーキの食品サンプル」についての波長905nmの入力画像を示す写真画像である。 図42Aの「ロールケーキの食品サンプル」に対して、第2の実施形態に係る形状測定装置による形状推定された推定結果画像を示す写真画像である。 第2の実施形態に係る形状測定装置による形状推定のための「かぶのオブジェ」についての波長905nmの入力画像を示す写真画像である。 図43Aの「かぶのオブジェ」に対して、第2の実施形態に係る形状測定装置による形状推定された推定結果画像を示す写真画像である。
以下、図面を参照して基本実施形態について説明する。以下の基本実施形態では、同様の構成要素には同じ参照符号を付している。
第1の基本実施形態
図1Aは、本発明の第1の基本実施形態に係る光学式形状測定装置の構成を示す概略ブロック図である。図1Aを参照すると、第1の基本実施形態に係る状測定装置は、物体60の形状を測定するものであり、媒質10を含むタンク50と、光源80と、ハーフミラー40と、バンドパスフィルタ31,32と、例えば撮像カメラなどのセンサ21,22と、内部メモリ70mを有しデジタルコンピュータからなる測定装置70と、操作部71と、ディスプレイ72とを備えて構成される。ここで、光源80は測定装置70からの制御信号S80によりその動作のオン/オフが制御される。
図1Aに示すように、タンク50の内部は、例えば水、液体、気体、固体、及びゲルのうちの少なくとも1つである媒質10によって満たされ、物体表面60sを有する被測定物体(以下、物体ともいう)60が載置され、物体60は、形状測定及び3次元画像化のときに、測定装置70からの制御信号S61に基づいて、移動支持部61により、例えばタンク50の底面に平行な2次元平面上で支持しながら移動される。移動支持部61の当該動作は後述する基本実施形態及び実施形態においても同様である。
媒質10は、波長に対する吸収係数特性を有し、例えば、第1の波長λにおける吸収係数α(λ)と、第1の波長λとは異なる第2の波長λにおける吸収係数α(λ)とを有する。物体60は、上述のようにタンク50の底面に配置され、物体60の上面などのターゲット面である物体表面60sは、波長に対する反射率特性を有しており、例えば、第1の波長λにおける反射率係数s(λ)と、第2の波長λにおける反射率係数s(λ)とを有する。光源80は、第1及び第2の波長λ,λを含む広帯域の平行光を出射し、媒質10を介して物体表面60sに向けて入射光L80として照射する。ここで、入射光L80の矢印は入射光L80が伝搬する方向を示す。
入射光L80は、物体60の物体表面60sによって、入射光L80に対して実質的に平行な反射光R60として実質的に光軸40aに沿って反射される。ここで、反射光R60の矢印は反射光R60が伝搬する方向を示す。反射光R60のうちの、第1の波長λの通過波長を有する光は、媒質10、ハーフミラー40及びバンドパスフィルタ31を介してセンサ21に伝搬する。ハーフミラー40は、反射光R60を反射して、当該光をバンドパスフィルタ32を介してセンサ22に向けて伝搬させる。ここで、バンドパスフィルタ32が挿入されているので、反射光R60のうち第2の波長λの光がセンサ22に入射する。センサ21,22は、例えば撮像カメラにより構成することができる。ここで、センサ21は、反射光R60のうちの、第1の波長λの反射光R60の強度を検出し、その強度のデータを測定装置70に出力する。また、センサ22は、反射光R60のうち、第2の波長λの反射光R60の強度を検出し、その強度のデータを測定装置70に出力する。
操作部71は、測定装置70に接続されており、ユーザによる形状測定処理を行うために必要なデータや指示コマンドを入力するために設けられる。ディスプレイ72は、測定装置70に動作可能に接続され、形状測定処理の結果を表示するために提供される。
測定装置70は、以下のデータを、例えば操作部71を用いて予め入力されて格納する内部メモリ70mを有する:媒質10の、波長に対する吸収係数特性であって、例えば、第1の波長λにおける吸収係数α(λ)と、第1の波長λとは異なる第2の波長λにおける吸収係数α(λ)のデータ。測定装置70は後述する図1Aの形状測定処理を実行することで、物体60の物体表面60sの3次元形状を推定して測定する。
測定装置70は、特許文献2に開示された発明と概念的には同様に、第1及び第2の波長λ,λの各強度に基づいて、物体60の物体表面60s上の複数箇所の距離l(媒質表面10sから物体表面60sまでの距離をいう。)を計算することにより、対象物の1次元、2次元又は3次元形状を測定する。当該形状測定装置はさらに、測定された物体の形状に基づいて物体の3次元画像を再構成して物体60の3次元撮像を行うことができる。
第1の基本実施形態では、特許文献2に記載されている形状測定装置とは異なる以下の方法を用いて、特許文献2の装置精度よりも高い精度で、上記距離lを計算して物体60の形状を測定することができる。すなわち、第1の基本実施形態の方法は、半透明の物体60が設けられていても、物体60の3次元画像を再構成することができることが、特許文献2の形状測定装置とは大きく異なる。
まず、第1に、s(λ)は物体60の物体表面60sの反射放射スペクトル(透明物体の場合は、物体内部に入り出てくる光もあるため、物体表面から到来する光は、反射スペクトルと、放射スペクトルとの少なくとも一方を含み、以下、「反射放射スペクトル」という。ただし、明らかに透明物体ではない場合は、「反射スペクトル」という。)であると定義し、すなわち、本実施形態は反射面に限定されない。特定の波長λにおける入射放射照度に対する表面点における放射輝度の比としてs(λ)を定義すると、同じ理論は、半透明、表面下散乱、体積散乱、及び相互反射などのより複雑な材料を有する物体に適用可能である。言い換えれば、当該第1の基本実施形態は、半透明な物体60に対して3次元画像化を行うことができる。
次に、正確な推定のための波長選択について以下に説明する。正確な形状再構成のために、形状測定のために、2つの波長λ及びλを適切に選択することが重要である。形状測定精度に影響を与える主な要因は次のとおりである。
(1)センサ21,22の分光感度、
(2)媒質10の吸収係数α(λ)と吸収係数α(λ)との差、
(3)物体60の物体表面60sの反射率係数s(λ)と反射率係数s(λ)との差、及び
(4)物体60の厚さなどの物体60のサイズの大きさ。
波長選択のために満たすべき条件は、以下のように要約することができる。
(A)例えばカメラなどのセンサ21,22のダイナミックレンジを最大限に活用するために、以下の条件で2つの波長λとλを選択する必要がある。
条件:「exp(−2α(λ)−α(λ)lmin)とexp(−2α(λ)−α(λ)lmax)との差が所定のしきい値Dth1よりも大きくなるように、好ましくは、当該差が最大になること。」
ここで、lmaxは形状測定装置により測定された物体表面60s上の複数の位置における対応する複数の距離lのうちの最も長い距離を表し、lminはその最短距離を表す。なお、実施形態において、媒質10として水を用いているが、媒質10は水に限定されない。距離
上記の条件は、λ>λの場合において、第1の波長λの画像であるλ画像の物体表面60s上の距離lの点(l)の画素における強度はできるだけ高くなければならず、第2の波長λの画像であるλ画像の物体表面60s上の距離lの点(l)の画素での強度はできるだけ小さくなければならないことを意味する。この場合において、第1の波長λにおける最短距離lminにおける強度と第2の波長λにおける最長距離lmaxにおける強度との差がしきい値Dth1よりも大きくなるように、好ましくは当該差が最大となることである。ここで、最短距離lminは、物体60の物体表面60s上に最小深さを有する位置に対応し、最長距離lmaxは、物体60の物体表面60s上で最大の深さを有する位置に対応する。
本発明者らの実験では、第1の波長λにおける最短距離lminにおける強度と、第2の波長λにおける最長距離lmaxにおける強度との比は、約4又は5よりも大きいことが好ましい。
(B)第1及び第2の波長λ,λにおける反射率係数s(λ)とs(λ)との差を最小にして高精度化するためには、複数の物体60の反射率係数の統計データに基づいて、反射率係数s(λ)とs(λ)との差はできるだけ小さく、好ましくは所定のしきい値Dth2よりも小さいように、2つの波長λ,λを選択する。
(C)センサ21,22の出力におけるノイズを低減するためには、第1及び第2の波長λ,λにおけるセンサ21,22の分光感度や強度が十分に高く、所定のしきい値Dth3よりも大きいことが好ましい。
図1Bは図1Aの測定装置70によって実行される形状測定処理を示すフローチャートである。
図1Bにおいて、まず、ステップS1において、センサ21,22により測定された第1の波長λ及び第2の波長λの各強度をセンサ21,22,23から受信する。次いで、ステップS2において、受信された第1の波長λ及び第2の波長λの各強度と、内部メモリ70mに予め格納された、第1の波長λにおける媒質10の吸収係数α(λ)及び第2の波長λにおける媒質10の吸収係数α(λ)に基づいて、媒質表面10sから物体表面60sまでの距離lを計算する。そして、ステップS3において、計算された距離lに基づいて物体60の物体表面60sの形状を測定し、ステップS4において、測定された物体60の物体表面60sの形状に基づいて、物体60の3次元形状を有する画像を再構成する。さらに、ステップS5において、再構成された物体60の3次元形状を有する画像をディスプレイ72に表示して当該形状測定処理を終了する。
図4は、距離lを補正する補正方法を示す概略ブロック図である。入射光L80及び反射光R60が媒質10の表面(光軸40aに垂直な媒質面)に対して、角度φ及びθで傾斜している場合には、図4に示すように、距離lは、(lm1/cosφ+lm2/cosθ)/2に補正されるべきである。ここで、lm1及びlm2はそれぞれ、入射光L80及び反射光R60の実測長さ(距離)を示す。補正方法は、後述する第2及び第3の基本実施形態に適用することができる。
以上説明したように、第1の基本実施形態によれば、上述のように2つの波長λ,λが選択され、形状測定装置は、従来技術よりも高い精度で物体60の形状を測定することができる。
第2の基本実施形態
図2Aは、本発明の第2の基本実施形態に係る光学式形状測定装置の構成を示す概略ブロック図である。図2Aを参照すると、第2の基本実施形態に係る形状測定装置は、λ<λ<λの互いに異なる3つの波長λ,λ,λを用いることにより、第1の基本実施形態の精度よりも高い精度で、物体60の形状を測定することを特徴としている。当該形状測定装置は、媒質10と、光源80と、ハーフミラー41,42と、バンドパスフィルタ31,32,33と、撮像カメラ等のセンサ21,22,23と、内部メモリ70mを有する測定装置70Aと、操作部71と、ディスプレイ72とを備えて構成される。以下、第1の基本実施形態と第2の基本実施形態との相違点について説明する。
図2Aを参照すると、反射光R60は実質的に光軸40aに沿って、媒質10、ハーフミラー41、及び第1の波長λの通過波長を有するバンドパスフィルタ31を介してセンサ21に伝搬する。ハーフミラー41は、反射光R60を反射して、ハーフミラー42及び第3の波長λの通過波長を有するバンドパスフィルタ33を介してセンサ23に向けて伝搬させる。ハーフミラー42は、反射光R60を反射して、第2の波長λの通過波長を有するバンドパスフィルタ32を介してセンサ22に向けて伝搬させる。
センサ21,22,23は、例えば撮像カメラにより構成することができる。センサ21は、反射光R60を受光し、第1の波長λの反射光R60の強度を検出し、その強度のデータを測定装置70Aに出力する。センサ22は、反射光R60を受光し、第2の波長λの反射光R60の強度を検出し、その強度のデータを測定装置70Aに出力する。センサ23は、反射光R60を受光し、第3の波長λの反射光R60の強度を検出し、その強度のデータを測定装置70Aに出力する。
測定装置70Aは、λ<λ<λの関係を有する第1の波長、第2の波長及び第3の波長λ,λの強度に基づいて距離lを計算し、物体60の物体表面60s上の複数箇所の距離lを計算することにより、物体60の1次元、2次元、3次元形状をさらに測定することができる。加えて、測定装置70Aは、測定された物体60の形状に基づいて物体60の3次元画像を再構成して、物体60の3次元画像を画像化する。
第2の基本実施形態では、測定のために以下の係数を定義する。
(A)第1の波長λにおける物体60の物体表面60sの反射係数s(λ);
(B)第2の波長λにおける物体60の物体表面60sの反射係数s(λ);
(C)第3の波長λにおける物体60の物体表面60sの反射係数s(λ);
(D)第1の波長λにおける媒質10の吸収係数α(λ);
(E)第2の波長λにおける媒質10の吸収係数α(λ);及び
(F)第3の波長λにおける媒質10の吸収係数α(λ)。
第2の基本実施形態では、反射係数s(λ)と反射係数s(λ)は、反射係数s(λ)と反射係数s(λ)との差が、反射係数s(λ)又は反射係数s(λ)の1/100等の所定の小さな値よりも小さくなるように設定することが好ましい。この場合において、物体60の物体表面60sの反射係数の波長特性は、次式のように、第1の波長λから第3の波長λを介して第2の波長λまでの波長範囲において、波長λに対して実質的な線形関係(直線近似)を有することが好ましい。
s(λ)=a×λ+b
ここで、a,bは定数である。各波長λ,λ,λに対して次式で表される。
s(λ)=a×λ+b
s(λ)=a×λ+b
s(λ)=a×λ+b
図2Bは図2Aの測定装置70Aによって実行される形状測定処理を示すフローチャートである。
図2Bにおいて、まず、ステップS11において、センサ21,22,23により測定された第1の波長λ、第2の波長λ、及び第3の波長λの各強度を、センサ21,22,23から受信する。次いで、ステップS12において、受信された第1の波長λ、第2の波長λ、及び第3の波長λの各強度と、内部メモリ70mに予め格納された、第1の波長λにおける媒質10の吸収係数α(λ)、第2の波長λにおける媒質10の吸収係数α(λ)及び第3の波長λにおける媒質10の吸収係数α(λ)に基づいて、媒質表面10sから物体表面60sまでの距離lを計算する。ステップS13において、計算された距離lに基づいて、物体表面60sの反射係数特性が、第1の波長λから第3の波長λを介して第2の波長λまでの波長範囲にわたって 実質的に線形関係を有する条件のもとで、物体60の物体表面60sの形状を測定する。さらに、ステップS14において、測定された物体60の物体表面60sの形状に基づいて、物体60の3次元形状を有する画像を再構成し、ステップS15において再構成された物体60の3次元形状を有する画像をディスプレイ72に表示して当該形状測定処理を終了する。
測定装置70Aは、反射係数の波長特性の実質的な線形関係を前提として、反射係数s(λ)とs(λ)との誤差を考慮して、第1の基本実施形態よりも高い精度で距離lを計算することができる。さらに、測定装置70Aは、非線形最小2乗法と並列処理を用いることにより、前記の方法よりも短い時間で距離lを計算することができる。さらに、測定装置70Aは、次式の近似条件を用いることで、前記の方法よりも短い時間で距離lを計算してもよい。
(ケース1)α(λ)−α(λ)=α(λ)−α(λ
(ケース2)2α(λ)−2α(λ)=α(λ)−α(λ
以上説明したように、第2の基本実施形態によれば、測定装置70Aは、物体60の物体表面60sの反射係数の波長特性が波長に対して実質的な線形関係(線形近似)を有するという仮定を用いて、従来技術よりも高い精度で形状測定を行うことができる。この場合、さらに非線形最小二乗法を用いて並列処理を行うことにより、前記方法と比較して更に短い時間で長さ計算を実行することができる。加えて、さらに、前記の2つの条件を近似に用いることにより、前記の方法と比較してさらに短い時間で長さ計算を行うことができる。
第3の基本実施形態
図3は、本発明の第3の基本実施形態に係る光学式形状測定装置の構成を示す概略ブロック図である。図2Aに示す第2の基本実施形態の形状測定装置は3つのセンサ21,22,23を備えるが、第3の基礎実施形態では、図3に示すように、3つのセンサ21,22,23の代わりに、スペクトロスコープ(分光器)カメラなどのスペクトロスコープセンサ24を使用してもよい。この場合において、3つのバンドパスフィルタ31,32,33に代えて3つの波長λ,λ,λの光を通過させるバンドパスフィルタ34を1つだけ設け、図2Aの測定装置70Aの代わりに測定装置70Bが設けられている。
図3を参照すると、反射光R60は実質的に光軸40aに沿って反射され、バンドパスフィルタ34を介してスペクトロスコープセンサ24に受光される。スペクトロスコープセンサ24は、第1、第2、第3の波長λ,λ,λの強度だけでなく、写真用RGB画像データを測定装置70Bに出力する。測定装置70Bはこれに応答して、物体60の形状を測定して3次元画像化を行い、その画像化データである写真用RGB画像データをディスプレイ72に出力して表示する。
なお、第3の基本実施形態では、第2の基礎実施形態における高速化と高精度化のための計算方法も用いることもできる。
以下では、第1の基礎実施形態に対応する第1の実施形態と、第2及び第3の基礎実施形態に対応する第2の実施形態とについて、実施例を参照しつつ詳細説明する。
第1の実施形態
以下の第1の実施形態では、その中で章番号及び節番号を付して説明する。
1.媒質による光の吸収特性を利用した形状推定
ここでは、例えば水である媒質10による光の吸収特性を利用した距離推定について説明する。まず、はじめに、光の吸収特性について簡単に説明した後、2つの波長λ,λの光の吸収特性から距離推定を行う原理について述べる。次いで、推定した距離の精度を考察し、最後に使用する近赤外線領域での2つの波長λ,λ間での物体の反射放射スペクトルについて検証する。
1.1 光の吸収特性
光がある媒質10を透過する際に、光はその媒質10によって吸収される特性を持つ。しかし、光の全波長域において一定の割合で吸収されて強度が下がるというわけではなく、媒質に依存した吸収特性に従って光は吸収される。一般的に、媒質10には光が強く吸収される波長域もあれば、ほとんど吸収されない波長域もある。本実施形態では、媒質10の一例として水に着目し、水による光の吸収特性を利用することで物体60の形状推定を行うことを考える。
図5は400nm〜1400nmにおける水による光の吸収割合を示すグラフである。すなわち、図5においては、一例として、長さ12mmの水中を光が通過した際に、400nm〜1400nmの波長域における光が吸収された割合を示したグラフを示す。図5から明らかなように、可視光域である400nm〜750nmでは光がほとんど吸収されていないことが分かる。これは、この波長域に感度を持つ人間の目には水が透明に見えるという事実を示している。一方、ちょうど可視光域より波長が長くなった波長域から、光の吸収が強まり始め、900nmの波長域から急激に吸収率が高くなる。そして1200nm〜1400nmの近赤外領域の光はきれいに吸収されていることが分かる。
図6Aは可視光と近赤外線での水の見え方の違いを示す写真画像であって、フィルタを使わず赤外線カメラで撮影した水の見え方を示す写真画像である。また、図6Bは可視光と近赤外線での水の見え方の違いを示す写真画像であって、950nmのフィルタを通して赤外線カメラで撮影した水の見え方を示す写真画像である。
すなわち、図6A及び図6Bは、可視光域では水によりほとんど光が吸収されていないが、近赤外線の吸収の強い波長域では光が強く吸収されていることを確認するための比較画像である。これらの画像は、可視光域に加えて1100nmの近赤外線まで感度のある撮像カメラで、水の入った容器を撮影したものである。ここで、図6Aはフィルタを使わずに撮影したものに対し、図6Bはカメラレンズの前に水による光の吸収が強い波長である950nmのバンドパスフィルタを設置して撮影してある。バンドパスフィルタはそのバンドの光のみを透過させる特性を持つので、撮像カメラには950nmの光しか届かず、その結果950nmの分光画像が得られる。
また、図6Bの画像は図6Aの画像に比べて、強く光が吸収されていて、水が黒く見えることが分かる。実際に光が吸収されていることを確認してきたが、この光の吸収特性はランベルト・ベールの法則に従っている。
図7はランベルト・ベールの法則に従った光量を示すための装置の概略側面図である。図7の装置の状況を仮定すると、ある波長λにおいて媒質10に入射する前の光の強度Iと媒質10に入射して透過した後の光の強度Iとの関係は、ランベルト・ベールの法則により、次式で表現できる。
Figure 2018066698
ここで、lは距離(mm)であり、α(λ)は波長λに依存した吸収係数(mm−1)を示しており、e−α(λ)lはネイピア数の−α(λ)l乗である。このように、入射したときの光量と放射したときの光量が分かれば、光がどれだけ吸収されたかを求めることができ、さらに、吸収係数が既知であれば、光が通過した媒質の長さも推定することが可能となる。
1.2 二波長の光の吸収を利用した距離推定
水面(媒質表面10s)から水中にある物体表面60sまでの距離lを推定するために、光の吸収量が波長によって全く異なっている特性を利用することを考える。想定している状況としては、無限遠にある光源から水中にある物体60の物体表面60sに平行光が照射されている場面を、その光源80の光軸と同軸に配置してある、例えば正投影カメラであるセンサ21,22を用いて撮影する。物体表面60sでランバート反射、あるいは拡散反射や鏡面反射が起こることは想定していないので、得られた画像の輝度値は、幾何学形状と波長の反射特性に分離できると考えることができる。つまり、反射率関数f(ω,λ)=r(ω)s(λ)が物体60の幾何形状特性r(ω)(ωは入射光、放射光の角度等をいう)と、反射における波長特性s(λ)に分離できるという緩い仮定である。それでもこの仮定は多くの実物体に適用できる。数少ない例外としては、CD−ROMのように物体の表面形状が光の波長スケールに相当するほど細かい場合である。
実際に計測する際に水面の影響を考慮する必要をなくすために、水中に画像化システムを設置することを想起しているが、現状使用できる機材の関係から、本実施形態ではセンサ21,22と光源80を媒質10の水中に入れないことにする。指向性光源80と、例えば正投影カメラであるセンサ21,22とが、二波長が近い波長域を使用することを想定しているため、水面での光の鏡面反射の影響を無視できるものとして以下に説明する。また、仮に水面での鏡面反射成分が強い場合には、鏡面反射成分のみを撮影し、それが含まれている画像から差し引く対処や、偏光板を利用することで鏡面反射成分を撮影しないようにする対処方法が考えられる。
1.2.1 二波長の距離画像
図8は例えばセンサ21,22と光源80の光軸が平行でかつ水面に対して垂直な位置関係を有するときの形状測定装置の概略側面図である。図8に示すように、理想的に一直線上に配置された光源80とセンサ21,22の位置構成について考える。ここでは、センサ21,22の光軸と、指向性のある光源80の光軸とが、平面となっている水面に対して垂直になっている。波長λで光量Iであるモノクロの光が水面から入射し、媒質10の水中を通って距離lにある光沢のないポイント60pに達する。そしてそのポイント60pから反射し、センサ21,22が感知した光量は次式で表される。
Figure 2018066698
ここで、2lは距離lの2倍であり、光は水面(媒質表面10s)から物体表面60sのポイント60pまでを往復しているので距離lの2倍の長さを通過していることになる。物体表面60sの幾何形状特性r(ω)と反射による波長特性s(λ)は、当然ながら物体表面60sの形成や材質に依存するので未知である。この未知な要素をキャンセルするために、もう一種類の別のモノクロな光を利用する。その光の波長をλとし、一つ目の光(波長λ)と同じ光量Iの光源80とすると、センサ21,22が感知した二つ目の光の光量I(波長λ)は次式で表される。
Figure 2018066698
ここで、式(2)を式(3)で割ると、距離lは次式のように計算することができる。
Figure 2018066698
注目すべき点は、物体表面60sがどれほど複雑な形状をしていたとしても、幾何形状特性r(ω)をキャンセルできるところにある。ここで、波長λ,λにおける反射率が同値、つまり
Figure 2018066698
となっている2つの波長域の光源80を選定することができれば、距離lは次式のように近似可能となる。
Figure 2018066698
式(5)は本実施形態において核となるアルゴリズムを示す式である。これにより、物体60の材質、表面反射特性及び幾何形状特性が未知であっても、適切に選択した波長に関して撮影した2枚のカメラ画像の各ピクセルの輝度値の差を計測することで、簡単に距離lを推定することができる。
3.2.2 推定した距離の精度
2つの波長λ,λにおける表面反射特性s(λ)及びs(λ)の誤差Δsに対する、例えば次式の相対的距離推定誤差Δlを考えてみる。
Figure 2018066698
式(4)及び式(5)から、推定距離誤差Δlを計算すると次のようになる。
Figure 2018066698
図9は相対的反射率誤差と推定距離誤差の関係を示すグラフである。すなわち、図9は輝度比I(λ)=I(λ)を変化させたとき(2つの選択波長の差を大きくするなど)の相対的反射率誤差に対する相対的距離誤差をプロットしたものである。図9のカーブから明らかなように、推定された距離lは反射放射スペクトルの誤差に対して、ほとんど影響しないことが分かる。これは二波長を利用した距離推定において、波長を選択するのに重要な基準になる。特に、本実施形態では2つの波長において、水の吸収係数の差が最大になるように、そして反射率の差が最小になるように選択することで、最大の推定精度を得ることができる。
3.2.3 表面反射特性
図10は「24色のカラーチェッカーボード」の反射スペクトルを示すグラフである。すなわち、図10は、互いに色が異なる24個のパッチタイル(24色)を格子形状で配置してなるカラーチェッカーボードについて反射スペクトルを測定したものであり、図10の24本のグラフが24色の反射スペクトルに対応する。図10から分かるように、水中における光の吸収量は900nm〜1000nmの波長域で急激に変化している。さらにこの波長域において、様々な材質の反射スペクトルがフラットになる傾向があることについて実証していく。まず始めに、図10に示すように、標準的なカラーチェッカーボードの反射スペクトルを計測してみたところ、すべてのパッチタイルにおいて900nm以降の長波長領域では、反射スペクトルの変化が大幅に減っていることが分かった。
図11は1波長ペアにおける「カラーチェッカーボード」の反射スペクトル誤差を示すグラフである。図11の例では、波長ペアとして、900nmと950nmのペアと、900nmと920nmのペアについて検討した。大きな差があるパッチタイルも少しはあるが、900nmと950nmの波長ペアでの反射スペクトルの差の相対平均は5.7%となり、900nmと920nmの波長ペアでの反射スペクトルの差の相対平均はさらに減って、2.1%となっている。
さらなる調査として、木材、布、革、金属などの基本的な材質を集めて反射スペクトルを計測し、データベースを作成した。
図12Aは「木材」の反射スペクトルを示すスペクトル図である。図12Bは「布」の反射スペクトルを示すスペクトル図である。図12Cは「革」の反射スペクトルを示すスペクトル図である。図12Dは「金属」の反射スペクトルを示すスペクトル図である。
図13Aは1波長ペアにおける「木材のカラーチェッカーボード」の反射スペクトル誤差を示すグラフである。図13Bは1波長ペアにおける「布のカラーチェッカーボード」の反射スペクトル誤差を示すグラフである。図13Cは1波長ペアにおける「革のカラーチェッカーボード」の反射スペクトル誤差を示すグラフである。図13Dは1波長ペアにおける「金属のカラーチェッカーボード」の反射スペクトル誤差を示すグラフである。
図12A〜図13Dのグラフにおいては、各材質において、約20種類の異なる材質のデータが含まれている。例えば図12Aにおける20本のグラフが木材の約20種類の異なる材質のデータに対応する。そして、上述のカラーチェッカーボードと同様に、900nmと950nmの波長ペアと、900nmと920nmの波長ペアとの反射スペクトルの差を評価したところ、900nmと950nmの波長ペアにおける平均誤差は木材、布、革、金属の材質群で3.8%、2.1%、6.0%、11.1%であったのに対し、900nmと920nmの波長ペアにおける平均誤差は1.4%、1.1%、1.9%、5.0%であった。このデータベースは材質のサンプル数としては少ないかもしれないが、平均誤差の評価結果から近赤外線領域における近接した二波長のペアの反射スペクトルの誤差はかなり小さいことが分かった。
2.「Shape from Water」のアルゴリズム
2つの波長画像を用いた距離推定に基づいて、実用的なセットアップをするための「Shape from Water」のアルゴリズム(以下、SFWアルゴリズムという)について以下に説明する。当該SFWアルゴリズムは、画像化システムを構築するにあたり、問題となってくるカメラ位置のずれや、実際のバンドパスフィルタの透過率による距離推定結果の誤差を補正することを目的としている。
2.1 センサ位置
これまで、指向性光源80と、例えば正投影カメラであるセンサ21,22はどちらも同一の光軸上に設置し、水面に対して垂直な光軸となっていることを想定していた。実際に画像化システムのデバイスを設置する上で、光軸を水面に対し垂直に設計、調整することは難しく、光源80又はセンサ21,22、あるいは両方とも垂直方向に対して少し傾いていることが予想される。そこで、ある一点の距離を推定した際に、デバイス位置のずれによる推定結果の誤差を補正する方法を紹介する。
図14はセンサ21,22の光軸21a(2つのセンサ21,22の光軸が同一のなので1つの符号21aを付す)と光源80の光軸80aが平行でなくかつ水面に対して垂直ではない位置関係を有するときの形状測定装置の概略側面図である。図14に示すように、媒質10が例えば水である水中のあるポイント60p(物体表面60s上の反射点)において、水面の垂直な基準の光軸40a(仮想線)に対するセンサ21,22の光軸21aの傾きをθとし、光源80の光軸80aの傾きをφとする。水の屈折率は近赤外領域ではほぼ一定であるので、これらのセンサ21,22及び光源80の各光軸21a,80aの傾きθ,φは近赤外領域の近接している二つの波長間では変化しないと想定することができる。しかし、距離lの2倍が式(5)では2lとなっているが、水面に対し垂直方向からセンサ21,22の光軸21aと、光源80の光軸80aが基準の光軸40aから少しずれていることで、
Figure 2018066698
倍になっているので、センサ21,22の光軸21aと、光源80の光軸80aが傾いているときの距離lとセンサ21,22で計測した輝度値と水の吸収係数の関係は次式のように表現できる。
Figure 2018066698

Figure 2018066698
式(7)を用いることで、一点での距離推定においては傾きによる距離lの2倍の長さの変化率
Figure 2018066698
を簡単に推定することができる。
4.2 ナローバンドパスフィルタ
SFWアルゴリズムを用いた画像化システムを実装するためには、広い波長域において十分な光量を持つ光源と二つのナローバンドパスフィルタをカメラの前に設置して使用することが理想的である。これまで、フィルタの透過率関数はデルタ関数(完全なナローバンドフィルタ)であることを想定してきたが、これは現実的ではない。そこで使用するバンドパスフィルタの透過率関数を考慮し、補正する必要がある。実際に使用する二つの波長λ,λにおけるナローバンドフィルタの透過率関数をそれぞれβ(λ),β(λ)として考える。
バンドパスフィルタが十分に狭帯域のみを透過していると仮定すると、物体60のあるポイントの反射スペクトルが二つのバンド間でフラットであると考えることができる。これにより、式(2)にバンドパスフィルタの透過関数を考慮すると次式で表される。
Figure 2018066698
同様に式(3)についても次式で表される。
Figure 2018066698
これら2式から得られる次式を解くことで、光路長に対応する距離lを推定することが可能となる。
Figure 2018066698
これまで光源80のスペクトルとカメラの応答関数を考慮してきていないが、それらについてもフィルタの関数と同様に考慮することができ、フィルタの透過関数に内包することとする。
3.同軸のカメラシステムと実験
本発明者らは、SFWアルゴリズムを用いて、被測定物体60の形状推定をするための画像化システムとして、同軸システムを構築した。これは2台のセンサ21,22を同軸上に配置し、ビデオレートで二つの波長画像をリアルタイムに撮影することが可能である。連続撮影された画像から、水中にある複雑な幾何形状の物体60や、動的な物体60の形状を推定する。はじめに画像化システムの概要を述べ、実際にそのシステムで推定した距離の精度について検討する。
5.1 画像化システムの概要と調整
図15は本発明の第1の実施形態に係る同軸のスペクトラル画像化システム(形状測定装置)の外観を示す写真画像である。図15に示すように、ビームスプリッターと、二つのグレイスケールのカメラ(POINT−GREYGS3−U3−41C6NIR)を使って、同軸の二波長の画像化システムを構築した。
図16は図15のカメラ(POINT−GREY製、GS3−U3−41C6NIR型)の、波長300nmから1100nmまでの応答関数を示すスペクトル図である。図16から明らかなように、近赤外線の感度は可視光域に比べれば低いものの、光源80の光量を増やし、もしくはセンサ21,22の露光時間を少し長くすることで、実際に使用している近赤外線波長の画像を鮮明に撮影することができる。そして、センサ21,22の前に905nmと950nmの二つのナローバンドパスフィルタを設置することで、その波長画像をカメラで撮影できる。
図17は図15の2つのバンドパスフィルタの透過関数とカメラの応答関数を示すスペクトル図である。すなわち、図17において、実際に使用する近赤外線領域のセンサ21,22の応答関数とバンドパスフィルタの透過関数のカーブを比較するために、両方をプロットした。ここで、光源80には近赤外線領域の光量が十分にある白熱電球を使用している。
図18は図15の光源80のスペクトルを示すスペクトル図である。ここで、実際に2台の赤外線カメラであるセンサ21,22を同期させ、撮影する物体60に対して光軸が同一で二つの波長画像が同じ画角で撮影できるようにビームスプリッターとセンサ21,22の位置及び角度を調整し、カメラシステムを構築した。また、SFWアルゴリズムを用いて形状推定するには、水の吸収係数のデータが必要となるが、容易に測定することができる。水の中にホワイトターゲットを既知の深さに固定した状態で、ホワイトターゲットのスペクトルを計測する。スペクトルは距離に応じて光が吸収されているので、そのデータをランベルト・ベールの法則に当てはめることで、水の吸収係数を計算した。
図19は水の吸収係数を示すスペクトル図である。すなわち、図19において、精度を向上させるために複数の深さで計測し、補正した水の吸収係数を示す。
3.2 推定した距離の精度
推定した距離の精度を評価するために、複数の異なった材質の平面上のプレートを使用して、本実施形態に係る手法で距離を推定した。距離を定規で測定したものを真値とし、距離を10mmから40mmまで変化させて精度を評価した。それぞれの距離状況において、同軸のイメージングシステムを使用して撮影された二つ波長の画像を入力データとすることで、式(5)から距離を推定する。本実施形態に係る手法のアルゴリズムの有効性を評価するために、式(7)と式(10)から、推定結果を補正した。
(1)図20Aは「シアン色のタイル」での距離精度を示すグラフであって、推定した距離と真値との比較を示すグラフである。図20Bは「シアン色のタイル」での距離精度を示すグラフであって、推定した距離の相対誤差を示すグラフである。
(2)図21Aは「赤色のプラスチックボード」での距離精度を示すグラフであって、推定した距離と真値との比較を示すグラフである。図21Bは「赤色のプラスチックボード」での距離精度を示すグラフであって、推定した距離の相対誤差を示すグラフである。
(3)図22Aは「白色の大理石」での距離精度を示すグラフであって、推定した距離と真値との比較を示すグラフである。図22Bは「白色の大理石」での距離精度を示すグラフであって、推定した距離の相対誤差を示すグラフである。
(4)図23Aは「黒色の大理石」での距離精度を示すグラフであって、推定した距離と真値との比較を示すグラフである。図23Bは「黒色の大理石」での距離精度を示すグラフであって、推定した距離の相対誤差を示すグラフである。
すなわち、図20Aから図23Bまでのグラフは、シアン色のタイル、赤色のプラスチックボード、白色の大理石、黒色の大理石の四種類の材質を使用し、推定した距離の精度評価をした結果である。それぞれの材質において、ランダムに121ポイント(ピクセル)を抽出し、そのポイントの距離推定結果の平均とその補正結果と真値を図20Aから図23Aまでのグラフに示した。また、各距離において、空間的に一貫性があることを評価するために、その121個のポイントの距離について補正した推定結果における相対誤差の分布を図20Bから図23Bのグラフに示した。図20Bから図23Bのグラフにおいては、25〜75パーセンタイルの値をボックス、平均値を矩形ボックス内の中央の水平ラインで示した。
これらの結果から、補正アルゴリズムは推定精度を向上させる上で重要な役割を果たしていることが分かる。補正することで距離推定の平均値は真値にかなり近い値となっていて、約3%の相対誤差となっている。空間的な一貫性を評価するために、121ポイントで計測して計算した補正後の推定結果は、材質のテクスチャに依存せず一貫性を保っている。
6.形状推定実験
SFWアルゴリズムを用いて、複雑な反射特性を持つ物体や形状が変化しながら動く物体を形状推定してみた。物体自体の形状データの真値を取得することが難しいので、推定した形状を定性的に評価した。
6.1 複雑な反射特性のある物体の形状推定結果
当該形状推定結果を示す写真画像の図面を以下に示す。
(1)図24Aは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「貝」の写真画像である。図24Bは第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「貝」の写真画像である。図24Cは第1の実施形態に係る形状測定装置によって推定された「貝」距離画像(白黒変換後)を示す写真画像である。図24Dは第1の実施形態に係る形状測定装置によって推定された「貝」推定形状画像を示す写真画像である。図24Eは第1の実施形態に係る形状測定装置によって推定された「貝」RGB画像(白黒変換後)を示す写真画像である。
(2)図25Aは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「石」の写真画像である。図25Bは第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「石」の写真画像である。図25Cは第1の実施形態に係る形状測定装置によって推定された「石」の距離画像(白黒変換後)を示す写真画像である。図25Dは第1の実施形態に係る形状測定装置によって推定された「石」の推定形状画像を示す写真画像である。図25Eは第1の実施形態に係る形状測定装置によって推定された「石」のRGB画像(白黒変換後)を示す写真画像である。
(3)図26Aは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「木材にてなるリスのオブジェ」の写真画像である。図26Bは第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「木材にてなるリスのオブジェ」の写真画像である。図26Cは第1の実施形態に係る形状測定装置によって推定された「木材にてなるリスのオブジェ」の距離画像(白黒変換後)を示す写真画像である。図26Dは第1の実施形態に係る形状測定装置によって推定された「木材にてなるリスのオブジェ」の推定形状画像を示す写真画像である。図26Eは第1の実施形態に係る形状測定装置によって推定された「木材にてなるリスのオブジェ」のRGB画像(白黒変換後)を示す写真画像である。
(4)図27Aは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「陶器にてなるサルのオブジェ」の写真画像である。図27Bは第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「陶器にてなるサルのオブジェ」の写真画像である。図27Cは第1の実施形態に係る形状測定装置によって推定された「陶器にてなるサルのオブジェ」の距離画像(白黒変換後)を示す写真画像である。図27Dは第1の実施形態に係る形状測定装置によって推定された「陶器にてなるサルのオブジェ」の推定形状画像を示す写真画像である。図27Eは第1の実施形態に係る形状測定装置によって推定された「陶器にてなるサルのオブジェ」のRGB画像(白黒変換後)を示す写真画像である。
(5)図28Aは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「カラフルな色を有するカップのオブジェ」の写真画像である。図28Bは第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「カラフルな色を有するカップのオブジェ」の写真画像である。図28Cは第1の実施形態に係る形状測定装置によって推定された「カラフルな色を有するカップのオブジェ」の距離画像(白黒変換後)を示す写真画像である。図28Dは第1の実施形態に係る形状測定装置によって推定された「カラフルな色を有するカップのオブジェ」の推定形状画像を示す写真画像である。図28Eは第1の実施形態に係る形状測定装置によって推定された「カラフルな色を有するカップのオブジェ」のRGB画像(白黒変換後)を示す写真画像である。
(6)図29Aは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「テクスチャを有する紙コップのオブジェ」の写真画像である。図29Bは第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「テクスチャを有する紙コップのオブジェ」の写真画像である。図29Cは第1の実施形態に係る形状測定装置によって推定された「テクスチャを有する紙コップのオブジェ」の距離画像(白黒変換後)を示す写真画像である。図29Dは第1の実施形態に係る形状測定装置によって推定された「テクスチャを有する紙コップのオブジェ」の推定形状画像を示す写真画像である。図29Eは第1の実施形態に係る形状測定装置によって推定された「テクスチャを有する紙コップのオブジェ」のRGB画像(白黒変換後)を示す写真画像である。
図24Aから図29Eまでの写真画像は、テクスチャがあり、もしくは複雑な反射特性を持つ不透明な物体を形状推定した結果である。これらの物体は従来の形状推定手法では推定しづらいものであるが、推定結果から分かるように本実施形態で構築した画像化システムと本実施形態に係る手法がテクスチャのある物体60、もしくは強い鏡面反射特性を持つ物体60にも有用であることが分かる。
特に、図28A〜図28Eのカラフルな色のカップは、SFWアルゴリズムの利点が顕著に現れている。カラフルな色であることで複雑なテクスチャとなっており、従来手法で推定するのは難しいが、905nmと950nmの画像を見ると分かるように、この波長域ではすべての色の反射率がほぼ同値となり、テクスチャがない物体として扱うことができる。
また、図27A〜図27Eのサルの物体は、鏡面反射成分の強い工芸品であり、鏡面反射が起こっているポイントのピクセルでセンサ21,22がサチュレーションを起こすと、距離推定結果は不正確になる。しかし、センサ21,22がサチュレーションを起こさないようにセッティングすることで回避することができる。そして、図24A〜図24Eの貝、及び、図25A〜図25Eの石は、表面がかなり凸凹していているが、推定結果から凸凹の部分も推定できていることが分かる。
4.2 半透明な物体の形状推定結果
半透明な反射特性を持つ物体を従来手法で形状推定することはかなり難しい。反射特性をキャンセルして形状推定を行うSFWアルゴリズムは、半透明な物体も形状推定することが可能である。
当該形状推定結果の写真画像を以下に示す。
(1)図30Aは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「桜の花のオブジェ」の写真画像である。図30Bは第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「桜の花のオブジェ」の写真画像である。図30Cは第1の実施形態に係る形状測定装置によって推定された「桜の花のオブジェ」の距離画像(白黒変換後)を示す写真画像である。図30Dは第1の実施形態に係る形状測定装置によって推定された「桜の花のオブジェ」の推定形状画像を示す写真画像である。図30Eは第1の実施形態に係る形状測定装置によって推定された「桜の花のオブジェ」のRGB画像(白黒変換後)を示す写真画像である。
(2)図31Aは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「別の桜の花のオブジェ」の写真画像である。図31Bは第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「別の桜の花のオブジェ」の写真画像である。図31Cは第1の実施形態に係る形状測定装置によって推定された「別の桜の花のオブジェ」の距離画像(白黒変換後)を示す写真画像である。図31Dは第1の実施形態に係る形状測定装置によって推定された「別の桜の花のオブジェ」の推定形状画像を示す写真画像である。図31Eは第1の実施形態に係る形状測定装置によって推定された「別の桜の花のオブジェ」のRGB画像(白黒変換後)を示す写真画像である。
(3)図32Aは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「半透明で色のグラデーションを有するオブジェ」の写真画像である。図32Bは第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「半透明で色のグラデーションを有するオブジェ」の写真画像である。図32Cは第1の実施形態に係る形状測定装置によって推定された「半透明で色のグラデーションを有するオブジェ」の距離画像(白黒変換後)を示す写真画像である。図32Dは第1の実施形態に係る形状測定装置によって推定された「半透明で色のグラデーションを有するオブジェ」の推定形状画像を示す写真画像である。図32Eは第1の実施形態に係る形状測定装置によって推定された「半透明で色のグラデーションを有するオブジェ」のRGB画像(白黒変換後)を示す写真画像である。
(4)図33Aは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「鏡面反射で半透明のハート型オブジェ」の写真画像である。図33Bは第1の実施形態に係る形状測定装置によって波長950nmを用いて撮影された「鏡面反射で半透明のハート型オブジェ」の写真画像である。図33Cは第1の実施形態に係る形状測定装置によって推定された「鏡面反射で半透明のハート型オブジェ」の距離画像(白黒変換後)を示す写真画像である。図33Dは第1の実施形態に係る形状測定装置によって推定された「鏡面反射で半透明のハート型オブジェ」の推定形状画像を示す写真画像である。図33Eは第1の実施形態に係る形状測定装置によって推定された「鏡面反射で半透明のハート型オブジェ」のRGB画像(白黒変換後)を示す写真画像である。
すなわち、図30A〜図33Eの各物体は半透明で鏡面反射の強い物体であり、RGB画像からも強い光沢感が分かる。また、図32A〜図32Eの物体は鏡面反射特性に加え、色にグラデーションがあり、かなり複雑な形状をしている物体である。図30E〜図33EのRGB画像と推定結果画像を比較することでこれらの物体も正しく形状推定できていることが分かる。
2.3 動的な物体の形状推定結果
本実施形態で構築した同軸の画像化システムは、動的な物体をリアルタイムに形状推定するのに適している。
当該形状推定結果の写真画像を以下に示す。
(1)図34Aは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「動いている手(第1の画像)」の写真画像である。図34Bは図34Aの「動いている手(第1の画像)」に対して、第1の実施形態に係る形状測定装置によって形状推定された「動いている手(第1の画像)」の写真画像である。
(2)図34Cは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「動いている手(第2の画像)」の写真画像である。図34Dは図34Cの動いている手(第2の画像)に対して、第1の実施形態に係る形状測定装置によって形状推定された「動いている手(第2の画像)」の写真画像である。
(3)図34Eは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「動いている手(第3の画像)」の写真画像である。図34Fは図34Eの「動いている手(第3の画像)」に対して、第1の実施形態に係る形状測定装置によって形状推定された「動いている手(第3の画像)」の写真画像である。
(4)図34Gは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「動いている手(第4の画像)」の写真画像である。図34Hは図34Gの「動いている手(第4の画像)」に対して、第1の実施形態に係る形状測定装置によって形状推定された「動いている手(第4の画像)」の写真画像である。
図34A〜図34Hは水中で手を動かしている場面を撮影し、形状推定した結果である。この結果から動的な物体も正しく形状推定できていることが分かる。実際の撮影は30FPS程度で撮影していて、それぞれのフレームにおいて手の形状推定を行っているが、ここでは、動きが分かりやすいフレームを選択してある。
次に、図33は水槽を泳いでいる金魚の形状推定結果である。
(1)図35Aは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「金魚(第1の画像)」の写真画像である。図35Bは図35Aの「金魚(第1の画像)」に対して、第1の実施形態に係る形状測定装置によって形状推定された「金魚(第1の画像)」の写真画像である。
(2)図35Cは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「金魚(第2の画像)」の写真画像である。図35Dは図35Cの「金魚(第2の画像)」に対して、第1の実施形態に係る形状測定装置によって形状推定された「金魚(第2の画像)」の写真画像である。
(3)図35Eは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「金魚(第3の画像)」の写真画像である。図35Fは図35Eの「金魚(第3の画像)」に対して、第1の実施形態に係る形状測定装置によって形状推定された「金魚(第3の画像)」の写真画像である。
(4)図35Gは第1の実施形態に係る形状測定装置によって波長905nmを用いて撮影された「金魚(第4の画像)」の写真画像である。図35Hは図35Gの「金魚(第4の画像)」に対して、第1の実施形態に係る形状測定装置によって形状推定された「金魚(第4の画像)」の写真画像である。
魚が泳いでいるシーンの推定は従来手法で行うことは全くできなかったが、SFWアルゴリズムを用いた手法では所定以上推定することができており、有効であることが分かる。これも同様に動きの分かりやすいフレームを選択している。905nmの画像がかなり暗くなっているが、これは金魚のうろこが強い鏡面反射特性を持っているので、センサ21,22がサチュレーションを起こさないように調整したためである。
5.考察
本実施形態に係るSFWアルゴリズムを用いた二波長による距離推定は、現状では環境光に直接対処することはできていないが、実際には、光源80を消して環境光だけで照らされている状態を撮影し、環境光と光源の両方で照らされている状態の画像から差し引くことで対処できる。
また、SFWアルゴリズムを用いた画像化システムを水の外側に設置した場合に、水面での表面反射が推定誤差を引き起こす。この問題については、水中に物体60を置かない状態で一枚撮影することで、軽減できることが分かっている。これは物体を水中に置いていない場合、水面から入射した近赤外線は水により吸収され、ほぼ光量がなくなり、光がセンサ21,22まで返ってこない。この状態で撮影された画像の輝度値は水面での表面反射成分のみとなるため、画像化システムを水中に設置せずに水中にある物体60を撮影した画像から、この水面での反射成分を撮影した画像を差し引くことで、水面での表面反射を除去することができる。
本実施形態の1.2.3節において、利用している水の吸収が急激に強まる900nm〜1000nmの波長域において、様々な材質の反射スペクトルがほぼ変化しないことを示した。しかし、例外として、多少反射率が変化する材質があることも確認している。本実施形態に係る手法は物体60の二つの波長域での反射率の差が直接形状推定結果の誤差につながってしまう。この問題に対処するために、二つの波長間のスペクトルを線形に近似した上で、現状使用している二枚の画像に加え、もう一波長の画像を用いて物体の反射率誤差を補正することで、より精度の高い形状推定が可能となる。
透明な物体60の三次元形状推定は、非接触な形状推定手法では困難であったが、SFWアルゴリズムはガラス又はプラスチックなどの透明材質でできている物体であっても、その材質が近赤外線の光を吸収しなければ、形状推定をすることができる。しかし、物体60の底面が透明な場合には、光が底面を透過した後の水中も距離として計算してしまうので、形状推定できない問題点がある。
次いで、参照する写真画像は以下の通りである。
図36Aは「上部が透明な卵型のオブジェの表面がペイントされていない状態のオブジェ」のRGB画像(白黒変換後)の写真画像である。図36Bは図36Aの「ペイントなしのオブジェ」に対して、従来技術に係る形状測定装置によって形状推定された「ペイントなしのオブジェ」の写真画像である。図36Cは「上部が透明な卵型のオブジェの表面がペイントされた状態のオブジェ」のRGB画像(白黒変換後)の写真画像である。図36Dは図36Cの「ペイントありのオブジェ」に対して、第1の実施形態に係る形状測定装置によって形状推定された「ペイントありのオブジェ」の写真画像である。図36Eは図36Aの「ペイントなしのオブジェ」に対して、第1の実施形態に係る形状測定装置によって形状推定された「ペイントなしのオブジェ」の写真画像である。
図36A〜図36Eにおいては、底は透明ではないが、上面は透明なプラスチックでできている卵の形をしたオブジェの形状推定を試みた結果を示す。従来技術に係るレーザー三次元形状測定装置では、まったく透明な部分に対処できていなく、不正確な結果になってしまっている(図36B参照)。しかし、SFWアルゴリズムを用いることで、正しく形状推定できている。参考にこの物体をペイントし、表面を透明ではなくした状態をレーザー三次元測定装置で推定してみたが、本実施形態に係る手法の結果とほぼ一致していることから、SFWアルゴリズムによる透明物体の形状推定結果は正しいことが分かる。
本実施形態の1.2.2節及び1.2.3節で示したように、形状推定の精度が良くなるように二つの近赤外線波長で、吸収係数差が大きくなるように波長を選定したが、吸収係数が大きい方の波長画像(本実施形態では、950nm画像)の光の吸収が強すぎるために、適切なSNRに対して画像が暗くなりすぎてしまっている。この問題の解決方法としては、カメラでの撮影段階で露光時間を長くする、あるいは光源の光量を強くするなどが考えられる。本実施形態に掲載している形状推定結果については、機材的な制限があるため光源の光量の調整は行っていないが、センサ21,22の露光時間の調整は行っている。
6.まとめ
以上説明したように、本実施形態では、光の吸収を利用した全く新しい距離推定手法であるSFWアルゴリズムを用いた画像化システムを提案した。SFWアルゴリズムは物体の表面反射特性に影響されずに、二つの近赤外線領域の波長間における光の吸収度合いの差を利用して形状推定をする。低コストの既製のハードウェアを使用して、同軸の画像化システムを構築し、二つの波長画像を同時に撮影することで、リアルタイム形状推定を可能にした。実際に形状推定をしてみた結果から、SFWアルゴリズムで複雑な反射特性を持つ物体や動的に変形する物体の形状を正確に推定することができることが分かった。
第2の実施形態
以下の第2の実施形態では、その中で章番号を付して説明する。
1.三波長の光の吸収を利用した距離推定
上述の第1の実施形態では、撮影する二つ波長λとλにおける対象物体の反射率が同値、つまりs(λ)≒s(λ)であることを想定して、二波長の光の吸収を利用した距離推定について述べてきた。この想定は、基本的な材質の反射スペクトルのデータベース(例えば、図10参照)から分かるように、ほとんどの材質に関しては問題ない。しかし、金属のように、この想定が成り立たない物質も存在する。そこで、二つの波長λ,λに加えて、λとλの間にある三つ目の波長λ(λ<λ<λ)について撮影した情報を利用することで、想定が成り立たない問題を対処する手法について以下に説明する。
図37は本発明の第2の実施形態に係る形状測定装置で用いる、[λ,λ]の波長範囲における反射放射スペクトルの線形近似法を示すグラフである。図37に示すように、近赤外線領域の二つの波長λとλの間の反射スペクトルは、傾きは未知だが、ほぼ線形になっていると想定することができる。上記三つ目の波長λにおける反射率s(λ)は次式のように計算できる。
Figure 2018066698
ここで、
Figure 2018066698
Figure 2018066698
であり、
Figure 2018066698
であるとき
Figure 2018066698
となる。
第1の実施形態における式(2)と式(3)は、センサ21,22が感知した光量を定式化したものであるが、次式のように三つ目の波長λについても同様に表すことができる。
Figure 2018066698
Figure 2018066698
Figure 2018066698
式(12)と式(13)から、対象物体の反射率の比
Figure 2018066698
は次式のように表すことができる。
Figure 2018066698
式(15)を式(13)と式(14)に代入することで、次の三波長における光量の関係式が得られる。
Figure 2018066698
この式(16)から、二波長において対象物体の反射率が同値であるというこの想定が成り立たない場合においても、三波長を利用することで正確な距離lを推定することが可能になる。
2.反射率データベースにおいて、三波長を用いた推定での反射率誤差評価
二つの波長λとλの間の波長域において、対象物体の反射率が同値でない場合に、三波長を用いることで、反射率の差を考慮した推定が可能であることを、反射率データベースから評価する。ここでは、λ,λ,λをそれぞれ900nm、950nm、925nmとして反射率誤差を計算する。三波長を用いた推定の場合には、波長λにおける反射率s(λ)は、図37に示すように、グラフ上の2つのポイント[λ,s(λ)]と[λ,s(λ)]を通る一次関数の直線上に存在するものと想定され、推定された波長λにおける反射率をe(λ)とする。推定された反射率e(λ)と、実際の反射率s(λ)の誤差を評価するために、次式を計算した。
Figure 2018066698
ここで、4つの材質の物体に対するスペクトル図を以下に示す。
図38Aは「木材」に対して、[λ,λ]の波長範囲における反射スペクトルの線形近似を行った結果を示すスペクトル図である。図38Bは「布」に対して、[λ,λ]の波長範囲における反射スペクトルの線形近似を行った結果を示すスペクトル図である。図38Cは「革」に対して、[λ,λ]の波長範囲における反射スペクトルの線形近似を行った結果を示すスペクトル図である。図38Dは「金属」に対して、[λ,λ]の波長範囲における反射スペクトルの線形近似を行った結果を示すスペクトル図である。
図38A〜図38Dに示した評価結果から、二つの波長λとλの間の反射スペクトルは、ほぼ線形になっているという想定は妥当であることが分かる。二波長で推定した場合の反射率の平均誤差を計算してみると、木材、布、革、金属それぞれで3.8%、2.1%、6.0%、11.1%だったのに対し、三波長では、0.1%、0.4%、0.4%、0.6%と大幅に誤差を減らすことが可能となる。
3.三波長の光の吸収を利用した距離推定処理の高速化
前記で説明した三波長における光量の関係式を示した式(16)を変形すると、次式を得る。
Figure 2018066698

Figure 2018066698
この式(16a)を距離lについて解けば、距離lを求めることができる。しかし、画像の画素毎に距離lを推定することは、計算コストが非常に高く、非線形最小二乗法を使っても画像の距離を実時間で推定することは非常に難しい。そこで、使用する三波長の選択に制限を加えることで、実時間で推定可能なアルゴリズムを考案した。
(1)ケース1:
α(λ)−α(λ)=α(λ)−α(λ)となる波長を選択する。次いで、α(λ)−α(λ)=α(λ)−α(λ)=kとすると、式(16)は次式のように表現できる。
Figure 2018066698
式(17)の両辺にe2klを乗算すると,次式を得る。
Figure 2018066698
ここで、e2kl=Aとすると、式(18)は次式のように、Aについての二次方程式として表現できる。
Figure 2018066698
この式(19)をAについて解くことで、距離lを計算することができる。これは単純に二次方程式を解く処理なので、計算コストも微小となり、実時間での距離推定が可能となる。
(2)ケース2:
2(α(λ)−α(λ))=α(λ)−α(λ)となる波長を選択する。次いで、ケースIと同様に、式(16)の両辺にe4klを乗算すると次式を得る。
Figure 2018066698
ここで、e2kl=Bとすると、式(19a)は次式のように、Bについての三次方程式として表現できる。
Figure 2018066698
この式(20)をBについて解くことで、距離lを計算することができる。同様に単純な三次方程式を解くだけなので、実時間での距離推定が可能となる。
4.光源(平行光)とカメラの光軸が同軸である測定装置
光の吸収を利用した距離推定及び物体の形状推定をする上で、光源80又はセンサ21,22、あるいは両方ともに、水面に対して垂直方向から少し傾いていることが予想される(図14参照)。第1の実施形態において説明したように、傾いている影響を補正することは可能である。しかし、より精度良く推定するためには、光源80とセンサ21,22の光軸が同軸であることが望ましい。そこで、平行光である光源80の光軸とセンサ21,22,23の光軸が同軸で撮影可能な測定装置を開発した。
図39は光源80(平行光)とスペクトロスコープセンサ24の光軸が同軸であるときの形状測定装置(第3の基礎実施形態の図3の装置に対応する)の構成例を示す平面図である。ここで、スペクトロスコープセンサ24はセンサ21,22,23を1つのデバイスで構成したものである。
図39において、光源80、アイリスダイアフラムIRD、3個のフィルタFR,FG,FB、フィルタ用の自動移動ステージMS、シリンドリカルレンズCL1〜CL4、スペクトロスコープセンサ24、及びハーフミラー(ビームスプリッター)40を図のごとく配置することで、図39の上側に配置された物体60を、スペクトロスコープセンサ24が、光源80の光を用いてが同軸な状態で撮影することができる。ここで、フィルタFRは赤色波長のみを通過させる赤色フィルタであり、フィルタFGは緑色波長のみを通過させる緑色フィルタであり、フィルタFBは青色波長のみを通過させる青色フィルタである。自動移動ステージMSは、3つのフィルタのうちの1つを選択して光軸上に移動配置させる。
図39の測定装置において、光源80から入射された光は初めにシリンドリカルレンズCL1を通ることで、平行光となる。さらに、フィルタFR,FG,FBのうちの1つのフィルタで指定された波長の光のみが透過する。次いで、ハーフミラー40で直角に反射した光は図39の上側の物体60に向かって進む。物体60に照射された光は反射して、再びハーフミラー40を通るが、ここでハーフミラー40を透過することでスペクトロスコープセンサ24に入射する。このように構成することで、スペクトロスコープセンサ24と光源80の光軸を同軸な状態で撮影することが可能となる。なお、図39では、小さいハーフミラー40を想定したので、ハーフミラー40に光が入射する前後にシリンドリカルレンズCL2〜CL4を配置することで、一度光を集約させている。すなわち、ハーフミラー40が所定の光幅以上のサイズを有するときは、シリンドリカルレンズCL1〜CL4を省略してもよい。
5.三波長同軸の撮影システム
移動する物体60を対象に、三波長の光の吸収を利用した距離の推定を行うためには、三波長それぞれの画像をリアルタイムに取得する必要がある。そこで三台のカメラ21C,22C,23Cを用いて、同画角で同軸のカメラシステムを構築した。
図40は例えば第2の基礎実施形態に係る形状測定装置で用いる、3台のカメラ21C,22C,23Cによる同画角のカメラシステムの構成例(第2の基礎実施形態の図2Aの装置に対応する)を示す平面図である。
図40において、二つのハーフミラー41,42を用いて光を三方向に分離させる。分離させた光を撮影できるように三台のカメラ21C,22C,23Cを配置することで、リアルタイムに三波長の画像を取得することが可能になる。ハーフミラー41に入射し、分離した光を撮影するカメラ21Cに入射する光量に比べて、ハーフミラー42で分離した光を撮影するカメラ22Cに入射する光量は、半分以下になってしまうが、光源80の光量及びカメラ21C,22C,23Cの感度を調整することで、三台のカメラ21C,22C,23Cのそれぞれにおいて輝度差を補正している。なお、図40において、RLはリレーレンズであり、各カメラ21C,22C,23Cの前面にそれぞれバンドパスフィルタ31,32,33が配置されている。
さらに、第2の実施形態に係る形状測定装置による形状推定結果について以下に説明する。
(1)図41Aは第2の実施形態に係る形状測定装置による形状推定のための「卵型オブジェ」についての波長905nmの入力画像を示す写真画像である。図41Bは図41Aの「卵型オブジェ」に対して、第2の実施形態に係る形状測定装置による形状推定された推定結果画像を示す写真画像である。
(2)図42Aは第2の実施形態に係る形状測定装置による形状推定のための「ロールケーキの食品サンプル」についての波長905nmの入力画像を示す写真画像である。図42Bは図42Aの「ロールケーキの食品サンプル」に対して、第2の実施形態に係る形状測定装置による形状推定された推定結果画像を示す写真画像である。
(3)図43Aは第2の実施形態に係る形状測定装置による形状推定のための「かぶのオブジェ」についての波長905nmの入力画像を示す写真画像である。図43Bは図43Aの「かぶのオブジェ」に対して、第2の実施形態に係る形状測定装置による形状推定された推定結果画像を示す写真画像である。
図41A〜図43Bから明らかなように、第2の実施形態に係る形状測定装置によれば、第1の実施形態に係る形状測定装置の形状推定結果に比較して高精度で推定して測定できることがわかる。
以上詳述したように、本発明によれば、先行技術より高い精度で、物体から到来する2つの波長の光を用いて形状を測定することができる。また、従来技術よりもさらに高い精度で、物体から到来する3つの波長の光を用いて、物体の形状を測定することができる。
本発明は、その実施形態に関連して十分に説明されたが、添付図面を参照して、様々な変更及び修正が当業者には明らかであることに留意すべきである。そのような変更及び修正は、添付の特許請求の範囲によって規定される本発明の範囲内に含まれるものと理解されるべきである。
10 媒質
21,22,23 センサ
21C、22C,23C センサカメラ
24 スペクトロスコープセンサ
31,32,33 バンドパスフィルタ(BPF)
40,41,42 ハーフミラー
40a 光軸
50 タンク
60 被測定物体(物体)
60s 被測定物体の表面(物体表面)
61 移動支持部
70,70A 測定装置
70m 内部メモリ
71 操作部
72 ディスプレイ
80 光源
CL1〜CL4 コリメートレンズ
CAL カメラレンズ
FR,FG,FB 色フィルタ
IRD アイリスダイアフラム
L80 入射光
MS 自動移動ステージ
R60 反射光
S61,S80 制御信号

Claims (13)

  1. 第1の波長における各吸収係数と、第1の波長よりも長い第2の波長における吸収係数とを有する媒質を介して、第1の波長及び第2の波長の各反射率係数を有する物体の表面に、第1の波長及び第2の波長を有する光を照射する光源と、
    前記物体の表面から来て前記媒質を通って伝搬する光を受光して、第1の波長と第2の波長の各強度を測定するセンサと、
    前記測定された第1の波長及び第2の波長の各強度と、第1の波長及び第2の波長における媒質の各吸収係数に基づいて、前記媒質の表面から前記物体の表面までの距離を計算し、前記計算された距離に基づいて物体の形状を測定する測定部とを備えた形状測定装置であって、
    第1の波長及び第2の波長は、第1の波長における最短距離の強度と第2の波長における最長距離の強度との差が所定の第1の値よりも大きくなり、かつ、第1の波長における反射率係数と第2の波長における反射率係数との差が所定の第2の値よりも小さくなるように選択され、
    ここで、前記最短距離は、前記物体の表面上の複数の位置における対応する複数の距離のうちの最も短い距離をいい、
    前記最長距離は、前記物体の表面上の複数の位置における対応する複数の距離のうちの最も長い距離をいう
    ことを特徴とする形状測定装置。
  2. 前記第1及び第2の波長は、前記センサのスペクトル応答が所定の第3の値よりも大きくなるように選択されることを特徴とする請求項1に記載の形状測定装置。
  3. 第3の波長が第1の波長と、第1の波長よりも長い第2の波長との間にあり、第1の波長、第2の波長及び第3の波長における各吸収係数を有する媒質を介して、第1の波長、第2の波長及び第3の波長における各反射率係数を有する物体の表面に光を照射する光源と、
    前記物体の前記表面から来て前記媒質を通って伝搬する光を受光して、第1の波長、第2の波長及び第3の波長の各強度を測定するセンサと、
    第1の波長及び第2の波長の各強度と、第1及び第2の波長における媒質の各吸収係数とに基づいて、前記媒質の表面から前記物体の表面までの距離を計算し、前記計算された距離に基づいて、前記物体の表面の反射係数特性が、第1の波長から第3の波長を介して第2の波長までの波長範囲にわたって実質的に線形関係を有する条件のもとで、物体の形状を測定する測定部とを備えたことを特徴とする形状測定装置。
  4. 第1の波長及び第2の波長は、第1の波長における最短距離の強度と第2の波長における最長距離の強度との差が所定の第1の値よりも大きくなり、かつ、第1の波長における反射率係数と第2の波長における反射率係数との差が所定の第2の値よりも小さくなるように選択され、
    ここで、前記最短距離は、前記物体の表面上の複数の位置における対応する複数の距離のうちの最も短い距離をいい、
    前記最長距離は、前記物体の表面上の複数の位置における対応する複数の距離のうちの最も長い距離をいう
    こと特徴とする請求項3に記載の形状測定装置。
  5. 前記第1及び第2の波長は、前記センサのスペクトル応答が所定の第3の値よりも大きくなるように選択されることを特徴とする請求項3又は4に記載の形状測定装置。
  6. 前記測定部は、非線形最小2乗法と並列処理とを用いて、前記距離を計算することを特徴とする請求項3〜5のうちのいずれか1つに記載の形状測定装置。
  7. 前記測定部は、α(λ)−α(λ)=α(λ)−α(λ)の条件で前記距離を計算し、
    ここで、α(λ)は第1の波長λ1における媒質の吸収係数であり、
    α(λ)は第2の波長λ2における媒質の吸収係数であり、
    α(λ)は、第3の波長λ3における媒質の吸収係数である
    請求項3〜6のうちのいずれか1つに記載の形状測定装置。
  8. 前記測定部は、2α(λ)−2α(λ)=α(λ)−α(λ)の条件で距離を計算し、
    ここで、α(λ)は第1の波長λ1における媒質の吸収係数であり、
    α(λ)は第2の波長λ2における媒質の吸収係数であり、
    α(λ)は第3の波長λ3における媒質の吸収係数である
    請求項3〜6のうちのいずれか1つに記載の形状測定装置。
  9. 前記測定部は、前記物体の測定された形状に基づいて、前記物体の3次元画像をさらに再構成することを特徴とする請求項1〜8のうちのいずれか1つに記載の形状測定装置。
  10. 前記媒質は、水、液体、気体、固体、及びゲルのうちの少なくとも1つを含むことを特徴とする請求項1〜9のうちのいずれか1つに記載の形状測定装置。
  11. 前記センサは、スペクトロスコープセンサであることを特徴とする請求項1〜10のうちのいずれか1つに記載の形状測定装置。
  12. 光源が、第1の波長における吸収係数と、第1の波長よりも長い第2の波長における吸収係数とを有する媒質を介して、第1の波長及び第2の波長の各反射率係数を有する物体の表面に、第1の波長及び第2の波長を有する光を照射するステップと、
    センサが、前記物体の表面から来て前記媒質を通って伝搬する光を受光して、第1の波長と第2の波長の各強度を測定するステップと、
    測定部が、前記測定された第1の波長及び第2の波長の各強度と、第1及び第2の波長における吸収係数に基づいて、前記媒質の表面から前記物体の表面までの距離を計算し、前記計算された距離に基づいて物体の形状を測定するステップとを含む形状測定方法であって、
    第1の波長及び第2の波長は、第1の波長における最短距離の強度と第2の波長における最長距離の強度との差が所定の第1の値よりも大きくなり、かつ、第1の波長における反射率係数と第2の波長における反射率係数との差が所定の第2の値よりも小さくなるように選択され、
    ここで、前記最短距離は、前記物体の表面上の複数の位置における対応する複数の距離のうちの最も短い距離をいい、
    前記最長距離は、前記物体の表面上の複数の位置における対応する複数の距離のうちの最も長い距離をいう
    ことを特徴とする形状測定方法。
  13. 第3の波長が第1の波長と、第1の波長よりも長い第2の波長との間にあり、光源が、第1の波長、第2の波長及び第3の波長における各吸収係数を有する媒質を介して、第1の波長、第2の波長及び第3の波長における各反射率係数を有する物体の表面に光を照射するステップと、
    センサが、前記物体の前記表面から来て前記媒質を通って伝搬する光を受光して、第1の波長、第2の波長及び第3の波長の各強度を測定するステップと、
    測定部が、第1の波長及び第2の波長の各強度と、第1及び第2の波長における媒質の各吸収係数とに基づいて、前記媒質の表面から前記物体の表面までの距離を計算し、前記物体の表面の反射係数特性が、第1の波長から第3の波長を介して第2の波長までの波長範囲にわたって実質的に線形関係を有するような条件のもとで、前記計算された距離に基づいて物体の形状を測定するステップとを含むことを特徴とする形状測定方法。
JP2018543991A 2016-10-07 2017-10-06 形状測定装置及び方法 Active JP6979701B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021138487A JP7117800B2 (ja) 2016-10-07 2021-08-27 形状測定装置及び方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662405512P 2016-10-07 2016-10-07
US62/405,512 2016-10-07
PCT/JP2017/036510 WO2018066698A1 (ja) 2016-10-07 2017-10-06 形状測定装置及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021138487A Division JP7117800B2 (ja) 2016-10-07 2021-08-27 形状測定装置及び方法

Publications (2)

Publication Number Publication Date
JPWO2018066698A1 true JPWO2018066698A1 (ja) 2019-07-18
JP6979701B2 JP6979701B2 (ja) 2021-12-15

Family

ID=61831061

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018543991A Active JP6979701B2 (ja) 2016-10-07 2017-10-06 形状測定装置及び方法
JP2021138487A Active JP7117800B2 (ja) 2016-10-07 2021-08-27 形状測定装置及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021138487A Active JP7117800B2 (ja) 2016-10-07 2021-08-27 形状測定装置及び方法

Country Status (2)

Country Link
JP (2) JP6979701B2 (ja)
WO (1) WO2018066698A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7317732B2 (ja) 2020-01-20 2023-07-31 株式会社東芝 推定装置、物体搬送システム、推定方法、およびプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994010532A1 (en) * 1992-10-13 1994-05-11 Kms Fusion, Inc. Electro-optical system for gauging surface profiles
US5517575A (en) * 1991-10-04 1996-05-14 Ladewski; Theodore B. Methods of correcting optically generated errors in an electro-optical gauging system
JP2008256504A (ja) * 2007-04-04 2008-10-23 Nikon Corp 形状測定装置
US20110290005A1 (en) * 2008-07-24 2011-12-01 Hart Douglas P Dynamic three-dimensional imaging of ear canals
JP2015057604A (ja) * 2008-07-24 2015-03-26 マサチューセッツ インスティテュート オブ テクノロジー 吸収を利用して画像形成を行うためのシステム及び方法
CN105136062A (zh) * 2015-08-25 2015-12-09 上海集成电路研发中心有限公司 基于衰减光的三维扫描装置及三维扫描方法
JP2016017919A (ja) * 2014-07-10 2016-02-01 株式会社東京精密 距離測定装置、および距離測定方法
JP2016170164A (ja) * 2015-03-10 2016-09-23 富士フイルム株式会社 測定方法及び測定装置及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5517575A (en) * 1991-10-04 1996-05-14 Ladewski; Theodore B. Methods of correcting optically generated errors in an electro-optical gauging system
WO1994010532A1 (en) * 1992-10-13 1994-05-11 Kms Fusion, Inc. Electro-optical system for gauging surface profiles
JP2008256504A (ja) * 2007-04-04 2008-10-23 Nikon Corp 形状測定装置
US20110290005A1 (en) * 2008-07-24 2011-12-01 Hart Douglas P Dynamic three-dimensional imaging of ear canals
JP2015057604A (ja) * 2008-07-24 2015-03-26 マサチューセッツ インスティテュート オブ テクノロジー 吸収を利用して画像形成を行うためのシステム及び方法
JP2016017919A (ja) * 2014-07-10 2016-02-01 株式会社東京精密 距離測定装置、および距離測定方法
JP2016170164A (ja) * 2015-03-10 2016-09-23 富士フイルム株式会社 測定方法及び測定装置及びプログラム
CN105136062A (zh) * 2015-08-25 2015-12-09 上海集成电路研发中心有限公司 基于衰减光的三维扫描装置及三维扫描方法

Also Published As

Publication number Publication date
JP6979701B2 (ja) 2021-12-15
WO2018066698A1 (ja) 2018-04-12
JP7117800B2 (ja) 2022-08-15
JP2021185372A (ja) 2021-12-09

Similar Documents

Publication Publication Date Title
US10383711B2 (en) Focus scanning apparatus recording color
US11030778B2 (en) Methods and apparatus for enhancing color vision and quantifying color interpretation
US10161796B1 (en) LED lighting based multispectral imaging system for color measurement
TWI278597B (en) Optical film tester
TWI509220B (zh) 採用表面顏色之表面形貌干涉儀
CN109642787B (zh) 3d表面测量的系统与方法
JP6364777B2 (ja) 画像データ取得システム及び画像データ取得方法
CN102124723B (zh) 在屏幕上真实再现颜色的方法和装置
US20210131974A1 (en) System and method for evaluating and determining color in gemstones
JP7117800B2 (ja) 形状測定装置及び方法
JP2022509387A (ja) 材料の光学特性を測定するための光学装置
JP7141509B2 (ja) 脈波検出装置、脈波検出方法、および情報処理プログラム
CN206832360U (zh) 基于led照明的颜色测量多光谱成像系统的封闭式灯箱
WO2022070774A1 (ja) 画像解析方法、画像解析装置、プログラム、及び記録媒体
JP6977744B2 (ja) 皮膚の色素成分の濃度画像の形成方法
Rahrig et al. Multispectral imaging for the documentation of graffiti in an urban environment
KR102087566B1 (ko) 표면 토폴로지 및 연관 컬러 결정을 위한 디바이스 및 방법
Kim The three-dimensional evolution of hyperspectral imaging
JP7013321B2 (ja) 目視検査用の画像処理システム、及び、画像処理方法
Lu et al. Spatial variant gloss measurement of dielectric material based on a polarized
JP2017020816A (ja) 反射特性を測定する測定装置および測定方法、プログラム
JP2024020004A (ja) 生物自動計測装置および方法並びにプログラム
FR3076681A1 (fr) Procede de reperage de la visee d’un spectro-colorimetre sur la surface d’un capteur photographique numerique
ITTO20100780A1 (it) Sistema e procedimento per l'acquisizione di immagini di un'opera d'arte o di un ambiente.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210409

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210827

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210827

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210906

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211109

R150 Certificate of patent or registration of utility model

Ref document number: 6979701

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150