JPWO2013136620A1 - 高次元輝度情報を用いた縞画像の位相分布解析方法、装置およびそのプログラム - Google Patents

高次元輝度情報を用いた縞画像の位相分布解析方法、装置およびそのプログラム Download PDF

Info

Publication number
JPWO2013136620A1
JPWO2013136620A1 JP2014504638A JP2014504638A JPWO2013136620A1 JP WO2013136620 A1 JPWO2013136620 A1 JP WO2013136620A1 JP 2014504638 A JP2014504638 A JP 2014504638A JP 2014504638 A JP2014504638 A JP 2014504638A JP WO2013136620 A1 JPWO2013136620 A1 JP WO2013136620A1
Authority
JP
Japan
Prior art keywords
phase
dimensional
fringe
images
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014504638A
Other languages
English (en)
Other versions
JP5818218B2 (ja
Inventor
志遠 李
志遠 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2014504638A priority Critical patent/JP5818218B2/ja
Publication of JPWO2013136620A1 publication Critical patent/JPWO2013136620A1/ja
Application granted granted Critical
Publication of JP5818218B2 publication Critical patent/JP5818218B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • G01B11/2527Projection by scanning of the object with phase change by in-plane movement of the patern
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/4833Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/42Analysis of texture based on statistical description of texture using transform domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8829Shadow projection or structured background, e.g. for deflectometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Hematology (AREA)
  • Molecular Biology (AREA)
  • Urology & Nephrology (AREA)
  • Biophysics (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

縞画像位相分布解析技術は、時間的輝度情報または空間的輝度情報のいずれかの1次元の離散フーリエ変換によって位相を算出しているが、測定対象物の反射率の極端な明暗が原因で、取得した縞画像のコントラスト(SN比)が悪く、位相分布解析結果に大きな誤差が発生し、あるいは計測最中に環境振動や位相シフトデバイスの性能により、位相シフト量に誤差が含まれる場合も計測誤差が大きく発生するので、位相分布解析精度の向上が望まれる。高次元の輝度データから間引きと画像補間処理により、複数枚の位相がシフトしたモアレ縞画像を生成し、2次元もしくは3次元の離散フーリエ変換よりモアレ縞の位相分布を求める。さらに間引きの位相分布を加算することで、元の縞画像そのものの位相分布を求める。時空間に存在する高次元の輝度情報を用いるため、ランダムノイズや振動の影響を受けにくく、計測条件が悪い場合でも、精度よく位相分布解析を行うことができる。

Description

本発明は、1枚ないし複数枚の位相がシフトした縞画像に対して時空間に存在する高次元の輝度情報から生成されるモアレ縞の位相情報を解析することで、従来に比べて高精度な測定に適用することのできる縞画像の位相分布解析手法およびそれを用いた縞画像の位相分布解析装置の技術に関する。
縞画像の位相解析技術は多くの分野で活用されている。格子模様を測定対象物表面に投影し、カメラから撮影された物体の高さに応じてゆがむ格子画像の位相を解析することで、高精度な3次元形状・変形計測が行われている。光の干渉現象によるレーザー光を用いた各種干渉計による干渉縞解析から、光学部品の微小な光学特性の相違や透明材料の厚さや屈折率の分布や傾斜角度を測定する技術がある。また電子線ホログラフィーによる縞画像から電磁場を解析することもある。さらに、医療分野においても、再生医工学では製品である細胞の組織品質(細胞の立体像)を非侵襲的に計測する必要がある。その際に、例えばエフケー光学研究所の遠藤潤二氏によって開発された位相シフトレーザー顕微鏡を使用することがある。1枚ないし複数枚の位相がシフトされた縞画像から高精度・高速に解析できる手法および解析装置が極めて重要になっている。
測定対象の物理量(形状・変形・ひずみや屈折率など)を定量的に求めるためには、縞の位相情報を精度よく抽出する必要がある。縞画像から位相情報を抽出するために従来の方法として、FFT(フーリエ変換)法、ウェブレーット法、位相シフト法等がある。これらの位相解析手法においては、時間的輝度情報を利用して縞画像の位相を解析する“時間的位相解析手法”と空間的輝度情報を利用して縞画像の位相を解析する“空間的位相解析手法”に分けられる。空間的解析手法は1枚の縞格子画像から位相分布を算出できるため、動的計測に向いている。一方、時間的解析手法はカメラの画素ごとに位相を算出することができるため、高分解能な解析に向いている。
従来、時間的解析手法のひとつとして位相シフト法が提案されている(非特許文献1)。位相シフト法では、次式で示される輝度分布I(x,y;t)を持つT枚のデジタル画像データ(以降、撮像した格子模様があるデジタル画像を単に“縞画像”と呼ぶ)から位相分布を求める方法である。
Figure 2013136620
(1)

ここでIaとIbはそれぞれ縞格子の輝度振幅(周波数1の振幅成分)と背景輝度(周波数0の振幅成分)である。Pは縞格子のピッチ、φ0は縞格子の初期位相であり、φは最終的に求めたい縞画像の位相値である。xとyは光学式デジタルカメラ(ここで言う光学式デジタルカメラとはCCDセンサやCMOSセンサなどの撮像素子の種類を問わないデジタル画像データを撮影できるデジタルカメラまたはビデオカメラのことを意味し、以降は単に“カメラ”と略す)上の位置座標(一般的に整数)である。tは複数枚の格子画像の通し番号であり、2πt/Tは位相シフトを表す項である。式(1)に対して、tについて離散フーリエ変換(DFT)を適用し、周波数1の成分の偏角を求めることにより位相分布が得られる。
Figure 2013136620
(2)

格子投影法や干渉計による縞画像の位相計測において、位相シフトしたT枚の縞格子模様を生成し、それぞれ光学式カメラで撮影して得られた複数枚の縞格子画像を式(2)より解析する。縞格子の輝度振幅Iaと背景輝度Ibは式(3)および式(4)より算出することができる。
Figure 2013136620
(3)
Figure 2013136620
(4)
一方、従来の空間的解析手法においてはサンプリングモアレ法が提案されている(特許文献1)。サンプリングモアレ法では、1枚の縞格子画像を元格子のピッチに近い間隔でダウンサンプリング(間引き処理)することにより生じる、位相シフトした複数枚のモアレ縞から位相分布を求める手法である。図1に特許文献1で示されているサンプリングモアレ法で用いる間引きと輝度補間処理の方法を示す。ここで“間引き処理”とは、カメラ上記録された1枚の縞格子画像(図1(a))に対して、画像の左端または右端から一定間隔であるM画素おきに輝度データを抽出することをいう。図1(b)に示すようとおり、間引きのスタート点を複数変えることで、1枚の画像から複数の間引いた画像を得ることができる。また“輝度補間”とは、図1(c)に示すように、周囲の輝度データを用いて欠落している一部の輝度データを補間する処理をいう。
図2に従来の1次元のサンプリングモアレ法によるワンショットの縞格子画像の位相解析の原理を示す。規則性がある格子模様を有する対象物を光学式カメラで撮影する(図2(a))と、1枚の縞格子画像が得られる。特に格子模様の明るさ変化は正弦波または余弦波である場合、式(5)で表される。
Figure 2013136620
(5)

ここで、xとyはカメラ上の位置座標(一般的に整数)であり、IaとIbはそれぞれ縞格子の輝度振幅(周波数1の振幅成分)と背景輝度(周波数0の振幅成分)である。φ0は縞格子の初期位相であり、φは最終的に求めたい縞画像の位相値である。またPは撮影された画像上のピッチ間隔である。撮影されたこの1枚の縞格子画像に対して、Pと近いピッチ間隔M(Mは一般的に整数である)で画像の間引き処理を行い、隣接している画像の輝度値を用いて輝度補間を行うと空間周波数の低い、すなわち、ピッチ間隔の大きい縞画像(以降これを単に“モアレ縞画像”と呼ぶ)を得ることができる。さらに間引きのスタート点mを1画素ずつ変えながら輝度補間することで、図2(b)に示すように位相がシフトされたM枚のモアレ縞画像が得られ、式(6)により表すことができる。
Figure 2013136620
(6)

モアレ縞は間引きのスタート点mに関して位相が2π/Mずつシフトしていることから、式(6)に対してmについて1次元の離散フーリエ変換(DFT)を適用すれば、図2(c)に示すようにモアレ縞の位相分布φmoire(x,y)を求めることができる。
Figure 2013136620
(7)
最終的に式(8)に示すように、縞格子そのものの位相分布(図2(d))はモアレ縞の位相分布に対して、間引き処理におけるサンプリング点の位相分布を加算することで求めることができる。
Figure 2013136620
(8)

式(8)により、縞格子そのものの位相分布を1枚の縞格子画像より求めることができる。
従来のいずれの手法においても、空間または時間といった1次元の位相シフトした輝度情報のみを用いて、1次元の離散フーリエ変換によって位相を算出している。
特許第4831703号,発明の名称:物体の変位測定方法,発明者:藤垣元治,李志遠,森本吉春,出願人:和歌山大学
Bruning, J. H. et al, Digital WavefrontMeasuring Interferometer for Testing Optical Surfaces and Lenses, AppliedOptics, Vol.13, No.11, p.2693-2703(1974).
従来の位相解析技術において、時間的輝度情報または空間的輝度情報のいずれかの1次元の離散フーリエ変換によって位相を算出している。ところで、位相誤差のばらつきσφnと位相シフト枚数Nの関係は式(9)として知られている。
Figure 2013136620
(9)

ここでは、σnはランダムノイズの標準偏差であり、SNR=Ianは信号ノイズ比である。位相誤差のばらつきは撮影枚数Nの平方根と撮影画像のSNRに反比例し、両パラメータの積の21/2倍である。したがって、位相シフト枚数を増やし、多くの格子画像を取得することで位相解析精度の向上が見込まれる。例えば、計測精度を10倍向上させるには、100倍の位相シフト画像を得る必要がある。しかしながら、撮影枚数が2乗的に増えるため、計測速度が大幅に低下するというジレンマがあった。
種々の現場での計測においては、測定対象物の反射率が極端に明るいあるいは暗いが原因で、取得した縞画像のコントラスト(SNR)が悪く、位相解析結果に大きな誤差が発生することや、計測最中に環境振動や位相シフトデバイスの性能により、位相シフト量に誤差が含まれる場合も計測誤差が大きく発生することがしばしばある。計測時間を増やさずに更なる位相解析精度の向上が望まれている状況である。
本発明はこのような状況を鑑みてなされたものであり、SNR比の極めて低いまたは位相シフト誤差を含んだ縞格子画像でも撮影枚数を増やすことなく従来方法よりも高い精度で位相解析が行えるものである。
本発明はその手段として第1に、物体表面上の縞模様を水平方向および垂直方向に撮影素子が配置された光学式デジタルカメラで撮影して得た縞画像の位相分布を算出する縞画像の位相分布解析方法であって、前記物体表面上の縞模様を1枚または時間的位相をシフトして複数枚撮影して2次元縞画像または複数枚の2次元縞画像を時系列的に配置し構成した3次元の縞画像を取得するステップと、前記1枚の2次元縞画像または前記3次元の縞画像の輝度データに少なくとも間引き処理を行い位相がシフトされた複数枚のモアレ縞画像を生成するステップと、前記位相がシフトされたモアレ縞画像に対し高速フーリエ変換または離散フーリエ変換を用いて水平方向または垂直方向のモアレ縞画像の位相分布を求めるステップと、前記位相分布の各点の値に対して、前記間引き処理における当該間引き点の位相の値を加算して前記物体上の縞模様画像の位相分布を算出するステップを、有することを特徴とする縞画像の位相分布解析方法を提供する。
また本発明は、前記2次元縞画像を取得するステップは、前記光学式デジタルカメラの撮影素子の水平および垂直の配置に対して前記物体表面上に1方向にまたは互いに直交する2方向に斜めに配置された前記縞模様を撮影して2次元縞画像を取得するステップであって、前記位相がシフトされた複数枚のモアレ縞画像を生成するステップは、前記2次元縞画像に対して、水平方向と垂直方向にそれぞれM画素とN画素(MとNは共に3以上の整数)なる等間隔の画素ごとに水平方向と垂直方向の起点の画素を順次変えながら各々M回およびN回の間引き処理を行うサブステップと、前記間引き処理によって得られた水平または垂直方向の間引き画像の各々について輝度値の補間処理をしてM×N枚のモアレ縞画像を生成するサブステップとからなる、ことを特徴とする上に記載の縞画像の位相分布解析方法を提供する。
斜めの縞模様を撮影した一枚の2次元縞画像による空間的位相解析方法である。
さらに本発明は、前記3次元の縞画像を取得するステップは、前記光学式デジタルカメラの撮影素子の水平および垂直の配置に対して前記物体表面上に水平方向、または垂直方向に配置された、または水平方向と垂直方向とに格子状に配置された前記縞模様を、時間的位相をシフトしてT枚(Tは3以上の整数)撮影して、位相がシフトされた複数枚の2次元縞画像を取得するステップであって、前記位相がシフトされた複数枚のモアレ縞画像を生成するステップは、前記時間的位相をシフトしたT枚の2次元縞画像に対して、前記格子状の縞模様の輝度振幅分布が一定でない場合には、位相シフト法より算出した輝度振幅と背景輝度分布を用いて輝度振幅が一定となる正規化したT枚の2次元縞画像に変換する前処理サブステップを有し、前記輝度振幅が一定の時間的位相をシフト方向したT枚の各々の2次元縞画像について水平方向または垂直方向にM画素なる等間隔の画素ごとにサンプリングする間引き処理サブステップと、前記間引き処理によって得られた水平または垂直方向のM枚の間引き処理画像の各々について輝度値の補間処理をしてM×T枚のモアレ縞画像を生成するサブステップとからなる、ことを特徴とする同上に記載の縞画像の位相分布解析方法を提供する。
時間的位相をシフトして平行縞模様あるいは格子状縞模様をカメラの撮影素子の水平(あるいは垂直)方向に整列させて撮影した3次元の縞画像(複数枚の2次元縞画像)による時空間的位相解析の基本的手法である。
さらに本発明は、前記3次元の縞画像を取得するステップは、前記光学式デジタルカメラの撮影素子の水平および垂直の配置に対して前記物体表面上に1方向に斜めに配置されたまたは互いに直交する2方向に格子状に斜めに配置された前記縞模様を、時間的位相をシフトしてT枚(Tは3以上の整数)撮影して、位相がシフトされた複数枚の2次元縞画像を取得するステップであって、前記位相がシフトされた複数枚のモアレ縞画像を生成するステップは、前記時間的位相をシフトしたT枚の2次元縞画像に対し、前記縞模様の輝度振幅分布が一定でない場合に限り、位相シフト法より算出した輝度振幅と背景輝度分布を用いて輝度振幅が一定となる正規化したT枚の2次元縞画像に変換する前処理サブステップを有し、前記輝度振幅が一定の2次元縞画像の各々に対して、水平方向と垂直方向にそれぞれM画素とN画素なる等間隔の画素ごとに水平方向と垂直方向の起点の画素を順次変えながら各々M回およびN回の間引き処理を行うサブステップと、前記間引き処理によって得られた水平または垂直方向の間引き画像の各々について輝度値の補間処理することによってM×N枚のモアレ縞画像を生成するサブステップを適用して、時間的位相のシフトしたT枚についてM×N×T枚のモアレ縞画像を生成するステップである、ことを特徴とする同上に記載の縞画像の位相分布解析方法を提供する。
時間的位相をシフトして平行縞模様あるいは格子状縞模様をカメラの撮影素子の水平(あるいは垂直)方向に斜向させて撮影した3次元の縞画像(複数枚の2次元縞画像)による時空間的位相解析の高精度位相解析手法である。
さらに本発明は、構造物の3次元形状、変位、ひずみの分布を計測する計測装置であって、上に記載したいずれか一つの縞画像の位相分布解析方法を実施することを特徴とする計測装置を提供する。
また本発明は、光学部品、透明物体の厚さ、または屈折率の分布や傾斜角度を計測する計測装置であって、上に記載したいずれか一つの縞画像の位相分布解析方法を実施することを特徴とする計測装置を提供する。
また本発明は、超音波映像化画像の位相情報による被検体の欠陥検出、異常変位の検出による地滑り検知、およびインフラ構造物の健全性評価を行う計測装置であって、上に記載したいずれか一つの縞画像の位相解析方法を実施することを特徴とする計測装置を提供する。
さらに本発明は、生物の細胞組織を非侵襲的に解析および評価する計測装置であって、上に記載したいずれか一つの縞画像の位相分布解析方法を実施することを特徴とする計測装置を提供する。
最後に本発明は、縞画像の位相分布解析プログラムであって、請求項1乃至請求項4のいずれか1項に記載の手順を実行することを特徴とするプログラムを提供することができる。
本発明により、従来法と同等の撮影枚数でありながら、飛躍的精度よく縞画像の位相情報を解析できる。
効果1として安価な撮影素子(コストダウン)を使用しても、従来と同程度の精度を実現できる。
効果2として極端に明るいまたは暗い条件でも解析可能、計測範囲の拡大が可能である。
効果3として振動の影響を低減することができるため、現場での計測に適用可能である。
ただし、本発明では局部の空間的輝度情報を用いるため、空間分解能は従来方法より多少低下することに留意する必要がある。
また本発明は以下の利点が挙げられる。
利点1として超高速計測場合の短露光時間に伴うSN比の低下による計測誤差を低減できる。
利点2として振動の多い環境での測定(研究室の除震台ではなく、現場での計測)を可能にする。
利点3として反射率が極端に低い対象物であるため、縞画像のコントラストが極めて悪い場合でも位相解析ができる。
1次元のサンプリングモアレ法における画像処理方法を表わす図である。 1次元のサンプリングモアレ法によるワンショットの縞格子画像位相解析の原理を説明する図である。 従来の1次元の輝度情報を用いた位相解析手法と本発明による高次元の輝度情報を用いた位相解析方法の関係とその特徴を示す図である。 2次元サンプリングモアレ法による縞格子画像のワンショット位相解析の原理と画像処理方法の流れの概略を示す図である。 2次元時空位相シフト法による縞格子画像の位相解析の原理と画像処理方法の流れの概略を示す図である。 3次元時空位相シフト法による縞格子画像の位相解析の原理と画像処理方法の流れの概略を示す図である。 ランダムノイズ(SNR=3)を付加した場合の誤差比較のシミュレーション結果の縞画像を表わす図である。 ランダムノイズを付加した場合の誤差比較:図7(e)と図7(e’)の(a)x方向,(b)y方向のそれぞれの中央1ラインの断面データのピクセル位置の位相誤差を表わす図である。 1方向の縞格子の実験解析結果を示す図である。 2方向の縞格子に対して、1次元のサンプリングモアレ法による実験解析結果を示す図である。 2方向の縞格子に対して、2次元のサンプリングモアレ法による実験解析結果を示す図である。 シミュレーションによるランダムノイズの場合の位相誤差の比較を示す図である。 シミュレーションによる振動(位相シフト誤差)の場合の位相誤差の比較を示す図である。 格子投影法に適用した半導体パッケージの反り分布計測結果を示す図である。 ランダムノイズレベル200%を付加した場合のシミュレーション結果を示す図である。 図15(d)と図15(f)のx方向の中央1ラインの断面データのピクセル位置の位相誤差の比較を示す図である。 本発明を格子投影法による物体の形状・変形(面外変位)測定に適用した実施例の構成を示す図である。 本発明を光学部品の表面形状を測定するための干渉縞解析に適用した実施例の構成を示す図である。 本発明を画像計測による構造物の変形測定に適用した実施例の構成を示す図である。 本発明を位相シフトレーザー顕微鏡による生体細胞の屈折率分布測定に適用した実施例の構成を示す図である。 シミュレーションによる間引き数と位相誤差の関係(実線は従来の1次元のサンプリングモアレ法の解析結果、破線は本発明の2次元のサンプリングモアレ法の解析結果)を示す図である。
本発明に基づく位相解析方法を図3にまとめて示す。従来の位相シフト法は時間軸での輝度変化、サンプリングモアレ法は空間軸での輝度変化といった1次元の輝度情報のみを用いている。一方、本発明では、高次元の輝度データから間引きと画像補間処理により、複数枚の位相がシフトしたモアレ縞画像を生成し、2次元もしくは3次元の離散フーリエ変換よりモアレ縞の位相分布を求める。さらに間引きの位相分布を加算することで、元の縞画像そのものの位相分布を求める方法である。従来の1次元の輝度情報に比べて、時空間に存在する高次元の輝度情報を用いるため、ランダムノイズや振動の影響を受けにくいのが特徴である。これにより、計測条件が悪い場合でも、精度よく位相解析を行うことができる。
本発明において、取得した縞画像の枚数と格子の形態によって、図3の右側に示すように3つの処理方法を説明する。以下にそれぞれの処理方法について具体的に説明する。
なお、表1は、本発明において縞画像を取得するためのいくつかの方法をまとめたものであるが、縞画像の取得方法を限定するものではない。
Figure 2013136620
本発明では、まず第1の手法である、2次元サンプリングモアレ法(2次元の空間的解析手法)を説明する。
図4に2次元サンプリングモアレ法による縞格子画像のワンショット位相解析の原理と画像処理方法の流れを示す。1枚の斜め(本発明において、斜めの定義とは、水平方向および垂直方向に撮影素子が配置されたカメラの座標系に対して、縞格子が傾いた状態のことを指す。測定対象物表面の縞格子は斜めであることが望ましいが、斜めでない状態であってもよい)の縞格子を測定対象物の表面に投影または貼付けしてから光学式カメラで撮影すると、式(10)により表されるような輝度分布をもつ1枚の縞格子画像が得られる。
Figure 2013136620
(10)

ただし、PとQはそれぞれ撮影画像上のx方向またはy方向の格子ピッチ間隔である。
撮影されたこの1枚の縞格子画像を、Pと近いピッチ間隔M(一般的に整数である)でx方向に対して間引きのスタート点mを1画素ずつ変えながら画像の間引き処理を行い、隣接している画像の輝度値を用いて輝度補間を行う処理41によって、位相がシフトされたM枚のモアレ縞画像が得られる。次に間引きと輝度補間より得られたM枚のモアレ縞画像に対して、それぞれさらにy方向に対して間引きのスタート点nを1画素ずつ変えながら画像の間引き処理を行い、隣接している画像の輝度値を用いて輝度補間を行う処理42によって位相がシフトされたM×N枚のモアレ縞画像が得られ、式(11)により表すことができる。なお、間引きする順番として、x方向の間引きと輝度補間してからy方向の間引きと輝度補間の場合と、y方向の間引きと輝度補間してからx方向の間引きと輝度補間の場合は同等である。
Figure 2013136620
(11)
間引きと輝度補間によって得られるモアレ縞はx方向またはy方向の間引きのスタート点mおよびnに関してそれぞれ位相が2π/Mまたは2π/Nずつシフトしていることから、式(11)に対してmおよびnについての処理43である2次元の離散フーリエ変換を適用すれば、式(12)によりモアレ縞の位相分布φmoire(x,y)を求めることができる。
Figure 2013136620
(12)
最終的に式(13)に示すように、元格子そのものの位相分布はモアレ縞の位相分布に対して、処理44であるx方向およびy方向のそれぞれの間引き処理におけるサンプリング点の位相分布を加算することで求めることができる。
Figure 2013136620
(13)
本発明では、次に第2の手法として、時空位相シフト法(2次元の時空間解析)を説明する。
図5に2次元時空位相シフト法による縞格子画像の位相解析の原理と画像処理方法の流れを示す。光学式カメラを用いて、従来と同様に位相がシフトされたT枚の縞格子画像を撮影すると、式(1)に示すような輝度分布が得られる。ここで、測定対象物の材質や反射率、表面の模様等により輝度振幅は一定とは限らない。そこで、まず前処理として輝度振幅の正規化処理を行う。式(3)および式(4)を用いて、従来の処理51である位相シフト法の算出方法よりまず縞格子の振幅輝度Iaと背景輝度Ibを求め、式(14)に示す処理52により位相がシフトされたT枚の縞格子を輝度振幅は1、背景輝度は0の正規化した縞格子画像に変換する。なお、撮影された縞画像は予め輝度振幅は一定である場合はこの正規化処理を省略できる。
Figure 2013136620
(14)
正規化されたT枚の縞画像に対して、x方向もしくはy方向にダウンサンプリング(間引き処理)と輝度の補間を行う処理53によって、式(15)に示すようなM×T枚の位相シフトしたモアレ縞の画像を得ることができる。
Figure 2013136620
(15)

式(15)において、2πm/Mは空間的な位相シフト、2πt/Tは時間的な位相シフトを意味する。式(15)における変数mとtに関する処理54である2次元の離散フーリエ変換を適用し、周波数1の成分の偏角を求めることによりモアレ縞の位相分布が次式で得られる。
Figure 2013136620
(16)
最終的に式(19)に示すように、元格子そのものの位相分布
Figure 2013136620
(17)
はモアレ縞の位相分布
Figure 2013136620
(18)

に対して、処理55である間引き処理におけるサンプリング点の位相分布を加算することで求めることができる。
Figure 2013136620
(19)
最後に第3の手法として時空位相シフト法(3次元の時空間解析)を説明する。
図6に3次元時空位相シフト法による縞格子画像の位相解析の原理と画像処理方法の流れを示す。光学式カメラを用いて、位相がシフトされたT枚の斜めの縞格子画像を撮影すると、式(20)に示すような輝度分布が得られる。
Figure 2013136620
(20)
第2の手法と同様、測定対象物の材質や反射率、表面の模様等により輝度振幅は一定とは限らないという理由により、処理61と処理62によって、輝度振幅の正規化である前処理により位相がシフトされたT枚の斜めの縞格子を輝度振幅は1、背景輝度は0の正規化した縞格子画像に変換する。なお、撮影された縞画像は予め輝度振幅は一定である場合はこの正規化処理を省略できる。
Figure 2013136620
(21)
正規化されたT枚の縞画像に対して、x方向およびy方向にそれぞれMまたはNおきにダウンサンプリング(間引き処理)と輝度の補間を行う処理63と処理64によって、式(22)に示すようなM×N×T枚の位相シフトしたモアレ縞の画像を得ることができる。
Figure 2013136620
(22)
式(22)において、2πm/Mはx方向の空間的な位相シフト、2πn/Nはy方向の空間的な位相シフト、2πt/Tは時間的な位相シフトをそれぞれ意味する。式(22)における変数m、nとtに関する処理65である3次元の離散フーリエ変換を適用し、周波数1の成分の偏角を求めることによりモアレ縞の位相分布が次式で得られる。
Figure 2013136620
(23)
最終的に式(26)に示すように、元格子そのものの位相分布
Figure 2013136620
(24)
はモアレ縞の位相分布
Figure 2013136620
(25)

に対して、処理66である間引き処理におけるx方向およびy方向のそれぞれのサンプリング点の位相分布を加算することで求めることができる。
Figure 2013136620
(26)
以下に添付図面を用いて本発明の実施形態についてさらに詳細に説明する。
(第1の詳細な実施の形態:シミュレーションによるランダムノイズに対する位相解析精度向上)
従来の1次元のサンプリングモアレ法に対して、本発明の実施例1に基づく2次元位相解析の精度向上を実証するためのシミュレーション結果を図7に示す。図7(a)に解析する縞画像を示す。この縞画像において、格子の輝度振幅は75であるのに対して、標準偏差が25のランダムノイズを付加している。この場合、縞画像のSNRは3に相当する。図7(b)は図7(a)の縞画像の理想な位相分布である。図7(c)は図7(a)に対して、x方向のみ8画素おきに間引きおよび輝度補間処理によって得られた従来のモアレ縞画像(8枚の位相シフト画像のうちの最初の1枚)である。図7(d)は従来方法によって得られた図7(c)のモアレ縞の位相分布であり、図7(e)は従来の1次元サンプリングモアレ法の位相誤差分布である。評価領域全体の位相誤差の平均値は0.012%、標準偏差は2.18%であった。
図7(c’)は図7(a)をxおよびyの両方向にそれぞれ8画素おきに間引きおよび輝度補間処理によって得られた本発明によるモアレ縞画像(8×8=64枚の位相シフトした画像のうちの最初の1枚)である。図7(d’)は本発明によって得られた図7(c’)のモアレ縞の位相分布であり、図7(e’)は本発明で解析した場合の位相誤差分布である。評価領域全体の位相誤差の平均値は0.006%、標準偏差は0.84%であった。図8に図7(e)と図7(e’)のx方向およびy方向のそれぞれの中央1ラインの断面データを示す。図7と図8に示すシミュレーション結果から、従来方法より位相誤差のばらつきを低減できたことがわかる。
(第2の詳細な実施の形態:実験による1方向の縞格子画像に対する位相解析の精度向上の検証)
本発明の実施例1に記されている方法の有効性を確認するために、実際の実験でもその効果を確認した。図9に1例の実験結果を示す。図9(a)に大きさが30mm角の物体表面に格子ピッチが1.13mmの正弦波を貼付けたものを撮影した縞画像(画像サイズは500×500画素)を示す。このときのCCDカメラの露光時間は1/1000,カメラレンズの絞りはF8であったため、撮影された縞画像のSNRが極めて低い状態である。同じ撮影対象を意図的に斜め方向45°傾いた状態で同じ撮影条件で取得した縞画像を図9(b)に示す。
図9(c)は従来の1次元の解析(間引き数はM=12)より得られたモアレ縞の輝度振幅分布であり、図9(d)は本発明の実施例1に示す2次元解析(間引き数はM=16とN=15)によって得られたモアレ縞の輝度振幅である。図9(e)は従来の1次元の解析(間引き数はM=12)より得られたモアレ縞の位相分布であり、図9(f)は本発明の実施例1に示す2次元解析(間引き数はM=16とN=15)によって得られたモアレ縞の位相分布である。なお、図9(e)と図9(f)中の黒色の部分は図9(c)と図9(d)においてモアレ縞の振幅は2.5以下の画素を黒くマスクしたものである。図9からわかるように、撮影条件と撮影枚数は同じであるにもかかわらず、本発明のほうが精度よく位相分布を解析できる。
(第3の詳細な実施の形態:実験による縞画像の2方向の位相同時解析の精度向上の検証)
本発明の実施例1に記されている方法について、縞画像の2方向の位相同時解析の精度向上を検証するための実験結果を図10と図11に示す。図10に従来の方法による実験解析結果を示す。図10(a)に大きさが30mm角の物体表面に格子ピッチが1.13mmの2次元の正弦波を貼付けたものを撮影した2次元縞画像(画像サイズは400×400画素)を示す。このときのCCDカメラの露光時間は1/1000,カメラレンズの絞りはF8であったため、撮影された縞画像のSNRが極めて低い状態である。図10(b)と図10(b’)はそれぞれローパスフィルタ処理より分離されたx方向とy方向の格子画像である。図10(c)と図10(c’)はそれぞれ1次元のサンプリングモアレ法(間引き数M=12)によって得られたx方向とy方向のモアレ縞の位相分布である。図10(d)と図10(d’)は最終的に得られた縞画像そのもののx方向とy方向の位相分布である。従来の1次元サンプリングモアレ法では、1枚の2次元縞格子に対してローパスフィルタ処理を行い、x方向とy方向の縞格子を分離したうえで、2方向の位相分布を算出している。これより、2次元の面内変位計測などへ適用可能であるが、SNRが低いため測定結果に多くの誤差が含まれている。
一方、図11に本発明による実験解析結果を示す。図10(a)と同様な対象物を斜め方向45°傾いた状態で撮影した縞格子画像を図11(a)に示す。図11(a)に対して、2次元サンプリングモアレ法(間引き数M=16、N=15)を適用し、本発明による2次元DFTより算出したモアレ縞の位相分布を図11(b)に示す。図11(c)と図11(d)にそれぞれ図11(b)の位相分布に対して、x方向またはy方向の間引き数の位相分布を加算することで得られた2方向の位相分布を示す。本発明の2次元サンプリングモアレ法では、1枚の2次元格子に対してローパスフィルタ処理を行うことなく、2方向の位相分布を同時に算出することができる。加えて、ランダムノイズに強いため、誤差が少ない結果が得られ、本発明の効果を確認することができた。
(第4の詳細な実施の形態:シミュレーションによるランダムノイズの影響)
本発明の実施例2に記されている方法の有効性を確認するために、ランダムノイズを付加した場合のシミュレーション結果を図12に示す。本シミュレーションでは、4枚の位相シフトした格子ピッチが14.1画素の正弦波を作成し、それぞれの格子画像に標準偏差が25%のランダムノイズを付加した画像を用いた。画像サイズである256×256画素のうち、中央200×50の領域を評価した。
図12(a)に4枚の位相シフトの縞格子画像を示す。図12(b)と図12(d)にそれぞれ従来の位相シフト法(PSM)と本発明の実施例2の2次元時空位相シフト法(ST-PSM)(間引き数M=14)によって得られた位相分布を示す。図12(c)と図12(e)にそれぞれ従来の位相シフト法と本発明の実施例2の2次元時空位相シフト法によって得られた誤差分布を示す。図12(f)に両手法の位相誤差分布のヒストグラムを示す。従来手法の場合、位相誤差の標準偏差は2.81%であるのに対して、本発明によれば位相誤差のばらつきを0.6%まで大幅に低減することができる。
さらに、第1の手法である、2次元サンプリングモアレ法(2次元の空間的解析手法)において、解析する際の間引き数の違いによる解析誤差の影響をシミュレーションより調査した結果を図21に示す。
本シミュレーションでは、まずx方向の格子ピッチが10画素の1次元の正弦波画像(150画素×150画素)を作成し、ノイズを付加しない条件で、x方向に対して間引き数Mを6画像から14画素と解析条件を変えて、従来の1次元のサンプリングモアレ法を用いて位相解析し、中央評価領域(100画素×100画素)において、理論の位相分布との誤差の二乗平均平方根の値(図中実線部)をプロットした。次に、x方向とy方向の格子ピッチが共に10画素の1次元の斜めの正弦波を作成し、ノイズを付加しない条件で、x方向およびy方向の間引き数(M=N)を6画像から14画素と解析条件を変えて、本発明の第1の手法を用いて位相解析し、理論の位相分布との誤差の二乗平均平方根の値(図中破線部)をプロットした。
図21に示すとおり、従来の1次元サンプリングモアレ法は元の格子ピッチと完全に一致したときのみ、(周期的な)誤差は発生しない。元の格子ピッチと間引き数がずれれば誤差が大きく発生することがわかる。一方、本発明によれば、元の格子ピッチと間引き数がずれていてもほとんど誤差が発生しないことがわかる。このことから、本発明は解析する際に正確な間引き数を決定することがなく、より簡便に高精度な位相解析が行えることを意味する。なお、この効果は、第2の手法である、時空間位相シフト法(2次元の時空間解析)と、第3の手法である、時空間位相シフト法(3次元の時空間解析)についても、同様な効果がある。
(第5の詳細な実施の形態:シミュレーションによる振動の影響)
本発明の実施例2に記されている方法の有効性を確認するために、振動などによる位相シフト誤差を与えた場合のシミュレーション結果を図13に示す。本シミュレーションでは、格子ピッチが14.1画素の4枚の位相シフトした正弦波形に対して、それぞれ-π/10、-π/15、π/10、π/15の位相シフト誤差を与えた画像を用いた。画像サイズである256×256画素のうち、中央200×50の領域を評価した。図13(a)に4枚の位相シフトの縞格子画像を示す。
図13(b)と図13(d)にそれぞれ従来の位相シフト法(PSM)と本発明の実施例2の2次元時空位相シフト法(ST-PSM)(間引き数M=14)によって得られた位相分布を示す。図13(c)と図13(e)にそれぞれ従来の位相シフト法と本発明の実施例2の2次元時空位相シフト法によって得られた誤差分布を示す。図13(f)に図13(c)と図13(e)中の位相誤差分布の中央横1ラインの断面データを示す。図13(f)からわかるように、ランダムノイズがない状態でも位相シフト誤差がある場合、従来の位相シフト法においては周期的な位相誤差が発生する。一方、本発明ではその影響をほとんど受けないことがわかる。
(第6の詳細な実施の形態:実験による半導体パッケージの反り分布計測)
本発明の実施例2に記されている方法の有効を確認するために、縞画像の位相解析方法を格子投影法に適用し、半導体パッケージ(FC-BGA)の反り分布計測の実験結果を図14に示す。格子投影法では、プロジェクタなどより格子模様を測定対象物の表面に投影し、異なる角度・位置にあるカメラから観察すると、物体の高さに応じて、投影格子が歪むことになる。この歪み量を位相解析すれば、物体の高さ(反り)を測定することができる。
図14(a)に測定対象物である半導体パッケージ(サイズ:50×50mm)を示す。図14(b)に撮影された8枚の位相シフト縞画像を示す。図14(c)と図14(d)にそれぞれ従来の8ステップの位相シフトと本発明により得られた反り分布を示す。サンプル中央のチップ部では反射率が低いため、従来の位相シフト法による計測では、ばらつきの大きい(一部では計測不能)結果となっている。加えて、計測時の環境の振動の影響から生じる位相シフト誤差によりサンプル全体の測定結果に周期的誤差が見受けられる。これに対して、本発明によれば、反射率の低いチップ部やサンプル全体において、誤差の少ない反り分布が得られている。本発明の効果を確認することができる。
(第7の詳細な実施の形態:シミュレーションによるランダムノイズの影響の比較)
本発明の実施例3に記されている方法の有効性を確認するために、ランダムノイズを付加した場合のシミュレーション結果を図15と図16に示す。図15(a)に解析するランダムノイズのない理想な斜めの縞画像を示す。ここでは、7枚の位相シフト縞画像の最初の1枚目のみを表示している。図15(a)の縞画像に対して、標準偏差が200%のランダムノイズを付加した縞画像を図15(b)に示す。ここも7枚の位相シフト縞画像の最初の1枚目のみを表示している。この場合、縞画像のSNRは0.5に相当する。図15(c)と図15(d)はそれぞれ従来の7ステップの位相シフト法によって得られた位相分布と誤差分布である。図15(d)からわかるように本来解析したい信号成分よりもノイズ成分が倍になっているため、従来手法では解析することが困難である。
図15(e)と図15(f)はそれぞれ本発明である3次元時空位相シフト法(間引き数M=N=8,位相シフト数T=7)によって得られた位相分布と誤差分布である。図15(f)の画像全体において、位相誤差の標準偏差は1.71%であった。計測条件が極悪であるにもかかわらず、従来計測困難だったものを数%以内の誤差で位相分布を算出することができた。図16に図15(e)と図15(f)のx方向の中央1ラインの断面データを示す。従来方法の計測結果に比べて本発明による効果は一目瞭然である。
上に詳細に説明した本発明の応用分野を以下に示すが、応用分野はこれらに限定されるものではない。
本発明は、まず電子産業における電子部品や自動車産業における成型品・加工品の高精度な3次元形状計測や品質管理、あるいは一般的な製造業分野や服飾業においては、格子投影法による電子部品や金型加工品等の3次元形状・変位計測、自動車ボディの形状検査やへこみの検出、人体の寸法を自動的測定することによるオーダーメイドの衣服の作製、貴重な美術品・工芸品・出土品の立体形状データの保存への応用が可能である。
図17は、物体の3次元形状を測定するための格子投影法を用いた装置の実施例を示すが、これに限定されるものではない。測定対象物体5である拡散物体の表面に格子投影装置4より投影した格子模様をカメラ3で撮影する。撮影された格子模様は測定対象物の高さに応じてゆがむため、このゆがみによる縞画像の位相のずれを事前に位相と高さの関係を調べるキャリブレーションを行うことで、縞画像の位相値から物体の高さ情報を測定できる。複数枚の位相がシフトされた格子模様を投影する場合、計算機1内の位相シフトの制御部11より位相が少しずつシフトした格子模様を順次に投影し、タイミングの同期部10の信号に合わせて縞格子画像の記録部12より縞画像データを取得する。位相解析の演算部13で上に述べた実施例において説明した縞画像の位相分布解析方法を実施して位相分布算出をし、形状データの計測結果をモニター2に出力する。
光学分野では、本発明は、光デバイスの研究開発・製造分野における光スイッチ素子、導波路、光ファイバ等の屈折率分布の観察・定量計測による構造評価において、各種干渉計(例えば、マイケルソン干渉計、マッハツェンダー干渉計、フィゾー干渉計など)を用いた光学部品の厚さ、平面度、平行度などの精密検査、光デバイスの研究開発における光スイッチ素子、光導波路、光ファイバ等の屈折率分布や傾斜角度の定量的計測による構造評価への応用が可能である。
図18は、光学部品の表面形状を測定するためのトワイマングリーン干渉計を用いた装置の実施例を示すが、これに限定されるものではない。レーザー6からのコリメートされたレーザー光は、ハーフミラー20によって参照ミラー21および測定対象物5である光学部品に照射され、これらからの反射光は、ハーフミラー20を介してカメラ3に入射するよう構成されている。なお、高周波のキャリア縞を干渉パターンに導入するために参照ミラー21をわずかに傾けられている。また、位相シフトを導入するためにPZTステージ22を利用して参照ミラーを動かせばよい。得られた干渉縞パターンは、カメラ3より撮像され、計算機1の記録部12に入力される。演算部13を介して上に述べた実施例において説明した縞画像の位相分布解析方法を実施して位相分布の算出をし、評価した計測結果をモニター2に出力する。
土木建築分野では、本発明は、超音波映像化画像の位相情報による被検体の欠陥検出、異常変位の検出による地滑り検知、およびインフラ構造物の健全性評価において、インフラ構造物の非破壊検査評価(例えば、超音波画像による欠陥検出や格子画像による変位・ひずみ分布計測)による長寿命化、斜面に格子パネルを設置したリモート監視による土砂災害の前兆の検出への応用が可能である。
図19は、構造物の変位分布を測定するための画像計測を用いた装置の実施例を示すが、これに限定されるものではない。測定対象物5である構造体の表面に格子模様24を付与する(例えば、格子の貼付けや格子模様の塗装など)。一定距離から離れたカメラ3より撮影された変形過程での時系列の縞格子画像を計算機1の記録部12に入力される。演算部13を介して上に述べた実施例において説明した縞画像の位相分布解析方法を実施して位相分布の算出をし、評価した変位分布の計測結果をモニター2に出力する。
本発明は、医学・医療分野では、OCTやX線、位相シフトレーザー顕微鏡による非侵襲的診断や細胞解析において、整形や歯型のデータベース化への応用が可能である。
また本発明は、バイオテクノロジー分野における非染色生体関連試料の微細構造観察・定量計測などへの応用が可能である。
図20は、生体細胞の屈折率分布を測定するための位相シフトレーザー顕微鏡を用いた装置の実施例を示すが、これに限定されるものではない。位相シフトレーザー顕微鏡では、対物レンズ25と拡大レンズ26の間にバイプリズム27を挿入する。レーザー6からのコリメートされたレーザー光に対して、測定対象物5である透明物体を入射平面波の半分の部分に挿入し、残りの半分は参照波として用いる。透明物体を透過した物体光と参照光はバイプリズム27によって曲げられて、カメラ3の観測面上で重なり合って干渉する。バイプリズム27をPZTステージ22より横に移動させることで位相シフトを導入することができ、カメラ3より撮像された縞画像を計算機1の記録部12に入力される。演算部13を介して上に述べた実施例において説明した縞画像の位相分布解析方法を実施して物体波と参照波の相対的な位相差を算出することで測定対象物の屈折率分布を計測する。
本発明の方法を実行するプログラムの実施例については、パーソナルコンピュータを用いて上述の方法の実施例の図4乃至図6に示した手順を実行するプログラムをCおよびC++言語で作成して方法を実行し結果を表示装置に表示して確認した。
プログラムは、上で述べたように、汎用計算機を用いて縞画像データを処理し表示装置で結果を表示する汎用的なプログラムであってもよいし、実施例5乃至実施例8で示した各種計測装置・機器に適合する固有のプログラムであってもよい。またプログラムは内蔵式、組み込み式(Imbedded)、読み込み式、あるいはダウンロード方式を問わない。
本発明は位相分布計測方法およびそれを用いた装置に関し、特に格子投影法による3次元物体の形状・変形計測や、干渉計(マイケルソン干渉計、マッハツェンダー干渉計、フィゾー干渉計など)を用いた光学部品の形状評価(例えば、膜厚・平面度・平行度)や屈折率分布を測定する際に好適なものである。
より具体的に応用展開できる産業分野は、製造業分野・服職業、光学分野、土木建築分野、および医療分野が挙げられる。
また本発明を適用できる装置としては、3次元形状変形計測装置、各種の光干渉計装置、透明材料の厚さや屈折率分布の計測装置、映像化超音波探傷装置および位相シフトレーザー顕微鏡が挙げられる。
1 計算機
2 モニター
3 カメラ
4 格子投影装置
5 測定対象物
6 レーザー
10 タイミングの同期部
11 位相シフトの制御部
12 縞格子画像の記録部
13 位相解析の演算部
20 ハーフミラー
21 参照ミラー
22 PZTステージ
23 平面ミラー
24 格子模様
25 対物レンズ
26 拡大レンズ
27 バイプリズム
41 x方向にM画素おきに間引きと輝度補間処理
42 y方向にN画素おきに間引きと輝度補間処理
43 2次元の離散フーリエ変換
44 間引きの位相分布を加算
51 位相シフト法
52 縞画像の輝度振幅の正規化処理
53 x方向にM画素おきに間引きと輝度補間処理
54 2次元の離散フーリエ変換
55 間引きの位相分布を加算
61 位相シフト法
62 縞画像の輝度振幅の正規化処理
63 x方向にM画素おきに間引きと輝度補間処理
64 y方向にN画素おきに間引きと輝度補間処理
65 3次元の離散フーリエ変換
66 間引きの位相分布を加算

Claims (9)

  1. 物体表面上の縞模様を水平方向および垂直方向に撮影素子が配置された光学式デジタルカメラで撮影して得た縞画像の位相分布を算出する縞画像の位相分布解析方法であって、
    前記物体表面上の縞模様を1枚または時間的位相をシフトして複数枚撮影して2次元縞画像または複数枚の2次元縞画像を時系列的に配置し構成した3次元の縞画像を取得するステップと、
    前記1枚の2次元縞画像または前記3次元の縞画像の輝度データに少なくとも間引き処理を行い位相がシフトされた複数枚のモアレ縞画像を生成するステップと、
    前記位相がシフトされたモアレ縞画像に対し高速フーリエ変換または離散フーリエ変換を用いて水平方向または垂直方向のモアレ縞画像の位相分布を求めるステップと、
    前記位相分布の各点の値に対して、前記間引き処理における当該間引き点の位相の値を加算して前記物体上の縞模様画像の位相分布を算出するステップを、
    有することを特徴とする縞画像の位相分布解析方法。
  2. 前記2次元縞画像を取得するステップは、
    前記光学式デジタルカメラの撮影素子の水平および垂直の配置に対して前記物体表面上に1方向にまたは互いに直交する2方向に斜めに配置された前記縞模様を撮影して2次元縞画像を取得するステップであって、
    前記位相がシフトされた複数枚のモアレ縞画像を生成するステップは、
    前記2次元縞画像に対して、水平方向と垂直方向にそれぞれM画素とN画素(MとNは共に3以上の整数)なる等間隔の画素ごとに水平方向と垂直方向の起点の画素を順次変えながら各々M回およびN回の間引き処理を行うサブステップと、
    前記間引き処理によって得られた水平または垂直方向の間引き画像の各々について輝度値の補間処理をしてM×N枚のモアレ縞画像を生成するサブステップとからなる、
    ことを特徴とする請求項1に記載の縞画像の位相分布解析方法。
  3. 前記3次元の縞画像を取得するステップは、
    前記光学式デジタルカメラの撮影素子の水平および垂直の配置に対して前記物体表面上に水平方向、または垂直方向に配置された、または水平方向と垂直方向とに格子状に配置された前記縞模様を、時間的位相をシフトしてT枚(Tは3以上の整数)撮影して、位相がシフトされた複数枚の2次元縞画像を取得するステップであって、
    前記位相がシフトされた複数枚のモアレ縞画像を生成するステップは、
    前記時間的位相をシフトしたT枚の2次元縞画像に対して、前記格子状の縞模様の輝度振幅分布が一定でない場合には、位相シフト法より算出した輝度振幅と背景輝度分布を用いて輝度振幅が一定となる正規化したT枚の2次元縞画像に変換する前処理サブステップを有し、
    前記輝度振幅が一定の時間的位相をシフト方向したT枚の各々の2次元縞画像について水平方向または垂直方向にM画素なる等間隔の画素ごとにサンプリングする間引き処理サブステップと、
    前記間引き処理によって得られた水平または垂直方向のM枚の間引き処理画像の各々について輝度値の補間処理をしてM×T枚のモアレ縞画像を生成するサブステップとからなる、
    ことを特徴とする請求項1に記載の縞画像の位相分布解析方法。
  4. 前記3次元の縞画像を取得するステップは、
    前記光学式デジタルカメラの撮影素子の水平および垂直の配置に対して前記物体表面上に1方向に斜めに配置されたまたは互いに直交する2方向に格子状に斜めに配置された前記縞模様を、時間的位相をシフトしてT枚(Tは3以上の整数)撮影して、位相がシフトされた複数枚の2次元縞画像を取得するステップであって、
    前記位相がシフトされた複数枚のモアレ縞画像を生成するステップは、
    前記時間的位相をシフトしたT枚の2次元縞画像に対し、前記縞模様の輝度振幅分布が一定でない場合に限り、位相シフト法より算出した輝度振幅と背景輝度分布を用いて輝度振幅が一定となる正規化したT枚の2次元縞画像に変換する前処理サブステップを有し、前記輝度振幅が一定の2次元縞画像の各々に対して、水平方向と垂直方向にそれぞれM画素とN画素なる等間隔の画素ごとに水平方向と垂直方向の起点の画素を順次変えながら各々M回およびN回の間引き処理を行うサブステップと、
    前記間引き処理によって得られた水平または垂直方向の間引き画像の各々について輝度値の補間処理することによってM×N枚のモアレ縞画像を生成するサブステップを適用して、時間的位相のシフトしたT枚についてM×N×T枚のモアレ縞画像を生成するステップである、
    ことを特徴とする請求項1に記載の縞画像の位相分布解析方法。
  5. 構造物の3次元形状、変位、ひずみの分布を計測する計測装置であって、請求項1乃至請求項4のいずれか1項に記載した縞画像の位相分布解析方法を実施することを特徴とする計測装置。
  6. 光学部品、透明物体の厚さ、または屈折率の分布や傾斜角度を計測する計測装置であって、請求項1乃至請求項4のいずれか1項に記載した縞画像の位相分布解析方法を実施することを特徴とする計測装置。
  7. 超音波映像化画像の位相情報による被検体の欠陥検出、異常変位の検出による地滑り検知、およびインフラ構造物の健全性評価を行う計測装置であって、請求項1乃至請求項4のいずれか1項に記載した縞画像の位相分布解析方法を実施することを特徴とする計測装置。
  8. 生物の細胞組織を非侵襲的に解析および評価する計測装置であって、請求項1乃至請求項4のいずれか1項に記載した縞画像の位相分布解析方法を実施することを特徴とする計測装置。
  9. 縞画像の位相分布解析プログラムであって、請求項1乃至請求項4のいずれか1項に記載の手順を実行することを特徴とするプログラム。
JP2014504638A 2012-03-14 2012-12-20 高次元輝度情報を用いた縞画像の位相分布解析方法、装置およびそのプログラム Active JP5818218B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014504638A JP5818218B2 (ja) 2012-03-14 2012-12-20 高次元輝度情報を用いた縞画像の位相分布解析方法、装置およびそのプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012057436 2012-03-14
JP2012057436 2012-03-14
JP2014504638A JP5818218B2 (ja) 2012-03-14 2012-12-20 高次元輝度情報を用いた縞画像の位相分布解析方法、装置およびそのプログラム
PCT/JP2012/083112 WO2013136620A1 (ja) 2012-03-14 2012-12-20 高次元輝度情報を用いた縞画像の位相分布解析方法、装置およびそのプログラム

Publications (2)

Publication Number Publication Date
JPWO2013136620A1 true JPWO2013136620A1 (ja) 2015-08-03
JP5818218B2 JP5818218B2 (ja) 2015-11-18

Family

ID=49160573

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014504638A Active JP5818218B2 (ja) 2012-03-14 2012-12-20 高次元輝度情報を用いた縞画像の位相分布解析方法、装置およびそのプログラム

Country Status (5)

Country Link
US (1) US9389068B2 (ja)
EP (1) EP2827097B1 (ja)
JP (1) JP5818218B2 (ja)
CN (1) CN104160241B (ja)
WO (1) WO2013136620A1 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11153696B2 (en) 2017-02-14 2021-10-19 Virtual 3-D Technologies Corp. Ear canal modeling using pattern projection
US9456752B2 (en) 2013-03-14 2016-10-04 Aperture Diagnostics Ltd. Full-field three-dimensional surface measurement
KR101796129B1 (ko) * 2013-07-18 2017-11-10 내셔날 인스티튜트 오브 어드밴스드 인더스트리얼 사이언스 앤드 테크놀로지 규칙성 모양에 의한 변위 분포를 위한 측정방법, 장치 및 그 프로그램
JP2015162706A (ja) * 2014-02-26 2015-09-07 ソニー株式会社 画像処理装置および方法、並びにプログラム
EP3012577B1 (en) * 2014-06-30 2020-02-12 4d Sensor Inc. Method for measuring a deformation of a surface of an object, computer program, and computer readable recording medium
US10267626B2 (en) 2014-06-30 2019-04-23 4D Sensor Inc. Measurement method, measurement apparatus, measurement program and computer readable recording medium in which measurement program has been recorded
CN104209800A (zh) * 2014-08-13 2014-12-17 东莞市日进五金科技有限公司 一种走刀机工件送料装置及送料方法
WO2016057043A1 (en) * 2014-10-10 2016-04-14 Georgia Tech Research Corporation Dynamic digital fringe projection techniques for measuring warpage
US10289895B2 (en) * 2014-10-21 2019-05-14 Isra Surface Vision Gmbh Method and device for determining a three-dimensional distortion
CN105678759B (zh) * 2016-01-04 2019-01-11 上海信洁照明科技有限公司 原棉轧工表观质量的数字化检验方法
USD802256S1 (en) 2016-01-29 2017-11-14 V.F. Corporation Pant with anatomy enhancing pockets
US10551177B2 (en) 2016-04-06 2020-02-04 4D Sensor Inc. Apparatus and method for measuring 3D form or deformation of an object surface using a grid pattern and reference plane
EP3489621A4 (en) * 2016-09-27 2020-04-08 National Institute of Advanced Industrial Science and Technology THREE-DIMENSIONAL MOLDING, SHIFTING AND STRENGTH MEASURING DEVICE AND METHOD WITH PERIODIC STRUCTURE AND PROGRAM THEREFOR
TWI651513B (zh) 2016-11-15 2019-02-21 財團法人工業技術研究院 三維量測系統及其方法
JP6718160B2 (ja) 2017-02-23 2020-07-08 国立研究開発法人産業技術総合研究所 残留熱ひずみ測定方法、残留熱ひずみ測定装置、及びそのプログラム
JP6658625B2 (ja) * 2017-03-08 2020-03-04 オムロン株式会社 3次元形状計測装置及び3次元形状計測方法
JP6902684B2 (ja) * 2017-03-21 2021-07-14 高知県公立大学法人 画像処理装置および検査システム
JP2018205430A (ja) * 2017-05-31 2018-12-27 国立研究開発法人産業技術総合研究所 位相シフトデジタルホログラフィ装置及びそのプログラム
JP6897398B2 (ja) * 2017-07-31 2021-06-30 セイコーエプソン株式会社 三次元形状測定装置、ロボットシステム、及び三次元形状測定方法
US20200178632A1 (en) * 2017-08-30 2020-06-11 VF Jeanswear Limited Partnership Automated control and inspection system for manufacture and measurement of apparel
JP6982336B2 (ja) * 2017-10-24 2021-12-17 国立研究開発法人産業技術総合研究所 計測方法、コンピュータプログラム及び計測システム
CN112740666A (zh) 2018-07-19 2021-04-30 艾科缇弗外科公司 自动手术机器人视觉系统中多模态感测深度的系统和方法
CN108981610B (zh) * 2018-07-25 2020-04-28 浙江大学 一种基于时序逻辑边缘检测的三维测量阴影去除方法
US10861726B2 (en) * 2018-09-21 2020-12-08 Advanced Semiconductor Engineering, Inc. Apparatus and method for measuring warpage
CN109682814B (zh) * 2019-01-02 2021-03-23 华中农业大学 一种用tof深度相机修正空间频域成像中组织体表面光照度的方法
KR20220021920A (ko) 2019-04-08 2022-02-22 액티브 서지컬, 인크. 의료 이미징을 위한 시스템 및 방법
CN110646376A (zh) * 2019-04-22 2020-01-03 天津大学 一种基于条纹偏折的透镜缺陷检测方法
CN110230996B (zh) * 2019-05-30 2020-10-27 西安理工大学 基于二维稀疏s变换快速频域解相的三维面形测量方法
WO2021035094A1 (en) 2019-08-21 2021-02-25 Activ Surgical, Inc. Systems and methods for medical imaging
CN111879257A (zh) * 2020-07-21 2020-11-03 南昌航空大学 一种基于傅里叶变换轮廓术的高动态范围实时三维测量方法
CN112747693B (zh) * 2020-12-25 2022-05-31 南京理工大学智能计算成像研究院有限公司 针对高反光物体的一种基于彩色图像检测的三维测量方法
CN113205593B (zh) * 2021-05-17 2022-06-07 湖北工业大学 一种基于点云自适应修复的高反光表面结构光场三维重建方法
CN113375803B (zh) * 2021-06-08 2022-09-27 河北工业大学 投影仪径向色差的测量方法、装置、存储介质及设备
CN113409417B (zh) * 2021-07-15 2023-05-30 南京信息工程大学 一种基于小波变换的莫尔条纹信息提取方法
TWI792621B (zh) 2021-10-20 2023-02-11 財團法人工業技術研究院 量測方法
CN114719780B (zh) * 2022-04-07 2022-12-16 昆明理工大学 基于深度学习的反光物体表面结构光投影三维测量方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60195406A (ja) * 1984-03-19 1985-10-03 Univ Osaka 走査モアレ法による2次元ひずみ計測法
JP2011174874A (ja) * 2010-02-25 2011-09-08 Wakayama Univ 変位計測装置、方法およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5307152A (en) * 1992-09-29 1994-04-26 Industrial Technology Institute Moire inspection system
DE19643018B4 (de) * 1996-10-18 2010-06-17 Isra Surface Vision Gmbh Verfahren und Vorrichtung zum Messen des Verlaufs reflektierender Oberflächen
US6084712A (en) * 1998-11-03 2000-07-04 Dynamic Measurement And Inspection,Llc Three dimensional imaging using a refractive optic design
US6788210B1 (en) * 1999-09-16 2004-09-07 The Research Foundation Of State University Of New York Method and apparatus for three dimensional surface contouring and ranging using a digital video projection system
JP3871309B2 (ja) * 2001-01-31 2007-01-24 フジノン株式会社 位相シフト縞解析方法およびこれを用いた装置
US6816247B1 (en) * 2001-08-14 2004-11-09 Carl Zeiss Smt Ag Moiré method and a system for measuring the distortion of an optical imaging system
CN1267766C (zh) 2003-12-26 2006-08-02 四川大学 用频闪结构照明实现高速运动物体三维面形测量的方法
JP4831703B2 (ja) 2008-04-23 2011-12-07 国立大学法人 和歌山大学 物体の変位測定方法
JP5743419B2 (ja) 2010-04-18 2015-07-01 国立大学法人宇都宮大学 形状測定方法及び装置並びに歪み測定方法及び装置
CN101986098B (zh) 2010-09-21 2012-02-22 东南大学 基于三色光投影的傅里叶变换三维测量法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60195406A (ja) * 1984-03-19 1985-10-03 Univ Osaka 走査モアレ法による2次元ひずみ計測法
JP2011174874A (ja) * 2010-02-25 2011-09-08 Wakayama Univ 変位計測装置、方法およびプログラム

Also Published As

Publication number Publication date
JP5818218B2 (ja) 2015-11-18
EP2827097B1 (en) 2018-11-07
EP2827097A1 (en) 2015-01-21
WO2013136620A1 (ja) 2013-09-19
US9389068B2 (en) 2016-07-12
US20150049331A1 (en) 2015-02-19
CN104160241B (zh) 2017-06-30
EP2827097A4 (en) 2015-12-23
CN104160241A (zh) 2014-11-19

Similar Documents

Publication Publication Date Title
JP5818218B2 (ja) 高次元輝度情報を用いた縞画像の位相分布解析方法、装置およびそのプログラム
JP6583761B2 (ja) 周期模様を利用した三次元形状・変位・ひずみ測定装置、方法およびそのプログラム
JP4873485B2 (ja) 多数の基準面を用いた形状計測方法および形状計測装置
JP5743419B2 (ja) 形状測定方法及び装置並びに歪み測定方法及び装置
JP2009264852A (ja) 格子画像の位相解析方法およびそれを用いた物体の変位測定方法ならびに物体の形状測定方法
Mudassar et al. Improved digital image correlation method
JP5818341B2 (ja) 形状計測装置および形状計測方法
EP3845857A1 (en) Surface shape measurement device and surface shape measurement method
JPWO2017175341A1 (ja) 計測方法、計測装置、計測プログラム及び計測プログラムを記録した、コンピュータ読み取り可能な記録媒体
JP5130513B2 (ja) 3次元変位ひずみ計測方法及び装置
JP2013178174A (ja) 複数の格子を用いた三次元形状計測装置
CN110631487B (zh) 一种利用激光散斑自相关技术测量横向微位移的方法
JP6533914B2 (ja) 計測方法、計測装置、計測プログラム及び計測プログラムを記録した、コンピュータ読み取り可能な記録媒体
US20160021305A1 (en) Method and apparatus for measuring optical systems and surfaces with optical ray metrology
JP2017006468A (ja) 放射線撮像装置および微分方向推定方法
JP6196841B2 (ja) 透過波面計測装置及び透過波面計測方法
Morimoto et al. Theory and application of sampling moire method
JP5518187B2 (ja) 変形計測方法
Tu et al. Calibration of coherent optical fiber bundle with LCD screen for deformation measurements
JP2007292468A (ja) 位相特異点検出方法、及び、位相特異点検出装置、並びに、プログラム
JP2013024737A (ja) 3次元形状測定方法及び装置並びに3次元形状測定用顕微鏡装置
Yuanhao Development of digital image correlation method for displacement and shape measurement
Palevicius et al. A technique for the reconstruction of a map of continuous curves from interference fringes
JP2007071589A (ja) デジタルホログラフィを利用した変位分布計測方法及び物体像再生方法
Ri et al. Two-dimensional sampling Moiré method for fast and accurate phase analysis of single fringe pattern

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150918

R150 Certificate of patent or registration of utility model

Ref document number: 5818218

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250