WO2018159825A1

WO2018159825A1 - 検査システムおよび検査方法

Info

Publication number: WO2018159825A1
Application number: PCT/JP2018/008071
Authority: WO
Inventors: 圭一赤澤; 井上　靖之; 栗原　徹
Original assignee: リコーエレメックス株式会社; 高知県公立大学法人
Priority date: 2017-03-03
Filing date: 2018-03-02
Publication date: 2018-09-07
Also published as: US20200011810A1; JP2018146364A; US10775316B2; JP6800463B2; CN110383050A; DE112018001127T5

Abstract

実施形態の検査システムは、第１縞パターンが１周期分移動した後、シームレスで、第２縞パターンが１周期分移動するように、複数の縞パターンを順次切り替えて出力する照明部と、複数の縞パターンの出力開始のトリガとなる第１信号を照明部に出力する第１信号出力部と、複数の縞パターンの切り替えのトリガとなる第２信号を照明部に出力する第２信号出力部と、イメージセンサから出力されるフレームの重畳を第１信号に基づいたタイミングで開始することで時間相関画像データを取得する画像データ取得部と、時間相関画像データに基づいて、第１縞パターンのみに対応した第１時間相関画像および第２縞パターンのみに対応した第２時間相関画像を生成する画像生成部と、第１時間相関画像および第２時間相関画像に基づいて、検査対象面における異常を検出する異常検出部と、を備える。

Description

検査システムおよび検査方法

　本発明の実施形態は、検査システムおよび検査方法に関する。

　従来、周期的に変化する縞パターンなどの光を被検査体に照射し、当該被検査体の表面からの反射光を撮像することで、光の強度のみならず、光の時間遷移に関する情報をも含んだ時間相関画像を取得する技術が提案されている。このような時間相関画像は、たとえば、被検査体の異常を検出するために用いられる。

特開２０１５－１９７３４５号公報

　上記のような時間相関画像を用いた異常検出では、異常をより精度よく検出するため、複数種類の縞パターン、たとえば互いに直交する２方向に延びる２種類の縞パターンをそれぞれ移動させることで得られる複数の時間相関画像を用いた検査を行うことが必要となる場合がある。

　しかしながら、従来では、２種類の縞パターンの各々に対応した時間相関画像を得るために、一方の縞パターンのみを連続的に出力して相関演算（フレームの重畳）を行った後、当該一方の縞パターンの出力を一旦停止し、その後に他方の縞パターンを新たに読み込んで、当該他方の縞パターンのみを連続的に出力して相関演算を行うことが一般的であった。このため、従来では、縞パターンの切り替えに時間がかかり、その分、検査に要するタクトタイム（サイクルタイム）が比較的長くなっていた。

　そこで、検査に要するタクトタイム（サイクルタイム）を短縮することが望まれる。

　実施形態の検査システムは、第１方向に延びる第１縞パターンが第１方向と交差する第２方向に１周期分移動した後、シームレスで、第２方向に延びる第２縞パターンが第１方向に１周期分移動するように、複数の縞パターンを順次切り替えて出力することで、被検査体に対して光の強度の周期的な時間変化および空間変化を与える照明部と、複数の縞パターンの出力開始のトリガとなる第１信号を照明部に出力する第１信号出力部と、複数の縞パターンの切り替えのトリガとなる第２信号を照明部に出力する第２信号出力部と、時間相関カメラまたはそれと等価な動作をする撮像システムに用いられるイメージセンサと、イメージセンサから出力されるフレームの重畳を第１信号に基づいたタイミングで開始することで、照明部によって照らされた被検査体の検査対象面を撮像した時間相関画像データを取得する画像データ取得部と、時間相関画像データに基づいて、第１縞パターンのみに対応した第１時間相関画像および第２縞パターンのみに対応した第２時間相関画像を生成する画像生成部と、第１時間相関画像および第２時間相関画像に基づいて、検査対象面における異常を検出する異常検出部と、を備える。

図１は、第１実施形態による検査システムの構成を示した例示的なブロック図である。図２は、第１実施形態の時間相関カメラの構成を示した例示的なブロック図である。図３は、第１実施形態の時間相関カメラにおいて時系列順に蓄積されるフレームを概念的に表した例示的な図である。図４は、第１実施形態の照明装置が照射する縞パターンの一例を示した例示的な図である。図５は、第１実施形態の時間相関カメラによる、被検査体の異常の第１の検出例を示した例示的な図である。図６は、第１実施形態において、図５に示される異常が存在する場合に、当該異常に応じて変化する、光の振幅の例を表した例示的な図である。図７は、第１実施形態の時間相関カメラによる、被検査体の異常の第２の検出例を示した例示的な図である。図８は、第１実施形態の時間相関カメラによる、被検査体の異常の第３の検出例を示した例示的な図である。図９は、第１実施形態の照明制御部が照明装置に出力する縞パターンの一例を示した例示的な図である。図１０は、第１実施形態のスクリーンを介した後の縞パターンを表した波の形状の一例を示した例示的な図である。図１１は、第１実施形態の異常検出部による、振幅に基づく異常検出処理の手順の一例を示した例示的なフローチャートである。図１２は、第１実施形態の異常検出部による、位相に基づく異常検出処理の手順の一例を示した例示的なフローチャートである。図１３は、第１実施形態の異常検出部による、振幅および強度に基づく異常検出処理の手順の一例を示した例示的なフローチャートである。図１４は、第１実施形態の照明装置が、異常（欠陥）の延びる方向に沿った縞パターンを照射した状態を示した例示的な図である。図１５は、第１実施形態において、図１４の縞パターンをｙ方向に沿って変化（移動）させる場合における、異常（欠陥）と縞パターンとの関係を示した例示的な図である。図１６は、第１実施形態の照明装置が実行する縞パターンの切り替えの一例を示した例示的な図である。図１７は、第１実施形態の時間相関カメラおよび照明装置の動作タイミングの一例を示した例示的なタイミングチャートである。図１８は、第１実施形態において生成される第１時間相関画像の具体例を示した例示的な図である。図１９は、第１実施形態において、図１８の第１時間相関画像とともに生成される第２時間相関画像の具体例を示した例示的な図である。図２０は、第１実施形態の検査システムによる、被検査体の検査処理の手順の一例を示した例示的なフローチャートである。図２１は、第２実施形態の時間相関カメラの構成を示した例示的なブロック図である。図２２は、第２実施形態の時間相関カメラおよび照明装置の動作タイミングの一例を示した例示的なタイミングチャートである。図２３は、第３実施形態の時間相関カメラの構成を示した例示的なブロック図である。図２４は、第３実施形態の時間相関カメラおよび照明装置の動作タイミングの一例を示した例示的なタイミングチャートである。図２５は、第３実施形態の時間相関カメラから出力される第５時間相関画像データの具体例を示した例示的な図である。図２６は、第３実施形態の時間相関カメラから出力される第６時間相関画像データの具体例を示した例示的な図である。図２７は、第３実施形態において、図２５および図２６のデータから生成される第１時間相関画像の具体例を示した例示的な図である。図２８は、第３実施形態において、図２７の第１時間相関画像とともに生成される第２時間相関画像の具体例を示した例示的な図である。

＜第１実施形態＞
　以下、第１実施形態の検査システムについて説明する。第１実施形態の検査システムは、被検査体を検査するために様々な構成を備えている。図１は、第１実施形態による検査システムの構成を示した例示的なブロック図である。図１に示されるように、第１実施形態の検査システムは、ＰＣ１００と、時間相関カメラ１１０と、照明装置１２０と、スクリーン１３０と、アーム１４０と、を備えている。

　アーム１４０は、被検査体１５０を固定するために用いられ、ＰＣ１００からの制御に応じて、時間相関カメラ１１０が撮像可能な被検査体１５０の表面の位置および向きを変化させる。

　照明装置１２０は、被検査体１５０に光を照射する装置であって、ＰＣ１００などから指定される照明パターン（後述の縞パターンなど）に従って、照射する光の強度を領域単位で制御できる。さらに、照明装置１２０は、周期的な時間遷移に従って当該領域単位の光の強度を制御できる。換言すれば、照明装置１２０は、光の強度の周期的な時間変化および空間変化を与えることができる。なお、具体的な光の強度の制御手法については後述する。

　スクリーン１３０は、照明装置１２０から出力された光を拡散させた上で、被検査体１５０に対して面的に光を照射する。実施形態のスクリーン１３０は、照明装置１２０から入力された周期的な時間変化および空間変化が与えられた光を、面的に被検査体１５０に照射する。なお、照明装置１２０とスクリーン１３０との間には、集光用のフレネルレンズなどの光学系部品（図示されず）が設けられてもよい。

　なお、第１実施形態では、照明装置１２０とスクリーン１３０とを組み合わせて、光強度の周期的な時間変化および空間変化を与える面的な照明部を構成する例について説明するが、当該照明部は、このような組み合わせに制限されるものではない。たとえば、ＬＥＤを面的に配置したり、大型モニタを配置したりするなどして、照明部を構成してもよい。

　図２は、第１実施形態の時間相関カメラ１１０の構成を示した例示的なブロック図である。図２に示されるように、時間相関カメラ１１０は、光学系２１０と、イメージセンサ２２０と、データバッファ２３０と、制御部２４０と、第１信号出力部２５１と、第２信号出力部２５２と、参照信号出力部２６０と、を備えている。

　光学系２１０は、撮像レンズなどを含み、時間相関カメラ１１０の外部に位置する被写体（被検査体１５０を含む）からの光束を透過し、その光束により形成される被写体の光学像を結像させる。

　イメージセンサ２２０は、光学系２１０を介して入射された光の強弱を光強度信号として画素毎に高速に出力可能なセンサとする。

　第１実施形態の光強度信号は、検査システムの照明装置１２０が被写体（被検査体１５０を含む）に対して光を照射し、当該被写体からの反射光を、イメージセンサ２２０が受け取ったものである。

　イメージセンサ２２０は、たとえば従来のものと比べて高速に読み出し可能なセンサであり、行方向（ｘ方向）、列方向（ｙ方向）の２種類の方向に画素が配列された２次元平面状に構成されたものとする。そして、イメージセンサ２２０の各画素を、画素Ｐ（１，１），……，Ｐ（ｉ，ｊ），……，Ｐ（Ｘ，Ｙ）とする（なお、第１実施形態の画像サイズをＸ×Ｙとする。）。なお、イメージセンサ２２０の読み出し速度を制限するものではなく、従来と同様であってもよい。

　イメージセンサ２２０は、光学系２１０によって透過された、被写体（被検査体１５０を含む）からの光束を受光して光電変換する。これにより、イメージセンサ２２０は、被写体から反射された光の強弱を示した光強度信号（撮像信号）で構成される２次元平面状のフレームを生成し、制御部２４０に出力する。第１実施形態のイメージセンサ２２０は、読み出し可能な単位時間毎に、当該２次元平面状のフレームを出力する。

　第１実施形態の制御部２４０は、たとえばＣＰＵ、ＲＯＭ、およびＲＡＭなどといったハードウェア構成を含む。ＣＰＵは、ＲＯＭに格納されたプログラムを実行することで、転送部２４１と、読出部２４２と、強度画像用重畳部２４３と、相関画像用重畳部２４４と、画像出力部２４９と、を実現する。相関画像用重畳部２４４は、第１の乗算器２４５と、第１の相関画像用重畳部２４６と、第２の乗算器２４７と、第２の相関画像用重畳部２４８と、を含む。なお、第１実施形態は、これらの機能的構成を、ＣＰＵとプログラム、すなわちハードウェアとソフトウェアとの協働によって実現することに制限するものではない。第１実施形態では、上記の機能的構成を、ＦＰＧＡやＡＳＩＣなどといったハードウェアのみで実現してもよい。

　転送部２４１は、イメージセンサ２２０から出力された、光強度信号で構成されたフレームを、データバッファ２３０に、時系列順に蓄積する。

　データバッファ２３０は、イメージセンサ２２０から出力されたフレームを、時系列順に蓄積する。

　図３は、第１実施形態の時間相関カメラ１１０において時系列順に蓄積されるフレームを概念的に表した例示的な図である。図３に示されるように、第１実施形態のデータバッファ２３０には、時刻ｔ（ｔ＝ｔ０，ｔ１，ｔ２，……，ｔｎ）毎の複数の光強度信号Ｇ（１，１，ｔ），……，Ｇ（ｉ，ｊ，ｔ），……，Ｇ（Ｘ，Ｙ，ｔ）の組み合わせで構成された複数のフレームＦｋ（ｋ＝１，２，……，ｎ）が、時系列順に蓄積される。なお、時刻ｔで生成される一枚のフレーム（画像）は、光強度信号Ｇ（１，１，ｔ），……，Ｇ（ｉ，ｊ，ｔ），……，Ｇ（Ｘ，Ｙ，ｔ）で構成される。なお、光強度信号は、撮像信号とも称されうる。

　第１実施形態の光強度信号Ｇ（１，１，ｔ），……，Ｇ（ｉ，ｊ，ｔ），……，Ｇ（Ｘ，Ｙ，ｔ）には、フレームＦｋ（ｋ＝１，２，……，ｎ）を構成する各画素Ｐ（１，１），……，Ｐ（ｉ，ｊ），……，Ｐ（Ｘ，Ｙ）が対応づけられている。

　イメージセンサ２２０から出力されるフレームは、光強度信号のみで構成されており、換言すればモノクロの画像データとも考えることができる。なお、第１実施形態では、解像度、感度、およびコストなどを考慮して、イメージセンサ２２０がモノクロの画像データを生成する例について説明する。しかしながら、イメージセンサ２２０は、モノクロ用のイメージセンサに制限されるものではなく、カラー用のイメージセンサであってもよい。

　図２に戻り、第１実施形態の読出部２４２は、データバッファ２３０から、光強度信号Ｇ（１，１，ｔ），……，Ｇ（ｉ，ｊ，ｔ），……，Ｇ（Ｘ，Ｙ，ｔ）をフレーム単位で時系列順に読み出し、読み出したデータを強度画像用重畳部２４３および相関画像用重畳部２４４に出力する。なお、第１実施形態の読出部２４２が読み出しを開始するタイミングについては、後で詳細に説明するため、ここでは説明を省略する。

　第１実施形態の時間相関カメラ１１０は、読出部２４２の出力先毎に画像データを生成（出力）する。すなわち、時間相間カメラ１１０は、大別して、２つの出力先（強度画像用重畳部２４３および相関画像用重畳部２４４）に対応した２種類の画像データを出力する。

　より具体的に、第１実施形態の時間相関カメラ１１０は、２種類の画像データとして、強度画像用重畳部２４３により生成される強度画像データと、相関画像用重畳部２４４により生成される時間相関画像データと、を出力する。ここで、第１実施形態では、相関画像用重畳部２４４により生成される時間相関画像データが、第１の乗算器２４５および第１の相関画像用重畳部２４６の組み合わせにより生成される時間相関画像データと、第２の乗算器２４７および第２の相関画像用重畳部２４８の組み合わせにより生成される時間相関画像データと、の２種類存在する。したがって、第１実施形態では、強度画像データと、２種類の時間相関画像データと、の合計３種類の画像データが生成される。なお、第１実施形態の技術は、３種類の画像データを生成することに制限されるものではなく、強度画像データを生成しない場合や、１種類または３種類以上の時間相関画像データを生成する場合も考えられる。

　上述したように、第１実施形態のイメージセンサ２２０は、光強度信号で構成されたフレームを、読み出し可能な単位時間毎に出力している。しかしながら、通常の画像データを生成するためには、撮像に必要な露光時間分の光強度信号が必要になる。そこで、第１実施形態では、強度画像用重畳部２４３が、撮像に必要な露光時間分の複数のフレームを重畳して、強度画像データを生成（取得）する。なお、強度画像データを画像化したもの（強度画像）の各画素値（光の強度を表す値）Ｇ（ｘ，ｙ）は、以下に示す式（１）から導き出すことができる。ここで、露光時間は、ｔ０とｔｎの時間差とする。

　これにより、従来のカメラの撮像と同様に、被写体（被検査体１５０を含む）が撮像された強度画像データを生成（取得）することができる。強度画像用重畳部２４３は、生成した強度画像データを、画像出力部２４９に出力する。

　時間相関画像データは、時間遷移に応じた光の強弱の変化を示す画像データである。第１実施形態では、第１の乗算器２４５および第２の乗算器２４７は、読出部２４２がフレームを読み出す毎に、当該フレームに含まれる光強度信号に、時間遷移を表す参照信号を乗算し、参照信号と光強度信号との乗算結果である時間相関値で構成された時間相関値フレームを生成（取得）する。そして、第１の相関画像用重畳部２４６および第２の相関画像用重畳部２８は、それぞれ、第１の乗算器２４５および第２の乗算器２４７により生成された複数の時間相関値フレームを重畳することで、時間相関画像データを生成（取得）する。

　ところで、時間相関画像データに基づいて被検査体１５０の異常を検出するためには、イメージセンサ２２０に入力される光強度信号の変化と、参照信号の値の変化とが同期している必要がある。この点において、第１実施形態の照明装置１２０は、上述したように、光の強度の周期的な時間変化および空間変化を与えるような面的な光の照射を、スクリーン１３０を介して行っている。したがって、第１実施形態では、以下に説明するように、参照信号として、照明装置１２０により与えられる光の強度の変化に対応して周期的に値が変化する信号が用いられる。

　ここで、第１実施形態では、２種類の時間相関画像データが生成される。上述したように、参照信号は、時間遷移を表した信号であればよいが、第１実施形態では、一例として、複素正弦波ｅ^-jωtに対応した参照信号を用いる。この複素正弦波ｅ^-jωtにおいて、ｅはネイピア数、ｊは虚数単位、ωは角周波数、ｔは時刻を表すものとする。第１実施形態では、参照信号を表す複素正弦波ｅ^-jωtが、上述した露光時間、すなわち強度画像データおよび時間相関画像データを生成するために必要な時間の１周期と相関をとるように、角周波数ωが設定されるものとする。照明装置１２０およびスクリーン１３０などの照明部によって形成された面的かつ動的な光は、被検査体１５０の表面（反射面）の各位置において、第１の周期（時間周期）での時間的な照射強度の変化を与えるとともに、表面に沿った少なくとも一方向に沿った第２の周期（空間周期）での空間的な照射強度の増減分布を与える。この面的な光は、表面で反射される際に、当該表面のスペック（法線ベクトルの分布など）に応じて複素変調される。時間相関カメラ１１０は、表面で複素変調された光を受光し、第１の周期の参照信号を用いて直交検波（直交復調）することで、複素信号としての時間相関画像データを取得する。このような複素数としての時間相関画像データに基づく変復調により、表面の法線ベクトルの分布に対応した特徴を検出することができる。

　複素正弦波ｅ^-jωtは、ｅ^-jωt＝ｃｏｓωｔ－ｊ・ｓｉｎωｔと表すこともできる。したがって、時間相関画像データの各画素値Ｃ（ｘ，ｙ）は、以下に示す式（２）から導き出すことができる。

　第１実施形態では、式（２）により表される時間相関画像データが２種類生成され、当該２種類の時間相関画像データの各々は、実部を表す画素値Ｃ１（ｘ，ｙ）と、虚部を表す画素値Ｃ２（ｘ，ｙ）と、に分けて生成される。

　第１実施形態の参照信号出力部２６０は、第１の乗算器２４５と、第２の乗算器２４７と、に対してそれぞれ異なる参照信号を出力する。たとえば、参照信号出力部２６０は、複素正弦波ｅ^-jωtの実部に対応する参照信号ｃｏｓωｔを第１の乗算器２４５に出力し、複素正弦波ｅ^-jωtの虚部に対応する参照信号ｓｉｎωｔを第２の乗算器２４７に出力する。なお、ここでは、参照信号出力部２６０が、互いにヒルベルト変換対をなす正弦波および余弦波の時間関数として表される２種類の参照信号を出力する例について説明するが、参照信号は、時間関数のような時間遷移に応じて変化する信号であれば、どのような信号であってもよい。

　第１の乗算器２４５は、読出部２４２からフレームが入力される毎に、当該フレームの光強度信号に、参照信号出力部２６０から入力された複素正弦波ｅ^-jωtの実部ｃｏｓωｔを乗算する。

　そして、第１の相関画像用重畳部２４６は、撮像に必要な露光時間分の複数のフレームについて、第１の乗算器２４５の乗算結果を画素毎に重畳する処理を行う。これにより、２種類の時間相関画像データのうちの一方の各画素値Ｃ１（ｘ，ｙ）が、以下の式（３）から導出される。

　一方、第２の乗算器２４７は、読出部２４２からフレームが入力される毎に、当該フレームの光強度信号に、参照信号出力部２６０から入力された複素正弦波ｅ^-jωtの虚部ｓｉｎωｔを乗算する。

　そして、第２の相関画像用重畳部２４８は、撮像に必要な露光時間分の複数のフレームについて、第２の乗算器２４７の乗算結果を画素毎に重畳する処理を行う。これにより、２種類の時間相関画像データのうちの他方の各画素値Ｃ２（ｘ，ｙ）が、以下の式（４）から導出される。

　上述した処理により、２種類の時間相関画像データ、換言すれば２自由度を有する時間相関画像データを生成できる。

　なお、上述したように、第１実施形態は、参照信号の種類を制限するものでない。また、第１実施形態では、一例として、複素正弦波ｅ^-jωtの実部と虚部とに対応した２種類の時間相関画像データが生成される例について説明するが、光の振幅と光の位相とに対応した２種類の時間相関画像データが生成されてもよい。

　また、第１実施形態の時間相関カメラ１１０は、時間相関画像データを、複数系統分生成することが可能である。したがって、第１実施形態の時間相関カメラ１１０によれば、たとえば複数種類の幅の縞が組み合わされた光を照射する場合において、上述した実部と虚部とに対応した２種類の時間相関画像データを、縞の幅毎に複数系統分生成することが可能である。この場合、時間相関カメラ１１０は、２個の乗算器と２個の相関画像用重畳部とからなる組み合わせを、複数系統分備える必要があり、参照信号出力部２６０は、系統毎に適した角周波数ωによる参照信号を出力する必要がある。

　図２に示される例では、画像出力部２４９は、２種類の時間相関画像データと、強度画像データとを、ＰＣ１００（図１参照）に出力する。そして、ＰＣ１００は、時間相関画像データおよび強度画像データを画像化したもの（時間相関画像および強度画像）を用いて、被検査体１５０の異常を検出する。このように、第１実施形態では、被検査体１５０の異常を検出するために、光の強度の（周期的な）時間変化および空間変化を与えるような光を、被検査体１５０に対して照射する必要がある。

　第１実施形態の照明装置１２０は、一例として、高速に移動する縞パターンを照射する。図４は、第１実施形態の照明装置１２０が照射する縞パターンの一例を示した例示的な図である。図４に示す例では、縞パターンをｘ方向にスクロール（移動）させている例とする。白い領域が縞に対応した明領域、黒い領域が縞と縞との間に対応した間隔領域（暗領域）である。

　第１実施形態では、時間相関カメラ１１０が強度画像データおよび時間相関画像データを撮像するのに必要な露光時間で、照明装置１２０が照射する縞パターンを１周期分移動させる。これにより、照明装置１２０は、縞パターンの空間的な移動に基づき、被検査体１５０に光の強度の周期的な時間変化を与える。第１実施形態では、図４の縞パターンが１周期分移動する時間が、露光時間と対応しているので、時間相関画像データを画像化したもの（時間相関画像）の各画素には、少なくとも、縞パターン１周期分の光の強度信号に関する情報が埋め込まれる。

　図４に示されるように、第１実施形態では、照明装置１２０が矩形波に基づく縞パターンを照射する例について説明するが、矩形波以外が用いられてもよい。第１実施形態では、照明装置１２０がスクリーン１３０を介して光を照射することで、矩形波の明暗の境界領域をぼかすことができる。

　第１実施形態では、照明装置１２０が照射する縞パターンを、Ａ（１＋ｃｏｓ（ωｔ＋ｋｘ））と表す。すなわち、縞パターンには、複数の縞が反復的に（周期的に）含まれる。なお、被検査体１５０に照射される光の強度は０～２Ａの間で調整可能とし、光の位相をｋｘとする。ｋは、縞の波数である。ｘは、位相が変化する方向である。

　上記の縞パターンの式により、照明装置１２０が光を照射した際のフレームの各画素の光強度信号ｆ（ｘ，ｙ，ｔ）の基本周波数成分は、以下の式（５）として表すことができる。式（５）で示されるように、ｘ方向で縞の明暗が変化する。

ｆ（ｘ，ｙ，ｔ）＝Ａ（１＋ｃｏｓ（ωｔ＋ｋｘ））
　　　　＝Ａ＋Ａ／２｛ｅ^j(ωt+kx)＋ｅ^-j(ωt+kx)｝　…　（５）

　式（５）で示されるように、照明装置１２０が照射する縞パターンの強度信号は、複素数として考えることができる。

　そして、イメージセンサ２２０には、当該照明装置１２０からの光が被写体（被検査体１５０を含む）から反射して入力される。

　したがって、イメージセンサ２２０に入力される光強度信号Ｇ（ｘ，ｙ，ｔ）は、照明装置１２０が光を照射した際のフレームの各画素の光強度信号ｆ（ｘ，ｙ，ｔ）と同一視できる。そこで、強度画像データを導出するための式（１）に式（５）を代入すると、式（６）を導出できる。なお、位相をｋｘとする。

　式（６）から、強度画像データを画像化したもの（強度画像）の各画素には、露光時間Ｔに、照明装置１２０が出力している光の強度の中間値Ａを乗じた値が入力されていることが確認できる。さらに、時間相関画像データを導出するための式（２）に式（５）を代入すると、式（７）を導出できる。なお、ＡＴ／２を振幅とし、ｋｘを位相とする。

　これにより、式（７）で示された複素数で示された時間相関画像データは、上述した２種類の時間相関画像データと置き換えることができる。つまり、上述した実部と虚部とで構成される時間相関画像データには、被検査体１５０に照射された光の強度変化における位相変化と振幅変化とが含まれている。換言すれば、第１実施形態のＰＣ１００は、２種類の時間相関画像データに基づいて、照明装置１２０から照射された光の位相変化と、光の振幅変化と、を検出できる。そこで、第１実施形態のＰＣ１００は、時間相関画像データおよび強度画像データに基づいて、画素毎に入る光の振幅変化を表した振幅画像データと、画素毎に入る光の位相変化を表した位相画像データと、を生成する。

　そして、第１実施形態のＰＣ１００は、生成した振幅画像データおよび位相画像データを画像化したもの（振幅画像および位相画像）に基づいて、画像処理により、被検査体１５０の異常を検出する。

　ところで、被検査体１５０を含む一般的な被検査体の表面形状に凹凸に基づく異常が生じている場合、当該被検査体の表面の法線ベクトルの分布には異常に対応した変化が生じている。また、検査対象の表面に光を吸収するような異常が生じている場合、反射した光の強度に変化が生じる。法線ベクトルの分布の変化は、光の位相変化および振幅変化のうち少なくともいずれか１つとして検出される。そこで、第１実施形態では、時間相関画像データおよび強度画像データを用いて、法線ベクトルの分布の変化に対応した、光の位相変化および振幅変化のうち少なくともいずれか１つを検出する。これにより、第１実施形態では、被検査体の表面形状の異常を検出することが可能となる。以下、第１実施形態における、被検査体の異常と、法線ベクトルと、光の位相変化／振幅変化と、の関係について説明する。

　図５は、第１実施形態の時間相関カメラ１１０による、被検査体の異常の第１の検出例を示した図である。図５に示される例では、被検査体５００に突形状の異常５０１がある状況とする。当該状況においては、異常５０１の点５０２の近傍領域において、法線ベクトル５２１、５２２、５２３が異なる方向を向いていることを確認できる。当該法線ベクトル５２１、５２２、５２３が異なる方向を向いていることは、異常５０１から反射した光の拡散（たとえば、光５１１、５１２、５１３）を生じさせ、時間相関カメラ１１０のイメージセンサ２２０の任意の画素５３１に入る縞パターンの幅５０３を広くする。

　図６は、第１実施形態において、図５に示される異常５０１が存在する場合に、当該異常５０１に応じて変化する、光の振幅の例を表した図である。図６に示される例では、光の振幅が、実部（Ｒｅ）と虚部（Ｉｍ）とに分けて２次元平面上に表されている。また、図６には、図５の光５１１、５１２、５１３に対応する光の振幅６１１、６１２、６１３が示されている。光の振幅６１１、６１２、６１３は、互いに打ち消し合い、イメージセンサ２２０の任意の画素５３１には、振幅６２１の光が入射する。

　したがって、図６に示される状況では、被検査体５００の異常５０１が撮像された領域で、振幅が小さいことが確認できる。換言すれば、振幅変化を示した振幅画像中に周囲と比べて暗くなっている領域がある場合、当該領域で光同士の振幅の打ち消し合いが生じていると推測できるため、当該領域に対応する被検査体５００の位置で異常５０１が生じていると判断できる。

　なお、第１実施形態の検査システムは、図５の異常５０１のように傾きが急峻に変化しているものに限らず、緩やかに変化する異常も検出できる。図７は、第１実施形態の時間相関カメラ１１０による、被検査体の異常の第２の検出例を示した図である。一般に、被検査体が正常である場合、当該被検査体の表面は、平面（換言すれば法線が平行）となる。しかしながら、図７に示される例では、被検査体７００に緩やかな勾配７０１が生じた状況となっている。このような状況では、勾配７０１上の法線ベクトル７２１、７２２、７２３も同様に緩やかに変化し、イメージセンサ２２０に入力する光７１１、７１２、７１３が少しずつずれていく。ここで、図７に示される例では、緩やかな勾配７０１のために光の振幅の打ち消し合いは生じないため、図５、図６で表したような光の振幅はほとんど変化しない。しかしながら、図７に示される例では、本来スクリーン１３０から投影された光が、そのままイメージセンサ２２０に平行に入るはずであるところ、緩やかな勾配７０１の存在に起因して、スクリーン１３０から投影された光が平行の状態でイメージセンサ２２０に入らないため、光の位相変化が生じる。したがって、光の位相変化について、周囲などとの違いを検出すれば、図７に示したような緩やかな勾配７０１による異常を検出できる。

　また、第１実施形態では、被検査体の表面形状（換言すれば、被検査体の法線ベクトルの分布）以外にも異常が生じる場合がある。図８は、第１実施形態の時間相関カメラ１１０による、被検査体の異常の第３の検出例を示した図である。図８に示される例では、被検査体８００に汚れ８０１が付着している。このため、図８に示される例では、照明装置１２０から照射された光が汚れ８０１に対応した領域に吸収され、あるいは照明装置１２０から照射された光が汚れ８０１に対応した領域から拡散反射することで、時間相関カメラ１１０の、汚れ８０１を撮像している任意の画素領域において、光がほとんど強度変化しない。換言すれば、図８に示される例では、汚れ８０１を撮像している任意の画素領域で、光の強度が位相の打ち消し合いを起こして振動成分がキャンセルされることで、明るさがほとんど直流的になる。

　このように、汚れ８０１を撮像している画素領域においては、光の振幅がほとんどなくなるため、振幅画像を表示した際に、周囲と比べて暗くなる領域が生じる。この理屈を利用すれば、当該領域に対応する被検査体８００の位置に、汚れ８０１などの異常があることを推定できる。

　以上のように、第１実施形態では、時間相関画像（振幅画像および位相画像）に基づいて、光の振幅の変化と、光の位相の変化と、を検出することで、被検査体に異常があることを推定できる。

　図１に戻り、ＰＣ１００について説明する。ＰＣ１００は、検査システム全体の制御を行う。ＰＣ１００は、アーム制御部１０１と、照明制御部１０２と、制御部１０３と、を備える。

　アーム制御部１０１は、被検査体１５０の時間相関カメラ１１０による撮像対象となる表面を変更するために、アーム１４０を制御する。第１実施形態では、被検査体１５０の撮像対象となる表面をＰＣ１００に複数設定しておく。アーム制御部１０１は、時間相関カメラ１１０による被検査体１５０の撮像が終了する毎に、当該時間相関カメラ１１０が上記の設定に従って表面の撮像を実行できるように、アーム１４０を用いて被検査体１５０を移動させる。なお、第１実施形態は、撮像が終了する毎にアーム１４０を移動させ、撮像が開始する前に停止させることを繰り返すことに制限するものではなく、継続的にアーム１４０を駆動させてもよい。なお、アーム１４０は、搬送部、移動部、位置変更部、姿勢変更部などとも称されうる。

　照明制御部１０２は、照明装置１２０に照射させる縞パターンを出力可能に構成されている。第１実施形態では、照明制御部１０２が、複数（少なくとも２枚以上）の縞パターンを照明装置１２０に受け渡し、当該縞パターンを露光時間中に切り替えて表示するように照明装置１２０に指示するものとする。

　図９は、照明制御部１０２が照明装置１２０に出力させる縞パターンの例を示した図である。図９に示される例では、照明制御部１０２は、（Ｂ）に示す矩形波に従って、（Ａ）に示す黒領域と白領域とが設定された縞パターンを出力させるように、照明装置１２０を制御する。

　なお、第１実施形態で用いられる縞パターンにおける縞の間隔は、検出対象となる異常（欠陥）の大きさに応じて設定されるものとして、ここでは詳しい説明を省略する。

　また、第１実施形態では、縞パターンを出力するための矩形波の角周波数ωは、参照信号の角周波数ωと同じ値とする。

　ここで、図９に示されるように、照明制御部１０２が出力する縞パターンは、矩形波として示すことができる。しかしながら、第１実施形態では、縞パターンに対応した光がスクリーン１３０を介して照射されることで、縞パターンの境界領域をぼかす、すなわち縞パターンにおける明領域（縞の領域）と暗領域（間隔の領域）との境界における光の強度変化を緩やかにして（鈍らせて）いる。つまり、第１実施形態では、スクリーン１３０を介した後の縞パターンに対応した光の強度変化が、正弦波に近似したものとなる。図１０は、スクリーン１３０を介した後の縞パターンを表した波の形状の一例を示した例示的な図である。図１０に示されるような正弦波に近似した波は、計測精度（異常の検出精度）の向上をもたらす。なお、第１実施形態では、縞に明度が多段階に変化するグレー領域を追加したり、グラデーションを与えたりしてもよい。また、第１実施形態では、カラーの縞を含む縞パターンを用いてもよい。

　図１に戻り、制御部１０３は、時間相関カメラ１１０から受け取った画像データ（強度画像データおよび時間相関画像データ）に基づいて、被検査体１５０の検査対象面の法線ベクトルの分布と対応した特徴であって、周囲との違いによって異常を検出する特徴を算出し、被検査体１５０の異常を検出する。なお、第１実施形態による制御部１０３は、検査を行うために、複素数で表現される時間相関画像データ（複素時間相関画像データ）そのものではなく、当該複素数の実部および虚部に対応した２種類の時間相関画像データを、時間相関カメラ１１０から受け取るものとする。制御部１０３は、画像生成部１０４と、異常検出部１０５と、を備える。

　画像生成部１０４は、時間相関カメラ１１０から受け取った強度画像データおよび時間相関画像データに基づいて、振幅画像および位相画像を生成する。なお、上述したように、振幅画像とは、画素毎に入る光の振幅を表した振幅画像データに対応し、位相画像とは、画素毎に入る光の位相を表した位相画像データに対応する。

　第１実施形態は、振幅画像の算出手法を制限するものではないが、たとえば、画像生成部１０４は、２種類の時間相関画像の画素値Ｃ１（ｘ，ｙ）およびＣ２（ｘ，ｙ）から、式（８）を用いて、振幅画像の各画素値Ｆ（ｘ，ｙ）を導き出す。

　異常検出部１０５は、振幅画像の画素値（振幅）と、強度画像の画素値（強度）と、に基づいて、異常が生じている領域があるか否かを判定する。たとえば、強度画像の画素値（ＡＴ）を２で除算した値と、振幅画像の振幅（打ち消し合いが生じない場合にはＡＴ／２となる）と、がある程度一致する領域は、異常が生じていないと推測できる。一方、両者が一致していない領域については、振幅の打ち消し合いが生じていると推測できる。

　同様に、第１実施形態は、位相画像の算出手法を制限するものではないが、画像生成部１０４は、画素値Ｃ１（ｘ，ｙ）およびＣ２（ｘ，ｙ）から、式（９）を用いて、位相画像の各画素値Ｐ（ｘ，ｙ）を導き出す。

　異常検出部１０５は、上記の振幅画像および位相画像における周囲との違いに基づき、検査対象面の法線ベクトルの分布と対応した特徴であって、被検査体１５０の異常を検出するための特徴を算出する。第１実施形態では、法線ベクトルの分布に対応した特徴として、振幅の分布を用いる例について説明する。ここで、振幅の分布とは、複素時間相関画像の各画素の振幅の分布を示したデータであり、振幅画像データに相当する。

　図１１は、第１実施形態の異常検出部１０５による、振幅に基づく異常検出処理の手順の一例を示した例示的なフローチャートである。

　図１１に示される例では、まず、異常検出部１０５は、振幅画像の各画素に格納された、光の振幅値（を表した画素値）から、当該画素を基準（たとえば中心）として、Ｎ×Ｎ領域の平均振幅値を減算し（Ｓ１１０１）、振幅の平均差分画像を生成する。振幅の平均差分画像は、振幅の勾配に対応する。なお、整数Ｎは実施の態様に応じて適切な値が設定されるものとする。

　次に、異常検出部１０５は、減算により生成された振幅の平均差分画像に対して、予め定められた振幅の閾値を用いたマスク処理を行う（Ｓ１１０２）。

　さらに、異常検出部１０５は、平均差分画像のマスク領域内について画素毎に標準偏差を算出する（Ｓ１１０３）。なお、実施形態では、標準偏差に基づいた手法について説明するが、標準偏差を用いた場合に制限するものではなく、たとえば平均値などを用いてもよい。

　そして、異常検出部１０５は、平均を引いた振幅画素値が－４．５σ（σ：標準偏差）より小さい値の画素を、異常（欠陥）がある領域として検出する（Ｓ１１０４）。

　上述した処理手順により、各画素の振幅値（換言すれば、振幅の分布）から、被検査体の異常を検出できる。しかしながら、第１実施形態は、複素時間相関画像の振幅の分布から異常を検出することに制限するものではない。検査対象面の法線ベクトルの分布と対応した特徴としては、位相の分布の勾配も用いられうる。そこで、次に位相の分布の勾配を用いた異常検出処理について説明する。

　図１２は、第１実施形態の異常検出部１０５による、位相に基づく異常検出処理の手順の一例を示した例示的なフローチャートである。

　図１２に示される例では、まず、異常検出部１０５は、位相画像の画素毎の光の位相値（を表した画素値）から、当該画素を基準（たとえば中心）として、Ｎ×Ｎ領域の平均位相値を減算し（Ｓ１２０１）、位相の平均差分画像を生成する。位相の平均差分画像は、位相の勾配に対応する。

　次に、異常検出部１０５は、減算により生成された位相の平均差分画像の大きさ（絶対値）と、閾値とを比較し、平均差分画像の大きさが閾値以上となる画素を、異常（欠陥）のある画素として検出する（Ｓ１２０２）。

　このＳ１２０２の検出結果により、異常検出部１０５は、平均差分画像の正負、すなわち、画素の位相値と平均位相値との大小関係によって、凹凸を判別することができる（Ｓ１２０３）。画素の位相値と平均位相値とのどちらが大きい場合に凸となるかは、各部の設定によって変化するが、大小関係が異なると、凹凸が異なる。

　なお、第１実施形態では、他の手法によって得られた位相の分布の勾配から、異常を検出することができる。たとえば、異常検出部１０５は、他の手法として、正規化された時間相関画像のＮ×Ｎの領域の平均ベクトルと、正規化された各画素のベクトルとの差の大きさが、閾値よりも大きい場合に、異常（欠陥）がある画素として検出する、という手法を用いることができる。なお、位相に基づく異常検出処理の手法は、位相の分布の勾配を用いた手法に限られず、位相の分布に対応する情報を用いた手法であってもよい。

　また、第１実施形態では、異常検出処理の際に、振幅と強度との両方が考慮されてもよい。図１３は、第１実施形態の異常検出部１０５による、振幅および強度に基づく異常検出処理の手順の一例を示した例示的なフローチャートである。

　図１３に示される例では、まず、異常検出部１０５は、時間相関画像と強度画像とから、各画素について、次の式（１００）を用いて、振幅（を表す画素値）Ｃ（ｘ，ｙ）（式（７）参照）と強度（を表す画素値）Ｇ（ｘ，ｙ）（式（６）参照）との比Ｒ（ｘ，ｙ）を算出する（Ｓ１３０１）。

Ｒ（ｘ，ｙ）＝Ｃ（ｘ，ｙ）／Ｇ（ｘ，ｙ）　…　（１００）

　次に、異常検出部１０５は、比Ｒ（ｘ，ｙ）と閾値とを比較し、比Ｒ（ｘ，ｙ）の値が対応する閾値以下となる画素を、異常（欠陥）のある画素として検出する（Ｓ１３０２）。また、異常検出部１０５は、比Ｒ（ｘ，ｙ）と閾値とを比較し、比Ｒ（ｘ，ｙ）の値が対応する別の閾値以上となる画素を、ムラ（汚れなど）のある画素として検出する（Ｓ１３０３）。法線ベクトルの分布の異常により、振幅の打ち消し合い（減殺）が顕著となった場合には、強度に比べて振幅がより大きく下がる。一方、法線ベクトルの分布にはそれほどの異常は無いものの被検査体１５０の表面の汚れなどによって光の吸収が顕著となった場合には、振幅に比べて強度がより大きく下がる。よって、異常検出部１０５は、Ｓ１３０２およびＳ１３０３による異常種別の検出が可能となる。

　以上のように、縞パターンを所定の方向（ｘ方向とする）に移動させれば、当該ｘ方向で法線ベクトルの分布の変化をもたらす異常、たとえばｘ方向と交差（直交）する方向（ｙ方向とする）に延びるキズ（欠陥）を容易に検出することができる。しかしながら、ｘ方向に延びるキズ（欠陥）、つまりｙ方向に沿った法線ベクトルの分布の変化をもたらす異常は、ｘ方向に縞パターンを移動させるよりも、ｙ方向に縞パターンを移動させた方が、検出が容易になると考えられる。

　図１４は、第１実施形態の照明装置１２０が、異常（欠陥）の延びる方向に沿った縞パターンを照射した状態を示した例示的な図である。図１４に示される例では、ｘ方向に延びた異常（欠陥）１６０１が存在している。上記の理由により、ｘ方向に延びる異常１６０１は、当該異常１６０１と同様にｘ方向に沿って延びる縞パターンをｙ方向に沿って移動させれば、異常１６０１を容易に検出することができると考えられる。

　図１５は、第１実施形態において、図１４の縞パターンをｙ方向に沿って変化（移動）させる場合における、異常（欠陥）と縞パターンとの関係を示した例示的な図である。図１５に示されるように、ｙ方向に幅が狭く、かつ当該ｙ方向に交差（直交）するｘ方向を長手方向とする異常（欠陥）１６０１が存在している場合、照明装置１２０から照射された光は、ｘ方向に直交するｙ方向で、光の振幅の打ち消しが大きくなる。このため、ｘ方向に延びる異常１６０１を容易に検出するためには、ｘ方向に延びる縞パターンをｙ方向に移動させることで取得される振幅画像を用いた検査を行えばよいことが分かる。

　このように、様々な方向性を持ちうる異常（キズ、欠陥）を精度よく検出するためには、異なる方向に延びる複数種類の縞パターン（少なくとも、互いに交差する２方向に延びる２種類の縞パターン）を異なる方向（少なくとも２方向）に移動させることで得られる複数の時間相関画像を用いた検査を行うことが必要となる。

　従来では、互いに交差する方向に延びる２種類の縞パターンの各々に対応した時間相関画像を得るために、一方の縞パターンのみを連続的に出力して相関演算（フレームの重畳）を行った後、当該一方の縞パターンの出力を一旦停止し、その後に他方の縞パターンを新たに読み込んで、当該他方の縞パターンのみを連続的に出力して相関演算を行っていた。このため、従来では、縞パターンの切り替えに時間がかかり、検査に要するタクトタイム（サイクルタイム）が増加していた。

　そこで、第１実施形態の照明装置１２０は、方向性を持った異常（キズ、欠陥）を精度よく検出することと、検査に要するタクトタイム（サイクルタイム）を短縮することと、を両立するために、互いに交差する２方向（第１方向および第２方向とする）に延びる２種類の縞パターンをシームレスで切り替える。より具体的に、照明装置１２０は、第１方向に延びる第１縞パターンが第１方向と交差する第２方向に１周期分移動した後、第２方向に延びる第２縞パターンが第１方向に１周期分移動するように、複数の縞パターンを所定の時間間隔で順次切り替えて連続的に出力する。以下では、互いに直交するｘ方向およびｙ方向を用いて、第１方向をｙ方向、第２方向をｘ方向として記載する。

　図１６は、第１実施形態の照明装置１２０が実行する縞パターンの切り替えの一例を示した例示的な図である。図１６に示されるように、第１実施形態の照明装置１２０は、（Ａ）に示されるようなｙ方向に延びる第１縞パターンＳＰ１をｘ方向に１周期分移動させた後、シームレスで縞パターンの切り替えを実行し、（Ｂ）に示されるようなｘ方向に延びる第２縞パターンＳＰ２をｙ方向に１周期分移動させる。以下では、簡単化のため、第１縞パターンＳＰ１と第２縞パターンＳＰ２とは、向きが異なるだけで、縞幅や隣接する縞の間の間隔などの他の条件が等しいものとして説明するが、第１実施形態では、向きだけでなく、縞幅や隣接する縞の間の間隔なども、第１縞パターンＳＰ１と第２縞パターンＳＰ２とで異なっていてもよい。

　ところで、上記のような２種類の縞パターンの切り替えをシームレスで実行する場合では、照明装置１２０の動作と時間相関カメラ１１０の動作とをより正確に同期させる必要がある。たとえば、図１６に示される例では、第１縞パターンＳＰ１の出力の開始タイミングと、時間相関カメラ１１０によるフレームの重畳の開始タイミングとを一致させるとともに、第１縞パターンＳＰ１から第２縞パターンＳＰ２への切替タイミングと、時間相関カメラ１１０によるフレームの重畳の終了タイミングとを一致させなければ、第２縞パターンＳＰ２の影響を排除した、第１縞パターンＳＰ１のみに対応した時間相関画像を得ることができない。同様に、図１６に示される例では、第１縞パターンＳＰ１から第２縞パターンＳＰ２への切替タイミングと、時間相関カメラ１１０によるフレームの重畳の開始タイミングとを一致させるとともに、第２縞パターンＳＰ２の出力の終了タイミングと、時間相関カメラ１１０によるフレームの重畳の終了タイミングとを一致させなければ、第１縞パターンＳＰ１の影響を排除した、第２縞パターンＳＰ２のみに対応した時間相関画像を得ることができない。

　そこで、図２に戻り、第１実施形態の時間相関カメラ１１０には、照明装置１２０の動作と時間相関カメラ１１０の動作とをより正確に同期させるための構成が設けられている。より具体的に、第１実施形態の時間相関カメラ１１０には、複数の縞パターンの出力開始のトリガとなる第１信号を照明装置１２０に出力する第１信号出力部２５１と、複数の縞パターンの切り替えのトリガとなる第２信号を照明装置１２０に出力する第２信号出力部２５２と、が設けられている。

　図２に示されるように、第１信号は、照明装置１２０のみならず、読出部２４２および参照信号出力部２６０にも出力される。これにより、読出部２４２は、イメージセンサ２２０から出力されるフレームの読み出しを第１信号に基づいたタイミングで開始し、参照信号出力部２６０は、参照信号の出力を第１信号に基づいたタイミングで開始する。その結果、相関画像用重畳部２４４は、イメージセンサ２２０から出力されるフレームの重畳を第１信号に基づいたタイミングで開始することで、照明装置１２０によって照らされた被検査体１５０の検査対象面を撮像した時間相関画像データを取得する。

　図１７は、第１実施形態の時間相関カメラ１１０および照明装置１２０の動作タイミングの一例を示した例示的なタイミングチャートである。図１７において、「ＣＩＳ　ｃａｐｔｕｒｅ」は、イメージセンサ２２０から出力されるフレームが蓄積される様子を表し、「ｒｅｆ」は、参照信号出力部２６０から出力される参照信号を表し、「Ｃｏｒｒｅｌａｔｉｏｎ」は、相関演算（フレームの重畳）が行われる期間を表す。また、図１７において、「Ｓｙｎｃ」は、第２信号出力部２５２から出力される第２信号を表し、「ＯＥ」は、第１信号出力部２５１から出力される第１信号を表す。図１７に示される例では、照明装置１２０が、図１６と同様の第１縞パターンＳＰ１および第２縞パターンＳＰ２のシームレスな切り替えを実行するものとする。

　図１７に示される例では、タイミングｔ１で、第１信号および第２信号の出力が開始する。これにより、照明装置１２０は、第１信号に基づいたタイミングｔ１で複数の縞パターンの出力を開始し、当該複数の縞パターンを第２信号に基づいて順次切り替える。つまり、照明装置１２０は、タイミングｔ１で、第１縞パターンＳＰ１の１周期分の移動を開始し、当該第１縞パターンＳＰ１の移動が終了したタイミングｔ２で、第２縞パターンＳＰ２への切り替えをシームレスで実行し、当該第２縞パターンＳＰ２の１周期分の移動を開始する。第２縞パターンＳＰ２の１周期分の移動は、タイミングｔ３で終了する。

　なお、第１縞パターンＳＰ１が１周期分移動するのに要する時間と、第２縞パターンＳＰ２が１周期分移動するのに要する時間とは、互いに一致するように設定される。したがって、図１７に示される例では、タイミングｔ１およびタイミングｔ２の間の時間と、タイミングｔ２およびタイミングｔ３の間の時間と、が等しい大きさ（符号Ｔで表す）となる。

　一方、タイミングｔ１で第１信号の出力が開始されると、それに応じて、読出部２４２がフレームの読み出しを開始し、参照信号出力部２６０が参照信号の出力を開始する。図１７に示される例では、参照信号として、周期Ｔの正弦波が用いられる。したがって、図１７に示される例では、第１縞パターンＳＰ１の移動が開始してから第２縞パターンＳＰ２の移動が終了するまでに、参照信号の値が２周期分変化する。以下では、説明の便宜上、参照信号の前半部分、すなわち第１縞パターンＳＰ１の１周期分の移動中に時間遷移とともに値が変化する部分を第１区間とし、参照信号の後半部分、すなわち第２縞パターンＳＰ２の１周期分の移動中に時間遷移とともに値が１周期分変化する部分を第２区間と記載することがある。

　図１７に示される例では、参照信号が１系統のみであり、当該１系統の参照信号の波形は、前半部分（第１区間）と後半部分（第２区間）とで同一である。これにより、第１区間と第２区間とで波形を異ならせる場合と異なり、参照信号出力部２６０の処理を簡単化することができる。

　上記の参照信号に基づき、相関画像用重畳部２２４は、第１縞パターンＳＰ１および第２縞パターンＳＰ２の両方の影響が混在した時間相関画像データを取得することなく、第１縞パターンＳＰ１のみの影響に基づく第１時間相関画像データと、第２縞パターンＳＰ２のみの影響に基づく第２時間相関画像データと、を分けて取得することが可能になる。すなわち、相関画像用重畳部２４４は、第１縞パターンＳＰ１の移動が開始してから第２縞パターンＳＰ２の移動が終了するまでに相関演算（フレームの重畳）を２回実行することで、第１縞パターンＳＰ１が第２縞パターンＳＰ２に切り替わるまでのフレームの重畳結果である第１時間相関画像データと、第１縞パターンＳＰ１が第２縞パターンＳＰ２に切り替わってからのフレームの重畳結果である第２時間相関画像データと、を取得することが可能である。

　より具体的に、相関画像用重畳部２４４は、タイミングｔ１からタイミングｔ２にかけて、参照信号（第１区間）の値を乗算しながらフレームを重畳することで、第１縞パターンＳＰ１のみの影響に基づく第１時間相関画像データを取得する。そして、相関画像用重畳部２４４は、タイミングｔ２からタイミングｔ３にかけて、参照信号（第２区間）の値を乗算しながらフレームを重畳することで、第２縞パターンＳＰ２のみの影響に基づく第２時間相関画像データを取得する。

　図１に戻り、画像生成部１０４は、時間相関カメラ１１０から受け取った上記の第１時間相関画像データおよび第２時間相関画像データを画像化し、第１縞パターンＳＰ１のみに対応した第１時間相関画像と、第２縞パターンＳＰ２のみに対応した第２時間相関画像と、を生成する。そして、異常検出部１０５は、生成された第１時間相関画像および第２時間相関画像を用いて、異常検出処理を実行する。

　図１８は、第１実施形態において生成される第１時間相関画像の具体例を示した例示的な図であり、図１９は、第１実施形態において、図１８の第１時間相関画像とともに生成される第２時間相関画像の具体例を示した例示的な図である。図１８および図１９に示されるように、第１実施形態では、上述した第１信号および第２信号を用いて時間相関カメラ１１０および照明装置１２０の同期をとっているため、異なる方向に延びる２種類の縞パターンの両方の影響が混在した時間相関画像ではなく、当該２種類の縞パターンにそれぞれ対応した２枚の時間相関画像を得ることができる。

　次に、第１実施形態における被検査体１５０の検査処理について説明する。図２０は、第１実施形態の検査システムによる当該検査処理の手順の一例を示した例示的なフローチャートである。なお、被検査体１５０は、すでにアーム１４０に固定された状態で、検査の初期位置に配置されているものとする。

　第１実施形態では、まず、Ｓ１４０１において、ＰＣ１００が、照明装置１２０に対して、被検査体１５０の検査に用いる複数の縞パターンを出力する。ここで出力される複数の縞パターンは、第１縞パターンＳＰ１の１周期分の移動と、第２縞パターンＳＰ２の１周期分の移動と、を実現可能な程度の複数の縞パターンである。

　そして、Ｓ１４２１において、照明装置１２０は、ＰＣ１００から入力された複数の縞パターンを格納する。

　そして、Ｓ１４０２において、ＰＣ１００は、時間相関カメラ１１０に対して、撮像開始指示を出力する。

　ＰＣ１００から撮像開始指示が入力されると、Ｓ１４１１において、時間相関カメラ１１０は、第１信号および第２信号の出力を開始する。第１信号および第２信号は、照明装置１２０に出力される。

　時間相関カメラ１１０から第１信号および第２信号が入力されると、Ｓ１４２２において、照明装置１２０は、Ｓ１４２１で格納された複数の縞パターンを所定の時間間隔で順次切り替える処理を開始する。これにより、照明装置１２０は、第１縞パターンＳＰ１を１周期分移動させた後、当該第１縞パターンＳＰ１をシームレスで第２縞パターンＳＰ２に切り替え、当該第２縞パターンＳＰ２を１周期分移動させる。なお、照明装置１２０は、第２縞パターンＳＰ２の１周期分の移動を終了した後は、再び第１縞パターンＳＰ１、第２縞パターンＳＰ２の順に１周期分の移動を開始してもよいし、縞パターンの出力を終了してもよい。

　なお、Ｓ１４１１の第１信号は、照明装置１２０のみならず、時間相関カメラ１１０の読出部２４２および参照信号出力部２６０にも出力される。これにより、Ｓ１４１２において、読出部２４２は、第１信号に基づいたタイミングで、イメージセンサ２２０から出力されるフレームの読み出しを開始し、参照信号出力部２６０は、時間相関カメラ１１０の相関画像用重畳部２４４への参照信号の出力を開始する。その結果、Ｓ１４１３において、相関画像用重畳部２４４は、第１縞パターンＳＰ１の移動が開始してから第２縞パターンＳＰ２の移動が終了するまでに相関演算（フレームの重畳）を２回実行し、第１縞パターンＳＰ１が第２縞パターンＳＰ２に切り替わるまでのフレームの重畳結果である第１時間相関画像データと、第１縞パターンＳＰ１が第２縞パターンＳＰ２に切り替わってからのフレームの重畳結果である第２時間相関画像データと、を取得する。

　そして、Ｓ１４１４において、時間相関カメラ１１０は、Ｓ１４１３で生成された第１時間相関画像データおよび第２時間相関画像データを、ＰＣ１００に出力する。なお、このとき、時間相関カメラ１１０は、第１時間相関画像データおよび第２時間相関画像データの他、強度画像用重畳部２４３により取得された強度画像データも、ＰＣ１００に出力しうる。

　そして、Ｓ１４０３において、ＰＣ１００は、Ｓ１４１４で出力された第１時間相関画像データおよび第２時間相関画像データ（さらには強度画像データ）を、時間相関カメラ１１０から受け取る。そして、Ｓ１４０４において、ＰＣ１００の制御部１０３における画像生成部１０４は、Ｓ１４０３で受け取ったデータに基づき、第１縞パターンＳＰ１のみに対応した第１時間相関画像と、第２縞パターンＳＰ２のみに対応した第２時間相関画像と、を生成する。

　そして、Ｓ１４０５において、ＰＣ１００の制御部１０３における異常検出部１０５は、第１時間相関画像および第２時間相関画像に基づき、被検査体１５０の異常検出処理を実行する。異常検出処理の手順については、いくつかの例（たとえば図１１～図１３参照）を既に説明したため、ここでは説明を省略する。

　そして、Ｓ１４０６において、異常検出部１０５は、Ｓ１４０５での異常検出処理の結果を、ＰＣ１００が備える（またはＰＣ１００に接続される）ディスプレイなどの出力デバイスに出力する。

　異常検出処理の結果を出力する方法としては、たとえば、強度画像を表示した上で、当該強度画像における異常に対応した領域を強調表示（装飾表示）することなどが考えられる。なお、異常検出処理の結果は、視覚に訴える形式で出力する代わりに、音声を用いて聴覚に訴える形式で出力してもよいし、視覚に訴える形式と聴覚に訴える形式とを併用して出力してもよい。

　Ｓ１４０６での異常検出処理の結果の出力が終了すると、Ｓ１４０７において、制御部１０３は、被検査体１５０の検査が終了したか否かを判定する。

　Ｓ１４０７において、検査が終了していないと判定された場合、Ｓ１４０８に処理が進む。そして、Ｓ１４０８において、ＰＣ１００のアーム制御部１０１は、予め定められた設定に従って、被検査体１５０における次の検査対象となる表面を時間相関カメラ１１０が撮像できるように、アーム１４０の移動制御を実行する。そして、アームの移動制御が終了すると、Ｓ１４０２に処理が戻り、ＰＣ１００は、再び、時間相関カメラ１１０に対して撮像開始指示を出力する。

　一方、Ｓ１４０７において、検査が終了したと判定された場合、Ｓ１４０９に処理が進む。そして、Ｓ１４０９において、ＰＣ１００は、検査の終了を指示する終了指示を時間相関カメラ１１０に出力する。Ｓ１４０９の処理が終了すると、ＰＣ１００で実行される一連の処理が終了する。

　一方、時間相関カメラ１１０は、Ｓ１４１５において、ＰＣ１００から終了指示を受け取ったか否かを判定する。Ｓ１４１５において、終了指示を受け取っていないと判定された場合、Ｓ１４１１に処理が戻る。しかしながら、Ｓ１４１５において、終了指示を受け取ったと判断された場合、そのまま処理が終了、つまり時間相関カメラ１１０で実行される一連の処理が終了する。

　なお、照明装置１２０の動作の終了は、検査者の手動操作によって実現されてもよいし、ＰＣ１００や時間相関カメラ１１０などの他の構成からの指示によって実現されてもよい。

　上述した第１実施形態では、デジタル的に動作する時間相関カメラ１１０を用いて、時間相関画像データ（および強度画像データ）を取得する例について説明した。しかしながら、時間相関画像データは、デジタル的に動作する時間相関カメラ１１０のみならず、アナログ的に動作する時間相関カメラや、それと等価な動作をする撮像システムなどによっても取得可能である。時間相関画像データを取得する他の手法としては、たとえば、通常のデジタルスチルカメラを用いて通常の画像データを取得した上で、情報処理装置を用いて、通常の画像データをフレーム画像データとみなして参照信号を重畳する手法や、デジタルカメラのイメージセンサ自体に、参照信号を重畳する機能を持たせる手法などが考えられる。

　以上説明したように、第１実施形態では、複数の縞パターンの出力開始のトリガとなる第１信号を照明装置１２０に出力する第１信号出力部２５１と、複数の縞パターンの切り替えのトリガとなる第２信号を照明装置１２０に出力する第２信号出力部２５２と、が設けられている。これにより、第１信号および第２信号に基づき、時間相関カメラ１１０の動作と照明装置１２０の動作とをより正確に同期させることができるので、互いに交差する方向に延びる２種類の縞パターンの各々に対応した時間相関画像を容易に、あるいは迅速に得ることができる。

　たとえば、前述したように、従来では、互いに交差する方向に延びる２種類の縞パターンの各々に対応した時間相関画像を得るために、一方の縞パターンのみを連続的に出力して相関演算（フレームの重畳）を行った後、当該一方の縞パターンの出力を一旦停止し、その後に他方の縞パターンを新たに読み込んで、当該他方の縞パターンのみを連続的に出力して相関演算を行う必要があった。これに対して、第１実施形態では、縞パターンの出力開始／終了、および切替のタイミングと、相関演算（フレームの重畳）の開始／終了のタイミングと、の整合をとりながら、互いに交差する方向に延びる２種類の縞パターンをシームレスで切り替えることで、当該２種類の縞パターンの各々に対応した時間相関画像を容易に得ることができる。したがって、第１実施形態では、従来のように縞パターンの切り替えに時間を要することがないので、検査に要するタクトタイム（サイクルタイム）を短縮することができる。

＜第１変形例＞
　上述した第１実施形態では、周囲との違いに基づいて、異常を検出するための特徴を算出する例について説明したが、異常を検出するための特徴は、周囲との違い以外の点に基づいて算出することも可能である。たとえば、第１変形例として、参照形状を表す参照データとの差異に基づいて、異常を検出するための特徴を算出することが考えられる。この場合、実際に検査を行う環境を、参照データを取得した環境と一致させる必要がある。たとえば、空間位相変調照明（縞パターン）の位置合わせおよび同期が必要となる。

　第１変形例では、異常検出部１０５が、予め（図示しない）記憶部に記憶された参照データ（参照表面から取得した時間相関画像データ）と、現在の検査対象である被検査体１５０の時間相関画像データと、を比較し、両者の間に、光の振幅および光の位相のうちいずれか１つ以上について所定の基準以上の違いが存在するか否かを判定する。

　参照表面としては、たとえば正常な被検査体の表面が用いられる。つまり、第１変形例では、第１実施形態と同様に構成された検査システム（時間相関カメラ１１０）によって正常な被検査体の表面を撮像することで得られた時間相関画像データが、参照データとして用いられる。

　第１変形例による具体的な検査手順は、次の通りである。まず、時間相関カメラ１１０が、照明装置１２０がスクリーン１３０を介して縞パターンを照射している間に、正常な被検査体の表面を撮像することで、時間相関画像データを取得する。そして、ＰＣ１００が、時間相関カメラ１１０で生成された時間相関画像データに基づき、振幅画像や位相画像などを生成し、生成した画像を記憶する。そして、時間相関カメラ１１０が、異常が生じているか否か判定したい検査対象を撮像し、当該検査対象の時間相関画像データを生成する。そして、ＰＣ１００が、時間相関画像データから、振幅画像や位相画像などを生成し、当該生成した画像と、記憶部に予め記憶された正常な被検査体の画像と、を比較する。そして、ＰＣ１００が、比較結果に基づいて、異常を検出するための特徴を算出し、当該特徴が所定の基準以上か否かに基づいて、検査対象に異常が存在するか否かを判定する。

　このように、第１変形例では、正常な被検査体の表面を基準として所定の差異が生じているか否かを判定することで、検査対象の表面に異常が存在するか否かを判定する。なお、振幅画像や位相画像などといった各種の画像を比較する手法は、どのような手法を用いてもよいので、説明を省略する。

　また、第１変形例では、上記のように、参照表面との違い（参照形状を表す参照データとの違い）に基づいて、異常を検出するための特徴を算出する例について説明したが、当該特徴は、参照表面との違い以外の基準を考慮して算出してもよい。たとえば、第１変形例で用いられる参照表面の違いと、上述した第１実施形態で用いられる周囲との違いと、を組み合わせて、異常を検出するための特徴を算出してもよい。これらを組み合わせる手法は、どのような手法を用いてもよいので、説明を省略する。

＜第２実施形態＞
　次に、第２実施形態について説明する。この第２実施形態は、１系統の参照信号の前半部分と後半部分とに分けて相関演算（フレームの重畳）を行うことで、第１縞パターンＳＰ１および第２縞パターンＳＰ２のそれぞれのみに対応した時間相関画像データを取得する第１実施形態と異なり、２系統の参照信号のそれぞれについて別々に相関演算を行うことで、第１縞パターンＳＰ１および第２縞パターンＳＰ２のそれぞれのみに対応した時間相関画像データを取得する。

　図２１は、第２実施形態の時間相関カメラ１１０ａの構成を示した例示的なブロック図である。図２１に示されるように、第２実施形態の時間相関カメラ１１０ａには、参照信号を出力するための構成として、第１参照信号出力部２６０ａと、第２参照信号出力部２６０ｂと、の２つが設けられている。そして、制御部２４０ａの相関画像用重畳部２４４ａには、これら２つの参照信号出力部に対応する構成として、イメージセンサ２２０から出力されたフレームの画素値に参照信号の値を乗算するための乗算器と、当該乗算器による乗算結果を重畳する重畳部と、の組み合わせが、４つ設けられている。

　より具体的に、相関画像用重畳部２４４ａは、第１参照信号出力部２６０ａに対応する構成として、第１の乗算器２４５ａおよび第１の相関画像用重畳部２４６ａの組み合わせと、第２の乗算器２４７ａおよび第２の相関画像用重畳部２４８ａの組み合わせと、の２つの組み合わせを有する。同様に、相関画像用重畳部２４４ａは、第２参照信号出力部２６０ｂに対応する構成として、第３の乗算器２４５ｂおよび第３の相関画像用重畳部２４６ｂの組み合わせと、第４の乗算器２４７ｂおよび第４の相関画像用重畳部２４８ｂの組み合わせと、の２つの組み合わせを有する。

　第１の乗算器２４５ａおよび第２の乗算器２４７ａは、第１参照信号出力部２６０ａから出力される第１参照信号を受け取り、当該第１参照信号の値を、読出部２４２から受け取ったフレームの画素値に乗算する。そして、第１の相関画像用重畳部２４６ａおよび第２の相関画像用重畳部２４８ａは、それぞれ、第１の乗算器２４５ａおよび第２の乗算器２４７ａによる乗算結果を重畳する。同様に、第３の乗算器２４５ｂおよび第４の乗算器２４７ｂは、第２参照信号出力部２６０ｂから出力される第２参照信号を受け取り、当該参照信号の値を、読出部２４２から受け取ったフレームの画素値に乗算する。そして、第３の相関画像用重畳部２４６ｂおよび第４の相関画像用重畳部２４８ｂは、それぞれ、第３の乗算器２４５ｂおよび第４の乗算器２４７ｂによる乗算結果を重畳する。なお、第１参照信号および第２参照信号の波形などについては、後で詳細に説明するため、ここでは説明を省略する。

　以上により、第２実施形態では、第１の相関画像用重畳部２４６ａの重畳結果と、第２の相関画像用重畳部２４８ａの重畳結果と、第３の相関画像用重畳部２４６ｂの重畳結果と、第４の相関画像用重畳部２４８ｂの重畳結果と、の４つに対応した、合計４種類の時間相関画像データが取得される。そして、第２実施形態では、これら４種類の時間相関画像データに基づき、上述した第１実施形態と同様の、第１縞パターンＳＰ１のみに対応した第１時間相関画像と、第２縞パターンＳＰ２のみに対応した第２時間相関画像と、が生成される。

　なお、第２実施形態のその他の構成は、上述した第１実施形態と同様であるため、ここでは説明を省略する。以下、図２２を参照して、第２実施形態の動作についてより詳細に説明する。

　図２２は、第２実施形態の時間相関カメラ１１０ａおよび照明装置１２０の動作タイミングの一例を示した例示的なタイミングチャートである。図２２において、「ｒｅｆＡ」は、第１参照信号出力部２６０ａから出力される第１参照信号を表し、「ｒｅｆＢ」は、第２参照信号出力部２６０ｂから出力される第２参照信号を表す。その他の「ＣＩＳ　ｃａｐｔｕｒｅ」、「Ｃｏｒｒｅｌａｔｉｏｎ」、「Ｓｙｎｃ」、および「ＯＥ」の意味は、上述した図１７と同様であるため、ここでは説明を省略する。図２２に示される例においても、図１７に示される例と同様に、照明装置１２０が、第１縞パターンＳＰ１および第２縞パターンＳＰ２のシームレスな切り替えを実行するものとする。

　図２２に示される例では、タイミングｔ１１で、第１信号および第２信号の出力が開始する。これにより、照明装置１２０は、第１信号に基づいたタイミングｔ１１で複数の縞パターンの出力を開始し、当該複数の縞パターンを第２信号に基づいて順次切り替える。つまり、照明装置１２０は、タイミングｔ１１で、第１縞パターンＳＰ１の１周期分の移動を開始し、当該第１縞パターンＳＰ１の移動が終了したタイミングｔ１２で、第２縞パターンＳＰ２への切り替えをシームレスで実行し、当該第２縞パターンＳＰ２の１周期分の移動を開始する。第２縞パターンＳＰ２の１周期分の移動は、タイミングｔ１３で終了する。

　なお、図２２に示される例においても、図１７に示される例と同様に、タイミングｔ１１およびタイミングｔ１２の間の時間と、タイミングｔ１２およびタイミングｔ１３の間の時間とは、互いに等しい大きさ（符号Ｔａで表す）に設定される。つまり、図２２に示される例においても、第１縞パターンＳＰ１が１周期分移動するのに要する時間と、第２縞パターンＳＰ２が１周期分移動するのに要する時間とは、互いに一致するように設定される。

　タイミングｔ１１で第１信号の出力が開始されると、それに応じて、読出部２４２がフレームの読み出しを開始し、第１参照信号出力部２６０ａおよび第２参照信号出力部２６０ｂがそれぞれ第１参照信号および第２参照信号の出力を開始する。以下に説明するように、第１参照信号および第２参照信号は、共に、周期Ｔａの正弦波と、時間Ｔａにわたって一定の振幅（たとえばゼロ）が続く波と、の組み合わせにより構成されている。

　第１参照信号は、前半部分が周期Ｔａの正弦波で構成され、後半部分が時間Ｔａにわたって一定の振幅（たとえばゼロ）が続く波で構成された信号であり、第２参照信号は、前半部分が時間Ｔａにわたって一定の振幅（たとえばゼロ）が続く波で構成され、後半部分が周期Ｔａの正弦波で構成された信号である。したがって、第１参照信号および第２参照信号は、共に、周期２Ｔａで値が周期的に変化する信号であるともいえる。以下では、説明の便宜上、第１参照信号の前半部分、すなわち第１縞パターンＳＰ１の１周期分の移動中に時間遷移とともに値が変化する部分を第３区間と記載し、第１参照信号の後半部分、すなわち第２縞パターンＳＰ２の１周期分の移動中に時間遷移によらず値が一定となる部分を第４区間と記載することがある。また、第２参照信号の前半部分、すなわち第１縞パターンＳＰ１の１周期分の移動中に時間遷移によらず値が一定となる部分を第５区間と記載し、第２参照信号の後半部分、すなわち第２縞パターンＳＰ２の１周期分の移動中に時間遷移とともに値が変化する部分を第６区間と記載することがある。

　上記の第１参照信号および第２参照信号に基づき、相関画像用重畳部２４４ａは、第１縞パターンＳＰ１および第２縞パターンＳＰ２の両方の影響が混在した時間相関画像データを取得することなく、第１縞パターンＳＰ１のみの影響に基づく第３時間相関画像データと、第２縞パターンＳＰ２のみの影響に基づく第４時間相関画像データと、を分けて取得することが可能である。すなわち、相関画像用重畳部２４４ａは、第１参照信号に基づき、第１縞パターンＳＰ１の移動が開始してから第２縞パターンＳＰ２の移動が終了するまでの期間２Ｔａにわたる相関演算（フレームの重畳）を１回実行することで、第３時間相関画像データを取得することが可能である。同様に、相関画像用重畳部２４４ａは、第２参照信号に基づき、期間２Ｔａにわたる相関演算を１回実行することで、第４時間相関画像データを取得することが可能である。なお、前述の図２１に示された構成との対比を説明すると、第３時間相関画像データは、第１の相関画像用重畳部２４６ａおよび第２の相関画像用重畳部２４８ａの重畳結果の組み合わせに対応し、第４時間相関画像データは、第３の相関画像用重畳部２４６ｂおよび第４の相関画像用重畳部２４８ｂの重畳結果の組み合わせに対応する。

　図２２に示される例において、第１参照信号に基づく相関演算は、次のようになる。すなわち、相関画像用重畳部２４４ａは、タイミングｔ１１からタイミングｔ１２にかけて、第１参照信号の第３区間の値を乗算しながら相関演算を行い、タイミングｔ１２からタイミングｔ１３にかけて、第１参照信号の第４区間の値を乗算しながら相関演算を行う。ここで、第３区間の値に基づく前者の相関演算は、第１縞パターンＳＰ１のみの影響を考慮した相関演算に対応し、第４区間に基づく後者の相関演算は、第２縞パターンＳＰ２のみの影響を考慮した相関演算に対応する。しかしながら、上述したように、第１参照信号における第４区間の値は、時間遷移によらず一定値（たとえばゼロ）となっているため、当該第４区間の値に基づく相関演算の結果は、無視することができる。したがって、第３区間および第４区間からなる第１参照信号に基づいた、タイミングｔ１１からタイミングｔ１３までの期間２Ｔａにわたる相関演算によれば、第２縞パターンＳＰ２の影響を無視して、第１縞パターンＳＰ１のみの影響に基づく第３時間相関画像データを取得することが可能である。

　同様に、図２２に示される例において、第２参照信号に基づく相関演算は、次のようになる。すなわち、相関画像用重畳部２４４ａは、タイミングｔ１１からタイミングｔ１２にかけて、第２参照信号の第５区間の値を乗算しながら相関演算を行い、タイミングｔ１２からタイミングｔ１３にかけて、第２参照信号の第６区間の値を乗算しながら相関演算を行う。ここで、第５区間の値に基づく前者の相関演算は、第１縞パターンＳＰ１のみの影響を考慮した相関演算に対応し、第６区間に基づく後者の相関演算は、第２縞パターンＳＰ２のみの影響を考慮した相関演算に対応する。しかしながら、上述したように、第２参照信号における第５区間の値は、時間遷移によらず一定値（たとえばゼロ）となっているため、当該第５区間の値に基づく相関演算の結果は、無視することができる。したがって、第５区間および第６区間からなる第２参照信号に基づいた、タイミングｔ１１からタイミングｔ１３までの期間２Ｔａにわたる相関演算によれば、第１縞パターンＳＰ１の影響を無視して、第２縞パターンＳＰ２のみの影響に基づく第４時間相関画像データを取得することが可能である。

　このように、第２実施形態によれば、異なる２系統の参照信号（第１参照信号および第２参照信号）に基づき、第１縞パターンＳＰ１および第２縞パターンＳＰ２の両方の影響が混在した時間相関画像データを取得することなく、第１縞パターンＳＰ１のみの影響に基づく第３時間相関画像データと、第２縞パターンＳＰ２のみの影響に基づく第４時間相関画像データと、を分けて取得することができる。そして、第２実施形態によれば、第３時間画像データに基づき、第１縞パターンＳＰ１のみに対応した第１時間相関画像（第１実施形態で説明した図１８と同様の画像）を生成することができ、第４時間相関画像データに基づき、第２縞パターンＳＰ２のみに対応した第２時間相関画像（第１実施形態で説明した図１９と同様の画像）を生成することができる。

＜第３実施形態＞
　次に、第３実施形態について説明する。この第３実施形態は、２系統の参照信号を用いて相関演算を行うという点で第２実施形態と同様である。しかしながら、第３実施形態は、相関演算の段階で第１縞パターンＳＰ１および第２縞パターンＳＰ２の両方の影響が混在するのを排除する第２実施形態と異なり、相関演算の段階では第１縞パターンＳＰ１および第２縞パターンＳＰ２の両方の影響が混在したデータを取得し、その後にさらなる演算処理を行うことで、第１縞パターンＳＰ１のみに対応した第１時間相関画像と、第２縞パターンＳＰ２のみに対応した第２時間相関画像と、を分けて生成する。

　図２３は、第３実施形態の時間相関カメラ１１０ｂの構成を示した例示的なブロック図である。図２３に示されるように、第３実施形態の時間相関カメラ１１０ｂは、図２１に示された第２実施形態の時間相関カメラ１１０ａと略同様の構成を有する。つまり、第３実施形態の時間相関カメラ１１０ｂには、第２実施形態の時間相関カメラ１１０ａと同様に、相関演算のための参照信号を出力する構成が２つ設けられており、イメージセンサ２２０から出力されたフレームの画素値に参照信号の値を乗算するための乗算器と、当該乗算器による乗算結果を重畳する重畳部と、の組み合わせが、４つ設けられている。

　しかしながら、第３実施形態では、相関演算のための参照信号の波形が、第２実施形態と異なる。つまり、第３実施形態では、第２実施形態の第１参照信号および第２参照信号とは異なる第３参照信号を出力する第３参照信号出力部２６０ｃと、第２実施形態の第１参照信号および第２参照信号とは異なり、かつ第３参照信号とも異なる第４参照信号を出力する第４参照信号出力部２６０ｄと、が設けられている。以下、図２４を参照して、第３実施形態の動作についてより詳細に説明する。

　図２４は、第３実施形態の時間相関カメラ１１０ｂおよび照明装置１２０の動作タイミングの一例を示した例示的なタイミングチャートである。図２４において、「ｒｅｆＣ」は、第３参照信号出力部２６０ｃから出力される第３参照信号を表し、「ｒｅｆＤ」は、第４参照信号出力部２６０ｄから出力される第４参照信号を表す。その他の「ＣＩＳ　ｃａｐｔｕｒｅ」、「Ｃｏｒｒｅｌａｔｉｏｎ」、「Ｓｙｎｃ」、および「ＯＥ」の意味は、上述した図１７および図２２と同様であるため、ここでは説明を省略する。図２４に示される例においても、図１７および図２２に示される例と同様に、照明装置１２０が、第１縞パターンＳＰ１および第２縞パターンＳＰ２のシームレスな切り替えを実行するものとする。

　図２４に示される例では、タイミングｔ２１で、第１信号および第２信号の出力が開始する。これにより、照明装置１２０は、第１信号に基づいたタイミングｔ２１で複数の縞パターンの出力を開始し、当該複数の縞パターンを第２信号に基づいて順次切り替える。つまり、照明装置１２０は、タイミングｔ２１で、第１縞パターンＳＰ１の１周期分の移動を開始し、当該第１縞パターンＳＰ１の移動が終了したタイミングｔ２２で、第２縞パターンＳＰ２への切り替えをシームレスで実行し、当該第２縞パターンＳＰ２の１周期分の移動を開始する。第２縞パターンＳＰ２の１周期分の移動は、タイミングｔ２３で終了する。

　なお、図２４に示される例においても、図１７および図２２に示される例と同様に、タイミングｔ２１およびタイミングｔ２２の間の時間と、タイミングｔ２２およびタイミングｔ２３の間の時間とは、互いに等しい大きさ（符号Ｔｂで表す）に設定される。つまり、図２４に示される例においても、第１縞パターンＳＰ１が１周期分移動するのに要する時間と、第２縞パターンＳＰ２が１周期分移動するのに要する時間とは、互いに一致するように設定される。

　タイミングｔ２１で第１信号の出力が開始されると、それに応じて、読出部２４２がフレームの読み出しを開始し、第３参照信号出力部２６０ｃおよび第４参照信号出力部２６０ｄがそれぞれ第３参照信号および第４参照信号の出力を開始する。以下に説明するように、第３参照信号および第４参照信号は、共に、周期Ｔｂの正弦波に基づいて構成されている。

　第３参照信号は、前半部分および後半部分が周期Ｔｂの同一の正弦波で構成された信号であり、第４参照信号は、前半部分が周期Ｔｂの正弦波で構成され、後半部分が前半部分の正弦波の反転で構成された信号である。以下では、説明の便宜上、第３参照信号の前半部分を第７区間と記載し、第３参照信号の後半部分を第８区間と記載することがある。また、第４参照信号の前半部分を第９区間と記載し、第４参照信号の後半部分を第１０区間と記載することがある。図２４に示される例では、第９区間は、第７区間と一致するように値が変化し、第１０区間は、第８区間の反転に対応する。なお、図２４に示される例では、第７区間と第８区間とが同一の正弦波で構成されているが、第７区間と第９区間とが一致し、第８区間と第１０区間とが反転の関係にありさえすれば、第７区間と第８区間とが同一の正弦波で構成されていなくてもよい。

　上記の第３参照信号および第４参照信号に基づき、相関画像用重畳部２４４ａは、第１縞パターンＳＰ１および第２縞パターンＳＰ２の両方の影響が混在した時間相関画像データを取得する。すなわち、相関画像用重畳部２４４ａは、第３参照信号に基づき、第１縞パターンＳＰ１の移動が開始してから第２縞パターンＳＰ２の移動が終了するまでの期間２Ｔｂにわたる相関演算（フレームの重畳）を１回実行することで、第１縞パターンＳＰ１と第２縞パターンＳＰ２との和に対応した第５時間相関画像データを取得する。また、相関画像用重畳部２４４ａは、第４参照信号に基づき、期間２Ｔｂにわたる相関演算を１回実行することで、第１縞パターンＳＰ１と第２縞パターンＳＰ２との差に対応した第６時間相関画像データを取得する。

　図２４に示される例において、第３参照信号に基づく相関演算は、次のようになる。すなわち、相関画像用重畳部２４４ａは、タイミングｔ２１からタイミングｔ２２にかけて、第３参照信号の第７区間の値を乗算しながら相関演算を行い、タイミングｔ２２からタイミングｔ２３にかけて、第３参照信号の第８区間の値を乗算しながら相関演算を行う。ここで、第７区間の値に基づく前者の相関演算は、第１縞パターンＳＰ１のみの影響を考慮した相関演算に対応し、第８区間に基づく後者の相関演算は、第２縞パターンＳＰ２のみの影響を考慮した相関演算に対応する。したがって、タイミングｔ２１からタイミングｔ２３までの期間２Ｔｂにわたる、第７区間および第８区間からなる第３参照信号の値に基づく相関演算は、第１縞パターンＳＰ１のみの影響を考慮した相関演算と、第２縞パターンＳＰ２のみの影響を考慮した相関演算と、の和に対応する。これにより、期間２Ｔｂにわたる第３参照信号の値に基づく相関演算によれば、第１縞パターンＳＰ１と第２縞パターンＳＰ２との和に対応した第５時間相関画像データが取得される。

　同様に、図２４に示される例において、第４参照信号に基づく相関演算は、次のようになる。すなわち、相関画像用重畳部２４４ａは、タイミングｔ２１からタイミングｔ２２にかけて、第４参照信号の第９区間の値を乗算しながら相関演算を行い、タイミングｔ２２からタイミングｔ２３にかけて、第４参照信号の第１０区間の値を乗算しながら相関演算を行う。ここで、上述したように、第４参照信号の第９区間は、第３参照信号の第７区間と一致し、第４参照信号の第１０区間は、第３参照信号の第８区間の反転に対応する。したがって、タイミングｔ２１からタイミングｔ２３までの期間２Ｔｂにわたる、第９区間および第１０区間からなる第４参照信号の値に基づく相関演算は、第１縞パターンＳＰ１のみの影響を考慮した相関演算と、第２縞パターンＳＰ２のみの影響を考慮した相関演算と、の差に対応する。これにより、期間２Ｔｂにわたる第４参照信号の値に基づく相関演算によれば、第１縞パターンＳＰ１と第２縞パターンＳＰ２との差に対応した第６時間相関画像データが取得される。

　このように、第３実施形態によれば、異なる２系統の参照信号（第３参照信号および第４参照信号）に基づき、第１縞パターンＳＰ１と第２縞パターンＳＰ２との和に対応した第５時間相関画像データと、第１縞パターンＳＰ１と第２縞パターンＳＰ２との差に対応した第６時間相関画像データと、を取得することができる。

　すなわち、第５時間相関画像データおよび第６時間相関画像データの各々を概念的な式で表現すると、次のようになる。
　・第５時間相関画像データ＝第１縞パターンＳＰ１＋第２縞パターンＳＰ２
　・第６時間相関画像データ＝第１縞パターンＳＰ１－第２縞パターンＳＰ２

　上記の２つの概念的な式によれば、さらに次のような２つの概念的な式が得られる。
　・第５時間相関画像データ＋第６時間相関画像データ＝２×第１縞パターンＳＰ１
　・第５時間相関画像データ－第６時間相関画像データ＝２×第２縞パターンＳＰ２

　したがって、第３実施形態によれば、第５時間相関画像データと第６時間相関画像データとの和に基づき、第１縞パターンＳＰ１のみに対応した第１時間相関画像を生成することができ、第５時間相関画像データと第６時間相関画像データとの差に基づき、第２縞パターンＳＰ２のみに対応した第２時間相関画像を生成することができる。

　図２５は、第３実施形態の時間相関カメラ１１０ｂから出力される第５時間相関画像データの具体例を示した例示的な図であり、図２６は、第３実施形態の時間相関カメラ１１０ｂから出力される第６時間相関画像データの具体例を示した例示的な図である。また、図２７は、第３実施形態において、図２５および図２６のデータから生成される第１時間相関画像の具体例を示した例示的な図であり、図２８は、第３実施形態において、図２７の第１時間相関画像とともに生成される第２時間相関画像の具体例を示した例示的な図である。

　図２５および図２６に示されるように、第３実施形態によれば、第１縞パターンＳＰ１と第２縞パターンＳＰ２との両方の影響が混在した異なる２種類のデータを得ることができる。そして、図２７および図２８に示されるように、第３実施形態によれば、第１縞パターンＳＰ１と第２縞パターンＳＰ２との両方の影響が混在した異なる２種類のデータにさらなる演算処理を行うことで、第１縞パターンＳＰ１のみの影響に基づく第１時間相関画像と、第２縞パターンＳＰ２のみの影響に基づく第２時間相関画像と、を分けて生成することができる。

　上述した実施形態のＰＣ１００で実行される検査プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）などのコンピュータで読み取り可能な記録媒体に記録されて提供される。

　また、上述した実施形態のＰＣ１００で実行される検査プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述した実施形態のＰＣ１００で実行される検査プログラムをインターネットなどのネットワーク経由で提供または配布するように構成してもよい。

　以上、本発明のいくつかの実施形態および変形例を説明したが、これらの実施形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態および変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

　１０４…画像生成部、１０５…異常検出部、１１０，１１０ａ，１１０ｂ…時間相関カメラ、１２０…照明装置（照明部）、１３０…スクリーン（照明部）、２２０…イメージセンサ、２４４，２４４ａ…相関画像用重畳部（画像データ取得部）、２５１…第１信号出力部、２５２…第２信号出力部、２６０…参照信号出力部、２６０ａ…第１参照信号出力部、２６０ｂ…第２参照信号出力部、２６０ｃ…第３参照信号出力部、２６０ｄ…第４参照信号出力部。

Claims

　第１方向に延びる第１縞パターンが前記第１方向と交差する第２方向に１周期分移動した後、シームレスで、前記第２方向に延びる第２縞パターンが前記第１方向に１周期分移動するように、複数の縞パターンを順次切り替えて出力することで、被検査体に対して光の強度の周期的な時間変化および空間変化を与える照明部と、
　前記複数の縞パターンの出力開始のトリガとなる第１信号を前記照明部に出力する第１信号出力部と、
　前記複数の縞パターンの切り替えのトリガとなる第２信号を前記照明部に出力する第２信号出力部と、
　時間相関カメラまたはそれと等価な動作をする撮像システムに用いられるイメージセンサと、
　前記イメージセンサから出力されるフレームの重畳を前記第１信号に基づいたタイミングで開始することで、前記照明部によって照らされた前記被検査体の検査対象面を撮像した時間相関画像データを取得する画像データ取得部と、
　前記時間相関画像データに基づいて、前記第１縞パターンのみに対応した第１時間相関画像および前記第２縞パターンのみに対応した第２時間相関画像を生成する画像生成部と、
　前記第１時間相関画像および前記第２時間相関画像に基づいて、前記検査対象面における異常を検出する異常検出部と、
　を備える、検査システム。
　前記第１縞パターンの１周期分の移動中に時間遷移とともに値が変化する第１区間と、前記第２縞パターンの１周期分の移動中に時間遷移とともに値が変化する第２区間と、を有する参照信号の出力を、前記第１信号に基づいたタイミングで開始する参照信号出力部をさらに備え、
　前記画像データ取得部は、前記イメージセンサから出力されるフレームを、当該フレームの出力タイミングにおける前記参照信号の値を乗算しながら重畳することで、前記第１縞パターンが前記第２縞パターンに切り替わるまでの前記第１区間の値に基づいた重畳結果である第１時間相関画像データと、前記第１縞パターンが前記第２縞パターンに切り替わってからの前記第２区間の値に基づいた重畳結果である第２時間相関画像データと、を取得し、
　前記画像生成部は、前記第１時間相関画像データに基づいて前記第１時間相関画像を生成し、前記第２時間相関画像データに基づいて前記第２時間相関画像を生成する、
　請求項１に記載の検査システム。
　前記第１縞パターンの１周期分の移動中に時間遷移とともに値が変化する第３区間と、前記第２縞パターンの１周期分の移動中に時間遷移によらず値が一定となる第４区間と、を有する第１参照信号の出力を、前記第１信号に基づいたタイミングで開始する第１参照信号出力部と、
　前記第１縞パターンの１周期分の移動中に時間遷移によらず値が一定となる第５区間と、前記第２縞パターンの１周期分の移動中に時間遷移とともに値が変化する第６区間と、を有する第２参照信号の出力を、前記第１信号に基づいたタイミングで開始する第２参照信号出力部と、
　をさらに備え、
　前記画像データ取得部は、前記イメージセンサから出力されるフレームを、当該フレームの出力タイミングにおける前記第１参照信号および前記第２参照信号の値を乗算しながら重畳することで、前記第１縞パターンの１周期分の移動が開始してから前記第２縞パターンの１周期分の移動が終了するまでの間における前記第１参照信号の前記第３区間および前記第４区間の値に基づいた重畳結果である第３時間相関画像データと、前記第１縞パターンの１周期分の移動が開始してから前記第２縞パターンの１周期分の移動が終了するまでの間における前記第２参照信号の前記第５区間および前記第６区間の値に基づいた重畳結果である第４時間相関画像データと、を取得し、
　前記画像生成部は、前記第３時間相関画像データに基づいて前記第１時間相関画像を生成し、前記第４時間相関画像データに基づいて前記第２時間相関画像を生成する、
　請求項１に記載の検査システム。
　前記第１縞パターンの１周期分の移動中に時間遷移とともに値が変化する第７区間と、前記第２縞パターンの１周期分の移動中に時間遷移とともに値が変化する第８区間と、を有する第３参照信号の出力を、前記第１信号に基づいたタイミングで開始する第３参照信号出力部と、
　前記第１縞パターンの１周期分の移動中に前記第７区間の値と一致するように値が変化する第９区間と、前記第２縞パターンの１周期分の移動中に前記第８区間の値の反転に対応するように値が変化する第１０区間と、を有する第４参照信号の出力を、前記第１信号に基づいたタイミングで開始する第４参照信号出力部と、
　をさらに備え、
　前記画像データ取得部は、前記イメージセンサから出力されるフレームを、当該フレームの出力タイミングにおける前記第３参照信号および前記第４参照信号の値を乗算しながら重畳することで、前記第１縞パターンの１周期分の移動が開始してから前記第２縞パターンの１周期分の移動が終了するまでの間における前記第３参照信号の前記第７区間および前記第８区間の値に基づいた重畳結果である第５時間相関画像データと、前記第１縞パターンの１周期分の移動が開始してから前記第２縞パターンの１周期分の移動が終了するまでの間における前記第４参照信号の前記第９区間および前記第１０区間の値に基づいた重畳結果である第６時間相関画像データと、を取得し、
　前記画像生成部は、前記第５時間相関画像データと前記第６時間相関画像データとの和に基づいて前記第１時間相関画像を生成し、前記第５時間相関画像データと前記第６時間相関画像データとの差に基づいて前記第２時間相関画像を生成する、
　請求項１に記載の検査システム。
　第１方向に延びる第１縞パターンが前記第１方向と交差する第２方向に１周期分移動した後、シームレスで、前記第２方向に延びる第２縞パターンが前記第１方向に１周期分移動するように、複数の縞パターンを順次切り替えて出力する照明部により、被検査体に対して光の強度の周期的な時間変化および空間変化を与える照明ステップと、
　前記複数の縞パターンの出力開始のトリガとなる第１信号を前記照明部に出力する第１信号出力ステップと、
　前記複数の縞パターンの切り替えのトリガとなる第２信号を前記照明部に出力する第２信号出力ステップと、
　時間相関カメラまたはそれと等価な動作をする撮像システムに用いられるイメージセンサから出力されるフレームの重畳を前記第１信号に基づいたタイミングで開始することで、前記照明ステップによって照らされた前記被検査体の検査対象面を撮像した時間相関画像データを取得する画像データ取得ステップと、
　前記時間相関画像データに基づいて、前記第１縞パターンのみに対応した第１時間相関画像および前記第２縞パターンのみに対応した第２時間相関画像を生成する画像生成ステップと、
　前記第１時間相関画像および前記第２時間相関画像に基づいて、前記検査対象面における異常を検出する異常検出ステップと、
　を備える、検査方法。