JP4730928B2 - 画像計測カメラ - Google Patents

画像計測カメラ Download PDF

Info

Publication number
JP4730928B2
JP4730928B2 JP2001170316A JP2001170316A JP4730928B2 JP 4730928 B2 JP4730928 B2 JP 4730928B2 JP 2001170316 A JP2001170316 A JP 2001170316A JP 2001170316 A JP2001170316 A JP 2001170316A JP 4730928 B2 JP4730928 B2 JP 4730928B2
Authority
JP
Japan
Prior art keywords
light receiving
output
column
light
receiving elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001170316A
Other languages
English (en)
Other versions
JP2002366930A (ja
Inventor
晴義 豊田
直久 向坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2001170316A priority Critical patent/JP4730928B2/ja
Publication of JP2002366930A publication Critical patent/JP2002366930A/ja
Application granted granted Critical
Publication of JP4730928B2 publication Critical patent/JP4730928B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

【0001】
【産業上の利用分野】
本発明は画像計測カメラに関し、特に、被測定物体にラインパターン光を照射して被測定物体の3次元形状を計測するために用いられる画像計測カメラに関する。
【0002】
【従来の技術】
従来より、ラインパターン光や点像照明装置とCCDカメラと画像処理装置とからなり、光切断法により被測定物体の3次元形状を測定する画像計測カメラが知られている。
【0003】
【発明が解決しようとする課題】
しかしながら、従来の画像計測カメラでは、CCDカメラの約30Hzというフレームレートの制約や画像処理装置の演算速度の問題から、被測定物体の3次元形状情報を高速に得ることができない。
【0004】
特開平10−122850号公報では、高速性を達成するために、CCDカメラの代わりに、複数の半導体位置検出素子(PSD)からなる受光素子アレイを設けることが提案されている。各半導体位置検出素子は、受けとった光の重心位置を面抵抗の分圧比を用いて直接計測する。しかしながら、この方法では、被測定物体を2次元の画像として捉えることができない。このため、高さ方向の情報を得ることはできるが、他の2次元の情報を得ることができない。したがって、高さ方向の2次元方向の分布である3次元形状を高解像度で得ることができない。また、受けとった光の重心位置を直接計測するため、ノイズを含んだ精度の低い計測結果しか得られない。
【0005】
そこで、本発明は、被測定物体の3次元形状を高速に、かつ、高精度で取得することができる画像計測カメラを提供することを目的とする。
【0006】
【課題を解決するための手段】
上記目的を達成するために、本発明は、所定の方向に延びる測定用のラインパターン光を、被測定物体に投光する光源と、複数の受光素子が、該所定の方向に略平行に延びる複数の行、及び、該複数の行に対し略垂直に延びる複数の列に2次元状に配列され、かつ、複数のブロックにグループ分けされて構成された、該被測定物体より反射された該ラインパターン光を受光するための受光素子アレイと、前記受光素子アレイの該複数のブロックに1対1に対応して設けられ、対応するブロック中の受光素子から順次読み出された出力信号をアナログ・デジタル変換する複数のA/D変換器からなるA/D変換器アレイと、前記A/D変換器アレイから転送された該各列に属する複数の受光素子の出力信号に相当するデジタル信号の0次モーメントを演算するための0次モーメント演算器と、前記A/D変換器アレイから転送された該各列に属する該複数の受光素子の出力信号に相当するデジタル信号の1次モーメントを演算するための1次モーメント演算器と、該ラインパターン光を受光している該受光素子からの出力信号に相当するデジタル信号であるか該ラインパターン光を受光していない該受光素子からの出力信号に相当するデジタル信号であるかを判断し、該ラインパターン光を受光している該受光素子からの出力信号に相当するデジタル信号のみについて該0次モーメント演算器と該1次モーメント演算器とに演算を行わせることによりノイズを除去するノイズ除去装置と、を備え、該受光素子アレイは、一の列に属する複数の受光素子が互いに同一の時刻に受け取った光量を示す出力信号を互いに同一の時刻に出力することを、各列毎に順次行うことを特徴とする画像計測カメラを提供している。
【0007】
かかる構成の画像計測カメラによれば、光源は、所定の方向に延びる測定用のラインパターン光を、被測定物体に、例えば、その高さ方向に対し斜めに投光する。被測定物体より、例えば、その高さ方向に反射された該ラインパターン光を受光素子アレイにて検出する。受光素子アレイの各ブロックに属する受光素子から順次読み出された出力信号が、対応するA/D変換器にて順次アナログ・デジタル変換される。したがって、2次元情報であるラインパターン光の強度を示すデジタル信号を高速に得ることができる。しかも、受光素子を複数の行及び列に高集積化することで、2次元情報を高解像度にて取得することができる。
【0008】
さらに、0次モーメント演算器と1次モーメント演算器がモーメント演算を行うことにより、0次モーメントと1次モーメントとを高速に演算することができる。これらモーメント値が、被測定物体の3次元形状情報、例えば、高さ情報を示す。
【0009】
具体的には、1次モーメントを0次モーメントで割った値で与えられるラインパターン光の重心位置をP、光源が被測定物体に対してラインパターン光を投光する方向(投光器の光軸方向)と受光素子アレイが被測定物体からのラインパターン光を受け取る方向(ビジョンセンサーの光軸方向)とがなす角度をθ、受光素子アレイが捉える像の倍率(ビジョンセンサー内に設けられたレンズの倍率)をmとすると、m・P/tanθが、被測定物体の高さ情報を示す。
【0010】
しかも、ノイズ除去装置が、演算結果からノイズを除去するので、演算結果である0次モーメントや1次モーメントは、被測定物体の形状情報を高精度に示すことができる。
【0011】
ここで、受光素子アレイは、その行方向がラインパターン光が延びる所定の方向に平行になるように、配置されている。したがって、受光素子アレイが受光した反射ラインパターン光の各列(行方向における各位置)での列方向における重心位置を求めることで、ラインパターン光が延びる所定の方向における各位置での被測定物体の形状情報を示す0次、1次モーメントを計測することができる。
【0012】
なお、0次、1次モーメント演算器は、演算した0次、1次モーメントを、例えば、外部コンピュータに出力すれば良い。外部コンピュータが、0次、1次モーメントに基づいて重心位置を演算し、さらに、重心位置に基づいて、被測定物体の形状、例えば、高さを演算する。
【0013】
また、本発明は、所定の方向に延びる測定用のラインパターン光を、被測定物体に投光する光源と、複数の受光素子が、該所定の方向に略平行に延びる複数の行、及び、該複数の行に対し略垂直に延びる複数の列に2次元状に配列され、かつ、複数のブロックにグループ分けされて構成された、該被測定物体より反射された該ラインパターン光を受光するための受光素子アレイと、前記受光素子アレイの該複数のブロックに1対1に対応して設けられ、対応するブロック中の受光素子から順次読み出された出力信号をアナログ・デジタル変換する複数のA/D変換器からなるA/D変換器アレイと、前記A/D変換器アレイから転送された該各列に属する複数の受光素子の出力信号に相当するデジタル信号の0次モーメントを演算するための0次モーメント演算器と、前記A/D変換器アレイから転送された該各列に属する該複数の受光素子の出力信号に相当するデジタル信号の1次モーメントを演算するための1次モーメント演算器と、演算結果からノイズを除去するためのノイズ除去装置と、前記1次モーメント演算器の演算結果と前記0次モーメント演算器の演算結果とに基づき、前記各列に属する前記複数の受光素子の出力信号に相当するデジタル信号の列方向の重心を演算し、演算結果を出力するための重心演算器と、該重心演算器の演算結果に基づき、前記被測定物体の該所定の方向における各位置での被測定物体の形状情報を演算する形状情報演算装置と、を備え、前記ノイズ除去装置が、前記各列に属する前記複数の受光素子からの出力信号に相当するデジタル信号のうち、その値が最大である最大値出力受光素子を検出する最大値位置検出手段と、該各列について、前記重心演算装置の演算結果が示す重心位置と該最大値位置検出器の検出結果が示す最大値出力受光素子の最大値位置とを受け取り、該重心位置と該最大値位置との間の距離が所定の許容値より小さいか否かを判断し、該距離が該所定の許容値より小さい場合に、該重心演算装置の演算結果を出力する比較手段と、からなり、該受光素子アレイは、一の列に属する複数の受光素子が互いに同一の時刻に受け取った光量を示す出力信号を互いに同一の時刻に出力することを、各列毎に順次行い、前記ノイズ除去装置が、該重心演算器の演算結果からノイズを除去することを特徴とする画像計測カメラを提供している。
【0014】
重心演算器は、0次モーメントと1次モーメントに基づいて重心位置を演算するため、重心位置を高速に演算することができる。形状情報演算装置が、各列での重心位置に基づいて、被測定物体の対応する位置での形状、例えば、高さを演算する。
【0015】
しかも、ノイズ除去装置が、演算結果からノイズを除去するので、被測定物体の形状情報、例えば、高さ情報を高精度に演算することができる。
【0016】
例えば、ノイズ除去装置は、受光素子アレイの各列に属する複数の受光素子の出力信号に相当する複数のデジタル信号を、順次、受け取り、各デジタル信号からノイズを除去するのでも良い。ノイズが除去されたデジタル信号が、0次、1次モーメント演算器に出力され、演算に供される。
【0017】
もしくは、前記ノイズ除去装置は、前記各列に属する前記複数の受光素子のうち連続する所定の個数の受光素子からの出力信号に相当するデジタル信号が所定のしきい値より大きいか否かを判断する判断手段と、所定のしきい値より大きいと判断された連続する該所定の個数の演算素子からの出力信号に相当するデジタル信号に基づいて、前記0次モーメント演算器と前記1次モーメント演算器とに演算を行わせる制御手段と、を備えているのでも良い。
【0018】
1つの列について、連続した所定の個数の受光素子からの出力信号に相当するデジタル信号が所定のしきい値より大きい場合には、これら連続した所定の個数の受光素子が所定の幅を有するラインパターン光を受光していることがわかる。そこで、ノイズ除去装置は、0次、1次モーメント演算器に対し、これら所定個数の受光素子からの出力信号に相当するデジタル信号に基づいて、0次、1次モーメントを演算させる。したがって、0次、1次モーメント演算器は、ラインパターン光を受光した受光素子からの出力信号に相当するデジタル信号のみを使用して演算を行うことができる。このため、迷光等のノイズを誤って演算に含めてしてしまうことを防止でき、ノイズが除去された0次、1次モーメントを演算することができる。
【0019】
また、前記ノイズ除去装置は、前記各列に属する前記複数の受光素子からの出力信号に相当するデジタル信号のうち、その値が最大である最大値出力受光素子を決定する最大値位置検出手段と、検出された最大値出力受光素子を略中心に含む連続する所定の個数の演算素子からの出力信号に相当するデジタル信号に基づいて、前記0次モーメント演算器と前記1次モーメント演算器とに演算を行わせる制御手段と、を備えているのでも良い。
【0020】
各列について、最大値のデジタル信号に相当する出力信号を出力した受光素子を略中心に含む連続する所定個数の受光素子が、所定の幅のラインパターン光を受光していることがわかる。このため、ノイズ除去装置は、0次、1次モーメント演算器に対し、最大値のデジタル信号を出力した受光素子を略中心に含む連続した所定個数の受光素子からの出力信号に相当するデジタル信号に基づいて演算を行わせる。したがって、0次、1次モーメント演算器は、ラインパターン光を受光した受光素子からの出力信号に相当するデジタル信号のみを使用して演算を行うことができる。このため、ノイズが除去された0次、1次モーメントを演算することができる。
【0021】
また、前記光源が、所定の複数個の測定用のラインパターン光を、互いに前記所定方向に対し略垂直な方向における所定の複数個の位置に投光し、各ラインパターン光が前記所定の方向に沿って延び、前記ノイズ除去装置が、前記各列に属する前記複数の受光素子からの出力信号に相当するデジタル信号のうち、その値が極大である極大値出力受光素子を決定する極大値位置検出手段と、検出された該所定の複数個の極大値のデジタル信号に相当する出力信号を出力した受光素子を略中心に含む連続する所定の個数の演算素子からの出力信号に相当するデジタル信号に基づいて、前記0次モーメント演算器と前記1次モーメント演算器とに演算を行わせる制御手段と、を備えているのでも良い。
【0022】
1つの列について、極大値のデジタル信号を出力した受光素子を略中心として連続した所定個数の受光素子が、所定の幅のラインパターン光を受光していることがわかる。このため、ノイズ除去装置は、0次、1次モーメント演算器に対し、極大値のデジタル信号を出力した受光素子を略中心に含む連続した所定個数の受光素子からの出力信号に相当するデジタル信号に基づいて演算を行わせる。かかる演算を、所定個数の極大値のそれぞれについて行わせることで、各ラインパターンの0次、1次モーメントを求める。したがって、0次、1次モーメント演算器は、ラインパターン光を受光した受光素子からの出力信号に相当するデジタル信号のみを使用して演算を行うことができる。このため、ノイズが除去された0次、1次モーメントを演算することができる。
【0023】
また、前記ノイズ除去装置が、前記各列に属する前記複数の受光素子からの出力信号に相当するデジタル信号のうち、その値が最大である最大値出力受光素子を検出する最大値位置検出手段と、該各列について、前記重心演算装置の演算結果が示す重心位置と該最大値位置検出器の検出結果が示す最大値出力受光素子の最大値位置とを受け取り、該重心位置と該最大値位置との間の距離が所定の許容値より小さいか否かを判断し、該距離が該所定の許容値より小さい場合に、該重心演算装置の演算結果を出力する比較手段と、からなるのでも良い。
【0024】
重心位置と最大値位置との差が所定の許容値以上の場合には、重心位置は精度が低いとして出力されない。重心位置と最大値位置との差が所定の許容値より小さい場合にのみ、重心位置は精度が高いとして出力され、形状情報の演算に供される。したがって、形状情報の演算が高精度に行われる。
【0025】
以上のように、本発明の画像計測カメラでは、2次元画像を高速で取り込んで処理するため、外部に出力するのは単純なデータである0次、1次モーメントもしくは形状情報であるものの、その内部では、2次元の情報をフルに活用して、デジタル信号からノイズを除去したり、迷光等のノイズを演算に含めないようにしたり、不正確なデータを排除したりすることにより、精度の高い計測を可能としている。また、マルチライン検出による性能の向上も可能としている。
【0026】
ここで、複数のA/D変換器は、受光素子アレイの複数の列に1対1に対応して設けられ、各A/D変換器が、対応する列中の受光素子から順次読み出された出力信号をアナログ・デジタル変換するのでも良い。
【0027】
もしくは、複数のA/D変換器は、受光素子アレイの複数の行に1対1に対応して設けられ、各A/D変換器が、対応する行中の受光素子から順次読み出された出力信号をアナログ・デジタル変換するのでも良い。この場合、受光素子アレイは、1つの列に属する複数の受光素子が略同一の時刻に受け取った光量を示す出力信号を略同一の時刻に出力することで、複数の列に属する受光素子が順次異なる時刻に受け取った光量を示す出力信号を順次異なる時刻に出力する。複数のA/D変換器は、1つの列に属する複数の受光素子が略同一の時刻に出力した複数の出力信号を、略同時に、アナログ・デジタル変換して、複数のデジタル信号を出力する。
【0028】
受光素子アレイは、例えば、CMOSセンサーからなることが好ましい。この場合、各受光素子が、入力した光強度に応じて電荷を発生する光電変換素子たるpn接合フォトダイオードと、光電変換素子の信号出力端子に接続され、行方向走査信号に応じて光電変換素子内部の不図示のコンデンサーに蓄積された電荷を出力するためのスイッチ素子たるMOSトランジスタとを1組として構成される。この受光素子が行方向に沿って複数個配置され、かつ、かかる複数個の受光素子のスイッチ素子が互いに電気的に接続されて、行方向受光部が構成され、対応するA/D変換器に接続されている。そして、この行方向受光部が、列方向に沿って複数個配列されることにより、CMOSセンサーが構成されている。各列の全受光素子のスイッチ素子は、互いに接続され、行方向走査信号により同時にオンされるようになっている。
【0029】
かかる構成のCMOSセンサーでは、各光電変換素子は、光電変換によって生じた電荷を内部のコンデンサーに蓄積する。各列のスイッチ素子に印加する行方向走査信号を行方向に走査することによって、各列の光電変換素子に蓄積された電荷を順番に読み出すようになっている。したがって、読み出す順番により、蓄積時間が少しずつずれていく。但し、同一の列のスイッチ素子は同時にオンされるため、1つの列に属する複数の光電変換素子が略同一の時刻に受け取った光量を示す出力信号が、略同一の時刻に、A/D変換器アレイに出力される。
【0030】
この場合、画像計測カメラは、さらに、複数のA/D変換器に1対1に対応して設けられた複数の転送スイッチからなり、該受光素子アレイの1つの列に属する前記複数の受光素子の出力信号に相当し該A/D変換器アレイから略同時刻に出力される複数のデジタル信号を、順次、転送するためのスイッチアレイを備えていることが好ましい。
【0031】
この場合、受光素子アレイでは、各列に属する複数の受光素子が、互いに略同一の時刻に受け取った光量を示す出力信号を、互いに略同一の時刻に出力する。A/D変換器アレイは、略同時に受け取った同一の列に属する複数の受光素子の出力信号をデジタル信号に変換して、0次モーメント演算器及び1次モーメント演算器に出力する。このため、0次モーメント演算器は、互いに略同一の時刻に受け取った光量を示す出力信号に相当するデジタル信号に基づいて、1つの列の0次モーメントを演算する。同様に、1次モーメント演算器も、互いに略同一の時刻に受け取った光量を示す出力信号に相当するデジタル信号に基づいて、1つの列の1次モーメントを演算する。したがって、各列における0次、1次モーメントを、互いに略同一の時刻に受け取った光量を示す出力信号に相当するデジタル信号に基づいて、求めることができる。したがって、各列における0次、1次モーメントを、高精度に求めることができる。
【0032】
たとえ被測定物体が移動していても、各列におけるモーメントは、あくまで、略同一時刻に得られた出力信号に基づいて演算されるため、被測定物体の各列位置における形状情報を極めて高精度に求めることができる。
【0033】
このように、本発明では、受光素子アレイの転送方向に略平行にラインパターン光を照射するので、そのラインパターン光が延びる方向における各位置の該方向に対して垂直の方向での0次、1次モーメントを、受光素子アレイにて略同時刻に得られた信号を積分して求めることで、形状情報を高精度に得ることができる。
【0034】
また、A/D変換器アレイが、1つの列に属する複数の受光素子が略同時に出力した複数の出力信号を略同時にデジタル信号に変換すると、スイッチアレイが、これら複数の出力信号を、順次、0次モーメント演算器及び1次モーメント演算器に出力する。0次モーメント演算器は、1つの列に属する複数の受光素子からの出力信号に相当するデジタル信号を順次受け取りながら積算していって、0次モーメントを演算する。また、1次モーメント演算器は、1つの列に属する複数の受光素子からの出力信号に相当するデジタル信号を、順次、受け取りながら重み付け積算して1次モーメントを演算する。したがって、0次、1次モーメントを簡単な処理にて演算することができる。
【0035】
【発明の実施の形態】
本発明の実施の形態による画像計測カメラについて図面に基づき説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【0036】
(第1の実施の形態)
【0037】
本発明の第1の実施の形態による画像計測カメラについて図1乃至図14に基づき説明する。
【0038】
本実施形態の画像計測カメラ1は、図1に示すように、被測定物体Sの高さ分布である3次元形状を計測するための装置である。なお、Z軸を、被測定物体Sの高さ方向に平行な軸として定義する。また、Z軸方向に対して垂直に延びるX軸及びY軸を規定する。X軸とY軸とは、互いに垂直である。
【0039】
本実施形態の画像計測カメラ1は、投光器2と、投光器2に固定されたビジョンセンサー3とからなる。
【0040】
投光器2は、測定用のラインパターン光を、被測定物体Sに投光するための光源である。投光器2は、X軸方向に延びるラインパターン光を、被測定物体Sの所定位置に投光する。ここで、投光器2がラインパターン光を投光する投光方向は、Z軸方向に対して所定の角度θだけ斜めにずれている。なお、投光器2は、例えば、図示しないレーザ光源と、レーザ光源からのスポット状のレーザビームをX軸方向に広げてラインパターン光を形成するための、やはり図示しないビーム形状変更手段(例えば、シリンドリカルレンズ)からなる。
【0041】
ビジョンセンサー3は、被測定物体SからZ軸方向に離隔して設けられており、被測定物体Sの表面にて反射されたラインパターン光を受光し、X軸方向の各点におけるラインパターン光のY軸方向の重心位置を計測する。
【0042】
例えば、図2に示すように、被測定物体Sが、基準高さZ0を有する主平面部S0と凸型平面部S1とを有していると仮定する。凸型平面部S1は、主平面部S1の基準高さZ0に対してZ軸方向に高さZ1だけずれているとする。
【0043】
ここで、投光器2が、被測定物体Sへ向けて、X軸方向に延びるラインパターン光を、投光する。この際、投光器2は、ラインパターン光が、基準高さZ0上において、Y軸方向における位置Y0に照射されるように、投光する。このため、主平面部S0上では、ラインパターン光のY軸方向の重心位置はY0となる。ここで、凸型平面部S1上で、ラインパターン光のY軸方向の重心位置がY1であるとすると、凸型平面部S1は主平面部S0に対しΔZ=|Y1―Y0|/tanθだけ高さ方向にずれていることがわかる。
【0044】
かかる構成の画像計測カメラ1は、例えば、移動枠5に移動可能に配置することができる。ここで、移動枠5は、Y軸方向に延びており、画像計測カメラ1をY軸方向に移動させることで、画像計測カメラ1と被測定物体SとのY軸方向における相対的位置を変化させることができる。画像計測カメラ1がY軸方向に移動すると、投光器2がラインパターン光を投光する被測定物体S上の位置(基準位置Y0)が変化するため、Y軸方向における広い範囲での被測定物体Sの高さ分布を計測することができる。
【0045】
図3に示すように、ビジョンセンサー3は、筐体10と、筐体10上に設けられた撮像レンズ10aと、筐体10内に設けられた光検出部4と演算部6と制御部8とからなる。図1に示すように、筐体10は、撮像レンズ10aの光軸がZ軸方向に平行であり、かつ、被測定物体Sに対向するように、配置される。
【0046】
光検出部4は、基板40と、基板40上に形成された光検出器アレイ(受光素子アレイ)11と、アナログ/デジタル変換器アレイ(以下、A/D変換器アレイという)13と、転送スイッチアレイ14とからなる。光検出器アレイ11は、撮像レンズ10aに対向する位置に配置されている。撮像レンズ10aは、被測定物体Sで反射された光が示す2次元画像を、その焦点距離で決まる所定の縮小倍率mで縮小して、光検出器アレイ11に結像する。
【0047】
演算部6は、基板60と、基板60上に形成されたノイズ除去回路20と、0次モーメント演算器16と、1次モーメント演算器17と、重心演算器18と、座標変換器21とからなる。なお、図4に示すように、ノイズ除去回路20と0次モーメント演算器16と1次モーメント演算器17とが、第1の演算部6aを構成する。重心演算器18と座標変換器21とが、第2の演算部6bを構成する。
【0048】
制御部8は、基板80と、基板80上に形成された制御回路15とからなる。制御回路15は、ビジョンセンサー3内の光検出部4と演算部6内の全素子に接続されており、これらを制御する。
【0049】
まず、光検出部4について説明する。
【0050】
光検出器アレイ11は、複数(この場合、nxn個:nは2以上の整数、例えば、n=128)の受光素子120が、複数の行(n行)及び複数の列(n列)に2次元状に配列されて構成されている。すなわち、光検出器アレイ11は、n個の受光素子120がX軸方向に並んで構成されたx方向受光部110が、128個、X軸方向に直交するY軸方向に配列されて構成されている。光検出器アレイ11は、被測定物体Sに対し、その行方向(X軸方向)が被測定物体SのX軸方向と平行になり、かつ、その列方向(Y軸方向)が被測定物体SのY軸方向と平行になるように、配置される。
【0051】
光検出器アレイ11における各受光素子120(以下、120x,y(x=1〜n、y=1〜n)という)の2次元座標位置(x、y)は、被測定物体Sの2次元座標位置(X、Y)に対し、撮像レンズ10aの縮小倍率mで定まる1対1の関係にある。具体的には、X=m・x、Y=m・yの関係にある。
【0052】
図5に示すように、光検出器アレイ11は、CMOSセンサーである。すなわち、各受光素子120x,yは、入力した光強度に応じて電荷を発生する光電変換素子(pn接合フォトダイオード)130と、光電変換素子130の信号出力端子に接続され、水平走査信号V(x=1〜n)に応じて光電変換素子130内部の不図示のコンデンサーに蓄積された電荷を出力するスイッチ素子140(MOSトランジスタ)とを1組として構成されている。この受光素子120x,yがx方向に沿ってn個配置され、かつ、かかるn個の受光素子120のスイッチ素子140が互いに電気的に接続されて、x方向受光部110が構成されている。そして、このx方向受光部110が、X軸方向に対して直交するY軸方向に沿ってn個配列されることにより、受光素子アレイ11が構成されている。
【0053】
このように、各行yに属する全n個の受光素子1201,y〜120n,yは、互いに接続されている。後述するように、制御回路15内にある画像取り込み制御部300は、各列xに対し、当該列xに所属する全n個の受光素子120x,yが同時に信号を出力するように制御する。画像取り込み制御部300は、また、全n列の受光素子120x,yのうち、第1列の受光素子1201,yから第n列の受光素子120n,yまで、順番に信号を出力するように制御する。
【0054】
A/D変換器アレイ13は、n(=128)個のアナログ/デジタル変換器(以下、A/D変換器という)210(y=1〜n)を備えている。各A/D変換器210は、光検出器アレイ11の対応する行yに所属する全n(=128)個の受光素子120x,y(x=1〜n)に接続されており、これら全n(=128)個の受光素子120x,yから順次読み出されてくる出力信号をアナログ・デジタル変換する。
【0055】
より詳しくは、A/D変換器アレイ13には、n(=128)個のA/D変換器210が1次元状(y方向)に配列されている。当該n(=128)個のA/D変換器210は、光検出器アレイ11内のn(=128)個の水平受光部110に1対1に対応して接続されている。各A/D変換器210は、対応する水平受光部110に所属する全n個の受光素子120x,y〜120n,yから順次出力されてくる電荷を電圧信号に変換し、さらにA/D変換してデジタル信号D(1,y)〜D(n、y)を出力する。
【0056】
各A/D変換器210は、チャージアンプ221を含む積分回路220と、比較回路230、及び、容量制御機構240の3つの回路から構成されている。
【0057】
積分回路220は、x方向受光部110に属する1つの受光素子120x、yからの出力信号を入力として、この入力信号の電荷を増幅するチャージアンプ221と、チャージアンプ221の入力端子に一方の端が接続され、出力端子に他方の端が接続された可変容量部222と、チャージアンプ221の入力端子に一方の端が接続され、出力端子に他方の端が接続されたスイッチ素子223とからなる。スイッチ素子223は、画像取り込み制御部300からのリセット信号Rに応じてON、OFF状態となり、積分回路220の積分、非積分動作を切り替えるためのものである。
【0058】
図6は、積分回路220の詳細構成図である。本図は、4ビットつまり16階調の分解能を持つA/D変換機能を備える積分回路の例であり、以下、この回路構成により説明する。
【0059】
可変容量部222は、チャージアンプ221の水平受光部110からの出力信号の入力端子に一方の端子が接続された容量素子C1〜C4と、容量素子C1〜C4の他方の端子とチャージアンプ221の出力端子との間に接続され、容量指示信号C11〜C14に応じて開閉するスイッチ素子SW11〜SW14と、容量素子C1〜C4とスイッチ素子SW11〜SW14との間に一方の端子が接続され、他方の端子がGNDレベルと接続されて、容量指示信号C21〜C24に応じて開閉するスイッチ素子SW21〜SW24とから構成されている。なお、容量素子C1〜C4の電気容量C1〜C4は、
1=2C2=4C3=8C4
0=C1+C2+C3+C4
の関係を満たす。ここで、C0は積分回路220で必要とする最大電気容量であり、光電変換素子130(図5参照)の飽和電荷量をQ0、基準電圧をVREFとすると、C0=Q0/VREFの関係を満たす。
【0060】
再び、図5に戻り、A/D変換器210の積分回路220以外の回路を説明する。比較回路230は、積分回路220から出力された積分信号VSの値を基準値VREFと比較して、比較結果信号VCを出力する。容量制御機構240は、比較結果信号VCの値から積分回路220内の可変容量部222に通知する容量指示信号Cを出力すると共に、容量指示信号C(C11〜C 4)に相当するデジタル信号D(x、y)を出力する。こうして、各容量制御機構240は、デジタル信号D(x、y)を、最上位ビット(MSB)である容量指示信号C11から、順次、最下位ビット(LSB)である容量指示信号C14まで出力することで、デジタル信号D(x、y)をビットシリアルに出力する。
【0061】
上記構成の画像取り込み部11、13は、制御回路15内の画像取り込み制御部300により、画像取り込みのタイミングを制御される。図5に示すように、画像取り込み制御部300は、全回路11及び13のクロック制御を行う基本タイミングを発生する基本タイミング部310と、基本タイミング部310から通知された水平走査指示に従って水平走査信号Vを発生する水平シフトレジスタ320と、リセット指示信号Rを発生する制御信号部330とから構成されている。水平シフトレジスタ320は、全n個の信号線325〜325に接続されており、各信号線325(x=1〜n)が、対応する第x(=1〜n)列の全n個の受光素子120x、1〜120x、nのスイッチ素子140に接続されている。
【0062】
以下、画像取り込み制御部300による画像取り込みの制御について説明する。
【0063】
画像取り込み制御部300は、まず、リセット信号Rを有為に設定し、図6に示す可変容量部222のSW11〜SW14を全て「ON」、SW21〜SW24を全て「OFF」状態にする。これにより、チャージアンプ221の入力端子と出力端子間の容量値をC0に設定する。それと同時に、図5に示す全てのスイッチ素子140を「OFF」状態とし、水平走査信号Vxをいずれの受光素子120x、yも選択しない状態に設定する。この状態から、リセット指示信号Rを非有為に設定し、各積分回路220での積分動作を開始させる。
【0064】
積分動作を開始させると、図5に示す全x方向受光部110(y=1〜n)にある第1列目の受光素子120 , のスイッチ素子140のみを「ON」とする水平走査信号Vが出力される。スイッチ素子が「ON」になると、それまでの受光によって光電変換素子130に蓄積された電荷Qが、電流信号として光検出器アレイ11から出力される。つまり、光電変換素子の信号を読み出すことができる。電荷Qは容量値C0に設定された可変容量部222に流入する。
【0065】
次に、図6により積分回路220内部の動作を説明する。容量制御機構240(図5参照)は、SW12〜SW14を開放した後、SW22〜24を閉じる。この結果、積分信号VSが、VS=Q/C1で示す電圧値として出力される。積分信号VSは、比較回路230に入力して、基準電圧値VREFと比較される。ここで、VSとVREFの差が、分解能の範囲以下、すなわち±(C4/2)以下の時は、一致したものとみなし、更なる容量制御は行わず、積分動作を終了する。分解能の範囲で一致しないときは、更に容量制御を行い、積分動作を続ける。例えば、分解能の範囲で一致せず、かつ、VS>VREFであれば、容量制御機構240は、更に、SW22を開放した後に、SW12を閉じる。この結果、積分信号VSは、VS=Q/(C1+C2)で示す電圧値となる。この積分信号VSは、後続の比較回路230(図5)に入力して、基準電圧値VREFと比較される。一方、分解能の範囲で一致せず、かつ、VS<VREFであれば、容量制御機構240は、更に、SW11及びSW22を開放した後に、SW12及びSW21を閉じる。この結果、積分信号VSは、VS=Q/C2で示す電圧値となる。この積分信号VSは、後続の比較回路230に送出され、基準電圧値VREFと比較される。
【0066】
以後、同様にして、積分回路220→比較回路230→容量制御機構240→積分回路220のフィードバックループによって、積分信号VSが基準電圧値VREFと分解能の範囲で一致するまで、比較及び容量設定(SW11〜SW14及びSW21〜SW24のON/OFF制御)が順次繰り返される。積分動作が終了した時点のSW11〜SW14のON/OFF状態を示す容量指示信号C11〜C14の値は、電荷Qの値に対応したデジタル信号であり、最上位ビット(MSB)の値がC11、最下位ビット(LSB)の値がC14である。こうしてA/D変換が行われ、これらの値がデジタル信号D(1、y)として、転送スイッチアレイ14に出力される。このように、デジタル信号D(1、y)の各ビット値が、MSB側からLSB側へ1ビットずつ順に定まり、出力されていく。
【0067】
以上のように、本実施形態のA/D変換器210では、容量C1〜C4が一つずつONされながら、比較電圧VREFとの比較が行われ、その比較結果が出力デジタル信号D(x、y)として出力される。すなわち、まず、容量C1がオンとされ、積分信号V=Q/C1となり、このVがVREFと比較される。Vが大きければ“1”(=C11)、小さければ“0” (=C11)となり、これがMSB(最上位ビット)として出力される。次に、C2がオンとされ、V=Q/(C1+C2)(MSB=1の時)、または、V=Q/C2(MSB=0の時)が得られ、VREFと比較される。Vが大きければ“1” (=C12)、小さければ“0”(=C12)となり、これが2ビット目として出力される。以上の処理が全ビット数分繰り返されることで、A/D変換が完了する。
【0068】
第1列目の受光素子120 , の光電出力に相当するデジタル信号D(1,y)の送出が終了すると、画像取り込み制御部300は、リセット信号Rを有為とし、再び、非有為にして、可変容量部222の容量値を初期化した後に、全x方向受光部110(y=1〜n)の第2列目の受光素子120 , のスイッチ素子140のみを「ON」とする水平走査信号Vを出力し、上述と同様の動作により、第2列目の受光素子120 , の光電出力を読み出し、これに相当するデジタル信号D(2,y)を送出する。以下、同様にして、水平走査信号を順次切り替えて、全1〜n列の受光素子120 , 〜120 , (y=1〜n)の光電出力を順次読み出し、相当するデジタル信号D(1、y)〜D(n、y)(y=1〜n)を、転送スイッチアレイ14に、順次出力する。
【0069】
以上のように、本実施の形態によれば、1つの列xに属する全n個の受光素子120x,1〜120x,nからの光電出力は、A/D変換器アレイ13によって、同時に、A/D変換される。生成されたデジタル信号D(x、1)〜D(x、n)が、転送スイッチアレイ14に同時に出力される。そして、第1(x=1)列目から第n(x=n)列目まで、順番に、受光素子120x,yからの光電出力がA/D変換され、生成されたデジタル信号D(x、y)が転送スイッチアレイ14に出力される。
【0070】
第1(x=1)列目から第n(x=n)列目まで、全n列の受光素子120x,yからの光電出力のデジタル信号D(x、y)が転送スイッチアレイ14に出力されると、1フレームの画像の取り込み/転送が終了し、次のフレームの画像の取り込み/転送が開始される。各列の受光素子120x、yは、スイッチ素子140が前回のフレームにおいてオンとなった後に再びオンとなるまでに光電変換素子130に蓄積された電荷を出力信号として出力する。したがって、電荷の蓄積時間と出力時刻が、列x毎に、少しずつずれている。
【0071】
以上、A/D変換器アレイ13が4ビットつまり16階調の分解能を持つ場合について説明したが、A/D変換器アレイ13は、6ビット、8ビット等、他のビット構成の分解能を持つ構成であってもよい。例えば、A/D変換器アレイ13が8ビットつまり256階調の分解能を持つようにするためには、可変容量部222を以下のように変更すれば良い。すなわち、容量素子C1〜C4に対して、更に、容量素子C5〜C8を並列に接続する。容量素子C1〜C4に対してスイッチ素子SW11〜SW14、SW21〜SW24を接続したのと同様に、容量素子C5〜C8に対してスイッチ素子SW15〜SW18とスイッチ素子SW25〜SW28とを接続する。容量素子C1〜C8の電気容量C1〜Cは、
1=2C2=4C3=8C4=16C=32C=64C=128C
0=C1+C2+C3+C4+C+C+C+C
の関係を満たすようにする。可変容量部222を以上のように構成した場合には、容量制御部240は、8ビットのデジタル信号D(x、y)を、MSBからビットシリアルに出力することができる。
【0072】
なお、以下の説明では、A/D変換器アレイ13が8ビットのデジタル信号を出力する場合について、説明する。
【0073】
以上のように、光検出器アレイ11は、1つの列xに属する全受光素子120x、1〜120x、nが、出力信号を、同時に、対応するA/D変換器210〜210へ供給するように制御される。A/D変換器アレイ13内の全A/D変換器210〜210は、該列xからの出力信号を、同時に、受け取り、アナログ・デジタル変換して、8ビットのデジタル信号D(x、1)〜D(x、n)を生成する。さらに、光検出器アレイ11は、第1列から第n列まで、順番に信号を出力するように制御される。したがって、A/D変換器アレイ13は、光検出器アレイ11の受光素子120からの出力信号を、第1列から第n列まで順番に受けとり、これらをアナログ・デジタル変換して8ビットのデジタル信号を、順番に生成する。
【0074】
次に、転送スイッチアレイ14について説明する。
【0075】
転送スイッチアレイ14は、A/D変換器アレイ13が1つの列xの全n個の受光素子120x、1〜120x、nからの出力信号に対する8ビットデジタル信号D(x、1)〜D(x、n)を出力するたびに、これらn個の8ビットデジタル信号D(x、1)〜D(x、n)をいったん保持し、第1行目の8ビットデジタル信号D(x、1)から第n行目の8ビットデジタル信号D(x、n)まで、順番に、かつ、各デジタル信号をパラレル形式で、転送するためのものである。
【0076】
図4及び図7に示すように、転送スイッチアレイ14は、y方向に1次元状に配置されたn個の転送スイッチユニット340(1≦y≦128)からなる。これらn個の転送スイッチユニット340は、n個のA/D変換器210に1対1に接続されている。各スイッチユニット340は、8ビット画像保持用シフトレジスタ341とスイッチ列345とからなる。図8に示すように、8ビット画像保持用シフトレジスタ341は、対応するA/D変換器210から出力されてくる8ビットデジタル信号の最上位ビットから最下位ビットまでを保持するための8個のレジスタ部341(1)〜341(8)から構成されている。スイッチ列345は、8ビットデジタル信号の各ビットを演算部6へ転送するための8個のスイッチ345(1)〜345(8)から構成されている。各レジスタ部341(1)〜341(8)が、それぞれ、対応する1個のスイッチ345(1)〜345(8)に接続されている。
【0077】
図7に示すように、全n個のスイッチユニット340(1≦y≦n)の各ビット用のスイッチ345(k:1≦k≦8)が、対応する1つの1ビット転送用信号線350(k:1≦k≦8)を介して、演算部6のノイズ除去回路20に接続されている。例えば、全n個のスイッチユニット340(1≦y≦128)の最上位ビット用のスイッチ345(1)が、最上位ビット用の1ビット信号線350(1)を介して、演算部6のノイズ除去回路20に接続されている。したがって、転送スイッチアレイ14は、全8本の1ビット転送用信号線350(1)〜350(8)からなる転送用信号線350を介してノイズ除去回路20に接続されている。
【0078】
転送スイッチアレイ14には、更に、全n個のスイッチユニット340(1≦y≦128)に接続された画像読み出し制御部346が設けられている。画像読み出し制御部346は、クロック347とシフトレジスタ348とからなる。シフトレジスタ348は、全n個のレジスタ部348(1≦y≦128)から構成されている。図8に示すように、各レジスタ部348が、対応するスイッチユニット340(1≦y≦128)内のスイッチ列350の全8個のスイッチ345(1)〜345(8)に接続されている。
【0079】
転送スイッチアレイ14が1つの列x(1≦x≦128)に属する全n個の受光素子120x,yからの出力信号に相当する8ビットデジタル信号をA/D変換器アレイ13より受け取ると、画像読み出し制御部346は、第1行目のスイッチユニット340から第n行目のスイッチユニット340まで、順番に、8ビットデジタル信号をパラレル形式で、演算部6のノイズ除去回路20に出力するように、転送スイッチアレイ14を制御する。
【0080】
具体的には、A/D変換器アレイ13は、1つの列xの全n個の受光素子120x、1〜120x、nからの出力信号の8ビットデジタル信号D(x、1)〜D(x、n)を、それぞれ、対応するスイッチユニット340〜340に出力する。この結果、各スイッチユニット340(1≦y≦n)に属するシフトレジスタ341のレジスタ部341(1)〜341(8)は、受光素子120x、yからの出力信号に相当する8ビットデジタル信号D(x、y)を、いったん保持する。例えば、スイッチユニット340に属するシフトレジスタ341のレジスタ部341(1)〜341(8)は、1行目の受光素子120x、1からの出力信号に相当する8ビットデジタル信号D(x、1)を保持する。また、スイッチユニット340に属するシフトレジスタ341のレジスタ部341(1)〜341(8)は、2行目の受光素子120x、2からの出力信号に相当する8ビットデジタル信号D(x、1)を保持する。
【0081】
画像読み出し制御部346は、スイッチユニット3401〜nが1つの列xの全n個の受光素子120x、1〜120x、nからの出力信号のデジタル信号(x、1)〜D(x、n)を全ビット分を受け取った時点で、まず、第1行のスイッチユニット340に属するスイッチ列345のスイッチ345(1)〜345(8)を同時にオンして、受光素子120x、1からの出力信号に相当する8ビットデジタル信号を、パラレル信号として、ノイズ除去回路20に転送する。次に、第2行のスイッチユニット340に属するスイッチ列345のスイッチ345(1)〜345(8)を同時にオンして、受光素子120x、2からの出力信号に相当する8ビットデジタル信号を、パラレル信号として、ノイズ除去回路20に転送する。こうして、第1行のスイッチユニット340から第n行のスイッチユニット340まで、順番に、オンすることで、1つの列の全n個の受光素子120x、1〜120x、nからの出力信号に相当する8ビットパラレル信号を、時系列的に、ノイズ除去回路20に転送する。
【0082】
以上のように、画像読みとり制御部346は、A/D変換器アレイ13が各列xからの出力信号をA/D変換してデジタル信号を生成する度に、転送スイッチアレイ14に対し、当該列xに属する全n個の受光素子からの出力信号に相当するデジタル信号を、順次、転送させるようになっている。
【0083】
本実施の形態によれば、A/D変換器アレイ13と演算部6とを転送転送スイッチアレイ14を介して接続するようにしている。このため、A/D変換器アレイ13と演算部6とを、8本の接続線(8ビット転送用信号線350)のみで接続することができ、接続線の数を減少させることができる。
【0084】
次に、演算部6について、説明する。
【0085】
図9に示すように、演算部6は、第1の演算部6aと第2の演算部6bとからなる。
【0086】
第1の演算部6aには、ノイズ除去回路20と0次モーメント演算器16と1次モーメント演算器17とが設けられている。第2の演算部6bには、重心演算器18と座標変換器21とが設けられている。
【0087】
図4及び図9に示すように、ノイズ除去回路20は、転送スイッチアレイ14からの8ビット転送用信号線350に接続されている。ノイズ除去回路20は、転送スイッチアレイ14から順次転送されてくる8ビットデジタル信号からノイズを除去するためのものである。より詳しくは、ノイズ除去回路20は、転送されてくる8ビットのパラレルデジタル信号をいったん格納すると共に、その値を所定のしきい値と比較し、しきい値より大きい場合には、格納したデジタル信号を出力し、小さい場合には、ノイズとみなして、8ビットデジタル信号(00000000)を出力する。なお、しきい値は、ラインパターン光の強度、及び、被測定物体Sの反射率に基づいて予め定めておく。
【0088】
具体的には、ノイズ除去回路20は、図10に示すように、遅延回路400と比較器402とデジタルデータ格納器404とからなる。遅延回路400は、8ビット用のバッファから構成されている。デジタルデータ格納器404は、8ビットのデジタル信号(00000000)を格納している。
【0089】
遅延回路400が、転送スイッチアレイ14からの信号線350に接続されている。比較器402の一方の入力端子も、転送スイッチアレイ14からの信号線350に接続されている。比較器402の他の入力端子には、所定の第1のしきい値が入力されている。所定の第1のしきい値は、ノイズの最大値である。比較器402の出力端子が、遅延回路400とデジタルデータ格納器404とに接続されている。遅延回路400とデジタルデータ格納器404とは、それぞれ、0次モーメント演算器16と1次モーメント演算器17に接続されている。
【0090】
転送スイッチアレイ14がノイズ除去回路20に対し8ビットのデジタル信号を転送すると、比較器402と遅延回路400とが、同時に、当該デジタル信号を受け取る。比較器402は、受け取ったデジタル信号を所定の第1のしきい値と比較する。遅延回路400は、比較器402が当該比較処理を行っている間、当該デジタル信号を保持している。比較器402は、デジタル信号が第1のしきい値より大きい場合には、遅延回路400に対し、保持しているデジタル信号を出力させる旨の制御信号を出力する。一方、デジタル信号が第1のしきい値以下の場合には、デジタルデータ格納器404に対し、デジタル信号(00000000)を出力させる旨の制御信号を出力する。すなわち、転送されてきたデジタル信号の値が第1のしきい値以下の場合には、ノイズとみなすことができる。したがって、デジタルデータ格納器404が、当該デジタル信号の代わりにデジタル信号(00000000)を出力することで、ノイズを除去する。
【0091】
転送スイッチアレイ14が1つの列xのn個の受光素子120x、1〜120x、nからの出力信号に相当するn個のデジタル信号を連続して転送するタイミングに合わせて、制御回路15はノイズ除去回路20を制御し、各デジタル信号について、順次、所定の第1のしきい値と比較する比較動作を行わせる。ノイズ制御回路20は、受け取ったデジタル信号が第1のしきい値より大きい場合には、当該デジタル信号をそのまま出力し、第1のしきい値以下の場合には、デジタル信号(00000000)に置換して出力する。こうして、ノイズ除去回路20は、転送スイッチアレイ14から順次出力されてくるn個のデジタル信号を、ノイズを除去して出力する。
【0092】
0次モーメント演算器16と1次モーメント演算器17とが、ノイズ除去回路20に接続されている。
【0093】
0次モーメント演算器16は、ノイズ除去回路20から順次出力されてくるn個のデジタル信号D(x、1)〜D(x、n)(すなわち、1つの列xの全n個の受光素子120x、1〜120x、nからのデジタル信号であって、ノイズが除去されたもの)を受け取って、それらの0次モーメントである総和を演算するためのものである。
【0094】
0次モーメント演算器16は、図11に示すように、加算器411と、Aラッチ412と、Bラッチ413とからなる。Bラッチ413は、ノイズ除去回路20から出力されてくる8ビットデジタル信号を受け取り格納するためのものである。Aラッチ412には、当初8ビットのデジタル信号(00000000)が格納されている。加算器411は、Aラッチ412に格納されているデジタル信号とBラッチ413に格納されているデジタル信号を加算し、その結果を、Aラッチ412に格納するためのものである。
【0095】
かかる構成により、0次モーメント演算器16は、ノイズ除去回路20からn個のデジタル信号(1列の全デジタル信号)が順次Bラッチ413に出力されてくると、これらを順次積算して、1列に属する全n個の受光素子120からの信号に相当するデジタル信号の総和である0次モーメントを演算する。演算結果である0次モーメントは、Aラッチ412より、重心演算器18に出力される。
【0096】
なお、ノイズ除去回路20が次の列のデジタル信号を出力し始めると、Aラッチ412は、いったん初期化されデジタル信号(00000000)を格納した後、当該次の列の全n個のデジタル信号の積算を開始する。
【0097】
転送スイッチアレイ14が光検出器アレイ11の1つの列xからの出力信号に相当するn個のデジタル信号D(x、1)〜D(x、n)を順次転送しノイズ除去回路20がこれら信号をノイズを除去しながら順次出力するタイミングに合わせて、制御回路15は0次モーメント演算器16を制御し、該列についてのn個のデジタル信号を積算させ、0次モーメントを演算させる。0次モーメント演算器16は、光検出器アレイ11の全1〜n列について、順次、0次モーメントを演算していく。
【0098】
0次モーメント演算器16は、各列xにおける0次モーメントG(x)を、以下の数式(1)のように、演算する。
【0099】
G(x)=Σy=1〜nD(x、y)
=D(x、1)+D(x、2)+ ・・・ +D(x、n)
・・・(1)
【0100】
1次モーメント演算器17は、ノイズ除去回路20から順次出力されてくるn個のデジタル信号D(x、1)〜D(x、n)(すなわち、1つの列xの全n個の受光素子120x、1〜120x、nからのデジタル信号であって、ノイズが除去されたもの)を受け取って、各デジタル信号を当該デジタル信号を出力した受光素子120が所属する行yの値1〜nで重み付けして積算した重み付け総和(y方向1次モーメント)を演算するためのものである。
【0101】
1次モーメント演算器17は、図12に示すように、加算器421と、Aラッチ422と、Bラッチ423と、カウンター425と、乗算器426とからなる。Bラッチ423は、ノイズ除去回路20から出力されてくる8ビットデジタル信号を受け取り格納するためのものである。Aラッチ422には、当初8ビットのデジタル信号(00000000)が格納されている。カウンター425には、当初(1)が格納されている。乗算器426は、カウンター425の値とBラッチ423に格納されているデジタル信号とを乗算するためのものである。加算器421は、Aラッチ422に格納されているデジタル信号と乗算器276の乗算結果とを加算し、その結果を、Aラッチ422に格納するためのものである。カウンター425は、Bラッチ423に1列内の全n個のデジタル信号が順次転送されてくるのに応じて、(1)から(n)まで、順次、1ずつインクリメントしていく。
【0102】
かかる構成により、1次モーメント演算器17は、ノイズ除去回路20から全n個のデジタル信号D(x、1)〜D(x、n)が順次Bラッチ423に出力されてくるにつれ、これらn個のデジタル信号をカウンター425の値yによる重み付けをしつつ順次積算して、1列xに属する受光素子120からの信号に相当するデジタル信号の1次モーメントを演算する。1次モーメント演算器17は、演算結果を、Aラッチ422から重心演算器18に出力する。
【0103】
なお、ノイズ除去回路20が次の列のデジタル信号を出力し始めると、Aラッチ422は初期化されデジタル信号(00000000)を格納し、カウンター425も初期化され(1)を格納する。その後、当該次の列の全n個のデジタル信号の重み付け総和の演算を開始する。
【0104】
転送スイッチアレイ14が光検出器アレイ11の1つの列xからの出力信号に相当するn個のデジタル信号D(x、1)〜D(x、n)を順次転送しノイズ除去回路20がこれら信号をノイズを除去しながら順次出力するタイミングに合わせて、制御回路15は1次モーメント演算器17を制御し、該列についてのn個のデジタル信号を重み付け積算させ、1次モーメントを演算させる。1次モーメント演算器17は、光検出器アレイ11の全1〜n列について、順次、1次モーメントを演算していく。
【0105】
1次モーメント演算器17は、各列xにおける1次モーメントG‘(x)を、以下の数式(2)のように、演算する。
【0106】
G‘(x)=Σy=1〜ny・D(x、y)
=1・D(x、1)+2・D(x、2)+ ・・・ +n・D(x、n)
・・・(2)
【0107】
以上のように、本実施の形態によれば、単一の0次モーメント演算器16と単一の1次モーメント演算器17とが、転送スイッチアレイ14から順次送られてくるデジタル信号に対して演算処理を行う。したがって、演算部6aの構造が単純化されている。しかも、1つの列に属する全受光素子からの出力信号に相当するデジタル信号が順次転送されてくるため、0次モーメント演算器16は、これらを順次積算するだけで、0次モーメントを演算することができる。1次モーメント演算器17も、重みを順次変えながらこれらを順次重み付け積算するだけで、1次モーメントを演算できる。したがって、0次、1次モーメント演算器16,17は、バッファ等の格納機構を使用することなく、モーメント演算を簡単に行うことができる。
【0108】
次に、第2の演算部6bについて説明する。
【0109】
重心演算器18は、割り算器から構成されており、0次モーメント演算器16と1次モーメント演算器17とに接続されている。重心演算器18は、0次モーメント演算器16が1つの列についての0次モーメントを出力するたびに、これを受け取る。同様に、1次モーメント演算器17が1つの列についての1次モーメントを出力するたびに、これを受け取る。重心演算器18は、同一の列について受け取った0次モーメントと1次モーメントに基づいて、以下の数式(3)に示す割り算を行う。すなわち、各列x(1≦x≦n)について、1次モーメント値を0次モーメント値で割るわり算を行い、該各列xにおける重心の位置P(x)を演算する。
【0110】
P(x)=G‘(x)/G(x)
=Σy=1〜ny・D(x、y)/Σy=1〜nD(x、y) ・・・(3)
【0111】
ここで、0次モーメント演算器16からは、第1列〜第n列について順番に0次モーメントが出力され、1次モーメント演算器17からは、第1列〜第n列について順番に1次モーメントが出力される。したがって、重心演算器18は、第1列〜第n列について、順番に、重心位置P(1)〜P(n)を演算していく。
【0112】
座標変換器21は、重心演算器18に接続されている。座標変換器21は、重心演算器18より出力される各列x(1≦x≦n)での重心位置データP(x)を受け取り、重心位置データP(x)に基づいて、被測定物体Sについての3次元座標変換を行い、被測定物体SのX軸方向における高さ分布を求める。
【0113】
具体的には、今、投光器2が、図1に示すように、ラインパターン光を、基準高さZ0上においてY軸方向の位置Y0に照射されるように、投光したと仮定する。また、ビジョンセンサー3は、基準高さZ0上におけるY軸方向の位置Y0からの反射光を、光検出器アレイ11上のy=0の位置にて受光するよう配置されているとする。
【0114】
この場合、光検出器アレイ11の各列x(1≦x≦n)での重心位置のデータP(x)は、被測定物体SのX方向における各位置X=m・x(ここで、1≦x≦n)での高さZ(X)を、以下のように、示す。
【0115】
Z(X)=Z0+m・P(x)/tanθ ・・・(4)。
【0116】
したがって、座標変換器21は、上記数式(4)を演算することで、被測定物体S上のラインパターン光投光位置Y0における全X座標位置でのZ軸方向高さを演算する。座標変換器21は、演算結果を、外部装置(例えば、外部コンピュータ)に出力する。
【0117】
座標変換器21は、例えば、ルックアップテーブルから構成されている。このルックアップテーブルでは、重心演算器18より出力される可能性のある複数の重心データP(x)の値と、この値に対して得られる上記数式(4)の演算結果Z(X)とを、互いに対応づけて、格納しておく。重心演算器18より実際に出力された重心データP(x)に対してルックアップテーブルをサーチすることにより、数式(4)の演算結果Z(X)を求める。
【0118】
座標変換器21は、演算結果Z(X)を、被測定物体Sのラインパターン光投光位置Y0における全X座標位置でのZ軸方向高さとして出力する。具体的には、座標変換器21は、各列x(ここで、1≦x≦n)に対して、(X=m・x、Y0,Z(X))という3次元座標データを生成する。座標変換器21は、かかる3次元座標データを、例えば、外部コンピュータに出力する。
【0119】
さらに、移動枠5上で画像計測カメラ1を被測定物体Sに対してY軸方向に少しずつ移動させラインパターン光の位置Y0をずらしながら検出/演算を繰り返し行うことで、被測定物体SのY方向における広い範囲での高さ分布を求めることができる。なお、逆に、被測定物体Sを画像計測カメラ1に対してY軸方向に少しずつ移動させるようにしても良い。
【0120】
例えば、被測定物体Sとして人体を測定すれば、ボディラインスキャンを行うことができる。具体的には、図1にて破線にて示すように、移動枠5を被測定物体Sである人体を360°囲むように円周状に延びた構成とする。画像計測カメラ1を、移動枠5に沿って移動させながら、すなわち、Y軸方向に移動させながら、繰り返し測定を行えば、人体Sの全周における形状を計測することができる。
【0121】
本実施形態のビジョンセンサー3では、各構成要素を全てCMOSプロセスによって作成し、n―MOS及びp―MOSを混在させて作成するため、消費電力を大幅に減少できる。また、受光部4と演算部6とを同一のプロセスで作成できるため、小型化が可能で、製造コストを抑えることができる。例えば、受光部4と演算部6とを含めたビジョンセンサー3自体を1チップ化することも可能である。さらに、光検出部4の光検出器アレイ11を高集積化することができるため、解像度を高めることができる。
【0122】
また、本実施形態では、光検出部4の演算部6への転送速度は、A/D変換器210におけるA/D変換処理速度によって決まる。ここで、A/D変換器210における1画素(1受光素子120)あたりのA/D変換速度は、1ビットあたり約1マイクロ秒となる。例えば、入力アナログ信号を8ビット(128階調)でデジタル変換する場合であって、1行内の受光素子120の個数nが128である場合には、全128個の受光素子120からの出力信号をデジタル変換するのに必要な時間は、8マイクロ秒x128=約1ミリ秒となる。従って、光検出部4は、被測定物体Sからのラインパターン光の画像データを、約1000フレーム/秒という高速フレームレートにて演算部6に転送することができる。
【0123】
しかも、ビジョンセンサー3には演算部6が設けられている。したがって、ビジョンセンサー3は、nxn個の画像データではなく、座標計測結果を外部コンピュータに出力する。したがって、コンピュータに複雑な重心演算を行わせる必要がなくなり、データの演算にかかる時間を短縮化することができる。
【0124】
さらに、本実施の形態では、ノイズ除去回路20によりノイズが除去されたデジタル信号が0次モーメント演算器16及び1次モーメント演算器17に供給されるので、0次モーメント及び1次モーメントを高精度で演算することができる。したがって、ラインパターン光の重心位置を高精度で演算することができ、被測定物体の3次元情報を高精度で求めることができる。
【0125】
以上のように、本実施形態の画像計測カメラ1では、2次元画像を高速で取り込んで処理しているため、外部に出力するのは単純なデータ(3次元座標データ)であるものの、センサー3内部では、2次元の情報をフルに活用してノイズ除去を行い精度の高い計測を可能としている。
【0126】
以上の構成を有する本実施形態の画像計測カメラ1は、以下のように動作する。
【0127】
投光器2は、図1,2に示すように、被測定物体Sに対し、X軸方向に延びるラインパターン光を投光している。ビジョンセンサー3には、被測定物体Sで反射したラインパターン光が入射する。したがって、入射したラインパターン光の重心のY軸方向の位置を各x位置毎に検出することで、被測定物体の高さのX軸方向における分布を計測することができる。
【0128】
この場合、光検出器アレイ11は、図13に示すように、その行方向がX軸方向に延びるように配置される。したがって、受光したラインパターン光は、行方向に平行に延びている。このため、本実施形態の画像計測カメラ1では、各x位置(各列)において、ラインパターン光のy方向の重心を求め、ラインパターン光のy方向の位置の分布を検出する。
【0129】
本実施形態では、光検出器アレイ11の各行yでは、全受光素子120x,yが、同一のA/D変換器210に対して、対応するCMOSスイッチ140x,yを介して接続されている。したがって、光検出器アレイ11の行方向yは、当該光検出器アレイ11のデータ転送方向である。
【0130】
例えば、第1の時点t1において、第1列に属する全受光素子120x,y(x=1,y=1〜128)のCMOSスイッチ140x,yが同時にオンし、出力信号がA/D変換器アレイ13に転送されてデジタル変換されるとする。第1列からの信号のビット変換が終了した時点(第2の時点t2=第1の時点t1より約8μsec経過後)にて、第2列に属する全受光素子120x,y(x=2,y=1〜128)のCMOSスイッチ140x,yが同時にオンし、出力信号がA/D変換器アレイ13に転送されてデジタル変換される。こうして、第1列から第128列まで、約8マイクロ秒の時間間隔にて、順次、CMOSスイッチ140x,yがオンし、信号が出力されデジタル変換されていく。各タイミングでは、対応する列に所属する全128個の受光素子120からの信号が、同時に出力されデジタル変換される。
【0131】
第1列目から第128列目まで、全128個の列の受光素子120x,yからの光電出力がA/D変換器アレイ13に出力されると、1フレームの画像の取り込み/転送が終了し、次のフレームの画像の取り込み/転送が開始される。
【0132】
第2のフレームの第1の時点(第1のフレームの第1の時点t1から約1ミリ秒(=約8マイクロ秒x128)経過後)で、第1列に属する受光素子120x,y(x=1,y=1〜128)のCMOSスイッチ140x,yが同時にオンし、出力信号がA/D変換器アレイ13に転送されてデジタル変換される。次に、約8マイクロ秒経過後の第2の時点で、第2列に属する受光素子120x,y(x=2,y=1〜128)のCMOSスイッチ140x,yが同時にオンし、出力信号がA/D変換器アレイ13に転送されてデジタル変換される。
【0133】
各列の受光素子120x,yは、スイッチ素子140x,yが前回のフレームにおいてオンになった後今回のフレームにおいて再びオンとなるまでの間に光電変換素子130x,yに蓄積された電荷を出力信号として出力する。例えば、第2フレームにおいては、第1列の全受光素子120x,y(x=1,y=1〜128)は、第1フレームの第1の時点t1からの約1ミリ秒間に蓄積された電荷を示す信号を出力する。第2列の全受光素子120x,y(x=2,y=1〜128)は、第1フレームの第2の時点t2(第1フレームの第2の時点t2から約8マイクロ秒経過後)からの約1ミリ秒間に蓄積された電荷の量を示す信号を出力する。
【0134】
このようにして、第1列〜第128列の受光素子120は、互いに約8マイクロ秒ずつずれた時間に蓄積された電荷量を、互いに約8マイクロ秒ずつずれた時刻に信号として出力する。各列に属する全128個の受光素子120は、互いに同一の時間に蓄積された電荷量を、互いに同一の時刻に信号として出力する。
【0135】
A/D変換器アレイ13は、このように互いに同時刻に受光・蓄積された1つの列内の全128個の受光素子120の画像信号を同時にデジタル変換する。転送スイッチアレイ14は、かかる1つの列内の全128個の受光素子120の画像信号のデジタル信号を、順次、0次モーメント演算器16及び1次モーメント演算器17に転送する。0次モーメント演算器16及び1次モーメント演算器17は、互いに同時刻に受光・蓄積された1つの列内の全128個の受光素子120の画像信号に基づくデジタル信号を積算して、当該1つの列における0次、1次モーメントを演算する。重心演算器18は、これら0次、1次モーメントに基づいて、当該1つの列における重心位置を求める。座標変換器21は、当該重心位置に基づいて、当該1つの列に対応する被測定物体1上の高さを求める。
【0136】
このように、本実施の形態によれば、各列(x方向位置)におけるy方向重心位置を、同時性を担保したデータに基づいて求める。したがって、各列(x方向位置)におけるラインパターン光のy方向における位置を高精度に求めることができる。
【0137】
たとえ被測定物体Sの位置が計測中にわずかに変動し、被測定物体Sからの反射ラインパターン光の位置が時間的に変動したとしても、各列におけるy方向重心位置は、あくまで、同一時刻に得られたデータに基づいて求めるため、各列における高さを高精度に求めることができる。
【0138】
これに対して、例えば、図14に示す比較例のように、投光器2が投光するラインパターン光がY軸に平行である場合を考える。この場合には、ラインパターン光は、光検出器アレイ11の転送方向と垂直となる。この場合には、各y方向位置(各行)毎に、ラインパターン光のx方向における重心を求めなければならない。
【0139】
この場合、1つの行におけるラインパターン光のx方向の重心位置を求めるためには、当該行に属する全128個の受光素子120x,y(x=1〜128)の出力信号のデジタル信号に基づいて0次、1次モーメントを演算しなければならない。ここで、かかる全128個の受光素子120x,y(x=1〜128)は、第1列〜第128列に属しているため、その出力信号は、互いに異なる時刻に受光・蓄積した電荷量を示している。すなわち、全128個の受光素子120x,y(x=1〜128)の出力信号は、互いに約8マイクロ秒ずつずれたタイミングで得られたものである。このため、0次、1次モーメントを、互いに異なる時刻に受光・蓄積した電荷量に基づく信号を積分して求めなければならない。
【0140】
このように、比較例では、各行(y方向位置)のx方向重心位置を、互いに異なる時刻に得られたデータに基づいて求めなければならない。したがって、各行(y方向位置)のx方向重心位置を高精度に求めることができない。特に、被測定物体Sの位置が計測中に変動する場合には、被測定物体Sから反射されたラインパターン光の時間的なずれの影響により、x方向重心位置の演算結果に誤差が生じてしまう。
【0141】
本実施の形態では、図13に示すように、光検出器アレイ11を、その行方向がラインパターン光と略平行となるように配置し、各列においてy方向の重心位置を求めるようにしたので、各列のy方向位置を同時性を担保したデータに基づき高精度に求めることができる。たとえ被測定物体Sが計測中に移動しても、当該被測定物体Sの各列位置における高さ(3次元)情報を高精度で求めることができる。
【0142】
さらに、本実施の形態では、光検出器アレイ11の各行に属する全128個の受光素子120が、対応する1つのA/D変換器210に接続されている。互いに異なる行に属する受光素子120は互いに異なるA/D変換器210に接続されている。したがって、各列に属する全128個の受光素子120の出力信号は、同時にA/D変換されて、転送スイッチアレイ14へ供給される。転送スイッチアレイ14は、こうして受け取った1つの列に属する全受光素子120からの出力信号に相当するデジタル信号を、順番に、ノイズ除去回路20を介して、0次モーメント演算器16や1次モーメント演算器17に供給する。0次モーメント演算器16は、1つの列について連続的にデジタル信号を受け取り、これらを順次足していくことによりy方向の0次モーメントを演算する。同様に、1次モーメント演算器17も、1つの列について連続的にデジタル信号を受け取り、これらに対して順次増大していくy方向座標値を掛けながら足していくことで、y方向の1次モーメントを演算する。したがって、本実施の形態によれば、y方向の0次、1次モーメントを演算するにあたり、受け取ったデジタル信号を単純に順次積分していけばよいため、デジタル信号を格納する必要がない。
【0143】
これに対して、図14に示す比較例の場合には、0次モーメント演算器16及び1次モーメント演算器17は、第1列〜第128列の全ての列の受光素子120の出力信号に相当するデジタル信号を受け取ってからでなければ、x方向の0次モーメントや1次モーメントの最終的な値を求めることができない。したがって、モーメント演算を行うためには、光検出器アレイ11の全128列の出力信号に相当するデジタル信号を1画面分格納しておくメモリが必要となり、処理も複雑化する。
【0144】
本実施の形態では、光検出器アレイ11を、その行方向(転送方向)をラインパターン光と略平行としたので、かかるメモリが不要となり、処理も単純化されている。
【0145】
なお、ノイズ除去回路20からの画像データを、原画像として、直接、外部装置に出力するようにしても良い。外部コンピュータが、座標変換器21からの3次元座標データと原画像データとを組み合わせて表示することができる。
【0146】
(第2の実施の形態)
【0147】
本発明の第2の実施の形態による画像計測カメラ1について図15に基づき説明する。
【0148】
本実施の形態では、ノイズ除去回路20は、図15に示すように、ラインパターン形状判断回路450と遅延回路460とからなる。なお、本実施の形態の画像計測カメラ1は、ノイズ除去回路20を除き、同一である。
【0149】
遅延回路460は、8ビットx所定画素数分のデジタル信号を保持するバッファからなる。遅延回路460は、転送スイッチアレイ14からの8ビット転送用信号線350に接続されている。ここで、所定画素数は、光検出器アレイ11によって受光されるラインパターン光のy方向の幅に対応する受光素子120の個数である。例えば、投光器2より投光され被測定物体により反射されレンズ10aを介して光検出器アレイ11に受光されるラインパターン光の幅が受光素子5個分の幅を有している場合には、遅延回路460は、8x5ビットのデジタル信号を保持するバッファで構成される。
【0150】
ラインパターン形状判断回路450は、第1の比較器452とカウンター454と第2の比較器456とからなる。
【0151】
第1の比較器452の入力端子は、転送スイッチアレイ14からの信号線350に接続されている。第1の比較器452の他の入力端子には、所定の第2のしきい値が入力されている。当該第2のしきい値は、受光されるラインパターン光の強度の最小値である。第2のしきい値は、投光器2から投光されているラインパターン光の光強度、及び、被測定物体の反射率に基づいて、予め定められる。第1の比較器452は、転送スイッチアレイ14から入力された8ビットデジタル信号を第2のしきい値と比較し、8ビットデジタル信号が第2のしきい値より大きい場合に、1を出力する。8ビットデジタル信号が第2のしきい値以下の場合には、0を出力する。
【0152】
第1の比較器452の出力端子が、カウンター454に接続されている。カウンター454は、第1の比較器452から1が連続して出力される回数をカウントするためのものである。具体的には、カウンター454は、比較器452より1を受け取ると、カウント結果を1インクリメントする。一方、比較器456より0を受け取ると、カウント結果を初期値0に戻す。そして、カウンター454は、カウント結果を出力する。
【0153】
カウンター454の出力端子が第2の比較器456の入力端子に接続されている。第2の比較器456の他の出力端子には、所定画素数(この場合、5)が入力されている。第2の比較器456の出力端子は、0次モーメント演算器16と1次モーメント演算器17とに接続されている。第2の比較器456は、カウンター454のカウント結果を、所定画素数(この場合、5)と比較して、該カウンター454のカウント結果が所定画素数より大きい時に、イネーブル信号を出力する。
【0154】
転送スイッチアレイ14がノイズ除去回路20に対しある列x内の1つの画素(x、y)からの8ビットデジタル信号D(x、y)を転送すると、遅延回路460とラインパターン形状判断回路450の両方が、同時に、当該デジタル信号を受け取る。ラインパターン形状判断回路450では、第1の比較器452が当該8ビットデジタル信号を所定の第2のしきい値と比較する。デジタル信号が第2のしきい値より大きい場合、当該画素がラインパターン光を受光していると判断することができる。この時、第1の比較器452は、(1)を出力する。デジタル信号が第2のしきい値以下の場合には、第1の比較器452は(0)を出力する。カウンター454が、第1の比較器452の出力結果に応じてカウントを行う。すなわち、第1の比較器452が(1)を出力したら、1インクリメントし、(0)を出力したら、0に初期化する。第2の比較器456が、カウンター454のカウント結果を所定画素数と比較し、カウント結果が所定画素数より大きくなったら、イネーブル信号を出力する。
【0155】
遅延回路460は、ラインパターン形状判断回路450が上記処理を行っている間、当該デジタル信号D(x、y)を保持する。
【0156】
転送スイッチアレイ14がノイズ除去回路20に対し、次の画素(x、y+1)からの8ビットデジタル信号D(x、y+1)を転送すると、先程と同様に、遅延回路460とラインパターン形状判断回路450の両方が、当該デジタル信号を受け取る。遅延回路460は、前回転送された8ビットデジタル信号と共に、今回受け取った8ビットデジタル信号を保持する。ラインパターン形状判断回路450が、今回のデジタル信号について、上記と同様の処理を行う。
【0157】
転送スイッチアレイ14が順次8ビットデジタル信号を転送していくにつれ、遅延回路460とラインパターン形状判断回路450とは、同様の処理を繰り返す。転送スイッチアレイ14が所定画素数の8ビットデジタル信号を転送した後、次の画素のデジタル信号を転送すると、遅延回路460は、保持している所定画素数のデジタル信号のうち、最も古く受け取った画素のデジタル信号を捨てて、今回受け取ったデジタル信号を保持する。こうして、遅延回路460は、常に、転送スイッチアレイ14から順次転送されてきた最新の連続する所定画素数のデジタル信号を保持する。
【0158】
ラインパターン形状判断回路450では、第2のしきい値より大きなデジタル信号を連続して所定画素数より大きな回数受け取ると、カウンター454のカウント結果が所定画素数より大きくなる。したがって、比較器456が、0次モーメント演算器16及び1次モーメント演算器17に対して、イネーブル信号を出力する。
【0159】
0次モーメント演算器16と1次モーメント演算器17とは、それぞれ、イネーブル信号を受信したタイミングで、遅延回路460に現在保持されている所定画素数の連続したデジタル信号を順次受け取り、これらに基づいて1次モーメントと0次モーメントとを演算する。
【0160】
なお、次の列のデジタル信号が転送されてくる前に、カウンタ454は、初期化される。
【0161】
以上より、本実施の形態によれば、0次モーメント演算器16と1次モーメント演算器17とは、各列xについて、全n個のデジタル信号D(x、1)〜D(x、n)を積算して1次モーメントと0次モーメントとを演算するのではなく、ラインパターン光を受光していると判断された所定個数(この場合、5個)の受光素子120の出力信号に相当するデジタル信号のみを積算して1次モーメントと0次モーメントとを演算する。ラインパターン光が受光されていない受光素子120からのデジタル信号を演算に含めないようにすることで、迷光スポット等のノイズを演算に含ませてしまうことを防止でき、ノイズを確実に除去することができる。しかも、演算処理が簡単・高速化される。
【0162】
なお、ラインパターン光の幅は通常2〜5受光素子分となるようにすることが好ましく、このため、所定画素数としては、2〜5が最適である。
【0163】
以上のように、本実施の形態によれば、第1の比較器452が、転送スイッチアレイ14から順次転送されてくる各列xに属するn個の受光素子120からの出力信号に相当するデジタル信号を、所定のしきい値と比較し、該所定のしきい値より大きいときに所定の比較結果(1)を出力する。カウンター454が、第1の比較器452から所定の比較結果(1)が連続して出力される回数をカウントする。第2の比較器456が、カウンター454がカウントした回数を所定回数と比較して、カウンター454がカウントした回数が所定回数より大きい時に制御信号(イネーブル信号)を出力する。遅延回路460が、転送スイッチアレイ14から順次転送されてくる所定個数の受光素子120からの出力信号に相当するデジタル信号を保持する。0次モーメント演算器16と1次モーメント演算器17とは、各列xについて、制御信号(イネーブル信号)を受信したタイミングで、遅延回路460に保持されている所定個数のデジタル信号に基づいて、それぞれ、1次モーメントと0次モーメントとを演算する。
【0164】
1つの列について、所定のしきい値より大きいデジタル信号が連続して所定回数より多くの回数出力された場合には、これらデジタル信号を出力した所定個数より多くの連続した受光素子120が所定の幅を有するラインパターン光を受光していることがわかる。そこで、第2の比較器456は、制御信号を出力する。ここで、遅延回路460は、1つの受光素子からの出力信号に相当するデジタル信号を受け取ると、少なくとも、その後連続して所定個数の受光素子からの出力信号に相当するデジタル信号を受け取るまで、当該1つの受光素子からの出力信号に相当するデジタル信号を保持する。したがって、1つの列について、所定のしきい値より大きいデジタル信号が連続して所定回数より多くの回数出力された場合には、遅延回路460は、少なくとも、当該連続して出力された所定個数のデジタル信号を保持している。0次、1次モーメント演算器16,17は、制御信号に応答して、遅延回路460に保持されている当該連続して出力された所定個数のデジタル信号を演算して、0次、1次モーメントを求める。このため、0次、1次モーメント演算器16,17は、ラインパターン光を受光した受光素子からの出力信号に相当するデジタル信号のみを使用して演算を行うため、迷光等のノイズを誤って演算してしまうことを防止でき、ノイズが除去された0次、1次モーメントを演算することができる。
【0165】
以上のように、本実施形態の画像計測カメラ1では、2次元画像を高速で取り込んで処理しているため、外部に出力するのは単純なデータ(3次元座標データ)であるものの、センサー3内部では、2次元の情報をフルに活用してラインパターン光以外の迷光等を測定しないようにすることにより精度の高い計測を可能としている。
【0166】
(第3の実施の形態)
【0167】
本発明の第3の実施の形態による画像計測カメラ1について図16に基づき説明する。
【0168】
本実施の形態では、図16に示すように、ノイズ除去回路20は、最大値位置検出回路500と遅延回路520とから構成されている。本実施形態の画像計測カメラ1も、ノイズ除去回路20を除き、第1の実施の形態の画像計測カメラ1と同一である。
【0169】
遅延回路520は、8ビット・1列xの全画素数(n個)分の8ビットデジタル信号D(x、1)〜D(x、n)を保持するためのものである。遅延回路520は、転送スイッチアレイ14からの信号線350に接続されている。遅延回路520は、また、0次モーメント演算器16と1次モーメント演算器17とに接続されている。
【0170】
最大位置検出回路500は、Aラッチ502と、Bラッチ504と、比較器506と、カウンタ508と、カウントラッチ回路510とからなる。Aラッチ502は、転送スイッチアレイ14からの信号線350に接続されており、転送スイッチアレイ14から転送されてくる1画素の8ビットデジタル信号を格納する。Bラッチ504は、当初、8ビットのデジタル信号(00000000)を格納している。Aラッチ502とBラッチ504とが、比較器506の入力端子に接続されている。比較器506は、Aラッチ502に格納されているデジタル信号とBラッチ504に格納されているデジタル信号とを比較する。比較器506の出力端子が、カウンタ508及びカウントラッチ回路510に接続されている。カウンタ508及びカウントラッチ回路510は、当初、0を格納している。カウントラッチ回路510は、0次モーメント演算器16と1次モーメント演算器17とに接続されている。
【0171】
比較器506は、Aラッチ502に8ビットのデジタル信号が1個入力するたびに、比較動作を行う。そして、比較動作を行うたびに、カウンタ508を1インクリメントして、今回の比較動作が何番目に転送されてきたデジタル信号に対して行われたのかを示す。比較動作の結果、Aラッチ502に格納されているデジタル信号の方がBラッチ504に格納されているデジタル信号より大きいことが判明した場合には、比較器506は、カウントラッチ回路510に対し、カウンタ508の現在のカウント結果をラッチさせる。この結果、カウントラッチ回路510は、Aラッチ502に現在格納されておりBラッチ504のデジタル信号より大きいことが判明したデジタル信号が何番目に転送されてきたかを示す値を格納する。Aラッチ502に格納されているデジタル信号の方がBラッチ504に格納されているデジタル信号より大きいことが判明した場合には、比較器506は、さらに、Bラッチ504に格納されているデジタル信号を、Aラッチ502に格納されているデジタル信号に置き換える。一方、Aラッチ502に格納されているデジタル信号がBラッチ504に格納されているデジタル信号以下である場合には、比較器506は、カウントラッチ回路510を動作させないし、Bラッチ504に格納されているデジタル信号を変更しない。
【0172】
したがって、転送スイッチアレイ14が8ビットデジタル信号を順次Aラッチ502に転送するにつれ、Bラッチ504には、常に、それまでに転送されてきたデジタル信号のうち最大のものが格納される。そして、次に転送されてくるデジタル信号と比較される。カウントラッチ回路510は、それまでに転送されてきたデジタル信号のうち最大のものが何番目のデジタル信号であったかを示す値を格納している。
【0173】
転送スイッチアレイ14が、1列xの全n個のデジタル信号D(x、1)〜D(x、n)をAラッチ502に転送し終わった際には、遅延回路520は、全n個のデジタル信号を保持している。また、カウントラッチ回路510は、全n個のデジタル信号のうち最大のものが何番目であったかを示す値、すなわち、最大値を出力した受光素子120のy方向の位置情報を格納している。そこで、転送スイッチアレイ14が1列の全n個のデジタル信号D(x、1)〜D(x、n)を転送し終わると、カウントラッチ回路510は、その際に格納されている値yを中心に含み連続する5個の値(y−2,y−1,y、y+1,y+2)に対応するデジタル信号D(x、y−2)、D(x,y−1)、D(x,y)、D(x、y+1),D(x、y+2)に基づいて演算を行う旨の指示を示すイネーブル信号を、0次モーメント演算器16及び1次モーメント演算器17に出力する。
【0174】
次の列(x+1)のデジタル信号が転送されてくる前に、Bラッチ504は、初期化されてデジタル信号(00000000)を格納する。カウンタ508とカウントラッチ回路510も初期化され、値0を格納する。
【0175】
このように、最大値位置検出回路500は、1つの列の全n個の8ビットデジタル信号が転送スイッチアレイ14から順次転送されてくると、これらのうちの最大の値を有するデジタル信号を検出し、当該最大値を有するデジタル信号が何番目に転送されてきたかを検出する。この番号が、当該列における全n個の画素のうち、最大の出力信号を出力した画素の列方向(y方向)の座標位置を示す。最大値位置検出回路500は、最大値信号を出力した画素を中心として連続する5個の画素からの出力信号に相当するデジタル信号に基づいて演算を行う旨の指示を示すイネーブル信号を、0次モーメント演算器16と1次モーメント演算器17とに出力する。
【0176】
0次モーメント演算器16と1次モーメント演算器17とは、1つの列について、最大値位置検出回路500よりイネーブル信号を受け取ると、当該イネーブル信号が示す当該列における最大値を出力した素子を中心として連続する5個の素子120からの出力信号に相当するデジタル信号を、遅延回路520より受けとり、1次モーメントと0次モーメントとを演算する。
【0177】
レーザ等からなる投光器2からのラインパターン光は、通常、ガウシアンビーム形状をしているため、強度が最大である位置の素子を中心としてビームの幅分の個数の連続した受光素子120からのデジタル信号に基づいて演算を行えば、ラインパターン光を受光している素子120からの信号に基づいた演算を行うことができる。
【0178】
したがって、本実施の形態においても、各列について全n個のデジタル信号に基づいて1次モーメントと0次モーメントを演算する必要がなく、ラインパターン光の略中心を受光していると判断できる最大値を出力している画素と当該画素を中心として連続する所定数(この場合、5個)の画素の出力信号に相当するデジタル信号のみについて1次モーメントと0次モーメントを演算する。このため、ラインパターン光を受光していない受光素子120からのデジタル信号を演算に含めないでよいため、ノイズを除去することができる。しかも、演算処理が簡単・高速化される。
【0179】
以上のように、本実施の形態によれば、遅延回路520が、転送スイッチアレイ14から順次転送されてくる各列xに属するn個の受光素子120x、1〜120x、nからの出力信号に相当するデジタル信号D(x、1)〜D(x、n)を保持する。最大値位置検出器500が、転送スイッチアレイ14から順次転送されてくる各列xに属するn個の受光素子120x、1〜120x、nからの出力信号に相当するデジタル信号のうち、その値が最大である受光素子の列方向の位置についての位置情報yを含む制御信号を出力する。0次モーメント演算器16と1次モーメント演算器17とは、各列xについて、最大位置検出器500から出力された位置情報を含む制御信号に基づいて、該最大値が得られた受光素子120x、yを略中心に含みその列方向に連続する所定個数(この場合5個)の受光素子120x、y―2、120x、y―1、120x、y、120x、y+1、120x、y+2から得られた信号Dに基づくデジタル信号D(x、y−2)、D(x,y−1)、D(x,y)、D(x、y+1),D(x、y+2)に基づいて、それぞれ、0次モーメントと1次モーメントとを演算する。このように、0次、1次モーメント演算器16,17は、遅延回路520に保持されている1つの列に所属する全受光素子からの出力信号に相当するデジタル信号のうち、最大値を有するデジタル信号を出力した受光素子を略中心に含む連続した所定個数の受光素子からの出力信号に相当するデジタル信号に対して演算を行い、0次、1次モーメントを求める。したがって、0次、1次モーメント演算器は、ラインパターン光を受光した受光素子からの出力信号に相当するデジタル信号のみを使用して演算を行うため、ノイズが除去された0次、1次モーメントを演算することができる。
【0180】
本実施形態の画像計測カメラ1では、2次元画像を高速で取り込んで処理しているため、外部に出力するのは単純なデータ(3次元座標データ)であるものの、センサー3内部では、2次元の情報をフルに活用してラインパターン光以外の迷光等を測定しないようにすることにより精度の高い計測を可能としている。
【0181】
(第4の実施の形態)
【0182】
本発明の第4の実施の形態による画像計測カメラ1について図17乃至図20に基づき説明する。
【0183】
本実施の形態では、図17に示すように、投光器2が複数本(この場合、3本)のラインパターン光を、同時に、被測定物体のY軸方向の互いに異なる位置に投光する。
【0184】
本実施の形態では、ノイズ除去回路20は、図18に示すように、遅延回路620とスムージング回路630と極大値判断回路640とからなる。なお、本実施の形態の画像計測カメラ1は、投光器2が複数本のラインパターン光を投光していること、及び、ノイズ除去回路20を除き、第1の実施の形態の画像計測カメラ1と同一である。
【0185】
ここで、遅延回路620とスムージング回路630との両方が、転送スイッチアレイ14からの信号線350に接続されており、それぞれが、転送スイッチアレイ14から転送されてくる8ビットのデジタル信号を受け取るようになっている。極大値判断回路640は、スムージング回路630に接続されている。
【0186】
遅延回路620は、8ビットx所定画素数分のデジタル信号を保持するバッファからなる。ここで、所定画素数は、光検出器アレイ11によって受光される各ラインパターン光のy方向の幅に対応する受光素子120の個数である。例えば、被測定物体により反射され光検出器アレイ11に受光されるラインパターン光の幅が受光素子5個分の幅を有している場合には、遅延回路620は、8x5ビットのデジタル信号を保持するバッファから構成される。遅延回路620は、0次モーメント演算器16及び1次モーメント演算器17に接続されている。
【0187】
スムージング回路630は、転送スイッチアレイ14より1列中で順次連続して転送されてくる3個の8ビットデジタル信号に基づきスムージング処理を行い、スムージングされたデジタル信号を出力するための回路である。
【0188】
スムージング回路630は、例えば、図19に示すように、Aラッチ631,Bラッチ632,Cラッチ633と、1ビット左シフト器634と、加算器635と、2ビット右シフト器636とからなる。Cラッチ633は、転送スイッチアレイ14に接続されている。Bラッチ632は、Cラッチ633に接続されている。Aラッチ631は、Bラッチ632に接続されている。
【0189】
1個の8ビットデジタル信号D(x、y―1)が転送スイッチアレイ14より転送されてくると、当該デジタル信号は、まず、Cラッチ633に格納される。次の8ビットデジタル信号D(x、y)が転送スイッチアレイ14より転送されてくると、最初の8ビットデジタル信号D(x、y―1)は、Cラッチ633よりBラッチ632に転送され、今回の8ビットデジタル信号D(x、y)がCラッチ633に格納される。更に次の8ビットデジタル信号D(x、y+1)が転送スイッチアレイ14より転送されてくると、最初の8ビットデジタル信号D(x、y−1)はAラッチ631に転送され、次の8ビットデジタル信号D(x、y)はBラッチ632に転送され、最後の8ビットデジタル信号D(x、y+1)がCラッチ633に格納される。こうして、順次転送されてくる3つのデジタル信号D(x、y−1)、D(x、y)、D(x、y+1)が、Aラッチ631、Bラッチ632、及び、Cラッチ633にそれぞれ格納される。
【0190】
1ビット左シフト器634は、Bラッチ632に接続されており、Bラッチ632に格納されているデジタル信号D(x、y)に2を掛ける。
【0191】
加算器635は、Aラッチ631、1ビット左シフト器634、及び、Cラッチ633に接続されている。加算器635は、Aラッチ631からのD(x、y−1)と、1ビット左シフト器634からの2・D(x、y)と、Cラッチ633からのD(x、y+1)とを足し合わせる。
【0192】
2ビット右シフト器636は、加算器635に接続されており、加算器635の結果である{D(x、y−1)+2・D(x、y)+D(x、y+1)}を4で割る。2ビット右シフト器636は、割り算結果である{D(x、y−1)+2・D(x、y)+D(x、y+1)}/4を、スムージング画像D‘(x、y)として、極大値判断回路640に出力する。
【0193】
次のデジタル信号D(x、y+2)が転送スイッチアレイ14から転送されてくると、Aラッチ631、Bラッチ632,及び、Cラッチ633には、それぞれ、D(x、y)、D(x、y+1)、D(x、y+2)が格納され、スムージング画像D‘(x、y+1)(={D(x、y)+2・D(x、y+1)+D(x、y+2)}/4)が求められる。
【0194】
このようにして、転送スイッチアレイ14よりデジタル信号が順次転送されてくるたびに、スムージング画像が演算され、順次出力される。
【0195】
転送スイッチアレイ14が、1つの列に属する全n個のデジタル信号の転送を終了し、スムージング回路630が当該列についてのスムージング画像の演算と出力を終了すると、スムージング回路630は、次の列についてのデジタル信号の転送を待って、次の列のスムージング画像の演算を開始する。
【0196】
極大値判断回路640は、スムージング回路630から順次連続して出力される3個のスムージング画像データ(8ビットデジタル信号)に基づき極大ピークを検出するための回路である。この例では、3本のラインパターンを投光しているため、極大位置検出回路640は、各列について計3個の極大ピークを検出することになる。
【0197】
極大値判断回路640は、例えば、図20に示すように、Aラッチ641,Bラッチ642,Cラッチ643と、演算器644と、演算器645と、比較器646と、比較器647と、アンド回路648とからなる。Cラッチ643は、スムージング回路630の2ビット右シフト器636に接続されている。Bラッチ642は、Cラッチ643に接続されている。Aラッチ641は、Bラッチ642に接続されている。
【0198】
8ビットスムージングデジタル信号D‘(x、y−1)がスムージング回路630の2ビット右シフト器636より転送されてくると、当該デジタル信号D‘(x、y−1)は、まず、Cラッチ643に格納される。次の8ビットデジタル信号D‘(x、y)がスムージング回路630より転送されてくると、最初の8ビットデジタル信号D‘(x、y−1)は、Cラッチ643よりBラッチ642に転送され、今回の8ビットデジタル信号D‘(x、y)がCラッチ643に格納される。更に次の8ビットデジタル信号D‘(x、y+1)がスムージング回路630より転送されてくると、最初の8ビットデジタル信号D‘(x、y−1)はAラッチ641に転送され、次の8ビットデジタル信号D‘(x、y)はBラッチ642に転送され、最後の8ビットデジタル信号D‘(x、y+1)がCラッチ643に格納される。こうして、順次転送されてくる3つのデジタル信号D‘(x、y−1)、D’(x、y)、D‘(x、y+1)が、Aラッチ641、Bラッチ642、及び、Cラッチ643にそれぞれ格納される。
【0199】
演算器644は、Aラッチ641とBラッチ642とに接続されており、D’(x、y)―D‘(x、y−1)を演算する。演算器644の出力端子が比較器646の1つの入力端子に接続されている。比較器646の他の入力端子には、しきい値0が入力されている。比較器646は、演算器644の演算結果D’(x、y)―D‘(x、y−1)をしきい値0と比較する。比較器646は、演算結果D’(x、y)―D‘(x、y−1)>0の場合に、パルス1を出力する。それ以外の場合には、パルス0を出力する。
【0200】
演算器645は、Bラッチ642とCラッチ643とに接続されており、D’(x、y)―D‘(x、y+1)を演算する。演算器645の出力端子が比較器647の1つの入力端子に接続されている。比較器647の他の入力端子には、しきい値0が入力されている。比較器647は、演算器645の演算結果D’(x、y)―D‘(x、y+1)をしきい値0と比較し、演算結果D’(x、y)―D‘(x、y+1)>0の場合に、パルス1を出力する。それ以外の場合には、パルス0を出力する。
【0201】
比較器646と比較器647の出力端子が、それぞれ、アンド回路648の2つの入力端子に接続されている。アンド回路648は、比較器646と比較器647の比較結果のアンド結果をイネーブル信号として出力する。したがって、D’(x、y)―D‘(x、y−1)>0であり、かつ、D’(x、y)―D‘(x、y+1)>0である、すなわち、(x、y)位置が極大ピークである場合にのみ、イネーブル信号を出力する。アンド回路648の出力端子は、0次モーメント演算器16と1次モーメント演算器17とに接続されている。したがって、アンド回路648は、極大ピークを検出すると、0次モーメント演算器16と1次モーメント演算器17とに、イネーブル信号を出力する。
【0202】
ここで、スムージング回路630と極大位置検出回路640とが上記処理を行い1つの画素120x、yのスムージングデジタル信号D‘(x、y)が極大ピークか否かを判断している間、遅延回路620は、当該スムージングデジタル信号D’(x、y)に対応する元のデジタル信号D(x、y)を中心として連続して転送されてきた所定画素数(例えば、5)のデジタル信号D(x、y−2)、D(x、y−1)、D(x、y)、D(x、y+1)、D(x、y+2)とを保持している。イネーブル信号を受け取った0次モーメント演算器16と1次モーメント演算器17は、遅延回路620に保持されている、当該極大ピークが得られた受光素子120x、yを中心として連続する全所定画素数(5個)の受光素子120x、y―2、120x、y―1、120x、y、120x、y+1、120x、y+2からの出力信号に相当するデジタル信号D(x、y−2)、D(x、y−1)、D(x、y)、D(x、y+1)、D(x、y+2)に基づき、それぞれ、0次モーメントと1次モーメントとを演算する。
【0203】
なお、スムージング回路630は、各列xの最初と最後の画素に対するデジタル信号D(x、1)、D(x、n)に対して、スムージング画像データを作成しない。したがって、各列xの最初のタイミングで、Aラッチ641に、デジタル信号(00000000)が、ダミーのスムージング画像データD‘(x、1)として入力される。また、各列xの最後のタイミングで、Cラッチ643に、デジタル信号(00000000)が、ダミーのスムージング画像データD‘(x、n)として入力される。
【0204】
本実施の形態においても、各列xについて全n個のデジタル信号の1次モーメントと0次モーメントを演算する必要がなく、各ラインパターン光について、その略中心を受光していると判断できる極大ピークを出力している画素と当該画素を中心として連続する所定数(この場合、5個)の画素の出力信号に相当するデジタル信号のみについて1次モーメントと0次モーメントを演算する。このため、ラインパターン光を受光していない受光素子120からのデジタル信号を演算に含めないでよいため、ノイズを除去することができる。しかも、演算処理が簡単・高速化される。
【0205】
しかも、本実施の形態では、極大値判断回路640はスムージング回路630によりスムージング処理されたデジタル信号に基づいて極大ピークを求めるため、極大値検出回路640が誤った極大値を検出してしまうのを防止することができる。
【0206】
以上のように、本実施の形態では、遅延回路620が、転送スイッチアレイ14から順次転送されてくる各列xに属する所定個数(この場合5個)の受光素子からの出力信号に相当するデジタル信号を保持する。極大値判断回路640が、転送スイッチアレイ14から順次転送されてくる各列xに属する全n個の受光素子からの出力信号に相当するデジタル信号のうち、所定の複数個の極大値を探し、1つの極大値が見つかる度に制御信号(イネーブル信号)を出力する。0次モーメント演算器16と1次モーメント演算器17とが、当該列xについて、制御信号を受けた該所定の複数個のタイミングの各々のタイミングで、遅延回路620に保持されている、極大値のデジタル信号を略中心として連続した所定個数(この場合5個)のデジタル信号について、それぞれ、0次モーメントと1次モーメントとを演算する。このため、0次、1次モーメント演算器16,17は、ラインパターン光を受光した受光素子からの出力信号に相当するデジタル信号のみを使用して演算を行うため、ノイズが除去された0次、1次モーメントを演算することができる。しかも、複数個のラインパターン光の各重心位置を高速に求めることができる。
【0207】
本実施形態の画像計測カメラ1では、2次元画像を高速で取り込んで処理しているため、外部に出力するのは単純なデータ(3次元座標データ)であるものの、センサー3内部では、2次元の情報をフルに活用してラインパターン光以外の迷光等を測定しないようにすることによりマルチラインについても精度の高い計測を可能としている。
【0208】
(第5の実施の形態)
【0209】
本発明の第5の実施の形態による画像計測カメラについて図21に基づき説明する。
【0210】
本実施の形態では、0次モーメント演算器16と1次モーメント演算器17とは、転送スイッチアレイ14に直接接続されており、転送スイッチアレイ14が各列xについての全n個のデジタル信号D(x、1)〜D(x、n)を転送するたびに、0次モーメント演算と1次モーメント演算とを行う。重心演算器18は、0次モーメント演算器16と1次モーメント演算器17からの演算結果に基づき、各列についてのy方向重心P(x)を演算する。
【0211】
また、第3の実施の形態と同様、最大値位置検出回路500(図16)が転送スイッチアレイ14に直接接続されており、各列xについての全n個のデジタル信号D(x、1)〜D(x、n)を受け取るたびに、そのうちの最大のデジタル信号が何番目のものかを検出する。本実施の形態では、最大値位置検出回路500のカウントラッチ回路510は、比較器506が1つの列の全n個のデジタル信号について比較動作を完了すると、格納されている値、すなわち、最大の信号を出力した受光素子のy方向の位置情報y(以下、列xについての最大値位置max(x)という)を出力する。
【0212】
本実施の形態では、第2の演算部6bに、比較器700が設けられている。比較器700は、重心演算器18と最大値位置検出回路500とに接続されている。比較器700は、重心演算器18が求めた各列におけるy方向重心位置P(x)と、最大値位置検出回路500が求めたy方向最大値位置max(x)との差分|P(x)−max(x)|を演算する。比較器700は、さらに、演算結果|P(x)−max(x)|を所定の許容値(例えば、受光素子1個分)と比較し、|P(x)−max(x)|が所定の許容値以下の場合には、重心演算器18が演算した重心位置P(x)は確からしいと判断して、当該重心位置P(x)データを座標変換器21へ出力する。一方、|P(x)−max(x)|が所定の許容値より大きい場合には、重心演算器18が演算した重心位置P(x)は誤っていると判断して、当該重心位置P(x)データを座標変換器21へは出力しない。なお、誤っていると判断された列xについての重心位置については、例えば、光検出器アレイ11に再び受光させて計測を行う。
【0213】
このように、本実施の形態によれば、演算した重心位置が最大光量を示した受光素子の位置と近い場合には、演算した重心位置は正しいと判断して、座標変換器21に出力する。一方、演算した重心位置が最大光量を示した受光素子の位置より許容限度を超えて離れている場合には、演算した重心位置は誤っていると判断して、座標変換器21に出力しない。例えば、迷光を受光している場合には、重心演算が迷光の影響を受けるため、正しい重心位置を示さない。このため、最大値位置が重心位置からかなり離れてしまう。その場合には、演算した重心位置は誤っていると判断できるため、誤った重心位置が座標変換器21に出力されることが防止できる。
【0214】
したがって、座標変換器21には、常に、正しいと判断できる重心データのみが入力される。このため、座標変換器21は、ノイズの少ない高精度の3次元情報を演算することができる。
【0215】
本実施形態の画像計測カメラ1では、2次元画像を高速で取り込んで処理しているため、外部に出力するのは単純なデータ(3次元座標データ)であるものの、センサー3内部では、2次元の情報をフルに活用して、不正確なデータを排除するための情報を生成することにより、精度の高い計測を可能としている。
【0216】
本発明による画像計測カメラは上述した実施の形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。
【0217】
例えば、第2の演算部6bをビジョンセンサー3内に設けなくてもよい。この場合には、演算部6のうち、第1の演算部6のみをビジョンセンサー3内に設ける。したがって、0次モーメント演算器16と1次モーメント演算器17とは、演算結果(0次、1次モーメント)を、直接、外部コンピュータに出力する。外部コンピュータが、重心演算と座標変換演算を行う。第5の実施の形態の場合には、最大値位置検出器500が最大値位置を示す情報を外部コンピュータに出力し、外部コンピュータが比較器700と同様の処理を行う。
【0218】
かかる変更例の場合でも、ビジョンセンサー3内で0次モーメント演算と1次モーメント演算を行うため、演算を高速に行うことができる。また、ビジョンセンサー3は、2次元画像を高速で取り込んで処理しているため、第1の演算部6aが外部に出力するのは単純なデータ(0次モーメント及び1次モーメント、及び、第5の実施の形態の場合には、最大値位置を示す情報)であっても、その内部では、2次元の情報をフルに活用して、ノイズを除去したり、迷光等のノイズを演算に含めないようにしたり、不正確なデータを排除するための情報を出力することにより、精度の高い計測が可能となっている。しかも、外部コンピュータは、ビジョンセンサー3より受け取った0次モーメントと1次モーメントに基づき、重心演算の他、各種処理をおこなうことができる。
【0219】
前記実施の形態では、A/D変換器210にアンプ回路221を含ませていたが、図22に示すように、アンプ回路221をA/D変換器210とは別に設けるようにしても良い。また、A/D変換器210やアンプ回路221の構成は、記載した構成に限られない。所望の動作を達成できる限り、様々な構成が可能である。
【0220】
各実施の形態のノイズ除去回路の構成は、記載した構成に限られない。所望の動作を達成できる限り、様々な構成が可能である。マイクロコンピュータにより構成しても良い。また、FPGA(フィールドプログラマブルゲートアレイ)で構成してもよい。
【0221】
同様に、各実施の形態の0次、1次モーメント演算器や重心演算器、座標変換回路の構成も、記載した構成に限られない。所望の動作を達成できる限り、様々な構成が可能である。マイクロコンピュータにより構成しても良い。
【0222】
また、第3の実施の形態のノイズ除去回路20を、図23に示すように、変更しても良い。この場合、最大値位置検出回路500は、1つの列xからの出力信号列D(x、1)〜D(x、n)を順次受け取っていく際、前のものより値が下がったときの信号D(x、y+1)を検出し、当該信号の前の信号D(x、y)を最大値として、最大値を検出する。具体的には、比較器506の2つの入力端子506a、506bのうち、入力端子506aに、1ピクセル分の遅延回路505が接続されている。転送スイッチアレイ14から順次転送されてくる各出力信号D(x、y)が、比較器506の入力端子506aと遅延回路505との両方に転送される。その結果、比較器506は、順次受け取る2つの連続する出力信号列D(x、y)及びD(x、y+1)を比較することができる。比較器506は、D(x、y)>D(x、y+1)となった時、信号D(x、y)を中心として所定の画素数(例えば、5個)の信号D(x、y−2)、D(x、y−1)、D(x、y)、D(x、y+1)、D(x、y+2)に基づいてモーメントを演算するよう、モーメント演算器16,17に対し、イネーブル信号を出力する。
【0223】
この場合には、遅延回路520は、全n個の信号を保持する必要はなく、ラインパターン光幅分(所定画素数、この場合、5個)の信号を保持するようにすれば良い。このように、ラインパターン光幅分のピクセル数の遅延を行わせ、0次、1次モーメント演算器16,17に対し、センサの最大値が検出されたタイミングを中心に、ラインパターン光幅分のモーメント演算を行わせれば良い。この結果、0次、1次モーメント演算器16,17は、遅延分を差し引いて積分を開始することができる。
【0224】
なお、最大値位置検出回路500の前段に、スムージング回路630(図18)を備え、出力信号列D(x、y)をスムージングするようにしても良い。この場合、最大値位置検出回路500は、得られたスムージング信号D‘(x、y)={D(x、y)+2D(x、y)+D(x、y+1)}/4に対して最大値を求める。したがって、ノイズを除去することができる。さらに、最大値と判断された出力信号D(x、y)の絶対値がある値以上である事を確認して最大値とすれば、偽りの信号を除去することもできる。
【0225】
もしくは、最大値位置検出回路500は、極大値判断回路640(図20)と同様、出力信号列のうち、連続した2つの出力信号D(x、y)とD(x、y+1)との差D(x、y)―D(x、y+1)と、ひとつ前の連続した2つの出力信号D(x、y―1)とD(x、y)との差D(x、y―1)―D(x、y)とを計算し、これらの積の符号が負となったとき、信号D(x、y)を最大値と判断するようにしても良い。
【0226】
また、図24に示すように、遅延回路520の代わりに、比較器800を設け、出力信号列D(x、1)〜D(x、n)を順次所定のしきい値(最大ノイズ値)と比較するようにしても良い。この場合、比較器800は、出力信号列D(x、y)のうち、しきい値以上である場合のみ、0次、1次モーメント演算器16,17に対し出力する。したがって、0次、1次モーメント演算器16,17は、出力信号列D(x、y)のうち、しきい値以上の値のみを積分しつづける。最大値位置検出回路500は、最大値を検出したら、比較器800にその旨を通知する。比較器800は、通知を受け取った後、出力信号がしきい値より小さくなったところで、0次、1次モーメント演算器16,17に対し、モーメント演算を停止させるための制御信号を出力する。0次、1次モーメント演算器16,17は、それまでに積算した結果をモーメント値として出力する。その後、0次、1次モーメント演算器16,17のモーメント値がリセットされ、次の信号列D(x+1,1)〜D(x+1,n)に対する積分が開始する。
【0227】
もしくは、図25に示すように、0次、1次モーメント演算器16,17として、それぞれ、スリット光幅分の出力信号に対するモーメントを演算するための複数個(n個)のモーメント演算器を備えるようにしても良い。すなわち、0次モーメント演算器16として、スリット光幅分(この場合、5個分)のモーメントを演算する0次モーメント演算器16〜16を並列に設ける。これら0次モーメント演算器16〜16は、リセット時間を1画素分ずつずらされて、積算を行うように制御されている。具体的には、0次モーメント演算器16は、D(x、1)+D(x、2)+D(x、3)+D(x、4)+D(x、5)を演算し、0次モーメント演算器16は、D(x、2)+D(x、3)+D(x、4)+D(x、5)+D(x、6)を演算する。同様に、1次モーメント演算器17として、スリット光幅分(この場合、5個分)のモーメントを演算する1次モーメント演算器17〜17を並列に設ける。これら1次モーメント演算器17〜17も、リセット時間を1画素分ずつずらされて、積算を行うように制御されている。具体的には、1次モーメント演算器17は、1・D(x、1)+2・D(x、2)+3・D(x、3)+4・D(x、4)+5・D(x、5)を演算し、1次モーメント演算器17は、2・D(x、2)+3・D(x、3)+4・D(x、4)+5・D(x、5)+6・D(x、6)を演算する。最大値位置検出回路500は、最大値D(x、y)が検出された時点で、その位置(x、y)を中心とした積分を行っている0次モーメント演算器16y―2と1次モーメント演算器17y―2とに対し、その演算結果を出力させるようにイネーブル信号を出力すればよい。また、以上の動作を繰り返し行い、最大値が検出される毎に、対応するモーメント演算器16y―2、17y―2に対しイネーブル信号を出力すれば、マルチライン検出も可能となる。
【0228】
前記実施の形態では、受光素子アレイ11において、複数の受光素子120は、各行y毎にブロック化され、対応するA/D変換器210に接続されていた。しかしながら、複数の受光素子120は、別の単位毎にブロック化され、対応するA/D変換器に接続されるようにしても良い。例えば、複数の受光素子を、各列毎にブロック化し、対応するA/D変換器に接続するようにしても良い。
【0229】
また、前記実施の形態では、ラインパターン光を、受光素子アレイ11の転送方向(行方向)に平行になるように照射したが、図14の比較例のように、ラインパターン光を、受光素子アレイ11の転送方向に直交するように照射してもよい。図14の比較例の場合、0次、1次モーメント演算器16,17は、1フレーム分のデータを受け取ってからでなければ最終的なモーメントを演算することはできないが、光検出器アレイ11とA/D変換器アレイ13によれば、1フレーム分のデータを約1ミリ秒という非常に短い時間で取得することができるため、モーメントを十分高速に演算することができるからである。特に、被測定物体Sの位置が時間的に変動しない場合には、非常に高い精度で検出を行うことができる。
【0230】
【発明の効果】
請求項1記載の画像計測カメラによれば、ラインパターン光の強度を示すデジタル信号の2次元情報を高速かつ高解像度にて取得し、その0次、1次モーメントを高速に演算することができる。しかも、ノイズ除去装置により0次、1次モーメントを高精度に演算することができる。
【0231】
請求項2記載の画像計測カメラによれば、重心位置演算装置と形状情報演算装置とを設けたので、形状情報をより高速に得ることができる。しかも、ノイズ除去装置が、演算結果からノイズを除去するので、被測定物体の形状情報を高精度に演算することができる。また、精度の高い重心演算結果にのみに基づいて形状情報が演算されるため、高精度の形状情報を得ることができる。
【0232】
請求項3記載の画像計測カメラによれば、ラインパターン光を受光した受光素子からの出力信号に相当するデジタル信号のみを使用して演算を行うことができるため、迷光等のノイズを誤って演算に含めてしてしまうことを防止でき、精度の高い0次、1次モーメントを演算することができる。
【0233】
請求項4記載の画像計測カメラによれば、ラインパターン光を受光した受光素子からの出力信号に相当するデジタル信号のみを使用して演算を行うことができるため、迷光等のノイズを誤って演算に含めてしてしまうことを防止でき、精度の高い0次、1次モーメントを演算することができる。
【0234】
請求項5記載の画像計測カメラによれば、ラインパターン光を受光した受光素子からの出力信号に相当するデジタル信号のみを使用して演算を行うことができるため、迷光等のノイズを誤って演算に含めてしてしまうことを防止でき、精度の高い0次、1次モーメントを演算することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態による画像計測カメラが被測定物体に対して配置された状態を示す図。
【図2】図1の被測定物体を画像計測カメラから見た図。
【図3】第1の実施形態の画像計測カメラの外観とその内部の構成を示す概略構成図。
【図4】第1の実施形態の画像計測カメラの回路構成を示すブロック図。
【図5】第1の実施形態の画像計測カメラが備える受光素子アレイ、及び、A/D変換器アレイの回路構成図。
【図6】図5のA/D変換器が備える積分回路の詳細構成図。
【図7】第1の実施形態の画像計測カメラが備える転送スイッチアレイの回路構成図。
【図8】図7の転送スイッチアレイが備えるスイッチユニットの詳細回路構成図。
【図9】第1の実施形態の画像計測カメラが備える演算部のブロック図。
【図10】図9の演算部が備えるノイズ除去回路の詳細回路構成図。
【図11】図9の演算部が備える0次モーメント演算器の詳細ブロック図。
【図12】図9の演算部が備える1次モーメント演算器の詳細ブロック図。
【図13】第1の実施形態における画像計測カメラの光検出部のデータ転送方向とラインパターン光の方向との関係を示す図。
【図14】比較例における画像計測カメラの光検出部のデータ転送方向とラインパターン光の方向との関係を示す図。
【図15】第2の実施形態における画像カメラの演算部が備えるノイズ除去回路の詳細回路構成図。
【図16】第3の実施形態における画像カメラの演算部が備えるノイズ除去回路の詳細回路構成図。
【図17】第4の実施形態において、画像カメラの光検出部が複数のラインパターン光を受光する様子を示す説明図。
【図18】第4の実施形態における画像カメラの演算部が備えるノイズ除去回路の詳細回路構成図。
【図19】図18のノイズ除去回路が備えるスムージング回路の詳細回路構成図。
【図20】図18のノイズ除去回路が備える極大値判断回路の詳細回路構成図。
【図21】第5の実施形態の画像計測カメラが備える演算部のブロック図。
【図22】変形例の画像計測カメラの回路構成を示すブロック図。
【図23】別の変形例の画像計測カメラのノイズ除去回路の回路構成を示すブロック図。
【図24】別の変形例の画像計測カメラのノイズ除去回路の回路構成を示すブロック図。
【図25】別の変形例の画像計測カメラのノイズ除去回路と0次、1次モーメント演算器の回路構成を示すブロック図。
【符号の説明】
1 画像計測カメラ
2 投光器
3 ビジョンセンサー
4 光検出部
5 移動枠
6 演算部
6a 第1の演算部
6b 第2の演算部
8 制御部
11 光検出器アレイ
13 A/D変換器アレイ
14 転送スイッチアレイ
16 0次モーメント演算器
17 1次モーメント演算器
18 重心演算器
20 ノイズ除去回路
21 座標変換器

Claims (5)

  1. 所定の方向に延びる測定用のラインパターン光を、被測定物体に投光する光源と、
    複数の受光素子が、該所定の方向に略平行に延びる複数の行、及び、該複数の行に対し略垂直に延びる複数の列に2次元状に配列され、かつ、複数のブロックにグループ分けされて構成された、該被測定物体より反射された該ラインパターン光を受光するための受光素子アレイと、
    前記受光素子アレイの該複数のブロックに1対1に対応して設けられ、対応するブロック中の受光素子から順次読み出された出力信号をアナログ・デジタル変換する複数のA/D変換器からなるA/D変換器アレイと、
    前記A/D変換器アレイから転送された該各列に属する複数の受光素子の出力信号に相当するデジタル信号の0次モーメントを演算するための0次モーメント演算器と、
    前記A/D変換器アレイから転送された該各列に属する該複数の受光素子の出力信号に相当するデジタル信号の1次モーメントを演算するための1次モーメント演算器と、
    該ラインパターン光を受光している該受光素子からの出力信号に相当するデジタル信号であるか該ラインパターン光を受光していない該受光素子からの出力信号に相当するデジタル信号であるかを判断し、該ラインパターン光を受光している該受光素子からの出力信号に相当するデジタル信号のみについて該0次モーメント演算器と該1次モーメント演算器とに演算を行わせることによりノイズを除去するノイズ除去装置と、
    を備え、
    該受光素子アレイは、一の列に属する複数の受光素子が互いに同一の時刻に受け取った光量を示す出力信号を互いに同一の時刻に出力することを、各列毎に順次行うことを特徴とする画像計測カメラ。
  2. 所定の方向に延びる測定用のラインパターン光を、被測定物体に投光する光源と、
    複数の受光素子が、該所定の方向に略平行に延びる複数の行、及び、該複数の行に対し略垂直に延びる複数の列に2次元状に配列され、かつ、複数のブロックにグループ分けされて構成された、該被測定物体より反射された該ラインパターン光を受光するための受光素子アレイと、
    前記受光素子アレイの該複数のブロックに1対1に対応して設けられ、対応するブロック中の受光素子から順次読み出された出力信号をアナログ・デジタル変換する複数のA/D変換器からなるA/D変換器アレイと、
    前記A/D変換器アレイから転送された該各列に属する複数の受光素子の出力信号に相当するデジタル信号の0次モーメントを演算するための0次モーメント演算器と、
    前記A/D変換器アレイから転送された該各列に属する該複数の受光素子の出力信号に相当するデジタル信号の1次モーメントを演算するための1次モーメント演算器と、
    演算結果からノイズを除去するためのノイズ除去装置と、
    前記1次モーメント演算器の演算結果と前記0次モーメント演算器の演算結果とに基づき、前記各列に属する前記複数の受光素子の出力信号に相当するデジタル信号の列方向の重心を演算し、演算結果を出力するための重心演算器と、
    該重心演算器の演算結果に基づき、前記被測定物体の該所定の方向における各位置での被測定物体の形状情報を演算する形状情報演算装置と、
    を備え、
    前記ノイズ除去装置が、
    前記各列に属する前記複数の受光素子からの出力信号に相当するデジタル信号のうち、その値が最大である最大値出力受光素子を検出する最大値位置検出手段と、
    該各列について、前記重心演算装置の演算結果が示す重心位置と該最大値位置検出器の検出結果が示す最大値出力受光素子の最大値位置とを受け取り、該重心位置と該最大値位置との間の距離が所定の許容値より小さいか否かを判断し、該距離が該所定の許容値より小さい場合に、該重心演算装置の演算結果を出力する比較手段と、からなり、
    該受光素子アレイは、一の列に属する複数の受光素子が互いに同一の時刻に受け取った光量を示す出力信号を互いに同一の時刻に出力することを、各列毎に順次行い、
    前記ノイズ除去装置が、該重心演算器の演算結果からノイズを除去することを特徴とする画像計測カメラ。
  3. 前記ノイズ除去装置が、
    前記各列に属する前記複数の受光素子のうち連続する所定の個数の受光素子からの出力信号に相当するデジタル信号が所定のしきい値より大きいか否かを判断する判断手段と、
    所定のしきい値より大きいと判断された連続する該所定の個数の演算素子からの出力信号に相当するデジタル信号に基づいて、前記0次モーメント演算器と前記1次モーメント演算器とに演算を行わせる制御手段と、
    を備えていることを特徴とする請求項1記載の画像計測カメラ。
  4. 前記ノイズ除去装置が、
    前記各列に属する前記複数の受光素子からの出力信号に相当するデジタル信号のうち、その値が最大である最大値出力受光素子を決定する最大値位置検出手段と、
    検出された最大値出力受光素子を略中心に含む連続する所定の個数の演算素子からの出力信号に相当するデジタル信号に基づいて、前記0次モーメント演算器と前記1次モーメント演算器とに演算を行わせる制御手段と、
    を備えていることを特徴とする請求項1記載の画像計測カメラ。
  5. 前記光源が、所定の複数個の測定用のラインパターン光を、互いに前記所定方向に対し略垂直な方向における所定の複数個の位置に投光し、各ラインパターン光が前記所定の方向に沿って延び、
    前記ノイズ除去装置が、
    前記各列に属する前記複数の受光素子からの出力信号に相当するデジタル信号のうち、その値が極大である極大値出力受光素子を決定する極大値位置検出手段と、
    検出された該所定の複数個の極大値のデジタル信号に相当する出力信号を出力した受光素子を略中心に含む連続する所定の個数の演算素子からの出力信号に相当するデジタル信号に基づいて、前記0次モーメント演算器と前記1次モーメント演算器とに演算を行わせる制御手段と、
    を備えていることを特徴とする請求項1記載の画像計測カメラ。
JP2001170316A 2001-06-05 2001-06-05 画像計測カメラ Expired - Fee Related JP4730928B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001170316A JP4730928B2 (ja) 2001-06-05 2001-06-05 画像計測カメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001170316A JP4730928B2 (ja) 2001-06-05 2001-06-05 画像計測カメラ

Publications (2)

Publication Number Publication Date
JP2002366930A JP2002366930A (ja) 2002-12-20
JP4730928B2 true JP4730928B2 (ja) 2011-07-20

Family

ID=19012255

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001170316A Expired - Fee Related JP4730928B2 (ja) 2001-06-05 2001-06-05 画像計測カメラ

Country Status (1)

Country Link
JP (1) JP4730928B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3774225B2 (ja) 2004-10-15 2006-05-10 独立行政法人科学技術振興機構 三次元計測センサ
JP4907466B2 (ja) * 2007-08-09 2012-03-28 株式会社神戸製鋼所 光切断線抽出装置,光切断線抽出方法
JP5956411B2 (ja) 2013-04-01 2016-07-27 株式会社神戸製鋼所 形状計測装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63128207A (ja) * 1986-11-19 1988-05-31 Fujitsu Ltd 実装部品検査装置
JPH03149674A (ja) * 1989-11-07 1991-06-26 Fujitsu Ltd 輪郭検出装置
JP2000099694A (ja) * 1998-09-21 2000-04-07 Hamamatsu Photonics Kk 高速視覚センサ装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63128207A (ja) * 1986-11-19 1988-05-31 Fujitsu Ltd 実装部品検査装置
JPH03149674A (ja) * 1989-11-07 1991-06-26 Fujitsu Ltd 輪郭検出装置
JP2000099694A (ja) * 1998-09-21 2000-04-07 Hamamatsu Photonics Kk 高速視覚センサ装置

Also Published As

Publication number Publication date
JP2002366930A (ja) 2002-12-20

Similar Documents

Publication Publication Date Title
WO2020205028A2 (en) High dynamic range direct time of flight sensor with signal-dependent effective readout rate
US8203699B2 (en) System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed
KR101348522B1 (ko) 고체 촬상 장치 및 거리 화상 측정 장치
JP4351658B2 (ja) メモリ容量低減化方法、メモリ容量低減化雑音低減化回路及びメモリ容量低減化装置
US7671313B2 (en) Image sensor and control method of the image sensor
US8872089B2 (en) Solid-state imaging device
EP1206131B1 (en) Solid-state imaging device and range finding device
CN111758047B (zh) 单芯片rgb-d相机
US20190052821A1 (en) A Vision Sensor, a Method of Vision Sensing, and a Depth Sensor Assembly
US20060081767A1 (en) Semiconductor integrated circuit device having a plurality of photo detectors and processing elements
JPWO2017169446A1 (ja) 撮像素子および撮像装置
JP5520840B2 (ja) コントラスト測定用視覚センサ及びコントラスト測定方法
WO2006041140A1 (ja) 三次元計測センサ
JP4730928B2 (ja) 画像計測カメラ
JP5809627B2 (ja) 動画像から静止画像を取得するためのシステム及び方法
JP4863340B2 (ja) 画像計測カメラ
US6873282B1 (en) Differential time-to-threshold A/D conversion in digital imaging arrays
Baba et al. A novel subpixel edge detection system for dimension measurement and object localization using an analogue-based approach
JPS6357721B2 (ja)
JP3872333B2 (ja) 物体表面形状計測装置
Kato et al. A binocular CMOS range image sensor with bit-serial block-parallel interface using cyclic pipelined ADCs
US11768277B2 (en) Time-of-flight sensor and control method thereof
JP2023540051A (ja) イベントセンサ、およびイベントデータを含む信号ストリームを生成するための方法
Gottardi A CMOS/CCD image sensor for 2D real time motion estimation
JP3817460B2 (ja) 光検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110418

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110418

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4730928

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees