JP5520562B2 - 立体形状測定システム及び立体形状測定方法 - Google Patents

Description

本発明は、立体形状の測定を行う立体形状測定システム及び立体形状測定方法に関する。

従来、対象物体を撮像し、撮像された画像を用いて対象物体の立体形状を測定する立体形状測定システムが提案されている。このような立体形状測定システムに採用されている立体形状測定方法の具体例として、モアレ法、スポット光計測法、光切断法、空間コード法、ステレオ法などがある。

立体形状測定システムには、複数の撮像装置によって対象物体を撮像し、複数の画像上での対応点を検出することによって立体形状測定を行うシステムがある。このようなシステムでは、複数の画像上での対応点を精度良く検出するために、対象物体に対して所定の模様などを投影した上で撮像を行う（非特許文献１参照）。

服部数幸、佐藤幸男、"レーザパターンシフトによる高分解能空間コード化法"、電子情報通信学会論文誌、Ｊ８０−Ｄ−２（６）、ｐｐ．１４２３−１４３１、社団法人電子情報通信学会

しかしながら、非特許文献１に記載の技術では、時間差で異なる模様を投影し、各模様が投影された画像を順次撮像することによって立体形状測定を行っていた。そのため、対象物体に動きがある場合には、時間差で投影される各模様の画像毎に被写体の位置がずれてしまい、測定精度が著しく低下してしまうという問題があった。

そこで本発明は、対象物体に動きがある場合であっても測定精度の低下を抑止することができる立体形状測定システム及び立体形状測定方法を提供することを目的としている。

本発明の一態様は、物体（例えば、実施形態における対象物体４０）に対して所定の模様を投影する投影装置（例えば、実施形態における投影装置１０）と、前記物体をそれぞれ異なる位置から撮像する複数の撮像装置（例えば、実施形態における撮像装置２０）と、各撮像装置によって撮像された各画像に基づいて前記物体の立体形状を測定する立体形状測定装置（例えば、実施形態における立体形状測定装置３０）を備える立体形状測定システム（例えば、実施形態における立体形状測定システム１）であって、前記投影装置は、物体に対して所定の第一模様を投影する第一状態と、前記物体に対して所定の第二模様を投影する第二状態と、前記物体に対して所定の第三模様を投影する第三状態とで繰り返し遷移し、前記撮像装置は、前記物体において反射された光を受光して光の強度に応じた電荷を生成する光電変換部であって、互いに離間した複数の変換部（例えば、実施形態における微小変換部２２１１ａ〜２２１１ｄ）からなる光電変換部と、前記投影装置が前記第一状態である間に前記光電変換部によって生成された電荷を蓄積する第一電荷蓄積部（例えば、実施形態における電荷蓄積領域２２１２ａ）と、前記投影装置が前記第二状態である間に前記光電変換部によって生成された電荷を蓄積する第二電荷蓄積部（例えば、実施形態における電荷蓄積領域２２１２ｂ）と、前記投影装置が前記第三状態である間に前記光電変換部によって生成された電荷を蓄積する第三電荷蓄積部（例えば、実施形態における電荷蓄積領域２２１２ｃ）と、前記光電変換部の複数の変換部により生成された電荷を集めて、前記第一電荷蓄積部、前記第二電荷蓄積部又は前記第三電荷蓄積部へ転送する電荷転送部（例えば、実施形態における電荷転送領域２２１３）であって、遮光幕に覆われ、前記光電変換部に対しポテンシャルが低く形成されている電荷転送部と、前記電荷転送部と前記第一電荷蓄積部との間に設けられ、前記投影装置が前記第一状態である間に開き、前記投影装置が他の状態である間は閉まることによって、前記電荷転送部から前記第一電荷蓄積部へ電荷が入ることを制御する第一振り分けゲート部（例えば、実施形態における振り分けゲートＴｘａ）と、前記電荷転送部と前記第二電荷蓄積部との間に設けられ、前記投影装置が前記第二状態である間に開き、前記投影装置が他の状態である間は閉まることによって、前記電荷転送部から前記第二電荷蓄積部へ電荷が入ることを制御する第二振り分けゲート部（例えば、実施形態における振り分けゲートＴｘｂ）と、前記電荷転送部と前記第三電荷蓄積部との間に設けられ、前記投影装置が前記第三状態である間に開き、前記投影装置が他の状態である間は閉まることによって、前記電荷転送部から前記第三電荷蓄積部へ電荷が入ることを制御する第三振り分けゲート部（例えば、実施形態における振り分けゲートＴｘｃ）と、前記第一電荷蓄積部に蓄積された電荷を読み出すことによって前記第一模様が投影された前記物体の画像である第一画像を生成する第一画像生成部（例えば、実施形態における第一模様投影画像生成部２３）と、前記第二電荷蓄積部に蓄積された電荷を読み出すことによって前記第二模様が投影された前記物体の画像である第二画像を生成する第二画像生成部（例えば、実施形態における第二模様投影画像生成部２４）と、前記第三電荷蓄積部に蓄積された電荷を読み出すことによって前記第三模様が投影された前記物体の画像である第三画像を生成する第三画像生成部（例えば、実施形態における第三模様投影画像生成部２５）と、を備え、前記立体形状測定装置は、前記第一画像と前記第二画像と前記第三画像とにおいて、各ピクセルの輝度値の時間変化を表す波形の位相をピクセル毎に算出する位相算出部（例えば、実施形態における位相算出部３２）と、異なる撮像装置によって撮像された各画像において、各ピクセルの輝度値及び位相に基づいて、前記物体の三次元空間上の同一点が撮像された画像平面上のピクセルの対応付けを行う対応点検出部（例えば、実施形態における対応点検出部３３）と、各対応点の画像上の座標に基づいて前記物体の立体形状を測定する立体形状測定部（例えば、実施形態における立体形状測定部３４）と、を備える、ことを特徴とする。

本発明の一態様は、上記の立体形状測定システムであって、前記投影装置は、前記物体に対して模様の無い一様な光を発光する模様非投影状態をさらに有し、前記第一状態と前記第二状態と前記第三状態と前記模様非投影状態とで繰り返し遷移し、前記撮像装置は、前記投影装置が前記模様非投影状態である間に前記光電変換部によって生成された電荷を蓄積する模様非投影時電荷蓄積部（例えば、実施形態における電荷蓄積領域２２１２ｄ）と、前記電荷転送部と前記模様非投影時電荷蓄積部との間に設けられ、前記投影装置が前記模様非投影状態である間に開き、前記投影装置が他の状態である間は閉まることによって、前記電荷転送部から前記模様非投影時電荷蓄積部へ電荷が入ることを制御する第四振り分けゲート部（例えば、実施形態における振り分けゲートＴｘｄ）と、前記模様非投影時電荷蓄積部に蓄積された電荷を読み出すことによって前記模様が投影されていない前記物体の画像である模様非投影画像を生成する模様非投影画像生成部（例えば、実施形態における模様非投影画像生成部２７）と、前記第一画像と前記模様非投影画像との差分の画像である第一差分画像を生成する第一差分画像生成部（例えば、実施形態における第一差分画像生成部２３１）と、前記第二画像と前記模様非投影画像との差分の画像である第二差分画像を生成する第二差分画像生成部（例えば、実施形態における第二差分画像生成部２４１）と、前記第三画像と前記模様非投影画像との差分の画像である第三差分画像を生成する第三差分画像生成部（例えば、実施形態における第三差分画像生成部２５１）と、を備え、前記立体形状測定装置の位相算出部は、前記第一差分画像と前記第二差分画像と前記第三差分画像とに基づいて前記各ピクセルの輝度値の時間変化を表す波形の位相をピクセル毎に算出する、ことを特徴とする。

本発明の一態様は、物体に対して所定の模様を投影する投影装置と、前記物体をそれぞれ異なる位置から撮像する複数の撮像装置と、各撮像装置によって撮像された各画像に基づいて前記物体の立体形状を測定する立体形状測定装置を備える立体形状測定システムが行う立体形状測定方法であって、前記投影装置が、物体に対して所定の第一模様を投影する第一状態と、前記物体に対して所定の第二模様を投影する第二状態と、前記物体に対して所定の第三模様を投影する第三状態とで繰り返し遷移し、前記撮像装置が、互いに離間した複数の変換部によって、前記物体において反射された光を受光して光の強度に応じた電荷を生成する光電変換ステップと、前記投影装置が前記第一状態である間に、前記光電変換ステップにおいて複数の変換部により生成された電荷を集めて電荷を転送する電荷転送部であって、遮光幕に覆われ、前記光電変換部に対しポテンシャルが低く形成されている電荷転送部と第一電荷蓄積部との間に設けられた第一振り分けゲート部を開くことによって前記第一電荷蓄積部に電荷を蓄積し、前記投影装置が前記第一状態ではない間は前記第一振り分けゲート部を閉めることによって前記電荷転送部から前記第一電荷蓄積部へ電荷が入ることを制限する第一振り分けゲート制御ステップと、前記投影装置が前記第二状態である間に、前記電荷転送部と第二電荷蓄積部との間に設けられた第二振り分けゲート部を開くことによって前記第二電荷蓄積部に電荷を蓄積し、前記投影装置が前記第二状態ではない間は前記第二振り分けゲート部を閉めることによって前記電荷転送部から前記第二電荷蓄積部へ電荷が入ることを制限する第二振り分けゲート制御ステップと、前記投影装置が前記第三状態である間に、前記電荷転送部と第三電荷蓄積部との間に設けられた第三振り分けゲート部を開くことによって前記第三電荷蓄積部に電荷を蓄積し、前記装置が前記第三状態ではない間は前記第三振り分けゲート部を閉めることによって前記電荷転送部から前記第三電荷蓄積部へ電荷が入ることを制限する第三振り分けゲート制御ステップと、前記第一振り分けゲート制御ステップにおいて前記第一電荷蓄積部に蓄積された電荷を読み出すことによって前記第一模様が投影された前記物体の画像である第一画像を生成する第一画像生成ステップと、前記第二振り分けゲート制御ステップにおいて前記第二電荷蓄積部に蓄積された電荷を読み出すことによって前記第二模様が投影された前記物体の画像である第二画像を生成する第二画像生成ステップと、前記第三振り分けゲート制御ステップにおいて前記第三電荷蓄積部に蓄積された電荷を読み出すことによって前記第三模様が投影された前記物体の画像である第三画像を生成する第三画像生成ステップと、前記立体形状測定装置が、前記第一画像と前記第二画像と前記第三画像とにおいて、各ピクセルの輝度値の時間変化を表す波形の位相をピクセル毎に算出する位相算出ステップと、異なる撮像装置によって撮像された各画像において、各ピクセルの輝度値及び位相に基づいて、前記物体の三次元空間上の同一点が撮像された画像平面上のピクセルの対応付けを行う対応点検出ステップと、各対応点の画像上の座標に基づいて前記物体の立体形状を測定する立体形状測定ステップと、を備える、ことを特徴とする。

本発明によれば、対応点検出部において、輝度値のみではなく、位相値にもさらに基づいて各ピクセルの対応付けが実行される。そのため、対象物体に動きがある場合であっても測定精度の低下を抑止することが可能となる。

また、模様非投影画像生成部を備えるように構成された本発明によれば、投影装置から物体に投影された各模様のみが各差分画像として得られる。そのため、精度の高い位相算出を実現することが可能となる。

第一実施形態の立体形状測定システムのシステム構成を表すシステム構成図である。 投影装置の機能構成を表す概略ブロック図である。 発光部によって発光される光が有する模様の概略を表す概略図である。 発光部によって発光される光が有する複数の模様の概略を表す概略図である。 撮像装置の機能構成を表す概略ブロック図である。 受光部の構成の概略を表す概略図である。 受光部に用いられる画素の構成を表す構成図である。 図７の画素の等価回路を表す図である。 第一実施形態における立体形状測定システムの動作を表すタイミングチャートである。 計測装置の機能構成を表す概略ブロック図である。 位相算出部が各ピクセルにおける光強度時間変化波形の位相の値を算出するための処理の概略を表す概略図である。 対応点検出部の処理の概略を表す概略図である。 第二実施形態における受光部に用いられる画素の構成を表す図である。 第二実施形態における立体形状測定システムの動作を表すタイミングチャートである。 第三実施形態における投影装置の発光部によって発光される光が有する複数の模様の概略を表す概略図である。 第三実施形態における撮像装置の機能構成を表す概略ブロック図である。 第三実施形態における立体形状測定システムの動作を表すタイミングチャートである。

［第一実施形態］
図１は、第一実施形態の立体形状測定システム１のシステム構成を表すシステム構成図である。立体形状測定システム１は、撮像システム２及び立体形状測定装置３０を備える。撮像システム２は、投影装置１０及び複数台の撮像装置２０（撮像装置２０−１、２０−２）を備える。投影装置１０は所定の模様を対象物体４０の表面に投影し、撮像装置２０は所定の模様が投影された対象物体４０を撮像し、立体形状測定装置３０は各撮像装置２０によって撮像された画像を用いて対象物体４０の立体形状を測定する。以下、立体形状測定システム１に含まれる各装置について説明する。

図２は、投影装置１０の機能構成を表す概略ブロック図である。投影装置１０は、同期部１１、発光部１２、拡散レンズ１３を備え、例えばＤＬＰ（Digital Light Processing）(登録商標)などのプロジェクター機器を用いて構成される。同期部１１は、所定のタイミングで同期信号を発光部１２及び各撮像装置２０に出力する。同期部１１から出力される同期信号は、どのような通信形態によって各撮像装置２０に送信されても良く、例えば有線ケーブルを介して送信されても良いし、無線通信を用いて送信されても良い。

発光部１２は、同期部１１から出力される同期信号に応じて複数の所定の模様を有した光を繰り返し発光し、対象物体４０に所定の模様を投影する。発光部１２は、例えば白色光源とＤＭＤ（デジタルマイクロミラーデバイス：Digital Micromirror Device）を用いて構成されても良いし、白色光源と液晶パネルを用いて構成されても良い。拡散レンズ１４は、発光部１２から発光された所定の模様を有した光を屈折させ幅広い方向へ進行させる。

図３は、発光部１２によって発光される光が有する模様の概略を表す概略図である。図３Ａは、発光部１２によって発光される光が有する模様の一例を表す図である。発光部１２によって発光される光は横軸方向（ｘ軸方向）に濃度が滑らかに変化しているアナログ的なパターンを有する。図３Ｂは、発光部１２によって発光される光の強度の横軸方向の変化を表す図である。発光部１２によって発光される光の強度は、横軸方向にサイン波にしたがって滑らかに変化する。なお、図３Ａにおいて、光の強度が弱い部分は黒色にて表されているが、実際にはオフセットがあるため黒色ではなく、オフセットに応じた明度を持った明るさの模様となる。図４、図１５でも同様である。

図４は、発光部１２によって発光される光が有する複数の模様の概略を表す概略図である。図４Ａ、図４Ｂ、図４Ｃ、図４Ｄは、それぞれ位相が０度、９０度、１８０度、２７０度ずれた横軸方向に伸びるサイン波にしたがった強度の光が有する模様（以下、それぞれ「０度模様」、「９０度模様」、「１８０度模様」、「２７０度模様」という）を表す。

発光部１２は、同期部１１から出力される同間隔の同期信号に応じて、図４Ａ〜図４Ｄに表される所定の模様を有する光を繰り返し発光する。そのため、光の模様上の横軸方向（ｘ軸方向）のある点Ｍにおける光の強度の時間変化は、図４Ｅに示すようなサイン波にしたがった変化として近似的に表すことができる。以下の説明において、図４Ｅに表されるような、ある点における光強度の時間変化を示す波形を、「光強度時間変化波形」という。

図５は、撮像装置２０の機能構成を表す概略ブロック図である。撮像装置２０は、レンズ２１、受光部２２、第一模様投影画像生成部２３、第二模様投影画像生成部２４、第三模様投影画像生成部２５、第四模様投影画像生成部２６を備える。レンズ２１は、対象物体４０において反射された光束を通過させ、受光部２２に対象物体４０の像を結像させる。受光部２２は、複数の画素が二次元に配列された構造を有し、画素によって受光した光に応じた電荷を発生させて蓄積し、所定のタイミングで蓄積した電荷を第一模様投影画像生成部２３〜第四模様投影画像生成部２６へ出力する。

第一模様投影画像生成部２３〜第四模様投影画像生成部２６は、受光部２２に蓄積された電荷を入力し、０度模様、９０度模様、１８０度模様、２７０度模様がそれぞれ対象物体４０に投影されている画像（以下、それぞれ「第一模様投影画像」、「第二模様投影画像」、「第三模様投影画像」、「第四模様投影画像」という）の電子データを生成する。そして、第一模様投影画像生成部２３〜第四模様投影画像生成部２６は、生成した各画像の電子データを立体形状測定装置３０へ送信する。各画像の電子データは、どのような通信形態によって立体形状測定装置３０に送信されても良く、例えば有線ケーブルを介して送信されても良いし、無線通信を用いて送信されても良い。

図６は、受光部２２の構成の概略を表す概略図である。受光部２２は、複数の画素２２１と、垂直走査回路２２２、水平走査回路２２３、読み出し回路２２４を備える。画素２２１は、二次元マトリックス状に配置され、レンズ２１を通過した光を受けて電荷を生成し蓄積する。各画素２２１に蓄積された電荷に応じた電圧レベルは、垂直走査回路２２２及び水平走査回路２２３による制御に応じて、読み出し回路２２４によって読み出され、読み出された電圧レベルは読み出し回路２２４から第一模様投影画像生成部２３〜第四模様投影画像生成部２６へ出力される。

図７は、受光部２２に用いられる画素２２１の構成を表す構成図である。画素２２１は、４つの微小変換部２２１１ａ〜２２１１ｄを備える。各微小変換部２２１１ａ〜２２１１ｄは光電変換素子を用いて構成される。また、画素２２１は、４つの電荷蓄積領域２２１２ａ〜２２１２ｄと、各電荷蓄積領域２２１２ａ〜２２１２ｄに対応する振り分けゲートＴｘａ〜Ｔｘｄを備える。４つの微小変換部２２１１ａ〜２２１１ｄは、電荷転送領域２２１３及び振り分けゲートＴｘａ〜Ｔｘｄを介して、それぞれ電荷蓄積領域２２１２ａ〜２２１２ｄに接続される。

微小変換部２２１１ａ〜２２１１ｄにおける光電変換によって生成された電荷は、よりポテンシャルの低い電荷転送領域２２１３へ移動する。振り分けゲートＴｘａ〜Ｔｘｄのうちの一つが開かれると、電荷転送領域２２１３から、開かれたゲートＴｘａ〜Ｔｘｄに対応する電荷蓄積領域２２１２ａ〜２２１２ｄの一つに電荷が移動する。そして、各電荷蓄積領域２２１２ａ〜２２１２ｄに移動した電荷は、各電荷蓄積領域２２１２ａ〜２２１２ｄによって所定のタイミングまで蓄積される。そして、蓄積された電荷は、所定のタイミングで読み出し電極２２１４ａ〜２２１４ｄから、読み出し回路２２４を介してそれぞれ第一模様投影画像生成部２３〜第四模様投影画像生成部２６へ読み出される。

また、画素２２１は、各電荷蓄積領域２２１２ａ〜２２１２ｄに隣接するリセットゲートＲａ〜Ｒｄ及びリセット電極２２１５ａ〜２２１５ｄを備える。リセットゲートＲａ〜Ｒｄが開かれると、リセット電極２２１５ａ〜２２１５ｄに加えられている電圧Ｖによって、電荷蓄積領域２２１２ａ〜２２１２ｄが充電されてリセット状態となる。このリセット処理は、受光部２２の全画素２２１の全電荷蓄積領域２２１２ａ〜２２１２ｄに対して同時に行われる。

図８は、図７の画素２２１の等価回路を表す図である。図８において、微小変換部２２１１ａ〜２２１１ｄは、フォトダイオード及びコンデンサＣ０ａ〜Ｃ０ｄの対として表される。電荷転送領域２２１３は、コンデンサＣＴとして表される。振り分けゲートＴｘａ〜Ｔｘｄにそれぞれ隣接する電荷蓄積領域２２１２ａ〜２２１２ｄは、コンデンサＣａ〜Ｃｄとして表される。これらのコンデンサは、リセットゲートＲａ〜ＲｄのＦＥＴトランジスタがオンになることによって電圧Ｖで充電される。この動作は、前述したリセット処理であり、電荷蓄積領域２２１２ａ〜２２１２ｄの状態を、微小変換部２２１１ａ〜２２１１ｄによって生成される電荷を蓄積する前の状態（初期状態）に戻すための処理である。

ＦＥＴトランジスタＬａ〜Ｌｄは、レベルシフト・トランジスタである。ＦＥＴトランジスタＬａ〜Ｌｄは、読み出しゲートＴａ〜Ｔｄが開かれるとコンデンサＣａ〜Ｃｄにホールドされている電荷に応じた電流をそれぞれ読み出し回路２２４を介して第一模様投影画像生成部２３〜第四模様投影画像生成部２６へ送り出す。

なお、４つの微小変換部２２１１ａ〜２２１１ｄ及び電荷転送領域２２１３は、Ｐ型領域（P-well）に埋め込まれた一体的なＮ型領域によって形成することができる。この一体的なＮ型領域の上方に遮光幕（遮光マスク）が設けられ、画素２２１の各構成のうち微小変換部２２１１ａ〜２２１１ｄだけに光が入るように構成される。

図９は、第一実施形態における立体形状測定システム１の動作を表すタイミングチャートである。まず、同期部１１が出力する同期信号（１）に応じて、画素２２１は、リセットゲートＲａ〜Ｒｄを開くとともに４つの振り分けゲートＴｘａ〜Ｔｘｄを開くことによって、電荷転送領域２２１３及び電荷蓄積領域２２１２ａ〜２２１２ｄをリセットする（充電する）。

次に同期部１１が同期信号（２）を出力すると、この同期信号（２）に応じて発光部１２は０度模様の光を発光し、対象物体４０に０度模様を投影する。また、この同期信号（２）に応じて撮像装置２０の画素２２１は振り分けゲートＴｘａを開いて、４つの微小変換部２２１１ａ〜２２１１ｄで生成される電荷を電荷転送領域２２１３を介して電荷蓄積領域２２１２ａ（コンデンサＣａ）に蓄える。電荷転送領域２２１３から電荷蓄積領域２２１２ａに蓄えられる電荷は、コンデンサＣａの電圧を下げるように作用する。同期信号（２）の入力から所定時間（例えば５０マイクロ秒）が経過すると、画素２２１は振り分けゲートＴｘａを閉じる。なお、同期信号の入力から振り分けゲートＴｘａが閉じるまでの所定時間は、同期信号が出力される間隔よりも短い時間として予め設定される。

次に同期部１１が同期信号（３）を出力すると、この同期信号（３）に応じて発光部１２は９０度模様の光を発光し、対象物体４０に９０度模様を投影する。また、この同期信号（３）に応じて撮像装置２０の画素２２１は振り分けゲートＴｘｂを開いて、４つの微小変換部２２１１ａ〜２２１１ｄで生成される電荷を電荷転送領域２２１３を介して電荷蓄積領域２２１２ｂ（コンデンサＣｂ）に蓄える。電荷転送領域２２１３から電荷蓄積領域２２１２ｂに蓄えられる電荷は、コンデンサＣｂの電圧を下げるように作用する。同期信号（３）の入力から所定時間（例えば５０マイクロ秒）が経過すると、画素２２１は振り分けゲートＴｘｂを閉じる。なお、同期信号の入力から振り分けゲートＴｘｂが閉じるまでの所定時間は、同期信号が出力される間隔よりも短い時間として予め設定される。

次に同期部１１が同期信号（４）を出力すると、この同期信号（４）に応じて発光部１２は１８０度模様の光を発光し、対象物体４０に１８０度模様を投影する。また、この同期信号（４）に応じて撮像装置２０の画素２２１は振り分けゲートＴｘｃを開いて、４つの微小変換部２２１１ａ〜２２１１ｄで生成される電荷を電荷転送領域２２１３を介して電荷蓄積領域２２１２ｃ（コンデンサＣｃ）に蓄える。電荷転送領域２２１３から電荷蓄積領域２２１２ｃに蓄えられる電荷は、コンデンサＣｃの電圧を下げるように作用する。同期信号（４）の入力から所定時間（例えば５０マイクロ秒）が経過すると、画素２２１は振り分けゲートＴｘｃを閉じる。なお、同期信号の入力から振り分けゲートＴｘｃが閉じるまでの所定時間は、同期信号が出力される間隔よりも短い時間として予め設定される。

次に同期部１１が同期信号（５）を出力すると、この同期信号（５）に応じて発光部１２は２７０度模様の光を発光し、対象物体４０に２７０度模様を投影する。また、この同期信号（５）に応じて撮像装置２０の画素２２１は振り分けゲートＴｘｄを開いて、４つの微小変換部２２１１ａ〜２２１１ｄで生成される電荷を電荷転送領域２２１３を介して電荷蓄積領域２２１２ｄ（コンデンサＣｄ）に蓄える。電荷転送領域２２１３から電荷蓄積領域２２１２ｄに蓄えられる電荷は、コンデンサＣｄの電圧を下げるように作用する。同期信号（５）の入力から所定時間（例えば５０マイクロ秒）が経過すると、画素２２１は振り分けゲートＴｘｄを閉じる。なお、同期信号の入力から振り分けゲートＴｘｄが閉じるまでの所定時間は、同期信号が出力される間隔よりも短い時間として予め設定される。

この後、同期部１１が出力する同期信号（６）〜（１３）に応じて、発光部１２及び撮像装置２０の画素２２１はそれぞれ上記動作を繰り返し実行する。具体的には、発光部１２及び撮像装置２０の画素２２１は、同期信号のナンバーが４ｎ＋２（ｎは整数）の場合には上記動作のうち同期信号（２）が出力された場合と同じ動作を実行し、同期信号のナンバーが４ｎ＋３（ｎは整数）の場合には上記動作のうち同期信号（３）が出力された場合と同じ動作を実行し、同期信号のナンバーが４ｎ（ｎは整数）の場合には上記動作のうち同期信号（４）が出力された場合と同じ動作を実行し、同期信号のナンバーが４ｎ＋１（ｎは整数）の場合には上記動作のうち同期信号（５）が出力された場合と同じ動作を実行する。

このような動作の繰り返しにより、電荷蓄積領域２２１２ａは、発光部１２が０度模様を対象物体４０に投影しているタイミングで生成された電荷を繰り返し蓄積する。同様に、電荷蓄積領域２２１２ｂは、発光部１２が９０度模様を対象物体４０に投影しているタイミングで生成された電荷を繰り返し蓄積する。同様に、電荷蓄積領域２２１２ｃは、発光部１２が１８０度模様を対象物体４０に投影しているタイミングで生成された電荷を繰り返し蓄積する。同様に、電荷蓄積領域２２１２ｄは、発光部１２が２７０度模様を対象物体４０に投影しているタイミングで生成された電荷を繰り返し蓄積する。

次に、同期部１１が同期信号（１４）を出力すると、この同期信号（１４）に応じて撮像装置２０の画素２２１は、読み出しゲートＴａ〜Ｔｄを開く。レベルシフト・トランジスタＬａ〜ＬｄのゲートにはコンデンサＣａ〜Ｃｄの電圧が加えられているため、読み出しゲートＴａ〜Ｔｄが開かれることに応じて、それぞれのコンデンサの電圧レベルに応じた電流が第一模様投影画像生成部２３〜第四模様投影画像生成部２６に流れる。具体的には、読み出し電極２２１４ａには第一模様投影画像生成部２３が接続されており、電荷蓄積部２２１２ａに蓄積された電荷に応じた電流が第一模様投影画像生成部２３に流れる。また、読み出し電極２２１４ｂには第二模様投影画像生成部２４が接続されており、電荷蓄積部２２１２ｂに蓄積された電荷に応じた電流が第二模様投影画像生成部２４に流れる。また、読み出し電極２２１４ｃには第三模様投影画像生成部２５が接続されており、電荷蓄積部２２１２ｃに蓄積された電荷に応じた電流が第三模様投影画像生成部２５に流れる。また、読み出し電極２２１４ｄには第四模様投影画像生成部２６が接続されており、電荷蓄積部２２１２ｄに蓄積された電荷に応じた電流が第四模様投影画像生成部２６に流れる。第一模様投影画像生成部２３〜第四模様投影画像生成部２６は、それぞれの画素２２１における電荷の量に応じた輝度値を各ピクセルに与えることによって、第一模様投影画像〜第四模様投影画像を生成する。

図１０は、立体形状測定装置３０の機能構成を表す概略ブロック図である。立体形状測定装置３０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、立体形状測定プログラムを実行することによって、画像記憶部３１、位相算出部３２、対応点検出部３３、立体形状測定部３４を備える装置として機能する。

画像記憶部３１は、半導体記憶装置や磁気ハードディスク装置などを備え、複数台の撮像装置２０のそれぞれにおいて撮像された画像（第一模様投影画像〜第四模様投影画像）の電子データを各撮像装置２０から受信して記憶する。

位相算出部３２は、画像記憶部３１に記憶される画像のうち同一の撮像装置２０によって同じタイミングで撮像された第一模様投影画像〜第四模様投影画像に基づいて、各ピクセルにおける光強度時間変化波形の位相の値を算出する。位相算出部３２は、全ての撮像装置２０について、全てのピクセルにおける位相の値を算出すると、算出結果を対応点検出部３３に出力する。位相算出部３２の具体的な処理については後述する。

対応点検出部３３は、画像記憶部３１に記憶される画像のうち異なる撮像装置２０によって同じタイミングで撮像された各画像において、各ピクセルの輝度値と光強度時間変化波形の位相の値とに基づいて対象物体４０の三次元空間上の同一点が撮像された画像平面上のピクセル（以下、「対応点」という）の座標を検出し、各画像における対応点の座標を対応付けて出力する。対応点検出部３３の処理の詳細については後述する。

立体形状測定部３４は、対応点検出部３３によって検出された各対応点の座標や、各撮像装置２０の位置、画角、視線方向などの値に基づいて、対象物体４０の各点の空間座標を求め立体形状を計測する。

図１１は、位相算出部３２が各ピクセルにおける光強度時間変化波形の位相の値を算出するための処理の概略を表す概略図である。図１１に表される波形は、投影装置１０から対象物体４０に投影された模様の光強度時間変化波形、すなわち第一模様投影画像〜第四模様投影画像において同じ座標のピクセルの輝度値の時間変化を表した波形である。Ｃ（θ_０）、Ｃ（θ_１）、Ｃ（θ_２）、Ｃ（θ_３）は、それぞれ０度模様、９０度模様、１８０度模様、２７０度模様が投影された各画像における同じ座標のピクセルの輝度値を表す。位相算出部３２は、全てのピクセルについてＣ（θ_０）、Ｃ（θ_１）、Ｃ（θ_２）、Ｃ（θ_３）を数１に代入することによって、全てのピクセルにおける光強度時間変化波形の振幅Ｒ及びＢの値を算出する。

次に、位相算出部３２はＣ（θ_０）、Ｃ（θ_１）、Ｃ（θ_２）、Ｃ（θ_３）及び数１で算出されたＲ及びＢの値を数２に代入することによって、各ピクセルの光強度時間変化波形の位相θを算出する。

図１２は、対応点検出部３３の処理の概略を表す概略図である。まず、対応点検出部３３は、処理対象となる画像、すなわち撮像装置２０−１によって撮像された第一模様投影画像と、同じタイミングで撮像装置２０−２によって撮像された第一模様投影画像について、エピポーラ幾何の再構築を行い、画像がエピポーララインに対して水平になるように画像変換を行う。図１２に表される画像は、このような画像変換が施された後の画像である。なお、図１２では、簡略のため、対象物体４０に投影されている所定の模様を省略して画像例を表す。

図１２Ａは、撮像装置２０−１によって撮像された第一模様投影画像（以下、「第一画像」という）の具体例を表す。図１２Ｂは、撮像装置２０−２によって撮像された第一模様投影画像（以下、「第二画像」という）の具体例を表す。第一画像上のピクセル（ｘ１，ｙ１）に撮像されている対象物体４０の点Ｐが、第二画像上のピクセル（ｘ２，ｙ２）に撮像されている場合、対応点検出部３３は、これら２つの座標を対応点の座標として検出する。

具体的には、対応点検出部３３は、第二画像上において、第一画像上のピクセル（ｘ１，ｙ１）に応じたエピポーララインを設定し、エピポーラライン上で第一画像上のピクセル（ｘ１，ｙ１）と同じ輝度値を有するピクセルの座標を対応点の座標として検出する。このとき、対応点検出部３３は、さらに位相算出部３２によって算出された各ピクセルの位相値にも基づいて対応点を検出する。対象物体４０の同一点における模様の光強度時間変化波形の位相の値は、各撮像装置２０で撮像された画像（すなわち第一画像と第二画像）において一致するため、対応点検出部３３は位相の値が一致するピクセルの座標を対応点の座標として検出する。
各ピクセルの輝度値及び位相値に基づいて対応点を検出するためのより具体的な対応点検出部３３の処理はどのように構成されても良い。例えば、対応点検出部３３は、エピポーラライン上の各ピクセルにおいて第一画像と第二画像とで輝度値の差が所定の閾値以下のピクセルを全て検出し、これらのピクセルのうち、位相値の差が最小となるピクセルを対応点として検出しても良い。また、対応点検出部３３は、エピポーラライン上の各ピクセルにおいて、輝度値の類似度を表す輝度評価値と、位相値の類似度を表す位相評価値とを算出し、輝度評価値と位相評価値が最も高いピクセルを対応点として検出しても良い。また、対応点検出部３３は、輝度値評価値及び位相評価値それぞれについて所定の重み付けを行うことによって合成し、合成後の値を用いて対応点を検出しても良い。輝度評価値及び位相評価値の具体的な算出方法は、既存の評価手法に基づいて設定される。例えば、輝度評価値の具体的な算出方法としては、相関係数、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）がある。また、位相評価値の算出方法としては、位相の拒理の二乗を求める方法や、位相の距離の絶対値を求める方法がある。
対応点検出部３３は、第一画像の全てのピクセルについてこのような処理を行うことによって、第二画像上の各ピクセルとの対応付けを行う。

このように構成された第一実施形態の立体形状測定システム１では、立体形状測定装置３０の対応点検出部３３が、各ピクセルの輝度値及び位相値に基づいて対応点の検出を行う。そのため、従来のように各ピクセルの輝度値のみに基づいて対応点を検出していた場合に比べて、対応点の検出精度を向上させることが可能となる。

また、このように構成された第一実施形態の立体形状測定システム１では、撮像装置２０に図７及び図８のように構成された画素２２１が用いられ、図９のタイムチャートに表されるような処理によって撮像が行われる。具体的には、微小時間（例えば５０マイクロ秒）の露光により生じた電荷を繰り返し各電荷蓄積領域２２１２ａ〜２２１２ｄにおいて蓄積し、ｎ回の蓄積（図９の場合はｎ＝３）が行われた後に各蓄積電荷に基づいて第一模様投影画像〜第四模様投影画像が生成される。そのため、第一模様投影画像〜第四模様投影画像が、ほぼ同じタイミングで生成される。したがって、従来のように一つの模様を投影して撮像し画像を生成した後に他の模様を投影して撮像し画像を生成する場合に比べて、第一模様投影画像〜第四模様投影画像における対象物体４０の状態の時間変化による相違が小さくなる。すなわち、例えば時間に応じて対象物体４０に照射される環境光が変化する場合や、対象物体４０が移動している場合であっても、従来に比べて各画像間の環境光の差や対象物体４０の位置の差を小さくすることが可能となる。よって、立体形状測定装置３０における各画像を用いた対応点検出処理や立体形状計測処理を精度良く行うことが可能となる。

＜変形例＞
撮像装置２０の画素２２１が１回の撮像に要する露光時間は、適宜設定されて良い。例えば、図９の説明では、電荷蓄積部２２１２ａ〜２２１２ｄはそれぞれ３回ずつ同期信号に応じて電荷の蓄積を行うが、この回数は３回に限られず、２回でも良いし、４回以上であっても良い。

また、１回の同期信号に応じて電荷蓄積部２２１２ａ〜２２１２ｄがそれぞれ電荷の蓄積を行う時間も適宜設定されても良い。また、１回の同期信号に応じて電荷蓄積部２２１２ａ〜２２１２ｄがそれぞれ電荷の蓄積を行う時間は、例えば１００ミリ秒以下であり、好ましくは１ミリ秒以下であり、より好ましくは１００マイクロ秒以下に設定される。なお、１回の撮像において、各電荷蓄積部２２１２ａ〜２２１２ｄが微小変換部２２１１ａ〜２２１１ｄから電荷を受け入れる時間は、各電荷蓄積部２２１２ａ〜２２１２ｄで同じ時間となるように設定される。例えば、図９では、各電荷蓄積部２２１２ａ〜２２１２ｄが電荷を受け入れる時間は、５０（マイクロ秒）×３（回）＝１５０（マイクロ秒）で共通する。

また、立体形状測定システム１の撮像システム２に備えられる撮像装置２０の台数は、２台に限定される必要はなく３台以上であっても良い。
また、対応点検出部３３が処理の対象とする画像は、同じタイミングで異なる撮像装置２０で撮像された画像であれば良く、第一模様投影画像に限定されない。
また、位相算出部３２は、後述する方法によって３つの画像（例えば第一模様投影画像〜第三模様投影画像）に基づいて各ピクセルの位相を算出するように構成されても良い。
また、設定されるエピポーララインの長さよりも、図３Ｂに表される波形の波長が長く設定された場合は、エピポーラライン上において、各ピクセルの位相値は重複しない唯一の値となる。そのため、このように設定された場合、対応点検出部３３は、輝度値を用いることなく位相値のみによって対応点を検出するように構成されても良い。

［第二実施形態］
立体形状測定システム１の第二実施形態は、画素２２１がドレイン領域を備える点で第一実施形態と異なり、他の構成は第一実施形態と同様である。以下、立体形状測定システム１の第二実施形態について、第一実施形態と異なる点について説明する。

図１３は、第二実施形態における受光部２２に用いられる画素２２１の構成を表す図である。第二実施形態における画素２２１は、第一実施形態における画素２２１（図７）の構成に加えてさらにドレインゲート２２１６及びドレイン領域２２１７を備える。

図１４は、第二実施形態における立体形状測定システム１の動作を表すタイミングチャートである。第二実施形態における画素２２１では、各振り分けゲートＴｘａ〜Ｔｘｄが閉じてから次の振り分けゲートＴｘａ〜Ｔｘｄが開くまでの間、ドレインゲート２２１６が開く。ドレインゲート２２１６が開くと、４つの微小変換部２２１１ａ〜２２１１ｄで生成される電荷は電荷転送領域２２１３及びドレインゲート２２１６を介してドレイン領域２２１７へ移動する。そして、ドレイン領域２２１７に移動した電荷は破棄される。

このように構成された第二実施形態の受光部２２によれば、ある振り分けゲートＴｘａ〜Ｔｘｄが閉じてから次の振り分けゲートＴｘａ〜Ｔｘｄが開くまでの間に生成された電荷がドレイン領域２２１７によって破棄される。そのため、振り分けゲートＴｘａ〜Ｔｘｄが開いたときに、前の振り分けゲートＴｘａ〜Ｔｘｄが閉じてから生成された電荷が電荷蓄積領域２２１２ａ〜２２１２ｄに移動することを防止し、各電荷蓄積タイミングにおいて蓄積する電荷の量を正確にし、第一模様投影画像〜第四模様投影画像の撮像精度を向上させることが可能となる。

＜変形例＞
第二実施形態は、第一実施形態における変形例と同様に変形して構成されても良い。

［第三実施形態］
立体形状測定システム１の第三実施形態は、投影装置１０の発光部１２が０度模様、１２０度模様、２４０度模様の３つの模様を投影する点、投影装置１０の発光部１２が模様を投影しないタイミングを有する点、撮像装置２０が第四模様投影画像生成部２６を備えず、模様非投影画像生成部２７、第一差分画像生成部２３１、第二差分画像生成部２４１、第三差分画像生成部２５１を備える点、画像記憶部３１が第一模様投影画像〜第四模様投影画像ではなく第一差分画像〜第三差分画像及び模様非投影画像を記憶する点、位相算出部３２が第一差分画像〜第三差分画像に基づいて位相を算出する点、対応点検出部３３が模様非投影画像に基づいて各ピクセルの輝度値を比較する点、で第一実施形態と異なり、他の構成は第一実施形態と同様である。以下、立体形状測定システム１の第三実施形態について、第一実施形態と異なる点について説明する。

図１５は、第三実施形態における投影装置１０の発光部１２によって発光される光が有する複数の模様の概略を表す概略図である。図１５Ａ、図１５Ｂ、図１５Ｃは、それぞれ位相が０度、１２０度、２４０度ずれた横方向に伸びるサイン波にしたがった強度の光が有する模様（以下、それぞれ「０度模様」、「１２０度模様」、「２４０度模様」という）を表す。また、図１５Ｄは、模様がない光を表す。

第三実施形態における発光部１２は、同期部１１から出力される同間隔の同期信号に応じて、図１５Ａ〜図１５Ｄに表される光を繰り返し発光する。そのため、横軸方向（ｘ軸方向）のある点Ｍにおける光の強度の時間変化は、図１５Ａ〜図１５Ｃに表される模様を有する光が発光される間は、図４Ｅに示すようなサイン波にしたがった変化となる。

図１６は、第三実施形態における撮像装置２０の機能構成を表す概略ブロック図である。第三実施形態における撮像装置２０は、レンズ２１、受光部２２、第一模様投影画像生成部２３、第二模様投影画像生成部２４、第三模様投影画像生成部２５、模様非投影画像生成部２７、第一差分画像生成部２３１、第二差分画像生成部２４１、第三差分画像生成部２５１を備える。

模様非投影画像生成部２７は、被写体４０に模様が投影されていないタイミングで受光部２２に蓄積された電荷を入力し、模様が投影されていない被写体４０が撮像された画像（以下、「模様非投影画像」という）の電子データを生成する。そして、模様非投影画像生成部２７は、生成した模様非投影画像の電子データを第一差分画像生成部２３１〜第三差分画像生成部２５１へ出力し、立体形状測定装置３０へ送信する。

第一差分画像生成部２３１は、模様非投影画像生成部２７によって生成された模様非投影画像と、第一模様投影画像生成部２３によって生成された第一模様投影画像との差分画像を生成する。具体的には、第一差分画像生成部２３１は、模様非投影画像の各ピクセルの輝度値と、第一模様投影画像の各ピクセルの輝度値との差分を、同じ座標のピクセル毎に算出し、算出された差分の値を差分画像の各ピクセルの輝度値とすることによって、差分画像を生成する。そして、第一差分画像生成部２３１は、生成された差分画像（第一差分画像）の電子データを立体形状測定装置３０へ送信する。

第二差分画像生成部２４１は、模様非投影画像生成部２７によって生成された模様非投影画像と、第二模様投影画像生成部２４によって生成された第二模様投影画像との差分画像を生成する。具体的には、第二差分画像生成部２４１は、模様非投影画像の各ピクセルの輝度値と、第二模様投影画像の各ピクセルの輝度値との差分を、同じ座標のピクセル毎に算出し、算出された差分の値を差分画像の各ピクセルの輝度値とすることによって、差分画像を生成する。そして、第二差分画像生成部２４１は、生成された差分画像（第二差分画像）の電子データを立体形状測定装置３０へ送信する。

第三差分画像生成部２５１は、模様非投影画像生成部２７によって生成された模様非投影画像と、第三模様投影画像生成部２５によって生成された第三模様投影画像との差分画像を生成する。具体的には、第三差分画像生成部２５１は、模様非投影画像の各ピクセルの輝度値と、第三模様投影画像の各ピクセルの輝度値との差分を、同じ座標のピクセル毎に算出し、算出された差分の値を差分画像の各ピクセルの輝度値とすることによって、差分画像を生成する。そして、第三差分画像生成部２５１は、生成された差分画像（第三差分画像）の電子データを立体形状測定装置３０へ送信する。

図１７は、第三実施形態における立体形状測定システム１の動作を表すタイミングチャートである。以下、図１７に示される第三実施形態における立体形状測定システム１の動作について、図９に示される第一実施形態における立体形状測定システム１の動作と異なる動作についてのみ説明する。

同期部１１が同期信号（３）を出力すると、この同期信号（３）に応じて発光部１２は１２０度模様の光を発光し、対象物体４０に１２０度模様を投影する。また、この同期信号（３）に応じて撮像装置２０の画素２２１は振り分けゲートＴｘｂを開いて、４つの微小変換部２２１１ａ〜２２１１ｄで生成される電荷を電荷転送領域２２１３を介して電荷蓄積領域２２１２ｂ（コンデンサＣｂ）に蓄える。

同期部１１が同期信号（４）を出力すると、この同期信号（４）に応じて発光部１２は２４０度模様の光を発光し、対象物体４０に２４０度模様を投影する。また、この同期信号（４）に応じて撮像装置２０の画素２２１は振り分けゲートＴｘｃを開いて、４つの微小変換部２２１１ａ〜２２１１ｄで生成される電荷を電荷転送領域２２１３を介して電荷蓄積領域２２１２ｃ（コンデンサＣｃ）に蓄える。

同期部１１が同期信号（５）を出力すると、この同期信号（５）に応じて発光部１２は図１５Ｄに表されるような模様の無い一様な光を発光する。また、この同期信号（５）に応じて撮像装置２０の画素２２１は振り分けゲートＴｘｄを開いて、４つの微小変換部２２１１ａ〜２２１１ｄで生成される電荷を電荷転送領域２２１３を介して電荷蓄積領域２２１２ｄ（コンデンサＣｄ）に蓄える。

これらの動作の繰り返しにより、電荷蓄積領域２２１２ａは、発光部１２が０度模様を対象物体４０に投影しているタイミングで生成された電荷を繰り返し蓄積する。同様に、電荷蓄積領域２２１２ｂは、発光部１２が１２０度模様を対象物体４０に投影しているタイミングで生成された電荷を繰り返し蓄積する。同様に、電荷蓄積領域２２１２ｃは、発光部１２が２４０度模様を対象物体４０に投影しているタイミングで生成された電荷を繰り返し蓄積する。同様に、電荷蓄積領域２２１２ｄは、発光部１２が模様の無い一様な光を対象物体４０に投光しているタイミングで生成された電荷を繰り返し蓄積する。

次に、同期部１１が同期信号（１４）を出力すると、この同期信号（１４）に応じて撮像装置２０の画素２２１は、読み出しゲートＴａ〜Ｔｄを開く。レベルシフト・トランジスタＬａ〜ＬｄのゲートにはコンデンサＣａ〜Ｃｄの電圧が加えられているため、読み出しゲートＴａ〜Ｔｄが開かれることに応じて、それぞれのコンデンサの電圧レベルに応じた電流が第一模様投影画像生成部２３〜第三模様投影画像生成部２５及び模様非投影画像生成部２７に流れる。具体的には、読み出し電極２２１４ａ〜電極２２１４ｃにおいては第一実施形態と同様に動作し、読み出し電極２２１４ｄには模様非投影画像生成部２７が接続されており、電荷蓄積部２２１２ｄに蓄積された電荷に応じた電流が模様非投影画像生成部２７に流れる。第一模様投影画像生成部２３〜第三模様投影画像生成部２５及び模様非投影画像生成部２７は、それぞれの画素２２１における電荷の量に応じた輝度値を各ピクセルに与えることによって、第一模様投影画像〜第三模様投影画像及び模様非投影画像を生成する。

第三実施形態における画像記憶部３１は、第一差分画像〜第三差分画像の電子データ及び模様非投影画像の電子データを各撮像装置２０から受信して記憶する。
第三実施形態における位相算出部３２は、第一差分画像、第二差分画像、第三差分画像それぞれについて、各ピクセルにおける光強度時間変化波形の位相の値を算出する。このとき、第三実施形態における位相算出部３２は、第一実施形態における位相算出部３２と異なり、第一差分画像〜第三差分画像における３つの値に基づいて、各ピクセルの位相値を算出する。以下の説明において、Ｃ（θ_０）、Ｃ（θ_１）、Ｃ（θ_２）は、それぞれ０度模様、１２０度模様、２４０度模様が投影された各画像における同じ座標のピクセルの輝度値を表す。第三実施形態における位相算出部３２は、Ｃ（θ_０）、Ｃ（θ_１）、Ｃ（θ_２）を数３に代入することによって、搬送波の振幅Ｒ及びＢの値を算出する。

そして、第三実施形態における位相算出部３２は、Ｃ（θ_０）、Ｃ（θ_１）、Ｃ（θ_２）及び数３で算出されたＲ及びＢの値を数４に代入することによって、各ピクセルの光強度時間変化波形の位相θを算出する。

第三実施形態における対応点検出部３３は、０度模様〜２７０度模様などの所定の模様が投影されている対象物体４０が撮像された画像（第一差分画像〜第三差分画像）に基づいて、エピポーラライン上でのピクセルの輝度値を比較する。第三実施形態における対応点検出部３３の具体的な処理は、第一実施形態の対応点検出部３３と同様である。

このように構成された第三実施形態の撮像装置２０では第一差分画像〜第三差分画像が生成される。各差分画像の輝度値は投影装置１０から対象物体４０に投影された所定の模様を表す輝度値のみとなり、各差分画像には対象物体４０の表面の模様や光沢などが現れない。そのため、位相算出部３２においてより精度の高い位相の算出を行うことが可能となる。

また、このように構成された第三実施形態の撮像装置２０では、模様の無い一様な光が投光されたタイミングに蓄積された電荷に基づく模様非投影画像が生成される。このような模様非投影画像は、様々な用途に用いることが可能である。例えば、単純に模様が投影されていない画像として出力されても良い。また、立体形状測定部３４による測定結果に基づいてテクスチャを変形し、変形後のテクスチャを模様非投影画像に合成するような処理が実現されても良い。また、このようにテクスチャを模様非投影画像に合成する機能部を立体形状測定装置３０が備えても良い。

＜変形例＞
第一差分画像生成部２３１〜第三差分画像生成部２５１は、受光部２２の各画素２２１から、電荷蓄積部２２１２ａ〜２２１２ｃにホールドされている電荷に応じた電流と、電荷蓄積部２２１２ｄにホールドされている電荷に応じた電流とをそれぞれ読み出し回路２２４を介して受け、各電流値の差分に基づいて各差分画像を生成するように構成されても良い。この場合、第一差分画像生成部２３１〜第三差分画像生成部２５１は、それぞれ受光部２２に直接接続され、第一模様投影画像生成部２３〜第三模様投影画像生成部２５は不要となる。
第三実施形態の撮像装置２０は、第一差分画像生成部２３１、第二差分画像生成部２４１、第三差分画像生成部２５１を備えないように構成されても良い。この場合、第三実施形態の撮像装置２０は、第一模様投影画像データ、第二模様投影画像データ、第三模様投影画像データ、模様非投影画像データを出力する。

また、第三実施形態は、第一実施形態における変形例と同様に変形して構成されても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…立体形状測定システム， ２…撮像システム， １０…投影装置， １１…同期部， １２…発光部， １３…拡散レンズ， ２０…撮像装置， ２１…レンズ， ２２…受光部， ２３…第一模様投影画像生成部， ２４…第二模様投影画像生成部， ２５…第三模様投影画像生成部， ２６…第四模様投影画像生成部， ２７…模様非投影画像生成部， ２３１…第一差分画像生成部， ２４１…第二差分画像生成部， ２５１…第三差分画像生成部， ２２１…画素， ２２２…垂直走査回路， ２２３…水平走査回路， ２２４…読み出し回路， ２２１１ａ〜３２１１ｄ…微小変換部（光電変換部）， ２２１２ａ〜２２１２ｄ…電荷蓄積領域（電荷蓄積部）， ２２１３…電荷転送領域， ２２１４ａ〜２２１４ｄ…読み出し電極， ２２１５ａ〜２２１５ｄ…リセット電極， Ｔｘａ〜Ｔｘｄ…振り分けゲート， Ｒａ〜Ｒｄ…リセットゲート， ２２１６…ドレインゲート， ２２１７…ドレイン領域， ３０…立体形状測定装置， ３１…画像記憶部， ３２…位相算出部， ３３…対応点検出部， ３４…立体形状測定部

Claims (3)

1. 物体に対して所定の模様を投影する投影装置と、前記物体をそれぞれ異なる位置から撮像する複数の撮像装置と、各撮像装置によって撮像された各画像に基づいて前記物体の立体形状を測定する立体形状測定装置を備える立体形状測定システムであって、
   前記投影装置は、物体に対して所定の第一模様を投影する第一状態と、前記物体に対して所定の第二模様を投影する第二状態と、前記物体に対して所定の第三模様を投影する第三状態とで繰り返し遷移し、
   前記撮像装置は、
   前記物体において反射された光を受光して光の強度に応じた電荷を生成する光電変換部であって、互いに離間した複数の変換部からなる光電変換部と、
   前記投影装置が前記第一状態である間に前記光電変換部によって生成された電荷を蓄積する第一電荷蓄積部と、
   前記投影装置が前記第二状態である間に前記光電変換部によって生成された電荷を蓄積する第二電荷蓄積部と、
   前記投影装置が前記第三状態である間に前記光電変換部によって生成された電荷を蓄積する第三電荷蓄積部と、
   前記光電変換部の複数の変換部により生成された電荷を集めて、前記第一電荷蓄積部、前記第二電荷蓄積部又は前記第三電荷蓄積部へ転送する電荷転送部であって、遮光幕に覆われ、前記光電変換部に対しポテンシャルが低く形成されている電荷転送部と、
   前記電荷転送部と前記第一電荷蓄積部との間に設けられ、前記投影装置が前記第一状態である間に開き、前記投影装置が他の状態である間は閉まることによって、前記電荷転送部から前記第一電荷蓄積部へ電荷が入ることを制御する第一振り分けゲート部と、
   前記電荷転送部と前記第二電荷蓄積部との間に設けられ、前記投影装置が前記第二状態である間に開き、前記投影装置が他の状態である間は閉まることによって、前記電荷転送部から前記第二電荷蓄積部へ電荷が入ることを制御する第二振り分けゲート部と、
   前記電荷転送部と前記第三電荷蓄積部との間に設けられ、前記投影装置が前記第三状態である間に開き、前記投影装置が他の状態である間は閉まることによって、前記電荷転送部から前記第三電荷蓄積部へ電荷が入ることを制御する第三振り分けゲート部と、
   前記第一電荷蓄積部に蓄積された電荷を読み出すことによって前記第一模様が投影された前記物体の画像である第一画像を生成する第一画像生成部と、
   前記第二電荷蓄積部に蓄積された電荷を読み出すことによって前記第二模様が投影された前記物体の画像である第二画像を生成する第二画像生成部と、
   前記第三電荷蓄積部に蓄積された電荷を読み出すことによって前記第三模様が投影された前記物体の画像である第三画像を生成する第三画像生成部と、
   を備え、
   前記立体形状測定装置は、
   前記第一画像と前記第二画像と前記第三画像とにおいて、各ピクセルの輝度値の時間変化を表す波形の位相をピクセル毎に算出する位相算出部と、
   異なる撮像装置によって撮像された各画像において、各ピクセルの輝度値及び位相に基づいて、前記物体の三次元空間上の同一点が撮像された画像平面上のピクセルの対応付けを行う対応点検出部と、
   各対応点の画像上の座標に基づいて前記物体の立体形状を測定する立体形状測定部と、
   を備える、ことを特徴とする立体形状測定システム。
2. 前記投影装置は、前記物体に対して模様の無い一様な光を発光する模様非投影状態をさらに有し、前記第一状態と前記第二状態と前記第三状態と前記模様非投影状態とで繰り返し遷移し、
   前記撮像装置は、
   前記投影装置が前記模様非投影状態である間に前記光電変換部によって生成された電荷を蓄積する模様非投影時電荷蓄積部と、
   前記電荷転送部と前記模様非投影時電荷蓄積部との間に設けられ、前記投影装置が前記模様非投影状態である間に開き、前記投影装置が他の状態である間は閉まることによって、前記電荷転送部から前記模様非投影時電荷蓄積部へ電荷が入ることを制御する第四振り分けゲート部と、
   前記模様非投影時電荷蓄積部に蓄積された電荷を読み出すことによって前記模様が投影されていない前記物体の画像である模様非投影画像を生成する模様非投影画像生成部と、
   前記第一画像と前記模様非投影画像との差分の画像である第一差分画像を生成する第一差分画像生成部と、
   前記第二画像と前記模様非投影画像との差分の画像である第二差分画像を生成する第二差分画像生成部と、
   前記第三画像と前記模様非投影画像との差分の画像である第三差分画像を生成する第三差分画像生成部と、
   を備え、
   前記立体形状測定装置の位相算出部は、前記第一差分画像と前記第二差分画像と前記第三差分画像とに基づいて前記各ピクセルの輝度値の時間変化を表す波形の位相をピクセル毎に算出する、ことを特徴とする請求項１に記載の立体形状測定システム。
3. 物体に対して所定の模様を投影する投影装置と、前記物体をそれぞれ異なる位置から撮像する複数の撮像装置と、各撮像装置によって撮像された各画像に基づいて前記物体の立体形状を測定する立体形状測定装置を備える立体形状測定システムが行う立体形状測定方法であって、
   前記投影装置が、物体に対して所定の第一模様を投影する第一状態と、前記物体に対して所定の第二模様を投影する第二状態と、前記物体に対して所定の第三模様を投影する第三状態とで繰り返し遷移し、
   前記撮像装置が、
   互いに離間した複数の変換部によって、前記物体において反射された光を受光して光の強度に応じた電荷を生成する光電変換ステップと、
   前記投影装置が前記第一状態である間に、前記光電変換ステップにおいて複数の変換部により生成された電荷を集めて電荷を転送する電荷転送部であって、遮光幕に覆われ、前記光電変換部に対しポテンシャルが低く形成されている電荷転送部と第一電荷蓄積部との間に設けられた第一振り分けゲート部を開くことによって前記第一電荷蓄積部に電荷を蓄積し、前記投影装置が前記第一状態ではない間は前記第一振り分けゲート部を閉めることによって前記電荷転送部から前記第一電荷蓄積部へ電荷が入ることを制限する第一振り分けゲート制御ステップと、
   前記投影装置が前記第二状態である間に、前記電荷転送部と第二電荷蓄積部との間に設けられた第二振り分けゲート部を開くことによって前記第二電荷蓄積部に電荷を蓄積し、前記投影装置が前記第二状態ではない間は前記第二振り分けゲート部を閉めることによって前記電荷転送部から前記第二電荷蓄積部へ電荷が入ることを制限する第二振り分けゲート制御ステップと、
   前記投影装置が前記第三状態である間に、前記電荷転送部と第三電荷蓄積部との間に設けられた第三振り分けゲート部を開くことによって前記第三電荷蓄積部に電荷を蓄積し、前記装置が前記第三状態ではない間は前記第三振り分けゲート部を閉めることによって前記電荷転送部から前記第三電荷蓄積部へ電荷が入ることを制限する第三振り分けゲート制御ステップと、
   前記第一振り分けゲート制御ステップにおいて前記第一電荷蓄積部に蓄積された電荷を読み出すことによって前記第一模様が投影された前記物体の画像である第一画像を生成する第一画像生成ステップと、
   前記第二振り分けゲート制御ステップにおいて前記第二電荷蓄積部に蓄積された電荷を読み出すことによって前記第二模様が投影された前記物体の画像である第二画像を生成する第二画像生成ステップと、
   前記第三振り分けゲート制御ステップにおいて前記第三電荷蓄積部に蓄積された電荷を読み出すことによって前記第三模様が投影された前記物体の画像である第三画像を生成する第三画像生成ステップと、
   前記立体形状測定装置が、
   前記第一画像と前記第二画像と前記第三画像とにおいて、各ピクセルの輝度値の時間変化を表す波形の位相をピクセル毎に算出する位相算出ステップと、
   異なる撮像装置によって撮像された各画像において、各ピクセルの輝度値及び位相に基づいて、前記物体の三次元空間上の同一点が撮像された画像平面上のピクセルの対応付けを行う対応点検出ステップと、
   各対応点の画像上の座標に基づいて前記物体の立体形状を測定する立体形状測定ステップと、
   を備える、ことを特徴とする立体形状測定方法。