JP5449899B2 - 撮像システム - Google Patents

Description

本発明は、立体形状の測定に用いられる画像を撮像する撮像システム及び撮像方法に関する。

従来、対象物体に対して所定の模様を投影し撮像することによって、対象物体の立体形状を測定する立体形状測定システムが提案されている。このような立体形状測定システムに採用されている立体形状測定方法の具体例として、モアレ法、スポット光計測法、光切断法、空間コード法、ステレオ法などがある。

立体形状測定システムでは対象物体に対して所定の模様が投影されるため、従来は対象物体そのものの表面が持つ模様や形状を忠実に撮像することができなかった。そのため、撮像された画像を用いて顔認識処理や物体認識処理などの画像処理を正確に行うことが困難であった。

このような問題に対し、パターン光を照射した状態のステレオ画像、パターン光を照射していない状態のテクスチャ画像の順で撮像する技術が提案されている（特許文献１参照）。この技術では、このような順番で撮像を行うことによって、撮像に要する時間はステレオ画像を撮像するときのシャッタ時間Ｔｓとテクスチャ画像の１フレーム分の電荷を蓄積する時間Ｔｆを加算した時間（Ｔｓ＋Ｔｆ）となり、逆の順番で撮像を行う場合に比べて撮像に要する時間を短くすることが可能となる。

特開２００１−２９８６５５号公報

しかしながら、特許文献１に記載の技術では、パターン光を照射した状態のステレオ画像が撮像されてから、改めて露光が開始されて、パターン光を照射していない状態のテクスチャ画像が撮像されるため、それぞれの画像が撮像されるタイミングが大きく異なってしまうという問題があった。そのため、対象物体の立体形状や表面のテクスチャが高速に変化する場合には、それぞれの画像において立体形状や表面のテクスチャが異なってしまうおそれがあった。

そこで本発明は、対象物体に対して所定の模様が投影されている状態の画像と、所定の模様が投影されていない状態の画像とが撮像されるタイミングのずれを小さくすることを可能とする撮像システム及び撮像方法を提供することを目的としている。

本発明の一態様は、物体（例えば、実施形態における対象物体４０）に対して所定の模様を投影する投影装置（例えば、実施形態における投影装置１０）と、前記物体を撮像する撮像装置（例えば、実施形態における撮像装置２０）と、を備える撮像システム（例えば、実施形態における撮像システム２）であって、前記投影装置は、物体に対して所定の模様を投影する模様投影状態と、前記物体に対して前記所定の模様の投影を行わない模様非投影状態とで繰り返し遷移し、前記撮像装置は、前記物体において反射された光を受光して光の強度に応じた電荷を生成する光電変換部（例えば、実施形態における微小変換部２２１１ａ〜２２１１ｄ）と、前記投影装置が前記模様投影状態である間に前記光電変換部によって生成された電荷を蓄積する模様投影時電荷蓄積部（例えば、実施形態における電荷蓄積領域２２１２ａ）と、前記投影装置が前記模様非投影状態である間に前記光電変換部によって生成された電荷を蓄積する模様非投影時電荷蓄積部（例えば、実施形態における電荷蓄積領域２２１２ｂ）と、前記光電変換部から生成された電荷を前記模様投影時電荷蓄積部又は前記模様非投影時電荷蓄積部へ転送する電荷転送部（例えば、実施形態における電荷転送領域２２１３）と、前記電荷転送部と前記模様投影時電荷蓄積部との間に設けられ、前記投影装置が前記模様投影状態である間に開き、前記投影装置が他の状態である間は閉まることによって、前記電荷転送部から前記模様投影時電荷蓄積部へ電荷が入ることを制御する第一振り分けゲート部（例えば、実施形態における振り分けゲートＴｘａ）と、前記電荷転送部と前記模様非投影時電荷蓄積部との間に設けられ、前記投影装置が前記模様非投影状態である間に開き、前記投影装置が他の状態である間は閉まることによって、前記電荷転送部から前記模様非投影時電荷蓄積部へ電荷が入ることを制御する第二振り分けゲート部（例えば、実施形態における振り分けゲートＴｘｂ）と、前記投影装置が前記模様投影状態と、前記模様非投影状態とを繰り返し遷移している間に前記模様投影時電荷蓄積部に複数回蓄積された電荷を読み出すことによって前記所定の模様が投影された前記物体の画像を生成する模様投影画像生成部（例えば、実施形態における模様投影画像生成部２４）と、前記投影装置が前記模様投影状態と、前記模様非投影状態とを繰り返し遷移している間に前記模様非投影時電荷蓄積部に複数回蓄積された電荷を読み出すことによって前記所定の模様が投影されていない前記物体の画像を生成する模様非投影画像生成部（例えば、実施形態における模様非投影画像生成部２３）と、を備える、ことを特徴とする。

本発明の一態様は、上記の撮像システムであって、前記撮像装置は、前記模様投影画像生成部によって生成された画像と、前記模様非投影画像生成部によって生成された画像との差分の画像を生成する差分画像生成部（例えば、実施形態における差分画像生成部２５）をさらに備えることを特徴とする。

本発明の一態様は、上記の撮像システムであって、前記投影装置は、物体に対して所定の模様を投影する模様投影状態と、前記物体に対して前記所定の模様の投影を行わない模様非投影状態と、前記物体に対して前記所定の模様のない光を照射する全透過状態とで繰り返し遷移し、前記撮像装置は、前記投影装置が前記全透過状態である間に前記光電変換部によって生成された電荷を蓄積する全透過時電荷蓄積部（例えば、実施形態における高輝度画像生成部２６）と、前記電荷転送部と前記全透過時電荷蓄積部との間に設けられ、前記投影装置が前記全透過状態である間に開き、前記投影装置が他の状態である間は閉まることによって、前記電荷転送部から前記全透過時電荷蓄積部へ電荷が入ることを制御する第三振り分けゲート部（例えば、実施形態における振り分けゲートＴｘｃ）と、前記投影装置が前記模様投影状態と、前記模様非投影状態と、前記全透過状態とを繰り返し遷移している間に前記全透過時電荷蓄積部に複数回蓄積された電荷を読み出すことによって前記所定の模様のない光が照射された前記物体の画像を生成する高輝度画像生成部と、をさらに備えることを特徴とする。

本発明の一態様は、物体に対して所定の模様を投影する投影装置と、前記物体を撮像する撮像装置と、を備える撮像システムが行う撮像方法であって、前記投影装置が、物体に対して所定の模様を投影する模様投影状態と、前記物体に対して前記所定の模様の投影を行わない模様非投影状態とで繰り返し遷移するステップと、前記撮像装置が、前記物体において反射された光を受光して光の強度に応じた電荷を生成する光電変換ステップと、前記撮像装置が、前記投影装置が前記模様投影状態である間に、前記光電変換ステップにおいて生成された電荷を転送する電荷転送部と模様投影時電荷蓄積部との間に設けられた第一振り分けゲート部を開くことによって前記模様投影時電荷蓄積部に電荷を蓄積し、前記投影装置が前記模様投影状態ではない間は前記第一振り分けゲート部を閉めることによって前記電荷転送部から前記模様投影時電荷蓄積部へ電荷が入ることを制限する第一振り分けゲート制御ステップと、前記撮像装置が、前記投影装置が前記模様非投影状態である間に、前記電荷転送部と模様非投影時電荷蓄積部との間に設けられた第二振り分けゲート部を開くことによって前記模様非投影時電荷蓄積部に電荷を蓄積し、前記投影装置が前記模様非投影状態ではない間は前記第二振り分けゲート部を閉めることによって前記電荷転送部から前記模様非投影時電荷蓄積部へ電荷が入ることを制限する第二振り分けゲート制御ステップと、前記撮像装置が、前記模様投影状態と、前記模様非投影状態とを繰り返し遷移している間に前記第一振り分けゲート制御ステップにおいて前記模様投影時電荷蓄積部に複数回蓄積された電荷を読み出すことによって前記所定の模様が投影された前記物体の画像を生成する模様投影画像生成ステップと、前記撮像装置が、前記模様投影状態と、前記模様非投影状態とを繰り返し遷移している間に前記第一振り分けゲート制御ステップにおいて前記模様非投影時電荷蓄積部に複数回蓄積された電荷を読み出すことによって前記所定の模様が投影されていない前記物体の画像を生成する模様非投影画像生成ステップと、を備える、ことを特徴とする。

本発明によれば、模様投影時における電荷の蓄積と模様非投影時における電荷の蓄積とが、交互に繰り返し実行されることによって、所定の模様が投影された物体の画像と所定の模様が投影されていない物体の画像とが生成される。そのため、各画像が撮像されるタイミングのずれを小さくすることが可能となる。

また、差分画像生成部を備えるように構成された本発明によれば、投影装置から物体に投影された所定の模様のみが差分画像として得られる。そのため、精度の高い立体形状測定を実現することが可能となる。

また、全透過時電荷蓄積部を備えるように構成された本発明によれば、物体に対して所定の模様のない光が照射された状態で撮像された画像を生成することが可能となる。

第一実施形態の立体形状測定システムのシステム構成を表すシステム構成図である。 投影装置の機能構成を表す概略ブロック図である。 撮像装置の機能構成を表す概略ブロック図である。 受光部の構成の概略を表す概略図である。 受光部に用いられる画素の構成を表す構成図である。 画素の等価回路を表す図である。 第一実施形態における撮像システムの動作を表すタイミングチャートである。 撮像システムによって撮像される画像の具体例を表す図である。 計測装置の機能構成を表す概略ブロック図である。 第二実施形態における受光部に用いられる画素の構成を表す図である。 第二実施形態における撮像システムの動作を表すタイミングチャートである。 第三実施形態における撮像装置の機能構成を表す概略ブロック図である。 第三実施形態の受光部に用いられる画素の変形例の構成を表す図である。 第三実施形態の変形例における撮像システムの動作を表すタイミングチャートである。 第四実施形態における撮像装置の機能構成を表す概略ブロック図である。 第五実施形態における投影装置の機能構成を表す概略ブロック図である。 第五実施形態における撮像装置の機能構成を表す概略ブロック図である。 第五実施形態における受光部に用いられる画素の構成を表す図である。 画素の等価回路を表す図である。 第五実施形態における撮像システムの動作を表すタイミングチャートである。

［第一実施形態］
図１は、第一実施形態の立体形状測定システム１のシステム構成を表すシステム構成図である。立体形状測定システム１は、撮像システム２及び計測装置３０を備える。撮像システム２は、投影装置１０及び複数台の撮像装置２０（撮像装置２０−１、２０−２）を備える。投影装置１０は所定の模様を対象物体４０の表面に投影し、撮像装置２０は所定の模様が投影された対象物体４０を撮像し、計測装置３０は撮像装置２０によって撮像された画像を用いて対象物体４０の立体形状を測定する。所定の模様とは、立体形状の測定に用いられる模様であり、例えば一定の間隔をもった格子模様であっても良いし、間隔が変化する格子模様であっても良いし、その他の模様であっても良い。以下、立体形状測定システム１に含まれる各装置について説明する。

図２は、投影装置１０の機能構成を表す概略ブロック図である。投影装置１０は、同期部１１、発光部１２、マスク１３、拡散レンズ１４を備える。同期部１１は、所定のタイミングで同期信号を発光部１２及び各撮像装置２０に出力する。同期部１１から出力される同期信号は、どのような通信形態によって各撮像装置２０に送信されても良く、例えば有線ケーブルを介して送信されても良いし、無線通信を用いて送信されても良い。

発光部１２は、同期部１１から出力される同期信号に応じて発光のオン・オフを繰り返す。マスク１３は、所定の模様を有し、発光部１２から発光される光に所定の模様を与える。拡散レンズ１４は、発光部１２から発光されマスク１３を通過した光を屈折させ幅広い方向へ進行させる。

図３は、撮像装置２０の機能構成を表す概略ブロック図である。撮像装置２０は、レンズ２１、受光部２２、模様非投影画像生成部２３、模様投影画像生成部２４を備える。レンズ２１は、対象物体４０において反射された光束を通過させ、受光部２２に対象物体４０の像を結像させる。受光部２２は、複数の画素が二次元に配列された構造を有し、画素によって受光した光に応じた電荷を発生させて蓄積し、所定のタイミングで蓄積した電荷を模様非投影画像生成部２３及び模様投影画像生成部２４へ出力する。

模様非投影画像生成部２３は、対象物体４０に所定の模様が投影されていないタイミングで受光部２２に蓄積された電荷を入力し、所定の模様が投影されていない対象物体４０が撮像された画像（以下、「模様非投影画像」という）の電子データを生成する。そして、模様非投影画像生成部２３は、生成した模様非投影画像の電子データを計測装置３０へ送信する。模様非投影画像の電子データは、どのような通信形態によって各撮像装置２０に送信されても良く、例えば有線ケーブルを介して送信されても良いし、無線通信を用いて送信されても良い。

模様投影画像生成部２４は、対象物体４０に所定の模様が投影されているタイミングで受光部２２に蓄積された電荷を入力し、所定の模様が投影された対象物体４０が撮像された画像（以下、「模様投影画像」という）の電子データを生成する。そして、模様投影画像生成部２４は、生成した模様投影画像の電子データを計測装置３０へ送信する。模様投影画像の電子データは、どのような通信形態によって各撮像装置２０に送信されても良く、例えば有線ケーブルを介して送信されても良いし、無線通信を用いて送信されても良い。

図４は、受光部２２の構成の概略を表す概略図である。受光部２２は、複数の画素２２１と、垂直走査回路２２２、水平走査回路２２３、読み出し回路２２４を備える。画素２２１は、二次元マトリックス状に配置され、レンズ２１を通過した光を受けて電荷を生成し蓄積する。各画素２２１に蓄積された電荷に応じた電圧レベルは、垂直走査回路２２２及び水平走査回路２２３による制御に応じて、読み出し回路２２４によって読み出され、読み出された電圧レベルは読み出し回路２２４から模様非投影画像生成部２３及び模様投影画像生成部２４へ出力される。

図５は、受光部２２に用いられる画素２２１の構成を表す構成図である。画素２２１は、４つの微小変換部２２１１ａ〜２２１１ｄを備える。各微小変換部２２１１ａ〜２２１１ｄは光電変換素子を用いて構成される。また、画素２２１は、２つの電荷蓄積領域２２１２ａ、２２１２ｂと、各電荷蓄積領域２２１２ａ、２２１２ｂに対応する振り分けゲートＴｘａ、Ｔｘｂを備える。４つの微小変換部２２１１ａ〜２２１１ｄは、電荷転送領域２２１３及び振り分けゲートＴｘａ、Ｔｘｂを介して、電荷蓄積領域２２１２ａ、２２１２ｂに接続される。

微小変換部２２１１ａ〜２２１１ｄにおける光電変換によって生成された電荷は、よりポテンシャルの低い電荷転送領域２２１３へ移動する。振り分けゲートＴｘａ、Ｔｘｂのうちの一つが開かれると、電荷転送領域２２１３から、開かれたゲートＴｘａ、Ｔｘｂに対応する電荷蓄積領域２２１２ａ、２２１２ｂの一つに電荷が移動する。そして、各電荷蓄積領域２２１２ａ、２２１２ｂに移動した電荷は、各電荷蓄積領域２２１２ａ、２２１２ｂによって所定のタイミングまで蓄積される。そして、蓄積された電荷は、所定のタイミングで読み出し電極２２１４ａ、２２１４ｂから、読み出し回路２２４を介して模様非投影画像生成部２３及び模様投影画像生成部２４へ読み出される。

また、画素２２１は、各電荷蓄積領域２２１２ａ、２２１２ｂに隣接するリセットゲートＲａ、Ｒｂ及びリセット電極２２１５ａ、２２１５ｂを備える。リセットゲートＲａ、Ｒｂが開かれると、リセット電極２２１５ａ、２２１５ｂに加えられている電圧Ｖによって、電荷蓄積領域２２１２ａ、２２１２ｂが充電されてリセット状態となる。このリセット処理は、受光部２２の全画素２２１の全電荷蓄積領域２２１２ａ、２２１２ｂに対して同時に行われる。

図６は、図５の画素２２１の等価回路を表す図である。図６において、微小変換部２２１１ａ〜２２１１ｄは、フォトダイオード及びコンデンサＣ０ａ〜Ｃ０ｄの対として表される。電荷転送領域２２１３は、コンデンサＣＴとして表される。振り分けゲートＴｘａ、Ｔｘｂにそれぞれ隣接する電荷蓄積領域２２１２ａ、２２１２ｂは、コンデンサＣａ、Ｃｂとして表される。これらのコンデンサは、リセットゲートＲａ、ＲｂのＦＥＴトランジスタがオンになることによって電圧Ｖで充電される。この動作は、前述したリセット処理であり、電荷蓄積領域２２１２ａ、２２１２ｂの状態を、微小変換部２２１１ａ〜２２１１ｄによって生成される電荷を蓄積する前の状態（初期状態）に戻すための処理である。

ＦＥＴトランジスタＬａ、Ｌｂは、レベルシフト・トランジスタである。ＦＥＴトランジスタＬａ、Ｌｂは、読み出しゲートＴａ、Ｔｂが開かれるとコンデンサＣａ、Ｃｂにホールドされている電荷に応じた電流をそれぞれ読み出し電極２２１４ａ、２２１４ｂ及び読み出し回路２２４を介して模様非投影画像生成部２３及び模様投影画像生成部２４へ送り出す。

なお、４つの微小変換部２２１１ａ〜２２１１ｄ及び電荷転送領域２２１３は、Ｐ型領域（P-well）に埋め込まれた一体的なＮ型領域によって形成することができる。この一体的なＮ型領域の上方に遮光幕（遮光マスク）が設けられ、画素２２１の各構成のうち微小変換部２２１１ａ〜２２１１ｄだけに光が入るように構成される。

図７は、第一実施形態における撮像システム２の動作を表すタイミングチャートである。まず、同期部１１が出力する同期信号（１）に応じて、画素２２１は、リセットゲートＲａ、Ｒｂを開くとともに２つの振り分けゲートＴｘａ、Ｔｘｂを開くことによって、電荷転送領域２２１３及び電荷蓄積領域２２１２ａ、２２１２ｂをリセットする（充電する）。

次に同期部１１が同期信号（２）を出力すると、この同期信号（２）に応じて発光部１２は発光をオンにし、対象物体４０に所定の模様を投影する。また、この同期信号（２）に応じて撮像装置２０の画素２２１は振り分けゲートＴｘａを開いて、４つの微小変換部２２１１ａ〜２２１１ｄで生成される電荷を電荷転送領域２２１３を介して電荷蓄積領域２２１２ａ（コンデンサＣａ）に蓄える。電荷転送領域２２１３から電荷蓄積領域２２１２ａに蓄えられる電荷は、コンデンサＣａの電圧を下げるように作用する。同期信号（２）の入力から所定時間（例えば５０マイクロ秒）が経過すると、画素２２１は振り分けゲートＴｘａを閉じる。なお、同期信号の入力から振り分けゲートＴｘａが閉じるまでの所定時間は、同期信号が出力される間隔よりも短い時間として予め設定される。

次に、同期部１１が同期信号（３）を出力すると、この同期信号（３）に応じて発光部１２は発光をオフにし、対象物体４０への所定の模様の投影を停止する。また、この同期信号（３）に応じて撮像装置２０の画素２２１は、振り分けゲートＴｘｂを開いて、４つの微小変換部２２１１ａ〜２２１１ｄで生成される電荷を電荷転送領域２２１３を介して電荷蓄積領域２２１２ｂ（コンデンサＣｂ）に蓄える。同期信号（３）の入力から所定時間（例えば５０マイクロ秒）が経過すると、画素２２１は振り分けゲートＴｘｂを閉じる。なお、同期信号の入力から振り分けゲートＴｘｂが閉じるまでの所定時間は、同期信号が出力される間隔よりも短い時間として予め設定される。

この後、同期部１１が出力する同期信号（４）〜（１３）に応じて、発光部１２及び撮像装置２０の画素２２１はそれぞれ上記動作を繰り返し実行する。具体的には、発光部１２及び撮像装置２０の画素２２１は、同期信号のナンバーが偶数の場合には上記動作のうち同期信号（２）が出力された場合と同じ動作を実行し、同期信号のナンバーが奇数の場合には上記動作のうち同期信号（３）が出力された場合と同じ動作を実行する。このような動作の繰り返しにより、電荷蓄積領域２２１２ａは、発光部１２が発光し対象物体４０に所定の模様が投影されているタイミングで生成された電荷を繰り返し蓄積する。同様に、電荷蓄積領域２２１２ｂは、発光部１２が発光しておらず対象物体４０に所定の模様が投影されていないタイミングで生成された電荷を繰り返し蓄積する。

次に、同期部１１が同期信号（１４）を出力すると、この同期信号（１４）に応じて撮像装置２０の画素２２１は、読み出しゲートＴａ、Ｔｂを開く。レベルシフト・トランジスタＬａ、ＬｂのゲートにはコンデンサＣａ、Ｃｂの電圧が加えられているため、読み出しゲートＴａ、Ｔｂが開かれることに応じて、それぞれのコンデンサの電圧レベルに応じた電流が模様非投影画像生成部２３及び模様投影画像生成部２４に流れる。具体的には、読み出し電極２２１４ａには模様投影画像生成部２４が接続されており、電荷蓄積部２２１２ａに蓄積された電荷に応じた電流が模様投影画像生成部２４に流れる。また、読み出し電極２２１４ｂには模様非投影画像生成部２３が接続されており、電荷蓄積部２２１２ｂに蓄積された電荷に応じた電流が模様非投影画像生成部２３に流れる。

図８は、撮像システム２によって撮像される画像の具体例を表す図であり、特に撮像装置２０−２によって撮像される画像の具体例を表す。図８Ａは、模様投影画像生成部２４によって生成される模様投影画像を表す図である。模様投影画像では、投影装置１０から投影された模様と共に対象物体４０が撮像されている。図８Ａの場合、所定の模様として縦縞模様が投影されている。図８Ｂは、模様非投影画像生成部２３によって生成される模様非投影画像を表す図である。模様非投影画像では、投影装置１０から投影される模様は撮像されず、対象物体４０が撮像されている。

図９は、計測装置３０の機能構成を表す概略ブロック図である。計測装置３０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、計測プログラムを実行することによって、模様非投影画像記憶部３１、模様投影画像記憶部３２、立体形状計測部３３を備える装置として機能する。

模様非投影画像記憶部３１は、半導体記憶装置や磁気ハードディスク装置などを備え、複数台の撮像装置２０のそれぞれにおいて撮像された模様非投影画像のデータを各撮像装置２０から受信して記憶する。

模様投影画像記憶部３２は、半導体記憶装置や磁気ハードディスク装置などを備え、複数台の撮像装置２０のそれぞれにおいて撮像された模様投影画像のデータを各撮像装置２０から受信して記憶する。

立体形状計測部３３は、模様投影画像記憶部３２に記憶された複数の模様投影画像を用いて、モアレ法、スポット光計測法、光切断法、空間コード法、ステレオ法などの立体形状測定を行うことによって、対象物体４０の立体形状を計測する。

このように構成された撮像システム２では、各撮像装置２０において、模様投影画像及び模様非投影画像が撮像される。このとき、撮像装置２０の受光部２２は、投影装置１０から対象物体４０に所定の模様が投影されているタイミングの露光によって生成された電荷のみを繰り返し蓄積することによって模様投影画像を撮像し、投影装置１０から対象物体４０に所定の模様が投影されていないタイミングの露光によって生成された電荷のみを繰り返し蓄積することによって模様非投影画像を生成する。そして、模様投影画像の撮像のための露光と、模様非投影画像の撮像のための露光とは、複数回交互に繰り返し実行されてそれぞれの画像が生成される。そのため、模様投影画像と模様非投影画像とが撮像されるタイミングのずれを小さくすることが可能となる。したがって、模様投影画像と模様非投影画像とに撮像される対象物体４０の状態の時間変化による相違は、いずれか一方の画像が撮像された後に他方の画像が撮像された場合に比べて小さくなる。

＜変形例＞
撮像装置２０の画素２２１が１回の撮像に要する露光時間は、適宜設定されて良い。例えば、図７の説明では、電荷蓄積部２２１２ａ、２２１２ｂはそれぞれ６回ずつ同期信号に応じて電荷の蓄積を行うが、この回数は６回に限られず、２回以上且つ６回未満であっても良いし、７回以上であっても良い。

また、１回の同期信号に応じて電荷蓄積部２２１２ａ、２２１２ｂがそれぞれ電荷の蓄積を行う時間も適宜設定されて良く、電荷蓄積部２２１２ａと電荷蓄積部２２１２ｂとで異なる時間が設定されても良い。また、また、１回の同期信号に応じて電荷蓄積部２２１２ａ、２２１２ｂがそれぞれ電荷の蓄積を行う時間は、例えば１００ミリ秒以下であり、好ましくは１ミリ秒以下であり、より好ましくは１００マイクロ秒以下に設定される。

［第二実施形態］
撮像システム２の第二実施形態は、画素２２１がドレイン領域を備える点で第一実施形態と異なり、他の構成は第一実施形態と同様である。以下、撮像システム２の第二実施形態について、第一実施形態と異なる点について説明する。

図１０は、第二実施形態における受光部２２に用いられる画素２２１の構成を表す図である。第二実施形態における画素２２１は、第一実施形態における画素２２１（図５）の構成に加えてさらにドレインゲート２２１６及びドレイン領域２２１７を備える。

図１１は、第二実施形態における撮像システム２の動作を表すタイミングチャートである。第二実施形態における画素２２１では、各振り分けゲートＴｘａ、Ｔｘｂが閉じてから次の振り分けゲートＴｘａ、Ｔｘｂが開くまでの間、ドレインゲート２２１６が開く。ドレインゲート２２１６が開くと、４つの微小変換部２２１１ａ〜２２１１ｄで生成される電荷は電荷転送領域２２１３及びドレインゲート２２１６を介してドレイン領域２２１７へ移動する。そして、ドレイン領域２２１７に移動した電荷は破棄される。

このように構成された第二実施形態の受光部２２によれば、ある振り分けゲートＴｘａ、Ｔｘｂが閉じてから次の振り分けゲートＴｘａ、Ｔｘｂが開くまでの間に生成された電荷がドレイン領域２２１７によって破棄される。そのため、振り分けゲートＴｘａ、Ｔｘｂが開いたときに、前の振り分けゲートＴｘａ、Ｔｘｂが閉じてから生成された電荷が電荷蓄積領域２２１２ａ、２２１２ｂに移動することを防止し、各電荷蓄積タイミングにおいて蓄積する電荷の量を正確にし、模様投影画像及び模様非投影画像の撮像精度を向上させることが可能となる。

＜変形例＞
第二実施形態は、第一実施形態における変形例と同様に変形して構成されても良い。

［第三実施形態］
撮像システム２の第三実施形態は、複数の撮像装置２０のうち一部の撮像装置２０が模様非投影画像生成部２３を備えないように構成される点で第一実施形態と異なり、他の構成は第一実施形態と同様である。以下、撮像システム２の第三実施形態について、第一実施形態と異なる点について説明する。

図１２は、第三実施形態における撮像装置２０の機能構成を表す概略ブロック図である。第三実施形態における撮像装置２０は、模様非投影画像生成部２３を備えず、レンズ２１、受光部２２、模様投影画像生成部２４を備える。第三実施形態における受光部２２では、電荷蓄積領域２２１２ｂに蓄積された電荷は読み出し回路２２４によって廃棄される。

このように構成された第三実施形態の撮像装置２０によれば、不要な模様非投影画像が生成されないため、模様非投影画像生成部２３に要するコスト等を押さえることが可能となる。投影装置は一般的にパルス点灯させたほうが発光効率をあげられるため、模様投影画像生成部２４だけの構成でも、パルス光による短時間の発光期間だけの電荷を蓄積していくため、連続して電荷を蓄積していくより模様がはっきりとしたものになる。

＜変形例＞
図１３は、第三実施形態の受光部２２に用いられる画素２２１の変形例の構成を表す図である。この場合、画素２２１は、１つの微小変換部２２１１、１つの電荷蓄積領域２２１２ａ、振り分けゲートＴｘａ、リセットゲートＲａ、リセット電極２２１５ａ、ドレインゲート２２１６、ドレイン領域２２１７を備える。

図１４は、第三実施形態の変形例における撮像システム２の動作を表すタイミングチャートである。第三実施形態の変形例における画素２２１は、同期信号（２）、（４）、（６）、（８）、（１０）、（１２）のタイミングで振り分けゲートＴｘａを開き、微小変換部２２１１で生成される電荷を電荷蓄積領域２２１２ａ（コンデンサＣａ）に蓄える。振り分けゲーＴｘａが閉じてから次の振り分けゲートＴｘａが開くまでの間、ドレインゲート２２１６が開く。ドレインゲート２２１６が開くと、微小変換部２２１１で生成される電荷はドレインゲート２２１６を介してドレイン領域２２１７へ移動する。そして、ドレイン領域２２１７に移動した電荷は破棄される。そして、同期信号（１４）のタイミングで、画素２２１が読み出しゲートＴａを開き、電荷蓄積部２２１２ａに蓄積された電荷に応じた電流が模様投影画像生成部２４に流れ、模様投影画像生成部２４が模様投影画像を生成する。

このように構成された第三実施形態の変形例では、画素２２１に要する素子の数を減らすことができるため、画素２２１の小型化、低コスト化を実現させることが可能となる。

［第四実施形態］
撮像システム２の第四実施形態は、撮像装置２０が差分画像生成部２５をさらに備える点で第一実施形態と異なり、他の構成は第一実施形態と同様である。以下、撮像システム２の第四実施形態について、第一実施形態と異なる点について説明する。

図１５は、第四実施形態における撮像装置２０の機能構成を表す概略ブロック図である。第四実施形態における撮像装置２０は、レンズ２１、受光部２２、模様非投影画像生成部２３、模様投影画像生成部２４、差分画像生成部２５を備える。

差分画像生成部２５は、模様非投影画像生成部２３によって生成された模様非投影画像と、模様投影画像生成部２４によって生成された模様投影画像との差分画像を生成する。具体的には、差分画像生成部２５は、模様非投影画像の各ピクセルの画素値と、模様投影画像の各ピクセルの画素値との差分を、同じ座標のピクセル毎に算出し、算出された差分の値を差分画像の各ピクセルの画素値とすることによって、差分画像を生成する。そして、差分画像生成部２５は、生成された差分画像の電子データを計測装置３０へ送信する。

このように構成された第四実施形態の撮像装置２０では差分画像が生成される。差分画像では、模様非投影画像と模様投影画像との差分は、投影装置１０から対象物体４０に投影された所定の模様のみとなる。そのため、差分画像では、投影装置１０から対象物体４０に投影された所定の模様のみが像として現れるため、計測装置３０においてより精度の高い立体形状測定を行うことが可能となる。

＜変形例＞
差分画像生成部２５は、受光部２２の各画素２２１から、電荷蓄積部２２１２ａ及び２２１２ｂ（コンデンサＣａ及びＣｂ）にホールドされている電荷に応じた電流をそれぞれ読み出し電極２２１４ａ、２２１４ｂ及び読み出し回路２２４を介して受け、各電流値の差分に基づいて差分画像を生成するように構成されても良い。
また、第四実施形態は、第一実施形態における変形例と同様に変形して構成されても良い。

［第五実施形態］
撮像システム２の第五実施形態は、投影装置１０がマスク１３に代えて変動マスク１５を備える点、画素２２１が３つの電荷蓄積領域を備える点、撮像装置２０が高輝度画像生成部２６をさらに備える点で第一実施形態と異なり、他の構成は第一実施形態と同様である。以下、撮像システム２の第五実施形態について、第一実施形態と異なる点について説明する。

図１６は、第五実施形態における投影装置１０の機能構成を表す概略ブロック図である。第五実施形態における投影装置１０は、同期部１１、発光部１２、変動マスク１５、拡散レンズ１４を備える。

変動マスク１５は、例えば電気の通電状態のオン・オフの切替に応じて液晶表示が変化する液晶表示装置などを用いて構成され、同期部１１から出力される同期信号に応じて、マスク状態と全透過状態との二つの状態の間を繰り返し遷移する。変動マスク１５は、マスク状態である場合、マスク１３と同様に所定の模様を有し、発光部１２から発光される光に所定の模様を与える。一方、変動マスク１５は、全透過状態である場合、発光部１２から発光される光の全てをそのまま透過させ、一般的な照明として機能する。

図１７は、第五実施形態における撮像装置２０の機能構成を表す概略ブロック図である。第五実施形態における撮像装置２０は、レンズ２１、受光部２２、模様非投影画像生成部２３、模様投影画像生成部２４、高輝度画像生成部２６を備える。

高輝度画像生成部２６は、投影装置１０の変動マスク１５が全透過状態であり発光部１２から光が発光されているタイミングで受光部２２に蓄積された電荷を入力し、発光部１２から発光された光がそのまま照射された対象物体４０が撮像された画像（以下、「高輝度画像」という）の電子データを生成する。そして、高輝度画像生成部２６は、生成した高輝度画像の電子データを計測装置３０へ送信する。高輝度画像の電子データは、どのような通信形態によって各撮像装置２０に送信されても良く、例えば有線ケーブルを介して送信されても良いし、無線通信を用いて送信されても良い。

図１８は、第五実施形態における受光部２２に用いられる画素２２１の構成を表す図である。第五実施形態における画素２２１は、３つの電荷蓄積領域２２１２ａ〜２２１２ｃと、各電荷蓄積領域２２１２ａ〜２２１２ｃに対応する振り分けゲートＴｘａ〜Ｔｘｃを備える。４つの微小変換部２２１１ａ〜２２１１ｄは、電荷転送領域２２１３及び振り分けゲートＴｘａ〜Ｔｘｃを介して、電荷蓄積領域２２１２ａ〜２２１２ｃに接続される。

図１９は、図１８の画素２２１の等価回路を表す図である。図１９において、微小変換部２２１１ａ〜２２１１ｄは、フォトダイオード及びコンデンサＣ０ａ〜Ｃ０ｄの対として表される。電荷転送領域２２１３は、コンデンサＣＴとして表される。振り分けゲートＴｘａ〜Ｔｘｃにそれぞれ隣接する電荷蓄積領域２２１２ａ〜２２１２ｃは、コンデンサＣａ〜Ｃｃとして表される。これらのコンデンサは、リセットゲートＲａ〜ＲｃのＦＥＴトランジスタがオンになることによって電圧Ｖで充電される。この動作は、前述したリセット処理であり、電荷蓄積領域２２１２ａ〜２２１２ｃの状態を、微小変換部２２１１ａ〜２２１１ｄによって生成される電荷を蓄積する前の状態（初期状態）に戻すための処理である。

ＦＥＴトランジスタＬａ〜Ｌｃは、レベルシフト・トランジスタである。ＦＥＴトランジスタＬａ〜Ｌｃは、読み出しゲートＴａ〜Ｔｃが開かれるとコンデンサＣａ〜Ｃｃにホールドされている電荷に応じた電流をそれぞれ読み出し電極２２１４ａ、２２１４ｂ、２２１４ｃ及び読み出し回路２２４を介して模様非投影画像生成部２３及び模様投影画像生成部２４へ送り出す。

なお、４つの微小変換部２２１１ａ〜２２１１ｄ及び電荷転送領域２２１３は、Ｐ型領域（P-well）に埋め込まれた一体的なＮ型領域によって形成することができる。この一体的なＮ型領域の上方に遮光幕（遮光マスク）が設けられ、画素２２１の各構成のうち微小変換部２２１１ａ〜２２１１ｄだけに光が入るように構成される。

図２０は、第五実施形態における撮像システム２の動作を表すタイミングチャートである。まず、同期部１１が出力する同期信号（１）に応じて、画素２２１は、リセットゲートＲａ〜Ｒｃを開くとともに３つの振り分けゲートＴｘａ〜Ｔｘｃを開くことによって、電荷転送領域２２１３及び電荷蓄積領域２２１２ａ〜２２１２ｃをリセットする（充電する）。

次に同期部１１が同期信号（２）を出力すると、この同期信号（２）に応じて発光部１２は発光をオンにし、変動マスク１５がマスク状態となり、対象物体４０に所定の模様を投影する。また、この同期信号（２）に応じて撮像装置２０の画素２２１は振り分けゲートＴｘａを開いて、４つの微小変換部２２１１ａ〜２２１１ｄで生成される電荷を電荷転送領域２２１３を介して電荷蓄積領域２２１２ａ（コンデンサＣａ）に蓄える。電荷転送領域２２１３から電荷蓄積領域２２１２ａに蓄えられる電荷は、コンデンサＣａの電圧を下げるように作用する。同期信号（２）の入力から所定時間（例えば５０マイクロ秒）が経過すると、画素２２１は振り分けゲートＴｘａを閉じる。なお、同期信号の入力から振り分けゲートＴｘａが閉じるまでの所定時間は、同期信号が出力される間隔よりも短い時間として予め設定される。

次に、同期部１１が同期信号（３）を出力すると、この同期信号（３）に応じて発光部１２は発光をオフにし、変動マスク１５が全透過状態となり、対象物体４０への所定の模様の投影を停止する。また、この同期信号（３）に応じて撮像装置２０の画素２２１は、振り分けゲートＴｘｂを開いて、４つの微小変換部２２１１ａ〜２２１１ｄで生成される電荷を電荷転送領域２２１３を介して電荷蓄積領域２２１２ｂ（コンデンサＣｂ）に蓄える。同期信号（３）の入力から所定時間（例えば５０マイクロ秒）が経過すると、画素２２１は振り分けゲートＴｘｂを閉じる。なお、同期信号の入力から振り分けゲートＴｘｂが閉じるまでの所定時間は、同期信号が出力される間隔よりも短い時間として予め設定される。

次に、同期部１１が同期信号（４）を出力すると、この同期信号（４）に応じて発光部１２は発光をオンにし、変動マスク１５が全透過状態となり、対象物体４０への全照射が行われる。また、この同期信号（４）に応じて撮像装置２０の画素２２１は、振り分けゲートＴｘｃを開いて、４つの微小変換部２２１１ａ〜２２１１ｄで生成される電荷を電荷転送領域２２１３を介して電荷蓄積領域２２１２ｃ（コンデンサＣｃ）に蓄える。同期信号（４）の入力から所定時間（例えば５０マイクロ秒）が経過すると、画素２２１は振り分けゲートＴｘｃを閉じる。なお、同期信号の入力から振り分けゲートＴｘｃが閉じるまでの所定時間は、同期信号が出力される間隔よりも短い時間として予め設定される。

この後、同期部１１が出力する同期信号（５）〜（１３）に応じて、発光部１２、変動マスク１５及び撮像装置２０の画素２２１はそれぞれ上記動作を繰り返し実行する。具体的には、発光部１２、変動マスク１５及び撮像装置２０の画素２２１は、同期信号のナンバーが３ｎ＋２（ｎは整数）の場合には上記動作のうち同期信号（２）が出力された場合と同じ動作を実行し、同期信号のナンバーが３ｎ（ｎは整数）の場合には上記動作のうち同期信号（３）が出力された場合と同じ動作を実行し、同期信号のナンバーが３ｎ＋１（ｎは整数）の場合には上記動作のうち同期信号（４）が出力された場合と同じ動作を実行する。このような動作の繰り返しにより、電荷蓄積領域２２１２ａは、発光部１２が発光し対象物体４０に所定の模様が投影されているタイミングで生成された電荷を繰り返し蓄積する。同様に、電荷蓄積領域２２１２ｂは、発光部１２が発光しておらず対象物体４０に所定の模様が投影されていないタイミングで生成された電荷を繰り返し蓄積する。同様に、電荷蓄積領域２２１２ｃは、発光部１２が発光し変動マスク１５が全透過状態であり対象物体４０に発光部１２の光がそのまま照射されているタイミングで生成された電荷を繰り返し蓄積する。

次に、同期部１１が同期信号（１４）を出力すると、この同期信号（１４）に応じて撮像装置２０の画素２２１は、読み出しゲートＴａ〜Ｔｃを開く。レベルシフト・トランジスタＬａ〜ＬｃのゲートにはコンデンサＣａ〜Ｃｃの電圧が加えられているため、読み出しゲートＴａ〜Ｔｃが開かれることに応じて、それぞれのコンデンサの電圧レベルに応じた電流が模様非投影画像生成部２３、模様投影画像生成部２４、高輝度画像生成部２６に流れる。具体的には、読み出し電極２２１４ａには模様投影画像生成部２４が接続されており、電荷蓄積部２２１２ａに蓄積された電荷に応じた電流が模様投影画像生成部２４に流れる。また、読み出し電極２２１４ｂには模様非投影画像生成部２３が接続されており、電荷蓄積部２２１２ｂに蓄積された電荷に応じた電流が模様非投影画像生成部２３に流れる。また、読み出し電極２２１４ｃには高輝度画像生成部２６が接続されており、電荷蓄積部２２１２ｃに蓄積された電荷に応じた電流が高輝度画像生成部２６に流れる。

このように構成された第五実施形態の撮像装置２０では高輝度画像が生成される。高輝度画像では、対象物体４０に模様が投影されるのではなく、発光部１２の光がそのまま照射された画像が撮像されている。そのため、高輝度画像では、対象物体４０の各部分の明るさが模様非投影画像よりも明るく撮像されているため、対象物体４０の形状や模様の特徴の認識が容易となる。したがって、例えば高輝度画像を用いて顔認識処理や他の画像認識処理、画像処理を行うことによって、高精度な画像認識処理や画像処理を行うことが可能となる。

＜変形例＞
第五実施形態は、第一実施形態における変形例と同様に変形して構成されても良い。
変動マスク１５の代わりに反射強度を変化できるマイクロマシン技術を利用したミラーを用いて構成してもよい。また、投光装置を複数用意し、切り替えて発光してもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…立体形状測定システム， ２…撮像システム， １０…投影装置， １１…同期部， １２…発光部， １３…マスク， １４…拡散レンズ， １５…変動マスク１５， ２０…撮像装置， ２１…レンズ， ２２…受光部， ２３…模様非投影画像生成部， ２４…模様投影画像生成部， ２５…差分画像生成部， ２６…高輝度画像生成部， ２２１…画素， ２２２…垂直走査回路， ２２３…水平走査回路， ２２４…読み出し回路， ２２１１ａ〜２２１１ｄ…微小変換部（光電変換部）， ２２１２ａ〜３２１２ｃ…電荷蓄積領域（電荷蓄積部）， ２２１３…電荷転送領域， ２２１４ａ〜２２１４ｃ…読み出し電極， ２２１５ａ〜２２１５ｃ…リセット電極， Ｔｘａ〜Ｔｘｃ…振り分けゲート， Ｒａ〜Ｒｃ…リセットゲート， ２２１６…ドレインゲート， ２２１７…ドレイン領域

Claims (4)

1. 物体に対して所定の模様を投影する投影装置と、前記物体を撮像する撮像装置と、を備える撮像システムであって、
   前記投影装置は、物体に対して所定の模様を投影する模様投影状態と、前記物体に対して前記所定の模様の投影を行わない模様非投影状態とで繰り返し遷移し、
   前記撮像装置は、
   前記物体において反射された光を受光して光の強度に応じた電荷を生成する光電変換部と、
   前記投影装置が前記模様投影状態である間に前記光電変換部によって生成された電荷を蓄積する模様投影時電荷蓄積部と、
   前記投影装置が前記模様非投影状態である間に前記光電変換部によって生成された電荷を蓄積する模様非投影時電荷蓄積部と、
   前記光電変換部から生成された電荷を前記模様投影時電荷蓄積部又は前記模様非投影時電荷蓄積部へ転送する電荷転送部と、
   前記電荷転送部と前記模様投影時電荷蓄積部との間に設けられ、前記投影装置が前記模様投影状態である間に開き、前記投影装置が他の状態である間は閉まることによって、前記電荷転送部から前記模様投影時電荷蓄積部へ電荷が入ることを制御する第一振り分けゲート部と、
   前記電荷転送部と前記模様非投影時電荷蓄積部との間に設けられ、前記投影装置が前記模様非投影状態である間に開き、前記投影装置が他の状態である間は閉まることによって、前記電荷転送部から前記模様非投影時電荷蓄積部へ電荷が入ることを制御する第二振り分けゲート部と、
   前記投影装置が前記模様投影状態と、前記模様非投影状態とを繰り返し遷移している間に前記模様投影時電荷蓄積部に複数回蓄積された電荷を読み出すことによって前記所定の模様が投影された前記物体の画像を生成する模様投影画像生成部と、
   前記投影装置が前記模様投影状態と、前記模様非投影状態とを繰り返し遷移している間に前記模様非投影時電荷蓄積部に複数回蓄積された電荷を読み出すことによって前記所定の模様が投影されていない前記物体の画像を生成する模様非投影画像生成部と、
   を備える、ことを特徴とする撮像システム。
2. 前記撮像装置は、
   前記模様投影画像生成部によって生成された画像と、前記模様非投影画像生成部によって生成された画像との差分の画像を生成する差分画像生成部をさらに備えることを特徴とする請求項１に記載の撮像システム。
3. 前記投影装置は、物体に対して所定の模様を投影する模様投影状態と、前記物体に対して前記所定の模様の投影を行わない模様非投影状態と、前記物体に対して前記所定の模様のない光を照射する全透過状態とで繰り返し遷移し、
   前記撮像装置は、
   前記投影装置が前記全透過状態である間に前記光電変換部によって生成された電荷を蓄積する全透過時電荷蓄積部と、
   前記電荷転送部と前記全透過時電荷蓄積部との間に設けられ、前記投影装置が前記全透過状態である間に開き、前記投影装置が他の状態である間は閉まることによって、前記電荷転送部から前記全透過時電荷蓄積部へ電荷が入ることを制御する第三振り分けゲート部と、
   前記投影装置が前記模様投影状態と、前記模様非投影状態と、前記全透過状態とを繰り返し遷移している間に前記全透過時電荷蓄積部に複数回蓄積された電荷を読み出すことによって前記所定の模様のない光が照射された前記物体の画像を生成する高輝度画像生成部と、をさらに備えることを特徴とする請求項１又は２に記載の撮像システム。
4. 物体に対して所定の模様を投影する投影装置と、前記物体を撮像する撮像装置と、を備える撮像システムが行う撮像方法であって、
   前記投影装置が、物体に対して所定の模様を投影する模様投影状態と、前記物体に対して前記所定の模様の投影を行わない模様非投影状態とで繰り返し遷移するステップと、
   前記撮像装置が、前記物体において反射された光を受光して光の強度に応じた電荷を生成する光電変換ステップと、
   前記撮像装置が、前記投影装置が前記模様投影状態である間に、前記光電変換ステップにおいて生成された電荷を転送する電荷転送部と模様投影時電荷蓄積部との間に設けられた第一振り分けゲート部を開くことによって前記模様投影時電荷蓄積部に電荷を蓄積し、前記投影装置が前記模様投影状態ではない間は前記第一振り分けゲート部を閉めることによって前記電荷転送部から前記模様投影時電荷蓄積部へ電荷が入ることを制限する第一振り分けゲート制御ステップと、
   前記撮像装置が、前記投影装置が前記模様非投影状態である間に、前記電荷転送部と模様非投影時電荷蓄積部との間に設けられた第二振り分けゲート部を開くことによって前記模様非投影時電荷蓄積部に電荷を蓄積し、前記投影装置が前記模様非投影状態ではない間は前記第二振り分けゲート部を閉めることによって前記電荷転送部から前記模様非投影時電荷蓄積部へ電荷が入ることを制限する第二振り分けゲート制御ステップと、
   前記撮像装置が、前記模様投影状態と、前記模様非投影状態とを繰り返し遷移している間に前記第一振り分けゲート制御ステップにおいて前記模様投影時電荷蓄積部に複数回蓄積された電荷を読み出すことによって前記所定の模様が投影された前記物体の画像を生成する模様投影画像生成ステップと、
   前記撮像装置が、前記模様投影状態と、前記模様非投影状態とを繰り返し遷移している間に前記第二振り分けゲート制御ステップにおいて前記模様非投影時電荷蓄積部に複数回蓄積された電荷を読み出すことによって前記所定の模様が投影されていない前記物体の画像を生成する模様非投影画像生成ステップと、
   を備える、ことを特徴とする撮像方法。

Images