JP4010753B2 - 形状計測システムと撮像装置と形状計測方法及び記録媒体 - Google Patents
形状計測システムと撮像装置と形状計測方法及び記録媒体 Download PDFInfo
- Publication number
- JP4010753B2 JP4010753B2 JP2000240470A JP2000240470A JP4010753B2 JP 4010753 B2 JP4010753 B2 JP 4010753B2 JP 2000240470 A JP2000240470 A JP 2000240470A JP 2000240470 A JP2000240470 A JP 2000240470A JP 4010753 B2 JP4010753 B2 JP 4010753B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- dimensional
- image
- coordinates
- gravity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
Description
【０００１】
【発明の属する技術分野】
本発明は、コンピュータ入力技術やヒューマンインタフェース技術、あるいは視覚処理技術に関し、さらに詳しくは、物体の３次元形状を計測する技術に関するものである。
【０００２】
【従来の技術】
従来より、測量やＣＡＤモデルの作成、あるいはオンラインショッピングでの商品展示など様々な分野で、対象物の３次元形状を計測することが求められている。そして、このような３次元形状計測方法の一つとして、対象物にパターン光を照射し、該パターンの対象物上における歪みを撮像することにより形状計測を行う方法がある。
【０００３】
ここで、特開平５−１４９７２７号公報には、移動装置に搭載され該装置上を自由に移動できるカメラによって被写体を撮像することにより、反射率の高い面からなる対象物でもその形状を計測し得る技術が開示されている。また、特開平１０−７９０２９号公報には、複数のカメラにより撮像された複数の画像データをそれぞれ複数の小領域に分割して、該小領域毎に得られた立体情報を統合することにより被写体の立体情報を検出する技術が開示されている。
【０００４】
しかしながら、上記のような技術においては、移動装置や複数のカメラ等が必要とされるため、装置全体が大型化して持ち運びにおける利便性が損なわれるという問題があり、また製造コストを上昇させるという問題がある。さらには、該移動装置や複数のカメラの配置によって、適正に形状を計測し得る被写体の特性が制限されるという問題もある。
【０００５】
【発明が解決しようとする課題】
本発明は、上述の問題を解消するためになされたもので、より汎用性及び精度が高められた３次元形状の計測を実現すると共に、全体が小型化されコストが低減された形状計測システムと撮像装置、形状計測方法及び該方法を実行するためのプログラムが記録された記録媒体を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の目的は、対象物を撮像する撮像手段を含み、対象物の３次元形状を計測する形状計測システムであって、対象物に所定のパターンを有する光を照射する投光手段と、撮像手段が対象物を撮像する位置を検出して、位置を特定する位置情報を生成する撮像位置特定手段と、位置情報と、位置情報により特定される位置において撮像された画像とに応じて、対象物を構成する各点の３次元座標を算出する３次元座標算出手段と、光が照射された対象物が少なくとも２つの異なる位置から撮像されることにより得られた各画像に基づいて３次元座標算出手段によりそれぞれ算出された各点に対する少なくとも２つの３次元座標に応じて、各点を一つの座標系における座標により表現し合成画像を生成する３次元形状合成手段とを備えたことを特徴とする形状計測システムを提供することにより達成される。
【０００７】
このような手段によれば、位置情報と撮像された画像とに応じて算出された３次元座標により、撮像された対象物の３次元形状が得られるため、簡易な構成により３次元形状を高精度に計測することができる。
【０００８】
ここで、該形状計測システムは、撮像手段の動作タイミングを制御する撮像制御手段と、撮像手段により得られたアナログ信号をデジタル信号へ変換する信号変換手段と、デジタル信号と３次元座標、及び３次元形状合成手段により生成された合成画像を記憶する記憶手段とをさらに備えたものとすることができる。
【０００９】
また、撮像手段により撮像された画像または合成画像のうち、少なくともいずれか一方に対して補間処理を実行する補間手段をさらに備えることとすれば、対象物のより高精度な３次元形状を得ることができる。
【００１０】
また、３次元形状合成手段により得られた対象物の座標と、光が照射されていないときに撮像手段により撮像された画像とに応じて、対象物の３次元画像を生成する３次元画像生成手段をさらに備えることにより、実際の対象物に付された模様等をも再現された３次元画像を得ることができる。
【００１１】
また、本発明の目的は、対象物の３次元形状を計測する形状計測システムであって、対象物を撮像すると共に、光学中心が異なる複数の撮像手段と、対象物に所定のパターンを有する光を照射する投光手段と、複数の撮像手段が対象物を撮像する位置を検出して、位置に対応する位置情報を生成する撮像位置特定手段と、光が照射された対象物が複数の撮像手段により撮像されることにより得られた複数の画像と、撮像位置特定手段により生成された位置情報とに応じて、画像毎に対象物を構成する各点の３次元座標を算出する３次元座標算出手段と、３次元座標算出手段により算出された各点に対する複数の３次元座標に応じて、各点を一つの座標系における座標により表現し合成画像を生成する３次元形状合成手段とを備えたことを特徴とする形状計測システムを提供することにより達成される。
【００１２】
このような手段によれば、複数の撮像手段により同時に複数の画像を得ることができるため、該複数の画像からそれぞれ３次元座標を算出して合成することにより、より高精度な３次元形状の計測を実現することができる。
【００１３】
ここで、各々が、対応する撮像手段の動作タイミングを制御する複数の撮像制御手段と、各々が、対応する撮像手段により得られたアナログ信号をデジタル信号へ変換する複数の信号変換手段と、複数の信号変換手段により得られたデジタル信号と、３次元座標算出手段により算出された３次元座標、及び３次元形状合成手段により生成された合成画像を記憶する記憶手段とをさらに備えたものとすることができる。
【００１４】
また、本発明の目的は、対象物を撮像する撮像装置とコンピュータとにより構成され、対象物の３次元形状を計測する形状計測システムであって、撮像装置は、対象物に所定のパターンを有する光を照射する投光手段と、撮像手段が対象物を撮像する位置を検出して、位置を特定する位置情報を生成する撮像位置特定手段とを備え、コンピュータは、撮像装置から供給された位置情報と、位置情報により特定される位置において撮像された画像とに応じて、対象物を構成する各点の３次元座標を算出する３次元座標算出手段と、光が照射された対象物が少なくとも２つの異なる位置から撮像されることにより得られた各画像に基づいて３次元座標算出手段によりそれぞれ算出された各点に対する少なくとも２つの３次元座標に応じて、各点を一つの座標系における座標により表現し合成画像を生成する３次元形状合成手段とを備えたことを特徴とする形状計測システムを提供することにより達成される。
【００１５】
このような手段によれば、撮像装置により得られた位置情報と画像とに応じて、コンピュータにより対象物を構成する各点の３次元座標が算出され、該３次元座標に応じて対象物の３次元形状が得られるため、対象物の３次元形状を高精度に計測することができる。
【００１６】
ここで、コンピュータは、３次元座標算出手段により算出された複数の３次元座標に対して補間処理を実行する補間手段をさらに備えたものとすることができる。
【００１７】
また、投光手段または撮像位置特定手段の少なくとも一方は、コンピュータにより制御されるものとすることもできる。
【００１８】
また、本発明の目的は、対象物を撮像する撮像手段を含む撮像装置であって、対象物に所定のパターンを有する光を照射する投光手段と、撮像手段が対象物を撮像する位置を検出して、位置を特定する位置情報を生成する撮像位置特定手段と、光に照射された対象物を撮像手段が撮像することにより得られた画像及び位置情報を記憶する記憶手段とを備えたことを特徴とする撮像装置を提供することにより達成される。
【００１９】
このような手段によれば、対象物の３次元形状を計測するために必要なデータを容易に得ることができる。
【００２０】
ここで、投光手段または撮像位置特定手段の少なくとも一方は、外部から供給される制御信号により制御されるようにしてもよい。
【００２１】
また、撮像手段は、さらに、光が照射されていない対象物を撮像することとすれば、対象物に付された模様等をも含めた再現画像を生成することができる。
【００２２】
また、本発明の目的は、対象物を撮像して対象物の３次元形状を計測する形状計測方法であって、対象物に所定のパターンを有する光を照射するステップと、対象物を撮像する位置を検出して、位置を特定する位置情報を生成するステップと、位置情報と、位置情報により特定される位置において撮像された画像とに応じて、対象物を構成する各点の３次元座標を算出するステップと、光が照射された対象物が少なくとも２つの異なる位置から撮像されることにより得られた各画像に基づいてそれぞれ算出された各点に対する少なくとも２つの３次元座標に応じて、各点を一つの座標系における座標により表現するステップとを含むことを特徴とする形状計測方法を提供することにより達成される。
【００２３】
このような手段によれば、位置情報と撮像された画像とに応じて算出された３次元座標により、撮像された対象物の３次元形状が計測されるため、３次元形状の高精度な計測を容易に実現することができる。
【００２４】
ここで、座標系における対象物の座標と、光が照射されていないときに撮像手段により撮像された画像とに応じて対象物の３次元画像を生成するステップをさらに含むこととすれば、対象物に付された模様などを含めて対象物に忠実な３次元再現画像を生成することができる。
【００２５】
また、本発明の目的は、対象物の３次元形状を計測する形状計測方法であって、対象物に所定のパターンを有する光を照射するステップと、光学中心が異なる複数の撮像手段により対象物を撮像するステップと、複数の撮像手段が対象物を撮像する各位置を検出して、各位置に対応する位置情報を生成するステップと、光が照射された対象物が複数の撮像手段により撮像されることにより得られた複数の画像と、生成された位置情報とに応じて、画像毎に対象物を構成する各点の３次元座標を算出するステップと、算出された各点に対する複数の３次元座標に応じて、各点を一つの座標系における座標により表現するステップとを含むことを特徴とする形状計測方法を提供することにより達成される。
【００２６】
このような手段によれば、複数の撮像手段により同時に撮像された複数の画像からそれぞれ３次元座標を算出し合成するため、より高度な３次元形状の計測を容易に実現することができる。
【００２７】
また、本発明の目的は、コンピュータによって対象物の３次元形状を計測するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、プログラムは、コンピュータに対し、所定のパターンを有する光が照射された対象物を撮像することにより得られた画像と、対象物を撮像した位置を特定する位置情報とに応じて、対象物を構成する各点の３次元座標を算出させ、光が照射された対象物が少なくとも２つの異なる位置から撮像されることにより得られた各画像に基づいてそれぞれ算出された各点に対する少なくとも２つの３次元座標に応じて、各点を一つの座標系における座標により表現させることを特徴とするコンピュータ読み取り可能な記録媒体を提供することにより達成される。
【００２８】
このような手段によれば、該記録媒体に記録されたプログラムがコンピュータにより実行されることによって、位置情報と撮像された画像とに応じた３次元座標が算出され、算出された該３次元座標により対象物の３次元形状が得られるため、容易に高精度な３次元形状の計測を実行することができる。
【００２９】
ここで、プログラムは、加速度センサに重力を基準として位置を特定する位置情報を生成させ、磁気センサに地磁気を基準として位置を特定する位置情報を生成させ、または、角速度センサに３次元座標の座標系を構成する各座標軸周りの回転角速度を検出させるものとすることができる。
【００３０】
また、プログラムはさらに、コンピュータに対し、一つの座標系における座標と、光が照射されていないときに撮像された画像とに応じて、対象物の３次元画像を生成させるものとすれば、対象物の表面における模様をも含めて再現された３次元画像を容易に得ることができる。
【００３１】
また、本発明の目的は、コンピュータによって対象物の３次元形状を計測するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、プログラムは、コンピュータに対し、所定のパターンを有する光が照射された対象物が複数の撮像手段で撮像された複数の画像と、複数の撮像手段が対象物を撮像したそれぞれの位置を特定する複数の位置情報とに応じて、画像毎に対象物を構成する各点の３次元座標を算出させ、算出された各点に対する複数の３次元座標に応じて、各点を一つの座標系における座標により表現させることを特徴とするコンピュータ読み取り可能な記録媒体を提供することにより達成される。
【００３２】
このような手段によれば、上記プログラムをコンピュータに実行させることにより、複数の撮像手段に対し対象物を同時に撮像させ、複数の画像を得ることができるため、該複数の画像からそれぞれ３次元座標を算出させて合成させることにより、より高度な３次元形状の計測を容易に実現することができる。
【００３３】
【発明の実施の形態】
以下において、本発明の実施の形態を図面を参照して詳しく説明する。なお、図中同一符号は同一又は相当部分を示す。
［実施の形態１］
図１は、本発明の実施の形態１に係る形状計測システムの構成を示すブロック図である。図１に示されるように、本実施の形態１に係る形状計測システム１は、ＭＰＵ（Micro-Processing Unit）３と、外部端子５と、絞り機構６と、相関二重サンプリング（Correlated Double Sampling−ＣＤＳ）回路７と、タイミング信号生成回路８と、ＩＰＰ（Image Pre-Processor）回路９と、レンズ１０と、ＣＣＤ等からなる撮像素子１１と、Ａ／Ｄ変換器１２と、画像メモリ１３と、パターン光照射部１４と、３Ｄ（３次元）位置算出部１５と、姿勢検出部１６と、３次元位置合成部１７とを備える。
【００３４】
ここで、ＣＤＳ回路７は撮像素子１１に接続され、Ａ／Ｄ変換器１２はＣＤＳ回路７に接続される。また、ＩＰＰ回路９はＡ／Ｄ変換器１２に接続され、画像メモリ１３はＩＰＰ回路９に接続される。また、３Ｄ位置算出部１５及び３次元位置合成部１７は画像メモリ１３に接続される。
【００３５】
また、撮像素子１１とＣＤＳ回路７及びＡ／Ｄ変換器１２は、タイミング信号生成回路８に接続される。さらに、外部端子５と絞り機構６、タイミング信号生成回路８、ＩＰＰ回路９、画像メモリ１３、３Ｄ位置算出部１５、３次元位置合成部１７、パターン光照射部１４、及び姿勢検出部１６がＭＰＵ３に接続される。
【００３６】
上記のような形状計測システム１においては、被写体（図示していない）を撮像する際、該撮像による被写体の像はレンズ１０及び絞り機構６により撮像素子１１上に結像される。そして、撮像素子１１で得られた画像信号は、ＣＤＳ回路７によりサンプリングされた後、Ａ／Ｄ変換器１２でデジタル信号化される。なお、このときの動作タイミングは、タイミング信号生成回路８から供給される信号により制御される。
【００３７】
このようにしてデジタル化された画像信号は、ＩＰＰ回路９によりアパーチャ補正などの画像処理やデータ圧縮が施され、画像メモリ１３に保存される。このとき、画像信号に対する種々の補正処理や圧縮処理をＭＰＵ３で実行するようにしてもよい。
【００３８】
また、パターン光照射部１４は、被写体に対してスリットパターンやドットパターン、あるいは濃淡グラデーションを有するようなパターン光を照射する。そして、このパターン光が照射された被写体を撮像することにより得られた画像を基に、３Ｄ位置算出部１５は被写体表面の点に対する３次元位置座標を算出する。
【００３９】
また、姿勢検出部１６は、該画像を撮像した時における形状計測システム１の姿勢（撮像位置や撮像角度など）を検出する。なお、上記姿勢は画像を撮像する度に検出するが、上記撮像位置や撮像角度などの情報は絶対的なものであっても良いし、ある視点を基準とした相対的なものであっても良い。
【００４０】
そして、３次元位置合成部１７は、姿勢検出部１６において得られた該姿勢に関する情報に応じて複数の上記画像を合成することにより、被写体の３次元形状を得ることとなる。なお、図１に示された各回路は、直接的または間接的にＭＰＵ３によって制御される。
【００４１】
また、上記のような構成を有する形状計測システム１は、図２に示されるように、一つの筐体に収納されることによって一体的にカメラ２を構成するようにすることができる。なお、図２に示されるように、カメラ２においては、フロッピー（登録商標）ディスク１７２などの可搬式記録媒体が着脱可能なものとすることができ、このようなカメラ２によれば、生成された３次元画像を該可搬式記録媒体に格納することができる。
【００４２】
以下において、図３のフローチャートを参照しつつ、上記形状計測システム１の動作をより具体的に説明する。まず、ステップＳ１においては、ユーザによる撮像指示の有無を判断し、該撮像指示があった場合にはステップＳ２へ進み、ない場合には該指示があるまで待機する。このとき、ユーザにより第一の視点においてレリーズボタン（手動式ボタン）が押されることにより、ステップＳ２へ進み、該被写体が撮像される。
【００４３】
ここで、まず被写体にはパターン光照射部１４から上記のようなパターン光が照射され、該パターン光が投影された被写体が撮像される。次に、該パターン光の照射をしない状態で該被写体が撮像される。なお、上記形状計測システム１においては、被写体を撮像する代わりに、予め得られた画像データを外部端子５を介して画像メモリ１３に入力してもよい。
【００４４】
そして次に、ステップＳ３へ進み、該撮像時の姿勢を検出し、被写体表面の点に対応する３次元位置座標を算出する。なお、該姿勢の検出方法については後に詳しく説明する。ここで、図４に示されるように、パターン光照射部１４による照射によりパターン光が投影された被写体２０を撮像することによって画像２１が得られる場合を仮定すると、図４に示された被写体表面上の点Ａに対応する３次元座標（Ａｘ，Ａｙ，Ａｚ）は、以下のように算出される。
【００４５】
パターン光が照射される向きを示すベクトル２３を（Ｐｘ，Ｐｙ，Ｐｚ）、レンズ１０の光軸と画像面とが交わる点を原点としたとき画像２１上における点Ａの像の位置座標を（Ｉｘ，Ｉｙ）、レンズ１０を含む撮像系の焦点距離をｆ、パターン光照射部１４と上記撮像系の光学中心との距離をｄとすると、三角測量の原理により次式により上記３次元座標（Ａｘ，Ａｙ，Ａｚ）が算出される。
【００４６】
【数１】
そして次に、第一の視点と異なる第二の視点において上記と同様に該被写体を撮像し、該撮像により得られた画像を基に、上記と同様に被写体表面の点に対応する３次元座標を算出する。なお、第二の視点においては、第一の視点において撮像された被写体表面の点の少なくとも一部が含まれるように、該被写体が撮像される。
【００４７】
そして、上記のように、一つの被写体２０を複数の視点から撮像した後に、該被写体に対する撮像を終了する場合にはステップＳ５へ進み、さらに該被写体を撮像する場合にはステップＳ１へ戻る。
【００４８】
ステップＳ５では、３次元位置合成部１７が、姿勢検出部１６で検出された姿勢に関する情報に応じて、上記各視点毎に算出された３次元座標（３次元位置データ）を一つの座標系上で合成する。なお、この合成方法の具体例については後に詳しく説明する。
【００４９】
また、ステップＳ５においてはさらに、ステップＳ２においてパターン光の照射をしない状態で該被写体が撮像されることにより得られた画像が、上記合成により得られた３次元形状に対して合成される。これにより、該被写体の表面における模様を含めて再現された被写体の３次元画像を得ることができる。
【００５０】
以上が本実施の形態１に係る形状計測システム１の動作であるが、以下においては上記ステップＳ３における姿勢検出部１６の動作を詳しく説明する。まず、図５に示されるように、姿勢検出部１６は、直交する３軸方向における各加速度を測定する加速度センサを含む重力方向検出部１６ａと、該３軸方向における磁力を測定する磁気センサを含む重力周り角度検出部１６ｂと、姿勢算出部１６ｃとを備える。ここで、重力方向検出部１６ａはＭＰＵ３に接続され、重力周り角度検出部１６ｂは重力方向検出部１６ａに接続される。また、姿勢算出部１６ｃは重力方向検出部１６ａ及び重力周り角度検出部１６ｂに接続される。
【００５１】
なお、上記姿勢検出部１６はジャイロにより構成してもよいが、この場合については後述する。
【００５２】
まず最初に、重力方向検出部１６ａが３軸加速度センサにより構成され、重力周り角度検出部１６ｂが２軸磁気方位センサにより構成される例を説明する。ここでは、図６に示されるように重力方向がＹ軸とされたＸＹＺ基準座標系（絶対座標系）と、光軸がＷ軸とされたＵＶＷ撮像座標系とを定義し、基準座標系に対する撮像座標系の傾きをそれぞれ姿勢角θＵ , θＶ ，θＷ で表記する。
【００５３】
形状計測システム１の姿勢を特定する方法としては、まず基準座標系と撮像座標系とが一致する状態から形状計測システム１をＶ（Ｙ）軸周りにθＶだけ回転させ、次に撮像座標系を基準として形状計測システム１をＵ軸周りにθＵだけ回転させ、さらに撮像座標系を基準として形状計測システム１をＷ軸周りにθＷだけ回転させる方法がある。
【００５４】
ここで、上記のようなＶ軸、Ｕ軸、Ｗ軸の周りにおける回転を表す回転行列をそれぞれＲＶ , ＲＵ , ＲＷ で示すと、形状計測システム１の姿勢は次の行列により示される。
【００５５】
【数２】
また、加速度センサ及び磁気方位センサにより得られた測定値を、それぞれ以下の行列Ａ及び行列Ｍにより示す。
【００５６】
【数３】
但し、２軸磁気方位センサを用いる場合には、ＭＹは不定とされる。なお、重力加速度ベクトルは以下の行列Ｇにより示される。
【００５７】
【数４】
また、地磁気の伏角φを既知とすると、地磁気ベクトルは以下の行列Ｄにより示される。
【００５８】
【数５】
ところで、上記の行列Ａと行列Ｇ、及び求める行列Ｒとの間には、以下の式が成立する。
【００５９】
【数６】
従って、上記式（６）の両辺に左から行列Ｒの逆行列を乗算することにより、以下の式が成立する。
【００６０】
【数７】
これより、図５に示された姿勢算出部１６ｃにより、以下のような姿勢角θＵ ，θＷ が求められる。
【００６１】
【数８】
さらに、上記行列Ｍと行列Ｄと、求める行列Ｒとの間には、以下の式が成立する。
【００６２】
【数９】
従って、上記式（９）の両辺に左から行列Ｒの逆行列を乗算することにより、以下の式が成立する。
【００６３】
【数１０】
これより、以下の式（１１）が導出されるため、姿勢算出部１６ｃにより姿勢角θＶが以下のように求められる。
【００６４】
【数１１】
【００６５】
【数１２】
なお、上記の式（８）においてＣｏｓθＵが０の場合には、姿勢角θＷは任意に定めることができる。
【００６６】
以上のような方法によって式（２）として示された行列Ｒが求められ、形状計測システム１の撮像姿勢を特定する情報が得られたことになる。
【００６７】
以下において、３軸加速度センサと３軸磁気方位センサを用いた例について説明する。なお、座標系の定義と姿勢角θＵ , θＷ の導出については上記と同様である。但し、地磁気の伏角は未知であるものとしてよく、地磁気ベクトルは以下の行列Ｄで示される。
【００６８】
【数１３】
ここで、以下の式（１４）で示される行列Ｄ’を仮定する。
【００６９】
【数１４】
そして、上記行列Ｄ’を用いると、上記行列Ｄは以下の式（１５）により示される。
【００７０】
【数１５】
これより、以下の式（１６）が成立する。
【００７１】
【数１６】
従って、姿勢算出部１６ｃにより、以下のように姿勢角θＶが求められる。
【００７２】
【数１７】
次に、図１に示された姿勢検出部１６として、ジャイロを用いる場合を説明する。この場合には、以下に説明するように、図６に示されたＸＹＺ基準座標系（絶対座標系）の各軸周りの回転角速度が求まるようジャイロが配置され、該ジャイロにより検出された回転角速度を積分することにより、角度情報を得ることができる。
【００７３】
すなわち、改めて図６に示されたＸ軸周りの回転角をα、Ｙ軸周りの回転角をβ、Ｚ軸周りの回転角をγと表すと、ジャイロにより以下のような回転角速度ベクトルＪが測定される。
【００７４】
【数１８】
そして、上記回転角速度ベクトルＪを積分することにより、以下のように、時刻ｔにおける回転角α，β，γを得ることができる。
【００７５】
【数１９】
なお、上記において積分定数α０，β０，γ０は、時刻ｔ＝０の初期状態を静止状態とすると、いずれも０となる。
【００７６】
次に、図３のステップＳ５における３次元位置データの合成動作を詳しく説明する。図７は、該合成動作を模式的に示す図である。なお、ここでは図７に示されるように、円柱状の被写体２０の３次元形状を計測する場合を一例として説明する。
【００７７】
図７（ｂ）は、図７（ａ）に示される視点（撮像の向き）ＤＢから被写体２０を撮像し、被写体表面の各点に対応する３次元座標を算出して、算出された該座標を所定の３次元座標系において表示した点群２７を示す図である。また同様に図７（ｃ）は、図７（ａ）に示される視点（撮像の向き）ＤＣから被写体２０を撮像し、被写体表面の各点に対応する３次元座標を算出して、算出された該座標を上記３次元座標系において表示した点群２８を示す図である。
【００７８】
ここで、図７（ｂ）や図７（ｃ）に示されるように、撮像方向により例えば被写体２０の側面における裏側や上面及び下面が、該撮像に際して死角となるため、得られた各点群２７，２８によっては、該被写体２０の形状を特定することができない。従って、図７（ｄ）に示されるように、図７（ｂ）及び図７（ｃ）に示された点群２７，２８を同一の座標系において合成することにより、被写体２０の３次元形状を特定できる点群２９を得ることができる。
【００７９】
ここで、多数の視点から被写体を撮像すればする程、被写体表面の点に対応する上記点群が多数得られることになるため、より完全な該被写体の３次元形状を得ることができる。
【００８０】
以下において、上記のような合成動作をより詳しく説明する。なお、以下においては、図７（ａ）に示された視点ＤＢと視点ＤＣから被写体２０を撮像することにより得られた二組の３次元位置データを合成する例を説明するが、三組以上の３次元位置データを合成する場合も同様である。
【００８１】
視点ＤＢからの撮像に関して、基準となる姿勢からの図６に示されたＸＹＺ軸周りの回転角度（Ｂｘ，Ｂｙ，Ｂｚ）が与えられていたとすると、該基準姿勢から視点ＤＢの姿勢に座標変換するための回転行列ＲＢは次式（２０）により示される。
【００８２】
【数２０】
なお、上記回転はＸ軸周り、Ｙ軸周り、Ｚ軸周りの順で行われるものとしている。
【００８３】
また同様に、視点ＤＣからの撮像に関して、基準となる姿勢からの図６に示されたＸＹＺ軸周りの回転角度（Ｃｘ，Ｃｙ，Ｃｚ）が与えられていたとすると、該基準姿勢から視点ＤＣの姿勢に座標変換するための回転行列ＲＣは次式（２１）により示される。
【００８４】
【数２１】
従って、視点ＤＢの姿勢（撮像座標系）における位置座標を視点ＤＣの姿勢（撮像座標系）における位置座標に変換する回転行列ＲＲは、以下のように示される。
【００８５】
【数２２】
よって、例えば視点ＤＢの姿勢（撮像座標系）における位置座標ｂの点は、視点ＤＣの姿勢（撮像座標系）においてはＲＲ・ｂにより求められる位置座標により表される。但し、上記行列ＲＲにより座標変換できるのは回転成分のみであるため、並進成分の変換（シフト）をさらに施す必要がある。
【００８６】
そこで、視点ＤＢと視点ＤＣから撮像することにより得られた二つの画像間において、対応する点を見出す。例えば、図８（ａ）及び図８（ｂ）に示された両画像において、該対応する点として点ＤＤ１と点ＤＤ２、点ＤＥ１と点ＤＥ２を見出すことができる。
【００８７】
ここで、上記各点に対しては、視点ＤＢあるいは視点ＤＣにおける撮像座標系での３次元座標がそれぞれ求められているが、視点ＤＢの撮像座標系における３次元座標を上記行列ＲＲにより座標変換することにより回転成分のずれを除去した後の３次元空間上での位置のずれが、必要なシフト量（並進移動量）となる。すなわち、視点ＤＢ及び視点ＤＣにおける撮像座標系でのある対応点の位置座標をそれぞれｂ及びｃとすると、上記シフト量ｓはｓ＝（ＲＲ・ｂ）−ｃにより求められる。
【００８８】
なお、全ての上記対応点におけるシフト量ｓは、全て同じベクトル量になるはずであるが、ノイズや誤った対応点の採取により異なる値を示す場合が多い。従って、各対応点について算出される上記シフト量の平均が該視点ＤＢ，ＤＣ間の並進成分とされる。また、このような平均化の代わりに、正常な対応関係が得られない可能性が高い対応点から算出されるシフト量を並進成分としてもよい。
【００８９】
そして、一方の撮像座標系における全３次元座標を、求められたシフト量だけシフトさせ、上記のように両撮像座標系の３次元座標を一つの座標系上で合成する。このとき、対応点同士が完全に重ならない場合には、該対応点の重心位置（対応点が２点である場合には中点）を最終的な３次元座標とすることにより、該被写体の３次元形状を高精度に得ることができる。
【００９０】
なお、上記のような形状計測システム１は、図９に示されるように、カメラ４とパーソナルコンピュータＰＣとにより構成することもできる。すなわち、図１０に示されるように、図１に示された３Ｄ位置算出部１５や３次元位置合成部１７を除く部分を一つの筐体に収納してカメラ４を構成すると共に、上記３Ｄ位置算出部１５や３次元位置合成部１７は、該カメラ４とは別個独立なパーソナルコンピュータＰＣに備えることとしてもよい。
【００９１】
このような構成による形状計測システムにおいては、まず画像信号及び撮像姿勢を示す情報がカメラ４により取得され、画像メモリ１３に格納される。そして、画像メモリ１３に格納された画像信号及び撮像姿勢を示す情報がスマートメディア（登録商標）などの可搬式記録媒体に記録されるため、該可搬式記録媒体を該パーソナルコンピュータＰＣに装着することにより、メモリ／通信インタフェース部１９に該信号及び情報が取り込まれる。なお、上記のように可搬式記録媒体によらず、画像メモリ１３から図示していない通信手段によって、パーソナルコンピュータＰＣのメモリ／通信インタフェース部１９へ該信号及び情報を無線送信するようにしても良い。
【００９２】
従って、図９及び図１０に示された形状計測システムにおいては、パーソナルコンピュータＰＣが、メモリ／通信インタフェース部１９に取り込まれた該信号及び情報に応じて、被写体の表面を構成する各点に対応した３次元座標を算出し、該被写体の３次元画像を生成する。
【００９３】
また、図１０に示された形状計測システムにおいては、カメラ４に含まれたパターン光照射部１４及び姿勢検出部１６は、カメラ４に含まれたＭＰＵ３により制御されるが、図１１に示されるようにパーソナルコンピュータＰＣから供給される制御信号により制御されるようにしても良い。
【００９４】
一方、上記のような形状計測システム１の動作は、ソフトウェアにより実現しても良い。すなわち、該動作はコンピュータプログラムとして記述でき、該プログラムをＭＰＵ３が実行することにより、上記動作が容易に実現される。このとき、該プログラムはＣＤ−ＲＯＭ１７１等の記録媒体に記録され、図１２に示されるように、パーソナルコンピュータＰＣに該記録媒体を装着することによって、該プログラムがＭＰＵ３により読み込まれ実行される。
【００９５】
以上より、本発明の実施の形態１に係る形状計測システム１によれば、被写体を撮像する際の姿勢（視点）が姿勢検出部１６で検出され、検出された該姿勢と撮像により得られた画像とに応じて、該被写体の３次元形状を得ることができるため、小型で低コストの形状計測システムを提供することができる。
【００９６】
また、図２に示されたカメラ２によれば、被写体の周囲を手で移動させつつ撮像することにより、該被写体の３次元形状を得ることができるため、いかなる被写体に対しても容易に３次元形状を計測することができる。
［実施の形態２］
図１３は、本発明の実施の形態２に係る形状計測システムの構成を示すブロック図である。図１３に示されるように、本実施の形態２に係る形状計測システム３５は、図１に示された実施の形態１に係る形状計測システム１と同様な構成を有するが、補間処理部５０をさらに備える点で相違するものである。
【００９７】
ここで、補間処理部５０は、ＭＰＵ３により制御され画像メモリ１３に接続される。
【００９８】
上記のような構成を有する本実施の形態２に係る形状計測システム３５は、図１に示された実施の形態１に係る形状計測システム１と同様に動作するが、以下において補間処理部５０の動作を説明する。
【００９９】
被写体を撮像することにより得られた上記３次元位置データは、該データが示される３次元座標系において必ずしも必要な空間解像度で存在しているとは限らない。そこで、例えば図１４（ａ）に示されるように点群２７が得られている場合には、図１４（ｂ）に示されるように、該３次元座標系において該点群がより密になるよう補間点３７を追加する。
【０１００】
ここで、該補間の方法については、該点群を結ぶ近似曲線を求めるためにスプライン関数を用いるなどといった従来の方法を採用することができる。
【０１０１】
また一方、上記補間処理部５０は、以下のような補正処理も行うことができるものとすることができる。すなわち、図１５（ａ）に示されるように、得られた画像３９に含まれる点群の一部において他の点群と明らかに離散した誤処理点ＰＦが見出された場合には、ユーザはモニタ上におけるマウス操作により該誤処理点ＰＦをポインタ（図中矢印で示す）で指定し、図１５（ｂ）に示されるように該ポインタを所望の位置に移動し、あるいは消去することにより、該誤処理点ＰＦを補正する。そしてこのような補正処理を施すことにより、図１５（ｂ）に示された適正な画像４１を得ることができる。
【０１０２】
なお、上記のような補正処理は、上記補間処理の前に実行されることが望ましい。
【０１０３】
また、上記補間処理部５０は、他の構成部分と共に一つの筐体に収納され一体としてカメラを構成してもよいし、図１６に示されるように、パーソナルコンピュータＰＣの中で３Ｄ位置算出部１５と３次元位置合成部１７との間に備えられても良い。
【０１０４】
以上より、本実施の形態２に係る形状計測システム３５によれば、上記実施の形態１に係る形状計測システム１と同様な効果を奏すると共に、補間処理部５０により３次元位置データが補間され、あるいは補正されるため、さらに高精度な被写体の３次元形状を得ることができる。
【０１０５】
また、本実施の形態２に係る形状計測システム３５によれば、上記のような補間が可能であることから、被写体に所定のパターンを投影するパターン光照射部１４の構成を簡易にすることができるため、形状計測システムをより小型化することができる。
【０１０６】
さらに、本実施の形態２に係る形状計測システム３５によれば、上記のような補正が可能であることから、該形状システム３５を手で持った状態で被写体を撮像するような場合に生じる手ぶれ等の影響を回避することができ、該被写体のより正確な３次元形状を得ることができる。
【０１０７】
なお、上記のような形状計測システム３５の動作は、ソフトウェアにより実現しても良い点は、上記実施の形態１に係る形状計測システム１と同様である。
［実施の形態３］
図１７は、本発明の実施の形態３に係る形状計測システムの構成を示すブロック図である。図１７に示されるように、本実施の形態３に係る形状計測システム４５は、図１に示された実施の形態１に係る形状計測システム１と同様な構成を有するが、レンズ１０ａと、絞り機構６ａと、撮像素子１１ａと、ＣＤＳ回路７ａと、Ａ／Ｄ変換器１２ａと、タイミング信号生成回路８ａと、ＩＰＰ回路９ａをさらに備える点で相違する。ここで、絞り機構６ａとタイミング生成回路８ａ、及びＩＰＰ回路９ａはＭＰＵ３により制御され、撮像素子１１ａとＣＤＳ回路７ａ及びＡ／Ｄ変換器１２ａは、タイミング信号生成回路８ａから供給される信号に応じて動作する。また、ＩＰＰ回路９ａは画像メモリ１８に接続される。
【０１０８】
上記のように、本実施の形態３に係る形状計測システム４５においては、レンズとＣＣＤ等からなる二つの撮像系が、それらの光学中心が異なるように備えられる。なお、該光学中心の位置のずれや光軸相互の角度におけるずれは、予め正確に求められる。
【０１０９】
上記のような構成を有する本実施の形態３に係る形状計測システム４５は、上記実施の形態１に係る形状計測システム１と同様に動作するが、一つの視点において被写体を一度撮像する（シャッタを切る）ことにより、レンズ１０及びレンズ１０ａを介して二つの画像を得ることができるため、一度の撮像により二組の３次元位置データを得ることができる。
【０１１０】
従って、本実施の形態３に係る形状計測システム４５によれば、上記のようにして得られた複数の全３次元位置データを一つの座標系において合成することにより、最終的に得られる被写体の３次元形状を高精度化することができる。
【０１１１】
なお、上記においては、該撮像系が二つの場合を例示したが、本発明の実施の形態に係る形状計測システムにおいては、該撮像系を三つ以上備えるものも同様に考えることができる。
【０１１２】
また、上記のような形状計測システム４５の動作は、ソフトウェアにより実現できる点は、上記実施の形態１及び２に係る形状計測システム１，３５と同様である。
【０１１３】
【発明の効果】
上述の如く、本発明に係る形状計測システムによれば、位置情報と撮像された画像とに応じて算出された３次元座標により、撮像された対象物の３次元形状を得ることによって、簡易な構成により３次元形状を高精度に計測することができるため、形状計測システムを小型化することによる計測の容易化と、信頼性の向上が図られた形状計測システムを提供することができる。
【０１１４】
また、補間処理を実行する補間手段をさらに備えることとすれば、対象物のより高精度な３次元形状を得ることができる。
【０１１５】
また、光が照射されていないときに撮像手段により撮像された画像に応じて、対象物の３次元画像を生成すれば、実際の対象物に付された模様等をも再現された３次元画像を得ることができるため、より再現性の高い対象物の３次元画像を得ることができる。
【０１１６】
また、本発明に係る形状計測システムによれば、複数の撮像手段により同時に複数の画像を得ることができるため、該複数の画像からそれぞれ３次元座標を算出して合成することにより、より高精度な３次元形状の計測を実現することができ、形状計測システムの信頼性を高めることができる。
【０１１７】
また、上記システムは、対象物を撮像する撮像装置とコンピュータとにより構成することもでき、このようなシステムにおいては、該コンピュータの性能を生かすことによって、より高精度な３次元画像を生成することができる。
【０１１８】
また、本発明に係る撮像装置によれば、対象物の３次元形状を計測するために必要なデータを容易に得ることができる。
【０１１９】
また、本発明に係る形状計測方法によれば、位置情報と撮像された画像とに応じて算出された３次元座標により、撮像された対象物の３次元形状が計測されるため、３次元形状の高精度な計測を容易に実現することができる。
【０１２０】
また、本発明に係るコンピュータ読み取り可能な記録媒体によれば、該記録媒体に記録されたプログラムをコンピュータにより実行することによって、３次元形状の高精度な計測、あるいは高精度な３次元画像の生成をソフトウェアにより容易に実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る形状計測システムの構成を示すブロック図である。
【図２】図１に示された形状計測システムを内蔵したカメラの外観を示す図である。
【図３】図１に示された形状計測システムの動作を説明するフローチャートである。
【図４】図１に示された形状計測システムによる撮像動作を説明する図である。
【図５】図１に示された姿勢検出部の構成を示すブロック図である。
【図６】図１に示された形状計測システムによる姿勢角算出動作を説明する図である。
【図７】図１に示された形状計測システムによる３次元座標の合成動作を説明する第一の図である。
【図８】図１に示された形状計測システムによる３次元座標の合成動作を説明する第二の図である。
【図９】図１に示された形状計測システムをパーソナルコンピュータ及びカメラにより構成した例を示す図である。
【図１０】図９に示されたパーソナルコンピュータ及びカメラの構成を示すブロック図である。
【図１１】図１に示された形状計測システムをパーソナルコンピュータ及びカメラにより構成した他の例を示す図である。
【図１２】本発明の実施の形態１に係る形状計測方法を実現するためのパーソナルコンピュータを示す図である。
【図１３】本発明の実施の形態２に係る形状計測システムの構成を示すブロック図である。
【図１４】図１３に示された形状計測システムによる補間処理を説明する図である。
【図１５】図１３に示された形状計測システムによる補正処理を説明する図である。
【図１６】図１３に示された形状計測システムをパーソナルコンピュータ及びカメラにより構成した例を示す図である。
【図１７】本発明の実施の形態３に係る形状計測システムの構成を示すブロック図である。
【符号の説明】
１，３５，４５ 形状計測システム
２，４ カメラ
３ ＭＰＵ（Micro-Processing Unit）
５ 外部端子
６，６ａ 絞り機構
７，７ａ 相関二重サンプリング（Correlated Double Sampling−ＣＤＳ）回路
８，８ａ タイミング信号生成回路
９，９ａ ＩＰＰ（Image Pre-Processor）回路
１０，１０ａ レンズ
１１，１１ａ 撮像素子
１２，１２ａ Ａ／Ｄ変換器
１３，１８ 画像メモリ
１４ パターン光照射部
１５ ３Ｄ位置算出部
１６ 姿勢検出部
１６ａ 重力方向検出部
１６ｂ 重力周り角度検出部
１６ｃ 姿勢算出部
１７ ３次元位置合成部
１９ メモリ／通信インタフェース部
２０ 被写体
２１，３９，４１ 画像
２３，２５ ベクトル
２７，２８，２９ 点群
３７ 補間点
５０ 補間処理部
５１ 水平面
１７１ ＣＤ−ＲＯＭ
１７２ フロッピーディスク
ＰＣ パーソナルコンピュータ
【発明の属する技術分野】
本発明は、コンピュータ入力技術やヒューマンインタフェース技術、あるいは視覚処理技術に関し、さらに詳しくは、物体の３次元形状を計測する技術に関するものである。
【０００２】
【従来の技術】
従来より、測量やＣＡＤモデルの作成、あるいはオンラインショッピングでの商品展示など様々な分野で、対象物の３次元形状を計測することが求められている。そして、このような３次元形状計測方法の一つとして、対象物にパターン光を照射し、該パターンの対象物上における歪みを撮像することにより形状計測を行う方法がある。
【０００３】
ここで、特開平５−１４９７２７号公報には、移動装置に搭載され該装置上を自由に移動できるカメラによって被写体を撮像することにより、反射率の高い面からなる対象物でもその形状を計測し得る技術が開示されている。また、特開平１０−７９０２９号公報には、複数のカメラにより撮像された複数の画像データをそれぞれ複数の小領域に分割して、該小領域毎に得られた立体情報を統合することにより被写体の立体情報を検出する技術が開示されている。
【０００４】
しかしながら、上記のような技術においては、移動装置や複数のカメラ等が必要とされるため、装置全体が大型化して持ち運びにおける利便性が損なわれるという問題があり、また製造コストを上昇させるという問題がある。さらには、該移動装置や複数のカメラの配置によって、適正に形状を計測し得る被写体の特性が制限されるという問題もある。
【０００５】
【発明が解決しようとする課題】
本発明は、上述の問題を解消するためになされたもので、より汎用性及び精度が高められた３次元形状の計測を実現すると共に、全体が小型化されコストが低減された形状計測システムと撮像装置、形状計測方法及び該方法を実行するためのプログラムが記録された記録媒体を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の目的は、対象物を撮像する撮像手段を含み、対象物の３次元形状を計測する形状計測システムであって、対象物に所定のパターンを有する光を照射する投光手段と、撮像手段が対象物を撮像する位置を検出して、位置を特定する位置情報を生成する撮像位置特定手段と、位置情報と、位置情報により特定される位置において撮像された画像とに応じて、対象物を構成する各点の３次元座標を算出する３次元座標算出手段と、光が照射された対象物が少なくとも２つの異なる位置から撮像されることにより得られた各画像に基づいて３次元座標算出手段によりそれぞれ算出された各点に対する少なくとも２つの３次元座標に応じて、各点を一つの座標系における座標により表現し合成画像を生成する３次元形状合成手段とを備えたことを特徴とする形状計測システムを提供することにより達成される。
【０００７】
このような手段によれば、位置情報と撮像された画像とに応じて算出された３次元座標により、撮像された対象物の３次元形状が得られるため、簡易な構成により３次元形状を高精度に計測することができる。
【０００８】
ここで、該形状計測システムは、撮像手段の動作タイミングを制御する撮像制御手段と、撮像手段により得られたアナログ信号をデジタル信号へ変換する信号変換手段と、デジタル信号と３次元座標、及び３次元形状合成手段により生成された合成画像を記憶する記憶手段とをさらに備えたものとすることができる。
【０００９】
また、撮像手段により撮像された画像または合成画像のうち、少なくともいずれか一方に対して補間処理を実行する補間手段をさらに備えることとすれば、対象物のより高精度な３次元形状を得ることができる。
【００１０】
また、３次元形状合成手段により得られた対象物の座標と、光が照射されていないときに撮像手段により撮像された画像とに応じて、対象物の３次元画像を生成する３次元画像生成手段をさらに備えることにより、実際の対象物に付された模様等をも再現された３次元画像を得ることができる。
【００１１】
また、本発明の目的は、対象物の３次元形状を計測する形状計測システムであって、対象物を撮像すると共に、光学中心が異なる複数の撮像手段と、対象物に所定のパターンを有する光を照射する投光手段と、複数の撮像手段が対象物を撮像する位置を検出して、位置に対応する位置情報を生成する撮像位置特定手段と、光が照射された対象物が複数の撮像手段により撮像されることにより得られた複数の画像と、撮像位置特定手段により生成された位置情報とに応じて、画像毎に対象物を構成する各点の３次元座標を算出する３次元座標算出手段と、３次元座標算出手段により算出された各点に対する複数の３次元座標に応じて、各点を一つの座標系における座標により表現し合成画像を生成する３次元形状合成手段とを備えたことを特徴とする形状計測システムを提供することにより達成される。
【００１２】
このような手段によれば、複数の撮像手段により同時に複数の画像を得ることができるため、該複数の画像からそれぞれ３次元座標を算出して合成することにより、より高精度な３次元形状の計測を実現することができる。
【００１３】
ここで、各々が、対応する撮像手段の動作タイミングを制御する複数の撮像制御手段と、各々が、対応する撮像手段により得られたアナログ信号をデジタル信号へ変換する複数の信号変換手段と、複数の信号変換手段により得られたデジタル信号と、３次元座標算出手段により算出された３次元座標、及び３次元形状合成手段により生成された合成画像を記憶する記憶手段とをさらに備えたものとすることができる。
【００１４】
また、本発明の目的は、対象物を撮像する撮像装置とコンピュータとにより構成され、対象物の３次元形状を計測する形状計測システムであって、撮像装置は、対象物に所定のパターンを有する光を照射する投光手段と、撮像手段が対象物を撮像する位置を検出して、位置を特定する位置情報を生成する撮像位置特定手段とを備え、コンピュータは、撮像装置から供給された位置情報と、位置情報により特定される位置において撮像された画像とに応じて、対象物を構成する各点の３次元座標を算出する３次元座標算出手段と、光が照射された対象物が少なくとも２つの異なる位置から撮像されることにより得られた各画像に基づいて３次元座標算出手段によりそれぞれ算出された各点に対する少なくとも２つの３次元座標に応じて、各点を一つの座標系における座標により表現し合成画像を生成する３次元形状合成手段とを備えたことを特徴とする形状計測システムを提供することにより達成される。
【００１５】
このような手段によれば、撮像装置により得られた位置情報と画像とに応じて、コンピュータにより対象物を構成する各点の３次元座標が算出され、該３次元座標に応じて対象物の３次元形状が得られるため、対象物の３次元形状を高精度に計測することができる。
【００１６】
ここで、コンピュータは、３次元座標算出手段により算出された複数の３次元座標に対して補間処理を実行する補間手段をさらに備えたものとすることができる。
【００１７】
また、投光手段または撮像位置特定手段の少なくとも一方は、コンピュータにより制御されるものとすることもできる。
【００１８】
また、本発明の目的は、対象物を撮像する撮像手段を含む撮像装置であって、対象物に所定のパターンを有する光を照射する投光手段と、撮像手段が対象物を撮像する位置を検出して、位置を特定する位置情報を生成する撮像位置特定手段と、光に照射された対象物を撮像手段が撮像することにより得られた画像及び位置情報を記憶する記憶手段とを備えたことを特徴とする撮像装置を提供することにより達成される。
【００１９】
このような手段によれば、対象物の３次元形状を計測するために必要なデータを容易に得ることができる。
【００２０】
ここで、投光手段または撮像位置特定手段の少なくとも一方は、外部から供給される制御信号により制御されるようにしてもよい。
【００２１】
また、撮像手段は、さらに、光が照射されていない対象物を撮像することとすれば、対象物に付された模様等をも含めた再現画像を生成することができる。
【００２２】
また、本発明の目的は、対象物を撮像して対象物の３次元形状を計測する形状計測方法であって、対象物に所定のパターンを有する光を照射するステップと、対象物を撮像する位置を検出して、位置を特定する位置情報を生成するステップと、位置情報と、位置情報により特定される位置において撮像された画像とに応じて、対象物を構成する各点の３次元座標を算出するステップと、光が照射された対象物が少なくとも２つの異なる位置から撮像されることにより得られた各画像に基づいてそれぞれ算出された各点に対する少なくとも２つの３次元座標に応じて、各点を一つの座標系における座標により表現するステップとを含むことを特徴とする形状計測方法を提供することにより達成される。
【００２３】
このような手段によれば、位置情報と撮像された画像とに応じて算出された３次元座標により、撮像された対象物の３次元形状が計測されるため、３次元形状の高精度な計測を容易に実現することができる。
【００２４】
ここで、座標系における対象物の座標と、光が照射されていないときに撮像手段により撮像された画像とに応じて対象物の３次元画像を生成するステップをさらに含むこととすれば、対象物に付された模様などを含めて対象物に忠実な３次元再現画像を生成することができる。
【００２５】
また、本発明の目的は、対象物の３次元形状を計測する形状計測方法であって、対象物に所定のパターンを有する光を照射するステップと、光学中心が異なる複数の撮像手段により対象物を撮像するステップと、複数の撮像手段が対象物を撮像する各位置を検出して、各位置に対応する位置情報を生成するステップと、光が照射された対象物が複数の撮像手段により撮像されることにより得られた複数の画像と、生成された位置情報とに応じて、画像毎に対象物を構成する各点の３次元座標を算出するステップと、算出された各点に対する複数の３次元座標に応じて、各点を一つの座標系における座標により表現するステップとを含むことを特徴とする形状計測方法を提供することにより達成される。
【００２６】
このような手段によれば、複数の撮像手段により同時に撮像された複数の画像からそれぞれ３次元座標を算出し合成するため、より高度な３次元形状の計測を容易に実現することができる。
【００２７】
また、本発明の目的は、コンピュータによって対象物の３次元形状を計測するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、プログラムは、コンピュータに対し、所定のパターンを有する光が照射された対象物を撮像することにより得られた画像と、対象物を撮像した位置を特定する位置情報とに応じて、対象物を構成する各点の３次元座標を算出させ、光が照射された対象物が少なくとも２つの異なる位置から撮像されることにより得られた各画像に基づいてそれぞれ算出された各点に対する少なくとも２つの３次元座標に応じて、各点を一つの座標系における座標により表現させることを特徴とするコンピュータ読み取り可能な記録媒体を提供することにより達成される。
【００２８】
このような手段によれば、該記録媒体に記録されたプログラムがコンピュータにより実行されることによって、位置情報と撮像された画像とに応じた３次元座標が算出され、算出された該３次元座標により対象物の３次元形状が得られるため、容易に高精度な３次元形状の計測を実行することができる。
【００２９】
ここで、プログラムは、加速度センサに重力を基準として位置を特定する位置情報を生成させ、磁気センサに地磁気を基準として位置を特定する位置情報を生成させ、または、角速度センサに３次元座標の座標系を構成する各座標軸周りの回転角速度を検出させるものとすることができる。
【００３０】
また、プログラムはさらに、コンピュータに対し、一つの座標系における座標と、光が照射されていないときに撮像された画像とに応じて、対象物の３次元画像を生成させるものとすれば、対象物の表面における模様をも含めて再現された３次元画像を容易に得ることができる。
【００３１】
また、本発明の目的は、コンピュータによって対象物の３次元形状を計測するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、プログラムは、コンピュータに対し、所定のパターンを有する光が照射された対象物が複数の撮像手段で撮像された複数の画像と、複数の撮像手段が対象物を撮像したそれぞれの位置を特定する複数の位置情報とに応じて、画像毎に対象物を構成する各点の３次元座標を算出させ、算出された各点に対する複数の３次元座標に応じて、各点を一つの座標系における座標により表現させることを特徴とするコンピュータ読み取り可能な記録媒体を提供することにより達成される。
【００３２】
このような手段によれば、上記プログラムをコンピュータに実行させることにより、複数の撮像手段に対し対象物を同時に撮像させ、複数の画像を得ることができるため、該複数の画像からそれぞれ３次元座標を算出させて合成させることにより、より高度な３次元形状の計測を容易に実現することができる。
【００３３】
【発明の実施の形態】
以下において、本発明の実施の形態を図面を参照して詳しく説明する。なお、図中同一符号は同一又は相当部分を示す。
［実施の形態１］
図１は、本発明の実施の形態１に係る形状計測システムの構成を示すブロック図である。図１に示されるように、本実施の形態１に係る形状計測システム１は、ＭＰＵ（Micro-Processing Unit）３と、外部端子５と、絞り機構６と、相関二重サンプリング（Correlated Double Sampling−ＣＤＳ）回路７と、タイミング信号生成回路８と、ＩＰＰ（Image Pre-Processor）回路９と、レンズ１０と、ＣＣＤ等からなる撮像素子１１と、Ａ／Ｄ変換器１２と、画像メモリ１３と、パターン光照射部１４と、３Ｄ（３次元）位置算出部１５と、姿勢検出部１６と、３次元位置合成部１７とを備える。
【００３４】
ここで、ＣＤＳ回路７は撮像素子１１に接続され、Ａ／Ｄ変換器１２はＣＤＳ回路７に接続される。また、ＩＰＰ回路９はＡ／Ｄ変換器１２に接続され、画像メモリ１３はＩＰＰ回路９に接続される。また、３Ｄ位置算出部１５及び３次元位置合成部１７は画像メモリ１３に接続される。
【００３５】
また、撮像素子１１とＣＤＳ回路７及びＡ／Ｄ変換器１２は、タイミング信号生成回路８に接続される。さらに、外部端子５と絞り機構６、タイミング信号生成回路８、ＩＰＰ回路９、画像メモリ１３、３Ｄ位置算出部１５、３次元位置合成部１７、パターン光照射部１４、及び姿勢検出部１６がＭＰＵ３に接続される。
【００３６】
上記のような形状計測システム１においては、被写体（図示していない）を撮像する際、該撮像による被写体の像はレンズ１０及び絞り機構６により撮像素子１１上に結像される。そして、撮像素子１１で得られた画像信号は、ＣＤＳ回路７によりサンプリングされた後、Ａ／Ｄ変換器１２でデジタル信号化される。なお、このときの動作タイミングは、タイミング信号生成回路８から供給される信号により制御される。
【００３７】
このようにしてデジタル化された画像信号は、ＩＰＰ回路９によりアパーチャ補正などの画像処理やデータ圧縮が施され、画像メモリ１３に保存される。このとき、画像信号に対する種々の補正処理や圧縮処理をＭＰＵ３で実行するようにしてもよい。
【００３８】
また、パターン光照射部１４は、被写体に対してスリットパターンやドットパターン、あるいは濃淡グラデーションを有するようなパターン光を照射する。そして、このパターン光が照射された被写体を撮像することにより得られた画像を基に、３Ｄ位置算出部１５は被写体表面の点に対する３次元位置座標を算出する。
【００３９】
また、姿勢検出部１６は、該画像を撮像した時における形状計測システム１の姿勢（撮像位置や撮像角度など）を検出する。なお、上記姿勢は画像を撮像する度に検出するが、上記撮像位置や撮像角度などの情報は絶対的なものであっても良いし、ある視点を基準とした相対的なものであっても良い。
【００４０】
そして、３次元位置合成部１７は、姿勢検出部１６において得られた該姿勢に関する情報に応じて複数の上記画像を合成することにより、被写体の３次元形状を得ることとなる。なお、図１に示された各回路は、直接的または間接的にＭＰＵ３によって制御される。
【００４１】
また、上記のような構成を有する形状計測システム１は、図２に示されるように、一つの筐体に収納されることによって一体的にカメラ２を構成するようにすることができる。なお、図２に示されるように、カメラ２においては、フロッピー（登録商標）ディスク１７２などの可搬式記録媒体が着脱可能なものとすることができ、このようなカメラ２によれば、生成された３次元画像を該可搬式記録媒体に格納することができる。
【００４２】
以下において、図３のフローチャートを参照しつつ、上記形状計測システム１の動作をより具体的に説明する。まず、ステップＳ１においては、ユーザによる撮像指示の有無を判断し、該撮像指示があった場合にはステップＳ２へ進み、ない場合には該指示があるまで待機する。このとき、ユーザにより第一の視点においてレリーズボタン（手動式ボタン）が押されることにより、ステップＳ２へ進み、該被写体が撮像される。
【００４３】
ここで、まず被写体にはパターン光照射部１４から上記のようなパターン光が照射され、該パターン光が投影された被写体が撮像される。次に、該パターン光の照射をしない状態で該被写体が撮像される。なお、上記形状計測システム１においては、被写体を撮像する代わりに、予め得られた画像データを外部端子５を介して画像メモリ１３に入力してもよい。
【００４４】
そして次に、ステップＳ３へ進み、該撮像時の姿勢を検出し、被写体表面の点に対応する３次元位置座標を算出する。なお、該姿勢の検出方法については後に詳しく説明する。ここで、図４に示されるように、パターン光照射部１４による照射によりパターン光が投影された被写体２０を撮像することによって画像２１が得られる場合を仮定すると、図４に示された被写体表面上の点Ａに対応する３次元座標（Ａｘ，Ａｙ，Ａｚ）は、以下のように算出される。
【００４５】
パターン光が照射される向きを示すベクトル２３を（Ｐｘ，Ｐｙ，Ｐｚ）、レンズ１０の光軸と画像面とが交わる点を原点としたとき画像２１上における点Ａの像の位置座標を（Ｉｘ，Ｉｙ）、レンズ１０を含む撮像系の焦点距離をｆ、パターン光照射部１４と上記撮像系の光学中心との距離をｄとすると、三角測量の原理により次式により上記３次元座標（Ａｘ，Ａｙ，Ａｚ）が算出される。
【００４６】
【数１】
【００４７】
そして、上記のように、一つの被写体２０を複数の視点から撮像した後に、該被写体に対する撮像を終了する場合にはステップＳ５へ進み、さらに該被写体を撮像する場合にはステップＳ１へ戻る。
【００４８】
ステップＳ５では、３次元位置合成部１７が、姿勢検出部１６で検出された姿勢に関する情報に応じて、上記各視点毎に算出された３次元座標（３次元位置データ）を一つの座標系上で合成する。なお、この合成方法の具体例については後に詳しく説明する。
【００４９】
また、ステップＳ５においてはさらに、ステップＳ２においてパターン光の照射をしない状態で該被写体が撮像されることにより得られた画像が、上記合成により得られた３次元形状に対して合成される。これにより、該被写体の表面における模様を含めて再現された被写体の３次元画像を得ることができる。
【００５０】
以上が本実施の形態１に係る形状計測システム１の動作であるが、以下においては上記ステップＳ３における姿勢検出部１６の動作を詳しく説明する。まず、図５に示されるように、姿勢検出部１６は、直交する３軸方向における各加速度を測定する加速度センサを含む重力方向検出部１６ａと、該３軸方向における磁力を測定する磁気センサを含む重力周り角度検出部１６ｂと、姿勢算出部１６ｃとを備える。ここで、重力方向検出部１６ａはＭＰＵ３に接続され、重力周り角度検出部１６ｂは重力方向検出部１６ａに接続される。また、姿勢算出部１６ｃは重力方向検出部１６ａ及び重力周り角度検出部１６ｂに接続される。
【００５１】
なお、上記姿勢検出部１６はジャイロにより構成してもよいが、この場合については後述する。
【００５２】
まず最初に、重力方向検出部１６ａが３軸加速度センサにより構成され、重力周り角度検出部１６ｂが２軸磁気方位センサにより構成される例を説明する。ここでは、図６に示されるように重力方向がＹ軸とされたＸＹＺ基準座標系（絶対座標系）と、光軸がＷ軸とされたＵＶＷ撮像座標系とを定義し、基準座標系に対する撮像座標系の傾きをそれぞれ姿勢角θＵ , θＶ ，θＷ で表記する。
【００５３】
形状計測システム１の姿勢を特定する方法としては、まず基準座標系と撮像座標系とが一致する状態から形状計測システム１をＶ（Ｙ）軸周りにθＶだけ回転させ、次に撮像座標系を基準として形状計測システム１をＵ軸周りにθＵだけ回転させ、さらに撮像座標系を基準として形状計測システム１をＷ軸周りにθＷだけ回転させる方法がある。
【００５４】
ここで、上記のようなＶ軸、Ｕ軸、Ｗ軸の周りにおける回転を表す回転行列をそれぞれＲＶ , ＲＵ , ＲＷ で示すと、形状計測システム１の姿勢は次の行列により示される。
【００５５】
【数２】
【００５６】
【数３】
【００５７】
【数４】
【００５８】
【数５】
【００５９】
【数６】
【００６０】
【数７】
【００６１】
【数８】
【００６２】
【数９】
【００６３】
【数１０】
【００６４】
【数１１】
【数１２】
【００６６】
以上のような方法によって式（２）として示された行列Ｒが求められ、形状計測システム１の撮像姿勢を特定する情報が得られたことになる。
【００６７】
以下において、３軸加速度センサと３軸磁気方位センサを用いた例について説明する。なお、座標系の定義と姿勢角θＵ , θＷ の導出については上記と同様である。但し、地磁気の伏角は未知であるものとしてよく、地磁気ベクトルは以下の行列Ｄで示される。
【００６８】
【数１３】
【００６９】
【数１４】
【００７０】
【数１５】
【００７１】
【数１６】
【００７２】
【数１７】
【００７３】
すなわち、改めて図６に示されたＸ軸周りの回転角をα、Ｙ軸周りの回転角をβ、Ｚ軸周りの回転角をγと表すと、ジャイロにより以下のような回転角速度ベクトルＪが測定される。
【００７４】
【数１８】
【００７５】
【数１９】
【００７６】
次に、図３のステップＳ５における３次元位置データの合成動作を詳しく説明する。図７は、該合成動作を模式的に示す図である。なお、ここでは図７に示されるように、円柱状の被写体２０の３次元形状を計測する場合を一例として説明する。
【００７７】
図７（ｂ）は、図７（ａ）に示される視点（撮像の向き）ＤＢから被写体２０を撮像し、被写体表面の各点に対応する３次元座標を算出して、算出された該座標を所定の３次元座標系において表示した点群２７を示す図である。また同様に図７（ｃ）は、図７（ａ）に示される視点（撮像の向き）ＤＣから被写体２０を撮像し、被写体表面の各点に対応する３次元座標を算出して、算出された該座標を上記３次元座標系において表示した点群２８を示す図である。
【００７８】
ここで、図７（ｂ）や図７（ｃ）に示されるように、撮像方向により例えば被写体２０の側面における裏側や上面及び下面が、該撮像に際して死角となるため、得られた各点群２７，２８によっては、該被写体２０の形状を特定することができない。従って、図７（ｄ）に示されるように、図７（ｂ）及び図７（ｃ）に示された点群２７，２８を同一の座標系において合成することにより、被写体２０の３次元形状を特定できる点群２９を得ることができる。
【００７９】
ここで、多数の視点から被写体を撮像すればする程、被写体表面の点に対応する上記点群が多数得られることになるため、より完全な該被写体の３次元形状を得ることができる。
【００８０】
以下において、上記のような合成動作をより詳しく説明する。なお、以下においては、図７（ａ）に示された視点ＤＢと視点ＤＣから被写体２０を撮像することにより得られた二組の３次元位置データを合成する例を説明するが、三組以上の３次元位置データを合成する場合も同様である。
【００８１】
視点ＤＢからの撮像に関して、基準となる姿勢からの図６に示されたＸＹＺ軸周りの回転角度（Ｂｘ，Ｂｙ，Ｂｚ）が与えられていたとすると、該基準姿勢から視点ＤＢの姿勢に座標変換するための回転行列ＲＢは次式（２０）により示される。
【００８２】
【数２０】
【００８３】
また同様に、視点ＤＣからの撮像に関して、基準となる姿勢からの図６に示されたＸＹＺ軸周りの回転角度（Ｃｘ，Ｃｙ，Ｃｚ）が与えられていたとすると、該基準姿勢から視点ＤＣの姿勢に座標変換するための回転行列ＲＣは次式（２１）により示される。
【００８４】
【数２１】
【００８５】
【数２２】
【００８６】
そこで、視点ＤＢと視点ＤＣから撮像することにより得られた二つの画像間において、対応する点を見出す。例えば、図８（ａ）及び図８（ｂ）に示された両画像において、該対応する点として点ＤＤ１と点ＤＤ２、点ＤＥ１と点ＤＥ２を見出すことができる。
【００８７】
ここで、上記各点に対しては、視点ＤＢあるいは視点ＤＣにおける撮像座標系での３次元座標がそれぞれ求められているが、視点ＤＢの撮像座標系における３次元座標を上記行列ＲＲにより座標変換することにより回転成分のずれを除去した後の３次元空間上での位置のずれが、必要なシフト量（並進移動量）となる。すなわち、視点ＤＢ及び視点ＤＣにおける撮像座標系でのある対応点の位置座標をそれぞれｂ及びｃとすると、上記シフト量ｓはｓ＝（ＲＲ・ｂ）−ｃにより求められる。
【００８８】
なお、全ての上記対応点におけるシフト量ｓは、全て同じベクトル量になるはずであるが、ノイズや誤った対応点の採取により異なる値を示す場合が多い。従って、各対応点について算出される上記シフト量の平均が該視点ＤＢ，ＤＣ間の並進成分とされる。また、このような平均化の代わりに、正常な対応関係が得られない可能性が高い対応点から算出されるシフト量を並進成分としてもよい。
【００８９】
そして、一方の撮像座標系における全３次元座標を、求められたシフト量だけシフトさせ、上記のように両撮像座標系の３次元座標を一つの座標系上で合成する。このとき、対応点同士が完全に重ならない場合には、該対応点の重心位置（対応点が２点である場合には中点）を最終的な３次元座標とすることにより、該被写体の３次元形状を高精度に得ることができる。
【００９０】
なお、上記のような形状計測システム１は、図９に示されるように、カメラ４とパーソナルコンピュータＰＣとにより構成することもできる。すなわち、図１０に示されるように、図１に示された３Ｄ位置算出部１５や３次元位置合成部１７を除く部分を一つの筐体に収納してカメラ４を構成すると共に、上記３Ｄ位置算出部１５や３次元位置合成部１７は、該カメラ４とは別個独立なパーソナルコンピュータＰＣに備えることとしてもよい。
【００９１】
このような構成による形状計測システムにおいては、まず画像信号及び撮像姿勢を示す情報がカメラ４により取得され、画像メモリ１３に格納される。そして、画像メモリ１３に格納された画像信号及び撮像姿勢を示す情報がスマートメディア（登録商標）などの可搬式記録媒体に記録されるため、該可搬式記録媒体を該パーソナルコンピュータＰＣに装着することにより、メモリ／通信インタフェース部１９に該信号及び情報が取り込まれる。なお、上記のように可搬式記録媒体によらず、画像メモリ１３から図示していない通信手段によって、パーソナルコンピュータＰＣのメモリ／通信インタフェース部１９へ該信号及び情報を無線送信するようにしても良い。
【００９２】
従って、図９及び図１０に示された形状計測システムにおいては、パーソナルコンピュータＰＣが、メモリ／通信インタフェース部１９に取り込まれた該信号及び情報に応じて、被写体の表面を構成する各点に対応した３次元座標を算出し、該被写体の３次元画像を生成する。
【００９３】
また、図１０に示された形状計測システムにおいては、カメラ４に含まれたパターン光照射部１４及び姿勢検出部１６は、カメラ４に含まれたＭＰＵ３により制御されるが、図１１に示されるようにパーソナルコンピュータＰＣから供給される制御信号により制御されるようにしても良い。
【００９４】
一方、上記のような形状計測システム１の動作は、ソフトウェアにより実現しても良い。すなわち、該動作はコンピュータプログラムとして記述でき、該プログラムをＭＰＵ３が実行することにより、上記動作が容易に実現される。このとき、該プログラムはＣＤ−ＲＯＭ１７１等の記録媒体に記録され、図１２に示されるように、パーソナルコンピュータＰＣに該記録媒体を装着することによって、該プログラムがＭＰＵ３により読み込まれ実行される。
【００９５】
以上より、本発明の実施の形態１に係る形状計測システム１によれば、被写体を撮像する際の姿勢（視点）が姿勢検出部１６で検出され、検出された該姿勢と撮像により得られた画像とに応じて、該被写体の３次元形状を得ることができるため、小型で低コストの形状計測システムを提供することができる。
【００９６】
また、図２に示されたカメラ２によれば、被写体の周囲を手で移動させつつ撮像することにより、該被写体の３次元形状を得ることができるため、いかなる被写体に対しても容易に３次元形状を計測することができる。
［実施の形態２］
図１３は、本発明の実施の形態２に係る形状計測システムの構成を示すブロック図である。図１３に示されるように、本実施の形態２に係る形状計測システム３５は、図１に示された実施の形態１に係る形状計測システム１と同様な構成を有するが、補間処理部５０をさらに備える点で相違するものである。
【００９７】
ここで、補間処理部５０は、ＭＰＵ３により制御され画像メモリ１３に接続される。
【００９８】
上記のような構成を有する本実施の形態２に係る形状計測システム３５は、図１に示された実施の形態１に係る形状計測システム１と同様に動作するが、以下において補間処理部５０の動作を説明する。
【００９９】
被写体を撮像することにより得られた上記３次元位置データは、該データが示される３次元座標系において必ずしも必要な空間解像度で存在しているとは限らない。そこで、例えば図１４（ａ）に示されるように点群２７が得られている場合には、図１４（ｂ）に示されるように、該３次元座標系において該点群がより密になるよう補間点３７を追加する。
【０１００】
ここで、該補間の方法については、該点群を結ぶ近似曲線を求めるためにスプライン関数を用いるなどといった従来の方法を採用することができる。
【０１０１】
また一方、上記補間処理部５０は、以下のような補正処理も行うことができるものとすることができる。すなわち、図１５（ａ）に示されるように、得られた画像３９に含まれる点群の一部において他の点群と明らかに離散した誤処理点ＰＦが見出された場合には、ユーザはモニタ上におけるマウス操作により該誤処理点ＰＦをポインタ（図中矢印で示す）で指定し、図１５（ｂ）に示されるように該ポインタを所望の位置に移動し、あるいは消去することにより、該誤処理点ＰＦを補正する。そしてこのような補正処理を施すことにより、図１５（ｂ）に示された適正な画像４１を得ることができる。
【０１０２】
なお、上記のような補正処理は、上記補間処理の前に実行されることが望ましい。
【０１０３】
また、上記補間処理部５０は、他の構成部分と共に一つの筐体に収納され一体としてカメラを構成してもよいし、図１６に示されるように、パーソナルコンピュータＰＣの中で３Ｄ位置算出部１５と３次元位置合成部１７との間に備えられても良い。
【０１０４】
以上より、本実施の形態２に係る形状計測システム３５によれば、上記実施の形態１に係る形状計測システム１と同様な効果を奏すると共に、補間処理部５０により３次元位置データが補間され、あるいは補正されるため、さらに高精度な被写体の３次元形状を得ることができる。
【０１０５】
また、本実施の形態２に係る形状計測システム３５によれば、上記のような補間が可能であることから、被写体に所定のパターンを投影するパターン光照射部１４の構成を簡易にすることができるため、形状計測システムをより小型化することができる。
【０１０６】
さらに、本実施の形態２に係る形状計測システム３５によれば、上記のような補正が可能であることから、該形状システム３５を手で持った状態で被写体を撮像するような場合に生じる手ぶれ等の影響を回避することができ、該被写体のより正確な３次元形状を得ることができる。
【０１０７】
なお、上記のような形状計測システム３５の動作は、ソフトウェアにより実現しても良い点は、上記実施の形態１に係る形状計測システム１と同様である。
［実施の形態３］
図１７は、本発明の実施の形態３に係る形状計測システムの構成を示すブロック図である。図１７に示されるように、本実施の形態３に係る形状計測システム４５は、図１に示された実施の形態１に係る形状計測システム１と同様な構成を有するが、レンズ１０ａと、絞り機構６ａと、撮像素子１１ａと、ＣＤＳ回路７ａと、Ａ／Ｄ変換器１２ａと、タイミング信号生成回路８ａと、ＩＰＰ回路９ａをさらに備える点で相違する。ここで、絞り機構６ａとタイミング生成回路８ａ、及びＩＰＰ回路９ａはＭＰＵ３により制御され、撮像素子１１ａとＣＤＳ回路７ａ及びＡ／Ｄ変換器１２ａは、タイミング信号生成回路８ａから供給される信号に応じて動作する。また、ＩＰＰ回路９ａは画像メモリ１８に接続される。
【０１０８】
上記のように、本実施の形態３に係る形状計測システム４５においては、レンズとＣＣＤ等からなる二つの撮像系が、それらの光学中心が異なるように備えられる。なお、該光学中心の位置のずれや光軸相互の角度におけるずれは、予め正確に求められる。
【０１０９】
上記のような構成を有する本実施の形態３に係る形状計測システム４５は、上記実施の形態１に係る形状計測システム１と同様に動作するが、一つの視点において被写体を一度撮像する（シャッタを切る）ことにより、レンズ１０及びレンズ１０ａを介して二つの画像を得ることができるため、一度の撮像により二組の３次元位置データを得ることができる。
【０１１０】
従って、本実施の形態３に係る形状計測システム４５によれば、上記のようにして得られた複数の全３次元位置データを一つの座標系において合成することにより、最終的に得られる被写体の３次元形状を高精度化することができる。
【０１１１】
なお、上記においては、該撮像系が二つの場合を例示したが、本発明の実施の形態に係る形状計測システムにおいては、該撮像系を三つ以上備えるものも同様に考えることができる。
【０１１２】
また、上記のような形状計測システム４５の動作は、ソフトウェアにより実現できる点は、上記実施の形態１及び２に係る形状計測システム１，３５と同様である。
【０１１３】
【発明の効果】
上述の如く、本発明に係る形状計測システムによれば、位置情報と撮像された画像とに応じて算出された３次元座標により、撮像された対象物の３次元形状を得ることによって、簡易な構成により３次元形状を高精度に計測することができるため、形状計測システムを小型化することによる計測の容易化と、信頼性の向上が図られた形状計測システムを提供することができる。
【０１１４】
また、補間処理を実行する補間手段をさらに備えることとすれば、対象物のより高精度な３次元形状を得ることができる。
【０１１５】
また、光が照射されていないときに撮像手段により撮像された画像に応じて、対象物の３次元画像を生成すれば、実際の対象物に付された模様等をも再現された３次元画像を得ることができるため、より再現性の高い対象物の３次元画像を得ることができる。
【０１１６】
また、本発明に係る形状計測システムによれば、複数の撮像手段により同時に複数の画像を得ることができるため、該複数の画像からそれぞれ３次元座標を算出して合成することにより、より高精度な３次元形状の計測を実現することができ、形状計測システムの信頼性を高めることができる。
【０１１７】
また、上記システムは、対象物を撮像する撮像装置とコンピュータとにより構成することもでき、このようなシステムにおいては、該コンピュータの性能を生かすことによって、より高精度な３次元画像を生成することができる。
【０１１８】
また、本発明に係る撮像装置によれば、対象物の３次元形状を計測するために必要なデータを容易に得ることができる。
【０１１９】
また、本発明に係る形状計測方法によれば、位置情報と撮像された画像とに応じて算出された３次元座標により、撮像された対象物の３次元形状が計測されるため、３次元形状の高精度な計測を容易に実現することができる。
【０１２０】
また、本発明に係るコンピュータ読み取り可能な記録媒体によれば、該記録媒体に記録されたプログラムをコンピュータにより実行することによって、３次元形状の高精度な計測、あるいは高精度な３次元画像の生成をソフトウェアにより容易に実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る形状計測システムの構成を示すブロック図である。
【図２】図１に示された形状計測システムを内蔵したカメラの外観を示す図である。
【図３】図１に示された形状計測システムの動作を説明するフローチャートである。
【図４】図１に示された形状計測システムによる撮像動作を説明する図である。
【図５】図１に示された姿勢検出部の構成を示すブロック図である。
【図６】図１に示された形状計測システムによる姿勢角算出動作を説明する図である。
【図７】図１に示された形状計測システムによる３次元座標の合成動作を説明する第一の図である。
【図８】図１に示された形状計測システムによる３次元座標の合成動作を説明する第二の図である。
【図９】図１に示された形状計測システムをパーソナルコンピュータ及びカメラにより構成した例を示す図である。
【図１０】図９に示されたパーソナルコンピュータ及びカメラの構成を示すブロック図である。
【図１１】図１に示された形状計測システムをパーソナルコンピュータ及びカメラにより構成した他の例を示す図である。
【図１２】本発明の実施の形態１に係る形状計測方法を実現するためのパーソナルコンピュータを示す図である。
【図１３】本発明の実施の形態２に係る形状計測システムの構成を示すブロック図である。
【図１４】図１３に示された形状計測システムによる補間処理を説明する図である。
【図１５】図１３に示された形状計測システムによる補正処理を説明する図である。
【図１６】図１３に示された形状計測システムをパーソナルコンピュータ及びカメラにより構成した例を示す図である。
【図１７】本発明の実施の形態３に係る形状計測システムの構成を示すブロック図である。
【符号の説明】
１，３５，４５ 形状計測システム
２，４ カメラ
３ ＭＰＵ（Micro-Processing Unit）
５ 外部端子
６，６ａ 絞り機構
７，７ａ 相関二重サンプリング（Correlated Double Sampling−ＣＤＳ）回路
８，８ａ タイミング信号生成回路
９，９ａ ＩＰＰ（Image Pre-Processor）回路
１０，１０ａ レンズ
１１，１１ａ 撮像素子
１２，１２ａ Ａ／Ｄ変換器
１３，１８ 画像メモリ
１４ パターン光照射部
１５ ３Ｄ位置算出部
１６ 姿勢検出部
１６ａ 重力方向検出部
１６ｂ 重力周り角度検出部
１６ｃ 姿勢算出部
１７ ３次元位置合成部
１９ メモリ／通信インタフェース部
２０ 被写体
２１，３９，４１ 画像
２３，２５ ベクトル
２７，２８，２９ 点群
３７ 補間点
５０ 補間処理部
５１ 水平面
１７１ ＣＤ−ＲＯＭ
１７２ フロッピーディスク
ＰＣ パーソナルコンピュータ
Claims (20)
- 対象物を撮像する撮像手段を含み、前記対象物の３次元形状を計測する形状計測システムであって、
前記対象物に所定のパターンを有する光を照射する投光手段と、
前記撮像手段の重力方向を検出する加速度センサと、
前記撮像手段の重力回りの角度を検出する磁気センサと、
前記加速度センサを用いて検出した前記重力方向と前記磁気センサを用いて検出した前記重力回りの角度とに基づいて、前記撮像手段が前記対象物を撮像する位置を特定する位置情報の回転成分を検出する回転成分検出手段と、
前記回転成分と、前記位置において撮像された画像に基づいて、前記対象物を構成する各点の３次元座標を算出する３次元座標算出手段と、
前記光が照射された前記対象物が少なくとも２つの異なる位置から撮像されることにより得られた各画像に基づいて前記３次元座標算出手段によりそれぞれ算出された前記各点に対する少なくとも２つの前記３次元座標と前記回転成分とに基づいて、前記位置情報の並進成分を算出し、前記並進成分に基づいて前記各点を一つの座標系における座標により表現し合成画像を生成する３次元形状合成手段とを備えたことを特徴とする形状計測システム。 - 前記撮像手段の動作タイミングを制御する撮像制御手段と、
前記撮像手段により得られたアナログ信号をデジタル信号へ変換する信号変換手段と、
前記デジタル信号と前記３次元座標、及び前記３次元形状合成手段により生成された前記合成画像を記憶する記憶手段とをさらに備えた請求項１に記載の形状計測システム。 - 前記撮像手段により撮像された前記画像または前記合成画像のうち、少なくともいずれか一方に対して補間処理を実行する補間手段をさらに備えた請求項２に記載の形状計測システム。
- 前記３次元形状合成手段により得られた前記対象物の座標と、光が照射されていないときに前記撮像手段により撮像された画像とに応じて、前記対象物の３次元画像を生成する３次元画像生成手段をさらに備えた請求項１に記載の形状計測システム。
- 対象物の３次元形状を計測する形状計測システムであって、
前記対象物を撮像すると共に、光学中心が異なる複数の撮像手段と、
前記撮像手段の重力方向を検出する加速度センサと、
前記撮像手段の重力回りの角度を検出する磁気センサと、
前記対象物に所定のパターンを有する光を照射する投光手段と、
前記加速度センサを用いて検出した前記重力方向と前記磁気センサを用いて検出した前記重力回りの角度とに基づいて、前記複数の撮像手段が前記対象物を撮像する位置を特定する位置情報の回転成分を検出する回転成分検出手段と、
前記光が照射された前記対象物が前記複数の撮像手段により撮像されることにより得られた複数の画像と、前記回転成分とに応じて、前記画像毎に前記対象物を構成する各点の３次元座標を算出する３次元座標算出手段と、
前記３次元座標算出手段により算出された前記各点に対する複数の前記３次元座標と前記回転成分とに基づいて、前記位置情報の並進成分を算出し、前記並進成分に基づいて前記各点を一つの座標系における座標により表現し合成画像を生成する３次元形状合成手段とを備えたことを特徴とする形状計測システム。 - 各々が、対応する前記撮像手段の動作タイミングを制御する複数の撮像制御手段と、
各々が、対応する前記撮像手段により得られたアナログ信号をデジタル信号へ変換する複数の信号変換手段と、
前記複数の信号変換手段により得られたデジタル信号と、前記３次元座標算出手段により算出された前記３次元座標、及び前記３次元形状合成手段により生成された前記合成画像を記憶する記憶手段とをさらに備えた請求項５に記載の形状計測システム。 - 対象物を撮像する撮像装置とコンピュータとにより構成され、前記対象物の３次元形状を計測する形状計測システムであって、
前記撮像装置は、前記対象物に所定のパターンを有する光を照射する投光手段と、
前記撮像装置の重力方向を検出する加速度センサと、
前記撮像装置の重力回りの角度を検出する磁気センサと、
前記加速度センサを用いて検出した前記重力方向と前記磁気センサを用いて検出した前記重力回りの角度とに基づいて、前記撮像手段が前記対象物を撮像する位置を特定する位置情報の回転成分を検出する回転成分検出手段とを備え、
前記コンピュータは、前記撮像装置から供給された前記位置情報の回転成分と、前記位置において撮像された画像とに応じて、前記対象物を構成する各点の３次元座標を算出する３次元座標算出手段と、
前記光が照射された前記対象物が少なくとも２つの異なる位置から撮像されることにより得られた各画像に基づいて前記３次元座標算出手段によりそれぞれ算出された前記各点に対する少なくとも２つの前記３次元座標と前記回転成分とに基づいて、前記位置情報の並進成分を算出し、前記並進成分に基づいて前記各点を一つの座標系における座標により表現し合成画像を生成する３次元形状合成手段とを備えたことを特徴とする形状計測システム。 - 前記コンピュータは、前記３次元座標算出手段により算出された複数の前記３次元座標に対して補間処理を実行する補間手段をさらに備えた請求項７に記載の形状計測システム。
- 前記投光手段または前記回転成分特定手段の少なくとも一方は、前記コンピュータにより制御される請求項７に記載の形状計測システム。
- 対象物を撮像する撮像手段を含む撮像装置であって、
前記対象物に所定のパターンを有する光を照射する投光手段と、
前記撮像手段の重力方向を検出する加速度センサと、
前記撮像手段の重力回りの角度を検出する磁気センサと、
前記加速度センサを用いて検出した前記重力方向と前記磁気センサを用いて検出した前記重力回りの角度とに基づいて、前記撮像手段が前記対象物を撮像する位置を特定する位置情報の回転成分を検出する回転成分検出手段と、
前記光に照射された前記対象物を前記撮像手段が撮像することにより得られた画像及び前記位置情報を記憶する記憶手段とを備えたことを特徴とする撮像装置。 - 前記投光手段または前記回転成分特定手段の少なくとも一方は、外部から供給される制御信号により制御される請求項１０に記載の撮像装置。
- 前記撮像手段は、さらに、前記光が照射されていない前記対象物を撮像する請求項１０に記載の撮像装置。
- 対象物を撮像して前記対象物の３次元形状を計測する形状計測方法であって、
前記対象物に所定のパターンを有する光を照射するステップと、
前記対象物を撮像する撮像手段に備えられた加速度センサによって前記撮像手段の重力方向を検出するステップと、
前記撮像手段に備えられた磁気センサによって前記撮像手段の重力回りの角度を検出するステップと、
前記重力方向と前記重力回りの角度とに基づいて、前記撮像手段が前記対象物を撮像する位置を特定する位置情報の回転成分を検出するステップと、
前記位置情報の回転成分と、前記位置において撮像された画像とに応じて、前記対象物を構成する各点の３次元座標を算出するステップと、
前記光が照射された前記対象物が少なくとも２つの異なる位置から撮像されることにより得られた各画像に基づいてそれぞれ算出された前記各点に対する少なくとも２つの前記３次元座標と前記回転成分とに基づいて、前記位置情報の並進成分を算出し、前記並進成分に基づいて前記各点を一つの座標系における座標により表現するステップとを含むことを特徴とする形状計測方法。 - 前記座標系における前記対象物の座標と、光が照射されていないときに前記撮像手段により撮像された画像とに応じて、前記対象物の３次元画像を生成するステップをさらに含む請求項１３に記載の形状計測方法。
- 対象物の３次元形状を計測する形状計測方法であって、
前記対象物に所定のパターンを有する光を照射するステップと、
光学中心が異なる複数の撮像手段により前記対象物を撮像するステップと、
前記撮像手段に備えられた加速度センサによって前記撮像手段の重力方向を検出するステップと、
前記撮像手段に備えられた磁気センサによって前記撮像手段の重力回りの角度を検出するステップと、
前記重力方向と前記重力回りの角度とに基づいて、前記複数の撮像手段が前記対象物を撮像する位置を特定する位置情報の回転成分を検出するステップと、
前記光が照射された前記対象物が前記複数の撮像手段により撮像されることにより得られた複数の画像と、生成された前記位置情報の回転成分とに応じて、前記画像毎に前記対象物を構成する各点の３次元座標を算出するステップと、
算出された前記各点に対する複数の前記３次元座標と前記回転成分とに基づいて、前記位置情報の並進成分を算出し、前記並進成分に基づいて前記各点を一つの座標系における座標により表現するステップとを含むことを特徴とする形状計測方法。 - コンピュータによって対象物の３次元形状を計測するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記プログラムは、
前記コンピュータに対し、所定のパターンを有する光が照射された前記対象物を撮像することにより得られた画像と、前記対象物を撮像する撮像手段に備えられた加速度センサによって検出される前記撮像手段の重力方向と前記撮像手段に備えられた磁気センサによって検出される前記撮像手段の重力回りの角度とに基づいて特定される前記対象物を撮像した位置を特定する位置情報の回転成分とに応じて、前記対象物を構成する各点の３次元座標を算出させ、
前記光が照射された前記対象物が少なくとも２つの異なる位置から撮像されることにより得られた各画像に基づいてそれぞれ算出された前記各点に対する少なくとも２つの前記３次元座標と前記回転成分とに基づいて、前記位置情報の並進成分を算出し、前記並進成分に基づいて前記各点を一つの座標系における座標により表現させることを特徴とするコンピュータ読み取り可能な記録媒体。 - 前記プログラムは、
加速度センサに重力を基準として前記位置を特定する前記位置情報を生成させ、
磁気センサに地磁気を基準として前記位置を特定する前記位置情報を生成させる請求項１６に記載のコンピュータ読み取り可能な記録媒体。 - 前記プログラムは、
角速度センサに前記３次元座標の座標系を構成する各座標軸周りの回転角速度を検出させる請求項１６に記載のコンピュータ読み取り可能な記録媒体。 - 前記プログラムはさらに、
前記コンピュータに対し、前記一つの座標系における座標と、光が照射されていないときに撮像された画像とに応じて、前記対象物の３次元画像を生成させる請求項１６に記載のコンピュータ読み取り可能な記録媒体。 - コンピュータによって対象物の３次元形状を計測するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記プログラムは、
前記コンピュータに対し、所定のパターンを有する光が照射された前記対象物が複数の撮像手段で撮像された複数の画像と、前記撮像手段に備えられた加速度センサによって検出される前記撮像手段の重力方向と前記撮像手段に備えられた磁気センサによって検出される前記撮像手段の重力回りの角度とに基づいて特定される前記複数の撮像手段が前記対象物を撮像したそれぞれの位置を特定する複数の位置情報の回転成分とに応じて、前記画像毎に前記対象物を構成する各点の３次元座標を算出させ、
算出された前記各点に対する複数の前記３次元座標と前記回転成分とに基づいて、前記位置情報の並進成分を算出し、前記並進成分に基づいて前記各点を一つの座標系における座標により表現させることを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000240470A JP4010753B2 (ja) | 2000-08-08 | 2000-08-08 | 形状計測システムと撮像装置と形状計測方法及び記録媒体 |
| US09/920,762 US7310154B2 (en) | 2000-08-08 | 2001-08-03 | Shape measurement system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000240470A JP4010753B2 (ja) | 2000-08-08 | 2000-08-08 | 形状計測システムと撮像装置と形状計測方法及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002054912A JP2002054912A (ja) | 2002-02-20 |
| JP4010753B2 true JP4010753B2 (ja) | 2007-11-21 |
Family
ID=18731823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000240470A Expired - Fee Related JP4010753B2 (ja) | 2000-08-08 | 2000-08-08 | 形状計測システムと撮像装置と形状計測方法及び記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7310154B2 (ja) |
| JP (1) | JP4010753B2 (ja) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100623080B1 (ko) * | 2002-12-10 | 2006-09-11 | 주식회사 애트랩 | 움직임 값의 정확도가 개선된 광마우스 및 그 제어방법 |
| DE10304111B4 (de) * | 2003-01-31 | 2011-04-28 | Sirona Dental Systems Gmbh | Aufnahmeverfahren für ein Bild eines Aufnahmeobjekts |
| DE10319099B4 (de) | 2003-04-28 | 2005-09-08 | Steinbichler Optotechnik Gmbh | Verfahren zur Interferenzmessung eines Objektes, insbesondere eines Reifens |
| WO2004109229A2 (en) * | 2003-06-11 | 2004-12-16 | Solvision | 3d and 2d measurement system and method with increased sensitivity and dynamic range |
| EP1677177A1 (en) * | 2004-12-29 | 2006-07-05 | STMicroelectronics S.r.l. | Pointing device for a computer system with automatic detection of the state of motion, and a relative control method |
| US8082120B2 (en) * | 2005-03-11 | 2011-12-20 | Creaform Inc. | Hand-held self-referenced apparatus for three-dimensional scanning |
| EP2230482B1 (en) * | 2005-03-11 | 2013-10-30 | Creaform Inc. | Auto-referenced system and apparatus for three-dimensional scanning |
| US8366641B2 (en) * | 2005-11-18 | 2013-02-05 | Cardiac Pacemakers, Inc. | Posture detector calibration and use |
| JP4315169B2 (ja) * | 2006-06-15 | 2009-08-19 | コニカミノルタセンシング株式会社 | 三次元形状測定システム |
| JP5485889B2 (ja) | 2007-08-17 | 2014-05-07 | レニショウ パブリック リミテッド カンパニー | 位相解析測定を行う装置および方法 |
| EP2277001B1 (en) * | 2008-05-16 | 2018-01-24 | Ultra Electronics Forensic Technology Inc. | Method and system for positioning an object on an optical sensor system for acquiring a topography thereof |
| CA2731680C (en) * | 2008-08-06 | 2016-12-13 | Creaform Inc. | System for adaptive three-dimensional scanning of surface characteristics |
| JP4856222B2 (ja) * | 2009-08-28 | 2012-01-18 | 照明 與語 | ３次元形状測定方法 |
| GB0915904D0 (en) | 2009-09-11 | 2009-10-14 | Renishaw Plc | Non-contact object inspection |
| EP2400261A1 (de) * | 2010-06-21 | 2011-12-28 | Leica Geosystems AG | Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche |
| JP5563930B2 (ja) * | 2010-08-27 | 2014-07-30 | 倉敷紡績株式会社 | 非接触三次元計測装置及び非接触三次元計測方法 |
| EP2527784A1 (de) * | 2011-05-19 | 2012-11-28 | Hexagon Technology Center GmbH | Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche |
| US20130120361A1 (en) * | 2011-11-16 | 2013-05-16 | Industrial Technology Research Institute | Spatial 3d interactive instrument |
| CN110435812A (zh) * | 2012-05-30 | 2019-11-12 | 赛创尼克株式会社 | 通过对海洋结构物的实时测量监视的控制方法 |
| US8937657B2 (en) * | 2012-07-15 | 2015-01-20 | Erik Klass | Portable three-dimensional metrology with data displayed on the measured surface |
| KR102048361B1 (ko) * | 2013-02-28 | 2019-11-25 | 엘지전자 주식회사 | 거리 검출 장치, 및 이를 구비하는 영상처리장치 |
| ITTO20130202A1 (it) * | 2013-03-15 | 2014-09-16 | Torino Politecnico | Dispositivo e sistema di scansione tridimensionale, e relativo metodo. |
| JP6006179B2 (ja) * | 2013-06-20 | 2016-10-12 | 株式会社パスコ | データ解析装置、データ解析方法、及びプログラム |
| CN103837094B (zh) * | 2014-03-11 | 2016-06-15 | 四川大学 | 一种降低摄像机多路径效应影响的相位融合方法 |
| US10445898B2 (en) * | 2016-02-05 | 2019-10-15 | Sony Corporation | System and method for camera calibration by use of rotatable three-dimensional calibration object |
| US10445894B2 (en) * | 2016-05-11 | 2019-10-15 | Mitutoyo Corporation | Non-contact 3D measuring system |
| DE102016011718B4 (de) | 2016-09-30 | 2022-12-15 | Michael Pauly | Verfahren und Vorrichtung zum Bestimmen einer statischen Größe eines Objekts |
| DE102017107341B4 (de) * | 2017-04-05 | 2018-10-31 | Testo SE & Co. KGaA | Verfahren und Vorrichtung zur Bestimmung einer geometrischen Messgröße eines Objektes |
| JP2019100995A (ja) * | 2017-12-08 | 2019-06-24 | 株式会社トプコン | 測量画像表示制御装置、測量画像表示制御方法および測量画像表示制御用プログラム |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4657394A (en) * | 1984-09-14 | 1987-04-14 | New York Institute Of Technology | Apparatus and method for obtaining three dimensional surface contours |
| US5175601A (en) * | 1991-10-15 | 1992-12-29 | Electro-Optical Information Systems | High-speed 3-D surface measurement surface inspection and reverse-CAD system |
| JPH05149727A (ja) | 1991-11-28 | 1993-06-15 | Mitsubishi Heavy Ind Ltd | 三次元形状認識装置 |
| EP0631250B1 (en) * | 1993-06-21 | 2002-03-20 | Nippon Telegraph And Telephone Corporation | Method and apparatus for reconstructing three-dimensional objects |
| US5852672A (en) * | 1995-07-10 | 1998-12-22 | The Regents Of The University Of California | Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects |
| EP0838068B1 (en) * | 1995-07-10 | 2005-10-26 | Sarnoff Corporation | Method and system for rendering and combining images |
| US6640004B2 (en) * | 1995-07-28 | 2003-10-28 | Canon Kabushiki Kaisha | Image sensing and image processing apparatuses |
| US6141105A (en) * | 1995-11-17 | 2000-10-31 | Minolta Co., Ltd. | Three-dimensional measuring device and three-dimensional measuring method |
| US6445814B2 (en) * | 1996-07-01 | 2002-09-03 | Canon Kabushiki Kaisha | Three-dimensional information processing apparatus and method |
| JPH1079029A (ja) | 1996-09-02 | 1998-03-24 | Canon Inc | 立体情報検出方法及びその装置 |
| US6104840A (en) * | 1996-11-08 | 2000-08-15 | Ricoh Company, Ltd. | Method and system for generating a composite image from partially overlapping adjacent images taken along a plurality of axes |
| US6038074A (en) * | 1997-05-20 | 2000-03-14 | Ricoh Company, Ltd. | Three-dimensional measuring apparatus and method, image pickup apparatus, and apparatus and method for inputting image |
| US6466701B1 (en) * | 1997-09-10 | 2002-10-15 | Ricoh Company, Ltd. | System and method for displaying an image indicating a positional relation between partially overlapping images |
| US6765606B1 (en) * | 1997-11-13 | 2004-07-20 | 3Dv Systems, Ltd. | Three dimension imaging by dual wavelength triangulation |
| US5870136A (en) * | 1997-12-05 | 1999-02-09 | The University Of North Carolina At Chapel Hill | Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications |
| US6438272B1 (en) * | 1997-12-31 | 2002-08-20 | The Research Foundation Of State University Of Ny | Method and apparatus for three dimensional surface contouring using a digital video projection system |
| JP2000046530A (ja) | 1998-07-24 | 2000-02-18 | Fuji Photo Optical Co Ltd | モアレ装置 |
| JP2000171924A (ja) | 1998-12-09 | 2000-06-23 | K Net Systems:Kk | デジタル三次元画像測定システム |
| JP2000292135A (ja) * | 1999-04-07 | 2000-10-20 | Minolta Co Ltd | ３次元情報入力カメラ |
| US7123292B1 (en) * | 1999-09-29 | 2006-10-17 | Xerox Corporation | Mosaicing images with an offset lens |
| US6700669B1 (en) * | 2000-01-28 | 2004-03-02 | Zheng J. Geng | Method and system for three-dimensional imaging using light pattern having multiple sub-patterns |
| US6600168B1 (en) * | 2000-02-03 | 2003-07-29 | Genex Technologies, Inc. | High speed laser three-dimensional imager |
| US6639685B1 (en) * | 2000-02-25 | 2003-10-28 | General Motors Corporation | Image processing method using phase-shifted fringe patterns and curve fitting |
| KR100908989B1 (ko) * | 2000-04-04 | 2009-07-22 | 소니 가부시끼 가이샤 | 입체 화상 작성 방법 및 그 장치 |
| JP4501239B2 (ja) * | 2000-07-13 | 2010-07-14 | ソニー株式会社 | カメラ・キャリブレーション装置及び方法、並びに、記憶媒体 |
| US6639684B1 (en) * | 2000-09-13 | 2003-10-28 | Nextengine, Inc. | Digitizer using intensity gradient to image features of three-dimensional objects |
| WO2002075245A1 (en) * | 2001-03-13 | 2002-09-26 | Solutionix Co., Ltd. | Apparatus and method for measuring three dimensional shape with multi-stripe patterns |
| WO2003012368A1 (fr) * | 2001-07-30 | 2003-02-13 | Topcon Corporation | Appareil de mesure d'une forme superficielle, procede de mesure d'une forme superficielle et appareil graphique destine a l'etat superficiel |
-
2000
- 2000-08-08 JP JP2000240470A patent/JP4010753B2/ja not_active Expired - Fee Related
-
2001
- 2001-08-03 US US09/920,762 patent/US7310154B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7310154B2 (en) | 2007-12-18 |
| JP2002054912A (ja) | 2002-02-20 |
| US20020041282A1 (en) | 2002-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4010753B2 (ja) | 形状計測システムと撮像装置と形状計測方法及び記録媒体 | |
| KR102526794B1 (ko) | 카메라 모듈, 고체 촬상 소자, 전자 기기 및 촬상 방법 | |
| US6304284B1 (en) | Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera | |
| US6094215A (en) | Method of determining relative camera orientation position to create 3-D visual images | |
| JP3876275B2 (ja) | 多視点ビデオキャプチャシステム | |
| JP5163409B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
| JP4770924B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
| JP4962460B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
| JP2020506487A (ja) | シーンから深度情報を取得するための装置および方法 | |
| JP2010136302A (ja) | 撮像装置、撮像方法、およびプログラム | |
| US6839081B1 (en) | Virtual image sensing and generating method and apparatus | |
| JP2013027021A (ja) | 全方位撮像装置及び全方位撮像方法 | |
| JP2018155664A (ja) | 撮像システム、撮像制御方法、画像処理装置および画像処理プログラム | |
| JPH11136575A (ja) | 撮像装置及び撮像画像合成方法 | |
| JP2005049999A (ja) | 画像入力装置、画像入力方法、この方法を情報処理装置上で実行可能に記述されたプログラム、及びこのプログラムを記憶した記憶媒体 | |
| US11196929B2 (en) | Signal processing device, imaging device, and signal processing method | |
| JP2000134537A (ja) | 画像入力装置及びその方法 | |
| JP2005038021A (ja) | 画像処理装置、画像入力装置、画像処理方法、および画像処理方法をコンピュータで実行するプログラム | |
| JPH1198485A (ja) | 画像入力装置および画像入力装置の画像処理プログラムを記録したコンピュータが読み取り可能な記録媒体 | |
| JP5230354B2 (ja) | 位置特定装置及び異動建物検出装置 | |
| JPH1023465A (ja) | 撮像方法及び装置 | |
| JP3191659B2 (ja) | 画像入力装置 | |
| JP3655065B2 (ja) | 位置・姿勢検出装置と位置・姿勢検出方法と３次元形状復元装置及び３次元形状復元方法 | |
| JP4112925B2 (ja) | 画像入力装置、画像入力方法、及びコンピュータが実行するためのプログラム | |
| JP2000228748A (ja) | 画像入力装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060829 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061030 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070403 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070601 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070807 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070904 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130914 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |