JP3925266B2

JP3925266B2 - ３次元形状入力装置および位置ずれ検出方法

Info

Publication number: JP3925266B2
Application number: JP2002083182A
Authority: JP
Inventors: 哲也片桐; 浩志内野; 暁矢橋
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2002-03-25
Filing date: 2002-03-25
Publication date: 2007-06-06
Anticipated expiration: 2022-03-25
Also published as: JP2003279332A

Description

【０００１】
【発明の属する技術分野】
本発明は、対象物についての３次元形状データを生成するための計測データを取得する３次元形状入力装置に関し、特に、３次元形状データとテクスチャ画像との位置ずれを検出するようにした３次元形状入力装置に関する。
【０００２】
【従来の技術】
従来より、対象物にパターン光を投光することによって対象物の３次元形状を光学的に計測する方法が種々知られている。例えば、位相シフト型縞解析法、空間コード化法、光切断法（スリット光投影法）などが知られている。
【０００３】
位相シフト型縞解析法では、例えば、正弦波状に濃淡が変化する縞パターン光を位相を変えて対象物に投光し、各位相において撮影を行って４枚の画像を計測データとして取得する。取得した４枚の画像に基づいて３次元形状データを生成する。詳細については、例えば、吉沢徹編「光三次元計測」（新技術コミュニケーションズ社刊）に記載されている。
【０００４】
空間コード化法では、線状または帯状の縞を有した異なる複数の縞パターン光を対象物に投光し、各縞パターン光に対応して撮影を行って複数枚の画像を計測データとして取得する。取得した複数枚の画像に基づいて３次元形状データを生成する。詳細については、例えば、井口征士・佐藤宏介著「三次元画像計測」（昭晃堂刊）に記載されている。
【０００５】
光切断法では、特定の検出光、例えば断面が直線状のスリット光を、対象物に投射する。投射と同時に、スリット光を偏向して対象物を走査する。スリット光の対象物からの反射光を受光し、画像領域内における各画素についての輝度データを計測データとして取得する。各画素の輝度データから得られる受光位置、およびスリット光の投射角度などに基づいて、三角測量の原理によって対象物上の各点までの距離を算出し、３次元形状データを生成する。計測の精度を上げるために、受光位置または受光タイミングについての補間演算がしばしば行われる。補間のために、時間重心演算または空間重心演算などの重心演算が行われる（特開平１０−２０６１３２号を参照）。
【０００６】
このように、種々の方式による３次元形状入力装置を用いて対象物の３次元計測を行い、取得した計測データに基づいて対象物の３次元形状データを生成する。生成した３次元形状データには、対象物の画像がテクスチャ画像としてしばしば貼りつけられる。
【０００７】
従来において、対象物のテクスチャ画像は、通常、３次元計測を行った際に対象物を撮影して取得しておく。３次元計測で取得した計測データを処理して３次元形状データを生成するには演算のために時間を要するので、３次元計測とテクスチャ画像の撮影（以下「テクスチャ撮影」ということがある）とを行っておき、後で３次元形状データを生成した上でテクスチャ画像を貼りつける。
【０００８】
【発明が解決しようとする課題】
さて、対象物の３次元計測とテクスチャ撮影とが全く同時に実行された場合には問題がないが、多くの場合はそれらの間に時間的なずれがあるので、対象物の移動または変化、および３次元計測装置の移動またはぶれが問題となる。
【０００９】
すなわち、対象物が例えば人物や動物などであった場合に、３次元計測とテクスチャ撮影とのタイミング間に対象物が動くと、３次元形状データとテクスチャ画像との間に位置ずれが発生し、テクスチャ画像のマッピング精度が低下することとなる。対象物が景色であっても、風や振動で対象物内の物が動くことがある。また、３次元形状入力装置がぶれた場合も同様に位置ずれが生じ、特に手持ち式の３次元形状入力装置の場合に生じ易い。
【００１０】
従来においては、３次元形状データにテクスチャ画像の貼りつけを行った際に、初めてそれらの間に位置ずれがあることが分かる。つまり、ユーザは、テクスチャ画像の貼りつけを行うまでは位置ずれの有無が分からない。もし位置ずれがあった場合には、テクスチャ撮影をやり直さなければならない。しかも、対象物が撮影現場に未だある場合であっても、通常、対象物は動いてしまっているので、３次元計測もやり直さなければならず、作業が大変である。対象物が現場にない場合には、作業はさらに大変となり、場合によっては計測不可能となる。
【００１１】
従来では、このような事態を防ぐために、計測および撮影の際に細心の注意を払うとともに、何回も計測を行って複数の計測データおよびテクスチャ画像を取得する必要があり、多くの時間と労力とを要していた。
【００１２】
本発明は、上述の問題に鑑みてなされたもので、３次元計測およびテクスチャ撮影を行った際にそれらの間の位置ずれを迅速に検出することができ、位置ずれに起因する多くの時間と労力を軽減することを目的とする。
【００１３】
【課題を解決するための手段】
本発明に係る装置は、対象物を光学的に計測して当該対象物の３次元形状データを生成するための計測データを取得する３次元計測部と当該対象物のテクスチャ画像を取得するための撮影を行う撮影部とを有する３次元形状入力装置であって、前記３次元計測部により得られる計測データに基づいて、対象物の疑似的な画像である合成画像を生成する合成画像生成手段と、前記撮影部によって得られるテクスチャ画像と前記合成画像とを比較してそれらの間の位置ずれの有無を判定する判定手段とを有する。
【００１４】
好ましくは、前記３次元計測部において、対象物にパターン光を投光することによって対象物についての複数の画像を前記計測データとして取得し、前記合成画像生成手段において、計測データである複数の画像を合成することによって前記合成画像を生成する。
【００１５】
また、前記合成画像生成手段において、取得された計測データについて、時間軸に対する輝度値を画素ごとに積算することによって前記合成画像を生成する。
また、前記合成画像生成手段において、取得された計測データについて、時間軸に対する最大輝度値を画素ごとに抽出することによって前記合成画像を生成する。
【００１６】
【発明の実施の形態】
図１は本発明の１つの実施形態の３次元形状入力装置１を示すブロック図である。
【００１７】
図１において、３次元形状入力装置１は、制御部１０、投光部１１、受光部１２、３次元計測部１３、撮影部１４、合成画像生成部１５、判定部１６、および警告出力部１７などからなる。なお、３次元形状入力装置１には、これら以外に、種々の操作入力ボタン、表示装置、メモリ、インタフェース回路、電源、その他の回路および機構が必要に応じて設けられる。
【００１８】
３次元形状入力装置１は、対象物Ｑを光学的に計測し、対象物Ｑの３次元形状データＤＳを生成するための計測データＤＫを取得する。また、対象物Ｑのテクスチャ画像ＤＴを取得するための撮影を行う。３次元形状入力装置１で取得した計測データＤＫおよびテクスチャ画像ＤＴは、各種のインタフェースケーブルによって、半導体メモリまたは光磁気ディスクなどの記録媒体を介して、またはインターネットなどのネットワークを介して、３次元処理装置３に送られる。３次元処理装置３において、計測データＤＫに基づいて３次元形状データＤＳが生成され、３次元形状データＤＳにテクスチャ画像ＤＴがマッピングされる。
【００１９】
さて、投光部１１は、対象物Ｑにパターン光を投光する。パターン光として、位相シフト型縞解析法における縞パターン光、空間コード化法における縞パターン光、光切断法におけるスリット光などが用いられる。これらのパターン光は、複数回の投光において、縞パターンの位相を変えて投光が行われ、または縞パターンそれ自体を変えて投光が行われる。また、スリット光の場合には、スリット光で対象物Ｑを走査するように偏向される。
【００２０】
受光部１２は、パターン光を受光し、受光した位置および輝度などに応じた信号またはデータを出力する。図１に示した例では、受光部１２は、３次元計測のための受光部とテクスチャ撮影のための受光部との２つの機能を有する。これら２つの機能は、１つの光学系によって実現できる場合もあり、２つの光学系を要する場合もある。例えば、位相シフト型縞解析法および空間コード化法による場合には、縞パターン光を受光する撮像装置、例えばデジタルカメラによって、テクスチャ撮影を行うことも可能である。光切断法による場合には、スリット光を受光する専用の受光センサが必要であり、受光センサとは別に、テクスチャ撮影のためのイメージセンサが必要である。これら受光センサとイメージセンサとを同じ光軸上に設けることも可能であり、また、互いに独立した別々の光軸上に設けることも可能である。
【００２１】
３次元計測部１３は、受光部１２からのデータまたは信号に基づいて計測データＤＫを取得する。計測データＤＫは、計測方法によって種々異なる。例えば、位相シフト型縞解析法では、対象物Ｑに投光した縞パターン光による複数枚（例えば４枚）の画像である。空間コード化法では、縞パターンの枚数に応じた枚数の画像である。光切断法では、計測範囲内における各画素についての輝度データである。
【００２２】
撮影部１４は、受光部１２からのデータまたは信号に基づいてテクスチャ画像ＤＴを取得する。テクスチャ画像ＤＴは、対象物Ｑについての、充分な解像度を有するカラー画像である。受光部１２において３次元計測とテクスチャ撮影とを同軸上で行った場合には、３次元計測によって得られる３次元形状データＤＳと同じ視点のテクスチャ画像ＤＴが得られる。
【００２３】
合成画像生成部１５は、計測データＤＫに基づいて、対象物Ｑの疑似的な画像である合成画像ＤＧを生成する。例えば、位相シフト型縞解析法および空間コード化法では、計測データＤＫである複数の画像を合成することによって合成画像ＤＧを生成する。光切断法では、取得された計測データＤＫについて、時間軸に対する輝度値を画素ごとに積算することによって、または最大輝度値を画素ごとに抽出することによって、合成画像ＤＧを生成する。また、位相シフト型縞解析法においても、時間軸に対する輝度値を画素ごとに積算することによって合成画像ＤＧを生成することが可能である。空間コード化法においても、時間軸に対する最大輝度値を画素ごとに抽出することによって合成画像ＤＧを生成することが可能である。
【００２４】
このような合成処理は短時間で行うことができる。つまり、取得した計測データＤＫに基づいて、短時間で合成画像ＤＧを生成することができる。
判定部１６は、テクスチャ画像ＤＴと合成画像ＤＧとを比較し、それらの間の位置ずれの有無を判定する。比較の方法として、例えば、それらの画像についてエッジ検出を行ってそれぞれエッジ画像を生成し、それらエッジ画像の差分を求める。エッジ画像の差分として、例えば、各画素の輝度データの差をとればよい。差分が予め設定したしきい値よりも大きい場合には、位置ずれがあると判定し、ずれ検出信号ＳＺを出力する。なお、エッジ画像に代えて、画像の濃淡を微分することによって微分画像を生成してもよい。差分についての最大値を切り捨てた残りを平均化し、それとしきい値とを比較してもよい。判定部１６における判定のために、他の公知の種々の方法を用いることができる。
【００２５】
警告出力部１７は、ずれ検出信号ＳＺが出力されたときに、位置ずれがあった旨を示す警告表示を行い、または警告音を発する。また、ずれ検出信号ＳＺが出力されたとき、またはこれに基づく取り直しがあったときに、位置ずれのあったテクスチャ画像ＤＴおよび計測データＤＫをメモリから削除するようにしてもよい。
【００２６】
３次元処理装置３は、３次元生成部３１、マッピング部３２、表示部３３などを有する。
３次元生成部３１は、計測データＤＫに基づいて所定の演算を行い、３次元形状データＤＳを生成する。その途中で距離画像が生成されることがある。マッピング部３２は、３次元形状データＤＳにテクスチャ画像ＤＴをマッピングする。マッピングの位置は、ユーザが指定するか、または自動的、半自動的に位置合わせが行われる。マッピングされた３次元形状データは、表示部３３に表示され、適当なインタフェースまたは媒体を介して外部に出力される。
【００２７】
このような機能を有する３次元処理装置３は、公知の適当なプログラムをインストールしたパーソナルコンピュータなどを用いて実現することができる。
上に述べた実施形態の３次元形状入力装置１によると、計測データＤＫから合成画像ＤＧを短時間で生成することができ、その合成画像ＤＧに基づいて短時間で位置ずれの有無を判定することができる。したがって、位置ずれがあったときには、直ぐに計測または撮影をやり直すことができ、位置ずれに起因する多くの時間と労力を削減することができる。したがって、例えば、計測および撮影の際に位置ずれが起こらないように過剰な神経を使う必要がなくなり、何回も計測を行って複数の計測データおよびテクスチャ画像を取得する必要がなくなる。
【００２８】
なお、上の実施形態では、３次元形状入力装置１と３次元処理装置３とを分離したものを説明したが、３次元形状入力装置１に３次元処理装置３の機能を組み込むことも可能である。
【００２９】
次に、いくつかの計測方法についての実施形態を具体的に説明する。なお、各計測方法それ自体についての詳細は、上に述べた書籍などを参照すればよい。
〔位相シフト型縞解析法〕
図２は位相シフト型縞解析法による実施形態の３次元形状入力装置１Ｂを示すブロック図、図３は全体的な処理の流れを示すフローチャート、図４は縞画像の取得処理を示すフローチャート、図５は移動量算出処理を示すフローチャートである。
【００３０】
図２において、３次元形状入力装置１Ｂは、投光部１１Ｂ、撮像部１２Ｂ、コントローラ２０Ｂ、および外部記憶装置２１Ｂなどからなる。
投光部１１Ｂは、マスク１１１、移動装置１１２、および光源１１３などからなる。
【００３１】
マスク１１１は、複数の平行な縞からなる縞パターンを有する。縞パターンは、各縞に直角な方向に沿って濃淡の変化を見たときに、濃淡が正弦波状に変化する。
【００３２】
移動装置１１２は、マスク１１１を４分の１周期ずつ移動させる。つまり、縞パターンの位相が０度、９０度、１８０度、２７０度となるように移動して位置決めする。
【００３３】
光源１１３は、縞パターンを対象物Ｑに投影する。マスク１１１を移動させることにより、４分の１周期ずつずれた４つの縞パターン光が対象物Ｑに投光される。
【００３４】
なお、縞パターンを対象物Ｑ上に結像させるためのレンズを適宜備える。マスク１１１および移動装置１１２に代えて、液晶パネルを用いてもよい。
撮像部１２Ｂは、計測データを取得するために、縞パターンが投影された対象物Ｑの画像を撮影する。その場合に、縞パターンの位相シフトが行われるごとに合計４回の撮影を行い、４枚の画像を撮影する。また、テクスチャ画像を取得するために、縞パターン光が投光されない通常光による照明の下で、撮影を行う。撮像部１２Ｂとして、デジタルスチルカメラまたはビデオカメラなどを用いることができる。
【００３５】
コントローラ２０Ｂは、ＣＰＵ２０１、メモリ２０２、インタフェース２０３，２０４などからなる。
メモリ２０２は、縞画像記憶領域Ｍ１〜Ｍ４、積算画像記憶領域Ｍ５、テクスチャ画像記憶領域Ｍ６、および３次元形状記憶領域Ｍ７を備える。
【００３６】
ＣＰＵ２０１は、外部記憶装置２１Ｂからインタフェース２０４を介して読み込んだプログラムを実行し、種々の処理および制御を行う。例えば、インタフェース２０３を介して投光部１１Ｂおよび撮像部１２Ｂを制御し、撮像部１２Ｂで撮影した画像を計測データＤＫまたはテクスチャ画像ＤＴとしてメモリ２０２に取り込む。
【００３７】
メモリ２０２の縞画像記憶領域Ｍ１〜Ｍ４には、互いに位相の異なる４枚の画像（縞画像）が、テクスチャ画像記憶領域Ｍ６にはテクスチャ画像ＤＴが、それぞれ記憶される。４枚の縞画像に基づいて、距離画像が生成され、３次元形状データＤＳが算出される。
【００３８】
３次元形状入力装置１Ｂにおけるここまでの処理および動作は公知であり、４枚の縞画像の取得、およびテクスチャ画像ＤＴの取得は、公知の技術を用いて行うことができる。
【００３９】
次に、縞画像記憶領域Ｍ１〜Ｍ４に記憶された４枚の縞画像に基づいて、積算画像（輝度積算画像）ＤＧ１を生成する。積算画像ＤＧ１は、本発明の合成画像に相当する。積算画像ＤＧ１は、例えば、４枚の縞画像の画素ごとの輝度データ（または濃度データ）をそれぞれ加算することによって得られる。このようにして得られた積算画像ＤＧ１は、対象物Ｑについてのテクスチャ画像に近い画像である。なお、得られた輝度データの規格化を行ってもよい。また、輝度データのビット数および画像の分解能などを変更してもよい。生成した積算画像ＤＧ１は、積算画像記憶領域Ｍ５に記憶される。
【００４０】
そして、積算画像ＤＧ１とテクスチャ画像ＤＴとが比較され、これらの間の位置ずれの有無が判定される。比較に当たり、これらの画像についてエッジ検出が行われ、エッジ画像が生成される。これらエッジ画像間の差分が移動量ＤＭとして求められる。移動量ＤＭがしきい値よりも大きい場合には位置ずれがあると判定される。
【００４１】
位置ずれがない場合に、３次元形状データＤＳにテクスチャ画像ＤＴをマッピングする。これにより対象物Ｑの３次元モデルが完成する。
図３において、ＣＰＵ２０１は、開始信号を検知すると、撮像部１２Ｂに撮影を指示し、撮影したテクスチャ画像ＤＴをテクスチャ画像記憶領域Ｍ６に記憶する（＃１１）。投光部１１Ｂおよび撮像部１２Ｂを制御し、縞画像を取得する（＃１２）。ステップ＃１１とステップ＃１２とが逆でもよい。
【００４２】
取得した複数の縞画像を積算して積算画像ＤＧ１を生成する（＃１３）。積算画像ＤＧ１およびテクスチャ画像ＤＴに基づいて、移動量ＤＭを算出する（＃１４）。移動量ＤＭとしきい値θとを比較する（＃１５）。移動量ＤＭの方が大きい場合には、位置ずれがあったものと判定し、ステップ＃１１に戻ってテクスチャ画像ＤＴの取得からやり直す。移動量ＤＭの方が小さい場合には、３次元形状データＤＳを算出する（＃１６）。
【００４３】
図４において、マスク１１１の位置を初期化する（＃２１）。縞パターンの投影を指示し、光源１１３を発光させる（＃２２）。変数ｆを「０」に設定する（＃２３）。変数ｆをインクリメントする（＃２４）。撮像部１２Ｂに撮影を指示し、画像データ（縞画像）を取得する（＃２５）。マスク１１１の移動を指示する（＃２６）。変数ｆが「４」以上であればリターンする（＃２７）。
【００４４】
図５において、積算画像ＤＧ１のエッジを検出する（＃３１）。テクスチャ画像ＤＴのエッジを検出する（＃３２）。エッジ画像間の差分を計算する（＃３３）。
【００４５】
このように、４枚の縞画像に基づいて積算画像ＤＧ１を生成し、積算画像ＤＧ１とテクスチャ画像ＤＴとに基づいて移動量ＤＭを算出して位置ずれの有無を検出する。したがって、短時間で位置ずれの有無を判定することができる。なお、積算画像ＤＧ１とテクスチャ画像ＤＴとは同じではないが、エッジの検出を行って比較することにより、対象物Ｑの表面の反射率の相違などによる輝度差に影響されることなく、対象物Ｑの位置ずれの有無を検出することができる。
〔空間コード化法〕
図６は空間コード化法による実施形態の３次元形状入力装置１Ｃを示すブロック図、図７はマスク１１１Ｃの一例を示す図、図８は全体的な処理の流れを示すフローチャート、図９はパターン画像の取得処理を示すフローチャート、図１０は移動量算出処理を示すフローチャートである。
【００４６】
本実施形態の３次元形状入力装置１Ｃにおいて、上に述べた３次元形状入力装置１Ｂと同様な機能を有する部分については、同一の符合を付して説明を省略しまたは簡略化する。
【００４７】
図６において、マスク１１１Ｃは、線状の縞の組み合わせによってコード化された複数の縞パターンを有する。図７に示すマスク１１１Ｃは、４つの縞パターン０〜３を有する。移動装置１１２Ｃによってマスク１１１Ｃが移動され、各縞パターン０〜３が投影されるように順次位置決めされる。これら４つの縞パターン０〜３を順に対象物Ｑに投影することによって、対象物Ｑの表面が細分化され且つコード化され、コードによって位置が特定される。
【００４８】
撮像部１２Ｃは、これら各縞パターンが投影された対象物Ｑの画像を撮影する。これによって４枚の画像（パターン画像）が撮影され、パターン画像記憶領域Ｍ１〜Ｍ４に記憶される。４枚のパターン画像に基づいて、最大輝度画像ＤＧ２を生成する。最大輝度画像ＤＧ２は、本発明の合成画像に相当する。最大輝度画像ＤＧ２は、例えば、４枚のパターン画像の画素ごとに輝度データの最大値を抽出することによって得られる。このようにして得られた最大輝度画像ＤＧ２は、対象物Ｑについてのカラー画像に近い画像である。生成した最大輝度画像ＤＧ２は、最大輝度画像記憶領域Ｍ５に記憶される。
【００４９】
そして、最大輝度画像ＤＧ２とテクスチャ画像ＤＴとが比較され、これらの間の位置ずれの有無が判定される。
図８において、ステップ＃４２でパターン画像を取得する。パターン画像に基づいて、最大輝度画像ＤＧ２を生成する（＃４３）。最大輝度画像ＤＧ２およびテクスチャ画像ＤＴに基づいて、移動量ＤＭを算出する（＃４４）。
【００５０】
図９において、変数ｆを「０」に設定する（＃５１）。縞パターン（ｆ）の投影を指示する（＃５２）。変数ｆをインクリメントする（＃５３）。撮像部１２Ｃに撮影を指示し、画像データ（パターン画像）を取得する（＃５４）。変数ｆが「４」以上であればリターンする（＃５５）。
【００５１】
図１０において、最大輝度画像ＤＧ２のエッジを検出する（＃６１）。テクスチャ画像ＤＴのエッジを検出する（＃６２）。エッジ画像間の差分を計算する（＃６３）。
【００５２】
このように、４枚のパターン画像に基づいて最大輝度画像ＤＧ２を生成し、最大輝度画像ＤＧ２とテクスチャ画像ＤＴとに基づいて移動量ＤＭを算出して位置ずれの有無を検出する。したがって、短時間で位置ずれの有無を判定することができる。この実施形態においても、対象物Ｑの表面の反射率の相違などによる輝度差に影響されることなく、対象物Ｑの位置ずれの有無を検出することができる。
〔光切断法その１〕
図１１は光切断法による実施形態の３次元形状入力装置１Ｄを示すブロック図、図１２は重心演算回路７３の構成を示すブロック図である。
【００５３】
図１１に示す３次元形状入力装置１Ｄは、一部を除いて、特開平１０−２０６１３２号の図面の図３および図１１、並びに明細書のそれらの説明と同じである。したがって、詳細については同公報を参照すればよい。
【００５４】
図１１において、投光側と受光側の２つの光学系４０，５０を有する。光学系４０において、半導体レーザ４１が射出するレーザビームは、投光レンズ系４２を通過することによってスリット光Ｕとなり、ガルバノミラー４３によって偏向される。半導体レーザ４１のドライバ４４、投光レンズ系４２の駆動系４５、およびガルバノミラー４３の駆動系４６は、システムコントローラ６１によって制御される。
【００５５】
光学系５０において、ズームユニット５１によって集光された光はビームスプリッタ５２によって分光される。半導体レーザ４１の発振波長帯域の光は、計測用のセンサ５３に入射する。可視帯域の光は、モニタ用のカラーセンサ５４に入射する。センサ５３およびカラーセンサ５４は、どちらもＣＣＤエリアセンサである。ズームユニット５１は内焦型であり、入射光の一部がオートフォーカシング（ＡＦ）に利用される。ＡＦ機能は、ＡＦセンサ５７とレンズコントローラ５８とフォーカシング駆動系５９によって実現される。ズーミング駆動系６０は電動ズーミングのために設けられている。
【００５６】
センサ５３による撮像情報は、ドライバ５５からのクロックに同期してメモリ６３に格納される。カラーセンサ５４による撮像情報は、ドライバ５６からのクロックに同期してカラー処理回路６７へ転送される。カラー処理を受けた撮像情報は、ＮＴＳＣ変換回路７０およびアナログ出力端子３２を経てオンライン出力され、またはディジタル画像生成部６８で量子化されてカラー画像メモリ６９に格納される。その後、カラー画像データがカラー画像メモリ６９からＳＣＳＩコントローラ６６へ転送され、ディジタル出力端子３３からオンライン出力され、または計測データと対応づけて記録メディアに格納される。なお、カラー画像は、センサ５３による距離画像と同一の画角の像である。
【００５７】
出力処理回路６２は、増幅器およびＡＤ変換部を有する。メモリ６３は、出力処理回路６２から出力される受光データを記憶する。メモリ制御回路６３Ａは、メモリ６３への書込みおよび読出しのアドレス指定を行う。
【００５８】
重心演算回路７３は、メモリ６３に記憶された受光データに基づいて、対象物Ｑの形状に対応した濃淡画像を生成して表示用メモリ７４に出力し、また、３次元位置を算出するための基となるデータを算出し出力用メモリ６４に出力する。ＬＣＤの画面には、表示用メモリ７４に記憶された濃淡画像、カラー画像メモリ６９に記憶されたカラー画像などを表示する。
【００５９】
カラー画像メモリ６９に記憶されたカラー画像（テクスチャ画像ＤＴに相当する）、および出力用メモリ６４に記憶されたデータ（積算画像に相当する）は、位置ずれ判定部８１に入力される。
【００６０】
図１２において、重心演算回路７３は、定常光データ記憶部７３１、減算部７３２、第１加算部７３３、第２加算部７３４、および除算部７３５からなる。
定常光データ記憶部７３１は、定常光データｋｓを記憶する。減算部７３２は、入力された受光データから定常光データｋｓを減算する。ここで、減算部７３２から出力されるデータをあらためて受光データｘｉとする。第１加算部７３３は、ｉ・ｘｉをｉ＝１〜３２について加算し、その合計値を出力する。第２加算部７３４は、ｘｉをｉ＝１〜３２について加算し、その合計値を出力する。除算部７３５は、第１加算部７３３の出力値を第２加算部７３４の出力値で除し、重心ｉｐを出力する。除算部７３５から出力された重心ｉｐは、表示用メモリ７４に記憶される。また、第１加算部７３３の出力値および第２加算部７３４の出力値は、それぞれ出力用メモリ６４ａ，ｂに記憶される。出力用メモリ６４ａ，ｂに記憶されたデータは、ＳＣＳＩコントローラ６６を介してディジタル出力端子からホストに出力され、または記録メディアに格納される。ホストにおいて、これらのデータに基づいて３次元形状データＤＳが生成される。
【００６１】
第２加算部７３４において、各画素について受光データの積算を行うことにより、積算画像が得られる。つまり、第２加算部７３４から積算画像が出力され、これが出力用メモリ６４ａに記憶される。したがって、出力用メモリ６４ａに記憶された積算画像を読み出して位置ずれ判定部８１に転送する。
【００６２】
位置ずれ判定部８１では、入力されたカラー画像と積算画像とに対し、エッジ検出などを行って比較を行い、位置ずれの有無を判定する。位置ずれ判定部８１での処理は、先に述べた図５のフローチャートと同様である。
【００６３】
このように、簡単な構成によって高速で積算画像を生成することができ、これに基づいて位置ずれの検出を容易に行うことができる。
〔光切断法その２〕
図１３は他の実施形態の重心演算回路７３Ｅを示すブロック図である。
【００６４】
図１１および図１２において説明した３次元形状入力装置１Ｄでは、重心演算回路７３の第２加算部７３４で積算画像（輝度積算画像）を生成し、位置ずれ判定部８１では積算画像を合成画像ＤＧとして用いた。これに対し、ここの実施形態では、重心演算回路７３において最大輝度画像を生成し、位置ずれ判定部８１では最大輝度画像を合成画像ＤＧとして用いる。
【００６５】
すなわち、図１３に示すように、最大値検出部８２において、減算部７３２から出力される受光データから、各画素における時系列データ最大値（最大受光データ）を検出する。検出された最大受光データは、出力用メモリ６４ｃに記憶される。これにより、出力用メモリ６４ｃには、上に述べた最大輝度画像ＤＧ２に相当する画像が記憶される。
【００６６】
したがって、図１１に示す位置ずれ判定部８１では、入力されたカラー画像と最大輝度画像とに対し、エッジ検出などを行って比較を行い、位置ずれの有無を判定する。
【００６７】
このように、簡単な構成によって高速に最大輝度画像を生成することができ、これに基づいて位置ずれの検出を容易に行うことができる。
上に述べた実施形態において、３次元処理装置３および３次元形状入力装置１の全体または各部の構成、処理内容又は順序、処理タイミング、画像または縞パターンの枚数、撮影回数などは、本発明の趣旨に沿って適宜変更することができる。
【００６８】
【発明の効果】
本発明によると、３次元計測およびテクスチャ撮影を行った際にそれらの間の位置ずれを迅速に検出することができ、位置ずれに起因する多くの時間と労力を軽減することができる。
【図面の簡単な説明】
【図１】本発明の１つの実施形態の３次元形状入力装置を示すブロック図である。
【図２】位相シフト型縞解析法による実施形態の３次元形状入力装置を示すブロック図である。
【図３】全体的な処理の流れを示すフローチャートである。
【図４】縞画像の取得処理を示すフローチャートである。
【図５】移動量算出処理を示すフローチャートである。
【図６】空間コード化法による実施形態の３次元形状入力装置を示すブロック図である。
【図７】マスクの一例を示す図である。
【図８】全体的な処理の流れを示すフローチャートである。
【図９】パターン画像の取得処理を示すフローチャートである。
【図１０】移動量算出処理を示すフローチャートである。
【図１１】光切断法による実施形態の３次元形状入力装置を示すブロック図である。
【図１２】重心演算回路の構成を示すブロック図である。
【図１３】他の実施形態の重心演算回路を示すブロック図である。
【符号の説明】
１３次元形状入力装置
１１投光部（３次元計測部）
１２受光部（３次元計測部、撮影部）
１３３次元計測部
１４撮影部
１５合成画像生成部（合成画像生成手段）
１６判定部（判定手段）
１１Ｂ，１１Ｃ投光部
１２Ｂ，１２Ｃ撮像部
８１位置ずれ判定部（判定手段）
８２最大値検出部（合成画像生成手段）
２０１ＣＰＵ（合成画像生成手段、判定手段）
ＤＫ計測データ
ＤＴテクスチャ画像
ＤＧ合成画像
ＤＧ１積算画像（合成画像）
ＤＧ２最大輝度画像（合成画像）
ＤＳ３次元形状データ
Ｑ対象物

Claims

対象物を光学的に計測して当該対象物の３次元形状データを生成するための計測データを取得する３次元計測部と当該対象物のテクスチャ画像を取得するための撮影を行う撮影部とを有する３次元形状入力装置であって、
前記３次元計測部により得られる計測データに基づいて、対象物の疑似的な画像である合成画像を生成する合成画像生成手段と、
前記撮影部によって得られるテクスチャ画像と前記合成画像とを比較してそれらの間の位置ずれの有無を判定する判定手段と、
を有することを特徴とする３次元形状入力装置。
前記３次元計測部において、対象物にパターン光を投光することによって対象物についての複数の画像を前記計測データとして取得し、
前記合成画像生成手段において、計測データである複数の画像を合成することによって前記合成画像を生成する、
請求項１記載の３次元形状入力装置。
前記合成画像生成手段において、取得された計測データについて、時間軸に対する輝度値を画素ごとに積算することによって前記合成画像を生成する、
請求項１記載の３次元形状入力装置。
前記合成画像生成手段において、取得された計測データについて、時間軸に対する最大輝度値を画素ごとに抽出することによって前記合成画像を生成する、
請求項１記載の３次元形状入力装置。
対象物を光学的に計測して当該対象物の３次元形状データを生成するための計測データを取得する３次元計測部と当該対象物のテクスチャ画像を取得するための撮影を行う撮影部とを有する３次元形状入力装置における３次元形状データとテクスチャ画像との位置ずれを検出する方法であって、
前記３次元計測部により得られる計測データに基づいて、対象物の疑似的な画像である合成画像を生成し、
生成された前記合成画像と前記撮影部により取得されるテクスチャ画像とを比較することにより、３次元形状データとテクスチャ画像との位置ずれを検出する、
ことを特徴とする位置ずれ検出方法。