JP4221808B2

JP4221808B2 - ３次元データ入力方法及び装置

Info

Publication number: JP4221808B2
Application number: JP08755399A
Authority: JP
Inventors: 佳子坂川; 英郎藤井
Original assignee: Konica Minolta Opto Inc
Current assignee: Konica Minolta Opto Inc
Priority date: 1999-03-30
Filing date: 1999-03-30
Publication date: 2009-02-12
Anticipated expiration: 2019-03-30
Also published as: JP2000287223A

Description

【０００１】
【発明の属する技術分野】
本発明は、被写体の３次元データを入力するための３次元データ入力方法及び装置に関する。
【０００２】
【従来の技術】
光学式の３次元データ入力装置（３次元カメラ）は、接触型に比べて高速の計測が可能であることから、ＣＧシステムやＣＡＤシステムへのデータ入力、身体計測、ロボットの視覚認識などに利用されている。このような３次元データ入力装置に好適な計測方法としてスリット光投影法（光切断法ともいう）が知られている。
【０００３】
図１０はスリット光投影法を適用した３次元カメラ８０の入力原理を示す図である。
図１０において、３次元カメラ８０は、投光部８１と受光部８２とを有する。投光部８１は、断面が直線状のスリット光Ｓを照射する。受光部８２は、撮像面８３及び図示しない結像レンズを有する。投光部８１と受光部８２とは、通常、互いに所定の寸法だけ離れた状態で、１つのハウジングに一体的に組み込まれている。
【０００４】
被写体Ｑ１は、投光部８１からのスリット光Ｓによって照射され、その反射光が撮像面８３上でスリット像として捕らえられる。このスリット像における１つの点ｐ' に対応する被写体Ｑ１上の点ｐの空間座標は、スリット光Ｓによって形成される平面と、点ｐ' 及び結像レンズの中心点Ｏを結ぶ直線Ｌとの交点の座標として求められる。したがって、スリット光Ｓで得られた１枚のスリット像から、このスリット像上の各点に対応した被写体Ｑ１の表面の点群の空間座標が求められる。スリット光Ｓを水平方向に移動させることで被写体Ｑ１を走査し、各走査位置でのスリット像を入力することで被写体Ｑ１の表側部分、つまりスリット光Ｓの照射を受けた部分の３次元データ（３次元形状データ）が入力される。
【０００５】
被写体Ｑ１の全周における３次元データを得たい場合には、被写体Ｑ１について複数方向から入力することが必要となる。そのための方法として２つの方法が知られている。第１の方法では、３次元カメラ８０を、その撮影方向が被写体Ｑ１に向いた状態で被写体Ｑ１を中心とした所定の軌道上を移動させ、被写体Ｑ１に対して複数方向から撮影を行う。第２の方法では、回転ステージに被写体Ｑ１を載せて回転させ、所定位置に設置した３次元カメラ８０により、被写体Ｑ１に対して複数方向から撮影を行う。
【０００６】
複数方向から入力された被写体Ｑ１の３次元データは、３次元カメラ８０の移動する軌道上における位置、又は回転ステージの位置に基づいて算出された変換パラメータにより、それぞれ位置合わせの処理が行われる。これにより、被写体Ｑ１の全周における３次元デ−タが得られる。
【０００７】
しかし、上述した方法では、位置合わせの精度を向上するために、３次元カメラ８０の位置又は回転ステージの角度位置を高精度に検出する必要があり、コスト高となる。
【０００８】
しかも、３次元カメラ８０を移動装置などにセットすることとなるため、３次元カメラ８０を手に持って撮影することができない。そのため、入力を行うことのできる被写体が制限される。つまり、例えば、既設の石像又は銅像などのように移動できない被写体は、この方法によっては３次元デ−タの入力ができない。
【０００９】
このような問題を解決するために、特開平９−５０５１号公報に記載の装置が提案されている。この従来の装置によると、被写体Ｑ１を任意の複数方向から撮影し、３次元デ−タの入力を行う。入力を行った後、複数方向から入力された３次元形状、及び、それらと同時に同一の視野から入力され且つ３次元データとの対応付けがなされているカラー画像を表示する。ユーザは、表示されたカラー画像を見ながら、それらの３次元形状における互いの対応点を色の変化などに基づいて手動で指定する。ユーザにより指定された対応点に基づいて、入力された３次元データの相互間の位置合わせが行われる。
【００１０】
【発明が解決しようとする課題】
しかし、上に述べた従来の装置によると、複数の３次元データの相互間の位置合わせのために、ユーザが対応点を指定する作業を行う必要があり、その作業が極めて面倒である。
【００１１】
また、３次元デ−タの入力を行う際には、被写体Ｑ１の全周について旨く撮影が行われたか否かを確認する方法がない。そのため、複数の３次元データが適切な重なりを持って連続していなかったり、データが不足する場合には、３次元データの相互間の対応点を旨くとることができない。そのような場合には、３次元データの相互間の位置合わせの精度が低下したり、酷い場合には撮影をやり直す必要がある。
【００１２】
本発明は、上述の問題に鑑みてなされたもので、被写体の３次元データの入力を簡単に迅速に且つ正確に行うことができ、被写体の全周又は所定範囲における欠落のない合成画像を容易に取得することを可能とする３次元データ入力方法及び装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
請求項１に係る３次元データ入力方法は、図５及び図６に示すように、被写体Ｑの入力部分を確認するためのモニタ画面２１を有し、前記被写体Ｑを撮影することによって前記入力部分の３次元データの入力を行うように構成された３次元データ入力装置２における３次元データ入力方法であって、前記被写体Ｑの形状と略同一の形状を有する３次元形状モデルの画像をフレーミングの案内画像ＧＰとして前記モニタ画面に表示し、前記案内画像ＧＰに基づいてフレーミングを行い、前記フレーミングがなされた状態で前記被写体Ｑの撮影を行う。
【００１４】
請求項２に係る３次元データ入力方法は、図５及び図６に示すように、被写体Ｑの入力部分を確認するためのモニタ画面２１を有し、前記被写体Ｑを撮影することによって前記入力部分の３次元データの入力を行うように構成された３次元データ入力装置２における３次元データ入力方法であって、前記被写体Ｑの形状と略同一の形状を有する３次元形状モデルのデータ及び前記３次元形状モデルを観察する位置に関する情報である属性情報ＡＪをメモリ７５に記憶しておき、前記属性情報ＡＪにしたがって前記３次元形状モデルの画像をフレーミングの案内画像ＧＰとして前記モニタ画面２１に表示し、前記入力部分の画像ＱＰが前記案内画像ＧＰに重なり合うようにフレーミングを行い、前記フレーミングがなされた状態で前記被写体Ｑの撮影を行う。
【００１５】
請求項３に係る３次元データ入力方法は、図８に示すように、前記入力部分の画像ＱＰと前記案内画像ＧＰとの対応付けを行い、対応付けによって前記案内画像ＧＰのスケールを前記被写体Ｑのスケールに一致させる。
【００１６】
請求項４に係る３次元データ入力方法は、図４に示すように、前記撮影を前記被写体Ｑについて互いに異なる位置毎に行う。
請求項５に係る３次元データ入力装置２は、図２乃至図６に示すように、被写体Ｑの入力部分を確認するためのモニタ画面２１を有し、前記被写体Ｑを撮影することによって前記入力部分の３次元データの入力を行うように構成された３次元データ入力装置２であって、前記被写体Ｑの形状と略同一の形状を有する３次元形状モデルのデータ及び前記３次元形状モデルを観察する位置に関する情報である属性情報を記憶する記憶手段７５、前記属性情報ＡＪにしたがって前記３次元形状モデルの画像をフレーミングの案内画像ＧＰとして前記モニタ画面２１に表示させる表示指示手段７６と、フレーミングがなされた前記被写体Ｑを撮影することによって入力される３次元データを記憶する記憶手段６３と、を有する。
【００１７】
請求項６に係る３次元データ入力装置２は、図５及び図８に示すように、前記入力部分の画像ＱＰと前記案内画像ＧＰとの対応付けを行う対応付け手段と、前記対応付けに基づいて前記案内画像ＧＰのスケールを前記被写体Ｑのスケールに一致させるスケール一致手段と、を有してなる。
【００１８】
【発明の実施の形態】
図１は本発明に係る３次元カメラ２を用いた計測システム１の構成図、図２は３次元カメラ２の外観を示す図である。
【００１９】
図１に示すように、計測システム１は、３次元カメラ２及びホスト３から構成される。
３次元カメラ２は、スリット光投影法によって立体計測を行う可搬型の３次元データ入力装置であり、入力対象となる被写体Ｑを撮影することにより、３次元データ（距離データ）を入力し、この３次元データに基づいて被写体Ｑの３次元形状を求めるための基となるデータを算出し出力する。
【００２０】
ホスト３は、ＣＰＵ３ａ、ディスプレイ３ｂ、キーボード３ｃ、及びマウス３ｄなどから構成されたコンピュータシステムである。３次元カメラ２とホスト３との間では、オンライン及び可搬型の記録メディア４によるオフラインの両方の形態のデータ受渡しが可能である。記録メディア４としては、光磁気ディスク（ＭＯ）、ミニディスク（ＭＤ）、メモリカードなどがある。
【００２１】
ホスト３は、３次元カメラ２から送られた３次元データに基づいて、三角測量法を用いてサンプリング点の座標を求める演算処理や貼り合わせ処理（合成処理）などを行う。そのためのソフトウエアはＣＰＵ３ａに組み込まれている。
【００２２】
図２（ａ）に示すように、３次元カメラ２は、そのハウジング２０の前面に投光窓２０ａ及び受光窓２０ｂを有する。投光窓２０ａは受光窓２０ｂに対して上側に位置する。内部の光学ユニットＯＵが射出するスリット光（所定幅ｗの帯状のレーザビーム）Ｕは、投光窓２０ａを通って被写体Ｑに向かう。スリット光Ｕの長さ方向Ｍ１の放射角度φは固定である。被写体Ｑの表面で反射したスリット光Ｕの一部が受光窓２０ｂを通って光学ユニットＯＵに入射する。なお、光学ユニットＯＵは、投光軸と受光軸との相対関係を適正化するための２軸調整機構を備えている。
【００２３】
ハウジング２０の上面には、ズーミングボタン２５ａ，２５ｂ、手動フォーカシングボタン２６ａ，２６ｂ、及びシャッターボタン２７が設けられている。
また、図２（ｂ）に示すように、ハウジング２０の背面には、ファインダー２１、カーソルボタン２２、セレクトボタン２３、キャンセルボタン２４、アナログ出力端子３２、ディジタル出力端子３３、及び記録メディア４の着脱口３０ａが設けられている。
【００２４】
ファインダー２１は、液晶ディスプレイなどのモニタ画面を有した画像表示装置である。ファインダー２１上には、モニタ画像ＱＰ及び本発明の特徴である案内画像ＧＰが表示される。モニタ画像ＱＰ及び案内画像ＧＰの詳細については後述する。また、各操作段階においてユーザが次に行うべき操作を文字や記号によって指示する操作手順情報、及び撮影した部分の３次元データが濃淡によって表現された距離画像（濃淡画像）が表示される。
【００２５】
背面の各ボタン２２〜２４は、撮影モード等の設定を行うためのものである。アナログ出力端子３２からは、被写体Ｑの２次元画像信号が例えばＮＴＳＣ形式で出力される。ディジタル出力端子３３は例えばＳＣＳＩ端子である。
【００２６】
次に、３次元カメラ２の機能について説明する。
図３は３次元カメラ２の機能構成を示すブロック図である。図３における実線矢印は電気信号の流れを示し、破線矢印は光の流れを示している。
【００２７】
図３に示すように、３次元カメラ２は、上述の光学ユニットＯＵを構成する投光側及び受光側の２つの光学系４０，５０を有している。光学系４０において、半導体レーザ（ＬＤ）４１が射出する波長６８５ｎｍのレーザビームは、投光レンズ系４２を通過することによってスリット光Ｕとなり、ガルバノミラー（走査手段）４３によって偏向される。半導体レーザ４１のドライバ４４、投光レンズ系４２の駆動系４５、及びガルバノミラー４３の駆動系４６は、システムコントローラ６１によって制御される。
【００２８】
光学系５０において、ズームユニット５１によって集光された光はビームスプリッタ５２によって分光される。
半導体レーザ４１の発振波長帯域の光は、計測用センサ５３に入射する。可視帯域の光は、モニタ用カラーセンサ５４に入射する。計測用センサ５３及びモニタ用カラーセンサ５４は、どちらもＣＣＤエリアセンサである。計測用センサ５３及びモニタ用カラーセンサ５４は、それぞれ、被写体Ｑの撮影情報又は撮像情報を電気信号として出力する。
【００２９】
ズームユニット５１は内焦型であり、図示しないズームレンズが設けられている。このズームレンズを長焦点側と短焦点側との間で撮影方向に沿って移動することにより、３次元データを様々な解像度で入力することができる。また、入射光の一部がオートフォーカシング（ＡＦ）に利用される。ＡＦ機能は、ＡＦセンサ５７、レンズコントローラ５８、及びフォーカシング駆動系５９によって実現される。ズーミング駆動系６０は電動ズーミングのために設けられている。
【００３０】
次に、３次元カメラ２における電気信号の主な流れについて説明する。
まず、計測用センサ５３による撮影情報は、ドライバ５５からのクロックに同期して出力処理回路６２へ転送される。出力処理回路６２は、計測用センサ５３の出力する各画素の光電変換信号を増幅する増幅器、及び光電変換信号を８ビットの受光データに変換するＡＤ変換部を有している。出力処理回路６２で得られた受光データはメモリ６３によって一時的に記憶された後、重心演算回路７３へ送られる。その際のアドレス指定はメモリ制御回路６３Ａが行う。重心演算回路７３は、入力された受光データに基づいて３次元形状を算出するための基となるデータを算出し、それを出力用メモリ６４に出力する。また、重心演算回路７３は、被写体Ｑの形状に対応した距離画像を生成し、それを表示用メモリ７４に出力する。出力用メモリ６４に格納されたデータは、ＳＣＳＩコントローラ６６を介してディジタル出力端子３３から出力され、又は記録メディア４に出力される。表示用メモリ７４に格納された距離画像は、表示制御部７６を介してファインダー２１上に表示される。
【００３１】
一方、モニタ用カラーセンサ５４による撮像情報は、ドライバ５６からのクロックに同期してカラー処理回路６７へ転送される。カラー処理を受けた撮像情報は、ＮＴＳＣ変換回路７０及びアナログ出力端子３２を経てオンライン出力され、又はディジタル画像生成部６８で量子化されてカラー画像メモリ６９に格納される。カラー画像メモリ６９に格納された撮像情報は、ＳＣＳＩコントローラ６６を介した後、ディジタル出力端子３３からオンライン出力され又は記録メディア４に書き込まれる。撮像情報は、また、表示制御部７６を介してファインダー２１上にモニタ画像ＱＰとして表示される。
【００３２】
システムコントローラ６１は、表示制御部７６に対して、ファインダー２１上に操作手順情報を表示するための指示を与える。なお、モデルデータメモリ７５、カラー画像メモリ６９、表示制御部７６、システムコントローラ６１、及びファインダー２１は、重合わせ画像発生部７を構成する。
【００３３】
以上のような構成及び機能を有する３次元カメラ２によって、被写体Ｑの全周又は所定範囲の３次元データが入力される。
図４は３次元カメラ２によって被写体Ｑの全周又は所定範囲の３次元データを入力する具体的な方法を示す図である。
【００３４】
図４（ａ）に示す方法は、ユーザが３次元カメラ２を被写体Ｑの周囲で移動させ、適応的に撮影条件を変更して入力を行う。図４（ｂ）に示す方法は、被写体Ｑそれ自体を移動させながら、適応的に撮影条件を変更して入力を行う。また、３次元カメラ２を所定のアームに取り付け、このアームを移動させることで被写体Ｑを撮影する位置を変えるようにしてもよい。
【００３５】
次に、モニタ画像ＱＰ及び案内画像ＧＰについて説明する。
図５は重合わせ画像発生部７によるモニタ画像ＱＰ及び案内画像ＧＰの生成の過程を説明するための図、図６はファインダー２１上に表示された被写体Ｑのモニタ画像ＱＰ及び案内画像ＧＰを示す図である。
【００３６】
図５及び図６において、モニタ画像ＱＰは、被写体Ｑのうちユーザが３次元カメラ２の視線を向けて３次元データを入力しようとしている部分をモニタするためのカラー画像であり、カラー画像メモリ６９に格納された撮像情報から生成される。
【００３７】
案内画像ＧＰは、被写体Ｑの全周又は所定範囲の３次元データを入力する際に、被写体Ｑを、どの位置からどのようにして撮影すべきかという情報をユーザに与える画像である。このような情報は、図５によく示されるように、モデルデータＭＤ及び属性情報ＡＪから生成される。
【００３８】
ここで、モデルデータＭＤは、入力対象である被写体と略同一の形状を有する３次元形状モデルのデータである。モデルデータＭＤは、立体形状が既知であって標準化が可能なもの、例えば人間の頭部（顔面を含む）、人体、動物、自動車、仏像、土器、銅鐸など、複数の種類のものについて、それぞれの標準的な形状モデルである。モデルデータＭＤは、各種類毎にモデルデータメモリ７５に格納されている。
【００３９】
ユーザは、入力対象とする被写体Ｑの種類に応じたモデルデータＭＤを所定の操作によって選択できる。本実施形態においては、人間の頭部が例として示されている。モデルデータＭＤとして、３次元カメラ２によって予め入力された３次元データから作成されたもの、又はコンピュータ上でＣＧによって作成されたものなどが用いられる。
【００４０】
モデルデータＭＤには、ワイヤーフレーム、シェ一ディング、テクスチャマッピング、又は色付けなどの処理が施される。色付けは、ワイヤーフレーム、シェ一ディング、又はテクスチャマッピング画像に対して、モニタ画像ＱＰとの識別を行い易くするためになされる。色付けにより、例えば、青、緑、赤などの色となる。また、モニタ画像ＱＰと案内画像ＧＰの混合比を変えることにより、つまりオーバーラップしているこれら２つの画像の濃度の割合を任意に変えることにより、ユーザにとって最も見やすい状態とすることも可能である。これらの処理が施されることにより、案内画像ＧＰとモニタ画像ＱＰとの重ね合わせが容易となる。ユーザの希望に応じて、いずれの処理を施すかを選択することが可能である。本実施形態においては、ワイヤーフレームを用いた例が示されている。
【００４１】
属性情報ＡＪは、モデルデータＭＤに付随したヘッダデータである。属性情報ＡＪは、被写体Ｑの全周又は所定範囲の３次元データを入力する際に、被写体Ｑをどの位置からどのようにして撮影すべきかを示す情報である。属性情報ＡＪとして、撮影方向、撮影画角、撮影枚数などの情報が含まれる。属性情報ＡＪに基づいて、モデルデータＭＤから案内画像ＧＰが作成される。
【００４２】
また、属性情報ＡＪによって、被写体Ｑが人間の頭部である場合に、目や鼻など特に精細なデータが必要な部分にはズーム機能を利用して高解像で入力するような指示を与えたり、頬や頭などのようにあまり形状の変化が激しくない部分は低い解像度で、つまりデータ点数が少なくて済むように入力するような指示を与えたりすることもできる。
【００４３】
属性情報ＡＪにしたがって、ワイヤーフレームなどの処理が施されたモデルデータＭＤが所定の案内画像ＧＰとしてファインダー２１上に表示される。以降、案内画像ＧＰをその表示形状によって他と区別する必要がある場合には、「ＧＰ１」「ＧＰ２」などのように末尾に数字を付して示す。
〔第１の入力形態〕
これらのモニタ画像ＱＰ及び案内画像ＧＰ１を用いて３次元データの入力を行う方法について、図５及び図６を参照して説明する。
【００４４】
ユーザは、まず、入力対象である被写体Ｑの種類に応じたモデルデータＭＤを選択する。選択されたモデルデータＭＤは、システムコントローラ６１からの指示にしたがって、モデルデータメモリ７５から読み出され、ファインダー２１上に案内画像ＧＰ１として表示される。
【００４５】
図６（ａ）において、案内画像ＧＰ１は、被写体Ｑを正面から撮影するように、ユーザに対して指示している。ユーザは、モニタ画像ＱＰが案内画像ＧＰにぴったりと重なるように、被写体Ｑのフレーミングを行う。フレーミングに際しては、図４に示したように、３次元カメラ２を動かしてもよいし、被写体Ｑを動かしてもよい。ズーミングを行うことによって、又は３次元カメラ２を移動させることによって、様々な解像度で入力できる。例えば、目や鼻などの精細なデータが必要な部分は高い解像度で入力し、これとは逆に頬や頭などのあまり形状の変化が激しくない部分は低い解像度で入力することができる。これによって、不必要なデータの増大を防止できる。重ね合わせを行った後、シャッターボタン２７を押して第１の３次元データの入力を行う。
【００４６】
第１の３次元データの入力が終わると、案内画像ＧＰ１は案内画像ＧＰ２に変更される。案内画像ＧＰ２は、被写体Ｑを次にどの位置から撮影すべきかについて指示する。この指示にしたがって次の入力を行うことにより、精度の良い位置合わせが可能となる。
【００４７】
図６（ｂ）においては、案内画像ＧＰ２は、次に被写体Ｑを斜め左方向から撮影すべきように指示している。ユーザは、モニタ画像ＱＰが案内画像ＧＰ２と重なるように被写体Ｑのフレーミングを行う。すなわち、モニタ画像ＱＰが案内画像ＧＰ２と一致するように、被写体Ｑと３次元カメラ２との相対位置を変化させる。モニタ画像ＱＰが案内画像ＧＰ２と一致したときに、シャッターボタン２７を押して第２の３次元データの入力を行う。以降同様に、案内画像ＧＰによって、撮影すべき位置がユーザに順次指示される。ユーザは、各案内画像ＧＰの指示にしたがって入力を順次行う。
【００４８】
図６においては、案内画像ＧＰによって頭部をどの方向から撮影すべきかという指示のみが示されているが、例えば、目や鼻などを拡大した案内画像ＧＰを表示することにより、それらの精細なデータを高解像度で入力するように指示を与えることもできる。
【００４９】
このように、順次になされる案内画像ＧＰによる指示は、プログラムによって自動的に行われるようにしておくことができる。また、自動的にではなく、手動によって属性情報ＡＪの内容を選択し、選択した順に逐次案内画像ＧＰを表示させるようにすることもできる。
【００５０】
案内画像ＧＰによる指示によって入力を行うことにより、被写体の３次元データの入力を簡単に迅速に且つ正確に行うことができる。また、撮影された複数の３次元データは、位置合わせが容易であり、精度良く位置合わせを行うことが可能であるから、被写体の全周又は所定範囲における合成画像を容易に取得することができる。また、被写体の必要な部分が漏れなく撮影されるように属性情報ＡＪを旨く設定しておくことによって、欠落のない合成画像を容易に得ることができる。
【００５１】
なお、もし合成画像に欠落点などがあった場合に、補間処理によってデータを補うことが可能である。その場合に、最初に作成されたモデルデータＭＤ、修正したモデルデータＭＤ、又は以前に撮影することによって得られた３次元データなどを用いることができる。
【００５２】
また、入力された３次元データのうち、データとして信頼性の低い周辺部分については、そのデータを用いないように、且つ表示しないようにすることも可能である。
【００５３】
図７は第１の入力形態における３次元データの入力動作及び処理を示すフローチャートである。
ファインダー２１上には、現在捕らえている被写体Ｑがモニタ画像ＱＰとして表示されている（＃１）。被写体Ｑに対応した案内画像ＧＰ１がファインダー２１上に表示される（＃２）。モニタ画像ＱＰが案内画像ＧＰ１と重なるようにフレーミングを行う（＃３）。ファインダー２１に表示された案内画像ＧＰ１での座標系で、ファインダー表示用視点位置が決定される（＃４）。このときの視点を「第１の視点」とする。第１の視点から、第１の３次元データが入力される（＃５）。
【００５４】
次の案内画像ＧＰ２が表示される（＃６）。表示された案内画像ＧＰ２と重なるようにフレーミングを行い（＃７）、第２の３次元データを入力する（＃８）。第２の３次元データの座標系を、第１の３次元データの座標系に変換するためのパラメータを求める（＃９）。つまり、ファインダー２１上で重ね合わせて入力した３次元データは、それぞれの座標系のデータとなっており、これらの座標系の間で変換が必要となる。３次元データの位置合わせを行うということは、一方の座標系への変換を行うということである。位置合わせの方法は後述する。求められたパラメータにより、第２の３次元データに対する座標変換が行われ（＃１０）、初期位置合わせが完了する（＃１１）。さらに高精度に位置合わせを行うために、ＩＣＰにより微調整を行う（＃１２）。
【００５５】
なお、ＩＣＰとは、最も近い点を対応点として対応点間のトータル距離を最小にする方法である。ＩＣＰについては、「Ａｍｅｔｈｏｄｏｆｒｅｇｉｓｔｒａｔｉｏｎｏｆ３−Ｄｓｈａｐｅｓ．」（Ｐ．ＢｅｓｌａｎｄＮ．ＭｃＫａｙ．著、ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，１２（２）：２３９〜２５６，１９９２．）を参照することができる。
【００５６】
次に、ステップ＃９で述べた位置合わせを行う方法について説明する。説明には次に示す各パラメータを用いる。
Ｐｔ：案内画像ＧＰ作成時の視点位置
Ｖｔ：案内画像ＧＰ作成時の視線方向
Ｕｔ：案内画像ＧＰ作成時の上方向ベクトル
Ｆｔ：案内画像ＧＰ作成時の焦点距離
Ｓｔ：案内画像ＧＰ作成時の注視点までの距離
Ｆａ：撮影した時の焦点距離
Ｓａ：撮影距離
Ｐａ：撮影した時の視点位置
Ｖａ：撮影した時の視線方向
Ｕａ：撮影した時の上方向ベクトル
Ｐａ’：座標変換後の視点位置
Ｖａ’：座標変換後の視線方向
Ｕａ’：座標変換後の上方向ベクトル
ここに説明する方法では、撮影したときの視点位置Ｐａを求めて位置合わせを行う。ファインダー２１上に表示された案内画像ＧＰを作成するときに視点位置Ｐｔと視線方向Ｖｔとが設定される。
【００５７】
ファインダー２１上で案内画像ＧＰにモニタ画像ＱＰを重ね合わせて被写体Ｑを撮影するときの視線方向Ｖａ及び視点位置Ｐａは次のようになる。すなわち、視線方向Ｖａは視線方向Ｖｔと同じ方向であり〔下記の（３）式〕、視点位置Ｐａは視線方向Ｖｔと同じ方向の前後に移動した位置となる。
【００５８】
ここで、撮影したときのレンズ情報（焦点距離）が得られるため、像倍率が案内画像ＧＰと同じになるように撮影距離Ｓａを求めることにより、視線方向Ｖａ（＝Ｖｔ）の前後の移動距離（Ｓｔ一Ｓａ）が計算でき、下記の（４）式のように視点位置Ｐａが求められる。すなわち、
Ｆｔ／Ｓｔ＝Ｆａ／Ｓａ …（１）
であるから、撮影距離Ｓａは次の（２）式のようになる。
【００５９】
Ｓａ＝（Ｆａ×Ｓｔ）／Ｆｔ …（２）
また、
Ｖａ＝Ｖｔ，Ｕａ＝Ｕｔ …（３）
であるから、撮影したときの視点位置Ｐａは次の（４）式のようになる。
【００６０】
Ｐａ＝Ｐｔ＋（Ｓｔ一Ｓａ）×Ｖｔ …（４）
各方向から得られた３次元データを視点位置Ｐａに基づいて平行移動させ、視線方向Ｖａに基づいて回転移動させることで、案内画像ＧＰを作成したもとの３次元データの座標系へ変換することが可能となる。もとの３次元データの座標系へ変換する座標変換のための平行移動量Ｔは次の（５）式のようになる。
【００６１】
Ｔ＝Ｐａ’−Ｐａ …（５）
座標変換後の視線方向Ｖａ’及び座標変換後の上方向ベクトルＵａ’は、回転マトリックスをＲとすると、Ｖａ，Ｕａを用いて、それぞれ次の（６）（７）式のように表される。
【００６２】
Ｖａ’＝Ｒ×Ｖａ …（６）
Ｕａ’＝Ｒ×Ｕａ …（７）
平行移動量Ｔ及び回転マトリックスＲによって各方向から得られた３次元データをもとの３次元データの座標系でのデータに変換することで位置合わせが行われる。
【００６３】
案内画像ＧＰの各指示毎の移動量は予め属性情報ＰＤで決められている。重ね合わせを行うことで３次元カメラ２と被写体Ｑとの相対的な移動量が求められる。複数位置から入力した３次元データを、この移動量に基づいて、初めに撮影したときの座標系におけるデータに変換する。これにより、位置合わせが行える。
【００６４】
上述したように、複数位置から入力された３次元データは、モニタ画像ＱＰと案内画像ＧＰとの重ね合わせにより、精度良く位置合わせが行われた状態で入力されている。したがって、事後的に位置合わせを行う必要がなく楽である。
【００６５】
このように精度良く位置合わせが行われた複数位置からの３次元データに基づいて、ホスト３で貼り合わせ処理が行われる。したがって、ホスト３での貼り合わせ処理が高速に且つ高精度で行える。
〔第２の入力形態〕
ところで、入力対象である被写体Ｑは、同じ種類であっても、形状が個別に多少異なることがある。例えば人間の頭部は、個人毎に、それぞれ、丸い、長い、又は後頭部が出ているなどというように、様々な特徴をもつ。また、大人と子供とでは大きさが異なる。このため、予め用意された案内画像ＧＰが被写体Ｑの形状とかなりずれていたり、大きさがかなり異なったりすることがあり、重ね合わせがうまくできないことがある。
【００６６】
第２の入力形態では、案内画像ＧＰとモニタ画像ＱＰとの間で対応付けを行うことでモデルデータＭＤを修正し、モニタ画像ＱＰと案内画像ＧＰとのスケールが合うようにスケール合わせを行う。
【００６７】
図８は第２の入力形態におけるモニタ画像ＱＰ及び案内画像ＧＰを示す図である。
図８において、ファインダー２１上には、モニタ画像ＱＰに対して縦方向に大きい案内画像ＧＰ３が表示されている。ユーザは、まず、モニタ画像ＱＰが案内画像ＧＰ３におおよそ重なるように被写体Ｑのフレーミングを行う。次に、案内画像ＧＰ３とモニタ画像ＱＰとの間で対応付けを行う。頭頂部Ｐ１、顎の先端Ｐ２、及び両耳の付け根Ｐ３などの各点をモデルデータＭＤに属性情報ＡＪとして与えておき、各点に対応する点をモニタ画像ＱＰ上で指定する。なお、任意の対応点を指定する方法でもよい。
【００６８】
その後、対応付けが行われた各点間の縦方向及び横方向の各移動量の比率が平均され、モデルデータＭＤ、つまり、案内画像ＧＰの全体に対してスケール変更が行われる。これによって、縦横比のスケール合わせがなされた案内画像ＧＰ４（図示せず）が生成される。
【００６９】
そして、案内画像ＧＰ４にモニタ画像ＱＰが重なるように被写体Ｑのフレーミングを行い、第１の３次元データの入力を行う。第１の３次元データの入力が終わると、第１の入力形態の場合と同様に、次の案内画像ＧＰが表示される。以下、第１の３次元データの入力の場合と同様に、案内画像ＧＰの指示にしたがって、おおよその重ね合わせ、対応付けによるスケール合わせ、及び３次元データの入力を繰り返す。
【００７０】
このように、各３次元データは、それぞれ被写体Ｑの形状にスケールが合わされた案内画像ＧＰの指示にしたがって入力されるので、精度良く位置合わせが行われた状態で入力されることになる。したがって、形状が個別に多少異なる被写体Ｑの場合であっても、精度の高い合成画像が得られる。
【００７１】
なお、第１の入力形態の場合と同様に、合成画像に欠落点などがあった場合に、補間処理によってデータを補うことが可能である。また、入力された３次元データのうち、データとして信頼性の低い周辺部分について、そのデータを用いないように、且つ表示しないようにすることも可能である。
【００７２】
図９は第２の入力形態における３次元データの入力動作及び処理を示すフローチャートである。
ファインダー２１上には、現在捕らえている被写体Ｑがモニタ画像ＱＰとして表示されている（＃２１）。被写体Ｑに対応した案内画像ＧＰ３が表示される（＃２２）。モニタ画像ＱＰに案内画像ＧＰ３がおおよそ重なるようにフレーミングを行う（＃２３）。案内画像ＧＰ３とモニタ画像ＱＰとの間で対応付けを行う。対応点の指定により、モデルデータＭＤと被写体Ｑの縦横比のスケール合わせを行う（＃２４）。この位置での座標系で、ファインダー表示用視点位置が決定される（＃２５）。このときの視点を「第１の視点」とする。第１の視点から第１の３次元データが入力される（＃２６）。被写体Ｑの実寸とモデルデータＭＤのスケール合わせを行うため、キャリブレーションを行う（＃２７）。
【００７３】
次の案内画像ＧＰ４が表示される（＃２８）。モニタ画像ＱＰに案内画像ＧＰ４がおおよそ重なるようにフレーミングを行い（＃２９）、対応点の指定により、モデルデータＭＤと被写体Ｑの縦横比のスケール合わせを行う（＃３０）。スケール合わせがなされた案内画像ＧＰ５（図示せず）にモニタ画像ＱＰをぴったりと重ね合わせて、第２の３次元データを入力する（＃３１）。第２の３次元データの座標系を、第１の３次元データの座標系に変換するためのパラメータを求め（＃３２）、求められたパラメータにより、第２の３次元データに対する座標変換が行われ（＃３３）、第１の入力形態の場合と同様に、初期位置合わせが完了し（＃３４）、さらに高精度に位置合わせを行うために、ＩＣＰにより微調整を行う（＃３５）。
【００７４】
上述のステップ２４及びステップ３０が本発明の対応付け手段及びスケール一致手段に相当する。
上述の実施形態において、案内画像ＧＰ及びモニタ画像ＱＰを３次元カメラ２と一体となったファインダー２１上に表示させたが、３次元カメラ２と別体化したファインダーやホスト３におけるディスプレイ３ｂに表示させることも可能である。
【００７５】
上述の実施の形態において、ファインダー２１として、ハーフミラーなどを用いたシースルー方式の表示装置を用いてもよい。これにより、３次元カメラ２の消費電力が節約できる。
【００７６】
上述の実施形態において、計測システム１、３次元カメラ２の各部又は全体の構成、形状、配置、回路、処理形態などは、本発明の主旨に沿って適宜変更することができる。
【００７７】
【発明の効果】
本発明によると、被写体の３次元データの入力を簡単に迅速に且つ正確に行うことができ、被写体の全周又は所定範囲における欠落のない合成画像を容易に取得することが可能となる。
【００７８】
請求項３又は請求項６の発明によると、形状が個別に多少異なる被写体の場合であっても、精度の高い合成画像が得られる。
【図面の簡単な説明】
【図１】本発明に係る３次元カメラを用いた計測システムの構成図である。
【図２】３次元カメラの外観を示す図である。
【図３】３次元カメラの機能構成を示すブロック図である。
【図４】３次元カメラによって被写体の全周又は所定範囲の３次元データを入力する具体的な方法を示す図である。
【図５】重合わせ画像発生部によるモニタ画像及び案内画像の生成の過程を説明するための図である。
【図６】ファインダー上に表示された被写体のモニタ画像及び案内画像を示す図である。
【図７】第１の入力形態における３次元データの入力動作及び処理を示すフローチャートである。
【図８】第２の入力形態におけるモニタ画像及び案内画像を示す図である。
【図９】第２の入力形態における３次元データの入力動作及び処理を示すフローチャートである。
【図１０】スリット光投影法を適用した３次元カメラの入力原理を示す図である。
【符号の説明】
２３次元カメラ（３次元データ入力装置）
２１ファインダー（モニタ画面）
６３メモリ（記憶手段）
７５モデルデータメモリ（記憶手段）
７６表示制御部（表示指示手段）
Ｑ被写体
ＭＤモデルデータ（３次元形状モデルのデータ）
ＡＪ属性情報
ＧＰ案内画像
ＱＰモニタ画像（入力部分の画像）
＃２４ステップ（対応付け手段、スケール一致手段）
＃３０ステップ（対応付け手段、スケール一致手段）

Claims

被写体の入力部分を確認するためのモニタ画面を有し、前記被写体を撮影することによって前記入力部分の３次元データの入力を行うように構成された３次元データ入力装置における３次元データ入力方法であって、
前記被写体の形状と略同一の形状を有する３次元形状モデルの画像をフレーミングの案内画像として前記モニタ画面に表示し、
前記案内画像に基づいてフレーミングを行い、
前記フレーミングがなされた状態で前記被写体の撮影を行う、
ことを特徴とする３次元データ入力方法。
被写体の入力部分を確認するためのモニタ画面を有し、前記被写体を撮影することによって前記入力部分の３次元データの入力を行うように構成された３次元データ入力装置における３次元データ入力方法であって、
前記被写体の形状と略同一の形状を有する３次元形状モデルのデータ及び前記３次元形状モデルを観察する位置に関する情報である属性情報をメモリに記憶しておき、
前記属性情報にしたがって前記３次元形状モデルの画像をフレーミングの案内画像として前記モニタ画面に表示し、
前記入力部分の画像が前記案内画像に重なり合うようにフレーミングを行い、
前記フレーミングがなされた状態で前記被写体の撮影を行う、
ことを特徴とする３次元データ入力方法。
前記入力部分の画像と前記案内画像との対応付けを行い、対応付けによって前記案内画像のスケールを前記被写体のスケールに一致させる、
請求項１又は請求項２記載の３次元データ入力方法。
前記撮影を前記被写体について互いに異なる位置毎に行う、
請求項１乃至請求項３記載の３次元データ入力方法。
被写体の入力部分を確認するためのモニタ画面を有し、前記被写体を撮影することによって前記入力部分の３次元データの入力を行うように構成された３次元データ入力装置であって、
前記被写体の形状と略同一の形状を有する３次元形状モデルのデータ及び前記３次元形状モデルを観察する位置に関する情報である属性情報を記憶する記憶手段と、
前記属性情報にしたがって前記３次元形状モデルの画像をフレーミングの案内画像として前記モニタ画面に表示させる表示指示手段と、
フレーミングがなされた前記被写体を撮影することによって入力される３次元データを記憶する記憶手段と、
を有することを特徴とする３次元データ入力装置。
前記入力部分の画像と前記案内画像との対応付けを行う対応付け手段と、
前記対応付けに基づいて前記案内画像のスケールを前記被写体のスケールに一致させるスケール一致手段と、
を有してなる請求項５記載の３次元データ入力装置。