JP3635942B2 - ３次元入力装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、計測対象を撮影してその３次元データを入力するための３次元入力装置に関する。
【０００２】
【従来の技術】
従来より、非接触型の３次元計測装置（３次元入力装置）が知られている。非接触型は、接触型に比べて高速の計測が可能であることから、ＣＧシステムやＣＡＤシステムへのデータ入力、身体計測、ロボットの視覚認識などに利用されている。
【０００３】
非接触の３次元計測の方法として、スリット光投影法（光切断法ともいう）又はパターン投影法が知られている。これらの方法は、特定の参照光（検出光ともいう）を計測対象に照射し、三角測定の原理で距離画像（３次元画像、３次元データ、又は３次元形状データともいう）を得る能動的計測方法の一種である。スリット光投影法では、スリット光を照射し且つ偏向することによって計測対象を走査する。パターン投影法では、複数の２次元パターン光を順次照射する。得られた距離画像は、計測対象上の複数の部位の３次元位置を示す画素の集合である。
【０００４】
このような３次元計測装置には、計測対象の距離画像を得るための距離計測光学系と、距離計測光学系による距離計測領域をモニタするためのカラー光学系（モニタ光学系ともいう）とが設けられる。距離計測光学系には、計測対象に参照光を照射する投光部、参照光の計測対象による反射光を受光する受光センサなどが含まれる。受光センサからの出力などに基づいて、３次元形状データが演算により求められる。
【０００５】
カラー光学系には、同じ計測対象のカラー画像（モニタ画像、２次元画像、２次元データ、又は２次元画像データともいう）を撮像する撮像センサなどが含まれる。カラー光学系により得られるカラー画像は、距離計測光学系による計測を開始するに当たり、距離計測により得られる距離画像の範囲を予め確認するために用いられる他、得られた距離画像を修正するに当たり、その修正箇所の特定のために用いられる。
【０００６】
【発明が解決しようとする課題】
さて、距離計測光学系の受光軸とカラー光学系の受光軸とが互いに独立して設けられた３次元計測装置、つまり２眼タイプの３次元計測装置では、互いの受光軸の視差のために距離画像とカラー画像との間に位置ずれが生じる。
【０００７】
すなわち、図１６に示すように、距離計測光学系ＤＰｊの受光軸ＤＸｊとカラー光学系ＣＰｊの受光軸ＣＸｊとは、所定の間隔をあけて互いに平行に設けられる。受光センサＤＳ及び撮像センサＣＳは、それぞれのレンズの後方において、それぞれの中心位置が受光軸ＤＸｊ，ＣＸｊ上の点と一致するように配置される。
【０００８】
図１７（Ａ）にも示されるように、距離計測光学系ＤＰｊにおいて、受光センサＤＳによって受光される領域が距離計測領域ＤＡＭｊである。レンズから遠い位置にある計測対象ＡＭ１を計測する場合には、計測対象ＡＭ１における領域は比較的広くなり、レンズから近い位置にある計測対象ＡＭ２を計測する場合には、計測対象ＡＭ１における領域は比較的狭くなる。最遠の計測対象ＡＭ１と最近の計測対象ＡＭ２との間が、計測可能距離範囲ｄ’である。
【０００９】
図１７（ｂ）によく示されるように、カラー光学系ＣＰｊにおいて、計測対象ＡＭ１，ＡＭ２に対応するカラー画像ＣＤＭＡは、撮像センサＣＳの撮像範囲（カラー領域）ＣＡＭｊと一致せず、図の左方にずれている。そのずれの量は、計測対象ＡＭが近くなればなるほど大きくなる。
【００１０】
したがって、実際に計測可能な領域、つまり有効計測領域は、距離計測領域ＤＡＭｊとカラー領域ＣＡＭｊとの重なった領域となる。有効計測領域においても、距離計測領域ＤＡＭｊとカラー領域ＣＡＭｊとの位置関係が計測対象の距離に応じて変化するので、距離画像とカラー画像との対応点は、距離に応じて変化することになる。
【００１１】
本発明は、上述の問題に鑑みてなされたもので、計測対象が計測可能距離範囲内のどの位置にあっても距離画像とカラー画像との対応を正しくとることのできる３次元入力装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
請求項１の発明に係る装置は、計測対象ＨＭに参照光を照射する手段及び前記参照光の計測対象ＨＭによる反射光を受光する受光センサ５３を有し計測対象ＨＭの距離画像を得るための距離計測光学系ＤＰと、計測対象ＨＭの２次元画像を撮像する撮像センサ５４を有し前記距離計測光学系ＤＰによる距離計測領域ＤＡＭをモニタするためのモニタ光学系ＣＰとを有し、前記距離計測光学系ＤＰの受光軸ＤＸと前記モニタ光学系ＣＰの受光軸ＣＸとが互いに独立して設けられた３次元入力装置であって、前記受光センサ５３上の距離画像と前記撮像センサ５４上の２次元画像との位置関係のずれを、計測対象ＨＭまでの距離ｄに応じて補正する補正手段を有してなる。
【００１３】
請求項２の発明に係る装置では、前記距離画像と前記２次元画像との相対的な位置関係を計測対象ＨＭまでの距離ｄに対応して記録した補正テーブルＴＢ１が設けられて、前記補正手段は前記補正テーブルＴＢ１を参照して補正するように構成される。
【００１４】
例えば図９に示すように、カラー光学系ＣＰのカラーセンサ（撮像センサ）５４は、その中心位置５４Ｃが受光軸ＣＸ上の点と一致するようには配置されておらず、図９の左方へずれて配置されている。ここで、レンズの主点と撮影中心点ＰＴＣを通る線を撮影中心線ＬＴＣとする。カラーセンサ５４は、例えばその中心位置５４Ｃが撮影中心線ＬＴＣ上の点と一致するように配置される。計測対象が受光軸ＤＸ上の距離ｄの位置にある場合に、その計測対象がカラーセンサ５４上に結像する位置は、距離ｄが撮影中心点ＰＴＣよりも遠いか近いかに応じて、中心位置５４Ｃの左右にずれる。そのずれ量は、撮影中心点ＰＴＣからのずれ量に応じて変化する。
【００１５】
受光センサ５３上の距離画像と前記カラーセンサ５４上のカラー画像（２次元画像）との位置関係のずれは、補正手段によって計測対象ＨＭまでの距離ｄに応じて補正される。
【００１６】
補正のために、例えば図１２に示す補正テーブルＴＢ１が用いられる。補正テーブルＴＢ１によると、距離ｄが５５０ｍｍの場合に、カラーセンサ５４の中心位置５４Ｃが距離計測領域ＤＡＭの中心位置ＤＡＣと一致するので、この状態を基準状態として距離画像とカラー画像との対応点を決めておく。なお、カラーセンサ５４の中心位置５４Ｃを基準位置とする。基準状態では、補正値は０である。距離ｄが５５０ｍｍよりも大きくなると補正値は負の方向に大きくなり、距離ｄが５５０ｍｍよりも小さくなると補正値は正の方向に大きくなる。
【００１７】
補正テーブルＴＢ１は、距離ｄに対するデータとして持つことができる。また、補正テーブルＴＢ１を持つことなく、演算式として持っておき、演算により補正値を求めるようにしてもよい。
【００１８】
なお、本明細書において、「距離画像」は、３次元画像、３次元データ、又は３次元形状データとほぼ同意に用いられる。また、「カラー画像」は、モニタ画像、２次元画像、２次元データ、又は２次元画像データとほぼ同意に用いられる。
【００１９】
【発明の実施の形態】
本実施形態では、３次元入力装置を人物模型製造システムに組み込んだ例を説明する。
【００２０】
図１は本発明に係る人物模型製造システム１の外観を示す図、図２は人物模型製造装置３の構成を示すブロック図、図３は操作部１３を示す正面図、図４は背景幕４の位置を示す図である。
【００２１】
人物模型製造システム１は、その利用客であり計測対象でもある操作者ＨＭがコインを投入して必要な操作を行うことにより、操作者ＨＭの頭部の形状を３次元計測し、その計測結果に基づいてその場で加工用材料（被加工物）を自動的に加工し、操作者ＨＭの顔をかたどった立体模型（人物模型）ＭＳを製造して販売する装置である。
【００２２】
図１及び図２において、人物模型製造システム１は、人物模型製造装置３及び背景幕４からなる。背景幕４は、青色であり、操作者ＨＭの背後に背景として配置されている。
【００２３】
人物模型製造装置３は、計測部１１、制御部１２、操作部１３、モニタ部１４、スピーカ１５、コイン投入部１６、加工部１７、排出部１８、材料装着口３０、及びのぞき窓３１からなる。これらは、本体ケース１０に内蔵され、又はその一部が本体ケース１０の表面に露出するように取り付けられる。
【００２４】
図２に示すように、計測部１１は、３次元計測部１１１、２次元撮影部１１２、及び計測系コントローラ１１３からなる。３次元計測部１１１は、操作者ＨＭの頭部、特にそのうちの顔を撮影して距離画像（３次元データ）を得るためのものである。２次元撮影部１１２は、操作者ＨＭの頭部の全体及び胴体部の一部を撮影し、そのカラー画像（モニタ画像、２次元データ）を得るためのものである。
【００２５】
３次元計測部１１１は、参照光を照射するための投光窓２０ａ及びその反射光を受光するための受光窓２０ｂを有する。投光窓２０ａ及び受光窓２０ｂは、図１に示すように、本体ケース１０の前面であって且つモニタ部１４の表示面１４ａの上辺に沿って、水平方向の左右に基線長の分だけ互いに間隔をあけて配置される。なお、２次元撮影部１１２には、操作者ＨＭを撮影するための受光窓２０ｃが設けられている。受光窓２０ｃは、受光窓２０ｂの鉛直下方において、視差分の距離ＬＰだけ離れて配置されている。
【００２６】
３次元計測部１１１は、投光窓２０ａ及び受光窓２０ｂから一定の距離の範囲内にある計測対象に対して３次元計測が可能である。上述したように、この計測可能な距離の範囲を計測可能距離範囲という。つまり、計測可能距離範囲の内側の対象物については正常な距離画像を得ることが可能であり、計測可能距離範囲の外側の計測対象は計測不可能であって距離画像を得ることができない。計測可能距離範囲は図４において「ｄ’」で示される。計測可能距離範囲ｄ’は、センサ５３の画素数及び参照光の届く範囲などに依存する。
【００２７】
人物模型製造システム１において、操作者ＨＭが操作部１３を操作可能な通常の位置にいる限りは、この計測可能距離範囲の内側に入るようになっており、計測を正常に行って距離画像を得ることができる。しかし、もし操作者ＨＭが計測可能距離範囲に入っていない場合、例えば遠すぎる場合には、近づくように警告が発せられる。なお、後述するように、背景幕４は計測可能距離範囲の外側に配置されている。
【００２８】
計測部１１の光学ユニットが射出するスリット光（所定幅ｗの帯状のレーザビーム）Ｕは、投光窓２０ａを通って操作者ＨＭに向かう。スリット光の長さ方向の放射角度φは固定である。操作者ＨＭの表面で反射したスリット光の一部が受光窓２０ｂを通って光学ユニットに入射する。
【００２９】
計測系コントローラ１１３は、３次元計測部１１１及び２次元撮影部１１２を制御するとともに、それらから得られたデータを処理して距離画像（３次元データ）及びカラー画像（２次元データ）を算出する。
【００３０】
制御部１２には、データ処理部１２１、加工データ生成部１２２、特性データ記憶部１２３が設けられる。制御部１２は、計測部１１によって得られた距離画像及びカラー画像に基づいて、加工部１７を制御し、加工部１７において供給される加工用材料に加工を行って操作者ＨＭの立体模型を製造する。また、撮像された操作者ＨＭのカラー画像を確認のためにモニタ部１４に表示し、また、操作者ＨＭの位置や顔の向きが悪い場合にモニタ部１４への表示やスピーカ１５による音声によってその旨を警告するように制御する。さらに、操作部１３からの指令に対応して動作モードを切り換えるなど、人物模型製造装置３の全体を制御する。なお、制御部１２は、種々の電子デバイスを用いたハードウエア回路、プログラムを実行するコンピュータ又はマイクロプロセッサの機能、又はそれらの組み合わせなどにより実現することができる。
【００３１】
操作部１３には、図３に示すように、確認ボタン（ＯＫボタンともいう）１３２、キャンセルボタン（ＮＧボタンともいう）１３３、及びジョイスティック１３４が備えられる。確認ボタン１３２は、例えばモニタ部１４に表示される確認画面や選択画面でＯＫを出すときに押され、キャンセルボタン１３３はモニタ部１４に表示される操作者ＨＭの画像が想像と異なる場合に再度別のポーズをとるために押される。ジョイスティック１３４は、表示面１４ａに表示される複数のボタン又はＧＵＩなどのいずれかを選択するために用いられる他、表示面１４ａに表示される画像を３次元の様々な方向に回転させるために用いられる。なお、ジョイスティック１３４で選択した後は、例えば確認ボタン１３２を押すことにより、その選択内容に対する入力指示が行われる。
【００３２】
モニタ部１４は、表示面１４ａが、操作者ＨＭの正面に見えるように本体ケース１０の前面ほぼ中央に臨むように設置された表示システムである。モニタ部１４は、ＣＲＴ、ＬＣＤ、又はＰＤＰなどの表示デバイスを備えた表示装置、又はこれに光学的機構を加えて構成される。表示デバイスの表示部分が表示面１４ａに一致する場合には、モニタ部１４の構造は最も簡単である。表示デバイスを表示面１４ａよりも奥側に配置し、表示面１４ａに透明のガラス板を嵌め込むように構成すると、それらの間にミラー又はハーフミラーを配置することができる。特に、表示デバイスの表示面の前方にハーフミラーを配置する場合には、表示デバイスを表示面１４ａの奥に配置する必要がある。この場合には、表示面１４ａは単なる表示窓と同意である。
【００３３】
表示面１４ａには、操作者ＨＭが構図を決めるためのカラー画像、操作者ＨＭの３次元計測を行った結果である距離画像（３次元画像）、操作のためのボタン又はＧＵＩ、及び操作方法の説明や警告などが表示される。
【００３４】
スピーカ１５からは、人物模型製造装置３の操作方法の説明、使用上の注意、操作者ＨＭの撮影位置及び状態などに対する警告などが、音声で発せられる。適宜、効果音や音楽が流される。スピーカ１５は、本体ケース１０の前面に配置されているが、本体ケース１０の側面、上面、又は底面などに配置してもよい。
【００３５】
コイン投入部１６は、人物模型製造システム１を使用するために必要な料金を操作者ＨＭが投入するためのものである。コインの返却のために返却ボタンが設けられている。正規のコインが投入されると、その旨の信号が制御部１２に出力され、立体模型ＭＳの製造に向けて動作が開始される。
【００３６】
加工部１７には、加工系コントローラ１７１、加工機構１７２、材料固定機構１７３、材料排出機構１７４、Ｙ軸駆動装置１７５、及び切削屑回収装置１７６などが備えられる。
【００３７】
材料排出機構１７４は、複数種類の加工用材料の中から操作者ＨＭが予め選択したものを、排出部１８に排出する。操作者ＨＭは、排出部１８に加工用材料が排出されると、そのカバーを開けて加工用材料を取り出す。そして、取り出した加工用材料を、材料装着口３０から材料固定機構１７３にセットする。材料固定機構１７３は、加工用材料が正しくセットされた場合に、その加工用材料を固定して位置決めする。材料固定機構１７３が着脱位置から加工位置に移動した後、加工機構１７２が、計測部１１で計測された３次元データに基づき、加工系コントローラ１７１の制御によって、固定された加工用材料に操作者ＨＭの顔の部分を加工する。これによって、操作者ＨＭの立体模型ＭＳが製作される。
【００３８】
加工用材料ＡＭの加工が完了し、立体模型ＭＳが完成すると、材料固定機構１７３は加工位置から着脱位置に移動し、そこで加工用材料ＡＭ（立体模型ＭＳ）の固定を解除する。操作者ＨＭは、材料装着口３０から完成した立体模型ＭＳを取り出して利用する。
【００３９】
なお、材料装着口３０は、その開口部に透明のカバー３０ａが設けられており、そのカバー３０ａが自動的に開閉するようになっている。カバー３０ａが透明であるので、加工用材料ＡＭの装着状況を容易に確認することができる。また、カバー３０ａが開いている場合に操作者ＨＭの手が中に入いっている状態か否かを検出するためのセンサが設けられている。もし操作者ＨＭの手が材料装着口３０の中に入っている場合には、カバー３０ａが閉じたり材料固定機構１７３が作動したりしないように、安全のための制御が行われている。また、制御部１２と加工系コントローラ１７１の制御範囲の受持ちについては、種々の形態を取ることができる。
【００４０】
背景幕４は、先に述べたように青色であり、操作者ＨＭの背後に背景として配置されているが、その位置は、人物模型製造装置３から見て操作者ＨＭの後方であって３次元計測部１１１の計測可能距離範囲の外側に配置される。また、背景幕４の大きさに関しては、３次元計測部１１１及び２次元撮影部１１２の両方についての撮影範囲、つまり後述する計測用センサ５３及びカラーセンサ５４の視野範囲のほぼ全域をカバーするように設けられる。なお、２次元撮影部１１２は、操作者ＨＭのみならず、背景幕４も正常に撮像してそれらのカラー画像を得ることができる。
【００４１】
したがって、計測部１１によって撮影が行われると、操作者ＨＭの距離画像と、操作者ＨＭ及び背景幕４のカラー画像とが得られる。つまり、背景幕４は計測可能距離範囲の外側に配置されているので、３次元計測部１１１による計測を行った場合に、操作者ＨＭについてのみ距離画像が得られ、背景幕４の部分については距離画像を得ることができずエラー情報となる。
【００４２】
また、背景幕４が青色であるので、３次元計測部１１１の照射する参照光の波長域に対して、背景幕４による反射率は極めて低く、３次元計測に必要な受光量が得られない。したがって、背景幕４が青色であることのみによっても、背景幕４の部分については距離画像を得ることはほとんどできず、操作者ＨＭの距離画像のみが得られる。したがって、背景幕４を仮に計測可能距離範囲の内側に配置した場合であっても、３次元計測部１１１によって操作者ＨＭのみの距離画像が得られる。
【００４３】
次に、計測部１１の構成及び動作について説明する。
図５は計測部１１の機能構成を示すブロック図、図６は３次元計測光学系ＤＰ及び２次元撮影光学系ＣＰの各構成を模式的に示す図である。図５中の実線矢印は電気信号の流れを示し、破線矢印は光の流れを示している。
【００４４】
図５において、計測部１１は、光学ユニットを構成する投光側及び受光側の２つの光学系４０，５０を有している。光学系４０において、半導体レーザ（ＬＤ）４１が射出する波長６８５ｎｍのレーザビームは、投光レンズ系４２を通過することによってスリット光Ｕとなり、ガルバノミラー（走査手段）４３によって偏向される。半導体レーザ４１のドライバ４４、投光レンズ系４２の駆動系４５、及びガルバノミラー４３の駆動系４６は、システムコントローラ６１によって制御される。
【００４５】
光学系５０は、ズームユニット５１ａなどからなる３次元計測光学系ＤＰ及びズームユニット５１ｂなどからなる２次元撮影光学系ＣＰにより構成される。半導体レーザ４１の発振波長帯域の光は、ズームユニット５１ａを通過して計測用のセンサ５３に入射する。可視帯域の光は、ズームユニット５１ｂを通過してモニタ用のカラーセンサ５４に入射する。センサ５３及びカラーセンサ５４は、どちらもＣＣＤエリアセンサである。ズームユニット５１ｂは内焦型であり、入射光の一部がオートフォーカシング（ＡＦ）に利用される。ＡＦ機能は、ＡＦセンサ５７とレンズコントローラ５８とフォーカシング駆動系５９によって実現される。ズームユニット５１ａのフォーカシングは、ＡＦセンサ５７からの情報に基づいて行われる。ズーミング駆動系６０ａ，６０ｂは電動ズーミングのために設けられている。
【００４６】
センサ５３による撮像情報は、ドライバ５５からのクロックに同期してメモリ６３に格納される。カラーセンサ５４による撮像情報は、ドライバ５６からのクロックに同期してカラー処理回路６７へ転送される。カラー処理を受けた撮像情報は、ＮＴＳＣ変換回路７０及びアナログ出力端子３２を経てオンライン出力され、又はディジタル画像生成部６８で量子化されてカラー画像メモリ６９に格納される。その後、カラー画像がカラー画像メモリ６９からＳＣＳＩコントローラ６６へ転送され、ディジタル出力端子３３からオンライン出力される。カラー画像は、操作者ＨＭの状態を検出するため、距離画像の範囲を予め確認するため、３次元形状モデルの不要の頂点を間引いたり修正箇所の特定のためなどに、後段の制御部１２において用いられる。
【００４７】
出力処理回路６２は、センサ５３の出力する各画素ｇの光電変換信号を増幅する増幅器、及び光電変換信号を８ビットの受光データに変換するＡＤ変換部を有している。メモリ６３は、２００×３２×３３Ｂｙｔｅの記憶容量を持つ読み書き可能なメモリであり、出力処理回路６２から出力される受光データを記憶する。メモリ制御回路６３Ａは、メモリ６３への書込み及び読出しのアドレス指定を行う。
【００４８】
重心演算回路７３は、メモリ６３に記憶された受光データに基づいて、距離画像（３次元データ）を算出するための基となるデータを算出し出力用メモリ６４に出力する。
【００４９】
図６（Ａ）に示すように、３次元計測光学系ＤＰは、ズームユニット５１ａ、ローパスフィルタ５１１、及びバンドパスフィルタ５１２から構成されている。バンドパスフィルタ５１２は、半導体レーザ４１の発振波長帯域の光のみを透過する。図６（Ｂ）に示すように、２次元撮影光学系ＣＰは、ズームユニット５１ｂ、赤外線カットフィルタ５１５、及びローパスフィルタ５１６から構成されている。
【００５０】
ズームユニット５１ａから入射したスリット光Ｕ０は、ローパスフィルタ５１１及びバンドパスフィルタ５１２を通ってセンサ５３で受光される。また、ズームユニット５１ｂから入射した光Ｃ０のうち、赤外線カットフィルタ５１５及びローパスフィルタ５１６を透過した光が、カラーセンサ５４によって受光される。
【００５１】
このように、本実施形態においては、スリット光Ｕは受光窓２０ｂから入射し、通常の可視光は受光窓２０ｃに入射し、それぞれセンサ５３又はカラーセンサ５４で受光することによって３次元計測又は２次元撮影が行われる。
【００５２】
次に、計測部１１による３次元計測の原理について簡単に説明する。
図７は計測部１１による３次元計測の原理を説明するための図である。
図７において、投光の起点Ａと受光系のレンズの主点Ｏとを結ぶ基線ＡＯが受光軸と垂直になるように、投光系と受光系とが配置されている。受光軸は撮像面Ｓ２に対して垂直である。図７（ｃ）のように受光系にズームレンズ群を設けた場合には、主点Ｏは後側主点Ｈ’となる。
【００５３】
スリット光投影法に基づく３次元計測において、計測対象である物体上の点Ｐの３次元位置は、３次元計測部１１１からの参照光の照射方向つまり投光角θａと３次元計測部１１１への入射方向つまり受光角θｐとの関係に基づいて求められる。
【００５４】
投光角θａは、スリット光Ｕの偏向角に基づいて求められる。偏向角の変化量は、角速度と経過時間とに基づいて求められる。したがって、スリット光Ｕの任意の時点における偏向角は、偏向を開始した時点における偏向角（原点位置）、角速度、及び偏向を開始してからの経過時間（計測のタイミング）に基づいて求められる。これらの物理量は、走査手段の駆動信号若しくは位置信号、制御のためのクロック信号、計測のためのサンプリング信号、又は内部時計などから得ることができる。
【００５５】
受光角θｐは、撮像面上の受光位置（ｙｐ）に基づいて求められる。ＣＣＤセンサのように撮像面が有限個の画素からなる撮像手段を用いた場合に、撮像面上の受光位置は、原始的にはいずれかの画素の位置となり、画素ピッチによって精度が決まってしまう。
【００５６】
そこで、精度を上げるために補間を行う。補間のために重心演算を行う。補間の方法として、つまり重心演算の方法として、時間重心演算の方法又は空間重心演算の方法が用いられるが、ここでの説明は省略する。
【００５７】
さて次に、３次元計測光学系ＤＰのセンサ５３により計測される距離計測領域ＤＡＭと２次元撮影光学系ＣＰのカラーセンサ５４により撮影されるカラー領域（モニタ領域）ＣＡＭとの関係について説明する。
【００５８】
本実施形態では、カラー領域ＣＡＭを距離計測領域ＤＡＭよりも大きく設定する。また、カラーセンサ５４の中心位置が、３次元計測光学系ＤＰによって特定の距離の計測対象を計測するときのその中心位置に対応するカラー画像の位置と一致するように、カラーセンサ５４の中心位置を受光軸ＣＸに対してずらせて配置する。これによって、計測対象に対する有効計測領域をできるだけ多く確保し、３次元計測の可能な範囲を広くする。
【００５９】
図８は３次元計測光学系ＤＰの受光軸ＤＸとカラー光学系ＣＰの受光軸ＣＸとの関係を示す図、図９は計測対象までの距離ｄとカラーセンサ５４の中心位置５４Ｃからの結像位置のずれ量との関係を説明するための図、図１０はカラー領域ＣＡＭに対する距離計測領域ＤＡＭの位置関係を計測対象までの距離ｄをパラメータとして示した図、図１１はカラーセンサ５４の中心位置５４Ｃが受光軸ＣＸ上の点と一致するように配置した場合の図１０と同様の関係を示す図である。
【００６０】
まず、図１０に示すように、カラー光学系ＣＰによるカラー領域ＣＡＭは、距離計測光学系ＤＰによる距離計測領域ＤＡＭよりも大きく設定されている。
カラーセンサ５４によるカラー領域ＣＡＭは、５１２×４８０（横×縦）画素であり、センサ５３による距離計測領域ＤＡＭは、カラー換算で４００×４００画素である。
【００６１】
３次元計測に用いるセンサ５３では、周辺の光量低下などによる計測精度の低下を回避するために、周辺部分の使用をある程度制限した方がよい。カラー領域ＣＡＭは、原理的にはセンサ５３による距離計測領域ＤＡＭと同じ大きさにすればよい。しかし、２眼タイプの３次元計測装置では、互いの受光軸ＤＸ，ＣＸの視差のために距離画像とカラー画像との間に位置ずれが生じる。
【００６２】
したがって、カラー領域ＣＡＭを距離計測領域ＤＡＭよりも大きく設定しておくことによって、視差による距離画像とカラー画像との位置ずれが生じても、カラー領域ＣＡＭが距離計測領域ＤＡＭをカバーすることができ、有効計測領域を確保することができる。視差による位置ずれが小さい場合には、これだけで充分に有効計測領域を確保できるが、視差による位置ずれが大きい場合には、次に説明するようにカラーセンサ５４の中心位置の設定をも行う必要がある。
【００６３】
次に、カラーセンサ５４の中心位置の設定について説明する。
図８において、距離計測光学系ＤＰのセンサ５３は、その中心位置が受光軸ＤＸ上の点と一致するように配置されている。したがって、受光軸ＤＸを対称軸とする左右対称の距離計測領域ＤＡＭを計測することができる。距離計測光学系ＤＰにおける奥行き方向の計測可能距離範囲ｄ’は、レンズの主点からの距離で４００ｍｍ乃至７００ｍｍの範囲である。ここで、受光軸ＤＸ上にあって計測可能距離範囲ｄ’の中央位置の５５０ｍｍの地点を、撮影中心点ＰＴＣとする。
【００６４】
他方、カラー光学系ＣＰの受光軸ＣＸは、距離計測光学系ＤＰの受光軸ＤＸと視差分の距離ＬＰだけ離れて平行に設けられている。しかし、カラーセンサ５４は、その中心位置が受光軸ＣＸ上の点と一致するようには配置されておらず、図８の左方へずれて配置されている。ここで、レンズの主点と撮影中心点ＰＴＣを通る線を撮影中心線ＬＴＣとする。カラーセンサ５４は、その中心位置５４Ｃが撮影中心線ＬＴＣ上の点と一致するように配置されている。
【００６５】
すなわち、図９によく示されるように、カラーセンサ５４の中心位置５４Ｃは、撮影中心線ＬＴＣの延長上に設けられている。計測対象が受光軸ＤＸ上の距離ｄの位置にある場合に、その計測対象がカラーセンサ５４上に結像する位置は、距離ｄが５５０ｍｍよりも大きいか小さいかに応じて、中心位置５４Ｃの左右にずれる。そのずれ量は、撮影中心点ＰＴＣからのずれ量にほぼ比例する。
【００６６】
図１０（Ｂ）に示されるように、計測対象の距離ｄが５５０ｍｍである場合には、その距離計測領域ＤＡＭの中心位置ＤＡＣは、カラーセンサ５４の中心位置５４Ｃ、つまりカラー領域ＣＡＭの中心位置と一致する。距離計測領域ＤＡＭの右方に残されたカラー領域ＣＡＭの余裕は、（５１２−４００）÷２＝５６画素分である。
【００６７】
図１０（Ａ）に示されるように、計測対象の距離ｄが７００ｍｍである場合には、その距離計測領域ＤＡＭの中心位置ＤＡＣは、カラーセンサ５４の中心位置５４Ｃから左方へ１１画素分ずれる。この場合には、距離計測領域ＤＡＭの右方に残されたカラー領域ＣＡＭの余裕は、６７画素分となる。
【００６８】
図１０（Ｃ）に示されるように、計測対象の距離ｄが４００ｍｍである場合には、その距離計測領域ＤＡＭの中心位置は、カラーセンサ５４の中心位置５４Ｃから右方へ２０画素分ずれる。この場合には、距離計測領域ＤＡＭの右方に残されたカラー領域ＣＡＭの余裕は、３６画素分となる。
【００６９】
いずれの場合においても、距離計測領域ＤＡＭはカラー領域ＣＡＭによってカバーされており、したがって有効計測領域を最大限に確保することができる。
因みに、カラーセンサ５４の中心位置５４Ｃを、受光軸ＣＸと一致するように配置した場合には、図１１（Ａ）（Ｂ）（Ｃ）に示されるように、計測対象の距離ｄが７００ｍｍ、５５０ｍｍ、４００ｍｍである場合に、その距離計測領域ＤＡＭの中心位置ＤＡＣは、カラー領域ＣＡＭの中心位置から、４２画素分、５３画素分、７４画素分ずれる。図１１（Ｃ）に示されるように、計測対象の距離ｄが４００ｍｍの場合には、距離計測領域ＤＡＭがカラー領域ＣＡＭからはみ出してしまう。距離計測領域ＤＡＭのはみ出した部分は、カラー画像によるデータ修正などを行うことができないので無効領域となる。つまり、有効計測領域が減少することとなってしまう。
【００７０】
なお、本実施形態において、距離ｄが５５０ｍｍの地点を撮影中心点ＰＴＣとし、カラーセンサ５４の中心位置５４Ｃを撮影中心線ＬＴＣ上の点と一致させたが、撮影中心点ＰＴＣの位置は、計測可能距離範囲ｄ’の実際の値などに応じて他の位置としてよい。
【００７１】
ところで、上に説明したように、距離計測領域ＤＡＭとカラー領域ＣＡＭとの位置関係が距離ｄに応じて変化するので、センサ５３で得られる距離画像とカラーセンサ５４で得られるカラー画像との対応点が、距離ｄに応じて変化する。そのため、距離ｄに応じて、距離画像とカラー画像との対応点を補正する必要がある。
【００７２】
図１２は計測対象の距離ｄに応じた補正値を画素数で示す補正テーブルＴＢ１の図である。
すなわち、距離ｄが５５０ｍｍの場合に、カラーセンサ５４の中心位置５４Ｃが距離計測領域ＤＡＭの中心位置ＤＡＣと一致するので、この状態を基準状態として距離画像とカラー画像との対応点を決めておく。なお、カラーセンサ５４の中心位置５４Ｃを基準位置とする。
【００７３】
図１２に示す補正テーブルＴＢ１によると、基準状態では、補正値は０である。距離ｄが５５０ｍｍよりも大きくなると補正値は負の方向に大きくなり、距離ｄが５５０ｍｍよりも小さくなると補正値は正の方向に大きくなる。
【００７４】
３次元計測時において、補正テーブルＴＢ１を参照し、距離ｄに基づいて補正値を取得し、これによりカラーセンサ５４から得られるカラー画像の中心座標を補正する。また、カラー画像の補正後の中心座標を、入力条件などとともにヘッダファイルに書き込む。ヘッダファイルは、３次元計測時において作成されるファイルであり、距離画像及びカラー画像とともに、ＳＣＳＩコントローラ６６を介して制御部１２に出力される。補正テーブルＴＢ１は例えばシステムコントローラ６１に設けられており、このような補正処理はシステムコントローラ６１によって行われる。
【００７５】
なお、補正テーブルＴＢ１は、距離ｄに対するデータとして持つことができる。また、この例のように補正テーブルＴＢ１を持つことなく、演算式として持っておき、演算により補正値を求めるようにしてもよい。
【００７６】
制御部１２では、計測部１１から出力される距離画像、カラー画像、及びヘッダファイルに基づいて処理が行われる。距離画像のサイズは２００×２００画素（カラー換算では４００×４００画素）、カラー画像のサイズは５１２×４８０画素である。ヘッダファイルに基づいて、カラー画像から距離画像に対応した領域の切り出しが行われる。カラー画像から切り出された部分について、距離画像との間で画素毎の対応点が決定される。
【００７７】
対応点が明確になったカラー画像を用いて、種々の処理が行われる。例えば、距離画像のエラー領域について、それに対応するカラー画像の部分を色を変えて表示面１４ａに表示する。つまり、距離画像のエラーの箇所を表示するために、そのエラーの部分をカラー画像によって表示するのである。また、形状としての特徴が少ないために３次元計測による計測では実態を表現しきれない領域、例えば、人の黒目、眉、髪、唇などを、カラー画像によって抽出し、抽出した領域について、それぞれの領域に適したデータ処理を行う。例えば、人の黒目については、白目との区別できるようにデータ修正を行う。人の髪については、適当な髪型のライン模様を施す。
【００７８】
さて次に、３次元計測により得られる距離画像とモニタ部１４の表示面１４ａに表示される操作者ＨＭのカラー画像との関係について説明する。
本実施形態では、操作者ＨＭの３次元計測を行う前に、表示面１４ａに操作者ＨＭのカラー画像を表示する。操作者ＨＭは、表示されたカラー画像を見て、自分の頭及び顔の位置と方向を調整する。つまり、そこに表示されたカラー画像は３次元計測が可能な領域であると、操作者ＨＭは考えることとなる。
【００７９】
しかし、カラー領域ＣＡＭの全部を、又はカラー領域ＣＡＭのうちの距離計測領域ＤＡＭに対応する領域を、固定的に表示面１４ａに表示した場合には、表示されたカラー画像のうち３次元計測が行われない領域が生じてしまうこととなる。そうすると、表示面１４ａを見て操作者ＨＭがポーズをとったにも係わらず、３次元データが得られず、立体模型に現れない部分が生じてしまう。
【００８０】
本実施形態においては、距離計測を行う前にカラー画像を表示するに当たって、カラー光学系ＣＰによるカラー領域ＣＡＭのうちの距離計測光学系ＤＰによる距離計測の可能な範囲のみが表示される。
【００８１】
図１３は表示面１４ａに表示されるカラー画像の範囲を説明するための図、図１４は表示面１４ａに表示されるカラー画像と距離計測領域ＤＡＭとの関係を示す図である。
【００８２】
モニタ部１４の表示面１４ａには、図１３に示す表示領域ＣＬＭのみが表示される。表示領域ＣＬＭは、計測可能距離範囲ｄ’におけるいかなる距離計測領域ＤＡＭからもはみ出していない。したがって、計測対象の距離ｄの如何に係わらず、表示領域ＣＬＭについては、距離計測光学系ＤＰによる距離計測が可能である。
【００８３】
図１４によく示されるように、具体的には、表示領域ＣＬＭは、その中心位置が図１０（Ｂ）に示すカラー領域ＣＡＭの中心位置５４Ｃと一致し、例えば距離計測領域ＤＡＭの８０％程度の大きさの領域に設定される。これによって、計測対象の距離ｄが種々異なっても、表示面１４ａに表示されたカラー画像については、３次元計測によってエラーでない限りは必ず距離画像が得られる。
【００８４】
因みに、例えば、表示領域ＣＬＭを、距離ｄが５５０ｍｍにおける距離計測領域ＤＡＭと一致するように固定しておいた場合には、距離ｄが７００ｍｍにおいて部分Ｋ１で水平方向にケラレを生じ、距離ｄが４００ｍｍにおいて部分Ｋ２で水平方向にケラレを生じている。これらケラレを生じた部分は、カラー画像には表示されるが３次元計測ができない。したがって、このようなケラレを生じる部分を除外してカラー画像を表示するのである。
【００８５】
カラー画像から表示領域ＣＬＭを切り出す処理は、制御部１２において行われる。制御部１２は、計測部１１からＮＴＳＣ信号を受け取った後、ビデオキャプチャーによってカラー画像データに変換する。そのカラー画像データに対して、表示領域ＣＬＭ以外の領域にマスク処理を施し、それをモニタ部１４に出力する。
【００８６】
次に、計測部１１及び制御部１２の動作を、フローチャートを参照して説明する。
図１５は制御部１２の処理動作を示すフローチャートである。
【００８７】
図１５において、電源が投入されると、制御部１２、計測部１１、及び加工部１７の初期化が行われる（＃１１）。モニタ部１４には、ユーザの興味を引きつけるための画像がデモ表示され、スピーカ１５から音楽が流される（＃１２）。人物模型製造装置３の機能の説明及び注意を行う画面も表示される。この状態で、コイン投入部１６にコインの投入されるのを待つ（＃１３）。
【００８８】
コインが投入されると、２次元撮影部１１２によって操作者ＨＭを撮影し、撮影したカラー画像を表示する（＃１４）。操作者ＨＭは、表示されたカラー画像を見ながら、自分の頭及び顔の位置と方向を調整する。操作者ＨＭは、表示されたカラー画像がよいときに、確認ボタン１３２を押す。
【００８９】
確認ボタン１３２が押されると（＃１５でイエス）、３次元計測とカラー画像の撮影とを同時に行う（＃１６）。撮影によって得られたカラー画像から、距離画像に対応した領域が切り出され、互いの画素が対応付けられる（＃１７）。このとき、画素の対応付けのために、補正テーブルＴＢ１を参照して、カラー画像の中心座標を補正する。
【００９０】
そして、２次元画像を表示する（＃１８）。このとき、距離画像のエラーの領域に対応する部分を、異なるカラーで表示する。操作者ＨＭは、表示された２次元画像を見て、それでよいかどうかを決め、よければ確認ボタン１３２を押し、悪ければキャンセルボタン１３３を押す（＃１９）。
【００９１】
確認ボタン１３２が押された場合には、材料を選択する画面が表示され、操作者ＨＭはその画面上で、材料の色、材質などを選定して入力する（＃２０）。選択した材料が排出されるので、操作者ＨＭはその材料を加工のためにセットし、確認ボタン１３２を押す（＃２１）。その後、材料を加工するためのデータ処理が行われる（＃２２）。このとき、距離画像のエラーの部分、及び距離画像では表現し切れない領域についてのデータ修正などが行われる。
【００９２】
データ修正などの行われた３次元データに基づいて、材料の加工が行われる（＃２３）。加工が終了すると、材料装着口３０から完成した立体模型ＭＳを取り出し、確認ボタン１３２を押す（＃２４）。
【００９３】
上述の実施形態では、自動販売機としての使用を想定した人物模型製造システム１を例示したが、製造した立体模型ＭＳを無償で配付するものであってもよい。立体模型ＭＳのサイズは、縮小サイズに限らず、実物大でも拡大サイズでもよい。計測対象は人物以外の生物でも無生物でもよい。本発明は、人物模型製造システム以外の種々のシステム又は装置に適用できる。その他、人物模型製造システム１、人物模型製造装置３、計測部１１、又は制御部１２の全体又は各部の構成、構造、形状、寸法、材質、動作内容、動作順序、タイミングなどは、本発明の趣旨に沿って適宜変更することができる。
【００９４】
【発明の効果】
本発明によると、３次元入力装置において、計測対象が計測可能距離範囲内のどの位置にあっても距離画像とカラー画像との対応を正しくとることができる。
【図面の簡単な説明】
【図１】本発明に係る人物模型製造システムの外観を示す図である。
【図２】人物模型製造装置の構成を示すブロック図である。
【図３】操作部を示す正面図である。
【図４】背景幕の位置を示す図である。
【図５】計測部の機能構成を示すブロック図である。
【図６】３次元計測光学系及び２次元撮影光学系の各構成を模式的に示す図である。
【図７】計測部による３次元計測の原理を説明するための図である。
【図８】３次元計測光学系の受光軸とカラー光学系の受光軸との関係を示す図である。
【図９】計測対象までの距離とカラーセンサの中心位置からの結像位置のずれ量との関係を説明するための図である。
【図１０】カラー領域に対する距離計測領域の位置関係を計測対象までの距離をパラメータとして示した図である。
【図１１】カラーセンサの中心位置を受光軸上の点と一致するように配置した場合の図１０と同様の関係を示す図である。
【図１２】計測対象の距離に応じた補正値を画素数で示す補正テーブルの図である。
【図１３】表示面に表示されるカラー画像の範囲を説明するための図である。
【図１４】表示面に表示されるカラー画像と距離計測領域との関係を示す図である。
【図１５】制御部の処理動作を示すフローチャートである。
【図１６】２眼タイプの３次元入力装置における問題点を説明するための図である。
【図１７】２眼タイプの３次元入力装置における問題点を説明するための図である。
【符号の説明】
３ 人物模型製造装置（３次元入力装置）
１１ 計測部
１２ 制御部
５３ センサ（受光センサ）
５４ カラーセンサ（撮像センサ）
５４Ｃ 中心位置
６１ システムコントローラ（補正手段）
ＤＰ 距離計測光学系
ＤＡＭ 距離計測領域
ＤＸ 受光軸
ＣＰ カラー光学系（モニタ光学系）
ＣＡＭ カラー領域（モニタ領域）
ＣＸ 受光軸
ＴＢ１ 補正テーブル

Claims (2)

1. 計測対象に参照光を照射する手段及び前記参照光の計測対象による反射光を受光する受光センサを有し計測対象の距離画像を得るための距離計測光学系と、計測対象の２次元画像を撮像する撮像センサを有し前記距離計測光学系による距離計測領域をモニタするためのモニタ光学系とを有し、前記距離計測光学系の受光軸と前記モニタ光学系の受光軸とが互いに独立して設けられた３次元入力装置であって、
   前記受光センサ上の距離画像と前記撮像センサ上の２次元画像との位置関係のずれを、計測対象までの距離に応じて補正する補正手段を有してなる、
   ことを特徴とする３次元入力装置。
2. 前記距離画像と前記２次元画像との相対的な位置関係を計測対象までの距離に対応して記録した補正テーブルが設けられ、
   前記補正手段は前記補正テーブルを参照して補正するように構成されてなる、
   請求項１記載の３次元入力装置。

Images