JP4123617B2 - ３次元入力装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、物体に参照光を投射して物体形状を計測する３次元入力装置に関する。
【０００２】
【従来の技術】
レンジファインダと呼称される非接触型の３次元入力装置は、接触型に比べて高速の計測が可能であることから、ＣＧシステムやＣＡＤシステムへのデータ入力、身体計測、ロボットの視覚認識などに利用されている。
【０００３】
レンジファインダに好適な計測方法としてスリット光投影法（光切断法ともいう）が知られている。この方法は、物体を光学的に走査して距離画像（３次元画像）を得る方法であり、特定の参照光を照射して物体を撮影する能動的計測方法の一種である。距離画像は、物体上の複数の部位の３次元位置を示す画素の集合である。スリット光投影法では、参照光として投射ビームの断面が直線帯状であるスリット光が用いられる。
【０００４】
レンジファインダの中には２次元カラー撮影機能を有したものがある。３次元計測と同一の画角で２次元撮影を行うことにより、３次元計測で得られた形状モデルの全体にカラーマッピングを施したり、２次元画像を参考にして計測のフレームを決めたりすることができる。単純に２個の撮像手段を並べて３次元計測と２次元撮影とを行うと、視差のためにマッピング処理が複雑になるとともに、マッピングができない死角が生じることがある。
【０００５】
従来においては、２次元撮影の画角を３次元計測の画角と同一にするため、結像レンズの後方にダイクロイックプリズムやハーフミラーを配置し、入射光を３次元計測用の撮像デバイスと２次元撮影用の撮像デバイスとに分配していた。
【０００６】
【発明が解決しようとする課題】
しかし、ダイクロイックプリズムを用いた場合には、参照光と可視光とを完全に分離するのが難しい。このため、３次元計測については参照光の損失によって精度が低下し、２次元撮影については参照光の波長域付近の可視光の欠落によって色再現性が損なわれるという問題があった。また、ハーフミラーを用いた場合には、光量の損失が大きいという問題があった。
【０００７】
本発明は、３次元計測に係わる参照光の損失を低減し、色再現性に優れ且つ３次元計測と同一画角の２次元画像の入力を可能にすることを目的としている。
【０００８】
【課題を解決するための手段】
請求項１の発明の装置は、物体に参照光を投射する投光手段と、物体像を結像して電気信号に変換する撮影手段とを備え、前記参照光を投射して前記物体の形状を計測する３次元入力と前記物体を撮影する２次元画像入力とを行う３次元入力装置であって、前記撮影手段は、前記物体からの光が通過する受光窓と、３次元入力のための第１撮像デバイスと、２次元画像入力のための第２撮像デバイスと、前記受光窓を通過した光の光路の内部と外部とに移動可能なミラーを含む光路切換え機構と、前記光路切換え機構と前記第１撮像デバイスとの間及び前記光路切換え機構と前記第２撮像デバイスとの間にそれぞれ設けられた結像のためのレンズとを有しており、３次元入力と２次元画像入力とで前記ミラーの位置を切換え、前記受光窓を通過した光を前記第１撮像デバイス及び第２撮像デバイスの一方へ入射させる制御手段を備えたものである。
【００１０】
請求項２の発明の３次元入力装置においては、前記光路切換え機構と前記第１撮像デバイスとの間及び前記光路切換え機構と前記第２撮像デバイスとの間に、結像のためのレンズが設けられている。
【００１１】
【発明の実施の形態】
図１は本発明に係る人物模型製造システム１の外観を示す図である。
【００１２】
人物模型製造システム１は、ほぼ等身大の人物模型製造装置３と青色の背景幕４とで構成され、その利用客である操作者ＨＭの顔をかたどった立体模型（人物模型）をその場で製造して販売する装置である。人物模型製造装置３の本体ケース１０の上半部の前面に、モニタ表示面１４ａ、スピーカ１５ａとともに、光学式３次元計測のための投光窓２０ａ及び受光窓２０ｂが設けられている。受光窓２０ｂは２次元のカラー撮影にも用いられる。投光窓２０ａ及び受光窓２０ｂは、モニタ表示面１４ａの上辺に沿って三角測量の基線長の分だけ左右に間隔を設けて配置される。本体ケース１０のの下半部は上半部よりも前方側に張り出しており、下半部の上面が操作パネル１３ａとなっている。商品の取出口１８ａは下半部の前面に設けられている。背景幕４は青色であり、操作者ＨＭの背後に背景壁として配置されている。
【００１３】
人物模型製造システム１の利用に際して、操作者ＨＭは背景幕４を背にして人物模型製造装置３に向かって立ち、料金分の硬貨を投入する。その後に操作者ＨＭが必要な操作を行うと、人物模型製造装置３は正面の一定範囲内に存在する物体（操作者ＨＭの頭部ＨＭｈ）の形状を計測し、その結果に基づいて材料の３次元加工を開始する。数分程度の時間で商品である立体模型が完成する。操作者ＨＭは取出口１８ａから商品を取り出す。
【００１４】
図２は操作パネル１３ａの平面図である。
【００１５】
操作パネル１３ａには、スタートボタン１３１、確認ボタン（ＯＫボタンともいう）１３２、キャンセルボタン（ＮＧボタンともいう）１３３、及びジョイスティック１３４が備えられる。確認ボタン１３２は、例えばモニタ表示面１４ａに表示される確認画面や選択画面でＯＫを出すときに押され、キャンセルボタン１３３は表示されタ操作者ＨＭの画像が想像と異なる場合にあらためて別のポーズをとるために押される。ジョイスティック１３４は、モニタ表示面１４ａに表示される複数のボタン又はアイコンなどのいずれかを選択するために用いられるほか、表示された画像を３次元の様々な方向に回転させるために用いられる。なお、ジョイスティック１３４で選択した後は、例えば確認ボタン１３２を押すことにより、その選択内容に対する入力指示が行われる。
【００１６】
図３は人物模型製造装置３の機能構成を示すブロック図、図４は計測可能範囲を示す図である。
【００１７】
人物模型製造装置３は、計測システム１１、制御システム１２、操作部１３、モニタ部１４、音声再生部１５、コイン投入部１６、加工システム１７、及び排出部１８からなる。これらは、本体ケース１０に内蔵され、又はその一部が本体ケース１０の表面に露出するように取り付けられる。
【００１８】
計測システム１１は、３次元計測部１１１、２次元撮影部１１２、及びシステムコントローラ１１３からなる。３次元計測部１１１は、操作者ＨＭの頭部ＨＭｈ、特にそのうちの顔ＨＭｆを撮影して３次元データを得るためのものである。本例では参照光としてスリット光（所定幅の帯状のレーザビーム）を投射する光切断法によって３次元計測を行う。ただし、他の方法で計測を採用してもよい。図４のように、３次元計測部１１１から射出されたスリット光Ｕは操作者ＨＭに向かう。スリット光Ｕの長さ方向の放射角度は固定である。操作者ＨＭの表面で反射したスリット光Ｕの一部が受光窓２０ｂに入射する。３次元計測は、投光窓２０ａ及び受光窓２０ｂから一定の距離の範囲内に存在する物体に対して可能である。この計測可能な距離の範囲を計測可能距離範囲ｄ’と呼称する。操作者ＨＭが操作の可能な通常の位置にいる限りは、この計測可能距離範囲ｄ’の内側に入るようになっており、計測を正常に行って３次元データを得ることができる。しかし、もし操作者ＨＭが計測可能距離範囲ｄ’に入っていない場合、例えば遠すぎる場合には、近づくように警告が発せられる。なお、背景幕４は計測可能距離範囲ｄ’の外側に配置されている。
【００１９】
制御システム１２には、データ処理部１２１、加工データ生成部１２２、特性データ記憶部１２３が設けられる。制御システム１２は、計測システム１１によって得られた３次元データ及び２次元データに基づいて、頭部の加工データ及び模型の全体を特定する特性データを生成する。特性データは、計測で得られた３次元データに、予め準備された髪データ及び胴体データをはりつけたものである。また、制御システム１２は、撮像された操作者ＨＭの２次元画像（カラー画像）をモニタ部１４によって表示し、操作者ＨＭの位置や顔の向きが悪い場合にその旨を警告する音声を出力するように音声再生部１５を制御する。さらに、操作部１３からの指令に対応して動作モードを切り換えるなど、人物模型製造装置３の全体を制御する。なお、制御システム１２は、種々の電子デバイスを用いたハードウエア回路、プログラムを実行するコンピュータ又はマイクロプロセッサの機能、又はそれらの組み合わせなどにより実現することができる。
【００２０】
モニタ部１４は、ＣＲＴ、ＬＣＤ、又はＰＤＰなどの表示デバイスと駆動回路とを備えた装置、又はこれに光学的機構を加えて構成される。音声再生部１５は上述の警告のほか、効果音及び音楽の再生をも行う。音声再生部１５のスピーカ１５ａの配置位置は本体ケース１０の前面に限られず、本体ケース１０の側面、上面、又は底面などに配置してもよい。
【００２１】
コイン投入部１６は、人物模型製造システム１を使用するために必要な料金を操作者ＨＭが投入するためのものである。コインの返却のために返却ボタンが設けられている。正規のコインが投入されると、その旨の信号が制御部１２に出力され、立体模型ＭＳの販売に向けて動作が開始される。
【００２２】
加工システム１７には、システムコントローラ１７１、加工機構１７２、及び材料供給機構１７３などが備えられる。材料供給機構１７３は、システムコントローラ１７１の指示によって複数種類の材料の中から必要な材料を選択し、それを加工機構１７２に供給する。加工機構１７２は、供給された材料に操作者ＨＭの顔ＨＭｆの部分を加工する。そして、必要に応じて複数の材料又は加工済の材料を接合し、操作者ＨＭの立体模型ＭＳを製作する。製作された立体模型ＭＳは排出部１８へ排出される。
【００２３】
図５は計測システムの第１例の回路構成を示すブロック図である。図中の実線矢印は電気信号の流れを示し、破線矢印は光の流れを示している。
【００２４】
計測システム１１は、投光ブロック４０、受光ブロック５０、及び信号処理ブロック６０を有している。上述の３次元計測部１１１は、投光ブロック４０、受光ブロック５０の一部、及び信号処理ブロック６０の一部から構成され、２次元撮影部１１２は、受光ブロック５０の一部、及び信号処理ブロック６０の一部から構成される。
【００２５】
投光ブロック４０において、半導体レーザ（ＬＤ）４１が射出する波長６８５ｎｍのレーザビームは、投光レンズ系４２を通過することによってスリット光Ｕとなり、ガルバノミラー（走査手段）４３によって偏向される。半導体レーザ４１のドライバ４４、投光レンズ系４２の駆動系４５、及びガルバノミラー４３の駆動系４６は、システムコントローラ１１３によって制御される。
【００２６】
受光ブロック５０において、ズームレンズ５１によって集光された光の進路は、本発明に特有の可動ミラー機構５２によって切換えられる。３次元計測のときには可動ミラー機構５２はスルー状態とされ、ズームレンズ５１を通過した光が計測用のイメージセンサ５３に入射する。２次元撮影のときには可動ミラー機構５２はズームレンズ５１からの光を反射してモニタ用のカラーのイメージセンサ５４へ導く。イメージセンサ５３，５４はＣＣＤエリアセンサである。ただし、ＭＯＳ型センサなどの他のデバイスを用いることもできる。
【００２７】
ズームユニット５１は内焦型であり、入射光の一部がオートフォーカシング（ＡＦ）に利用される。ＡＦ機能は、ＡＦセンサ５７とレンズコントローラ５８とアクチュエータ５９ａとによって実現される。アクチュエータ５９ｂは電動ズーミングのためのレンズ移動を担う。アクチュエータ５９ａ，５９ｂは別個のモータである。
【００２８】
イメージセンサ５３による撮像情報は、ドライバ５５からのクロックに同期して信号処理ブロック６０に入力され、ディジタル化回路６２で８ビットの受光データとなってメモリ６３に一旦格納される。メモリ６３のアドレス指定はメモリ制御回路６３Ａが行う。所定のタイミングでメモリ６３から重心演算回路６４へ受光データが転送され、３次元位置の算出の基となるデータである“重心”が生成される。重心は、複数回分の撮像情報に基づいて計算され、撮像面の各画素の受光量が最大になる時刻を撮像周期より短い単位で表す。得られた重心は計測結果として出力データメモリ６５を経てＳＣＳＩ回路６６へ送られる。
【００２９】
一方、イメージセンサ５４によるカラーの撮像情報は、ドライバ５６からのクロックに同期して信号処理ブロック６０に入力され、カラー処理回路６７で必要な処理を受ける。カラー処理回路６７の出力は、ＮＴＳＣ変換回路７０及びアナログ出力端子３２を経て制御システム１２へ出力され、又はディジタル化回路６８で２次元データとなってカラー画像メモリ６９に格納される。そして、適時にカラー画像メモリ６９から２次元データがＳＣＳＩ回路６６へ転送される。ＳＣＳＩ回路６６は、出力データメモリ６５からのデータ（重心）と２次元データとをディジタル出力端子３３から制御システム１２へ出力する。
【００３０】
重心とスリット光Ｕの偏向角速度とからスリット光Ｕの投射角度が決まる。また、撮像面の各画素と受光レンズ中心との位置関係とから受光角度が決まる。したがって、投射角度、受光角度、及び基線長から三角測量の原理で画素毎に物体（操作者ＨＭ）におけるスリット光による照射位置を計算することができる。この計算は制御システム１２のデータ処理部１２１が行う。画素毎の計算値の集合が３次元入力データとなる。２次元データは、操作者ＨＭの状態検出に用いられるほか、３次元形状モデルの不要の頂点を間引く処理にも用いられる。
【００３１】
図６は図５の要部の詳細図である。
【００３２】
受光窓２０ｂを通過した光Ｌはズームレンズ５１を経て可動ミラー機構５２に入射する。ズームレンズ５１はハーフミラー５１７を有しており、光Ｌの一部がハーフミラー５１７で反射してレンズ５１８を経てＡＦセンサ５７に入射する。
【００３３】
可動ミラー機構５２は、軸５２２を中心に回動可能に設けられたミラー５２１、及び回動用の図示しないアクチュエータを有する。ミラー５２１の回動は、スリット光Ｕを開始角度位置から終了角度位置まで連続的に偏向する１回の計測動作期間中に、イメージセンサ５３，５４の撮像と同期して周期的に多数回行われる。つまり、３次元計測と２次元撮影とが交互に繰り返される。回動の制御はシステムコントローラ１１３が行う。
【００３４】
３次元計測のときには、ミラー５２１は図中に実線で示すとおり、ストッパ５２４と当接する退避位置に置かれる。退避位置はズームレンズ５１からイメージセンサ５３に至る光路の外側である。したがって、実質的に光Ｌは可動ミラー機構５２を素通りする。可動ミラー機構５２を通過した光Ｌは２個のフィルタ５３１，５３２を経てイメージセンサ５３に入射する。フィルタ５３１は偽解像防止用の光学的ローパスフィルタであり、フィルタ５３２はスリット光の波長域の光を選択的に透過させるバンドパスフィルタである。フィルタ５３２としては狭帯域とする必要から干渉型が好ましい。フィルタ５３１に積層するようにフィルタ５３２を形成してもよい。
【００３５】
一方、２次元撮影のときには、ミラー５２１は図中に鎖線で示すとおり、ストッパ５２３と当接する挿入位置に置かれる。挿入位置はズームレンズ５１からイメージセンサ５３に至る光路の内側である。したがって、ズームレンズ５１からの光Ｌはミラー５２１で反射し、２個のフィルタ５４１，５４２を経てイメージセンサ５４に入射する。フィルタ５４１は偽解像防止用の光学的ローパスフィルタであり、フィルタ５４２は赤外カットフィルタである。
【００３６】
本例では、ミラー５２１を退避させる方を３次元計測に割り当てたので、光路に挿入する方を割り当てるのと違って、ミラー５２１の回動の繰り返しでミラー位置のばらつきが生じても、それに係わらず一定精度の３次元データを得ることができる。ただし、ミラー５２１とイメージセンサ５３，５４との位置関係を例示と反対に入れ換えることは可能である。
【００３７】
また、本例では、レンズバックの長い結像レンズが必要になるが、レンズ内部に光路切り替え機構を設けることができるので、光学ユニットをコンパクトにまとめることができる。
【００３８】
図７は計測システムの第２例の回路構成を示すブロック図である。図中の実線矢印は電気信号の流れを示し、破線矢印は光の流れを示している。また、同図において図５と同一機能の構成要素には同一の符号を付してある。
【００３９】
計測システム１１ｂは、投光ブロック４０、受光ブロック５０ｂ、及び信号処理ブロック６０を有している。上述の３次元計測部１１１は、投光ブロック４０、受光ブロック５０ｂの一部、及び信号処理ブロック６０の一部から構成され、２次元撮影部１１２は、受光ブロック５０ｂの一部、及び信号処理ブロック６０の一部から構成される。投光ブロック４０及び信号処理ブロック６０の構成は上述の例と同様であるのでここではこれらの説明を省略する。
【００４０】
受光ブロック５０ｂにおいては、入射光の進路を切り換える可動ミラー機構５２を経た後の光路に受光レンズユニット５１Ａ，５１Ｂが設けられている。受光レンズユニット５１Ａを経た光が計測用のイメージセンサ５３に入射し、受光レンズユニット５１Ｂを経た光がモニタ用のカラーのイメージセンサ５４に入射する。
【００４１】
図８は図７の要部の詳細図である。
【００４２】
受光窓２０ｂを通過した光Ｌは可動ミラー機構５２を経て受光レンズユニット５１Ａ又は受光レンズユニット５１Ｂに入射する。可動ミラー機構５２は、軸５２２を中心に回動可能に設けられたミラー５２１、及び回動用の図示しないアクチュエータを有する。
【００４３】
３次元計測のときには、ミラー５２１は図中に実線で示すとおり、ストッパ５２４と当接する退避位置に置かれる。退避位置は受光窓２０ｂからイメージセンサ５３に至る光路の外側である。したがって、実質的に光Ｌは可動ミラー機構５２を素通りする。可動ミラー機構５２を通過した光Ｌはレンズ５１１で集光され、２個のフィルタ５１２，５１３を経てイメージセンサ５３に入射する。フィルタ５１２は偽解像防止用の光学的ローパスフィルタであり、フィルタ５１３はスリット光の波長域の光を選択的に透過させるバンドパスフィルタである。フィルタ５１２としては狭帯域とする必要から干渉型が好ましい。フィルタ５１２に積層するようにフィルタ５１３を形成してもよい。
【００４４】
一方、２次元撮影のときには、ミラー５２１は図中に鎖線で示すとおり、ストッパ５２３と当接する挿入位置に置かれる。挿入位置は受光窓２０ｂからイメージセンサ５３に至る光路の内側である。したがって、受光窓２０ｂからの光Ｌはミラー５２１で反射し、受光レンズユニット５１Ｂに入射する。受光レンズユニット５１Ｂにおいて、入射した光Ｌはレンズ５１５で集光され、２個のフィルタ５１６，５１７を経てイメージセンサ５４に入射する。フィルタ５１６は偽解像防止用の光学的ローパスフィルタであり、フィルタ５１７は赤外カットフィルタである。
【００４５】
レンズ５１１，５１５は固定焦点でパンフォーカスである。計測時の想定距離に応じて、これらレンズ５１１，５１５とイメージセンサ５３，５４との距離を調整する。
【００４６】
本例においても、ミラー５２１を退避させる方を３次元計測に割り当てたので、光路に挿入する方を割り当てるのと違って、ミラー５２１の回動の繰り返しでミラー位置のばらつきが生じても、それに係わらず一定精度の３次元データを得ることができる。ただし、ミラー５２１とイメージセンサ５３，５４との位置関係を例示と反対に入れ換えることは可能である。
【００４７】
また、本例では、可動ミラー機構５２をレンズ５１１，５１５の前側に配置しているので、レンズバックの長いレンズは不要である。例えば、単板ＣＣＤ式デジタルカメラ用、ボードカメラ用、ＣＣＴＶカメラ用などのレンズなどが使用でき、レンズ設計、選定の自由度が高い。
【００４８】
上述の実施形態では、自動販売機としての使用を想定した人物模型製造システム１を例示したが、製造した立体模型ＭＳを無償で配付するものであってもよい。立体模型ＭＳのサイズは、縮小サイズに限らず、実物大でも拡大サイズでもよい。計測対象は人物以外の生物でも無生物でもよい。
【００４９】
本発明は、模型作製以外の用途の３次元入力、例えば、ＣＧシステムやＣＡＤシステムへのデータ入力、身体計測、ロボットの視覚認識にも適用することができる。２次元データを利用するデータ処理としては、カラーマッピング、カメラ視点の異なる複数組の計測データを組み合わせて３次元形状モデルを生成する処理などもある。
【００５０】
【発明の効果】
請求項１の発明によれば、３次元計測に係わる参照光の損失を低減するとともに、色再現性に優れ且つ３次元計測と同一画角の２次元画像を入力することができる。さらに、結像のための光学レンズ系を小型化することができる。
【００５２】
請求項２の発明によれば、３次元計測に係わる参照光の損失を低減するとともに、色再現性に優れ且つ３次元計測と同一画角の２次元画像を入力することができる。さらに、焦点距離の制約が緩やかで結像のための光学レンズ系の設計及び選択の自由度を高めることができる。
【図面の簡単な説明】
【図１】本発明に係る人物模型製造システムの外観を示す図である。
【図２】操作パネルの平面図である。
【図３】人物模型製造装置の機能構成を示すブロック図である。
【図４】計測可能範囲を示す図である。
【図５】計測システムの第１例の回路構成を示すブロック図である。
【図６】図５の要部の詳細図である。
【図７】計測システムの第２例の回路構成を示すブロック図である。
【図８】図７の要部の詳細図である。
【符号の説明】
１１，１１ｂ 計測システム（３次元入力装置）
ＨＭ 操作者（物体）
Ｕ スリット光（参照光）
４０ 投光ブロック（投光手段）
５０，５０ｂ 受光ブロック（撮影手段）
２０ｂ 受光窓
５３ イメージセンサ（第１撮像デバイス）
５４ イメージセンサ（第２撮像デバイス）
５２１ ミラー
５２ 可動ミラー機構（光路切換え機構）
１１３ システムコントローラ（制御手段）
５１ ズームレンズ（レンズ）
５１１，５１５ レンズ

Claims (2)

1. 物体に参照光を投射する投光手段と、物体像を結像して電気信号に変換する撮影手段とを備え、前記参照光を投射して前記物体の形状を計測する３次元入力と前記物体を撮影する２次元画像入力とを行う３次元入力装置であって、
   前記撮影手段は、前記物体からの光が通過する受光窓と、３次元入力のための第１撮像デバイスと、２次元画像入力のための第２撮像デバイスと、前記受光窓を通過した光の光路の内部と外部とに移動可能なミラーを含む光路切換え機構と、前記受光窓と前記光路切換え機構との間に設けられた結像のためのレンズとを有しており、
   ３次元入力と２次元画像入力とで前記ミラーの位置を切換え、前記受光窓を通過した光を前記第１撮像デバイス及び第２撮像デバイスの一方へ入射させる制御手段を備えた
   ことを特徴とする３次元入力装置。
2. 物体に参照光を投射する投光手段と、物体像を結像して電気信号に変換する撮影手段とを備え、前記参照光を投射して前記物体の形状を計測する３次元入力と前記物体を撮影する２次元画像入力とを行う３次元入力装置であって、
   前記撮影手段は、前記物体からの光が通過する受光窓と、３次元入力のための第１撮像デバイスと、２次元画像入力のための第２撮像デバイスと、前記受光窓を通過した光の光路の内部と外部とに移動可能なミラーを含む光路切換え機構と、前記光路切換え機構と前記第１撮像デバイスとの間及び前記光路切換え機構と前記第２撮像デバイスとの間にそれぞれ設けられた結像のためのレンズとを有しており、
   ３次元入力と２次元画像入力とで前記ミラーの位置を切換え、前記受光窓を通過した光を前記第１撮像デバイス及び第２撮像デバイスの一方へ入射させる制御手段を備えた
   ことを特徴とする３次元入力装置。

Images