JP4001318B2 - 光学的三次元形状計測システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、光学カメラを用いた被写体三次元形状検出システムに関する。
【０００２】
【従来の技術】
所定のパターン像を投影して表面形状を計測する三次元形状測定システムとしては、例えば、特開平7−218232号公報、特開平9−61132号公報、特開2000−55636号公報に開示されたものが公知である。
特開平7−218232号公報のものは被検物の表面に所定のパターン俊を投影するための照射光学系と、前記被検物の表面に投影されたパターン俊を観察するための観察光学系とを備え、前記観察されたパターン像の変化に基づいて前記被検物の表面形状を計測する光学式三次元形状計測装置において、前記照射光学系は、その光軸に沿って複数の合焦面にそれそれ前記所定のパターン像を形成するための合焦面分割手段を備えており、パターン投影装置側のフォーカシング手段（合焦面分割手段）を切り替えて、複数回データを撮りこむことにより、ピンぼけしたパターンをなくすようにしたものである。この方式は複雑で高価な合焦面分割手段を要するという問題と、複数回のデータを撮りを要するため簡便な測定法とは言い難いという問題をもっている。
【０００３】
特開平9−61132号公報のものはｎ本の線状光を測定光投影用レンズによつて被写体上に投影し、被写体像は、内視鏡の接眼レンズ及び測定ヘッドの補助レンズを通り、ハーフプリズムによって二分割された上で、一方は測定光位置検知ファイバの端面の位置に結像する。測定光位置検知ファイバの端面の位置に結像した被写体上の線状光像をファイバ走査装置によって測定光位置検知ファイバが振動駆動して直線状に並んだ測定光位置検知ファイバによって線走査し、信号処理回路で信号処理して３次元計測を行うものである。複数方向から、形状検出用のパターンを照射する、三次元形状計測装置であって、複数方向からのパターン照射を行うために、装置がどうしても大型化してしまうという問題がある。
また、特開2000−55636号公報のものは、空間コード化のためのパターン光の投影のために、光源としてストロボ光源を用い、駆動電源装置は、ストロボ光源の発光１回分の容量のコンデンサを形状計測に必要なパターンの数（例えばｎビット２進コード化の場合はｎ個）だけ有し、それらコンデンサに充電する電池等の充電用電源を有するものである。充電済みのコンデンサを、所定の時間間隔ごとにストロボ光源に接続していくことで、ストロボ光源が点滅し、このストロボ光源の発光に同期して、パターンマスク装置は空間コード化のためのパターンを切り替える。そして、計測コントロール部の制御により、ＣＣＤ撮像装置の蓄積期間内にストロボ光源が発光し、かつその発光がパターンマスク装置のパターンが安定する期間に当たるよう、撮像、ストロボ発光及びパターン切替のタイミング関係が制御されるものである。この方式は投影用パターンマスクを切り替えながら、ストロボを点灯させ、連続的に複数回の三次元データ採取を行い、測定精度向上を狙ったものであるが、パターン投影に十分な発光を複数回行うためには、大容量のコンデンサが必要となり、やはり装置の大型化を招くことになる。
上記のように、撮像手段を用いた三次元形状を検出する手段として、対象物に対して特定のパターンを投影し、そのパターン像の歪みを取り込むことにより、対象物の形状を検出する方法は公知である。しかしパターン投光手段と撮像手段が分離できないものであると、機器は大型となり、その使用は三次元情報検出用に特定されたものとなり、三次元検出の必要がない通常の撮影を行いづらい。
【０００４】
【発明が解決しようとする課題】
本発明の課題は、上記の問題点を有しない装置が複雑でなく小型で、三次元測定用に限定されず広く一般の撮影にも使用し易い三次元形状検出システムの提供、また使用に当たって計測時と一般撮影時における操作ミスを防止して容易で確実な撮像ができる光学装置の提供にある。
【０００５】
【課題を解決するための手段】
請求項１の三次元形状計測システムは、撮像装置のストロボの発光を光源とし、パターンマスクを透過させて、三次元位置検出用パターンを被写体に投影するパターン投影装置であって、該パターン投影装置は撮像装置に対して着脱可能とした。
請求項２の発明は、パターン投影装置が撮像装置に対し着脱いずれの状態であるかを検出する検出手段を備えるようにした。
請求項３の発明は、パターン投影装置の撮像装置への装着を検出した場合に、ストロボはパターン投影用の光量調整を行って、発光させるようにした。
請求項４の発明は、パターン投影装置の撮像装置への装着を検出した場合は、パターン光を投影した撮影と、パターン光を投影させない撮影を連続して行うモードを備えるものとした。
請求項５の発明は、パターンを投影させない撮影の際は、パターン投影手段がストロボ発光光路から退避して、通常撮影のストロボ発光を行えるものとした。
請求項６の発明は、投影パターン用マスクは液晶板として、表示パターンを制御可能とした。
【０００６】
【発明の実施の形態】
本発明は、ストロボ内蔵の繁用のカメラをベースにし、そのストロボを三次元形状計測用のパターン投影に光源として利用するものであって、投影パターン用マスク等を備えたパターン投影装置をカメラに取り外し自在の形態で装着できる形態とし、シンプルで小型の光学的三次元形状計測システムを実現すると共に、三次元形状を計測しない通常撮像をするカメラとしても使用可能な光学機器を提供するものである。
本発明の三次元形状計測システムは、カメラのストロボの発光を光源として用い、その光を所定間隔の縞模様などのパターンマスクを透過させて、被写体表面に投影する。該パターンマスクの三次元位置検出用パターンは被写体に投影されると、その表面形状に対応して変形した投影像が投影方向と異なる角度から観察される。因みに平らな壁に直線パターンを投影すれば直線のままであるが、湾曲する面の場合には直線パターンは湾曲して観察される。本発明は、基本的にこのような投影像を撮影してパターン変形を解析し、被写体形状を計測するものであって、その特徴はパターン投影装置の電源としてカメラが内蔵しているストロボを用いる点と、該パターン投影装置はカメラに対して着脱可能とした点にある。
【０００７】
また、本発明の光学機器は、三次元形状計測専用ではなく、通常撮影も手軽に実行できるようにしたことに伴い、パターン投影装置がカメラに装着されているときは三次元計測実行時に、またカメラから外されているときは通常撮影実行時に対応しているものとし、カメラに対し着脱いずれの状態であるかを検出する検出手段を備えるようにした。そして、三次元形状計測時、通常撮影時に対応してストロボの果たす役割が異なるので、パターン投影装置のカメラへの装着を検出した場合には、ストロボはパターン投影用の光量調整を行って、発光させるように機構を備えるようにした。このようにして使用に合わせた適当な発光が自動的に行われるものである。
パターン投影装置のカメラへの装着を検出した場合は、三次元形状計測時であるから、撮影した画像を解析して被写体形状を計測することになるが、その際のパターン光を投影した画像は自然の画像ではない。パターン光を投影させない自然の画像（カラー画像など）を別途取得して両者を総合すれば被写体の立体画像を得ることができる。そこで、本発明では、パターン光を投影した撮影と、パターン光を投影させない撮影を連続して行うモードを備えるようにした。
本発明では、通常撮影も手軽に実行できるようにパターンを投影させない通常撮影の際は、カメラから取り外せるようにしてパターン投影装置がストロボ発光光路から退避して、通常撮影のストロボ発光による撮影を行えるものとした。この通常撮影の光路から退避は、スライドもしくは回動機構で行わせてもよいが、カメラを使用する際のバランスや重さを考慮すると脱着形態が利便性において勝る。また、本発明の投影パターン用マスクは液晶板を採用することができ、その場合には表示パターンを定型パターンではなく、被写体形状に合わせて適宜変更することが可能となる。
【０００８】
【実施例１】
本発明の一実施例を説明する。図１、図４のように、パターン投影装置２をカメラ１のストロボ３部分に取り付けて、ストロボ３を光源として、被検物（被写体）にパターンを投影するようにしておく。この例では縞模様で示してあるが点群などのパターンであってもよく、そのようなパターンマスクの背面に光源を設置して光を照射する。被検物（被写体）に投影された該パターンを、照射方位からずれたところで観察すると、照射されたパターンは被写体の形状により、歪められる。投射パターンのピッチや、パターン投影位置、観察位置などの条件が分かっていれば、その歪み方から、被写体の形状や位置を求めることができる。図２は壁際に置いた球に縦縞のパターンを照射した場合の投影像を撮像したものである。この実施例では図１に示すように、投影装置の光源としてカメラ内蔵のストロボを用いている。また後で実行する被写体形状解析のため、平面に投影した歪の無いパターンを被検物撮像と共にカメラで撮影しておけば、変形したパターンを解析する際に作業を容易にすることができる。使用するカメラが、画像をデジタルデータとして取り込むデジタルカメラであれば、形状検出も自動化できるので有利である。
【０００９】
本実施例における投影装置の基本構成を図３に示す。図のように、ストロボの構成であるキセノン管31から出た光は、透明な板にパターンを刷ったり、彫ったりしたパターンマスク21を透過し、投影レンズ22により照射面にパターンが投影される。カメラ１にパターンを投影する装置２が位置決めされて取り付けられるようにすると、撮影レンズとパターン投影装置の位置関係が常に一義的に定まるので、パターンを投影して撮影された画像から、被写体の形や位置が解析により求められる。パターン投影装置は、図４のＡに示すようにカメラ１に対して取り外し可能であり、投影装置２をはずせば、通常のカメラとして機能するので、持ち運びにも便利である。
本実施例は、図６に示すようにカメラ１に投影装置２を取り付け可能とするための手段を両者間に設けるだけではなく、カメラの側に、投影装置が取り付けられたことを検出する手段を設けるようにした。ここでは、カメラのストロボ付近にマイクロスイッチを設け、投影装置２がカメラ１に装着されるとマイクロスイッチをＯＮする形態を採用したが、スイッチで無く単に電気的接点を設けたりする形態も考えられ、パターン投影装置側にカメラ側の情報を伝える必要があれば、そのための電気的接点を設け、それにより装着の検出を行う形態を採用してもよい。この検出手段を設けたことにより、カメラにパターン投影装置を取り付けた場合には、形状検出用の撮影であることをカメラが自動的に検知し、ストロボ発光が不要な露出条件であったとしても、形状検出を行うためにカメラはストロボ発光させるようにすることなどができる。そして、パターン投影装置が装着されたことを検知した場合は、パターン投影に適した光量となるように、ストロボの発光条件や、絞り、シャッタスピードを調整する制御機構を備えるようにした。当然のことながら、パターン投影用マスク21は、一種のフィルタ作用をするために、その減衰分を補充すべくストロボ３は通常よりも強く発光させる必要がある。また、絞りについては、投影されたパターンをできるだけシャープに撮影したいので、被写界深度を深くする必要があり、そのために、絞りはできるだけしぼるように調整する。必要以上に露光時間が長くなると、元からある外光のために、パターンのコントラストが、小さくなってしまうので、絞りとシャッタスピードの関係に注意する必要がある。
【００１０】
本実施例では被写体形状を反映したパターン投影画像を解析するに際して、パターン投影をしていない被写体画像を比較情報としてもつことが有効であることから、パターンを投影した撮影とパターンを投影しない通常の撮影を連続して実行する作動モードを備えるようにした。具体的には最初にパターン投影撮影を行ってから続けてパターンを投影しない撮影を実行するようにしてもよいし、あるいは、逆にパターンを投影せずに撮影し、その後パターン投影撮影を行うように設定することもできる。通常はパターンを投影させないときは、ストロボを発光させないのであるが、パターンを投光させない撮影でも、ストロボ発光が必要な場合は通常のカメラ作動と同様にストロボ発光を行わせることもできる。
パターン付きの画像から奥行き方向の情報を得、パターンなしの画像から通常映像（カラーも含む）を得てこの２つの画像情報を基に、それらを組み合わせて、三次元像を作ることができる。
【００１１】
本発明はパターン投影を行う撮影と行わない通常の撮影の２つの態様、すなわちパターン光を投影させずに撮影しかつストロボ発光が必要な場合には、パターン投影装置２がストロボ位置から退避して、ストロボ発光がなされるを取るものであるが、本実施例では三次元形状検出用の撮影時にはパターン投影装置２がカメラ１のストロボ位置に装着ロックされ、パターン光を投影させずに撮影するときにはロック部材をはずしてパターン投影装置２をカメラ１から取り外す構成にした。この他変形例として、パターン投影装置２をカメラ１に対して摺動自在若しくは回動自在に取り付けるようにすることも可能である。要は少なくとも、パターン投影用のマスク21と投影レンズ22が、ストロボ付近から逃げて、ストロボ照射の邪魔にならないような位置に退避する構成にすればよい。
パターン投影用のマスクは、液晶板を採用した。この構成を採用することにより電気的な制御によって、マスク上のパターンを出したり消したり、所望のパターンを投影したりパターンの変更と有無を容易に選択できる。三次元形状検出するために、パターンを投影させるときは、図６のＡのように液晶板にパターンを表示させておいて、ストロボを発光し、パターン投影の必要のない場合は、図６のＢのように液晶板にパターンを表示させないようにして、ストロボを発光して撮影を行う。また、パターンも１種類だけではなく、図６のＣのように液晶板の制御によりピッチの違うパターンを出せるようにしておけば、パターンマスクを取り替えなくとも、必要に応じてパターンのピッチを変えることができる。従って、この実施例の構成を採用した時にはパターン投影装置の退避機構は必ずしも必要ではなくなる。
【００１２】
【実施例２】
次に、被写体との距離に応じて、パターン投影装置のピントあわせが容易にできるようにする機能を備えた実施例を紹介しておく。
最も簡便な実施例は、投影レンズの鏡筒に距離の数字を刻んでおき、カメラのフォーカスリングに刻んである距離の数字からピントの合っている距離を読み取り、被写体との距離とに距離に応じてピント合わせを行うものである。ピント位置を確認する方法はフォーカスリングの数字を読取るだけではなく、ピント位置の情報をカメラの表示部に表示するようにしてもよい。
【００１３】
【実施例３】
また、投影レンズのピントあわせを直接に行うのではなく、カメラのピント合わせに連動させる機構を備えるようにしてもよい。図７のＡ，Ｂに示すように、カメラ側の撮像レンズのフォーカスリング51が回転することにより、その周りに切った歯車52が回転し、その歯車52の回転をパターン投影装置側の歯車（アイドルギア）53に伝え、その歯車53から、フォーカスカムギア54を回転させることによって、カム部分が回転する機構とする。図８のＡに示すカム部に付勢され、回転防止を施されたフォーカスレンズはギヤ54の回転に伴って、前後移動して合焦位置が変えられるようにしておく。
変形例としては、カメラからパターン投影装置にカメラの焦点情報を伝えられるようにしておき、パターン投影装置側に、ピント調整用のアクチュエータを設け、カメラの測距情報を受けて、パターン投影装置側のアクチュエータでピント合わせを行うようにしてもよい。
【００１４】
【実施例４】
ここに示す実施例はパターンを投影する範囲を投影レンズ系の焦点距離に応じて変えられるような機構を備える例である。最も簡便な機構は投影レンズ系の焦点距離の切り替え手段を設けておき、変更できる構成である。またカメラ側も、撮影レンズの焦点距離がわかるように、焦点距離を表示する手段を設けておく。例えば図８のＢのように、鏡胴に焦点距離を示す数字を書いておき、その数字を読むことにより、焦点距離がわかるようにする。その焦点距離に応じて、投影装置側の焦点距離が変えられるようにしておく。焦点距離を確認する方法としては鏡胴の数字を見るほかにも、ピント位置の情報をカメラの表示部に表示するようにしてもよい。
変形例としては、先のピント合わせの場合と同じように、カメラの焦点距離を切り替えるための歯車やカムの噛合によって、パターン投影手段の照射角が変わるように投影レンズを動かす様にしてもよいし、あるいは、パターン投影装置側に照射角切り替え用にアクチュエータを設け、カメラ側からの焦点距離情報をもとに、パターン投影装置の照射角切り替え手段を駆動させるようにしてもよい。
【００１５】
【実施例５】
図９のＡに斜視的に示したような面に、図９のＢに示すように角度を変えてパターンを投射すると図９のＣに示すように投影パターンは歪む。つまり、撮影光軸と投光光軸のなす角度が大きければ大きいほど、奥行き方向の凹凸は拡大され、測定分解能が向上するのであるが、反面図１０のＢに示すように、被写体の形によっては、投影したパターンをカメラで、撮影できる範囲が狭くなってしまうことがありえる。そこで本実施例は目的に応じて、投光光軸の角度を変えられるような機構を備えるようにした。これによって測定精度と測定範囲のバランス調整が可能となり、状況に応じた適当な画像を得ることができる。
また、投光角を変えると、被写体の距離によっては、図１１のＡに示すようにパターン照射範囲と撮影画面が合致せず、Ｂの実線で示すようにずれてしまうことがある。そのときには、図１１のＢの破線部分のように、パターンを投光する位置と撮影レンズの位置関係を変える機構を備えて対応する。そこで、この実施例は投光角を変えられるだけではなく、投影レンズの位置もずらせる機構を備えるようにした。
【００１６】
【実施例６】
図１２に示すものは、三脚のようなカメラ１の保持固定手段６とパターン投影装置２を一体構造に作ったものである。カメラ１を保持固定手段６のホルダに嵌合し三脚固定ネジにて固定することによってセットできる。なお、カメラ１と保持固定手段６の嵌合が遊び無く整合している関係になっていれば、三脚固定ネジを回す必要もない。この実施例によれば、剥き出しになっていた歯車が隠れるので、歯車機構にごみなどがつまりにくい効果を奏する。
【００１７】
【発明の効果】
本発明の三次元形状計測システムは、繁用の撮像装置をベースとしパターン投影装置の電源として該撮像装置が内蔵しているストロボを用い、該パターン投影装置は撮像装置に対して着脱可能とした構成を採用したものであるから、簡便な構造で被検体の三次元形状が計測できる。そしてパターン投影装置を取り外せば普通の撮像装置として使用できる。
また、請求項２、３の発明は、撮像装置に対し着脱いずれの状態であるかを検出する検出手段を備えるようにしたので、ストロボのモード設定をいちいち使用者が操作する必要がない。そして、ストロボの三次元形状計測時、通常撮影時に対応する異なる役割に応じた光量調整を行って、発光させるように機構を備えるようにしたので、使用に合わせた適当な発光が自動的に行われる。
請求項４の発明は、パターン光を投影した撮影と、パターン光を投影させない撮影を連続して行うモードを備えるようにしたので、前者の画像から被写体の立体形状情報を、後者からカラー等の画像情報を取得できるのでこれを総合してカラー立体画像を得ることができる。
請求項５の発明は、パターンを投影させない通常撮影の際は、撮像装置から取り外せるようにしてパターン投影装置がストロボ発光光路から退避して、通常撮影のストロボ発光による撮影を行えるものとしたので、通常撮影も手軽に実行できる。
請求項６の発明は、投影パターン用マスクとして液晶板を採用したものであるから、パターンの有無、表示パターンについても定型パターンだけでなく、被写体形状に合わせて適宜変更することが可能となる。
【図面の簡単な説明】
【図１】 本発明の光学的三次元形状計測システムの基本構成を説明する図である。
【図２】 本発明のパターン投影装置により被写体にパターンを投影した例を示す図である。
【図３】 本発明のパターン投影装置の基本構成を示す図である。
【図４】 本発明のシステムにおいてパターン投影装置をカメラに着脱した態様を示す図である。
【図５】 パターン投影装置がカメラに着／脱した状態であるかを検出する機構の説明図である。
【図６】 投影パターン用マスクである液晶板の作動形態を示す図である。
【図７】 カメラの撮像レンズと投影装置の被写体ピントを連動して調整する機構を示す図である。
【図８】 Ａはフォーカス機構における調整カム機構を説明する図であり、Ｂは鏡胴に焦点距離を表示する機構を示す図である。
【図９】 非平面に異なる角度からパターンを投影したときの様子を示す図である。
【図１０】 パターン投影光学系と撮像光学系の角度を変更した場合の撮像形態を説明する図である。
【図１１】 パターン投影領域と撮像領域とのズレを調整する機構を説明する図である。
【図１２】 三脚のようなカメラの保持固定手段とパターン投影装置を一体構造に作った実施例を示す図である。
【符号の説明】
１ カメラ ４ 検出スイッチ
10 カメラ匡体 51 フォーカスリング
２ パターン投影装置 52 歯車
20 投影装置匡体 53 アイドッルギヤ
21 パターンマスク 54 カムギヤ
22 投影レンズ ６ カメラの保持固定手段
３ ストロボ
31 キセノン管
32 リフレクタ
33 トリガライン

Claims (6)

1. 撮像装置のストロボの発光を光源とし、パターンマスクを透過させて、三次元位置検出用パターンを被写体に投影するパターン投影装置であって、該パターン投影装置は撮像装置に対して着脱可能である三次元形状計測システム。
2. パターン投影装置が撮像装置に対し着脱いずれの状態であるかを検出する検出手段を備えたことを特徴とする請求項１に記載の三次元形状計測システム。
3. パターン投影装置の撮像装置への装着を検出した場合に、ストロボはパターン投影用の光量調整を行って、発光させることを特徴とする請求項２に記載の三次元形状計測システム。
4. パターン投影装置の撮像装置への装着を検出した場合は、パターン光を投影した撮影と、パターン光を投影させない撮影を連続して行うモードを備えたことを特徴とする請求項２に記載の三次元形状計測システム。
5. パターンを投影させない撮影の際は、パターン投影手段がストロボ発光光路から退避して、通常撮影のストロボ発光を行うことを特徴とする請求項４に記載の三次元形状計測システム。
6. 投影パターン用マスクは液晶板であり、表示パターンを制御可能とすることを特徴とする請求項１に記載の三次元形状計測システム。

Images