JP5984409B2 - 三次元計測システム及び方法 - Google Patents

Description

本発明は、計測対象物にパターン画像を投影し、そのパターン画像を撮像することによって距離情報を求める三次元計測システム及び方法に関する。

産業用マシンビジョン分野において、技術要素として三次元計測技術がある。
ここで、マシンビジョンを用いて三次元計測を行う方法を以下に簡単に説明する。まず、計測対象物に対して二次元パターン光を照射することによって得られるパターン投影像をカメラで撮像する。次に、二次元パターンの周期性を手掛かりに、その撮像画像をコンピュータで解析して計測対象物の距離情報を得る。この距離情報とは、計測対象物のカメラからの距離や表面凹凸等奥行き方向の距離である。幅方向、高さ方向の情報は二次元撮像画像から得ることができるので、この時点で三次元空間情報が得られている。そして、二次元撮像画像と距離情報、予め保持している計測対象物のモデル情報を用いて三次元モデルフィッティングを行い、計測対象物の位置、姿勢、そして三次元形状を計測する。
この技術は、例えば、工場の製造ラインでのロボットアームによる部品ピッキングや組み立て等に用いられる。三次元計測技術で部品の位置、姿勢、三次元形状を計測し、取得した情報を基にロボットアームを制御することで、ロボットアームによる部品ピッキングや組み立てを効率的に、正確に行うことができる。
二次元パターンを用いる三次元計測法としては、空間符号化法や位相シフト法等があり、画像認識処理と兼用できること等から有効である。
プロジェクタによるパターン投影は、パターンを変化させて投影させることが可能なことから、上記の三次元計測法のような空間符号化や位相シフト法等のように複数パターンを必要とする三次元計測法には有効である。
ここで、プロジェクタは３０〜６０ｆｐｓ、或いはそれ以上のフレームレートでパターンを切り替えて投影可能である。カメラも同様にかなり高いフレームレートで撮像可能である上に、プロジェクタとカメラの解像度も向上しているので、フレーム単位にパターンを変化させて計測できれば、高精度で高速な三次元計測が可能になる。

特許第４３９１１３７号公報 特表２００３−５３２０６２号公報

この種の技術として、特許文献１には、被測定物表面に任意のパタンを投影することが可能なパタン投影手段と、被測定物表面に投影された１本以上のスリットをスリットと直交する方向にシフトしつつ複数回投影されるパタンを少なくとも含む１種類以上の種類のパタンを投影方向とは異なる方向から撮影する撮像手段と、撮影されたパタン投影画像を画像処理して前記被測定物の３次元曲面形状を演算する形状演算手段とを備えたことを特徴とする３次元曲面形状の測定装置が開示されている。
また、特許文献２には、対象物体の立体視、カラーの３Ｄデジタル化、およびモーション・キャプチャの機能を兼備するデジタイザが開示されている。２台のカメラとプロジェクタを有する２つの投影機構とを支持する基部を有する。投影機構の１つは、対象物体の表面に符号化パターンを投影するための回折格子要素を備え、能動的な３Ｄ範囲の感知に使用される。もう一方の投影機構は、対象物体のテクスチャ情報の取得に使用される。カメラと光プロジェクタとは、それらが１点を通じて集中する光軸を有するように、互いに対して角度をつけて配置される。コンピュータは、選択された機能に従って、プロジェクタを操作し、カメラが生成するビデオ信号を処理する。

しかしながら、上述した従来の技術においては、以下のような問題があった。
図１０に示すように、基本構成がカメラ２０３とプロジェクタ２０２とＰＣ（パーソナルコンピュータ）２０１で、更に同期制御装置２０４をＰＣ２０１とプロジェクタ２０２との間に追加する構成が考えられる。同期制御装置２０４は、プロジェクタ２０２のパターン投影とカメラ２０３の撮像を同期させる。ＰＣ２０１と同期制御装置２０４との間、及び、同期制御装置２０４とプロジェクタ２０２との間を映像出力インターフェース２０５、２０６で接続している三次元計測システムにおいては、ＰＣ２０１から同期制御装置２０４或いはプロジェクタ２０２に対しては、映像データの出力のみが可能である。
そこで、ＰＣ２０１のコマンドを映像データに重畳して送信し、同期制御装置２０４ではその映像データに重畳されたコマンドを抽出するようにすることで、ＰＣ２０１から同期制御装置２０４へのコマンドが送信可能になる。
しかしながら、映像出力インターフェースの場合、映像データはＰＣ２０１から同期制御装置２０４への一方向のみのため、逆方向である同期制御装置２０４からＰＣ２０１にステータスを返信することはできない。
ここで、同期制御装置２０４からＰＣ２０１にステータスを返信する専用の送信手段を実現しようとすると、ＰＣ２０１と同期制御装置２０４の両装置に別インターフェースを追加しなくてはならない（図中の点線の矢印を参照）。そのため、装置の大型化、インターフェースの通信ソフトを新たに開発実装しなくてはならない等の作業工数の増大、コストアップ等の問題がある。
同期制御装置２０４からＰＣ２０１にステータスを返信する専用の送信手段がない場合は、例えばステータスがエラー情報であるときに、エラーをＰＣ２０１側に知らせる手段がない。そのため、エラーの状態のまま計測してしまう、或いは、エラーに気が付く場合でも撮像画像の解析後になってしまうため対応が大幅に遅れるという問題がある。

特許文献１では、ＰＣにカメラとプロジェクタを接続しプロジェクタとカメラのタイミングを合わせて投影撮像しているが、同期制御装置は存在せず、ＰＣ内部でタイミング調整しているため高速化は厳しい。また、投影及び撮像のステータスをＰＣに送信することは記載されていない。
特許文献２では、装置の外部インターフェースとして、カメラとプロジェクタの動作を設定する制御信号とカメラからのビデオ信号はあるが、プロジェクタはランプのみのためビデオ入力信号はなく、更にカメラとプロジェクタ他のステータスは出力する信号がない。

本発明はかかる問題に鑑みなされたものであり、計測ミスの防止や計測の正確性向上や計測稼働率向上が可能な三次元計測システムを提供することを目的とする。

本発明の三次元計測システムは、パターン画像を計測対象物に投影する投影装置と、前記投影装置により前記計測対象物に投影されたパターン画像を撮像する撮像装置と、前記撮像装置で撮像された撮像画像から距離情報を求める制御装置とを備えた三次元計測システムであって、前記制御装置とは第一の映像出力インターフェース及び第一の映像入力インターフェースで接続され、前記投影装置とは第二の映像出力インターフェースで接続され、前記撮像装置とは第二の映像入力インターフェースで接続され、前記制御装置からの指示に基づいて前記投影装置と前記撮像装置の同期制御を司る同期制御装置を備え、前記同期制御装置が、エラーを検知するエラー検知手段と、前記エラー検知手段で検知したエラー情報と前記同期制御装置が設定した情報とを前記第二の映像入力インターフェースで入力される撮像画像に埋め込む埋め込み手段と、前記エラー情報と前記同期制御装置が設定した情報とを埋め込んだ撮像画像を前記制御装置に前記第一の映像入力インターフェースで出力する出力手段とを有し、前記制御装置が、前記エラー情報と前記同期制御装置が設定した情報とを埋め込んだ撮像画像から前記エラー情報と前記同期制御装置が設定した情報とを抽出する抽出手段と、前記抽出手段により前記エラー情報が抽出された場合にエラーと検出し、前記エラー情報が抽出されなかった場合には前記同期制御装置が設定した情報と前記制御装置に記憶された情報とを比較することによりエラーを検出するエラー検出手段とを有することを特徴とする。

本発明によれば、同期制御装置がエラー情報を撮像画像に埋め込んだり、多重したりして制御装置に出力するようにしたので、エラーの発生が確実かつ正確に制御装置に伝えられる。したがって、計測ミスの防止や計測の正確性向上や計測稼働率向上という効果がある。また、映像入力インターフェースを利用してエラー情報を制御装置に送信するようにしたので、エラー情報を送信するための専用の送信手段を追加する必要がなく、経済的という効果がある。

第１の実施の形態における三次元計測システムの構成を示す図である。 第１の実施の形態における三次元計測システムの動作シーケンス図である。 第２の実施の形態における三次元計測システムの構成を示す図である。 第２の実施の形態における三次元計測システムの動作シーケンス図である。 第２の実施の形態における三次元計測システムのＰＣの動作を示すフローチャートである。 第２の実施の形態における三次元計測システムのＰＣの動作を示すフローチャートである。 第２の実施の形態における三次元計測システムのＰＣの動作を示すフローチャートである。 第３の実施の形態における三次元計測システムの構成を示す図である。 第４の実施の形態における三次元計測システムの構成を示す図である。 第４の実施の形態における三次元計測システムの動作シーケンス図である。 従来の三次元計測システムの構成を示す図である。

以下、添付図面を参照して、本発明の好適な実施の形態について説明する。
（第１の実施の形態）
図１は、第１の実施の形態における三次元計測システムの構成を示す図である。本実施の形態における三次元計測システムは、制御装置であるＰＣ（パーソナルコンピュータ）１０１、投影装置であるプロジェクタ１０２、撮像装置であるカメラ１０３、及び同期制御装置１０４により構成される。
ＰＣ１０１と同期制御装置１０４とは第一の映像出力インターフェースである映像出力インターフェース１０５及び第一の映像入力インターフェースである映像入力インターフェース１０８で接続する。また、同期制御装置１０４とプロジェクタ１０２とは第二の映像出力インターフェースである映像出力インターフェース１０６で接続し、同期制御装置１０４とカメラ１０３とは第二の映像入力インターフェースである映像入力インターフェース１０７で接続する。映像出力インターフェースとしては、例えばアナログＲＧＢ、ＤＶＩ、ＨＤＭＩが挙げられる。また、映像入力インターフェースとしては、例えばアナログビデオ、カメラリンク、ＩＥＥＥ１３９４が挙げられる。

ＰＣ１０１は、計測パターン出力部１０１−１で生成した計測に利用するパターン画像データを映像出力インターフェース１０５を経由して同期制御装置１０４に送信する。また、投影・撮像同期情報管理部１０１−２で投影タイミングと撮像タイミングとを同期させるための同期制御情報を生成し、点灯情報管理部１０１−３でプロジェクタ１０２の光源の点灯を制御をする点灯制御情報を生成し、パターン画像データに重畳して同期制御装置１０４に送信する。パターン画像データに埋込んだり多重したりして画像データと同時に送信するコマンドについては、投影開始を知らせる開始コマンド等必要とする各種制御コマンドを含む。
同期制御装置１０４は、パターン画像の投影による計測の際に、ＰＣ１０１からの指示に基づいて、プロジェクタ１０２の投影開始とカメラ１０３の撮像開始のタイミングを調整して両者の同期制御を司る。これにより、プロジェクタ１０２とカメラ１０３をフレーム単位で高速に計測することが実現される。
ＰＣ１０１は、同期制御装置１０４がプロジェクタ１０２とカメラ１０３の両者のタイミングの同期をとるために、同期制御情報を予め記憶している。ＰＣ１０１は、その記憶した同期制御情報を読み出して同期制御装置１０４に送信し、更に制御コマンドを必要に応じて送信し、同期制御装置１０４は、受信した同期制御情報を設定して制御コマンドに応じてプロジェクタ１０２とカメラ１０３の両者の同期信号を生成する。

プロジェクタ１０２は、同期制御装置１０４からパターン画像データ、プロジェクタ用の同期信号を受信して表示部を駆動し、更にＰＣ１０１から受信した点灯タイミング情報から生成した光源用の同期信号を受信して光源であるＬＥＤを点灯させ、計測対象物に投影する。
カメラ１０３は、同期制御装置１０４からカメラ用の同期信号を受信して計測対象物に投影されたパターン画像を撮像し、その撮像した画像データを映像入力インターフェース１０７を経由して同期制御装置１０４に送信する。

ＰＣ１０１は、同期制御装置１０４からカメラ１０３で撮像した画像データを映像入力インターフェース１０８を経由して受信する。そして、計測画像処理部１０１−４がその受信した画像データを解析し、パターンのエッジ位置情報を抽出し、プロジェクタ１０２とカメラ１０３の基線長や計測対象物までの長さを基に三角法により計測対象物の距離情報マップを作成する。
プロジェクタ１０２の投影の水平走査方向は、カメラ１０３の撮像の水平走査方向と同じ方向になるように両者をセッティングするが、両者の水平走査方向は逆方向でも良い。また、カメラ１０３は、撮像領域をＲＯＩ制御によりプロジェクタ１０２の投影領域の範囲内で任意の領域に設定し撮像する機能を有することで、撮像側の処理の効率アップと高速化を可能としている。

次に、同期制御装置１０４の構成を説明する。
画像受信部１０４−１は、ＰＣ１０１からのパターン画像データを映像出力インターフェース１０５を経由して受信し、そのパターン画像の同期信号をフレーム同期抽出部１０４−４に送り、パターン画像データをコマンド抽出部１０４−２に送る。
フレーム同期抽出部１０４―４は、同期信号から同期タイミングを抽出し、同期制御部１０４−７に送る。
コマンド抽出部１０４−２は、パターン画像データに埋め込み又は多重されている同期制御情報や点灯制御情報や制御コマンドを抽出する。コマンド解析部１０４−５は、コマンド抽出部１０４−２で抽出した前記情報や前記コマンドを解析し、その前記情報や前記コマンドを同期制御部１０４−７に送る。
画像送信部１０４−３は、受信したパターン画像データを映像出力インターフェース１０６を経由してプロジェクタ１０２に出力する。
同期制御部１０４−７は、コマンド解析部１０４−５から送られてくる前記情報や前記コマンドに応じた制御を行う。例えば、光源制御部１０４−８に対して発光開始タイミングや点灯期間を送り、シャッター制御部１０４−９に対してシャッター開始タイミングや露光期間を送り制御する。開始タイミングはフレーム同期抽出部１０４−４で抽出された同期タイミングに対してのタイミング差を同期制御情報として受信し、そのタイミング差の時間遅延後に開始することで制御する。
光源制御部１０４−８は、プロジェクタ１０２の光源を、映像出力用インターフェース１０６とは別線の投影用制御線を介して制御する。光源状態部１０４−６は、投影用制御線を介して光源の状態（温度等）を受信し、モニタリングする。
シャッター制御部１０４−９は、カメラ１０３が外部トリガでシャッターを切る機能のために用意されている外部同期入力端子に、映像入力用インターフェース１０７とは別線の撮像用制御線を介してカメラ用の同期信号を入力してシャッター制御を行う。
エラー発生部１０４−１０は、エラー検知手段として機能し、同期制御装置１０４内に発生するエラー情報を収集する。例えばフレーム同期抽出部１０４−４でフレームの同期外れを検知したときにはエラー情報が発生する。コマンド解析部１０４−５で規定範囲外の情報やコマンドを検知したときにエラー情報が発生する。光源状態部１０４−６で光源の温度が規定温度以上になる等の異常を検知するとエラー情報が発生する。エラー情報としては、同期はずれの検知、規定範囲外の情報やコマンドの検知、光源の異常の検知以外にも、フレームＮｏ．の間違い、設定レジスタへの書き込みが正しく書けない、ＬＥＤの制御線の断線を検知した、プロジェクタ１０２との接続が正常でない（接続できていない）、カメラ１０３との接続が正常でない（接続できていない）、ＬＥＤ点灯やシャッターＯＮをストップした等あるが、これに限定されるものではなく同期制御装置１０４内で発生するあらゆるエラーが対象になる。
ステータス生成部１０４−１１は、エラー情報をステータスに生成する。
画像受信部１０４−１４は、カメラ１０３からの撮像画像データを映像入力インターフェース１０７を経由して受信する。
該当フレーム判定部１０４−１３は、画像受信部１０４−１４で受信した撮像画像がステータス生成部１０４−１１で用意したステータスのときの撮像画像か否か、つまり該当するフレームであるか否かを判断する。該当するフレームである場合、位置判定部１０４−１２にその旨を送り、位置判定部１０４−１２により撮像画像のうちの指定した領域（有効画像領域でも無効画像領域でも）か否かを判定する。指定した領域の場合、ステータス埋込部１０４−１５に伝え、ステータス埋込部１０４−１５が該当するフレームの撮像画像の指定した領域にステータス生成部１０４−１１で生成したステータスを埋め込む。
画像送信部１０４−１６は、ステータスを埋め込んだ撮像画像を映像入力インターフェース１０８を経由してＰＣ１０１に送信する。

図２は、第１の実施の形態における三次元計測システムの動作シーケンス図である。図の横軸は時間軸で、縦軸は各装置の並びになっている。具体的には、上から下へＰＣ１０１（全体制御部と記す）、同期制御装置１０４（同期制御部と記す）、プロジェクタ１０２（投影部と記す）、カメラ１０３（撮像部と記す）、同期制御装置１０４（同期制御部と記す）、ＰＣ１０１（全体制御部と記す）が並んでおり、フレーム単位に、各装置間や装置内で、どのような動作の流れになっているかを示している。

最初のフレームでは、ＰＣ１０１が同期制御装置１０４に対して同期制御情報、点灯制御情報を送信し、カメラ１０２に対してカメラ用の各種パラメータ（例えば、撮像エリアやその位置、画像ビット幅、ゲインなど）を送信し、各々設定を行う。
第三フレームでは、ＰＣ１０１から最初のパターン画像と前記情報や前記コマンドを同期制御装置１０４に送信し、パターン画像はプロジェクタ１０２に送信される。同期制御装置１０４ではパターン画像から抽出したコマンドを設定しそのステータスを生成し、プロジェクタ１０２ではパターン画像を受信する。
第四フレームでは、プロジェクタ１０２が第三フレームで受信したパターン画像を表示し、同期制御装置１０４からの制御で光源が点灯し、同期制御装置１０４からの制御でカメラ１０３のシャッターが切られて露光を行う。これにより、計測対象物に投影された最初のパターン画像を撮像した画像がカメラ１０３から出力される。同期制御装置１０４では、第三フレームで生成したステータスを第四フレームのときの撮像画像に埋め込んでＰＣ１０１に送信する。

第五フレーム以降は上記の動作を繰り返す動作のため説明は省略するが、同期制御装置１０４は、カメラ１０３からの撮像画像が１フレーム遅れで出力されることを予め認識しており、１フレーム遅れの撮像画像を該当フレームの撮像画像と判断してステータスを埋め込む。
本実施の形態では、１フレーム遅れの場合を例にしたが、プロジェクタによっては、数フレームバッファリングするプロジェクタも存在するので、その場合には、該当するフレームはそのバッファリングしたフレーム数分遅れたフレームが該当フレームとなる。また、カメラ１０３側で撮像画像をバッファリングする場合には、更にその分遅れたフレームが該当フレームになる。

以上述べたように、ＰＣ１０１とカメラ１０３との間に同期制御装置１０４が接続し、同期制御装置１０４のステータスをＰＣ１０１に送信できるようにし、更に該当する撮像画像に同期させてステータスを送信するようにしたので、エラーの発生が確実かつ正確にＰＣ１０１に伝えられる。したがって、計測ミスの防止や計測の正確性向上や計測稼働率向上という効果がある。
また、映像入力インターフェース１０８を利用してＰＣ１０１にステータスを送信するようにしたので、同期制御装置１０４からＰＣ１０１にステータスを送信するための専用の送信手段を追加する必要がなく、経済的という効果がある。

（第２の実施の形態）
第２の実施の形態では、エラー情報に加えて、設定情報もステータスに生成して該当するフレームに合わせて返す例を説明する。
図３は、第２の実施の形態における三次元計測システムの構成を示す図である。第１の実施の形態との相違は、設定情報部１０４−１７を備え、ステータス生成部１０４−１１は、エラー情報及び設定情報をステータスに生成することである。以下では、第１の実施の形態との相違点を中心に説明し、同様の構成要素についてはその詳細な説明を省略する。

設定情報部１０４−１７は、同期制御部１０４−７が光源制御１０４−８やシャッター制御部１０４−９に送出する各種パラメータ設定情報を記憶する。或いは、カメラ１０３へのパラメータ設定情報についても、映像入力インターフェースを経由してＰＣ１０１からカメラ１０３に送出されるカメラの各種パラメータ設定情報をモニタリングして記憶しておくことも可能である。
設定情報部１０４−１７が上記のように収集して記憶する設定情報をステータス生成部１０４−１１に送り、ステータス生成部１０４−１１がステータスに生成する。
設定情報としては、上記パラメータ設定情報以外にも、画像のフレームＮｏ、画像のタイムスタンプ（内部時計かタイマーが必要）、１フレーム目からの相対時間、ＬＥＤの温度センサ値等あるが、これに限定されるものではなく、同期制御装置１０４内で取得可能なあらゆる情報が対象になる。

図４は、第２の実施の形態における三次元計測システムの動作シーケンス図である。第１の実施の形態の図２との相違は、ステータスとして設定情報が追加されていることである。これにより、エラー情報だけでなく、同期制御装置１０４の設定情報、或いは、カメラ１０３への設定情報を、その設定がなされてパターン投影し撮像した撮像画像に対して埋め込んでＰＣ１０１に送信することができる。ＰＣ１０１側では、パターン投影と撮像のときにどのようなパラメータ設定がなされていたかを確認することが可能になる。また、そのときのＬＥＤの温度等の状態情報も把握することが可能になる。

図５は、第２の実施の形態における三次元計測システムのＰＣ１０１の映像出力インターフェース１０５側の動作を示すフローチャートである。なお、第１の実施の形態における三次元計測システムのＰＣ１０１の映像出力インターフェース１０５側の動作も同様である。
まず、計測をスタートすると（ステップＳ１００）、記憶部から必要な同期制御情報や点灯制御情報や制御コマンドを読み出す（ステップＳ１０１）。そして、パターン画像に上記の制御情報や制御コマンドを埋め込み又は多重して映像出力インターフェース１０５経由で送信する（ステップＳ１０２）。

次に、記憶部から投影パターンシーケンスを読み出し（ステップＳ１０３）、投影パターンシーケンスによる投影パターンの画像を生成する（ステップＳ１０４）。そして、計測途中の同期制御情報や点灯制御情報の変更の有無を判断し（ステップＳ１０５）、変更がない場合にはステップＳ１０７に移り、変更がある場合にはステップＳ１０６に移る。ステップＳ１０６では、変更する同期制御情報や点灯制御情報をパターン画像に埋め込む又は多重する。そして、有効フレームを示す制御コマンドを投影パターン画像に埋め込む又は多重して映像出力インターフェース１０５経由で送信する（ステップＳ１０７）。

次に、その計測をストップするか否かを判断し（ステップＳ１０８）、ストップしない場合はステップＳ１１０に移る。ステップＳ１１０では、計測が終了するか否かを判断し、終了でない場合はステップＳ１０４に移り、終了の場合は計測がエンドとなる。ステップＳ１０８においてストップする場合は、計測を強制終了しエラー処理し（ステップＳ１０９）、計測がエンドとなる。

上記のようなＰＣ１０１の動作により、パターン画像をプロジェクタ１０２から計測対象物に投影するタイミングで、同期制御装置１０４を利用して、プロジェクタ１０２の光源の点灯とカメラ１０３のシャッターによる露光を同期させることが可能になる。

図６ａ、図６ｂは、第２の実施の形態における三次元計測システムのＰＣ１０１の映像入力インターフェース１０８側の動作を示すフローチャートである。なお、第１の実施の形態における三次元計測システムのＰＣ１０１の映像入力インターフェース１０５側の動作は、第２の実施の形態で設定情報の比較（ステップＳ３０６〜Ｓ３０８）を行うこと以外は同様である。
まず、計測をスタートすると（ステップＳ２００）、ＰＣ１０１が記憶部から必要なカメラ用の各種パラメータ値を読み出し（ステップＳ２０１）、カメラ１０３へ映像入力インターフェース１０８経由で送信する（ステップＳ２０２）。
次に、カメラ１０３から撮像画像を受信したか否かを判断する（ステップＳ２０３）。受信していない場合は、その計測をストップするか否かを判断する（ステップＳ２０５）。ストップしない場合はステップＳ２０３に移り、ストップする場合は、計測を強制終了しエラー処理し（ステップＳ２０６）、計測がエンドとなる。

ステップＳ２０３においてカメラ１０３から撮像画像を受信した場合は、受信した撮像画像を記憶部に記憶する（ステップＳ２０４）。そして、撮像画像にステータスの埋め込みがあるか否かを判断する（ステップＳ２０７）。ステータスの埋め込みがない場合は、計測が終了するか否かを判断し（ステップＳ２１８）、終了でない場合はステップＳ２０３に移り、終了の場合はステップＳ３０１に移る。

ステップＳ２０７においてステータスの埋め込みがある場合は、撮像画像からステータスを抽出して記憶し（ステップＳ２０８）、そのステータスがエラー情報か否かを判断する（ステップＳ２０９）。エラー情報でない場合はステップＳ２１８に移り、エラー情報の場合は、エラー情報を解析し（ステップＳ２１０）、そのエラーが軽度のエラーか否かを判断する（ステップＳ２１１）。エラーが軽度な場合は、本計測は継続し（ステップＳ２１２）、ステップＳ２１８に移る。
ステップＳ２１０においてエラーが軽度でない場合は、自動回復可能なエラーか否かを判断する（ステップＳ２１３）。自動回復可能なエラーの場合は、本計測は終了し、自動的再計測を通知し実施し（ステップＳ２１４）、計測をエンドする。ステップＳ２１３において自動回復できないエラーの場合は、再操作必要なエラーか否かを判断する（ステップＳ２１５）。再操作必要なエラーの場合は、強制終了処理し計測再度設定を連絡し（ステップＳ２１６）、計測をエンドする。ステップＳ２１５において再操作でも問題のあるエラーの場合は、重度なエラーと判断し、強制終了処理し重度のエラー発生を通知し（ステップＳ２１７）、計測をエンドする。

次に、ステップＳ３０１では、撮像画像を読み出し、距離情報生成用の撮像画像か否かを判断する（ステップＳ３０２）。距離情報生成用でない場合は、撮像画像を二次元画像処理をし（ステップＳ３０３）、距離情報生成用である場合は、撮像画像から距離情報を生成処理し（ステップＳ３０４）、処理結果を記憶部に記憶する（ステップＳ３０５）。
次に、同期制御装置１０４に設定されていて同期制御装置１０４から受信した同期制御情報と点灯制御情報と、ＰＣ１０１に記憶されている同期制御情報と点灯制御情報とを比較する（ステップＳ３０６）。そして、撮像画像に該当する上記制御情報の値に不一致が有るか否かを判断する（ステップＳ３０７）。不一致がある場合は、不一致を検出した撮像画像はエラーしている旨を通知した後（ステップＳ３０８）ステップＳ３０９に移り、不一致がない場合はステップＳ３０９に移る。ステップＳ３０９では、受信した撮像画像の処理が完了したか否かを判断し、完了していない場合はステップＳ３０１に移り、完了した場合は、計測をエンドする。

上記のようなＰＣ１０１の動作により、同期制御装置１０４が把握しているステータスを取得することができるので、発生したエラーの重要度に応じた適切な対処が可能なる。更に、例えばパターン投影したときのパラメータ設定値も把握することができるので、想定していたパラメータ値でない場合は撮像画像が所望の画像データでないと認識することも可能である。

（第３の実施の形態）
第３の実施の形態では、同期制御装置１０４、プロジェクタ１０２及びカメラ１０３を別装置ではなく、これらを搭載した三次元計測装置として構成する例を説明する。
図７は、第３の実施の形態における三次元計測システムの構成を示す図である。第１の実施の形態との相違は、同期制御装置１０４、プロジェクタ１０２及びカメラ１０３を別装置ではなく、各々が同期制御部１０４、投影部１０２及び撮像部１０３となり、三次元計測装置として一体型になったところである。
この場合、ＰＣ１０１と三次元計測装置とが映像出力インターフェース１０５と映像入力インターフェース１０８接続される構成は同じであるが、第１の実施の形態においてプロジェクタ１０２及びカメラ１０３と同期制御装置１０４とを接続していた第二の映像出力インターフェース１０６及び映像入力インターフェース１０７は必要なくなる。
このような構成になった場合でも、同期制御装置１０４からステータスを映像入力インターフェース１０８を経由してＰＣ１０１に送信することが可能になる。

（第４の実施の形態）
第４の実施の形態では、ステータスを映像入力インターフェース側のマルチメディア通信を分離してデータ系を使って返す例である。
図８は、第４の実施の形態における三次元計測システムの構成を示す図である。第２の実施の形態との相違は、切換部１０４−１８、バッファ１０４−１９、分離部１０４−２０、多重部１０４−２１を備える点である。以下では、第１、２の実施の形態との相違点を中心に説明し、同様の構成要素についてはその詳細な説明を省略する。
第４の実施の形態において、第２の実施の形態との相違は、ステータスを画像に埋め込むのではなく、画像通信系とデータ通信系の両方をもつインターフェースであると想定し、そのデータ通信系を使って、ステータスをＰＣ１０１に送信するというものである。
そのため、カメラ１０３とＰＣ１０１との間でのデータ通信系をモニタリングし、必要なタイミングに割り込んでＰＣ１０１に送信する必要があるため、その間は一時的にカメラ１０３からの通信を遅らせる必要がある。そこで、分離部１０４−２０、バッファ部１０４−１９、多重部１０４−２１を用意し、切り換え部１０４−１８を使ってステータスをＰＣ１０１に送信するようにすることで実現する。
なお、第４の実施の形態を、同期制御部１０４、投影部１０２及び撮像部１０３を三次元計測装置として一体型にする形態にも適用可能であることはいうまでもない。

図９は、第４の実施の形態における三次元計測システムの動作シーケンス図である。第１、２の実施の形態との相違は、撮像画像にステータスを埋め込まないで済むため、撮像画像が存在しないとき（例えば、第三や第七のフレームのとき）でもステータスをＰＣ１０１に送信できるところである。
これにより、いつでもステータスをＰＣ１０１に送信して、ＰＣ１０１側がステータスを把握することが可能になる。また、撮像画像にステータスを埋め込む場合は、撮像画像とステータスを一致させるのは容易であるのに対して、本実施の形態では、通信系が異なるため、単純には一致させられない。ただし、フレームタイミングに同期してステータスを送信することである程度タイミングを合わせることができる。更に、撮像画像に識別ＩＤを埋め込み、その識別ＩＤをステータスに付加することで、撮像画像とステータスを関係付けることは可能である。

（その他の実施の形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施の形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１：ＰＣ、１０２：プロジェクタ（投影部）、１０３：カメラ（撮像部）、１０４、同期制御装置、１０５、１０６ 映像出力インターフェース、１０７、１０８：映像入力インターフェース

Claims (9)

1. パターン画像を計測対象物に投影する投影装置と、
   前記投影装置により前記計測対象物に投影されたパターン画像を撮像する撮像装置と、
   前記撮像装置で撮像された撮像画像から距離情報を求める制御装置とを備えた三次元計測システムであって、
   前記制御装置とは第一の映像出力インターフェース及び第一の映像入力インターフェースで接続され、
   前記投影装置とは第二の映像出力インターフェースで接続され、
   前記撮像装置とは第二の映像入力インターフェースで接続され、
   前記制御装置からの指示に基づいて前記投影装置と前記撮像装置の同期制御を司る同期制御装置を備え、
   前記同期制御装置が、エラーを検知するエラー検知手段と、前記エラー検知手段で検知したエラー情報と前記同期制御装置が設定した情報とを前記第二の映像入力インターフェースで入力される撮像画像に埋め込む埋め込み手段と、前記エラー情報と前記同期制御装置が設定した情報とを埋め込んだ撮像画像を前記制御装置に前記第一の映像入力インターフェースで出力する出力手段とを有し、
   前記制御装置が、前記エラー情報と前記同期制御装置が設定した情報とを埋め込んだ撮像画像から前記エラー情報と前記同期制御装置が設定した情報とを抽出する抽出手段と、前記抽出手段により前記エラー情報が抽出された場合にエラーと検出し、前記エラー情報が抽出されなかった場合には前記同期制御装置が設定した情報と前記制御装置に記憶された情報とを比較することによりエラーを検出するエラー検出手段とを有することを特徴とする三次元計測システム。
2. 前記エラー情報が前記第二の映像入力インターフェースで入力される撮像画像に該当するか否かを判定する判定手段を備え、
   前記埋め込み手段は、前記判定手段で該当すると判定された撮像画像に前記エラー情報を埋め込むことを特徴とする請求項１に記載の三次元計測システム。
3. パターン画像を計測対象物に投影する投影装置と、
   前記投影装置により前記計測対象物に投影されたパターン画像を撮像する撮像装置と、
   前記撮像装置で撮像された撮像画像から距離情報を求める制御装置とを備えた三次元計測システムであって、
   前記制御装置とは第一の映像出力インターフェース及び第一の映像入力インターフェースで接続され、
   前記投影装置とは第二の映像出力インターフェースで接続され、
   前記撮像装置とは第二の映像入力インターフェースで接続され、
   前記制御装置からの指示に基づいて前記投影装置と前記撮像装置の同期制御を司る同期制御装置を備え、
   前記同期制御装置が、エラーを検知するエラー検知手段と、前記第二の映像入力インターフェースで入力されるデータを画像通信とデータ通信に分離する分離手段と、前記エラー検知手段で検知したエラー情報と前記同期制御装置が設定した情報とを前記データ通信に含める手段と、前記データ通信と前記画像通信を多重する多重手段と、前記データ通信と前記画像通信を多重したデータを前記制御装置に前記第一の映像入力インターフェースで出力する出力手段とを有し、
   前記制御装置が、前記データ通信と前記画像通信を多重したデータから前記エラー情報と前記同期制御装置が設定した情報とを抽出する抽出手段と、前記抽出手段により前記エラー情報が抽出された場合にエラーと検出し、前記エラー情報が抽出されなかった場合には前記同期制御装置が設定した情報と前記制御装置に記憶された情報とを比較することによりエラーを検出するエラー検出手段とを有することを特徴とする三次元計測システム。
4. パターン画像を計測対象物に投影する投影部、前記投影部により前記計測対象物に投影されたパターン画像を撮像する撮像部、及び前記投影部と前記撮像部の同期制御を司る同期制御部とを備えた三次元計測装置と、
   前記撮像部で撮像された撮像画像から距離情報を求める制御装置とを備えた三次元計測システムであって、
   前記制御装置と前記三次元計測装置とは第一の映像出力インターフェース及び第一の映像入力インターフェースで接続され、
   前記同期制御部が、エラーを検知するエラー検知手段と、前記エラー検知手段で検知したエラー情報と前記同期制御部が設定した情報とを前記撮像部から入力される撮像画像に埋め込む埋め込み手段と、前記エラー情報と前記同期制御部が設定した情報とを埋め込んだ撮像画像を前記制御装置に前記第一の映像入力インターフェースで出力する出力手段とを有し、
   前記制御装置が、前記エラー情報と前記同期制御部が設定した情報とを埋め込んだ撮像画像から前記エラー情報と前記同期制御部が設定した情報とを抽出する抽出手段と、前記抽出手段により前記エラー情報が抽出された場合にエラーと検出し、前記エラー情報が抽出されなかった場合には前記同期制御部が設定した情報と前記制御装置に記憶された情報とを比較することによりエラーを検出するエラー検出手段とを有することを特徴とする三次元計測システム。
5. パターン画像を計測対象物に投影する投影部、前記投影部により前記計測対象物に投影されたパターン画像を撮像する撮像部、及び前記投影部と前記撮像部の同期制御を司る同期制御部とを備えた三次元計測装置と、
   前記撮像部で撮像された撮像画像から距離情報を求める制御装置とを備えた三次元計測システムであって、
   前記制御装置と前記三次元計測装置とは第一の映像出力インターフェース及び第一の映像入力インターフェースで接続され、
   前記同期制御部が、エラーを検知するエラー検知手段と、前記撮像部から入力されるデータを画像通信とデータ通信に分離する分離手段と、前記エラー検知手段で検知したエラー情報と前記同期制御部が設定した情報とを前記データ通信に含める手段と、前記データ通信と前記画像通信を多重する多重手段と、前記データ通信と前記画像通信を多重したデータを前記制御装置に前記第一の映像入力インターフェースで出力する出力手段とを有し、
   前記制御装置が、前記データ通信と前記画像通信を多重したデータから前記エラー情報と前記同期制御部が設定した情報とを抽出する抽出手段と、前記抽出手段により前記エラー情報が抽出された場合にエラーと検出し、前記エラー情報が抽出されなかった場合には前記同期制御部が設定した情報と前記制御装置に記憶された情報とを比較することによりエラーを検出するエラー検出手段とを有することを特徴とする三次元計測システム。
6. パターン画像を計測対象物に投影する投影装置と、
   前記投影装置により前記計測対象物に投影されたパターン画像を撮像する撮像装置と、
   前記撮像装置で撮像された撮像画像から距離情報を求める制御装置と、
   前記制御装置とは第一の映像出力インターフェース及び第一の映像入力インターフェースで接続され、前記投影装置とは第二の映像出力インターフェースで接続され、前記撮像装置とは第二の映像入力インターフェースで接続され、前記制御装置からの指示に基づいて前記投影装置と前記撮像装置の同期制御を司る同期制御装置とを備えた三次元計測システムによる三次元計測方法であって、
   前記同期制御装置が、エラーを検知するステップと、前記検知したエラー情報と前記同期制御装置が設定した情報とを前記第二の映像入力インターフェースで入力される撮像画像に埋め込むステップと、前記エラー情報と前記同期制御装置が設定した情報とを埋め込んだ撮像画像を前記制御装置に前記第一の映像入力インターフェースで出力するステップとを行い、
   前記制御装置が、前記エラー情報と前記同期制御装置が設定した情報とを埋め込んだ撮像画像から前記エラー情報と前記同期制御装置が設定した情報とを抽出するステップと、前記エラー情報が抽出された場合にエラーと検出し、前記エラー情報が抽出されなかった場合には前記同期制御装置が設定した情報と前記制御装置に記憶された情報とを比較することによりエラーを検出するステップとを行うことを特徴とする三次元計測方法。
7. パターン画像を計測対象物に投影する投影装置と、
   前記投影装置により前記計測対象物に投影されたパターン画像を撮像する撮像装置と、
   前記撮像装置で撮像された撮像画像から距離情報を求める制御装置と、
   前記制御装置とは第一の映像出力インターフェース及び第一の映像入力インターフェースで接続され、前記投影装置とは第二の映像出力インターフェースで接続され、前記撮像装置とは第二の映像入力インターフェースで接続され、前記制御装置からの指示に基づいて前記投影装置と前記撮像装置の同期制御を司る同期制御装置とを備えた三次元計測システムによる三次元計測方法であって、
   前記同期制御装置が、エラーを検知するステップと、前記第二の映像入力インターフェースで入力されるデータを画像通信とデータ通信に分離するステップと、前記検知したエラー情報と前記同期制御装置が設定した情報とを前記データ通信に含めるステップと、前記データ通信と前記画像通信を多重するステップと、前記データ通信と前記画像通信を多重したデータを前記制御装置に前記第一の映像入力インターフェースで出力するステップとを行い、
   前記制御装置が、前記データ通信と前記画像通信を多重したデータから前記エラー情報と前記同期制御装置が設定した情報とを抽出するステップと、前記エラー情報が抽出された場合にエラーと検出し、前記エラー情報が抽出されなかった場合には前記同期制御装置が設定した情報と前記制御装置に記憶された情報とを比較することによりエラーを検出するステップとを行うことを特徴とする三次元計測方法。
8. パターン画像を計測対象物に投影する投影部、前記投影部により前記計測対象物に投影されたパターン画像を撮像する撮像部、及び前記投影部と前記撮像部の同期制御を司る同期制御部とを備えた三次元計測装置と、
   前記撮像部で撮像された撮像画像から距離情報を求める制御装置とを備え、
   前記制御装置と前記三次元計測装置とは第一の映像出力インターフェース及び第一の映像入力インターフェースで接続された三次元計測システムによる三次元計測方法であって、
   前記同期制御部が、エラーを検知するステップと、前記検知したエラー情報と前記同期制御部が設定した情報とを前記撮像部から入力される撮像画像に埋め込むステップと、前記エラー情報と前記同期制御部が設定した情報とを埋め込んだ撮像画像を前記制御装置に前記第一の映像入力インターフェースで出力するステップとを行い、
   前記制御装置が、前記エラー情報と前記同期制御部が設定した情報とを埋め込んだ撮像画像から前記エラー情報と前記同期制御部が設定した情報とを抽出するステップと、前記エラー情報が抽出された場合にエラーと検出し、前記エラー情報が抽出されなかった場合には前記同期制御部が設定した情報と前記制御装置に記憶された情報とを比較することによりエラーを検出するステップとを行うことを特徴とする三次元計測方法。
9. パターン画像を計測対象物に投影する投影部、前記投影部により前記計測対象物に投影されたパターン画像を撮像する撮像部、及び前記投影部と前記撮像部の同期制御を司る同期制御部とを備えた三次元計測装置と、
   前記撮像部で撮像された撮像画像から距離情報を求める制御装置とを備え、
   前記制御装置と前記三次元計測装置とは第一の映像出力インターフェース及び第一の映像入力インターフェースで接続された三次元計測システムによる三次元計測方法であって、
   前記同期制御部が、エラーを検知するステップと、前記撮像部から入力されるデータを画像通信とデータ通信に分離するステップと、前記検知したエラー情報と前記同期制御部が設定した情報とを前記データ通信に含めるステップと、前記データ通信と前記画像通信を多重するステップと、前記データ通信と前記画像通信を多重したデータを前記制御装置に前記第一の映像入力インターフェースで出力するステップとを行い、
   前記制御装置が、前記データ通信と前記画像通信を多重したデータから前記エラー情報と前記同期制御部が設定した情報とを抽出するステップと、前記エラー情報が抽出された場合にエラーと検出し、前記エラー情報が抽出されなかった場合には前記同期制御部が設定した情報と前記制御装置に記憶された情報とを比較することによりエラーを検出するステップとを行うことを特徴とする三次元計測方法。

Images