JP5973704B2 - 投影制御装置及び投影制御方法 - Google Patents

Description

本発明は、投影装置を制御するための投影制御装置及び投影制御方法に関する。

投影装置の投影照度を制御する方法として、投影デバイスの表示輝度を変化させる方式が一般的である。またその制御をフレーム単位にて行うには垂直同期信号に同期して動作を行う制御が必要である。特許文献１では、フレームごとの画像の輝度を制御して表示を行うことで、フレーム単位での表示輝度の制御を実現している。また、投影装置の投影照度を制御する方法として、照明光学部（投影光源）の輝度を変化させる方式がある。特許文献２では、静止画像表示か動画像表示かを示す様態情報に基づいて照明光学部の輝度を変化させるプロジェクタが記載されている。

特開２００２−１８９４５８号公報 特開２００８−７６６１１号公報

しかしながら、三次元計測装置のように毎フレームについて映像を投影する必要がなく、所望のフレームのみ投影を行えばいいような装置においては、投影用光源を毎フレーム点灯させ続ける上記従来例では省電力の観点から無駄が生じる。また、三次元計測に用いられる投影装置において、フレーム同期にて制御を行わない場合は非同期制御となるためリアルタイムな制御を行うことができずに冗長な時間が生じてしまう。この時間は計測の高速化の妨げとなる。特許文献１では映像データを演算することによりフレームごとの輝度を制御しているが、映像データ以外の制御情報を用いてフレームごとに制御を行うということには対応していない。そのため、投影デバイスに対する制御に限らず、その他の周辺デバイスに対しても、フレームごとの制御は行えない。また、特許文献２では、光源の輝度の変更は、フレームとは無関係の態様情報にしたがって行なわれるのみである。

本発明は上記課題に鑑みてなされたものであり、投影装置の動作をフレームごとに制御することが可能な投影制御装置及び投影御方法を提供することを目的とする。

上記目的を達成するための、本発明の一態様による投影制御装置は以下の構成を備える。すなわち、
投影装置を制御するための投影制御装置であって、
複数の色成分で構成された入力映像信号を受信する受信手段と、
前記入力映像信号の各フレームについて特定の色成分の情報を制御情報として抽出する抽出手段と、
前記制御情報に基づいて、前記投影装置の動作を制御するための投影制御情報と、前記投影装置以外の外部装置を制御するための外部装置制御情報と、をフレームごとに生成する生成手段と、
前記投影制御情報を前記投影装置に送信し、前記外部装置制御情報を前記外部装置に送信する送信手段と、を備える。

本発明によれば、投影装置の動作をフレームごとに制御することを容易に行なえる。

第１実施形態による三次元計測装置の構成例を示すブロック図。 第１実施形態による投影制御装置の構成例を示すブロック図。 １フレーム分の映像信号のデータ構成例を示す図。 システム制御装置による映像信号の生成を説明するフローチャート。 投影制御装置の動作を説明するフローチャート。 第２実施形態による三次元計測装置の構成例を示すブロック図。 第２実施形態による投影制御装置の構成例を示すブロック図。 第２実施形態によるプロジェクタの構成例を示すブロック図。 プロジェクタの投影方向、投影角度の調整を説明する図。 第３実施形態による三次元計測装置の構成例を示すブロック図。 第３実施形態による投影制御装置の構成例を示すブロック図。 カメラの撮像方向、撮像角度の調整を説明する図。 第４実施形態の構成を説明する図。 第４実施形態による投影制御装置の構成例を示すブロック図。

以下、添付の図面を参照して本発明の好適な実施形態のいくつかを説明する。

［第１実施形態］
図１は、第１実施形態に係る三次元計測装置の構成を示すブロック図である。図１において、投影装置２０は投影制御装置１とプロジェクタ２を含み、投影制御装置１とプロジェクタ２は、プロジェクタ用ＤＶＩインターフェースケーブル１３およびプロジェクタ制御ケーブル１４により接続されている。投影装置以外の外部装置である撮像装置としてカメラ３が接続されている。カメラ３は、撮像光学系及びイメージセンサを有し、画像の撮影を行なう。カメラ３と投影制御装置１とは、カメラ用カメラリンクケーブル１５で接続されており、投影装置２０とカメラ３とにより、三次元計測に好適な投影撮像装置２１が構成される。システム制御装置４は、ＤＶＩインターフェースケーブル１１、カメラリンクケーブル１２を介して投影装置２０と接続されており、投影撮像装置２１によるパターンの投影と撮影を制御して、被計測物１０の三次元計測を行なう。なお、システム制御装置４には、例えばパーソナルコンピュータ等の汎用コンピュータを用いることができる。システム制御装置４と投影撮像装置２１とにより三次元計測装置が構成される。以下、図１に従って、本実施形態による三次元計測の概略原理および三次元計測装置の動作について述べる。

本実施形態では、空間符号化法とも呼ばれるパターン投影法を用いた形状計測方法を例に挙げる。パターン投影法において、システム制御装置４は、投影装置２０に対して、ネガ・ポジそれぞれのグレイコードパターンを順次表示するように、ＤＶＩインターフェースケーブル１１を介して投影パターンを送信する。投影装置２０において、投影制御装置１はシステム制御装置４から受信した投影パターンをプロジェクタ２に投影させる。これにより、被計測物１０にはシステム制御装置４から送信された投影パターン（グレイコードバターン）が投影される。被計測物１０の表面で反射されたグレイコードパターンの反射光は、カメラ３により別角度で撮像される。そのため、カメラ３では、被計測物１０の形状によって変形されたグレイコードパターンが撮像され、その撮像画像データが投影制御装置１を経由してシステム制御装置４に送られ、画像解析される。システム制御装置４は、ネガとポジの２通りのグレイコードパターンを被計測物１０に投影し、これを撮像して得られた画像においてネガ・ポジ画像の境界位置から符号値を算出することにより、三角測量原理により距離情報を計算する。

このとき、複数の投影パターンを切り換えながら撮像を行うためには、プロジェクタ２による投影とカメラ３による撮像のタイミングを合わせる必要がある。そのため、投影制御装置１はプロジェクタ２に対して、表示開始や表示期間および表示輝度などを設定する投影制御信号を生成する。また、カメラ３に対しては、投影制御装置１はシャッタ開始時間やシャッタオン時間などのシャッタを制御する信号や撮像時のゲインなどを設定する信号を含む撮像制御信号を生成する。これら、画像データ、制御データ（投影制御信号、および撮像制御信号）はシステム制御装置４からの情報に基づき投影制御装置１にて生成される。

また、より高速に投影・撮像処理を行うためには、フレーム単位に投影パターンを切り換える必要があるが、制御信号を１フレーム内で完結する信号とし、フレーム単位に更新することでフレームに同期した制御が可能になる。

システム制御装置４は複数の投影パターンを作成し、その投影パターンの映像信号を汎用の映像信号インターフェースであるＤＶＩポートに出力し、ＤＶＩインターフェースケーブル１１を経由して投影制御装置１に送る。このとき複数の投影パターンは順次フレームごとに送られる。また、システム制御装置４は制御信号を作成し、映像信号のフレームに埋め込んだ形で上記ＤＶＩポートに出力する。

投影制御装置１はＤＶＩインターフェースケーブル１１からきた映像信号をデコードし、ＲＧＢ各色成分の信号（８ビット／画素）、垂直同期信号、水平同期信号、映像イネーブル信号、ドットクロックの信号を作成する。なお、各色成分信号は８ビット／画素である。また、Ｒ成分信号（赤の色成分信号）にはシステム制御装置４で作成された制御信号が含まれている。この制御信号はプロジェクタ２を制御する情報（投影制御信号）、カメラ３を制御する情報（撮像制御信号）として使用され、それぞれプロジェクタ制御ケーブル１４やカメラ用カメラリンクケーブル１５を経由して、プロジェクタ２、カメラ３へ送られる。ＤＶＩインターフェースケーブル１１上のＧ成分信号（緑の色成分信号）には８ビット／画素の投影パターンが含まれている。この投影パターンはプロジェクタ２への画像出力情報として使用される。この画像出力情報は投影制御装置内で先にデコードされた垂直同期信号、水平同期信号、映像イネーブル信号、ドットクロックと共にエンコードされる。そして、汎用インターフェースであるＤＶＩ信号として、プロジェクタ用ＤＶＩインターフェースケーブル１３を経由してプロジェクタ２へ送られる。また、投影制御装置１は、カメラ３に接続されたカメラ用カメラリンクケーブル１５とシステム制御装置４に接続されたカメラリンクケーブル１２とのブリッジの役目も担っている。

プロジェクタ２は、プロジェクタ用ＤＶＩインターフェースケーブル１３経由で送られてきた画像情報を被計測物１０に投影する機能を持つ。プロジェクタ２の光源は例えば発光ダイオード（ＬＥＤ）であり、光源の点灯を制御する情報はプロジェクタ制御ケーブル１４を経由して、投影制御装置１で受取られる。

カメラ３は、プロジェクタ２が被計測物１０に投影パターンを投影している間に、プロジェクタ２と異なる位置から被計測物１０を撮像する。カメラ３の撮像は所望のフレームにおいてのみ行われるようにその撮像の実行等が制御される。カメラ３のこうした制御に必要な撮像制御情報は、投影制御装置１にて作成され、カメラ用カメラリンクケーブル１５を経由してカメラ３に送られる。カメラ３が撮像した画像データはカメラ用カメラリンクケーブル１５、投影制御装置１、カメラリンクケーブル１２を経由してシステム制御装置４に送られる。

システム制御装置４は汎用コンピュータによって構築され、内蔵されたビデオボード（不図示）を経由して、ＤＶＩインターフェースケーブル１１に所望の投影パターン、制御情報を送出する。また投影制御装置１からカメラリンクケーブル１２を経由して送られてきたカメラ３の画像データは、システム制御装置４に内蔵されたキャプチャボード（不図示）によりシステム制御装置４に取り込まれる。上記所望の投影パターン、制御情報の送出、上記画像データの取り込み、および取り込んだ上記画像データの処理はシステム制御装置４に組込まれた専用のアプリケーションソフトにより行われる。そのアプリケーションソフトは、最終的には被計測物１０の形状認識を求めるものであり、さらには接続されたロボット（不図示）を制御して被計測物１０を加工したり、把持・移動したりする機能を持つ場合もある。

以下、図２〜図５を用いて、本実施形態のシステム制御装置４、投影制御装置１の動作について説明する。図２においてＤＶＩインターフェースケーブル１１を経由してシステム制御装置４から送られてくる映像信号はＲ，Ｇ，Ｂの色成分毎の画像データを含む高速シリアル信号である。ＤＶＩレシーバ１０１は、この高速シリアル信号を受信してデコードを行うことにより、それぞれが８ビット／画素の色成分信号（Ｒ成分信号、Ｇ成分信号、Ｂ成分信号）、垂直同期信号、水平同期信号、映像イネーブル信号、ドットクロックの信号を生成する。このとき、図３に示すように、特定の色成分の信号（本例ではＲ成分信号）に同期コマンド、投影制御情報、撮像制御情報が存在し、他の色成分信号（本例ではＧ成分信号）には画像データが存在する。なお、Ｂ成分信号の情報は使用しない仕様となっている。

同期コマンドは、後続の投影制御信号、撮像制御信号の先頭を示すための情報である。投影制御情報はプロジェクタ２の投影動作に関する情報であり、例えば、投影イネーブル、投影開始タイミング、投影時間、投影輝度などを含む。また、撮像制御情報はカメラ３に対する情報であり、撮像イネーブル、撮像開始タイミング、撮像時間などを含む。図３は、１フレーム内のタイミングチャートを示したものである。従って、フレームごとに投影制御情報、撮像制御情報、画像データの内容を変更することが可能である。

ここで、以上のような映像信号を生成するシステム制御装置４における映像信号の生成処理について図４のフローチャートを参照して説明する。ステップＳ３０１において、システム制御装置４は、ビデオインターフェースが有するＶＲＡＭのＲ（赤色）成分の画像情報を格納するＲ成分領域に制御情報を記述する。ステップＳ３０１において記述される制御情報は、プロジェクタ２やカメラ３の動作を制御するための制御情報である（例えば、上述の同期コマンド、投影制御情報、撮像制御情報）。ステップＳ３０２において、システム制御装置４は、ＶＲＡＭのＧ（緑色）成分の画像情報を格納する領域に、プロジェクタ２により投影されるべき画像データ（グレイコードパターン）を記述する。ステップＳ３０３において、システム制御装置４は、ＶＲＡＭのＢ（青色）成分の画像情報を格納する領域をクリアする。なお、Ｂ成分の画像情報は使用されないので、ステップＳ３０３は省略してもかまわない。次に、ステップＳ３０４において、システム制御装置４は、ＶＲＡＭに格納されている情報を用いてＤＶＩインターフェースに準拠した映像信号を生成し、投影制御装置１に送信する。以上の処理は、投影終了の指示が検出されるまで繰り返される（ステップＳ３０５）。

以上のように、映像信号の各色成分のうち、特定の色成分には同期コマンド、投影制御信号、撮像制御信号が記述されており、ＤＶＩレシーバ１０１はこの特定の色成分の信号からそれら制御信号を抽出することになる。また、特定の色成分以外の色成分に、プロジェクタ２が投影すべき画像データが記述されている。

制御情報検出回路１０３は、ＤＶＩレシーバ１０１から出力されるＲ成分信号から、上述した投影に関する投影制御情報、撮像に関する撮像制御情報を検出し、その内容を次段の回路に送る。制御信号生成回路１０４は、制御情報検出回路１０３にて検出した投影制御情報や撮像制御情報を受け、プロジェクタ２に対する投影制御信号、カメラ３に対する撮像制御信号を生成し出力する。より具体的には、例えばプロジェクタ２に対しての投影制御信号はプロジェクタ２の投影用光源である発光ダイオード（以下ＬＥＤ）を点灯させる正論理の点灯信号とすることができる。この場合、制御信号生成回路１０４は、制御情報検出回路１０３からの投影制御情報に基づき、
・フレーム中に光源を点灯するか否かを信号出力の有無で表現し、
・フレーム内における垂直同期信号から計数されるＬＥＤオン開始タイミングを信号出力の開始位置で表現し、
・ＬＥＤオン時間を信号出力のパルス幅で表現する、点灯信号を生成する。

さらに、例えばカメラ３に対する撮像制御信号は、カメラ３のシャッタを制御する正論理のシャッタ信号とすることができる。この場合、制御信号生成回路１０４は、制御情報検出回路１０３からの情報に基づき、
・フレーム中で撮像をするかしないかを信号出力の有無で表現し、
・フレーム内における垂直同期信号から計数される撮像開始タイミングを信号出力の開始位置で表現し、
・撮像時間（シャッタースピード）を信号出力のパルス幅で表現する、シャッタ信号を生成する。

制御信号重畳回路１０５は、制御信号生成回路１０４にて生成された撮像制御信号（例えば、上記のシャッタ信号）をカメラリンクケーブル内のカメラリンク信号のＣＣ２に重畳させる。より具体的には、制御信号重畳回路１０５は、まず、カメラリンクケーブル１２から受信したＣＣ２信号を投影制御装置１内にて無接続とする。そして、制御信号重畳回路１０５は、制御信号生成回路１０４にて生成したカメラ３に対する撮像制御信号をカメラ用カメラリンクケーブル１５のＣＣ２に出力するよう接続する。これを受けるカメラ３は、ＣＣ２信号のパルスに従って正論理にてシャッタ動作を行うようなモードに予め設定されている。なお、このような設定は、システム制御装置４により、カメラリンクケーブル１２、投影制御装置１、カメラ用カメラリンクケーブル１５を経由して行なわれる。

ＤＶＩトランスミッタ１０２は、汎用のＩＣとして提供されるものである。ＤＶＩトランスミッタ１０２は、ＤＶＩレシーバ１０１からのＲ成分信号、Ｇ成分信号、Ｂ成分信号、垂直同期信号、水平同期信号、映像イネーブル信号、ドットクロックより、汎用の映像インターフェースであるＤＶＩ信号を生成する。投影制御装置１において、ＤＶＩレシーバ１０１からの、画像データを含んでいるＧ成分信号出力が、ＤＶＩトランスミッタ１０２のＲＧＢ各色成分信号に入力されるように接続されている。これによりＤＶＩインターフェースケーブル１１から送られてきたＧ８ビットの画像データが、プロジェクタ用ＤＶＩインターフェースケーブル１３のＲＧＢ各色に対して高速シリアル信号に変換されて出力される。

以上説明した投影制御装置１によるプロジェクタ２の制御を図５のフローチャートにより説明する。なお、図５に示す処理は、フレームごとに実行される。ＤＶＩレシーバ１０１はシステム制御装置４から受信した映像信号を受信し、色成分データのうちＲ成分のデータを抽出して制御情報検出回路１０３へ提供する（ステップＳ４０１）。制御情報検出回路１０３は、抽出されたＲ成分のデータから投影制御情報、撮像制御情報を検出し、これらを制御信号生成回路１０４へ提供する（ステップＳ４０１）。制御信号生成回路１０４は、制御情報検出回路から提供された投影制御情報に基づいてプロジェクタ２のための投影制御信号を生成し、プロジェクタ制御ケーブル１４を介してプロジェクタ２に送信する（ステップＳ４０２）。また、制御信号生成回路１０４は、撮像制御情報に基づいてカメラ３の動作を制御するための撮像制御信号を生成して制御信号重畳回路１０５に提供する。制御信号重畳回路１０５は撮像制御信号をカメラリンク信号に重畳させて送信する（ステップＳ４０３）。

一方、ＤＶＩレシーバ１０１は、Ｇ成分の画像データをＤＶＩトランスミッタ１０２に送信する（ステップＳ４０４）。ＤＶＩトランスミッタ１０２は、提供された画像データに基づいて、プロジェクタ２のための映像信号を生成する。本実施形態では、ＤＶＩトランスミッタ１０２は、ＤＶＩレシーバ１０１から提供された画像データをＲ，Ｇ，Ｂのすべての色成分の画像データとすることにより、プロジェクタ２で投影すべき画像データを生成する（ステップＳ４０５）。そして、ＤＶＩトランスミッタ１０２は、生成した画像データに基づいてＤＶＩインターフェースからプロジェクタ２に送信するための映像信号を生成し、送信する（ステップＳ４０６）。

以上のように、本実施形態によれば、フレーム投影を行うプロジェクタ２や、プロジェクタ２以外の外部装置（周辺機器）であるカメラ３における各種動作をフレームに同期して制御することができる。すなわち、プロジェクタ２の投影動作や、その周辺機器としてのカメラ３の撮像動作を、フレーム単位で容易に制御することができる。このように、フレームに同期してフレーム投影を行う装置の各種制御を行うことでフレーム単位の制御を行うことができ、計測の高速化や省電力化を実現することができる。

［第２実施形態］
図６は、第２実施形態に係る三次元計測装置の構成を示すブロック図である。第１実施形態（図１）との相違点は、図１におけるプロジェクタ制御ケーブル１４がなくなり、投影制御装置１内の送信部１１０、プロジェクタ２内の受信部２０１が追加された点である。送信部１１０と受信部２０１は無線通信により情報を送受信する。以下、図６を用いて第２実施形態の説明を行う。なお、上記変更点の周辺以外は第１実施形態と同様である。

図６において、送信部１１０は投影制御装置１内で生成したプロジェクタ２に対する投影制御信号をプロジェクタ２に対して無線で送信する。送信部１１０の通信媒体としては、電波、光、超音波などが挙げられる。プロジェクタ２に設けられた受信部２０１は、送信部１１０より送られた情報を受信する。受信部２０１で受信した内容は、プロジェクタ２内で解釈され、フレームごとに各種制御に使われる。ここでいう各種制御とは例えば、以下のような項目が挙げられる。
（ａ）投影用光源を発光させるか否かの制御、投影用光源の点灯開始のタイミング、投影用光源の点灯時間、投影用光源の点灯終了タイミング。
（ｂ）表示デバイス出力を有効にするか否かの制御。
（ｃ）投影用光源の１点灯時間内における発光光量の制御。
（ｄ）投影用光源の点灯パターンの制御。
（ｅ）投影画像の選択。
（ｆ）フォーカス調整、台形ひずみ補正、レンズズーム、投影映像の解像度指定、投影画像の画像処理の選定。
（ｇ）投影方向や投影角度の制御。

以下、図７を用いて上記制御の具体的方法について説明する。図７は本実施形態における投影制御装置１の内部機能を示した図である。制御信号生成回路１０４により生成した各種投影制御信号は送信部１１０によりプロジェクタ２に対して無線送信される。

「（ａ）投影用光源を発光させるか否かの制御、投影用光源の点灯開始のタイミング、投影用光源の点灯時間、投影用光源の点灯終了タイミング」についてはＬＥＤがオンになるタイミングでオンになる正論理の信号情報を送れば目的を達成できる。この場合、送信部１１０での最も簡易な実現手段としては、上記正論理の信号情報により送信キャリアのオン・オフを制御するものである。また、上記４つの制御情報は同時にすべて必要なものではなく、投影用光源の点灯開始のタイミング、投影用光源の点灯時間、投影用光源の点灯終了タイミングについて言えば、以下の組み合わせで十分である。すなわち、投影用光源の点灯開始のタイミング、投影用光源の点灯時間の組み合わせ、または投影用光源の点灯開始のタイミング、投影用光源の点灯終了タイミングの組み合わせがあれば充分である。なお投影用光源の点灯開始のタイミング・投影用光源の点灯時間・投影用光源の点灯終了タイミングすべてを送信し、その３者のタイミング値に矛盾が生じていた場合はプロジェクタ２内であらかじめ決めた優先順にてタイミングを決定するという方法を用いてもよい。

また、上記の例のように一つの正論理の信号情報を送れば済む場合は、送信キャリアのオン・オフ制御という簡単な機能で送信部１１０を実現できるが、以降に説明する他の情報もフレームごとに送信する場合は、複数情報を多重化して送信する必要が生じる。この多重化については一般的な各種方法があるのでここでは詳述しないが、例えば各制御項目の制御情報を８ビットと定め、定められた順番に並べる仕様とし、このビット列にて送信キャリアを変調する方法がある。

投影を行うか否かを制御する方法としては、前述した投影用光源を発光させるか否かの制御以外に「（ｂ）表示デバイス出力を有効にするか否かの制御」を用いることでも可能である。この制御については表示デバイスに入力する画像データを有効にするかまたは強制的に黒画面にするかの切り替えを行うことで実現可能である。他の方法としては表示デバイス自体に表示をさせるか否かの選択動作を行うためのイネーブル入力コマンドがある場合はこの入力コマンドを制御することでも実現可能である。

「（ｃ）投影用光源の１点灯時間内における発光光量の制御」とは、フレーム内における各パラメータの時間変化を投影用光源の発光光量を変化させることで補正するものである。このようなパラメータの時間変化としては、ＬＥＤの発光特性、表示デバイスの応答性、外乱光による雑音混入、カメラ３の撮像デバイスの応答性などが挙げられる。このような発光光量の制御は、例えば以下のようにして実現できる。プロジェクタ２において、発光光量をどのように変化させるかを示すパターンを複数種類用意してメモリに記憶させておく。投影制御装置１は、複数のパターンの中から一つを選択するための情報を送信部１１０から送信する。プロジェクタ２は、受信部２０１で受信した情報にしたがって、メモリに記憶してある複数のパターンから一つを選択し、選択したパターンに従って光量を変化させる。また上記のようなメモリを持たずに、送信部１１０からパターン自体を送るようにしてもよい。その場合は、送信する情報量が増えるが、光量変化のパターンの自由度が増す。

「（ｄ）投影用光源の点灯パターンの制御」とは、フレーム内にて点灯を複数回行うような場合のフレーム内での点灯パターンを制御するもので、これによりＬＥＤのジャンクション温度の上昇を抑えたＬＥＤ駆動が可能になる。点灯パターンの制御も、発光光量のパターンの制御と同様の方法で実現させることができる。例えば、プロジェクタ２のメモリに予め複数種類の点灯パターンを記憶しておき、送信部１１０から送信された情報に基づいてこれらのうちの一つを選択して、選択されたパターンにしたがって点灯を制御する方法が挙げられる。もちろん点灯パターン自体を送り、それにより点灯パターンを変化させる方法も可能である。この場合は送信する情報量が増えるが、点灯パターンの自由度が増す。

「（ｅ）投影画像の選択」とは、投影制御装置１にてあらかじめ決められた複数のグレーコード画像情報をプロジェクタ２のメモリに格納しておき、その中から投影すべき画像を選択する所定の指示信号を投影制御装置１から送信するものである。画像データをシステム制御装置４から受取らなくても目的の投影が達成できるため、投影制御装置１がシステム制御装置４から受け取る情報は制御情報のみとなり両者間のインターフェースを簡便に実現することができる。この場合、プロジェクタ用ＤＶＩインターフェースケーブル１３は省略可能となる。

「（ｆ）フォーカス調整・台形ひずみ補正・ズーム・投影映像の解像度・投影画像の画像処理の選定」に関し、図８を参照して説明する。図８は、プロジェクタ２の内部構成を示したブロック図である。ＤＶＩレシーバ２０５は、投影制御装置１より出力されたＤＶＩ信号を受信する。ＤＶＩレシーバ２０５は高速シリアル信号である上記ＤＶＩ信号を後段で処理し易いようにデコードし、Ｒ成分信号、Ｇ成分信号、Ｂ成分信号、垂直同期信号、水平同期信号、映像イネーブル信号、ドットクロックの信号を生成する。画像処理回路２０６は、ＤＶＩレシーバ２０５で生成された上記信号を入力して、所与の画像処理を行う。画像処理回路２０６で画像処理を施された画像データは後段の表示デバイス２０７に送られる。表示デバイス２０７は、画像処理回路２０６から画像処理を施された画像データを入力し、それに応じて投影映像を生成し、例えば液晶デバイスへ表示する。光学ユニット２０８は、表示デバイス２０７の投影出力を所望の投影光にするための光学ユニットである。

コマンドデコード回路２０２は、投影制御装置１の送信部１１０から送信され、受信部２０１で受信した信号を解釈し、必要な信号に変換する。制御回路２０３は、コマンドデコード回路２０２で得られた信号を受け、それにしたがってデバイスを制御する。モータ２０４は、光学ユニット２０８内の部品の位置や角度などの調整を行う。フレームごとに制御を行うためにピエゾアクチュエータなどの高速なモータを使用する。

コマンドデコード回路２０２で解釈されたコマンドがフォーカス調整、台形ひずみ補正、ズーム調整であった場合、制御回路２０３はモータ２０４を動作させ、それにより光学ユニット２０８を調整し所望のフォーカス、台形ひずみ補正、ズームとなるようにする。また台形ひずみ補正、ズーム調整は画像情報を処理することで実現させることもできるので、その場合は制御回路２０３が画像処理回路２０６を制御し、それにより画像処理回路は必要な画像処理を行う。

また、コマンドデコード回路２０２で解釈されたコマンドが投影映像の解像度指定、投影画像の画像処理の選定であった場合は、制御回路２０３が画像処理回路２０６を制御する。それにより画像処理回路２０６は解像度変換や、明るさ調整・コントラスト調整・シャープネス調整・ガンマ調整・色調整・ノイズリダクション処理などの画像処理を行う。以上、図８を用いて説明した各種調整項目については一般の市販プロジェクタの機能として備わっている機能であるので、ここでは処理方法の詳述は行わない。

「（ｇ）プロジェクタ２の投影方向や投影角度の制御」について、図９（ａ）〜（ｄ）を参照して説明する。まず、投影方向の調整に関して図９の（ａ）,（ｂ）を用いて説明する。図９（ａ）はプロジェクタ２が下方向に投影している状態を示す。アクチュエータ２１０は、不図示のプロジェクタ２の取付け支持部材とプロジェクタ２との間の角度を変化させて投影方向を変化させる機能を持つ。プロジェクタ２の角度を変化させることによりプロジェクタ２の投影方向が変化する。受信部２０１で受信した信号に投影方向の調整を行う指示が含まれていた場合、制御回路２０３はアクチュエータ２１０を制御してプロジェクタ２の投影方向を所望量変化させる。図９（ｂ）は図９（ａ）の状態からプロジェクタ２の角度を変化させた後の状態を示したものである。アクチュエータ２１０はフレームごとに制御を行うためにピエゾアクチュエータなどの高速なものを使用する。

プロジェクタ２の投影角度の調整に関して図９の（ｃ）、（ｄ）を用いて説明する。図９（ｃ）はプロジェクタ２が下方向に投影している状態を示す。アクチュエータ２１１は、不図示のプロジェクタ２の取付け支持部材とプロジェクタ２との間の角度を変化させて、投影角度（投影軸周りの角度）を変化させる機能を持つ。なお、プロジェクタ２の投影角度を変化させることによりプロジェクタ２の投影方向は変化しない。受信部２０１で受信した信号に投影角度の調整を行う指示が含まれていた場合、制御回路２０３はアクチュエータ２１１を制御してプロジェクタ２の投影角度を所望量変化させる。図９（ｄ）は図９（ｃ）の状態からプロジェクタ２の角度を変化させた後の状態を示したものである。アクチュエータ２１１はフレームごとに制御を行うためにピエゾアクチュエータなどの高速なものを使用する。

なお、第２実施形態で示した制御情報の通信は、第１実施形態のプロジェクタ制御ケーブル１４を用いても実現できることは言うまでもない。例えば、投影用光源の発光光量パターンや点灯パターンの制御、アクチュエータによるプロジェクタ２の投影方向、投影角度の制御は、第１実施形態の構成にも適用できることは明らかである。

［第３実施形態］
図１０は、第３実施形態に係る三次元計測装置の構成を示すブロック図である。カメラ制御ケーブル１６は、投影制御装置１からカメラ３に対して制御情報を送ると共にカメラ３の情報を投影制御装置１に送る機能を持つ。図１０の第１実施形態（図１）との相違点は、カメラ制御ケーブル１６が追加された点である。また、図１ではプロジェクタ制御ケーブル１４は投影制御装置１からプロジェクタ２に制御情報を送る機能の説明のみであったが、本実施形態では双方向に通信する機能を有する。すなわち、プロジェクタ制御ケーブル１４は、投影制御装置１からプロジェクタ２に対して制御情報を送ると共に、プロジェクタ２の情報を投影制御装置１に送る機能も持つ。

図１１は、第３実施形態に係る投影制御装置１の構成を示すブロック図である。ステータス処理回路１０６は、プロジェクタ制御ケーブル１４を経由してプロジェクタ２から送られてくるプロジェクタ２のステータス情報および、カメラ制御ケーブル１６を経由してカメラ３から送られてくるカメラ３のステータス情報を受信する。ステータス処理回路１０６は、受信したステータス情報の内容により、必要な処理を決定する。フレームバッファ１０７は、数フレーム分の画像データを記憶可能な容量を持つ。フレームバッファ制御回路１０８は、フレームバッファ１０７の制御を行う。本実施形態の投影制御装置１（図１１）の第１実施形態（図３）との相違点はステータス処理回路１０６、フレームバッファ１０７、フレームバッファ制御回路１０８、カメラ制御ケーブル１６用の信号が追加になった点である。以下、図１０、図１１を用いて第３実施形態の説明を行う。なお、上記変更点の周辺以外は第１実施形態と同様である。

投影制御装置１はプロジェクタ制御ケーブル１４を経由してプロジェクタ２に対してステータス情報の要求を行う。プロジェクタ２はこの要求に呼応してプロジェクタ２のステータス情報をプロジェクタ制御ケーブル１４を介して投影制御装置１に送る。プロジェクタ２のステータス情報とは、例えば投影用光源であるＬＥＤの温度とすることができる。投影制御装置１はフレームごとにＬＥＤ（光源）の温度を取得し、必要に応じてＬＥＤの輝度を所望の値にする目的でＬＥＤの駆動電流を変更する指示を、プロジェクタ制御ケーブル１４を介してプロジェクタ２に対して行う。これにより、ＬＥＤの温度変動による輝度の変動を防止することができ、より高精度な３次元計測を実現できる。この場合、ステータス処理回路１０６がプロジェクタ２よりプロジェクタ制御ケーブル１４を介してＬＥＤの温度情報を受信し、その情報によりＬＥＤの輝度を調整するかを判断する。そして、調整する必要があると判断したときはその制御情報を制御信号生成回路１０４に渡し、制御信号生成回路１０４はそれによりプロジェクタ制御ケーブル１４を経由してプロジェクタ２を制御する。

なお、プロジェクタ２が、投影制御装置１からのステータス取得要求がなくても、プロジェクタ制御ケーブル１４を介して自動的にステータス情報を投影制御装置１に送信する機能を持つようにしてもよい。この場合、自動的に送信されるステータス情報としては、例えば、ＬＥＤが何らかの原因で不点灯または所望の発光を行わなかった場合のエラー情報が挙げられる。投影制御装置１内のステータス処理回路１０６は、この機能により例えばＬＥＤの瞬停を検知することができる。ＬＥＤの瞬停が検知された場合、ステータス処理回路１０６は、フレームバッファ制御回路１０８に、送信済み画像データの再送を指示する。この指示を受けたフレームバッファ制御回路１０８はフレームバッファ１０７に保存された１フレーム分の送信済み画像データを再度プロジェクタ用ＤＶＩインターフェースケーブル１３を経由してプロジェクタ２に送信するよう制御する。

この画像データの再送と同時に、ステータス処理回路１０６は制御信号生成回路１０４に撮像の指示を行う。この指示により、制御信号生成回路１０４は撮像指示の信号を制御信号重畳回路１０５に送出する。制御信号重畳回路１０５はこの撮像指示の信号が重畳された撮像制御信号を生成し、カメラ用カメラリンクケーブル１５を通じてカメラ３に伝達し、それによりカメラ３は撮像動作を行う。

また、この撮像指示と同時に、制御信号生成回路１０４はカメラ３に対してカメラ制御ケーブル１６を介して本フレームの撮像（ＬＥＤの瞬停が検出された時点の撮像）が無効になった旨を通知する。この通知を受けたカメラ３は、撮像を止めるなりデータ転送を止めるなりして、本フレームにおける動作を中止する。システム制御装置４は、カメラ用カメラリンクケーブル１５、投影制御装置１、カメラリンクケーブル１２を経由してカメラ３からのデータが中断したことを受けて、本フレームが無効となったことを判断し、途中まで受取ったデータを破棄する。カメラ３において撮像データの転送を開始する以前に動作を中止した場合は、投影制御装置１は特に意識する必要なく、次にカメラ３からくる画像データを所望画像として取り込み、処理を行えばよい。

投影制御装置１はカメラ制御ケーブル１６を介してカメラ３に対して撮像制御情報を送信する。撮像情報は、例えば、フレームごとにシャッタをオンにするか否かの情報、フレーム内における垂直同期信号から計数されるシャッタ開始時間、シャッタが開く時間、フレーム内における垂直同期信号から計数されるシャッタ終了時間、ゲイン調整、絞り調整、ズーム、フォーカス、部分読み出しにおけるエリア指定、フレームレート、クロックレート、解像度、などの少なくともいずれかを含む。これら制御情報はフレーム単位で送信が可能であり、これを受取ったカメラ３はその制御情報により設定変更を行う。上記各制御項目は汎用カメラで設定可能な一般的な機能であるので、ここでは詳述を割愛する。なおカメラ３はこれら制御項目をカメラ制御ケーブル１６を経由して受取ることにより、それら項目の設定がなされる仕様となっている。

また、投影制御装置１はカメラ制御ケーブル１６を介して、撮像方向の調整、撮像角度の調整の指示を送信し、これを受けたカメラ３は自身の撮像方向や撮像角度を指示に従って変化させる。

撮像方向の調整に関して図１２を用いて説明する。図１２（ａ）はカメラ３が下方向を撮像している状態を示す。アクチュエータ２１２は、不図示のカメラ３の取付け支持部材とカメラ３との間の角度を変化させる機能を持つ。この角度を変化させることによりカメラ３の撮像方向が変化する。投影制御装置１よりカメラ制御ケーブル１６を介してカメラ３が撮像方向の調整を行う指示を受取った場合、カメラ３はアクチュエータ２１２を動作させてカメラ３の撮像角度を所望量変化させる。図１２（ｂ）は図１２（ａ）の状態からカメラ３の撮像角度を変化させた後の状態を示したものである。アクチュエータ２１２には、フレームごとに制御を行うためにピエゾアクチュエータなどの高速なものが使用される。

撮像角度の調整に関して図１２を用いて説明を行う。図１２（ｃ）はカメラ３が下方向を撮像している状態を示す。アクチュエータ２１３は、不図示のカメラ３の取付け支持部材とカメラ３との間の角度を変化させる機能を持つ。この角度を変化させることによりカメラ３の撮像方向は変化しないが、撮像方向周りの角度が変化する。投影制御装置１よりカメラ制御ケーブル１６を介してカメラ３が撮像角度の調整を行う指示を受取った場合、アクチュエータ２１３が動作してカメラ３の撮像角度を所望量変化させる。図１２（ｄ）は図１２（ｃ）の状態からカメラ３の撮像角度を変化させた後の状態を示したものである。アクチュエータ２１３はフレームごとに制御を行うためにピエゾアクチュエータなどの高速なものを使用する。

第２実施形態においてはプロジェクタ２の投影方向の調整と投影角度の調整に関して記述を行ったが、そのプロジェクタ２の制御と本実施形態のカメラ３の撮像方向の調整・撮像角度の調整を同期して行うという制御方法もとりうる。またプロジェクタ２とカメラ３が同一筺体上に固定して取り付けられた投影撮像装置２１全体の投影・撮像方向の調整、投影・撮像角度の調整を、前記同様の高速アクチュエータ手段にて調整を行う制御方法も取りうる。

投影制御装置１はカメラ制御ケーブル１６を経由してカメラ３に対してステータス情報の要求を行う。カメラ３は上記要求に呼応してカメラ３のステータス情報をカメラ制御ケーブル１６を介して投影制御装置１に送る。カメラ３のステータス情報とは、例えばシャッタイネーブル情報であり、投影制御装置１はこの情報がイネーブルの場合にのみシャッタ制御を、カメラ制御ケーブル１６を介してカメラ３に対して行う。この場合、ステータス処理回路１０６がカメラ３よりカメラ制御ケーブル１６を介してシャッタイネーブル情報を受信し、その情報によりシャッタ制御が可能か否かを判断する。そして、可能であると判断した場合に、ステータス処理回路１０６は、その情報を制御信号生成回路１０４に渡し、制御信号生成回路１０４はそれによりカメラ制御ケーブル１６を経由してカメラ３に送るシャッタ制御情報を許可する。

［第４実施形態］
図１３は、第４実施形態に係る三次元計測装置を使用した組立てロボットの構成を示す図である。上記第１〜第３実施形態で説明した投影撮像装置２１、通知ランプ３２、振動センサ３６、照明３７、作業台３１がやぐら３０によって支持されている。作業台３１には、ロボットアーム３３が配置されている。通知ランプ３２は機器異常や進捗状況を目視的に知らせる。ロボットアーム３３は、作業台３１上の任意の場所にて作業を行うことができ、作業台３１上にて部品３５の把持・組付けなどを行うロボットハンド３４を有する。振動センサ３６は投影撮像装置２１の近傍に設置され、照明３７は作業台３１上を照らす。以下、図１１を使用し第４実施形態を説明する。

システム制御装置４は上記各種機能を統合的に制御する機能を持つ。例えば、システム制御装置４は、投影撮像装置２１を制御して部品３５の三次元計測を行い、その情報によりロボットアーム３３、ロボットハンド３４を制御して部品３５の各々の把持や組付けを行う。また、システム制御装置４は、振動センサ３６の情報を取り込み、その情報により投影撮像装置２１の振動による計測誤差を補正する。また、システム制御装置４は、異常または進捗状況を把握し、必要に応じて通知ランプ３２を制御するとともに、照明３７に関する制御を行う。

システム制御装置４は、振動センサ３６が想定値を超える異常な振動を検知した場合は、計測の誤差補正が出来ないと判断し、再計測を行うよう投影撮像装置２１に指示する。また動作継続不能な状態を検知した場合は、通知ランプ３２を点灯させると共に、投影撮像装置２１、ロボットアーム３３、ロボットハンド３４の動作を停止する。動作継続不能な状態とは例えば、上記異常な振動が規定時間を超えて継続する場合であったり、必要な作業が終了したりした場合などである。この場合その状態内容に応じて通知ランプ３２の点灯色を変化させる制御も行う。

また、システム制御装置４は、作業台３１上での作業状況に応じて、照明３７の発光色、発光強度、発光方向の制御を行う。システム制御装置４は、振動センサ３６の情報をフレームに同期して取り込み、フレームごとに補正をかける機能を持つと共に、計測を行っているフレームにおいてのみ振動センサ３６の情報を取り込んだり補正演算を行ったりする機能も持つ。また、システム制御装置４は、振動センサ３６からの情報を解析し、その振動モードにより補正の方式を選択する機能を持つ。例えば、システム制御装置４は、
・振幅が小さく高周波の振動の場合には補正は行わず、
・長周期の振動の場合にはプロジェクタ２の投影方向または投影角度、あるいはカメラ３の撮像方向または撮像角度を制御することで補正を行い、
・中周期の振動の場合にはカメラ３からの撮像画像を演算することで補正を行う。

図１４は本実施形態の動作を行う投影制御装置１の内部機能と周辺ケーブルを示した図である。外部機器制御ケーブル１７は、通知ランプ３２、照明３７などを制御するためにそれらに接続される。通知ランプ３２、照明３７の制御信号は、投影制御情報と同様にＤＶＩインターフェースの映像信号を用いて取得されるので、システム制御装置４はこれらをフレーム単位で制御することができる。センサ情報入力ケーブル１８は、振動センサ３６の出力を投影制御装置１に伝送する。センサ情報処理回路１０９は、センサ情報入力ケーブル１８を経由して入力された振動センサ３６出力を、システム制御装置４が処理可能な信号形態に変換する。センサ情報出力ケーブル１９は、センサ情報処理回路１０９の出力をシステム制御装置４に伝送する。センサ情報処理回路１０９の入力がアナログ信号で、出力もアナログ信号の場合は、センサ情報処理回路１０９の機能はアナログ信号バッファまたは増幅器である。この場合、システム制御装置４は内蔵のＡ／Ｄ変換ボードにて同信号をデジタル信号に変換し、処理を行う。また、センサ情報処理回路１０９の入力がアナログ信号で出力がデジタル信号の場合は、センサ情報処理回路１０９の機能はＡ／Ｄ変換回路である。その場合、システム制御装置４は内蔵の汎用ポート入力ボードにてデジタル信号を取り込み、処理を行う。

以上のように、第４実施形態によれば、ロボット制御を行なうための三次元計測において、三次元計測に利用する画像データの取捨選択が適切に行われ、高精度な三次元計測を達成できる。また、映像信号には、投影制御情報、撮像制御情報に加えて、その他の周辺機器（通知ランプ３２っや照明３７）の制御信号を含めることができ、周辺機器のレームごとの制御、フレームに同期した制御を容易に実現できる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 投影装置を制御するための投影制御装置であって、
   複数の色成分で構成された入力映像信号を受信する受信手段と、
   前記入力映像信号の各フレームについて特定の色成分の情報を制御情報として抽出する抽出手段と、
   前記制御情報に基づいて、前記投影装置の動作を制御するための投影制御情報と、前記投影装置以外の外部装置を制御するための外部装置制御情報と、をフレームごとに生成する生成手段と、
   前記投影制御情報を前記投影装置に送信し、前記外部装置制御情報を前記外部装置に送信する送信手段と、を備えることを特徴とする投影制御装置。
2. 前記外部装置は撮像装置であり、
   前記外部装置制御情報は、前記制御情報に基づいて、前記撮像装置の撮像動作を制御するための撮像制御情報を前記外部装置制御情報として前記フレームごとに生成し、
   前記送信手段は、前記撮像制御情報を前記撮像装置に送信する、ことを特徴とする請求項１に記載の投影制御装置。
3. 前記撮像制御情報は、前記撮像装置のシャッタを制御する信号を含むことを特徴とする請求項２に記載の投影制御装置。
4. 前記投影装置は、所定の指示信号にしたがって予め定められたパターンを投影することを特徴とする請求項１乃至３のいずれか１項に記載の投影制御装置。
5. 前記送信手段は、無線通信により前記投影制御情報を前記投影装置に供給することを特徴とする請求項１乃至４のいずれか１項に記載の投影制御装置。
6. 前記投影制御情報は、前記投影装置が有する光源の点灯を制御するための信号を含むことを特徴とする請求項１乃至５のいずれか１項に記載の投影制御装置。
7. 前記投影装置からステータス情報を受信する手段を更に備え、
   前記生成手段は、前記ステータス情報に基づいて投影制御情報を変更することを特徴とする請求項１乃至６のいずれか１項に記載の投影制御装置。
8. 投影装置を制御するための投影制御装置による投影制御方法であって、
   受信手段が、複数の色成分で構成された入力映像信号を受信する工程と、
   抽出手段が、前記入力映像信号の各フレームについて特定の色成分の情報を制御情報として抽出する工程と、
   生成手段が、前記制御情報に基づいて、前記投影装置の動作を制御するための投影制御情報と、前記投影装置以外の外部装置を制御するための外部装置制御情報と、をフレームごとに生成する生成工程と、
   送信手段が、前記投影制御情報を前記投影装置に送信し、前記外部装置制御情報を前記外部装置に送信する工程と、を有することを特徴とする投影制御方法。
9. 請求項８に記載された投影制御方法の各工程をコンピュータに実行させるためのプログラム。

Images