JP4905059B2 - 指示システム、指示プログラム及び指示装置 - Google Patents

Description

本発明は、指示システム、指示プログラム及び指示装置に関する。

会議システム等においては、端末側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、端末側から実物体側への指示を行うことができる指示システムとしては、例えば、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を端末に送信すると共に、端末において撮像画像に基づいて指示された注釈画像を実物体側でプロジェクタにより対象物へ投影する技術が知られている（例えば、特許文献１参照）。
米国特許公開２００４／００７０６７４号公報

本発明は、様々な反射特性を持った対象物に対して、よりユーザが所望した色に近い色で注釈画像を投影する指示システム、指示プログラム及び指示装置を提供することを目的とする。

請求項１に記載の発明は、対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段を有し、制御手段は、指示の後に、注釈画像が投影される前の撮像画像から切り出された、注釈画像が投影される部分の対象物表面の反射特性を測定し、端末で指示された注釈画像の色と対象物表面の反射特性との比較結果に基づいて対象物に投影する注釈画像の色を変換して対象物に投影させるように制御することを特徴とする指示システムである。

また、請求項２に記載の発明は、請求項１に記載の発明において、制御手段が、注釈画像が投影される部分における対象物表面の反射特性に応じて、端末で指示された注釈画像の色と投影後の注釈画像の色とが同じ色となって投影されるように、投影手段を制御することを特徴としている。

また、請求項３に記載の発明は、請求項１又は２に記載の発明において、制御手段が、注釈画像が投影される部分における対象物表面の反射特性に応じて、対象物表面の色と投影後の注釈画像の色との色距離がもっとも大きくなるような注釈画像を投影させるように、投影手段を制御することを特徴としている。

また、請求項４に記載の発明は、コンピュータを、対象物を撮像する撮像手段で撮像された撮像画像を遠隔端末に送信すると共に、該遠隔端末でなされた撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段として機能させ、制御手段は、指示の後に、注釈画像が投影される前の撮影画像から切り出された、注釈画像が投影される部分の対象物表面の反射特性を測定し、端末で指示された注釈画像の色と対象物表面の反射特性の比較結果に基づいて対象物に投影する注釈画像の色を変換して投影させるように制御することを特徴とする指示プログラムである。

また、請求項５に記載の発明は、対象物を撮像する撮像手段と、撮像手段の撮像領域内にその撮像画像に基づいてなされた指示に応じた注釈を表す注釈画像を投影する投影手段と、指示の後に、注釈画像が投影される前の撮像画像から切り出された、注釈画像が投影される部分の対象物表面の反射特性を測定し、端末で指示された注釈画像の色と対象物表面の反射特性との比較結果に基づいて対象物に投影する注釈画像の色を変換して対象物に投影させるように制御する制御手段と、を有することを特徴とする指示装置である。

請求項１に係る発明によれば、様々な反射特性を持った対象物に対して、よりユーザが所望する色に近い色で注釈画像を投影できる。

請求項２に係る発明によれば、対象物表面の色に応じて、端末で指示された注釈画像の色が理解されやすくなるように制御できる。

請求項３に係る発明によれば、対象物表面の色に応じて、明瞭な注釈画像を投影できるように制御できる。

請求項４に係る発明によれば、様々な反射特性を持った対象物に対して、よりユーザが所望する色に近い色で注釈画像を投影できる。

請求項５に係る発明によれば、様々な反射特性を持った対象物に対して、よりユーザが所望する色に近い色で注釈画像を投影できる。

以下、本発明を実施するための最良の形態について説明する。図１は、本発明の指示システムの一実施形態を示す構成図である。この指示システムは、図１に示すように、被写体側装置１０及び端末１００等を備えており、被写体側装置１０と端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、端末１００を一台のみ示しているが、複数の端末１００をネットワーク３００を通じて被写体側装置１０の後述するサーバ５０へ接続可能である。

被写体側装置１０は、撮像手段としてのビデオカメラ２０、投影手段としてのプロジェクタ４０、制御手段としてのサーバ５０、ハーフミラー６０及び相対位置変更手段としての回転ステージ７０等から構成されている。ビデオカメラ２０は、例えばＣＣＤカメラで構成され、回転ステージ７０上に置かれた被写体（対象物）２００を撮像すると共に、その撮像画像の情報はサーバ５０に取り込まれる。尚、ビデオカメラ２０は、ハーフミラー６０を透過した画像を撮像する。

プロジェクタ４０は、液晶プロジェクタ等で構成され、端末１００でなされた撮像画像に基づく指示に応じた注釈画像（以下、アノテーション画像という。）２０１を被写体２００に投影する。またプロジェクタ４０は、その光学系が、ハーフミラー６０によりビデオカメラ２０と光学的な主点が略一致するように配置されている。このプロジェクタ４０は、サーバ５０から送信されたアノテーション画像をその光学系を通じハーフミラー６０を介して被写体２００へ投影する。プロジェクタ４０からのアノテーション画像は、ハーフミラー６０で反射して被写体２００へ投影される。尚、アノテーション画像には、線、文字、図形等のあらゆる形態の画像が含まれる。

回転ステージ７０は、サーバ５０により制御され、その上面に置かれた被写体２００を正方向及び逆方向のいずれか１方向以上の方向に回転（以下、回転動作と言う。）させることにより、ビデオカメラ２０及びプロジェクタ４０に対する被写体２００の位置を変更する。サーバ５０は、ビデオカメラ２０、プロジェクタ４０、回転ステージ７０の動作を制御すると共に、ネットワーク３００を介して端末１００との間で各種情報を授受する。

また、サーバ５０は、ビデオカメラ２０が撮像した撮像画像を端末１００へ送信すると共に、端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像をプロジェクタ４０により被写体２００へ投影させる。また、サーバ５０は、回転ステージ７０による被写体２００の回転動作（移動）に合わせてプロジェクタ４０の被写体２００に対するアノテーション画像の投影位置を変更する制御を行う。

端末１００は、液晶表示装置及びＣＲＴ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等から構成されている。表示装置１１０は、その表示画面に被写体側装置１０から送信される画像を表示する。ポインティングデバイス１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、被写体２００へ投影するアノテーション画像に関する指示を形成すると共に、回転ステージ７０の回転動作による被写体２００の回転動作を指示するのに用いられる。

次に、上記構成の指示システムの動作について図２ないし図４を参照して説明する。図２は被写体側装置１０のサーバ５０における処理の一例を示すフローチャートであり、図３は端末１００のコンピュータ１２０における像形成における処理の一例を示すフローチャート、図４は端末１００側の操作の一例を説明するための図である。

図２に示すように、被写体側装置１０側のサーバ５０では、ビデオカメラ２０の撮像画像の取り込みを開始し（ステップＳ１１）、端末１００のコンピュータ１２０から接続要求があるかを判断する（ステップＳ１２）。そして、サーバ５０は、コンピュータ１２０からの接続要求がある場合には、ビデオカメラ２０の撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０へ伝送する（ステップＳ１３）。

次いで、サーバ５０は、コンピュータ１２０から制御信号の送信があるか否かを判断する（ステップＳ１４）。この制御信号は、アノテーション画像の描画に関する情報である描画信号及び回転ステージ７０を回転させるための位置制御信号である。サーバ５０は、上記の制御信号を受信した場合には、その制御信号の内容に応じて制御信号処理を行う（ステップＳ１５）。

一方、サーバ５０は、上記の制御信号を受信しない場合には、コンピュータ１２０から切断要求があるかを判断し（ステップＳ１６）、切断要求が無い場合には、ステップＳ１３に戻って新たな撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０へ伝送し、切断要求があった場合には、ビデオカメラ２０の撮像画像の伝送を停止する（ステップＳ１７）。そして、サーバ５０は、処理の終了要求があるかを判断し（ステップＳ１８）、終了要求がない場合には、ステップＳ１２に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。

次に、端末１００の動作について説明する。先ず、図３に示すように、端末１００のコンピュータ１２０は、サーバ５０に対して接続要求を行う（ステップＳ２１）。次いで、コンピュータ１２０は、接続が完了した後、例えば、図４に示すように、被写体側のサーバ５０から伝送される撮像画像を表示装置１１０の表示画面１１１に表示する（ステップＳ２２）。

次いで、コンピュータ１２０は、表示装置１１０の表示画面１１１に表示した撮像画像に対する操作者からの注目領域の指示があるかを判断し（ステップＳ２３）、注目領域の指示がある場合には、指示に応じた処理を行う（ステップＳ２６）。具体的には、端末１００の操作者は、図４に示すような表示装置１１０の表示画面１１１の画像を見ながら、表示されている画像にアノテーション画像を投影したい領域がある場合には、ポインティングデバイス１３０を操作して表示画面１１１上のポインタＰｔを移動させながら注目領域を指示する。注目領域は、アノテーション画像ＤＲを投影する投影位置を規定する領域である。このとき、同時に、注目領域に投影するアノテーション画像に関する情報を指示する。

例えば、ポインティングデバイス１３０を用いて表示画面１１１上に形成された各種ボタンＢＴ等を操作することにより、描画された矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報、ポインティングデバイス１３０の動作を反映するポインタ自体等である。そして、コンピュータ１２０は、ステップＳ２６で特定された各種情報を描画情報としてサーバ５０へ伝送する（ステップＳ２７）。

次いで、コンピュータ１２０は、端末１００でなされたビデオカメラ２０の撮像画像に基づく操作者による指示が完了したかを判断し、（ステップＳ２８）、終了した場合には、サーバ５０に対して切断要求を行い（ステップＳ２９）、処理を終了する。端末１００の操作者による指示操作が終了していない場合には、ステップＳ２２に戻って上記の処理を繰り返す。

ここで、端末１００の操作者が被写体２００を回転させたい場合には、操作者は、例えば、図４に示すような表示画面１１１の画像を見ながら、画像内の被写体２００においてアノテーション画像を投影したい領域が映し出される、あるいは、被写体２００に対する視点が最適になるように、表示画面１１１に形成された、回転ステージ７０を回転させるための回転用ボタンＲ１，Ｒ２を操作して、回転ステージ７０の回転方向及び回転量を指示する。そして、コンピュータ１２０は、ステップＳ２３において、注目領域の指示がない（アノテーション画像に関する指示がない）場合には、端末１００の操作者により、被写体２００の回転の指示がされると判断して被写体２００の回転に関する処理をする（ステップＳ２４）。

次いで、コンピュータ１２０は、被写体２００の回転に関する処理により得られた回転量情報（移動量情報）等を被写体側のサーバ５０へ伝送する（ステップＳ２５）。これにより、回転ステージ７０が回転されて被写体２００の回転位置が変更し、端末１００の表示装置１１０には新たな撮像画像が表示される（ステップＳ２２）。

次に、被写体表面の反射特性によってアノテーション画像を変換して投影する場合の動作について説明する。図５は指示システムのアノテーション画像を色変換して投影するときの処理フローチャートである。色は、例えば色の三原色Ｒ（赤）、Ｇ（緑）、Ｂ（青）で表現される。「物の色」は光源から発した光が「物」の表面で反射して人間の目に入った光に対する人間の反応である。したがって、「色」は「光」であり、「物の色」は物の表面の反射特性であり、これが物の材質感の基本である。

まず、ユーザは、端末１００上でポインティングデバイス１３０等を用いて色Ａでアノテーション画像の描画を指示する。図６（ａ）は端末上で指定されたアノテーション画像を説明するための図、同図（ｂ）は端末上で指定されたアノテーション画像の色成分（色Ａ）を説明するための図である。図６（ｂ）に示すように、色Ａで指示されたアノテーション画像の色成分は、Ｒ＝０．２、Ｇ＝０．５、Ｂ＝０．６で表現されている。

サーバ５０は、端末１００により色Ａでアノテーション画像の描画が行われたと判断した場合（ステップＳ３１）、アノテーション画像が投影される部分の被写体表面の反射特性、すなわち、アノテーション画像が投影される部分のビデオカメラ２０の映像上の色Ｂを測定する（ステップＳ３２）。図７（ａ）はアノテーション画像が投影される部分の被写体表面を説明するための図、同図（ｂ）はアノテーション画像が投影される部分の映像上の被写体の色成分（色Ｂ）を説明するための図である。図７（ｂ）に示すように、アノテーション画像が投影される部分のビデオカメラ２０の映像上の被写体の色成分はＲ＝０．１、Ｇ＝０．２、Ｂ＝０．３で表現されている。なお、撮像画像上でどの部分がアノテーション画像にあたるかは、描画の段階で既知のため切り出せる。このため、ビデオカメラ２０によって撮影された撮像画像の部分から、アノテーション画像の部分を切り出せる。そして、サーバ５０は、切り出されたアノテーション画像の色Ｂを測定する。

なお、本実施形態では、計算量を少なくするため、色の変換形態として、アノテーション画像が投影される部分の被写体の反射特性を測定しているが、全ての被写体の反射特性を計算してもよい。撮像画像上でどの部分がアノテーション画像に当たるかは、描画の段階で既知のため、色Ａでアノテーション画像を投影する予定の場所の色Ｂを測定しておくことにより、撮像画像上のアノテーション画像が投影される部分を切り出せる。

次に、サーバ５０は、プロジェクタ４０により、端末１００で指示された色Ａでアノテーション画像を被写体２００に投影する（ステップＳ３３）。しかし、被写体２００表面の反射特性により、実際にはアノテーション画像２０１は色Ａとは異なる色で投影されているように見える。そこで、サーバ５０は、アノテーション画像２０１のビデオカメラ２０の映像上の色Ｃを測定する（ステップＳ３４）。

図８（ａ）は、ビデオカメラ２０の映像上のアノテーション画像を説明するための図、同図（ｂ）はビデオカメラ２０の映像上でのアノテーション画像の色成分（色Ｃ）を説明するための図である。図８（ｂ）に示すように、映像上のアノテーション画像の色成分（色Ｃ）は、Ｒ＝０．２、Ｇ＝０．４、Ｂ＝０．５で表現されている。なお、撮像画像上でどの部分がアノテーション画像にあたるかは、描画の段階で既知のため切り出せる。このため、ビデオカメラ２０によって撮影された撮像画像の部分から、アノテーション画像の部分を切り出せる。そして、サーバ５０は、切り出されたアノテーション画像の色Ｃを測定する。

サーバ５０は、遠隔地のユーザが端末１００上で指定したアノテーション画像の色Ａとビデオカメラ２０の映像上でのアノテーション画像の色Ｃが異なるかどうかを判断する（ステップＳ３５）。サーバ５０は、色Ａと色ＣをＲＧＢ色空間の色情報に分解して比較する。そして、サーバ５０は、端末１００で指示されたアノテーション画像の色Ａとビデオカメラ２０の映像上でのアノテーション画像の色Ｃが異なると判断した場合（ステップＳ３５で「ｙｅｓ」）、端末１００で指示されたアノテーション画像の色Ａと被写体表面の反射特性（色Ｃ）の比較結果に基づいて被写体２００に投影するアノテーション画像の色を変換する。すなわち、サーバ５０は、色Ａと色Ｃの違いをもとに、補正した色Ｄを計算する。色Ｄの計算式を以下の式（１）に示す。

図９は、補正されたアノテーション画像の色成分（色Ｄ）を説明するための図である。図９に示すように、補正されたアノテーション画像の色成分（色Ｄ）は、Ｒ＝０．５、Ｇ＝０．７５、Ｂ＝０．９で表現されている。そして、サーバ５０は、プロジェクタ４０で補正した色Ｄを用いてアノテーション画像を被写体２００へ投影しなおし（ステップＳ３６）、色補正処理を終了する場合（ステップＳ３７で「ｙｅｓ」）、全体の処理を終了する。指示システム１によって、被写体表面の反射係数を測定し、被写体表面の反射特性に合わせて投影するアノテーション画像の色を調節するため、様々な反射特性を持った表面に対し、実際に指定した色になるように投影する。

図１０は、指示システムがアノテーション画像を色変換して投影するときの他の処理フローチャートである。なお、図１０に示す例では、図５と比べてステップＳ４３の処理が加えられているがその他の処理は図５に示した処理と同じである。ステップＳ４３で、サーバ５０は、端末１００で、色Ａで描画の終了のマウスアップが行われた場合に、プロジェクタ４０により色Ａでアノテーション画像を投影する。このようにして、端末側の描画のマウスダウン／アップのタイミングで、ステップＳ４４以降の処理を行うことにより、処理が簡素化する。

なお、端末１００で指示されたアノテーション画像の色と被写体表面の反射特性を比較して色補正をする際に対応する画素同士を比較する色の変換形態によりアノテーション画像の色を変換する場合、最小誤差２乗法などを用いることにより、近接する画素との色の差ができるだけ小さくなるようにする。また、サーバ５０は、端末１００で指示されたアノテーション画像の色と被写体表面の反射特性を比較してアノテーション画像の色補正をする際に、それぞれのアノテーション画像を構成する画素値の平均値を計算してアノテーション画像全体で色を比較してアノテーション画像の色を変換する色の変換形態としてもよい。

また、上記では、色の比較、補正において、ＲＧＢ表色系を用いた例について説明したが、ＹＵＶ、Ｌａｂなどの他の表色系を用いてもよい。なお、ＹＵＶ表色系ではＹは光度、Ｕは青の色差、Ｖは赤の色差を表している。また、Ｌａｂ表色系ではＬは明度、ａは緑とマゼンタの２色の混合比、ｂは青と黄色の２色の混合比を表している。

また、上記ステップＳ３６の色補正で、全く同じ色にするのは不可能な場合(例えば色Ｄで、１．０を超えてしまう場合)、色(ＹＵＶ表色系でＵＶ)を優先してあわせるとよい。このとき、明度（ＹＵＶ表色系でＹ)を可能な限り最大にするように調節する。

また、ステップＳ３２、Ｓ３３で、映像上の色を測定する場合、ビデオカメラ２０のダイナミックレンジを超えている場合(例えば色Ｂ，色Ｃで、１．０を超えてしまう場合)は、ビデオカメラ２０の露出を制御する。このとき、ステップＳ３６で、上記のように、色優先で補正すると良い。また、露出パラメータｅと、ビデオカメラ２０の特性関数fをもとに、ビデオカメラ２０と露出パラメータを補正した色にして以下の計算式（２）を用いて計算する。ここで、関数ｆはあらかじめ測定されているものである。

以上のように、本実施形態によれば、撮影画像に基づいて被写体表面の反射特性を測定し、測定した被写体表面の反射特性に基づいてアノテーション画像の色を変換して被写体に投影させることにより、様々な反射特性を持った被写体に対して端末で指定した色と同じ色のアノテーション画像が投影される。また、アノテーションが投影される部分だけの被写体表面の反射特性を測定すればよいため、被写体表面全体の反射特性を測定する必要がなく、少ない計算量で端末で指定した色と同じ色のアノテーション画像が投影される。また、被写体表面の反射特性を測定するためにアノテーション画像を用いるため、標準光源などのハードウェアを追加する必要はない。また、被写体表面の反射特性のみをもとに投影するアノテーション画像の色を補正する場合、プロジェクタと被写体表面との距離を測定する必要があるが、本指示システム１では一度測定してフィードバックするためプロジェクタ４０と被写体表面との距離を測定する必要はない。さらに、本実施形態ではアノテーションを行う度に被写体表面の反射特性を測定して色補正を行うため、被写体となる物体が異なるものであったり、位置がよく動かされるものであったりする場合にも、適切な色補正が行われる。

上記実施形態では、アノテーション画像ＤＬとして、図４に示すように線や図形を用いた場合について説明したが、これに限定されるわけではなく、例えば、アノテーション画像ＤＲ_Ｌとして、図１１に示すように、文字の形態の画像としてもよい。

上記実施形態では、アノテーション画像の色の変換形態について種々の形態を例示したが、色の変換形態を端末から指示するようにしてもよい。すなわち、端末で指示された色の変換形態に応じてサーバ５０の制御の態様を変更するようにするようにしてもよい。例えば、図１２に示すように、「対応する画像を比較」する旨のラジオボタンＲＢＴが選択された場合には、サーバ５０の制御の態様は対応する画素同士を比較する色の変換形態によりアノテーション画像の色を変換する。

上記実施形態では、種々の色の変換形態により、アノテーション画像の色の変換を行ったが、本発明は上記実施形態に限定されるものではなく、アノテーション画像が投影される部分における対象物表面の色に対して、色距離を大きくしたアノテーション画像の色を端末に表示するようにしてもよい。本発明で言う色距離とは、色と色の間の距離を示すもので、具体的には補色、明度差、彩度差、色温度差等がある。色距離がもっとも大きくなる色の例として補色を採用した場合には、図１３に示すように、対象物の色が「青」である場合には、アノテーション画像の色を「黄」にすることが望ましい旨を表示させるようにしてもよい。明度差の大きさは、例えば補色を用いるなど色彩工学における明瞭性の原理等に従うことが望ましい。他、色距離の計算方法に関しては周知の技術が採用できる。

上記実施形態では、サーバ５０がアノテーション画像の色を補正する場合について説明したが、これに限定されるわけではなく、端末でなされた色変換機能の起動の有無に関する指示、例えば図１４に示すチェックボックスＣＢに対するチェックボックスの有無等に応じて、アノテーション画像の色の変換に関する制御が稼動したり、静止したりするようにしてもよい。

上記実施形態では、投影手段としてプロジェクタを用いた場合について説明したが、これに限定されるわけではなく、例えば、レーザ光等の光を被写体に照射して画像を形成することも可能である。

上記実施形態では、相対位置変更手段として回転ステージを例に挙げて説明したが、これに限定されるわけではなく、例えば、ロボット等を相対位置変更手段として使用することも可能であるし、上記実施形態では、被写体を移動させる場合について説明したが、例えば、撮像手段としてのビデオカメラ及び投影手段としてのプロジェクタを移動させる構成とすることも可能である。

上記実施形態では、回転ステージ７０の回転を指示するために表示画面１１１上に回転用ボタンＲ１，Ｒ２を形成した場合について説明したが、これに限定されるわけではなく、キーボードを用いてもよいし、種々の方法を採用してもよい。

上記実施形態では、端末１００がサーバ５０にネットワーク３００により接続されている場合について説明したが、これに限定されるわけではなく、他の手段により端末１００をサーバ５０に接続してもよく、また、端末１００を被写体２００の側に配置してもよい。

なお、本発明による指示プログラムは、指示システム１によって実現される。また、サーバ５０やコンピュータ１２０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等を用いて構成されている。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

本発明の指示システムの一実施形態を示す構成図である。 被写体側装置のサーバにおける処理の一例を示すフローチャートである。 端末のコンピュータにおける像形成における処理の一例を示すフローチャートである。 端末側の操作の一例を説明するための図である。 指示システムのアノテーション画像を色変換して投影するときの処理フローチャートである。 （ａ）は端末上で指定されたアノテーション画像を説明するための図、（ｂ）は端末上で指定されたアノテーション画像の色成分（色Ａ）を説明するための図である。 （ａ）はアノテーション画像が投影される部分の被写体表面を説明するための図、（ｂ）はアノテーション画像が投影される部分の映像上の色成分（色Ｂ）を説明するための図である。 （ａ）は、映像上のアノテーション画像を説明するための図、（ｂ）は映像上でのアノテーション画像の色成分（色Ｃ）を説明するための図である。 補正されたアノテーション画像の色成分（色Ｄ）を説明するための図である。 指示システムがアノテーション画像を色変換して投影するときの他の処理フローチャートである。 端末側の操作の一例を説明するための図である。 端末側の操作の一例を説明するための図である。 端末側の操作の一例を説明するための図である。 端末側の操作の一例を説明するための図である。

符号の説明

１ 指示システム
１０ 被写体側装置
２０ ビデオカメラ
４０ プロジェクタ
５０ サーバ
７０ 回転ステージ
１００ 端末
１２０ コンピュータ
２００ 被写体

Claims (5)

1. 対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る制御手段を有し、
   前記制御手段は、前記指示の後に、前記注釈画像が投影される前の撮像画像から切り出された、前記注釈画像が投影される部分の前記対象物表面の反射特性を測定し、前記端末で指示された注釈画像の色と前記対象物表面の反射特性との比較結果に基づいて前記対象物に投影する注釈画像の色を変換して前記対象物に投影させるように制御することを特徴とする指示システム。
2. 前記制御手段は、前記注釈画像が投影される部分における対象物表面の反射特性に応じて、端末で指示された注釈画像の色と投影後の注釈画像の色とが同じ色となって投影されるように、前記投影手段を制御することを特徴とする請求項１に記載の指示システム。
3. 前記制御手段は、前記注釈画像が投影される部分における対象物表面の反射特性に応じて、対象物表面の色と投影後の注釈画像の色との色距離がもっとも大きくなるような注釈画像を投影させるように、前記投影手段を制御することを特徴とする請求項１又は２に記載の指示システム。
4. コンピュータを、
   対象物を撮像する撮像手段で撮像された撮像画像を遠隔端末に送信すると共に、該遠隔端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る制御手段として機能させ、
   前記制御手段は、前記指示の後に、前記注釈画像が投影される前の撮影画像から切り出された、前記注釈画像が投影される部分の前記対象物表面の反射特性を測定し、前記端末で指示された注釈画像の色と前記対象物表面の反射特性の比較結果に基づいて前記対象物に投影する注釈画像の色を変換して投影させるように制御することを特徴とする指示プログラム。
5. 対象物を撮像する撮像手段と、
   前記撮像手段の撮像領域内にその撮像画像に基づいてなされた指示に応じた注釈を表す注釈画像を投影する投影手段と、
   前記指示の後に、前記注釈画像が投影される前の撮像画像から切り出された、前記注釈画像が投影される部分の前記対象物表面の反射特性を測定し、前記端末で指示された注釈画像の色と前記対象物表面の反射特性との比較結果に基づいて前記対象物に投影する注釈画像の色を変換して前記対象物に投影させるように制御する制御手段と、
   を有することを特徴とする指示装置。

Images