JP4816704B2 - 指示システム、指示プログラム - Google Patents

Description

本発明は、指示システム、指示プログラムに関する。

会議システム等においては、端末側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、端末側から実物体側への指示を行うことができる会議システムとしては、例えば、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を端末に送信すると共に、端末において撮像画像に基づいて操作者によって指示された注釈画像を実物体側でプロジェクタにより対象物へ投影する指示システムが知られている。

また、注釈画像等の画像の視認性を改善する技術も知られている。例えば、表示装置に表示される画像の中で視認性が悪い部分が含まれている場合に、その部分を抽出し、視認性を改善してから別の表示装置に表示する技術が知られている（例えば、特許文献１参照）。また、入力された指示に係る注釈画像が小さい場合に、注釈画像を画面上に表示させないようにして視認性の低減を抑える技術も知られている（例えば、特許文献２参照）。

さらに、ポインティングデバイスにダイヤル型の操作部を構成し、マウスポインタが指示する部分を、その操作部を回転させることにより、拡大・縮小させ、ポインタが指示する部分の視認性を向上させる技術も知られている（例えば、特許文献３参照）。さらに、遠隔地の端末と情報の送受を行う端末において、一方の端末で書き込んだ画像が他方の端末において表示枠を超えて表示される事象に対し、解像度の情報を送受することで端末間の調整を図り、書き込んだ画像の視認性の低減を抑える技術も知られている（例えば、特許文献４参照）。

特開２００６−７２８７９号公報 特開２００１−３０７１１７号公報 特開平１０−２０７６８１号公報 特開２００６−２０９７４７号公報

本発明は、実物体側に投影される注釈画像の視認性の低減を抑制し得る指示システム及び指示プログラムを提供することを目的とする。

請求項１に記載の発明は、対象物を含む対象領域内を撮像手段により撮像させて、その撮像画像を端末に送信すると共に、端末で表示されたその撮像画像に対して該端末でなされた、注釈を表す注釈画像の描画に関する描画指示を受信して、該描画指示に応じた注釈画像を投影手段により対象領域内に投影させるサーバを有する指示システムであって、サーバは、注釈画像の面積が予め設定された閾値以下であるか否かによって、該注釈画像の視認性が低減しているか否かを判定する判定手段と、注釈画像の面積が予め設定された閾値以下であることによって、判定手段によって該注釈画像の視認性が低減していると判定された場合に、注釈画像の大きさを拡大して投影するか、又は注釈画像を動画により投影するかのいずれかの投影態様を特定する特定手段と、特定手段によって特定された投影態様を端末に通知する通知手段と、端末に通知された投影態様に対して該端末でなされた、該投影態様に変更する旨の変更指示を受信した場合に、変更指示に応じた注釈画像の投影を投影手段に投影させる投影制御手段と、を具備する指示システムである。

請求項２に記載の発明は、請求項１に記載の発明において、判定手段は、さらに、注釈画像の形状が円又は矩形であるか否かを判定し、特定手段は、注釈画像の面積が予め設定された閾値以下であり、かつ、注釈画像の形状が円又は矩形であることによって、判定手段によって該注釈画像の視認性が低減していると判定された場合に、注釈画像を動画により投影する投影態様を特定することを特徴としている。

請求項３に記載の発明は、請求項１又は２に記載の発明において、投影制御手段は、端末に通知された投影態様に対して該端末でなされた、該投影態様に変更しない旨の指示を受信した場合に、該指示に応じた注釈画像の投影を投影手段に投影させることを中止させることを特徴としている。

請求項４に記載の発明は、対象物を含む対象領域内を撮像手段により撮像させて、その撮像画像を端末に送信すると共に、端末で表示された撮像画像に対して該端末でなされた、注釈を表す注釈画像の描画に関する描画指示を受信して、該描画指示に応じた注釈画像を投影手段により対象領域内に投影させることをサーバ用のコンピュータに実行させる指示プログラムであって、サーバ用のコンピュータを、注釈画像の面積が予め設定された閾値以下であるか否かによって、該注釈画像の視認性が低減しているか否かを判定する判定手段、注釈画像の面積が予め設定された閾値以下であることによって、判定手段によって該注釈画像の視認性が低減していると判定された場合に、注釈画像の大きさを拡大して投影するか、又は注釈画像を動画により投影するかのいずれかの投影態様を特定する特定手段、特定手段によって特定された投影態様を端末に通知する通知手段、端末に通知された投影態様に対して該端末でなされた、該投影態様に変更する旨の変更指示を受信した場合に、変更指示に応じた注釈画像の投影を投影手段に投影させる投影制御手段、として機能させるための指示プログラムである。

請求項１に記載の発明によれば、実物体側に投影される注釈画像の視認性の低減を抑制することができる。

請求項２に記載の発明によれば、注釈画像が点や矩形であって、かつ、小さいことにより視認性が低減している場合、その注釈画像を注視させる動画が投影される。

請求項３に記載の発明によれば、視認性の低減を抑える投影態様に基づく注釈画像の投影は、端末からの指示により選択的になされる。

請求項４に記載の発明によれば、実物体側に投影される注釈画像の視認性の低減を抑制することができる。

以下、本発明の実施形態について図面を参照して説明する。

（第１実施形態）
図１は、本発明の指示システムの実施形態を示す構成図、図２は、サーバ５０の要部構成を例示するブロック図、図３は、サーバ５０のハードウェア構成を例示するブロック図である。

この指示システムは、図１に示すように、対象物側装置１０及び端末１００等を備えており、対象物側装置１０と端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、端末１００を一台のみ示しているが、複数の端末１００、１０１等をネットワーク３００を通じて対象物側装置１０の後述するサーバ５０へ接続可能である。

対象物側装置１０は、撮像手段としてのビデオカメラ２０、投影手段としてのプロジェクタ４０、制御手段または指示装置としてのサーバ５０、ハーフミラー６５等を含んで構成される。

ビデオカメラ２０は、例えばＣＣＤカメラ等で構成され、テーブル７０上に置かれた対象物２００を撮像すると共に、その撮像画像の情報はサーバ５０に取り込まれる。尚、ビデオカメラ２０は、ハーフミラー６５を透過した画像を撮像する。

プロジェクタ４０は、液晶プロジェクタ等で構成され、端末１００でなされた撮像画像に基づく指示に応じた注釈画像（以下、アノテーション画像という。）ＡＮを対象物２００に投影する。また、プロジェクタ４０は、その光学系が、ハーフミラー６５によりビデオカメラ２０と光学的な主点が略一致するように配置されている。このプロジェクタ４０は、サーバ５０から送信されたアノテーション画像ＡＮをその光学系を通じハーフミラー６５を介して対象物２００へ投影する。プロジェクタ４０からのアノテーション画像ＡＮは、ハーフミラー６５で反射して対象物２００へ投影される。尚、アノテーション画像ＡＮには、線、文字、図形等のあらゆる形態の画像が含まれる。また、ハーフミラーの反射率は０．３％程度であることが望ましい。

サーバ５０は、ビデオカメラ２０、プロジェクタ４０の動作を制御すると共に、ネットワーク３００を介して端末１００との間で各種情報を送受する。

より詳しくは、図２に示すように、ビデオカメラ２０を制御する撮像制御部５１と、ビデオカメラ２０によって撮像された撮像画像を端末１００に送信する画像送信部５２とを備える。また、サーバ５０は、端末１００からの描画指示等、各種指示を受信する指示受信部５３と、プロジェクタ４０を制御し、後述する投影態様通知部５８で通知された投影態様に基づく指示に応じたアノテーション画像ＡＮを投影させる投影制御部５４とを備える。さらに、投影されたアノテーション画像ＡＮの視認性を判定する視認性判定部５５、アノテーション画像ＡＮの投影態様を記憶する投影態様記憶部５７から、視認性判定部５５による判定結果に基づいて、アノテーション画像ＡＮの好適な投影態様を特定する好適投影態様特定部５６、好適投影態様特定部５６により特定された投影態様を通知する投影態様通知部５８とを備える。

したがって、サーバ５０は、ビデオカメラ２０が撮像した撮像画像を端末１００へ送信すると共に、端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像ＡＮをプロジェクタ４０により対象物２００へ投影させる。そして、そのアノテーション画像ＡＮの視認性が確保されていない場合には、好適な投影態様に変更してアノテーション画像ＡＮを投影させる。

尚、サーバ５０は、図３に示すように、ＣＰＵ５０ａ、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic RAM)やＳＤＲＡＭ（Synchronous DRAM）、ＮＶＲＡＭ（Non Volatile RAM）等のＲＡＭ５０ｂ、フラッシュメモリ等のＲＯＭ(Read Only Memory)５０ｃ及び入出力を制御するＩ／Ｏインタフェース５０ｄやＬＡＮインタフェース５０ｅ等がバス５０ｆにより接続されたハードウェア構成により実現される。

したがって、ＣＰＵ５０ａがＲＡＭ５０ｂやＲＯＭ５０ｃ等の記憶装置に格納された所要のプログラムを読み込み、当該プログラムに従った演算を行うことにより、上述したサーバ５０の各機能が実現される。後述する端末１００のコンピュータ１２０ついても概ね同様の構成である。尚、このようなプログラムとしては後述するフローチャートに応じたプログラムとすることができる。また、同図に示すように、必要に応じて、バス５０ｆにＨＤＤ（ハードディスクドライブ）５０ｇ、ＣＤ−ＲＯＭドライブ５０ｈ、ＦＤドライブ５０ｉ、モデム５０ｊを接続するようにしてもよい。

端末１００は、図１に示すように、液晶ディスプレイやＣＲＴディスプレイ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等から構成されている。表示装置１１０及びポインティングデバイス１３０の動作はコンピュータ１２０によって制御される。

表示装置１１０は、その表示画面に対象物側装置１０から送信される撮像画像を表示する。
ポインティングデバイス１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、対象物２００へ投影するアノテーション画像ＡＮに関する指示の形成を指定する操作に用いられる。
コンピュータ１２０は、撮像画像及び投影態様通知部５８で通知された投影態様を受信する受信部、撮像画像に対して行われたアノテーション画像の描画に関する描画指示等、各種指示を送信する送信部を含んで構成される。

次に、上記構成の指示システムの動作について図４から図６を参照して説明する。

まず、対象物側装置１０の動作について図４を参照して説明する。
図４は、対象物側装置１０のサーバ５０における処理の一例を示すフローチャートである。

サーバ５０は、図４に示すように、まず、ビデオカメラ２０のよる撮像画像の取り込みを開始し（ステップＳ１１）、端末１００のコンピュータ１２０から接続要求があるかを判断する（ステップＳ１２）。そして、サーバ５０は、コンピュータ１２０からの接続要求があったと判断した場合には、ビデオカメラ２０の撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信する（ステップＳ１３）。

サーバ５０は、次いで、コンピュータ１２０から描画指示の送信があるか否かを判断する（ステップＳ１４）。この描画指示は、アノテーション画像ＡＮの描画に関する指示である。サーバ５０は、上記の描画指示を受信した場合には、その描画指示の内容に応じて描画指示処理を行う（ステップＳ１５）。具体的には、描画指示に応じたアノテーション画像ＡＮを生成する。これにより、プロジェクタ４０に処理結果に基づくアノテーション画像ＡＮを投影させる。

一方、サーバ５０は、上記の描画指示を受信しない場合には、コンピュータ１２０から切断要求があるかを判断し（ステップＳ１６）、切断要求が無い場合には、ステップＳ１３に戻って新たな撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信し、切断要求があった場合には、ビデオカメラ２０の撮像画像の送信を停止する（ステップＳ１７）。そして、サーバ５０は、処理の終了要求があるかを判断し（ステップＳ１８）、終了要求がない場合には、ステップＳ１２に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。

次に、端末１００の動作について図５及び図６を参照して説明する。
図５は、端末１００のコンピュータ１２０における画像形成における処理の一例を示すフローチャート、図６は、端末１００側の操作の一例を説明するための図である。

まず、図５に示すように、端末１００のコンピュータ１２０は、サーバ５０に対して接続要求を行う（ステップＳ２１）。次いで、コンピュータ１２０は、接続が完了した後、例えば、図６に示すように、対象物側のサーバ５０から送信される撮像画像１１１を表示装置１１０の画面上に表示する（ステップＳ２２）。尚、図６に示される撮像画像１１１は、テーブル７０の上に置かれた対象物２００ａ,２００ｂが、これらの上方に配置されたビデオカメラ２０によって撮像された画像を示している。

次いで、コンピュータ１２０は、表示装置１１０の画面上に表示された撮像画像１１１に対する操作者からのアノテーション画像ＡＮの描画指示があるかを判断し（ステップＳ２３）、アノテーション画像ＡＮの描画指示がある場合には、その描画指示に応じた処理を行う（ステップＳ２４）。

具体的には、端末１００の操作者は、図６に示すような表示装置１１０の画面上の撮像画像１１１を見ながら、画面上の指示画像としてのポインタＰｔをポインティングデバイス１３０の操作によって移動させ、アノテーション画像ＡＮを指示する。この指示は、例えば、ポインティングデバイス１３０を用いて画面上に形成された各種ボタンＢＴ等を操作することにより行われる。

アノテーション画像ＡＮの描画指示には、多角形や円、線分、矢印などの図形の描画を行わせる指示、あらかじめ用意されたビットマップ画像を投影させる指示、キーボードなどから入力されたテキスト画像の描画を行わせる指示、ポインティングデバイス１３０の動作を反映させた画像の描画を行わせる指示等がある。そして、コンピュータ１２０は、ステップＳ２４で特定された描画指示をサーバ５０へ送信する（ステップＳ２５）。

次いで、コンピュータ１２０は、端末１００でなされたビデオカメラ２０の撮像画像に基づく操作者による指示が完了したかを判断し（ステップＳ２６）、終了した場合には、サーバ５０に対して切断要求を行い（ステップＳ２７）、処理を終了する。端末１００の操作者による指示操作が終了していない場合には、ステップＳ２２に戻って上記の処理を繰り返す。

続いて、アノテーション画像ＡＮの投影態様を変化させる処理について図７から図１５を参照して説明する。

まず、視認性判定部５５の動作について図７から図１０を参照して説明する。

図７は、サーバ５０における視認性判定部５５の動作の一例を示すフローチャート、図８は、アノテーション画像ＡＮの投影例、図９は、アノテーション画像の他の投影例、図１０は、アノテーション画像ＡＮ等の比較を説明するための図である。尚、図７に示されるフローチャートは、図４に示されるステップＳ１５の処理に含められることが望ましい。後述するフローチャートについても同様である。

サーバ５０の視認性判定部５５は、まず、アノテーション画像ＡＮの投影部分の面積が閾値以下であるか否かを判定する（ステップＳ３１）。この閾値は予め設定すればよい。例えば、図８（ａ）に示すように、アノテーション画像ＡＮの形状が矢印である場合には、その矢印の面積が閾値以下であるか否かを判定する。また、図９（ａ）に示すように、アノテーション画像ＡＮの形状が円である場合には、その円の面積が閾値以下であるか否かを判定する。尚、円に代えて矩形を用いてもよい。

視認性判定部５５は、ステップＳ３１の処理において、投影部分の面積が閾値以下であると判定した場合、撮像画像を取得し、その撮像画像内におけるアノテーション画像ＡＮの部分を抽出する（ステップＳ３２）。この抽出処理は、既知であるアノテーション画像の位置と大きさから撮像画像内の該当箇所を抽出することで行われる。この抽出処理により、図８（ａ）や図９（ａ）に示すアノテーション画像ＡＮが抽出される。

視認性判定部５５は、次いで、ステップＳ３２の処理で抽出されたアノテーション画像ＡＮと、描画指示に係るアノテーション画像ＡＮの色を画素（ピクセル）ごとに比較する（ステップＳ３３）。具体的には、図１０に示すように、撮像画像に含まれる光学系としてのアノテーション画像ＡＮ１と、描画指示に係るデジタルデータとしてのアノテーション画像ＡＮ２とをこれらの画像特徴量に基づいて、パターンマッチング等により比較する。

視認性判定部５５は、ここで、色空間上における双方の距離が閾値以上となる画素の数が閾値以下であるか否かを判定する（ステップＳ３４）。具体的には、まず、アノテーション画像ＡＮを構成する双方の画素のうち、同じ部分の画素を比較する。色空間にあてはめて比較した結果、これらの画素の距離が、予め設定された閾値以上であるか否かを判定する。例えば、一方の画素が「黒」であり、他方の画素が「白」である場合、これらの画素の距離は相当離れており、予め設定された閾値以上である可能性が高い。そして、このような閾値以上である画素の数が、アノテーション画像ＡＮ全体を通していくつあるか計数し、この計数結果が閾値以下であるか否かを判定する。計数結果が閾値以下であれば、双方のアノテーション画像ＡＮの色は比較的近似していると判定され、アノテーション画像ＡＮの大きさが小さいことにより視認性が低減していると特定される。

視認性判定部５５は、さらに、描画指示が円又は矩形のアノテーション画像ＡＮを投影させる描画指示であるか否かを判定する（ステップＳ３５）。

視認性判定部５５は、ステップＳ３５の処理において、描画指示が円又は矩形のアノテーション画像ＡＮを投影させる描画指示でないと判定した場合、アノテーション画像ＡＮが小さいと判定する（ステップＳ３６）。例えば、図８（ａ）に示すように、アノテーション画像ＡＮの形状が矢印である場合には、円又は矩形でないと判定し、アノテーション画像ＡＮが小さいと判定する。この際、この判定結果に識別情報（例えば「００１」等）を付することが望ましい。

一方、視認性判定部５５は、ステップＳ３５の処理において、描画指示が円又は矩形のアノテーション画像ＡＮを投影させる描画指示であると判定した場合、アノテーション画像ＡＮが点等であり、かつ、小さいと判定する（ステップＳ３７）。例えば、図９（ａ）に示すように、アノテーション画像ＡＮの形状が円である場合には、円又は矩形であると判定し、アノテーション画像ＡＮがが点等であり、かつ、小さいと判定する。この際、この判定結果に識別情報（例えば「００２」等）を付することが望ましい。

尚、視認性判定部５５は、ステップＳ３１やステップＳ３４の処理において、投影部分の面積が閾値以下でない等と判定した場合には、視認性確保と判定する（ステップＳ３８）。この際、この判定結果に識別情報（例えば「０００」等）を付することが望ましい。

次に、投影態様特定部５６の動作について図１１及び図１２を参照して説明する。

図１１は、サーバ５０における好適投影態様特定部５６の動作の一例を示すフローチャート、図１２は、投影態様記憶部５７における投影態様テーブルの一例である。

好適投影態様特定部５６は、図１１に示すように、まず、アノテーション画像ＡＮの視認性が確保されているか否かを判定する（ステップＳ４１）。この判定は、例えば、上述した判定結果の識別情報が「０００」であるか否かを判定すればよい。

投影態様特定部５６は、ステップＳ４１の処理において、アノテーション画像ＡＮの視認性が確保されていないと判定した場合、すなわち、識別情報が「００１」や「００２」等である場合には、これらの判定結果に基づき、投影態様記憶部５７を検索する（ステップＳ４２）。

好適投影態様特定部５６は、次いで、判定結果に応じた投影態様を特定する（ステップＳ４３）。例えば、図１２に示すように、判定結果に係る識別情報が「００１」である場合には、投影態様「拡大して投影」を特定する。また、判定結果に係る識別情報が「００２」である場合には、投影態様「アノテーション画像を動画により投影」を特定する。これらの投影態様は、必要に応じて、適宜記憶させておけばよい。尚、判定結果に応じた投影態様がない場合には、投影態様を特定しない。

次に、投影態様通知部５８の動作について図１３及び図１４を参照して説明する。

図１３は、サーバ５０における投影態様通知部５８の動作の一例を示すフローチャート、図１４は、投影態様の変更を推薦する表示の一例である。

投影態様通知部５８は、図１３に示すように、まず、投影態様が特定されたか否かを判定する（ステップＳ５１）。この判定は、上述した好適投影態様特定部５６が投影態様を特定したか否かによって行われる。

投影態様通知部５８は、ステップＳ５１の処理において、投影態様が特定されたと判定した場合には、その投影態様を端末１００に通知する（ステップＳ５２）。この結果、図１４に示すように、表示装置１１０の画面上に、投影態様の変更を推薦する画面が表示される。図１４によれば、対象物２００ａに投影されたアノテーション画像ＡＮが小さくて見辛いと判定されたため、アノテーション画像ＡＮの大きさを変更することを推薦する旨の画面が表示される。

ここで、端末１００側の操作者がポインティングデバイス１３０を操作し、ポインタＰｔを移動させ、例えば「変更する」ボタンを指示すると、推薦された投影態様に変更する旨の変更指示が端末１００から送信される。逆に、「変更しない」ボタンを指示すると、推薦された投影態様に変更しない旨の変更指示が端末１００から送信される。

次に、指示受信部５３と投影制御部５４の動作について図１５と上述した図８及び図９を参照して説明する。

図１５は、指示受信部５３及び投影制御部５４の動作の一例を示すフローチャートである。

指示受信部５３は、まず、変更指示を受信したか否かを判定する（ステップＳ６１）。この判定は、上述したように、端末１００から投影態様を変更する旨の変更指示を受信したか否かによって行われる。したがって、変更しない旨の変更指示を受信した場合には、処理を終了する。

投影制御部５４は、ステップＳ６１の処理において、指示受信部５３が投影態様を変更する旨の変更指示を受信した場合には、その変更指示に応じたアノテーション画像の投影を行う（ステップＳ６２）。

例えば、図８（ａ）に示すように、アノテーション画像ＡＮが小さくて見辛いと判定されたものは、同図（ｂ）に示すように、アノテーション画像ＡＮの形状を拡大してプロジェクタ４０に投影させる。

また、図９（ａ）に示すように、アノテーション画像ＡＮの形状が点等であって、そのアノテーション画像ＡＮが小さくて見辛いと判定されたものは、そのアノテーション画像ＡＮを囲うような画像ＩＭを投影させる。そして、同図（ｂ）及び（ｃ）に示すように、アノテーション画像ＡＮを注視させるように、画像ＩＭの囲いを徐々に小さくしていく。これにより、画像ＩＭは動画のようになる。アノテーション画像ＡＮに接しない程度に小さくなった後、同図（ａ）に示すように、画像ＩＭの投影を初期の投影状態に戻す。尚、この画像ＩＭの形状は、円だけでなく、矩形や楕円等であってもよい。

（第２実施形態）
続いて、本発明の第２実施形態について図１６から図１８を参照して説明する。

図１６は、視認性判定部５５の動作の他の一例を示すフローチャート、図１７は、アノテーション画像等の比較処理を説明するための図、図１８は、投影態様変更前後のアノテーション画像ＡＮの投影例である。

本実施形態に係る指示システムは、撮像画像上におけるアノテーション画像ＡＮとそのアノテーション画像ＡＮによって指示された対象物２００ａとの色の関係について、描画指示に係るアノテーション画像ＡＮと撮像画像上の対象物２００ａとの色の組合せに基づいて、視認性が確保されているか否かを判定する点で、上述した第１実施形態と相違する。

視認性判定部５５は、図１６に示すように、まず、対象物２００ａ，２００ｂが載置されていないテーブル７０を含む対象領域内を撮像した画像を取得する（ステップＳ７１）。例えば、対象領域内に、図１７（ａ）に示すように、テーブル７０がある場合、ビデオカメラ２０はこれを撮像し、撮像されたこの画像を取得する。

視認性判定部５５は、次いで、対象物２００ａ，２００ｂが載置されたテーブル７０及びアノテーション画像ＡＮを含む撮像画像を取得し、アノテーション画像ＡＮの部分を抽出する（ステップＳ７２）。例えば、対象領域内に、図１７（ｂ）に示すように、アノテーション画像ＡＮが投影されている場合、ビデオカメラ２０はこれを撮像する。そして、この撮像画像から、図１７（ｃ）に示すように、アノテーション画像ＡＮの部分を抽出する。この抽出処理は既知であるアノテーション画像の位置と大きさから撮像画像内の該当箇所を抽出すればよい。

視認性判定部５５は、次いで、一時的にアノテーション画像ＡＮの投影を停止し、背景画像を取得する（ステップＳ７３）。この結果、視認性判定部５５は、図１７（ｄ）に示すように、背景画像を取得する。

視認性判定部５５は、次いで、背景画像の差分によりアノテーション画像ＡＮに指示された対象物を抽出する（ステップＳ７４）。具体的には、まず、図１７（ａ）に示すように、ステップＳ７１の処理で取得された、テーブル７０を含む撮像画像と、図１７（ｄ）に示すように、ステップＳ７３の処理で取得された背景画像との差分から、図１７（ｅ）に示すように、対象物２００ａ，２００ｂの画像を得る。そして、この対象物２００ａ，２００ｂの画像と、図１７（ｃ）で示す、ステップＳ７２で抽出されたアノテーション画像ＡＮと、比較により、アノテーション画像ＡＮによって指示された対象物２００ａ，２００ｂを特定する。この特定は、抽出されたアノテーション画像ＡＮの位置と大きさが既知であるため、取得された対象物２００ａ，２００ｂの画像の座標値と照らし合わせ、対象物２００ａ等にアノテーション画像ＡＮが被っているか否かを判定することで実現される。この結果、アノテーション画像ＡＮが対象物２００ａに被っている場合には、図１７（ｆ）に示すように、対象物２００ａがそのアノテーション画像ＡＮに指示された対象物となる。

視認性判定部５５は、次いで、描画指示に係るアノテーション画像ＡＮと、ステップＳ７４の処理で抽出された、対象物２００ａの画像（以下、被指示対象物という。）のコントラストと、撮像画像上でのアノテーション画像及び被指示対象物とのコントラストと、を色空間上で画素ごとに比較する（ステップＳ７５）。具体的には、図１７（ｇ）に示すように、撮像画像１１１上における光学系としてのアノテーション画像ＡＮ１と被指示対象物２００ａとのコントラストと、デジタルとしてのアノテーション画像ＡＮ２と抽出された被指示対象物２００ａとの組合せによるコントラストと、を比較する。

視認性判定部５５は、ここで、色空間上における双方の距離が予め設定された閾値以上離れているか否か判定する（ステップＳ７６）。

視認性判定部５５は、ステップＳ７６の処理において、双方の距離が予め設定された閾値以上離れていないと判定した場合には、アノテーション画像ＡＮの投影色が指示対象の色と近似すると判定する（ステップＳ７７）。この際、この判定結果に識別情報（例えば「００３」等）を付することが望ましい。

一方、視認性判定部５５は、ステップＳ７６の処理において、双方の距離が予め設定された閾値以上離れていると判定した場合には、視認性確保と判定する（ステップＳ７８）。

この結果、好適投影態様特定部５６が、ステップＳ７７の処理における判定結果に応じた投影態様を特定する。具体的には、図１２に示すように、識別情報「００３」に対応する投影態様「投影色の変更」を特定する。そして、投影制御部５４がこの投影態様に応じたアノテーション画像ＡＮの投影をプロジェクタ４０に行わせる。

したがって、図１８（ａ）に示すように、アノテーション画像ＡＮの色と、このアノテーション画像ＡＮによって指示された対象物２００ａの色とのコントラストが高くない場合に、図１８（ｂ）に示すように、アノテーション画像ＡＮの色を、対象物２００ａの色に対してコントラストが高くなるように変更する。この変更は、例えば、補色関係となるようにすることが望ましい。

（第３実施形態）
続いて、本発明の第３実施形態について図１９及び図２０を参照して説明する。

図１９は、視認性判定部５５の動作の他の一例を示すフローチャート、図２０は、投影態様変更前後のアノテーション画像ＡＮの投影例である。

本実施形態に係る指示システムは、対象領域内に投影された文書や表等のアノテーション画像ＡＮが劣化している場合に、この劣化を抑制し得る投影態様に変更する点で、上述した第１実施形態、第２実施形態と相違する。

視認性判定部５５は、まず、図１９に示すように、アノテーション画像ＡＮが、画像であるか否かを判定する（ステップＳ８１）。この判定処理は、アノテーション画像ＡＮが、あらかじめ用意されたビットマップ画像から構成されたものであるか否かを判定すればよい。ここで、画像には、文字、文字列、表、グラフ、写真等が含まれる。尚、ビットマップ画像は一例であり、例えばＴＩＦＦやＪＰＥＧ等の画像形式であってもよい。

視認性判定部５５は、ステップＳ８１の処理において、アノテーション画像ＡＮが画像であると判定した場合、撮像画像を取得し、投影された表等の画像を抽出する（ステップＳ８２）。この抽出処理は、既知であるアノテーション画像の位置と大きさから撮像画像内の該当箇所を抽出することで行われる。

視認性判定部５５は、次いで、デジタルデータとしての画像と、ステップＳ８２の処理で抽出された光学系としての画像とを比較し、画質の劣化を評価する。この評価手法は、例えばＰＳＮＲ（Peak Signal to Noise Ratio）等の既存手法を用いればよい。

視認性判定部５５は、ここで、画質の劣化が、予め設定された閾値以上であるか否かを判定する（ステップＳ８４）。

視認性判定部５５は、ステップＳ８４の処理において、画質の劣化が、予め設定された閾値以上であると判定した場合には、投影された画像が劣化していると判定する（ステップＳ８５）。この際、この判定結果に識別情報（例えば「００４」等）を付することが望ましい。

一方、視認性判定部５５は、ステップＳ８４の処理において、双方の距離が予め設定された閾値以上でないと判定した場合には、視認性確保と判定する（ステップＳ８６）。

この結果、好適投影態様特定部５６が、ステップＳ８５の処理における判定結果に応じた投影態様を特定する。具体的には、識別情報「００４」に対応する投影態様を特定すればよい。この投影態様には、例えば、「画像の大きさを変える」こと、「コントラストの良い場所に移動する」こと、「解像度の高い画像を再送する」こと、「画像中のＲＯＩ（Region of Interest：着目領域）のみを対象領域内に投影する」こと等が含まれる。これらは、適宜、投影態様記憶部５７に記憶させておけばよい。そして、投影制御部５４がこの投影態様に応じたアノテーション画像ＡＮの投影をプロジェクタ４０に行わせる。

具体的には、図２０（ａ）に示すように、グラフの画像ＩＭＧの画質が劣化により好ましくない場合に、図２０（ｂ）に示すように、グラフの画像ＩＭＧの画質が好ましくなるように変更する。この変更は、同図（ｂ）においては、解像度の高いグラフの画像を再送し、投影させている。

以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。例えば、上述した各実施形態に係るサーバを選択的に組み合わせて構成するようにしてもよい。

また、第２実施形態及び第３実施形態において、好適投影態様特定部５６の動作を変更するようにしてもよい。具体的には、図２１に示すようにステップＳ９２の処理において、判定結果に基づいて投影態様記憶部５７を検索した後、検索結果に応じた、対象候補となり得る投影態様のアノテーション画像ＡＮをプロジェクタ４０に順次投影させ、視認性判定処理を行う。そして、ステップＳ９３の処理において、対象候補となり得る投影態様がなくなったときに、ステップＳ９６の処理において、判定結果に応じた投影態様を特定するようにしてもよい。

対象物の色と補色関係にある、色相対比が強い色のアノテーション画像ＡＮを推薦されても、その色を望まない利用者に他の投影態様の候補が推薦される点で好ましい。また、グラフ等の画像においては、投影位置を変更していったり、画像の大きさを変更していったりするようにしてもよい。尚、色相対比とは、異なる色相の色を組み合わせたときに生じる対比効果のことをいう。

指示システムの実施形態を示す構成図である。 サーバの要部構成を例示するブロック図である。 サーバのハードウェア構成を例示するブロック図である。 対象物側装置のサーバにおける処理の一例を示すフローチャートである。 端末のコンピュータにおける画像形成における処理の一例を示すフローチャートである。 端末側の操作の一例を説明するための図である。 サーバにおける視認性判定部の動作の一例を示すフローチャートである。 アノテーション画像の投影例である。 アノテーション画像の他の投影例である。 アノテーション画像等の比較を説明するための図である。 サーバにおける好適投影態様特定部の動作の一例を示すフローチャートである。 投影態様記憶部における投影態様テーブルの一例である。 サーバにおける投影態様通知部の動作の一例を示すフローチャートである。 投影態様の変更を推薦する表示の一例である。 指示受信部及び投影制御部の動作の一例を示すフローチャートである。 視認性判定部の動作の他の一例を示すフローチャートである。 アノテーション画像等の比較処理を説明するための図である。 投影態様変更前後のアノテーション画像の投影例である。 視認性判定部の動作の他の一例を示すフローチャートである。 投影態様変更前後のアノテーション画像ＡＮの投影例である。 好適投影態様特定部の動作の一例を示すフローチャートである。

符号の説明

１０ 対象物側装置
２０ ビデオカメラ
４０ プロジェクタ
５０ サーバ
５１ 撮像制御部
５２ 画像送信部
５３ 指示受信部
５４ 投影制御部
５５ 視認性判定部
５６ 好適投影態様特定部
５７ 投影態様記憶部
５８ 投影態様通知部
６５ ハーフミラー
７０ テーブル
１００ 端末
１１０ 表示装置
１１１ 撮像画像
１２０ コンピュータ
１３０ ポインティングデバイス
２００、２００ａ、２００ｂ 対象物
３００ ネットワーク
ＡＮ、ＡＮ１、ＡＮ２ アノテーション画像
Ｐｔ ポインタ
ＢＴ ボタン

Claims (4)

1. 対象物を含む対象領域内を撮像手段により撮像させて、その撮像画像を端末に送信すると共に、前記端末で表示されたその撮像画像に対して該端末でなされた、注釈を表す注釈画像の描画に関する描画指示を受信して、該描画指示に応じた注釈画像を投影手段により前記対象領域内に投影させるサーバを有する指示システムであって、
   前記サーバは、
   前記注釈画像の面積が予め設定された閾値以下であるか否かによって、該注釈画像の視認性が低減しているか否かを判定する判定手段と、
   前記注釈画像の面積が予め設定された閾値以下であることによって、前記判定手段によって該注釈画像の視認性が低減していると判定された場合に、前記注釈画像の大きさを拡大して投影するか、又は前記注釈画像を動画により投影するかのいずれかの投影態様を特定する特定手段と、
   前記特定手段によって特定された投影態様を前記端末に通知する通知手段と、
   前記端末に通知された投影態様に対して該端末でなされた、該投影態様に変更する旨の変更指示を受信した場合に、前記変更指示に応じた注釈画像の投影を投影手段に投影させる投影制御手段と、
   を具備する指示システム。
2. 前記判定手段は、さらに、前記注釈画像の形状が円又は矩形であるか否かを判定し、
   前記特定手段は、前記注釈画像の面積が予め設定された閾値以下であり、かつ、前記注釈画像の形状が円又は矩形であることによって、前記判定手段によって該注釈画像の視認性が低減していると判定された場合に、前記注釈画像を動画により投影する投影態様を特定することを特徴とする請求項１に記載の指示システム。
3. 前記投影制御手段は、前記端末に通知された投影態様に対して該端末でなされた、該投影態様に変更しない旨の指示を受信した場合に、該指示に応じた注釈画像の投影を投影手段に投影させることを中止させることを特徴とする請求項１又は２に記載の指示システム。
4. 対象物を含む対象領域内を撮像手段により撮像させて、その撮像画像を端末に送信すると共に、前記端末で表示されたその撮像画像に対して該端末でなされた、注釈を表す注釈画像の描画に関する描画指示を受信して、該描画指示に応じた注釈画像を投影手段により前記対象領域内に投影させることをサーバ用のコンピュータに実行させる指示プログラムであって、
   前記サーバ用のコンピュータを、
   前記注釈画像の面積が予め設定された閾値以下であるか否かによって、該注釈画像の視認性が低減しているか否かを判定する判定手段、
   前記注釈画像の面積が予め設定された閾値以下であることによって、前記判定手段によって該注釈画像の視認性が低減していると判定された場合に、前記注釈画像の大きさを拡大して投影するか、又は前記注釈画像を動画により投影するかのいずれかの投影態様を特定する特定手段、
   前記特定手段によって特定された投影態様を前記端末に通知する通知手段、
   前記端末に通知された投影態様に対して該端末でなされた、該投影態様に変更する旨の変更指示を受信した場合に、前記変更指示に応じた注釈画像の投影を投影手段に投影させる投影制御手段、
   として機能させるための指示プログラム。

Images