JP4858375B2 - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP4858375B2
JP4858375B2 JP2007237158A JP2007237158A JP4858375B2 JP 4858375 B2 JP4858375 B2 JP 4858375B2 JP 2007237158 A JP2007237158 A JP 2007237158A JP 2007237158 A JP2007237158 A JP 2007237158A JP 4858375 B2 JP4858375 B2 JP 4858375B2
Authority
JP
Japan
Prior art keywords
image
annotation
annotation image
change area
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007237158A
Other languages
English (en)
Other versions
JP2008287691A5 (ja
JP2008287691A (ja
Inventor
淳 新宮
桂 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2007237158A priority Critical patent/JP4858375B2/ja
Priority to US12/044,009 priority patent/US8022997B2/en
Publication of JP2008287691A publication Critical patent/JP2008287691A/ja
Publication of JP2008287691A5 publication Critical patent/JP2008287691A5/ja
Priority to US13/211,064 priority patent/US8581993B2/en
Application granted granted Critical
Publication of JP4858375B2 publication Critical patent/JP4858375B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、情報処理装置及びプログラムに関する。
従来より、ビデオカメラ及びプロジェクタが接続されているサーバ（例えばコンピュータ）と、ネットワークを介して当該サーバに接続される遠隔地のクライアント（例えばコンピュータ）とを備える遠隔指示システムが知られている（例えば、特許文献１、２参照）。
この遠隔指示システムでは、サーバは、サーバに接続されているビデオカメラによって撮影された対象物の撮影画像を、ネットワークを介してクライアントに送信する。クライアントは、クライアントに接続されている表示装置の表示画面に立体物を含む撮影画像を表示し、当該表示画面上にアノテーション画像（線、図形、文字）などが書き込まれると、当該アノテーション画像をネットワークを介してサーバに送信する。サーバは、受信したアノテーション画像をプロジェクタに送信し、プロジェクタは受信したアノテーション画像を対象物を含む投影領域の適切な位置（これは、クライアントが、撮影画像の範囲内でアノテーション画像を書き込んだ位置に対応する）に投影する。
米国特許公開２００４／００７０６７４号公報 特開２００５−３３７５６号公報
しかしながら、上記遠隔指示システムでは、表示画面に表示されている対象物上に、クライアントのユーザによってアノテーション画像が書き込まれた後で、対象物が移動されると、当該アノテーション画像は意味のないものになる。このため、クライアントのユーザは意味のなくなったアノテーション画像を表示画面から削除するが、この作業は、クライアントのユーザにとって手間と時間がかかる。
また、上記遠隔指示システムでは、当該遠隔指示システムを用いた会議の議事録を作成したりするために、アノテーション画像が投影された対象物の画像を適宜保存しておくことが望ましい。しかしながら、ユーザが、画像を保存する適切なタイミングを判断するのは難しいため、適切な画像の保存を行うことができない可能性がある。また、ユーザは、会議の最中に、画像保存のための適切なタイミングを計らなければならないため、この作業が、ユーザにとって負担となる可能性がある。
本発明は、このような事情に鑑みてなされたものであり、その目的は、ユーザの操作負担を軽減することができる情報処理装置及びプログラムを提供することにある。
上記目的を達成するため、請求項１の情報処理装置は、外部端末から入力された注釈画像を対象物及び背景を含む投影領域に投影する投影装置、及び当該対象物及び当該背景を含む投影領域を撮影する撮影装置に接続される情報処理装置であって、前記撮影装置により撮影された撮影画像に基づいて、前記対象物の移動を検出する検出手段と、前記対象物の移動により生じた前記撮影画像上の変化領域を抽出する抽出手段と、当該変化領域に前記注釈画像が含まれる場合に、前記注釈画像の消去及び前記変化領域に前記注釈画像が含まれる前の時点における前記撮影画像の記憶の少なくとも一方を実行する処理手段とを備えることを特徴とする。
請求項２の情報処理装置は、請求項１記載の情報処理装置において、前記検出手段は、前記撮影装置により撮影された撮影画像と、当該撮影画像の直後に撮影された撮影画像とを比較することにより、前記対象物の移動を検出することを特徴とする。
請求項３の情報処理装置は、請求項１又は２記載の情報処理装置において、前記検出手段は、前記撮影装置により撮影された撮影画像と、当該撮影画像の直後に撮影された撮影画像とをそれぞれ複数の小領域に分割し、互いに対応する分割された小領域同士を比較することにより、前記対象物の移動を検出することを特徴とする。
請求項４の情報処理装置は、請求項１乃至３のいずれか１項に記載の情報処理装置において、前記抽出手段は、前記外部端末からの前記注釈画像の入力中に生じる前記変化領域又は前記外部端末からの前記注釈画像の座標情報に基づいて前記投影領域内の前記注釈画像の領域を無視することを特徴とする。
請求項５の情報処理装置は、請求項１乃至４のいずれか１項に記載の情報処理装置において、前記処理手段で消去される注釈画像の情報を前記外部端末に送信する送信手段をさらに備え、前記外部端末は、前記撮影装置による撮影画像を表示すると共に、前記送信手段からの消去される注釈画像の情報に応じて、当該注釈画像の消去の取消を前記処理手段に対して指示可能な指示部を表示する画像表示手段を備えることを特徴とする。
請求項６の情報処理装置は、請求項５に記載の情報処理装置において、前記画像表示手段は、前記送信手段からの消去される注釈画像の情報に応じて、当該注釈画像を一定時間点滅表示することを特徴とする。
請求項７の情報処理装置は、請求項１乃至６のいずれか１項に記載の情報処理装置において、前記処理手段は、前記変化領域に前記注釈画像の一部が含まれる場合に、当該注釈画像の全てを消去することを特徴とする。
請求項８の情報処理装置は、請求項１乃至７のいずれか１項に記載の情報処理装置において、前記処理手段は、前記変化領域から所定距離広げた範囲内にある注釈画像をも消去することを特徴とする。
請求項９の情報処理装置は、請求項１乃至８のいずれか１項に記載の情報処理装置において、前記処理手段は、前記外部端末から入力された複数の注釈画像を１つのグループとして扱い、少なくとも１つの注釈画像を消去する場合には、同一グループに属する他の注釈画像も消去することを特徴とする。
請求項１０の情報処理装置は、請求項１乃至９のいずれか１項に記載の情報処理装置において、前記外部端末から前記注釈画像及び当該注釈画像に関連付けられている領域の情報を取得する取得手段を更に備え、前記処理手段は、前記変化領域に前記注釈画像に関連付けられている領域が含まれる場合に、前記注釈画像を消去することを特徴とする。
請求項１１の情報処理装置は、請求項１乃至１０のいずれか１項に記載の情報処理装置において、前記処理手段は、前記変化領域に前記注釈画像の少なくとも一部が含まれる場合に、その前の時点における前記撮影画像を記憶することを特徴とする。
請求項１２の情報処理装置は、請求項１乃至１１のいずれか１項に記載の情報処理装置において、前記処理手段は、前記変化領域から所定距離広げた範囲内に前記注釈画像の少なくとも一部が含まれる場合にも、その前の時点における前記撮影画像を記憶することを特徴とする。
請求項１３の情報処理装置は、対象物及び外部端末から入力された注釈画像を表示領域に表示する表示手段と、前記対象物の移動を検出する検出手段と、前記対象物の移動により生じた、前記表示領域内の変化領域を抽出する抽出手段と、当該変化領域に前記注釈画像が含まれる場合に、前記表示領域内に表示された前記注釈画像の消去及び前記変化領域に前記注釈画像が含まれる前の時点における前記表示領域内の表示の記憶の少なくとも一方を実行する処理手段とを備えることを特徴とする。
請求項１４の情報処理装置は、請求項１３に記載の情報処理装置において、前記抽出手段は、前記外部端末からの前記注釈画像の入力中に生じる前記変化領域又は前記外部端末からの前記注釈画像の座標情報に基づいて前記表示領域内の前記注釈画像の領域を無視することを特徴とする。
請求項１５の情報処理装置は、請求項１３又は１４に記載の情報処理装置において、前記処理手段は、前記変化領域に前記注釈画像の一部が含まれる場合に、当該注釈画像の全てを消去することを特徴とする。
請求項１６の情報処理装置は、請求項１３乃至１５のいずれか１項に記載の情報処理装置において、前記処理手段は、前記変化領域から所定距離広げた範囲内にある注釈画像をも消去することを特徴とする。
請求項１７の情報処理装置は、請求項１３乃至１６のいずれか１項に記載の情報処理装置において、前記処理手段は、前記外部端末から入力された複数の注釈画像を１つのグループとして扱い、少なくとも１つの注釈画像を消去する場合には、同一グループに属する他の注釈画像も消去することを特徴とする。
請求項１８の情報処理装置は、請求項１３乃至１７のいずれか１項に記載の情報処理装置において、前記外部端末から前記注釈画像及び当該注釈画像に関連付けられている領域の情報を取得する取得手段を更に備え、前記処理手段は、前記変化領域に前記注釈画像に関連付けられている領域が含まれる場合に、前記注釈画像を消去することを特徴とする。
請求項１９の情報処理装置は、請求項１３乃至１８のいずれか１項に記載の情報処理装置において、前記処理手段は、前記変化領域に前記注釈画像の少なくとも一部が含まれる場合に、その前の時点における前記表示領域内の表示を記憶することを特徴とする。
請求項２０の情報処理装置は、請求項１３乃至１９のいずれか１項に記載の情報処理装置において、前記処理手段は、前記変化領域から所定距離広げた範囲内に前記注釈画像の少なくとも一部が含まれる場合にも、その前の時点における前記表示領域内の表示を記憶することを特徴とする。
請求項２１の情報処理装置は、外部端末から入力された注釈画像を対象物及び背景を含む投影領域に投影する投影装置、及び当該対象物及び当該背景を含む投影領域を撮影する撮影装置に接続される情報処理装置であって、前記撮影装置により撮影された撮影画像に基づいて、前記対象物の移動を検出する検出手段と、前記対象物の移動により生じた前記撮影画像上の変化領域を抽出する抽出手段と、当該変化領域の情報と、当該変化領域に含まれる前記注釈画像とをパラメータとして、各パラメータに対し重み付けを行うことにより前記撮影画像の重要度を算出し、前記重要度が予め定めた閾値以上である場合に前記撮影画像の記憶を実行する記憶手段とを備えることを特徴とする。
請求項２２の情報処理装置は、対象物及び外部端末から入力された注釈画像を表示領域に表示する表示手段と、前記対象物の移動を検出する検出手段と、前記対象物の移動により生じた、前記表示領域内の変化領域を抽出する抽出手段と、当該変化領域の情報と、当該変化領域に含まれる前記注釈画像とをパラメータとして、各パラメータに対し重み付けを行うことにより前記表示領域内の表示の重要度を算出し、前記重要度が予め定めた閾値以上である場合に前記表示の記憶を実行する記憶手段とを備えることを特徴とする。
請求項２３の情報処理装置は、請求項２１又は２２に記載の情報処理装置において、前記記憶手段は、前記記憶を実行する際に、前記重要度のデータも記憶することを特徴とする。
請求項２４の情報処理装置は、請求項２１乃至２３のいずれか１項に記載の情報処理装置において、前記重要度の算出に用いられる前記変化領域の情報のパラメータには、該変化領域の大きさ、前記変化領域が発生するまでの時間の少なくとも一方が含まれ、前記変化領域に含まれる前記注釈画像の情報のパラメータには、前記変化領域に含まれる前記注釈画像の数、前記変化領域内に複数の注釈画像が含まれる場合における各注釈画像間の距離及び各注釈画像が描画された時間間隔の少なくとも１つが含まれることを特徴とする。
請求項２５のプログラムは、外部端末から入力された注釈画像を対象物及び背景を含む投影領域に投影する投影装置、及び当該対象物及び当該背景を含む投影領域を撮影する撮影装置に接続されるコンピュータを、前記撮影装置により撮影された撮影画像に基づいて、前記対象物の移動を検出する検出手段、前記対象物の移動により生じた前記撮影画像上の変化領域を抽出する抽出手段、及び当該変化領域に前記注釈画像が含まれる場合に、前記注釈画像の消去及び前記変化領域に前記注釈画像が含まれる前の時点における前記撮影画像の記憶の少なくとも一方を実行する処理手段として機能させることを特徴とする。
請求項２６のプログラムは、コンピュータを、対象物及び外部端末から入力された注釈画像を表示領域に表示する表示手段、前記対象物の移動を検出する検出手段、前記対象物の移動により生じた、前記表示領域内の変化領域を抽出する抽出手段、及び当該変化領域に前記注釈画像が含まれる場合に、前記表示領域内に表示された前記注釈画像の消去及び前記変化領域に前記注釈画像が含まれる前の時点における前記表示領域内の表示の記憶の少なくとも一方を実行する処理手段として機能させることを特徴とする。
請求項２７のプログラムは、外部端末から入力された注釈画像を対象物及び背景を含む投影領域に投影する投影装置、及び当該対象物及び当該背景を含む投影領域を撮影する撮影装置に接続されるコンピュータを、前記撮影装置により撮影された撮影画像に基づいて、前記対象物の移動を検出する検出手段、前記対象物の移動により生じた前記撮影画像上の変化領域を抽出する抽出手段、及び当該変化領域の情報と、当該変化領域に含まれる前記注釈画像の情報とをパラメータとして、各パラメータに対し重み付けを行うことにより前記撮影画像の重要度を算出し、前記重要度が予め定めた閾値以上である場合に前記撮影画像の記憶を行う記憶手段として機能させることを特徴とする。
請求項２８のプログラムは、コンピュータを、対象物及び外部端末から入力された注釈画像を表示領域に表示する表示手段、前記対象物の移動を検出する検出手段、前記対象物の移動により生じた、前記表示領域内の変化領域を抽出する抽出手段、及び当該変化領域の情報と、当該変化領域に含まれる前記注釈画像の情報とをパラメータとして、各パラメータに対し重み付けを行うことにより前記表示領域内の表示の重要度を算出し、前記重要度が予め定めた閾値以上である場合に前記表示の記憶を実行する記憶手段として機能させることを特徴とする。
請求項１、１３の発明によれば、対象物の移動により、対象物と注釈画像との位置関係が変化したときに、画像又は表示に対する処理を自動的に行うので、ユーザの操作負担を軽減することができる。
請求項２の発明によれば、対象物の移動を追跡する処理を実行する場合と比べて、対象物の移動を検出するのに必要な計算量を少なくすることができる。
請求項３の発明によれば、撮影画像のノイズ等の影響を受けずに、正確に対象物の移動を検出することができる。
請求項４、１４の発明によれば、必要な注釈画像の入力を確保することができる。
請求項５の発明によれば、外部端末のユーザが、注釈画像の消去の取消を指示することができる。
請求項６の発明によれば、外部端末のユーザに消去対象の注釈画像を知らせることができる。
請求項７、１５の発明によれば、対象物の移動により不要になった注釈画像を全て消去でき、ユーザの操作負担を軽減することができる。
請求項８、１６の発明によれば、不要になった注釈画像を効果的に消去することができ、ユーザの操作負担を軽減することができる。
請求項９、１７の発明によれば、複数の注釈画像を一度に消去することができ、ユーザの操作負担を軽減することができる。
請求項１０、１８の発明によれば、変化領域に注釈画像に関連付けられている領域が含まれる場合には、当該注釈画像を自動的に削除することができ、ユーザの操作負担を軽減することができる。
請求項１１，１９の発明によれば、対象物の移動により対象物と注釈画像との位置関係が変化した全ての場合において、その直前の画像又は表示を自動的に記憶するので、ユーザの操作負担を軽減することができる。
請求項１２、２０の発明によれば、画像を効果的に記憶することができ、ユーザの操作負担を軽減することができる。
請求項２１、２２の発明によれば、対象物の移動により、対象物と注釈画像との位置関係が変化したときに、撮影画像又は表示の重要度に応じた記憶を自動的に実行するので、適切な記憶を、ユーザの操作負担を軽減した状態で行うことができる。
請求項２３の発明によれば、画像又は表示とともに重要度も記憶するので、ユーザは、重要度に応じて画像又は表示を使用することができる。
請求項２４の発明によれば、重要度を定量的に判断することができる。
請求項２５、２６の発明によれば、対象物の移動により、対象物と注釈画像との位置関係が変化したときに画像又は表示に対する処理を自動的に行うことができるので、ユーザの操作負担を軽減することができる。
請求項２７、２８の発明によれば、対象物の移動により、対象物と注釈画像との位置関係が変化したときに、撮影画像又は表示の重要度に応じた記憶を自動的に実行するので、適切な記憶を、ユーザの操作負担を軽減した状態で行うことができる。
以下、本発明の実施の形態について、図面を参照して説明する。
（第１の実施の形態）
図１は、本発明の実施の形態に係る情報処理装置を含む遠隔指示システムの構成を示す図である。
図１の遠隔指示システムは、サーバとして機能するパーソナルコンピュータ（ＰＣ）１（情報処理装置）、クライアントとして機能するＰＣ２（外部端末）を備えており、これらは、ネットワーク３を介して互いに接続されている。ＰＣ１には、プロジェクタ４（投影装置）、及びビデオカメラ５（撮影装置）が接続されている。プロジェクタ４は、ＰＣ１からの制御コマンドに基づいて、対象物８及びスクリーン１０に対して、ハーフミラー６を介して単なる光線を照射する又はアノテーション画像（注釈画像）等を投影する。尚、アノテーション画像は、線、文字、記号、図形、色、フォント（書体）等のあらゆる態様の画像を含む。
ビデオカメラ５は、対象物８を含むスクリーン１０の反射画像をハーフミラー６を介して撮影し、撮影画像をＰＣ１に出力する。
ＰＣ１は、ビデオカメラ５により撮影された撮影画像をネットワーク３を介してＰＣ２に出力する。ＰＣ２は、表示部２０５に接続されており、表示部２０５は、撮影画像の表示領域１２及びユーザインターフェース（ＵＩ）１４を表示する。尚、ＰＣ２は、表示部２０５を備える一体型のパーソナルコンピュータで構成してもよい。
ＵＩ１４は、ペン、テキスト、及び消去などのボタン群と、線種や色種のアイコンとを含む。表示領域１２には、ビデオカメラ５で撮影された撮影画像が表示される。図１においては、対象物８を含むスクリーン１０をビデオカメラ５により撮影した撮影画像が表示領域１２に表示されている。
例えば、ＵＩ１４のペンボタンが押下されて、表示領域１２内の対象物８上に図形等が記載されると、当該図形の情報（具体的には、当該図形を示す、表示領域１２における座標（ｘ、ｙ））はＰＣ２からＰＣ１に出力される。ＰＣ１は、当該図形の情報をプロジェクタ４の座標の情報に変換し、プロジェクタ４に出力する。プロジェクタ４は当該変換された図形の情報に基づいて対象物８上に当該図形を投影する。尚、撮影画像は表示部２０５の表示領域１２に表示されるため、撮影画像における座標（ｘ、ｙ）は、表示領域１２における座標（ｘ、ｙ）と一致する。
また、ＰＣ２は、ＰＣ１に対して制御コマンドを出力し、プロジェクタ４及びビデオカメラ５の動作（例えば、ビデオカメラ５の撮影角度や撮影画像の明るさ、及びプロジェクタ４の投影画像の明るさなど）を制御することができる。
尚、同図においては、クライアントは、ＰＣ２の１台が記載されているが、遠隔指示システムは、複数のクライアント（ＰＣ）を備えていてもよい。また、プロジェクタ４をＰＣ１に接続し、ビデオカメラ５を不図示の他のＰＣに接続するようにしてもよい。この場合、ビデオカメラ５の撮影画像は、当該他のＰＣを介してＰＣ２に出力される。
図２は、ＰＣ１〜２の機能構成を示すブロック図である。
ＰＣ１は、装置全体を制御すると共にプロジェクタ４、ビデオカメラ５及び三次元計測装置７の動作を制御する制御部１０１（検出手段、抽出手段、処理手段、取得手段）と、ネットワーク３を介してＰＣ２と情報やデータの送受信を行う送受信部１０２（送信手段）と、制御プログラム、データ及び情報等を記憶する記憶部１０３と、プロジェクタ４、及びビデオカメラ５と接続するためのインタフェース（ＩＦ）部１０４とを備えている。制御部１０１は、送受信部１０２、記憶部１０３、及びＩＦ部１０４に接続されており、さらにＩＦ部１０４を介してプロジェクタ４、及びビデオカメラ５に接続されている。
尚、ＰＣ１は、マウスやキーボードなどで構成される操作部１０５と、撮影画像を表示する表示部１０６（表示手段）とをさらに備えていてもよい。
ＰＣ２は、装置全体を制御する制御部２０１と、ネットワーク３を介してＰＣ１と情報やデータの送受信を行う送受信部２０２と、制御プログラム、データ及び情報等を記憶する記憶部２０３と、マウスやキーボードなどで構成される操作部２０４と、表示部２０５（画像表示手段）とを備えている。制御部２０１は、送受信部２０２、記憶部２０３、操作部２０４、及び表示部２０５に接続されている。
図３は、ＰＣ１のハードウェア構成を示すブロック図である。
ＰＣ１は、装置全体を制御するＣＰＵ２１、制御プログラムを備えるＲＯＭ２２、ワーキングエリアとして機能するＲＡＭ２３、各種の情報やプログラムを備えるハードディスクドライブ（ＨＤＤ）２４、マウス及びキーボード２５、他のコンピュータと接続するためのネットワークインタフェース２６、液晶モニタ又はＣＲＴで構成されるディスプレイ２７、及び不図示のＵＳＢ機器と接続するためのＵＳＢ（universal serial bus）インタフェース２８を備えている。ＣＰＵ２１はシステムバス２９を介してＲＯＭ２２、ＲＡＭ２３、ハードディスクドライブ（ＨＤＤ）２４、マウス及びキーボード２５、ネットワークインタフェース２６、ディスプレイ２７及びＵＳＢインタフェース２８に接続されている。
制御部１０１は、制御プログラムに従って各種の処理を実行するＣＰＵ２１に相当する。送受信部１０２は、ネットワークインタフェース２６に相当し、記憶部１０３は、ハードディスクドライブ（ＨＤＤ）２４に相当する。ＩＦ部１０４は、ＵＳＢインタフェース２８に相当する。操作部１０５は、マウス及びキーボード２５に相当し、表示部１０６は、ディスプレイ２７に相当する。
ＰＣ２は、ＰＣ１と同様に、図３に示す構成を有している。
図４は、ＰＣ１で実行される処理を示すフローチャートである。
ＰＣ１の制御部１０１は、ビデオカメラ５から撮影画像を受信し、記憶部１０３に記憶する（ステップＳ１）。この撮影画像は、例えば、０．５秒ごとにフレーム画像としてビデオカメラ５から送られる。
制御部１０１は、記憶部１０３に記憶された撮影画像とビデオカメラ５から受信した直後の撮影画像とをピクセル毎に比較する（ステップＳ２）。具体的には、制御部１０１は、ビデオカメラ５から受信した直後のフレーム画像と、その直前に記憶部１０３に記憶されたフレーム画像とをピクセル毎に比較する。
制御部１０１は、ステップＳ２の比較結果に基づいて、対象物８が移動されたか否かを判別する（ステップＳ３）。このステップＳ３では、制御部１０１は、上記２つの撮影画像（フレーム画像）に差分があると、対象物８が移動したと判別する。
尚、制御部１０１は、アノテーション画像の投影による撮影画像（フレーム画像）の変化は、検知しない。即ち、制御部１０１は、アノテーション画像の投影前後のフレーム画像間の差分を無視する。これにより、必要な注釈画像の入力を確保することができる。
次いで、制御部１０１は、対象物８の移動が終了したか否かを判別する（ステップＳ４）。例えば、制御部１０１は、連続した５０枚のフレーム画像に変化がなければ、対象物８の移動が終了したと判別する。
ステップＳ４でＮＯの場合には、当該判別処理を繰り返す。一方、ステップＳ４でＹＥＳの場合には、制御部１０１は、ビデオカメラ５から受信した直後の撮影画像（フレーム画像）に含まれる、変化のあった領域（即ち、撮影画像に含まれる対象物８の移動前及び移動後の領域）（以下、変化領域という）を抽出する（ステップＳ５）。
表示部２０５の表示領域１２内にアノテーション画像が書き込まれると、アノテーション画像を示す座標情報がＰＣ２からＰＣ１に送信される。よって、制御部１０１は、アノテーション画像を示す座標情報に基づいて、図４のステップＳ５で抽出された領域のうち、アノテーション画像の領域は除外するようにしてもよい。これにより、必要な注釈画像の入力を確保することができる。
図５（Ａ）は、記憶部１０３に記憶された撮影画像の一例を示す図であり、図５（Ｂ）は、ビデオカメラ５から受信した直後の撮影画像の一例を示す図である。
図５（Ａ）では、表示領域１２内に対象物８ａ，８ｂが表示されており、対象物８ａ上にアノテーション画像９が投影されている。図５（Ｂ）では、対象物８ａが図５（Ａ）の状態から移動している。同図の符号３０は、変化領域を示し、上記ステップＳ５では、この変化領域３０が抽出される。尚、制御部１０１は、変化領域３０に対応する、撮影画像上の座標情報を保持する。
図４に戻り、制御部１０１は、変化領域３０にアノテーション画像が含まれているか否かを判別する（ステップＳ６）。表示部２０５の表示領域１２内にアノテーション画像が書き込まれると、アノテーション画像を示す座標情報がＰＣ２からＰＣ１に送信される。よって、ステップＳ６の判別は、制御部１０１が、上記変化領域３０に対応する座標情報にアノテーション画像を示す座標情報が含まれるか否かを判別することにより実行される。
上記ステップＳ６でＮＯの場合には、ステップＳ１に戻る。一方、ステップＳ６でＹＥＳの場合には、制御部１０１は、撮影画像から変化領域３０に含まれるアノテーション画像を消去する（ステップＳ７）。制御部１０１は、ＰＣ２からアノテーション画像を示す座標情報を受信しているので、当該アノテーション画像を示す座標情報を破棄する又はプロジェクタ４に当該アノテーション画像を示す座標情報を出力しないことで、撮影画像から変化領域３０に含まれるアノテーション画像を消去することができる。
その後、制御部１０１は、消去対象のアノテーション画像の座標情報をＰＣ２へ送信して（ステップＳ８）、ステップＳ１に戻る。尚、ＰＣ２の制御部２０１は、消去対象のアノテーション画像の座標情報をＰＣ１から受信し、表示領域１２から当該アノテーション画像を消去する。図５（Ｃ）は、アノテーション画像９の削除後の撮影画像の一例を示す。
上記ステップＳ７では、撮影画像から変化領域３０に含まれるアノテーション画像を消去したが、変化領域３０にアノテーション画像の一部が含まれている場合も、制御部１０１は、当該アノテーション画像を消去するようにしてもよい。このようなアノテーション画像は対象物が移動することにより意味をなさないからである。
また、制御部１０１は、変化領域３０から所定距離広げた範囲内（例えば、変化領域３０から上下左右に３０ピクセル広げた範囲）にあるアノテーション画像を消去するようにしてもよい。アノテーション画像を投影した光によって撮影画像の変化が検出されなかった場合でも、不要になったアノテーション画像を消去することができる。
また、制御部１０１は、複数のアノテーション画像を１つのグループとして扱い、少なくとも１つのアノテーション画像を消去する場合には、同一グループに属する他のアノテーション画像も消去するようにしてもよい。これにより、複数の注釈画像を一度に消去することができ、ユーザの操作負担を軽減することができる。例えば、図６（Ａ）に示すように、アノテーション画像３１ａ，３１ｂを１つのグループとして扱う場合、制御部１０１は、アノテーション画像３１ａを消去する場合には、同時にアノテーション画像３１ｂも消去する。同一グループに属する複数のアノテーション画像は、例えば、一定時間内に表示領域１２に書き込まれた複数のアノテーション画像、一定距離の範囲内に書き込まれた複数のアノテーション画像、又は一定時間内且つ一定距離の範囲内に書き込まれた複数のアノテーション画像などがある。
さらに、アノテーション画像は、所定の領域と関連付けされていてもよい。この場合、表示部２０５の表示領域１２内にアノテーション画像が書き込まれると、アノテーション画像を示す座標情報及び当該アノテーション画像に関連付けられている領域の座標情報がＰＣ２からＰＣ１に送信される。制御部１０１は、送受信部１０２を介して当該アノテーション画像を示す座標情報及び当該アノテーション画像に関連付けられている領域の座標情報を取得する。例えば、図６（Ｂ）に示すように、矩形のアノテーション画像３１ａは、その内部の領域３２ａと関連付けられている。また、矢印のアノテーション画像３１ｂは、他印の先端にある円形の領域３２ｂと関連付けられている。制御部１０１は、領域３２ａ又は領域３２ｂが上述した変化領域３０に含まれる場合には、それぞれ矩形のアノテーション画像３１ａ又は矢印のアノテーション画像３１ｂを消去する。
削除対象のアノテーション画像の形状等によっては、アノテーション画像が変化領域３０に含まれない場合もあるが、変化領域３０にアノテーション画像に関連付けられている領域が含まれる場合には、当該アノテーション画像を自動的に削除することができ、ユーザの操作負担を軽減することができる。
以上詳細に説明したように、本実施の形態によれば、制御部１０１が、ビデオカメラ５により撮影された撮影画像に基づいて、対象物８の移動を検出し、対象物８の移動により生じた撮影画像上の変化領域を抽出し、当該変化領域にアノテーション画像が含まれる場合に、当該アノテーション画像を消去するので、対象物の移動により不要になった注釈画像を自動的に削除でき、ユーザの操作負担を軽減することができる。
また、制御部１０１は、ビデオカメラ５により撮影された撮影画像と、当該撮影画像の直後に撮影された撮影画像とを比較することにより、対象物８の移動を検出するので、対象物８の移動を追跡する処理を実行する場合と比べて、対象物８の移動を検出するのに必要な計算量を少なくすることができる。
（第２の実施の形態）
本実施の形態は、制御部１０１がアノテーション画像を消去する前に、表示部２０５に「消去中止ボタン」を表示し、ユーザの意思を確認する点で、第１の実施の形態と異なる。
本実施の形態に係る遠隔指示システムは、図１の遠隔指示システムと同一の構成を有するので、その説明は省略する。
図７は、ＰＣ１で実行される処理を示すフローチャートである。図４の処理と同一の処理については、同一のステップ番号を付し、その説明は省略する。
ステップＳ６でＹＥＳの場合、制御部１０１は、変化領域３０に含まれるアノテーション画像の点滅表示及び消去中止ボタンの表示の指示をＰＣ２に送信する（ステップＳ１１）。
図８は、撮影画像を表示する表示領域１２の一例を示す図である。
ＰＣ２の制御部２０１は、ＰＣ１から送受信部２０２を介して変化領域３０に含まれるアノテーション画像の点滅表示及び消去中止ボタンの表示の指示を受信すると、表示部２０５に当該アノテーション画像を点滅表示させ、消去中止ボタンを表示させる。図８では、表示領域１２内でアノテーション画像９が点滅表示され、消去中止ボタン４０が表示されている。この消去中止ボタン４０は一定時間（例えば１分間）表示され、当該一定時間経過すると、自動的に消される。また、ユーザが、操作部２０４を介して一定時間内に消去中止ボタン４０を押下すると、制御部２０１は送受信部２０２を介してＰＣ１の制御部１０１に消去中止の指示を送信する。
上記ステップＳ１１の処理後、制御部１０１は、一定時間内に消去中止ボタンが押下されたか否かを判別する（ステップＳ１２）。ここでは、制御部１０１は、一定時間内にＰＣ２から消去中止の指示を受信した場合に、消去中止ボタンが押下されたと判別し、一定時間内にＰＣ２から消去中止の指示を受信しなかった場合に、消去中止ボタンが押下されていないと判別する。
上記ステップＳ１２でＹＥＳの場合には、変化領域３０に含まれるアノテーション画像の消去は中止され、ステップＳ１に戻る。一方、ステップＳ１２でＮＯの場合には、撮影画像から変化領域３０に含まれるアノテーション画像を消去するために、上記ステップＳ７に進む。
尚、図８の例では、表示部２０５に消去中止ボタン４０が表示されたが、消去ボタンが表示されるようにしてもよい。この場合、消去ボタンが押下された場合に、制御部１０１は、変化領域３０に含まれるアノテーション画像を消去する。
また、制御部１０１は、複数のアノテーション画像を１つのグループとして扱い、消去中止ボタン４０が押下された場合に、同一グループに属する全てのアノテーション画像の消去を中止するようにしてもよい。この場合、消去中止ボタン４０は１つのみ表示される。また、制御部１０１は、一定時間内に点滅する複数のアノテーション画像を１つのグループとして扱うようにしてもよい。この場合、複数のアノテーション画像の点滅は、同時に開始される必要はない。さらに、制御部１０１は、互いに表示位置の近い（例えば、２０ピクセル以下しか離れていない）複数のアノテーション画像を１つのグループとして扱うようにしてもよい。
以上説明したように、本実施の形態によれば、ＰＣ２の表示部２０５は、ビデオカメラ５による撮影画像を表示すると共に、ＰＣ１からの消去されるアノテーション画像の情報（座標情報）に応じて、当該アノテーション画像の消去の取消をＰＣ１の制御部１０１に対して指示可能な消去中止ボタン４０を表示するので、ＰＣ２のユーザが、アノテーション画像の消去の取消を指示することができる。
また、表示部２０５は、ＰＣ１からの消去されるアノテーション画像の情報に応じて、当該アノテーション画像を一定時間点滅表示するので、ＰＣ２のユーザに消去対象のアノテーション画像を知らせることができる。
上記第１及び第２の実施の形態では、制御部１０１は、記憶部１０３に記憶された撮影画像とビデオカメラ５から受信した直後の撮影画像とをピクセル毎に比較することにより、対象物が移動されているか否かを判別している（ステップＳ２、Ｓ３）。これに対して、図９に示すように、制御部１０１は、記憶部１０３に記憶された撮影画像とビデオカメラ５から受信した直後の撮影画像とをそれぞれ複数の小領域に分割し、互いに対応する分割された小領域同士を比較することにより、対象物が移動されているか否かを判別するようにしてもよい。これにより、撮影画像のノイズ等の影響を受けずに、正確に対象物が移動されているか否かを判別することができる。
また、制御部１０１は、アノテーション画像の周辺の一定数以上の小領域（例えば、５つ以上の小領域）で変化が起きたときに、アノテーション画像を消去するようにしてもよい。これにより、撮影画像のノイズ等の影響を回避し、不要になったアノテーション画像を消去することができる。
上記第１及び第２の実施の形態では、対象物８（８ａ、８ｂ）が移動した場合を想定したが、例えば、プロジェクタ４又はビデオカメラ５が移動された場合には、撮影画像全体が変化領域となるため、制御部１０１は撮影画像内の全てのアノテーション画像を消去するようにしてもよい。
上記第１及び第２の実施の形態では、ＰＣ１にプロジェクタ４及びビデオカメラ５が接続されているが、図１０に示すように、ＰＣ１の表示部１０６とＰＣ２の表示部２０５に同一の対象物８及び同一のアノテーション画像９を表示するようにしてもよい。図１０のシステムでは、対象物８は仮想物体である。図１０のシステムでも、ＰＣ１は図４及び図７のフローチャートの処理が実行できる。
この場合、ＰＣ１の表示部１０６が対象物８及びＰＣ１から入力されたアノテーション画像を表示部１０６の表示領域に表示する。そして、制御部１０１が、対象物８の移動を検出し、対象物８の移動により生じた、表示領域内の変化領域を抽出し、当該変化領域にアノテーション画像が含まれる場合に、当該アノテーション画像を消去する。これにより、対象物の移動により不要になったアノテーション画像を自動的に削除することができ、ユーザの操作負担を軽減することができる。
（第３の実施の形態）
次に、本発明の第３の実施形態について、図１１〜図１２（Ｃ）に基づいて説明する。本第３の実施形態では、制御部１０１により抽出された撮影画像上の変化領域にアノテーション画像が含まれた場合に、その直前の画像を記憶する点に特徴を有している。なお、本第３の実施形態に係る遠隔指示システムは、図１の遠隔指示システムと同一の構成を有するので、その説明は省略するものとする。
図１１には、ＰＣ１で実行される処理がフローチャートにて示されている。この図１１に示されるように、ＰＣ１の制御部１０１は、ビデオカメラ５から撮影画像（これを「撮影画像Ｐｆ」と呼ぶ）を受信（取得）する（ステップＳ１０１）。この撮影画像は、例えば、０．５秒ごとにフレーム画像としてビデオカメラ５から送られる。
制御部１０１は、ステップＳ１０１で取得した撮影画像Ｐｆとビデオカメラ５から受信した直後の撮影画像（これを「撮影画像Ｐａ」と呼ぶ）とをピクセル毎に比較する（ステップＳ１０２）。具体的には、制御部１０１は、ビデオカメラ５から受信した直後のフレーム画像と、その直前に記憶部１０３に記憶されたフレーム画像とをピクセル毎に比較する。
制御部１０１は、ステップＳ１０２の比較結果に基づいて、対象物８が移動されたか否かを判別する（ステップＳ１０３）。このステップＳ１０３では、制御部１０１は、上記２つの撮影画像（フレーム画像）に差分があると、対象物８が移動したと判別する。なお、制御部１０１は、アノテーション画像の投影による撮影画像（フレーム画像）の変化は、検知しない。即ち、制御部１０１は、アノテーション画像の投影前後のフレーム画像間の差分のうちアノテーション画像の領域にあるものを無視する。これにより、必要な注釈画像の入力を確保することができる。
このステップＳ１０３における判断が否定された場合（すなわち、対象物が移動していない場合）には、撮影画像Ｐｆを記憶部１０３に記憶し（ステップＳ１０４）、ステップＳ１０１に戻る。
これに対し、ステップＳ１０３における判断が肯定された場合（すなわち、対象物が移動した場合）には、制御部１０１は、対象物８の移動が終了したか否かを判別する（ステップＳ１０５）。例えば、制御部１０１は、連続した５０枚のフレーム画像に変化がなければ、対象物８の移動が終了したと判別する。
ステップＳ１０５の判断が否定された場合には、当該判別処理を繰り返し、ステップＳ１０５の判断が肯定された段階で、制御部１０１は、ビデオカメラ５から受信した直後の撮影画像（フレーム画像）に含まれる、変化のあった領域（変化領域）を抽出する（ステップＳ１０６）。
表示部２０５の表示領域１２内にアノテーション画像が書き込まれると、アノテーション画像を示す座標情報がＰＣ２からＰＣ１に送信される。よって、制御部１０１は、アノテーション画像を示す座標情報に基づいて、図１１のステップＳ１０６で抽出された領域のうち、アノテーション画像の領域は除外するようにしてもよい。これにより、必要な注釈画像の入力を確保することができる。
図１２（Ａ）には、表示領域１２内に対象物８ａ，８ｂが表示されており、対象物８ａ上にアノテーション画像９が投影された状態（撮影画像Ｐｆ）が示されている。図１２（Ｂ）には、対象物８ａが図１２（Ａ）の状態から移動した状態（撮影画像Ｐａ）が示されている。また、図１２（Ｃ）には、変化のあった領域を抽出した状態（ステップＳ１０６）が示されている。この図１２（Ｃ）において、符号１３０、１３０’で示される領域が変化領域である。なお、制御部１０１は、変化領域１３０、１３０’に対応する、撮影画像上の座標情報を保持する。
図１１に戻り、制御部１０１は、変化領域１３０、１３０’にアノテーション画像が含まれているか否かを判別する（ステップＳ１０７）。表示部２０５の表示領域１２内にアノテーション画像が書き込まれると、アノテーション画像を示す座標情報がＰＣ２からＰＣ１に送信される。よって、ステップＳ１０７の判別は、制御部１０１が、上記変化領域１３０，１３０’に対応する座標情報にアノテーション画像を示す座標情報が含まれるか否かを判別することにより実行される。
上記ステップＳ１０７の判断が否定された場合には、ステップＳ１０１に戻る。一方、ステップＳ１０７の判断が肯定された場合には、制御部１０１は、撮影画像Ｐｆ（対象物の移動前における撮影画像）を、記憶部１０３内の撮影画像リストに追加する（保存する）（ステップＳ１０８）。
なお、上記ステップＳ１０７では、変化領域１３０、１３０’にアノテーション画像の全てが含まれている場合に、撮影画像Ｐｆを記憶する場合について説明したが、これに限らず、変化領域１３０、１３０’にアノテーション画像の一部が含まれている場合にも、撮影画像Ｐｆを記憶するようにしても良い。
また、制御部１０１は、変化領域１３０、１３０’から所定距離広げた範囲内（例えば、変化領域１３０，１３０’から上下左右に３０ピクセル広げた範囲）にアノテーション画像の少なくとも一部が含まれている場合に、撮影画像Ｐｆを記憶するようにしても良い。このようにすることで、アノテーション画像を投影したプロジェクタの光によって撮影画像の変化が検出されなかった場合でも、適切なタイミングで撮影画像を記憶することができる。
上記のようにしてステップＳ１０１〜Ｓ１０８の処理・判断が順次繰り返されることにより、記憶部１０３の撮影画像リストには、撮影画像が適切なタイミングで蓄積されていくことになる。ユーザは、これら蓄積された撮影画像を用いることにより、本実施形態の遠隔指示システムを用いて行われた遠隔地間の会議などの議事録等を作成することができる。
以上詳細に説明したように、本第３の実施形態によれば、制御部１０１が、ビデオカメラ５により撮影された撮影画像に基づいて、対象物８の移動を検出し、対象物８の移動により生じた撮影画像上の変化領域を抽出し、当該変化領域にアノテーション画像が含まれる場合に、変化前の撮影画像Ｐｆを記憶部１０３の撮影画像リストに追加（記憶）するため、適切なタイミングで撮影画像を自動的に記憶することができ、ユーザの操作負担を軽減することができる。また、適切なタイミングで記憶された撮影画像を用いることにより、適切な議事録等を作成することが可能である。
なお、上記第３の実施形態では、撮影画像Ｐｆを記憶部１０３に記憶する場合について説明したが、これに限られるものではなく、例えば、ネットワーク上に存在するＰＣ１とは別の装置（ＰＣ）に、撮影画像Ｐｆを記憶するようにしても良い。
（第４の実施形態）
次に、本発明の第４の実施形態について、図１３〜図１４（Ｆ）に基づいて説明する。この第４の実施形態は、制御部１０１により抽出された撮影画像上の変化領域にアノテーション画像が含まれた場合の、撮影画像の記憶方法が、上述した第３の実施形態と異なっている。したがって、以下においては、この点を中心にして説明するものとする。
図１３には、ＰＣ１で実行される処理がフローチャートにて示されている。この図１３と、図１１（前述した第３の実施形態の処理）とを比較すると分かるように、図１３のステップＳ２０１〜Ｓ２０６と、図１１のステップＳ１０１〜Ｓ１０６とは、同一の処理内容となっている。したがって、ここではステップＳ２０１〜Ｓ２０６の説明は省略するものとする。
制御部１０１は、ステップＳ２０６において変化領域の抽出を行った後、変化前の撮影画像Ｐｆの重要度を計算する（ステップＳ２０７）。ここで、重要度を決定するためのパラメータとして、本実施形態では、変化領域に関するパラメータ（変化領域の大きさに関するパラメータ（β1）、変化領域が発生するまでの時間に関するパラメータ（β2）…など）や、変化領域に含まれるアノテーション画像に関するパラメータ（変化領域に含まれるアノテーション画像の数に関するパラメータ（βn-2）、変化領域内に複数のアノテーション画像が含まれる場合における各アノテーション画像間の距離に関するパラメータ（βn-1）、及び各アノテーション画像が描画された時間間隔に関するパラメータ（βn）…など）を採用することとしている。
ここで、重要度について具体的に説明すると、例えば、図１４（Ａ）、図１４（Ｂ）に示されるように、変化領域１３０，１３０’に含まれるアノテーション画像の数が異なる場合には、アノテーション画像の数が多いほど、撮影画像Ｐｆの重要度が高くなるように（「図１４（Ａ）の重要度＜図１４（Ｂ）の重要度」となるように）取り扱うこととする。また、図１４（Ｃ）、図１４（Ｄ）に示されるように、変化領域１３０，１３０’内に複数のアノテーション画像が存在する場合には、各アノテーション画像間の距離が小さい方（接近度が高い方）の撮影画像Ｐｆの重要度が高くなるように（「図１４（Ｃ）の重要度＜図１４（Ｄ）の重要度」となるように）取り扱うこととする。更に、図１４（Ｅ）、図１４（Ｆ）に示されるように、変化領域の大きさが異なる場合には、変化領域が大きいほど、撮影画像Ｐｆの重要度が高くなるように（「図１４（Ｅ）の重要度＜図１４（Ｆ）の重要度」となるように）取り扱うこととする。
また、図示はしていないが、例えば、以前に撮影画像が記憶されてから、次の撮影画像を記憶するか否かの判断を行うまでに要した時間が短い場合と、長い場合とでは、長い方が、その画像について十分に話し合ったものと想定されるので、その時間が長ければ長いほど、撮影画像Ｐｆの重要度が高くなるように取り扱うこととする。
更に、重要度を決定する際に描画されているアノテーション画像の描画間隔（時間間隔）が、短い場合と長い場合とでは、短い方が、その画像について活発な議論がされたものと想定されるので、その時間が短ければ短いほど、撮影画像Ｐｆの重要度が高くなるように取り扱うこととする。
したがって、制御部１０１では、上記パラメータ（β1〜βn）と、これらパラメータの重み付けを行う重み付け係数（α1〜αn）とを用いて、重要度（γ）を次式（１）のようにして算出する。
γ＝α1β1＋α2β2＋…＋αnβn …（１）
図１３に戻り、制御部１０１は、上記のようにして算出された重要度（γ）と、予め定められた重要度の閾値（γｓ）とを比較して、重要度（γ）が、閾値（γｓ）以上であるか否かを判断する（ステップＳ２０８）。
このステップＳ２０８における判断が肯定された場合には、撮影画像Ｐｆの重要度が比較的高いと判断されたことを意味するので、制御部１０１は、その画像を、記憶部１０３の撮影画像リストに追加（記憶）する。
これに対し、ステップＳ２０８における判断が否定された場合には、撮影画像Ｐｆの重要度があまり高くないと判断されたことを意味するので、制御部１０１は、その画像を記憶せずに、ステップＳ２０１に戻る。
上記のようにしてステップＳ２０１〜Ｓ２０９の処理・判断が順次繰り返されることにより、記憶部１０３の撮影画像リストには、撮影画像が適切なタイミングで蓄積されていくことになる。ユーザは、これら蓄積された撮影画像を用いることにより、本実施形態の遠隔指示システムを用いて行われた遠隔地間の会議などの議事録等を作成することができる。
以上詳細に説明したように、本第４の実施形態によれば、制御部１０１が、ビデオカメラ５により撮影された撮影画像に基づいて、対象物８の移動を検出し、対象物８の移動により生じた撮影画像上の変化領域を抽出するとともに、変化前の撮影画像の重要度（γ）を算出し、その重要度（γ）が閾値（γｓ）以上である場合にのみ撮影画像を自動的に記憶することとしているので、撮影画像のうち、重要度の高い画像のみを記憶することができる。また、このような重要度の高い撮影画像を用いて、議事録等を作成することにより、適切な議事録等の作成を行うことが可能である。
なお、上記第４の実施形態では、重要度の算出を、式（１）により行うこととしたが、これに限られるものではなく、その他の統計演算式などを用いて、重要度の算出を行うことも可能である。統計演算式としては、たとえば標準偏差を用いることができる。すなわち、アノテーション画像が描画された時間間隔の全データに対する、各アノテーション画像が描画された時間間隔の標準偏差δnを用いて、
γ＝α1δ1＋α2δ2＋…＋αnδn …（２）
と表すことができる。なお、標準偏差を用いた式としては、上記式（２）以外の式を採用することも可能である。
なお、上記第４の実施形態では、重要度（γ）が閾値（γｓ）以上である場合に、撮影画像を記憶することとしたが、この撮影画像を記憶部１０３の撮影画像リストに追加（記憶）する際に作成されるテーブル（ファイル名や記憶日時などを管理するテーブル）に、図１５に示されるように、重要度を記載することとしても良い。このようにすることで、ユーザは、撮影画像の重要度を参考にしながら、議事録等を作成することができる。
また、上記第４の実施形態では、図１３のステップＳ２０８において、重要度が閾値以上であるか否かを判断することとしたが、これに限られるものではなく、例えば、重要度が閾値以上であるか否かの判断をせずに、重要度を算出した画像の全てを、重要度の値とともに記憶部１０３の撮影画像リストに追加（記憶）することとしても良い。このようにしても、ユーザは、撮影画像の重要度を参考にしながら、議事録等を作成することができる。
なお、上記第３及び第４の実施の形態では、制御部１０１は、記憶部１０３に記憶された撮影画像とビデオカメラ５から受信した直後の撮影画像とをピクセル毎に比較することにより、対象物が移動されているか否かを判別したが、これに限らず、記憶部１０３に記憶された撮影画像とビデオカメラ５から受信した直後の撮影画像とをそれぞれ複数の小領域に分割し、互いに対応する分割された小領域同士を比較することにより、対象物が移動されているか否かを判別するようにしてもよい（図９参照）。これにより、撮影画像のノイズ等の影響を受けずに、正確に対象物が移動されているか否かを判別することができる。
なお、上記第３及び第４の実施の形態においても、前述した第１、第２の実施形態の場合と同様、図１０に示されるように、ＰＣ１の表示部１０６とＰＣ２の表示部２０５に同一の対象物（仮想物体）８及び同一のアノテーション画像９を表示するようにしてもよい。この図１０のシステムでも、ＰＣ１は図１１や図１３のフローチャートに沿った処理を実行することができる。
なお、上記第１又は第２の実施形態と、第３又は第４の実施形態とを併用することも可能である。すなわち、例えば、制御部１０１は、変化領域内にアノテーション画像が含まれていた場合に、その変化の直前の撮影画像を記憶部１０３（撮影画像リスト）に記憶するとともに、変化領域に含まれていたアノテーション画像を削除する処理を行うこととすることも可能である。
なお、上記各実施形態では、撮影画像がＰＣ１からＰＣ２に対して、ネットワークを介して、直接送信される場合について説明したが、これに限らず、例えば、ＰＣ１の近傍に別のハードウェアを設けておき、ＰＣ１から撮影画像を受信したその別のハードウェアからＰＣ２に対して、ネットワークを介して、撮影画像を送信することとしても良い。
ＰＣ１〜ＰＣ２の機能を実現するためのソフトウェアのプログラムが記録されている記録媒体を、各ＰＣに供給し、各ＰＣのＣＰＵが記憶媒体に格納されたプログラムを読み出し実行することによっても、上記実施の形態と同様の効果を奏する。プログラムを供給するための記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、又はＳＤカードなどがある。
また、各ＰＣのＣＰＵが、各ＰＣの機能を実現するためのソフトウェアのプログラムを実行することによっても、上記実施の形態と同様の効果を奏する。
なお、本発明は、上述した各実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。
本発明の実施の形態に係る情報処理装置を含む遠隔指示システムの構成を示す図である。 ＰＣ１〜２の機能構成を示すブロック図である。 ＰＣ１のハードウェア構成を示すブロック図である。 ＰＣ１で実行される処理を示すフローチャートである。 （Ａ）は、記憶部に記憶された撮影画像の一例を示す図であり、（Ｂ）は、ビデオカメラから受信した直後の撮影画像の一例を示す図であり、（Ｃ）は、アノテーション画像の削除後の撮影画像の一例を示す。 （Ａ）は、２つのアノテーション画像を１つのグループとして扱う場合の撮影画像の一例を示す図であり、（Ｂ）は、アノテーション画像及び当該アノテーション画像に関連付けられている領域を含む撮影画像の一例を示す図である。 第２の実施の形態に係るＰＣ１で実行される処理を示すフローチャートである。 撮影画像を表示する表示領域の一例を示す図である。 複数の小領域に分割された撮影画像の一例を示す図である。 情報処理装置を含む遠隔指示システムの構成の変形例を示す図である。 第３の実施形態に係るＰＣ１で実行される処理を示すフローチャートである。 図１２（Ａ）は、記憶部に記憶された撮影画像の一例を示す図であり、図１２（Ｂ）は、ビデオカメラから受信した直後の撮影画像の一例を示す図であり、図１２（Ｃ）は、変化領域の一例を示す図である。 第４の実施形態に係るＰＣ１で実行される処理を示すフローチャートである。 図１４（Ａ）〜図１４（Ｆ）は、重要度について説明するための図である。 データを管理するために用いられるテーブルの一例を示す図である。
符号の説明
１ ＰＣ（情報処理装置）
２ ＰＣ（外部端末）
３ ネットワーク
４ プロジェクタ（投影装置）
５ ビデオカメラ（撮影装置）
６ ハーフミラー
１０１ 制御部（検出手段、抽出手段、処理手段、取得手段）
１０２ 送受信部（送信手段）
１０３ 記憶部
１０４ ＩＦ部
１０５ 操作部
１０６ 表示部（表示手段）
２０１ 制御部
２０２ 送受信部
２０３ 記憶部
２０４ 操作部
２０５ 表示部（画像表示手段）

Claims (28)

  1. 外部端末から入力された注釈画像を対象物及び背景を含む投影領域に投影する投影装置、及び当該対象物及び当該背景を含む投影領域を撮影する撮影装置に接続される情報処理装置であって、
    前記撮影装置により撮影された撮影画像に基づいて、前記対象物の移動を検出する検出手段と、
    前記対象物の移動により生じた前記撮影画像上の変化領域を抽出する抽出手段と、
    当該変化領域に前記注釈画像が含まれる場合に、前記注釈画像の消去及び前記変化領域に前記注釈画像が含まれる前の時点における前記撮影画像の記憶の少なくとも一方を実行する処理手段とを備えることを特徴とする情報処理装置。
  2. 前記検出手段は、前記撮影装置により撮影された撮影画像と、当該撮影画像の直後に撮影された撮影画像とを比較することにより、前記対象物の移動を検出することを特徴とする請求項１記載の情報処理装置。
  3. 前記検出手段は、前記撮影装置により撮影された撮影画像と、当該撮影画像の直後に撮影された撮影画像とをそれぞれ複数の小領域に分割し、互いに対応する分割された小領域同士を比較することにより、前記対象物の移動を検出することを特徴とする請求項１又は２記載の情報処理装置。
  4. 前記抽出手段は、前記外部端末からの前記注釈画像の入力中に生じる前記変化領域又は前記外部端末からの前記注釈画像の座標情報に基づいて前記投影領域内の前記注釈画像の領域を無視することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
  5. 前記処理手段で消去される注釈画像の情報を前記外部端末に送信する送信手段をさらに備え、
    前記外部端末は、前記撮影装置による撮影画像を表示すると共に、前記送信手段からの消去される注釈画像の情報に応じて、当該注釈画像の消去の取消を前記処理手段に対して指示可能な指示部を表示する画像表示手段を備えることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
  6. 前記画像表示手段は、前記送信手段からの消去される注釈画像の情報に応じて、当該注釈画像を一定時間点滅表示することを特徴とする請求項５に記載の情報処理装置。
  7. 前記処理手段は、前記変化領域に前記注釈画像の一部が含まれる場合に、当該注釈画像の全てを消去することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
  8. 前記処理手段は、前記変化領域から所定距離広げた範囲内にある注釈画像をも消去することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
  9. 前記処理手段は、前記外部端末から入力された複数の注釈画像を１つのグループとして扱い、少なくとも１つの注釈画像を消去する場合には、同一グループに属する他の注釈画像も消去することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
  10. 前記外部端末から前記注釈画像及び当該注釈画像に関連付けられている領域の情報を取得する取得手段を更に備え、
    前記処理手段は、前記変化領域に前記注釈画像に関連付けられている領域が含まれる場合に、前記注釈画像を消去することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
  11. 前記処理手段は、前記変化領域に前記注釈画像の少なくとも一部が含まれる場合に、その前の時点における前記撮影画像を記憶することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
  12. 前記処理手段は、前記変化領域から所定距離広げた範囲内に前記注釈画像の少なくとも一部が含まれる場合にも、その前の時点における前記撮影画像を記憶することを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
  13. 対象物及び外部端末から入力された注釈画像を表示領域に表示する表示手段と、
    前記対象物の移動を検出する検出手段と、
    前記対象物の移動により生じた、前記表示領域内の変化領域を抽出する抽出手段と、
    当該変化領域に前記注釈画像が含まれる場合に、前記表示領域内に表示された前記注釈画像の消去及び前記変化領域に前記注釈画像が含まれる前の時点における前記表示領域内の表示の記憶の少なくとも一方を実行する処理手段とを備えることを特徴とする情報処理装置。
  14. 前記抽出手段は、前記外部端末からの前記注釈画像の入力中に生じる前記変化領域又は前記外部端末からの前記注釈画像の座標情報に基づいて前記表示領域内の前記注釈画像の領域を無視することを特徴とする請求項１３に記載の情報処理装置。
  15. 前記処理手段は、前記変化領域に前記注釈画像の一部が含まれる場合に、当該注釈画像の全てを消去することを特徴とする請求項１３又は１４に記載の情報処理装置。
  16. 前記処理手段は、前記変化領域から所定距離広げた範囲内にある注釈画像をも消去することを特徴とする請求項１３乃至１５のいずれか１項に記載の情報処理装置。
  17. 前記処理手段は、前記外部端末から入力された複数の注釈画像を１つのグループとして扱い、少なくとも１つの注釈画像を消去する場合には、同一グループに属する他の注釈画像も消去することを特徴とする請求項１３乃至１６のいずれか１項に記載の情報処理装置。
  18. 前記外部端末から前記注釈画像及び当該注釈画像に関連付けられている領域の情報を取得する取得手段を更に備え、
    前記処理手段は、前記変化領域に前記注釈画像に関連付けられている領域が含まれる場合に、前記注釈画像を消去することを特徴とする請求項１３乃至１７のいずれか１項に記載の情報処理装置。
  19. 前記処理手段は、前記変化領域に前記注釈画像の少なくとも一部が含まれる場合に、その前の時点における前記表示領域内の表示を記憶することを特徴とする請求項１３乃至１８のいずれか１項に記載の情報処理装置。
  20. 前記処理手段は、前記変化領域から所定距離広げた範囲内に前記注釈画像の少なくとも一部が含まれる場合にも、その前の時点における前記表示領域内の表示を記憶することを特徴とする請求項１３乃至１９のいずれか１項に記載の情報処理装置。
  21. 外部端末から入力された注釈画像を対象物及び背景を含む投影領域に投影する投影装置、及び当該対象物及び当該背景を含む投影領域を撮影する撮影装置に接続される情報処理装置であって、
    前記撮影装置により撮影された撮影画像に基づいて、前記対象物の移動を検出する検出手段と、
    前記対象物の移動により生じた前記撮影画像上の変化領域を抽出する抽出手段と、
    当該変化領域の情報と、当該変化領域に含まれる前記注釈画像の情報とをパラメータとして、各パラメータに対し重み付けを行うことにより前記撮影画像の重要度を算出し、前記重要度が予め定めた閾値以上である場合に前記撮影画像の記憶を実行する記憶手段とを備えることを特徴とする情報処理装置。
  22. 対象物及び外部端末から入力された注釈画像を表示領域に表示する表示手段と、
    前記対象物の移動を検出する検出手段と、
    前記対象物の移動により生じた、前記表示領域内の変化領域を抽出する抽出手段と、
    当該変化領域の情報と、当該変化領域に含まれる前記注釈画像の情報とをパラメータとして、各パラメータに対し重み付けを行うことにより前記表示領域内の表示の重要度を算出し、前記重要度が予め定めた閾値以上である場合に前記表示の記憶を実行する記憶手段とを備えることを特徴とする情報処理装置。
  23. 前記記憶手段は、前記記憶を実行する際に、前記重要度のデータも記憶することを特徴とする請求項２１又は２２のいずれか１項に記載の情報処理装置。
  24. 前記重要度の算出に用いられる前記変化領域の情報のパラメータには、該変化領域の大きさ、前記変化領域が発生するまでの時間の少なくとも一方が含まれ、
    前記変化領域に含まれる前記注釈画像の情報のパラメータには、前記変化領域に含まれる前記注釈画像の数、前記変化領域内に複数の注釈画像が含まれる場合における各注釈画像間の距離及び各注釈画像が描画された時間間隔の少なくとも１つが含まれることを特徴とする請求項２１乃至２３のいずれか１項に記載の情報処理装置。
  25. 外部端末から入力された注釈画像を対象物及び背景を含む投影領域に投影する投影装置、及び当該対象物及び当該背景を含む投影領域を撮影する撮影装置に接続されるコンピュータを、
    前記撮影装置により撮影された撮影画像に基づいて、前記対象物の移動を検出する検出手段、
    前記対象物の移動により生じた前記撮影画像上の変化領域を抽出する抽出手段、及び
    当該変化領域に前記注釈画像が含まれる場合に、前記注釈画像の消去及び前記変化領域に前記注釈画像が含まれる前の時点における前記撮影画像の記憶の少なくとも一方を実行する処理手段として機能させることを特徴とするプログラム。
  26. コンピュータを、
    対象物及び外部端末から入力された注釈画像を表示領域に表示する表示手段、
    前記対象物の移動を検出する検出手段、
    前記対象物の移動により生じた、前記表示領域内の変化領域を抽出する抽出手段、及び
    当該変化領域に前記注釈画像が含まれる場合に、前記表示領域内に表示された前記注釈画像の消去及び前記変化領域に前記注釈画像が含まれる前の時点における前記表示領域内の表示の記憶の少なくとも一方を実行する処理手段として機能させることを特徴とするプログラム。
  27. 外部端末から入力された注釈画像を対象物及び背景を含む投影領域に投影する投影装置、及び当該対象物及び当該背景を含む投影領域を撮影する撮影装置に接続されるコンピュータを、
    前記撮影装置により撮影された撮影画像に基づいて、前記対象物の移動を検出する検出手段、
    前記対象物の移動により生じた前記撮影画像上の変化領域を抽出する抽出手段、及び
    当該変化領域の情報と、当該変化領域に含まれる前記注釈画像の情報とをパラメータとして、各パラメータに対し重み付けを行うことにより前記撮影画像の重要度を算出し、前記重要度が予め定めた閾値以上である場合に前記撮影画像の記憶を行う記憶手段として機能させることを特徴とするプログラム。
  28. コンピュータを、
    対象物及び外部端末から入力された注釈画像を表示領域に表示する表示手段、
    前記対象物の移動を検出する検出手段、
    前記対象物の移動により生じた、前記表示領域内の変化領域を抽出する抽出手段、及び
    当該変化領域の情報と、当該変化領域に含まれる前記注釈画像の情報とをパラメータとして、各パラメータに対し重み付けを行うことにより前記表示領域内の表示の重要度を算出し、前記重要度が予め定めた閾値以上である場合に前記表示の記憶を実行する記憶手段として機能させることを特徴とするプログラム。
JP2007237158A 2007-04-19 2007-09-12 情報処理装置及びプログラム Expired - Fee Related JP4858375B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007237158A JP4858375B2 (ja) 2007-04-19 2007-09-12 情報処理装置及びプログラム
US12/044,009 US8022997B2 (en) 2007-04-19 2008-03-07 Information processing device and computer readable recording medium
US13/211,064 US8581993B2 (en) 2007-04-19 2011-08-16 Information processing device and computer readable recording medium

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007111067 2007-04-19
JP2007111067 2007-04-19
JP2007237158A JP4858375B2 (ja) 2007-04-19 2007-09-12 情報処理装置及びプログラム

Publications (3)

Publication Number Publication Date
JP2008287691A JP2008287691A (ja) 2008-11-27
JP2008287691A5 JP2008287691A5 (ja) 2010-09-30
JP4858375B2 true JP4858375B2 (ja) 2012-01-18

Family

ID=40147330

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007237158A Expired - Fee Related JP4858375B2 (ja) 2007-04-19 2007-09-12 情報処理装置及びプログラム

Country Status (1)

Country Link
JP (1) JP4858375B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4791565B2 (ja) * 2009-06-15 2011-10-12 インターナショナル・ビジネス・マシーンズ・コーポレーション 評価システム、マーカー表示の制御方法およびプログラム
JP6003633B2 (ja) * 2012-12-28 2016-10-05 富士通株式会社 会議資料作成支援プログラム，会議資料作成支援方法及び会議資料作成支援装置
JP6575077B2 (ja) * 2015-02-23 2019-09-18 富士ゼロックス株式会社 表示制御装置及び表示制御プログラム
DK180640B1 (en) 2018-05-07 2021-11-09 Apple Inc Devices and methods of measurement using augmented reality
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
US11227446B2 (en) 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
US11003308B1 (en) 2020-02-03 2021-05-11 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11615595B2 (en) 2020-09-24 2023-03-28 Apple Inc. Systems, methods, and graphical user interfaces for sharing augmented reality environments
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4615178B2 (ja) * 2002-05-13 2011-01-19 株式会社リコー 情報入出力システム、プログラムおよび記憶媒体
JP2006252036A (ja) * 2005-03-09 2006-09-21 Nippon Telegr & Teleph Corp <Ntt> 投影画像作成装置、プログラム、投影画像作成方法及び画像投影システム
JP4577106B2 (ja) * 2005-06-16 2010-11-10 富士ゼロックス株式会社 遠隔指示システム及びその方法
JP4770493B2 (ja) * 2006-02-02 2011-09-14 富士ゼロックス株式会社 遠隔指示システム及び遠隔指示方法

Also Published As

Publication number Publication date
JP2008287691A (ja) 2008-11-27

Similar Documents

Publication Publication Date Title
JP4858375B2 (ja) 情報処理装置及びプログラム
US8022997B2 (en) Information processing device and computer readable recording medium
US9767563B2 (en) Image processing apparatus and method for obtaining position and orientation of imaging apparatus
JP5839553B2 (ja) 作業支援システム、作業支援方法、および、作業用端末
US20120287163A1 (en) Scaling of Visual Content Based Upon User Proximity
US10521965B2 (en) Information processing apparatus, method and non-transitory computer-readable storage medium
JP6455501B2 (ja) 情報処理装置、情報処理システム、制御方法、及びプログラム
JP5769277B2 (ja) 入力装置、入力方法及びプログラム
CN108876934A (zh) 关键点标注方法、装置和系统及存储介质
JP2007041866A (ja) 情報処理装置及び情報処理方法並びにプログラム
KR102279300B1 (ko) 가상 물체 표시 제어 장치, 가상 물체 표시 시스템, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램
JP2009169768A (ja) 情報処理装置及びプログラム
JP2008287691A5 (ja)
JP2009094868A (ja) 情報処理装置、遠隔指示システム及びプログラム
US20170261839A1 (en) Image processing device, image processing method, and computer-readable recording medium
JP2004532441A (ja) 撮像装置によって取り込まれたコンピュータ制御可能な表示の前にある物体の所定点を抽出するためのシステムおよび方法
JP6229554B2 (ja) 検出装置および検出方法
JP2009075846A (ja) 輪郭抽出装置及びプログラム
US9196068B2 (en) Projector system, and method for drawings
US11176360B2 (en) Work skill supporting device and work skill supporting system
US20140198041A1 (en) Position information obtaining device and method, and image display system
JP2017016647A (ja) 管理サーバ、制御方法、及びプログラム
JP2009205468A (ja) 画像出力方法、画像出力装置および画像出力プログラム
JP2020150364A (ja) 情報処理システム、情報処理装置およびプログラム
JP2012048392A (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100813

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100813

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111004

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111017

R150 Certificate of patent or registration of utility model

Ref document number: 4858375

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141111

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees