JP6234223B2 - 情報処理装置、情報処理装置の制御方法およびコンピュータプログラム - Google Patents

Description

本発明は、それぞれの端末のカメラで撮影した画像情報をネットワークを介して複数拠点間で共有し、それぞれの端末で表示するための情報処理装置、情報処理システムおよびコンピュータプログラムに関する。

液晶プロジェクタに代表される投影装置に、カメラなどの撮像手段を備えたものが提供されている。例えば、特許文献１が開示する投影装置は、投影面・撮影面に紙が置かれたタイミングを検出し、そのタイミングに合わせて投影面を撮影し、データとして取得する。

また、ネットワークを介して複数拠点で情報を共有しディスカッションを行う電子会議システムも提供されている。例えば、特許文献２が開示する端末装置は、共有ホワイトボードにデータを入力する際に、全ての参加者で共有したい情報を書き込むパブリックモードと、他拠点と共有したくない情報を書き込めるプライベートモードとを両立する。

情報と実在する物とを関連付け、形の無い情報を手にとって操作できるインタフェースとして、タンジブル・インタフェースも提供されている。例えば、非特許文献１は、自拠点で手書きしたものを他拠点でリアルタイムに共有できるシステムを開示している。また、非特許文献２は、実在する物体と情報とを関連付け、物体の物理的な操作（移動や重ね合わせ）に合わせて、情報の表示方法や合成などの操作も行うシステムを開示している。更に、特許文献３は、投影面・撮影面に所定の形状を有する物体を置き、人がその物体を移動させるだけの簡単な操作により、投影面・撮影面に表示された画像を操作できるコマンド入力方法を提案している。

特開２０１１−２１５４４１号公報 特開平１０−２８９１７５号公報 特開２００７−１１２７６号公報

ＭＩＴ Ｍｅｄｉａ Ｌａｂ Ｔａｎｇｉｂｌｅ Ｍｅｄｉａ Ｇｒｏｕｐ ／ Ｃｌｅａｒ Ｂｏａｒｄ＜ｈｔｔｐ：／／ｔａｎｇｉｂｌｅ．ｍｅｄｉａ．ｍｉｔ．ｅｄｕ／ｐｒｏｊｅｃｔ／ｃｌｅａｒｂｏａｒｄ／＞（２０１３年５月７日 確認） ＭＩＴ Ｍｅｄｉａ Ｌａｂ Ｔａｎｇｉｂｌｅ Ｍｅｄｉａ Ｇｒｏｕｐ ／ Ｓｅｎｓｅ Ｂｏａｒｄ＜ｈｔｔｐ：／／ｔａｎｇｉｂｌｅ．ｍｅｄｉａ．ｍｉｔ．ｅｄｕ／ｐｒｏｊｅｃｔ／ｓｅｎｓｅｂｏａｒｄ／＞（２０１３年５月７日 確認）

上述のように、カメラ付きプロジェクタを用いて物理オブジェクトと電子オブジェクトの双方が表示される電子会議システムを想定する。このようなシステムでは、自拠点側の会議端末が物理オブジェクト（本やカタログ、ホワイトボード上の書き込み）を撮影し、電子オブジェクト（画像データや、電子文書データ）に変換する。そして、会議端末が他拠点側の会議端末にデータを送信することにより情報を共有する。この時、大きく分けて２つの情報共有に関するユースケースが考えられる。

自拠点で付箋やホワイトボードに書き込まれた情報を、他拠点側の会議参加者と共有したい第１のユースケースが考えられる。この時、自拠点の会議参加者と他拠点の会議参加者とでコミュニケーションを成立させるためには、情報が変化した時にも各拠点間で同期が取れている必要がある。自拠点側の会議参加者によって物理オブジェクトの撮影面上の位置が移動されたら、他拠点の会議端末は電子オブジェクトの投影面上の表示位置を変更して欲しい。ここでは、たとえば物理的にホワイトボードへ貼付けられた付箋やホワイトボードへ書き込まれた情報のことを物理オブジェクトと呼ぶ。自拠点側の会議参加者によって物理オブジェクトが撮影面上から除外されたら、他拠点側の会議端末は、電子オブジェクトを撮影面上から除外して欲しい。このように、物理オブジェクトが変化したら、他拠点の会議端末が表示している電子オブジェクトでもその変化に対して同期を取りたい、という第１の要望があった。

ここで、第１の要望を満たす会議システムでは、地面に垂直に投影面・撮影面を設けた場合に、撮影可能な物理オブジェクトは比較的軽量なものに限定される。あるいは、物理オブジェクトを予めいくつかの向きで撮影・印刷しておくことも可能であるが、会議開催の手間を増やしてしまう課題がある。地面に対して水平に投影面・撮影面を設ければ、重量がある物理オブジェクトも撮影できる。しかし、複数人が様々な角度から覗き込む形で会議を開催するため、同じ情報を同時に見ることは難しくなる。

手元にある本やカタログ、あるいは立体物を、他拠点の会議参加者と共有したい第２のユースケースも考えられる。閲覧性を考慮すると、複数人が会議へ参加する場合には、ホワイトボード（投影面・撮影面）が地面に対して垂直に配置されていることが望ましい。しかし、参加者が地面に対して垂直な撮影面に、重量のある本やカタログ、立体物を固定し続けることは難しい。よって、自拠点側で物理オブジェクトを撮影したら、撮影面上から除外しても、自拠点側でも他拠点側でも会議端末が電子オブジェクトとして表示して欲しい。このように、物理オブジェクトが変化したとしても、自拠点・他拠点の会議端末が表示している電子オブジェクトはその変化に対して同期を取りたくない、という第２の要望があった。

第２の要望を満たす会議システムでは、自拠点で物理オブジェクトの位置を操作したタイミングで、他拠点で表示している電子オブジェクトとの間で見ている物に差異が生じてしまう。全ての資料を電子化することで、複数拠点間で情報を共有することはできる。しかし、電子オブジェクトを操作するには電子ペンやジェスチャ入力を介する必要があり、操作性に課題がある。電子ペンを用いる場合には超音波センサ等の新たなハードウェアが別途必要となり、製品原価が上がってしまう。ジェスチャ入力はもともとあるカメラを利用できるため新たなハードウェアは不要だが、認識精度に課題が残る。
本発明は、自装置以外の情報処理装置と電子オブジェクトを共有する場合に当該電子オブジェクトのタイプを特定して共有方法を切り替えることにより操作性を向上させる情報処理装置を提供することを目的とする。

本発明の一実施形態の情報処理装置は、撮影された画像情報をネットワークを介して複数の情報処理装置で共有する。前記情報処理装置は、撮影面として撮影して得られた画像情報から物理オブジェクトを抽出し、該物理オブジェクトに対応する電子オブジェクトを生成する生成手段と、自装置以外の情報処理装置から電子オブジェクトを受信する受信手段と、前記生成手段により生成したまたは前記受信手段により受信した電子オブジェクトに基づいて生成された投影画像を投影面に投影する投影手段と、前記物理オブジェクトに対応する画像領域の特徴に基づいて、前記生成された電子オブジェクトのタイプが第１のタイプの電子オブジェクトか、第２のタイプの電子オブジェクトかを判断する判断手段と、前記判断手段により判断された電子オブジェクトを前記自装置以外の情報処理装置に送信する送信手段とを備える。前記送信手段は、前記物理オブジェクトに変化が生じた場合、前記電子オブジェクトが前記第１のタイプの電子オブジェクトであるときは、前記自装置以外の情報処理装置に当該電子オブジェクトに関する情報を送信し、前記電子オブジェクトが前記第２のタイプの電子オブジェクトであるときは、当該電子オブジェクトに関する情報を送信しない。

本発明の情報処理装置によれば、自装置以外の情報処理装置と電子オブジェクトを共有する場合に当該電子オブジェクトのタイプを特定して共有方法を切り替えることにより操作性を向上させることが可能となる。従って、物理オブジェクトと電子オブジェクトを画面上に表示する複数の情報処理装置が電子オブジェクトを共有する際に、各装置による投影表示が、煩雑な操作なしに適切に制御される。

本発明の会議システムのネットワーク構成例である。 会議端末のハードウェア構成例である。 会議端末のソフトウェア構成例である。 撮影画像から電子オブジェクトを生成する処理のフローチャートである。 撮影画像から生成された電子オブジェクトの例である。 オブジェクトタイプを、静止画から決定する処理のフローチャートである。 静止画的な特徴に基づいて決定されたオブジェクトタイプの例である。 オブジェクトタイプを、動画から決定する処理のフローチャートである。 動画的な特徴に基づいて決定されたオブジェクトタイプの例である。 更新実施判断を行う処理のフローチャートである。 電子オブジェクトから投影画像を形成する処理のフローチャートである。 電子オブジェクト記憶部が記憶している電子オブジェクトの例である。 電子オブジェクトから投影画像を形成する例である。 オブジェクトタイプを指定するユーザインタフェースの例である。 位置に応じてオブジェクトタイプを指定するフローチャートである。 位置に応じてオブジェクトタイプを指定する例である。 電子オブジェクトを表示している上に物理オブジェクトを置くことでオブジェクトタイプを変更する処理のフローチャートである。 図１７の処理の結果オブジェクトタイプが変更された撮影面の例である。 距離情報を適用したオブジェクトタイプ決定処理の例である。

（実施例１）
図１は、本発明の会議シテムのネットワーク構成例を示す。会議端末１０１、１０２は、それぞれＧａｔｅｗａｙサーバー１０３，１０４を介してインターネット１０５に接続されている。会議端末はＧａｔｅｗａｙサーバー１０３，１０４及びインターネット１０５を介して、互いにデータを送受信しデータを共有することができる情報処理装置である。以下では、会議端末１０１側で行われる処理に注目して説明を行う。ここで、会議端末１０１側を「本端末」と、会議端末１０２側を「対向端末」として扱うものとする。会議端末１０２側に注目した場合には、この関係が入れ替わることに注意されたい。また、本発明においては、対向端末は１台に限定されるものではなく、複数台の構成となっても本発明を適用する事ができることを予め明言する。

図２は、本発明の情報処理装置として機能する会議端末のハードウェア構成例を示す。会議端末１０１と会議端末１０２の構成は同等であるため、以下では会議端末１０１を例に説明する。本実施例では、カメラ付きプロジェクタを会議端末としている。なお、ここでは会議システムを構成する専用ハードウェアデバイスとしてカメラ付きプロジェクタを説明しているが、プロジェクタとカメラ付きスマートフォンを組み合わせる形で会議端末を構成する事もできる。プロジェクタに市販品のＷｅｂカメラを接続して会議端末を構成する事もできる。プロジェクタ内蔵のカメラ付きスマートフォンを会議端末として用いる事もできる。

会議端末１０１は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、外部機器コントローラ２０４、内部機器コントローラ２０５を備える。ＣＰＵ２０１乃至内部機器コントローラ２０５は、メインバス２００を介して接続されている。また、外部機器コントローラ２０４には、画像撮影モジュール２１１、画像投影モジュール２１２、ＨＩＤモジュール２１３、音声入力モジュール２１４が接続されている。内部機器コントローラ２０５には、内部記憶装置２２１、ネットワークモジュール２２２が接続されている。ＣＰＵ２０１は、外部機器コントローラ２０４と内部機器コントローラ２０５を介してこれらの制御モジュールと通信することができる。

ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。ＣＰＵ２０１は、後述するプログラム３００を実行するためのユニットである。ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。ＲＡＭ ２０２は、ＣＰＵ ２０１がプログラム３００を実行する際に必要となるデータに対する読み書き可能メモリである。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。ＲＯＭ ２０３はＣＰＵ ２０１がプログラム３００を実行する際に必要となるデータを読み出すための読み込み専用メモリである。

外部機器コントローラ２０４は、画像撮影モジュール２１１や画像投影モジュール２１２等の外部機器を制御する為のモジュールである。画像撮影モジュール２１１は、撮影面上の画像を撮影画像として撮影する為のモジュールである。画像投影モジュール２１２は、ＣＰＵ２０１が生成した投影画像を投影面に表示する為のモジュールである。ＨＩＤ（ヒューマン・インタフェース・デバイス）モジュール２１３は、人間からの操作を受け付けるためのモジュールである。

音声入力モジュール２１４は、人間からの音声入力を受け付けるためのモジュールである。例えば、画像撮影モジュール２１１としてＣＣＤ方式のカメラモジュールを、画像投影モジュール２１２としては液晶パネル方式のプロジェクションモジュールを用いる事ができる。また、ＨＩＤモジュール２１３としてはマウスを、音声入力モジュール２１３としてはマイクを用いることができる。

内部機器コントローラ２０５は会議端末１０１の内部機器を制御する為のモジュールであり、内蔵記憶装置２２１、ネットワークモジュール２２２を制御する為のモジュールである。内部記憶装置２２１は、データを保存するための二次記憶装置である。ネットワークモジュール２２２は、ネットワーク上の別の機器と情報の送受信を行うためのモジュールである。ネットワークモジュール２２２としては有線ＬＡＮに対応しているネットワークモジュールだけではなく、無線ＬＡＮに対応しているネットワークモジュールを適用する事もできる。つまり、本端末と対向端末とは、ネットワークモジュール２２２を介して互いにデータを送受信する。

図３は、会議端末のソフトウェア構成例を示す。本発明の会議端末が各実施例の会議システムを実現する際に、ＣＰＵ２０１はプログラム３００を読み出して実行する。プログラム３００は、ＲＡＭ２０２ないしＲＯＭ２０３に記憶されている。接続情報３０１は、接続先となる対向端末のＩＰアドレスなどの接続情報を記憶している設定データである。

撮影画像入力手段３１１は、画像撮影モジュール２１１が撮影した撮影画像を受信する。本実施例では、撮影画像入力手段３１１が幾何補正や色調整の前処理を行うものとしている。電子オブジェクト生成手段３１２は、撮影画像を解析し、物理オブジェクトが存在する部分領域を検出する。そして部分領域上を元に第１の電子オブジェクトを生成する。

電子オブジェクトタイプ決定部３５１は、第１の電子オブジェクトの元となった部分領域と、部分領域を含む周辺領域の撮影時刻における静止画的な特徴または時系列で変化する動画的な特徴とを求める。そして、電子オブジェクトタイプ決定部３５１はその部分領域もしくは周辺領域の特徴に基づき、当該第１の電子オブジェクトのオブジェクトタイプを決定する。

更新実施判断手段３５２は、第１の電子オブジェクトのオブジェクトタイプに基づいて、本端末および対向端末において、第１の電子オブジェクトに関する情報を登録・更新すべきかを判断する。ローカル電子オブジェクト記憶手段３１３は、更新実施判断手段３５２で本端末における更新が必要と判断された電子オブジェクトの情報を電子オブジェクト記憶部３３１に記憶する。

電子オブジェクトパケット送信信手段３１４は、接続設定３０１に基づいて、更新実施判断手段３５２が対向端末において更新が必要と判断された電子オブジェクトの情報を元に、ネットワーク上で送受信できる形式として電子オブジェクトパケットを生成する。そして、ネットワークモジュール２２２を経由して対向端末へ送信する。

電子オブジェクトパケット受信手段３２１は、接続設定３０１に基づいて、対向端末から送信されてきた電子オブジェクトパケットを受信し、当該電子オブジェクトパケットに含まれる第２の電子オブジェクトを抽出する。リモート電子オブジェクト記憶手段３２２は、電子オブジェクトパケット受信手段３２１が抽出した第２の電子オブジェクトを、電子オブジェクト記憶部３３１に記憶する。

ここで、電子オブジェクトパケット送信手段３１４や電子オブジェクトパケット受信手段３２１が送受信する電子オブジェクトパケットは、それぞれの電子オブジェクトの投影面上の位置情報及び画像情報等を含む。電子オブジェクトパケットのデータフォーマットとしては、ＪＳＯＮ（ＪａｖａＳｃｒｉｐｔ（登録商標） Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）形式やＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式等、種々のフォーマットを用いることができる。

投影画像形成手段３３２は、電子オブジェクト記憶部３３１が記憶している第１及び第２の電子オブジェクトから投影画像を形成する。投影画像出力手段３３３は、画像投影モジュール３１３を用いて投影面へ投影画像を投影する。

また、ジェスチャ入力手段３６１は、画像撮影モジュール２１１が撮影した撮影画像中から会議参加者の身振り・手振りを解析し、電子オブジェクト操作手段３６４に通知する為の手段である。ＨＩＤ入力手段３６２は、ＨＩＤモジュール２１３で行われた操作を受け付け、電子オブジェクト操作手段３６４に通知するための手段である。音声入力手段３６３は、音声入力モジュール２１４から入力された音声データから会議参加者の声による操作を解析し、電子オブジェクト操作手段３６４に通知するための手段である。電子オブジェクト操作手段３６４は、他モジュールから通知された操作を元に、電子オブジェクト記憶部３３１が記憶している電子オブジェクトに対して変更を行う。

ここで、その他電子会議システムで必要とする一般的な機能を、プログラム３００が持っていてもよい。例えば、対向端末を指定するために、接続先の会議端末を設定する為の接続先設定ダイアログボックスを設ける事ができる。対向端末を選択する為に、ネットワークモジュール２２２を介して外部に存在するサーバーに接続可能な端末を問い合わせする機能と、それをダイアログボックスに候補として通知する機能を設ける事ができる。また、プログラム３００は、会議におけるセキュリティを確保する為に、電子オブジェクトパケット送信信手段３１４が送信する電子オブジェクトパケットを暗号化する機能を有する事ができる。プログラム３００は、電子オブジェクトパケット受信手段３２１が受信した電子オブジェクトパケットを複号する機能を有する事ができる。これらは従来技術の電子会議システムで用いられる一般的な機能であり、本発明の本質に直接影響しないため、詳細は割愛する。

以下、ハードウェアとしてＣＰＵ２０１が実行する、電子オブジェクト生成手段３１２、電子オブジェクトタイプ決定手段３５１、更新実施判断手段３５２、及び投影画像形成手段３３２を中心に本発明の特徴を説明する。

＜電子オブジェクト生成＞
図４は、電子オブジェクト生成手段３１２が行う、撮影画像から電子オブジェクトを生成する処理のフローチャートである。図５は、電子オブジェクト生成手段３１２が撮影画像から電子オブジェクトを生成する例である。この処理は撮影画像入力手段３１１から送られる動画の毎フレームに対して行われる。

電子オブジェクト生成手段３１２は、撮影画像から撮影タイミングに適しているかを判定する（Ｓ４００）。会議参加者がジェスチャ入力手段３６１や、ＨＩＤ入力手段３６２、音声入力手段３６３を介して操作を行い、電子オブジェクト操作手段３６４から撮影タイミングを受け取り判断することができる。例えば、画像撮影モジュール２１１が撮影した撮影画像をジェスチャ入力手段３６１が解析し、その中で行われた特定の身振り・手振りを持って、撮影タイミングであると判定できる。また、ジェスチャ入力手段３６１が撮影画像中から動体が無くなるタイミングをもって、撮影タイミングであると判定する事もできる。ＨＩＤモジュール２１３としてのマウスでクリックしたことをＨＩＤ入力手段３０２が解釈し、撮影タイミングであると判定できる。音声入力モジュール２１３で入力された音声を音声入力手段２６３で解釈し、特定キーワードを検出したタイミングを、撮影タイミングであると判定できる。

電子オブジェクト生成手段３１２は、上記の撮影タイミングであるかを判断した結果に基づいて処理を分岐する（Ｓ４０２）。撮影タイミングではない場合には、このフレームに対する処理は終了する。撮影タイミングである場合には、電子オブジェクト生成手段３１２は撮影時刻を取得する（Ｓ４０３）。これは後述する電子オブジェクトの生成処理時に付与される、生成時刻である。

電子オブジェクト生成手段３１２は、撮影画像に対して、撮影画像をホワイトボードの背景部分と、物理オブジェクトが含まれている前景部分とを画素単位で分離する背景差分処理を行う（Ｓ４０４）。なお、この時に、撮影画像において手や腕の輪郭や色を検出し、それらによって隠されている部分を推定して補完する前処理を更に加えてもよい。この処理例を図５（Ａ）に示す。黒画素部分が前景部分を意味し、白画素部分が背景部分を意味する。

電子オブジェクト生成手段３１２は、前景部分の画素に対して複数の輪郭を抽出し、これらの複数の輪郭を部分領域とする（Ｓ４０６）。この時、隣接している前景部分同士が結合するように前処理することが望ましい。図５（Ｂ）に示した処理例では、５つの部分領域５０１〜５０５が抽出されている。

電子オブジェクト生成手段３１２は、それぞれの部分領域に対して以下の処理を行う。まず、電子オブジェクト生成手段３１２は処理対象となる部分領域を選択する（Ｓ４０８）。電子オブジェクト生成手段３１２は選択対象の部分領域の面積を算出し、それが一定未満であれば別の部分領域を選択する（Ｓ４１０）。これは誤検出した孤立点から生成された部分領域を除外する為に必要となる。部分領域はパス点列であるため、たすきがけ法などを用いて面積を算出する事ができる。あるいは、部分領域を包含するバウンディングボックスの面積を、部分領域自体の面積の概算値として用いることもできる。

電子オブジェクト生成手段３１２は、一定以上の面積を持つ部分領域の情報を元に電子オブジェクトを生成する（Ｓ４１２）。生成された電子オブジェクトは、電子オブジェクトＩＤ、物理オブジェクトの有無、画像情報、位置情報、オブジェクトタイプ情報、生成端末情報、静止開始時刻、静止時間の属性を持つ（図５（Ｃ））。電子オブジェクトＩＤは各電子オブジェクトにシーケンシャルに付与される識別子である。物理オブジェクトの有無は、電子オブジェクトを生成した端末の存在する拠点側の投影面上に物理オブジェクトが存在しているかを示すフラグである。画像情報は撮影画像上での部分領域が示す部分を切り出した画像である。位置情報は部分領域の左上原点の座標である。

オブジェクトタイプ情報は、物理オブジェクトが移動した場合の振る舞い、例えば更新処理を行うか否かを決めるための識別情報である。オブジェクトタイプは、削除済みタイプ、未定タイプ、永続表示タイプ、同期表示タイプがある。本実施形態において、永続表示タイプは、同期させることなく自装置以外の情報処理装置の投影面に永続的に投影させる電子オブジェクトを指す。例えば、自装置が撮影する撮影面から物理オブジェクトが除去、移動されても自装置の投影面とともに自装置以外の装置の投影面にも固定位置で表示される電子オブジェクトである。同期表示タイプは、自装置の撮影面における物理オブジェクトの変化に同期させて自装置以外の情報処理装置が投影する投影画像に描画される電子オブジェクトを指す。例えば、物理オブジェクトの移動があれば、対向端末側の電子オブジェクトも同様の移動が行われる電子オブジェクトである。また、同期表示タイプは、本端末側で物理オブジェクトを除去すると、対向端末側の電子オブジェクトも表示されなくなる。未定タイプは、物理オブジェクトに対応する電子オブジェクトが撮影できているが、同期表示タイプ、永続表示タイプのいずれにも決定しかねている電子オブジェクトに付与される。削除済みタイプは永続表示タイプの電子オブジェクトに、会議参加者から明示的な除去指定があった場合に付与される。電子オブジェクトを生成した時のオブジェクトタイプの初期値は未定タイプである。なお、同期表示タイプ、永続表示タイプはそれぞれ、単に同期タイプ、永続タイプと呼ぶ場合もある。

生成端末情報は、電子オブジェクトを生成した端末を表す識別子を用いる。本実施例では本端末（すなわち、端末１０１）とする。静止開始時刻は本電子オブジェクトの元となった物理オブジェクトが撮影画像内で静止しはじめた時刻であって、先ほど求めた撮影時刻である。静止時間は本電子オブジェクトの元となった物理オブジェクトが撮影画像内で静止し続けている時刻である。これは後の処理で計算される。

なお、以下は説明を簡略化する為に、電子オブジェクトＩＤ５１１を持つ電子オブジェクトのことを、電子オブジェクト５１１と呼称するものとする。図５（Ｃ）の例では、部分領域５０１〜５０４にそれぞれ該当する電子オブジェクト５１１〜５１４が生成されている。部分領域５０５は面積が小さいため、電子オブジェクトが生成されない。電子オブジェクト生成手段３１２は他に部分領域があるかを判定し、まだ残っていれば再びこれらの処理を繰り返す（Ｓ４１４）。以上の処理によって、物理オブジェクトが含まれる撮影画像内の部分領域を元に、電子オブジェクトが生成される。

次に、電子オブジェクト生成手段３１２は、電子オブジェクト記憶部３３１に保持されている電子オブジェクトに対して、除外されているかを検出する。最初に、電子オブジェクト記憶部３３１から、対象となる電子オブジェクトを選択する（Ｓ４５０）。当該電子オブジェクトの生成端末が本端末ではない場合には、電子オブジェクト生成手段３１２は当該電子オブジェクトに対する処理を終了する（Ｓ４５２）。当該電子オブジェクトに対応する部分領域が存在する場合には、電子オブジェクト生成手段３１２は当該電子オブジェクトに対する処理を終了する（Ｓ４５４）。当該電子オブジェクトの生成端末が本端末であり、かつ部分領域に対応するものが無い場合には、電子オブジェクト生成手段３１２は当該電子オブジェクトの物理有無をなしにして、電子オブジェクトを新たに生成する（Ｓ４５６）。電子オブジェクト生成手段３１２は他に電子オブジェクト記憶部３３１に電子オブジェクトがあるかを判定し、まだ残っていれば再びこれらの処理を繰り返す（Ｓ４５８）。以上の処理によって、撮影画像から除外された物理オブジェクトを元に生成された電子オブジェクトは、物理有無をなしとした新規電子オブジェクトとして生成される。

次に、電子オブジェクトタイプ決定手段３５１は、それぞれの電子オブジェクトのオブジェクトタイプを、部分領域およびその周辺領域の、撮影時刻における静止画的な特徴、もしくは時系列の変化に注目した動画的特徴のいずれかに基づいて決定する。なお、それぞれのオブジェクトタイプ決定手段を複数組み合わせることで、様々な決定方法を同時に適用する事もできる。

また、ここでは簡単に説明をするに留めるが、永続表示タイプの電子オブジェクトに対して削除する指定がなされた場合、この生成された電子オブジェクトに削除済みのオブジェクトタイプを指定して追加すればよい。削除する電子オブジェクトを選択する方法としては、例えば非特許文献２のように、削除用のマーカーが書かれた物理オブジェクトを上に重ねて撮影する方法が取れる。あるいは、ＨＩＤ入力手段３６２を介して電子オブジェクトの位置を移動させ、アイコンの上までドラッグした場合や表示画面外にドラッグした場合に削除が選択されたと判断してもよい。あるいは、ジェスチャ入力手段３６１やＨＩＤ入力手段３６２で電子オブジェクトを指定中に、音声入力手段３６３で削除指示を行う形を用いてもよい。

＜静止画的特徴に基づくオブジェクトタイプ決定＞
同期表示タイプとして取り込むべき物理オブジェクトと、永続表示タイプとして取り込むべき物理オブジェクトが混在している場合に、静止画から得られる画像上の特徴を考える。

同期表示タイプとして取り込むべき物理オブジェクトをマグネットによって撮影面上に固定するユースケースを考える。永続表示タイプとして取り込むべき物理オブジェクトは、マグネットで撮影面上に固定する事が出来ず、手で持つことで投影面上に固定する。つまり、撮影画像内からマグネットや手を検出する事で、電子オブジェクトに付与するべきオブジェクトタイプを決定できる。

オブジェクトタイプの決定方法としては、接着力の弱い糊が裏面に貼付されている紙製付箋を用いる別のユースケースも考えられる。予め付箋に識別するための識別マーカーを印字したり、利用できる付箋の色を限定することで、部分領域内に撮影された物理オブジェクトが付箋であるか否かを判断できる。そして物理オブジェクトが付箋であると判断された場合に、電子オブジェクトのオブジェクトタイプは同期表示タイプであると決定できる。

図６は、静止画における、物理オブジェクトに対応する画像領域の特徴に基づいて、電子オブジェクトのオブジェクトタイプを決定するフローチャートである。図７は静止画的な特徴に基づいて、電子オブジェクトのオブジェクトタイプを決定する物理オブジェクトの例である。最初に、電子オブジェクトタイプ決定手段３５１は、対象となっている電子オブジェクトが物理有無＝あるとなっているかを判定し、物理オブジェクトがない場合には以下の処理を行わない（Ｓ６００）。電子オブジェクトタイプ決定手段３５１は、当該電子オブジェクトの位置・情報に相当する投影画像上の部分画像を抽出する（Ｓ６０１）。電子オブジェクトタイプ決定手段３５１は、部分画像およびその周辺部において手が重畳・隣接して撮影されているかを判定する（Ｓ６０４）。例えば、図７に示す物理オブジェクト７０１は、手７０２が重畳されていると判断される。手が重畳・隣接している場合、電子オブジェクトタイプ決定手段３５１は当該電子オブジェクトのオブジェクトタイプを永続表示タイプと決定する（Ｓ６０６）。

電子オブジェクトタイプ決定手段３５１は、手が重なっていない場合には、部分画像中に識別マーカーやマグネットが含まれているかを判定する（Ｓ６１２）。例えば、物理オブジェクト７２１を撮影した部分画像中には識別マーカー７２２，７２３が存在している。物理オブジェクト７３１を撮影した部分画像中には識別マーカー７３２，７３３が存在している。これらの識別マーカーには任意の形状を用いることができ、そこに更に何らかの情報を付与する事もできる。

また、物理オブジェクト７４１を撮影した部分画像中には、マグネット７４２、７４３が存在している。物理オブジェクト７５１を撮影した部分画像中には、マグネット７５２が存在している。これらは画像中にマグネットに相当する画像が含まれているかを判定する事で、存在を判定できる。予めシステム側にマグネットとして用いる任意の形状や色を指定しておいてもよい。マグネット自体に識別マーカーを付与することもできる。部分画像中に識別マーカーやマグネットが存在する場合には、電子オブジェクトタイプ決定手段３５１は当該電子オブジェクトのオブジェクトタイプを同期表示タイプと決定する（Ｓ６１４）。

部分画像中に識別マーカーやマグネットが存在しない場合には、電子オブジェクトタイプ決定手段３５１は部分領域内での背景色を特定する（Ｓ６１８）。例えば、部分画像に含まれるそれぞれの色をクラスタリングし、最頻出となっている色クラスタを背景色であると推定できる。この時、付箋に書き込む際に油性マーカー等でよく使われる色クラスタは背景色とする候補から除外することが望ましい。次に、背景色がいずれかの付箋特定色と一致するかを判定する（Ｓ６２０）。市販されている紙付箋の色は、多くの場合、書き込みがはっきり見えるように淡い色合いの、かつそれぞれの付箋の色が見分けやすい色が用いられる。背景色と付箋特定色が一致しているのかを判定することで、部分領域に撮影されている物理オブジェクトが付箋であるかを判定する。なお、付箋特定色は予め決めてあってもよいし、明度や彩度などの条件を元に決定することもできる。更に、本実施例では色を基準に判定しているが、部分画像の幅・高さの比率が、付箋の幅・高さの比率と一致しているかなどの形状的な特徴を元に判定してもよい。

電子オブジェクトタイプ決定手段３５１は、背景色が付箋特定色と一致している場合には、同期表示タイプと決定する（Ｓ６２２）。一致していない場合には、未定タイプと決定する（Ｓ６２４）。他に処理するべき電子オブジェクトがあれば処理を繰り返し、そうでなければ処理を終了する（Ｓ６３０）。ここでは、部分領域内の色や識別マーカーやマグネットなどの特定画像が含まれているかを、オブジェクトタイプを判断する材料に用いた。その他、部分領域内の色数や、線の太さの平均・分散などを、オブジェクトタイプの判断に用いることもできる。

＜動画的特徴に基づくオブジェクトタイプ決定＞
次に、同期表示タイプとして取り込むべき物理オブジェクトと、永続表示タイプとして取り込むべき物理オブジェクトが混在している場合に、動画から得られる画像上の特徴を考える。

同期表示タイプとして取り込むべき物理オブジェクトをマグネットによって撮影面上に固定するユースケースを考える。永続表示タイプとして取り込むべき物理オブジェクトは、マグネットでは撮影面上に固定する事が出来ず、その代わりに、手で持つことで投影面上に固定する。この時、同期表示タイプとして取り込むべき物理オブジェクトは撮影面上に長時間固定できる。しかし、永続表示タイプとして取り込むべき物理オブジェクトは会議参加者が手動で撮影面上に固定するため、会議参加者の利便性を考えれば、できるだけ短くすることが理想的である。これを利用すると、最初、（取り込むべき）全ての電子オブジェクトを永続表示タイプと仮決定しておき、一定時間以上投影面上に静止した電子オブジェクトに同期表示タイプに再決定する方法を採用することができる。これらの挙動は紙付箋を用いるユースケースでも同様である。

図８は、動画における、物理オブジェクトに対応する画像領域の特徴に基づいて電子オブジェクトのオブジェクトタイプを決定するフローチャートである。図９は、電子オブジェクトのオブジェクトタイプを、動画的な特徴に基づいて決定する例である。最初に、電子オブジェクトタイプ決定手段３５１は、対象となっている電子オブジェクトが物理有無＝あるとなっているかを判定し、物理オブジェクトがない場合には以下の処理を行わない（Ｓ８００）。電子オブジェクトタイプ決定手段３５１は、当該電子オブジェクトと電子オブジェクト記憶部３３１に記憶している電子オブジェクトとを比較し、新規登録となっているかを判定する（Ｓ８０２）。新規登録である場合には、オブジェクトタイプを未定タイプとする（Ｓ８０４）。

次に、電子オブジェクトタイプ決定手段３５１は電子オブジェクト記憶部３３１に記憶している情報から比較して、前回の撮影時から電子オブジェクトが移動しているかを判定する（Ｓ８０６）。電子オブジェクトの元となった物理オブジェクトが撮影画像内で移動しているかを判定している事と等価である。なお、実際には撮影時に端末を設置している机の振動などによって撮影画像にブレなどが生じる事が予想される。これらについては移動判定においてはある程度の閾値を持って多少の変動を許容できるようにするものとする。電子オブジェクトが移動していると判断した場合、電子オブジェクトタイプ決定手段３５１は、当該電子オブジェクトのオブジェクトタイプを未定タイプと判定する（Ｓ８０８）。

電子オブジェクトが移動していないと判断した場合、電子オブジェクトタイプ決定手段３５１は静止を継続している時間を算出する（Ｓ８１０）。電子オブジェクトタイプ決定手段３５１は、静止時間が任意の閾値である取込判定閾値以下であるかを判定し、取込判定閾値以下であれば、当該電子オブジェクトのオブジェクトタイプを未定タイプと決定する（Ｓ８１４）。静止時間が取り込み判定閾値よりも大きい場合には、電子オブジェクトタイプ決定手段３５１は静止時間が同期判定閾値以下であるかを判定し、同期判定閾値以下であれば当該電子オブジェクトのオブジェクトタイプを永続表示タイプと決定する（Ｓ８２４）。静止時間が同期判定閾値よりも大きければ、電子オブジェクトタイプ決定手段３５１は当該電子オブジェクトのオブジェクトタイプを同期表示タイプと決定する（Ｓ８２６）。他に処理するべき電子オブジェクトがあれば処理を繰り返し、そうでなければ処理を終了する（Ｓ８３０）。

以下、図９を用いて具体的な挙動について補足する。本例では所定時間として、取込判定閾値は４秒、同期判定閾値は８秒とする。また、電子オブジェクト記憶部３３１には何も電子オブジェクトが登録されていないものとする。

図９（Ａ）は、２０１３年５月２０日 ９：１９：４２．２５０に撮影された撮影画像である。「マスコット案！」と書かれた物理オブジェクト９５１が撮影されている。この時、電子オブジェクト記憶部３３１に電子オブジェクトが１つも存在していない。よって、電子オブジェクトタイプ決定手段３５１は、当該物理オブジェクト９５１を撮影した部分領域から生成した電子オブジェクト９０１のオブジェクトタイプを未定タイプと判断する。そして、電子オブジェクトタイプ決定手段３５１は、電子オブジェクト９０１は後の処理で電子オブジェクト記憶部３３１に記憶する。

図９（Ｂ）は、２０１３年５月２０日 ９：１９：４７．２５０に撮影された撮影画像である。「マスコット案！」「いぬ」「斜め下への矢印」と書かれた物理オブジェクト９６１，９６２，９６４と、手持ちの「犬画像」の物理オブジェクト９６３が撮影画像に含まれている。この時、電子オブジェクト記憶部３３１には電子オブジェクト９０１が記憶されている。電子オブジェクトタイプ決定手段３５１は電子オブジェクト９１１と電子オブジェクト９０１を比較して、移動していないと判定する。この時、静止開始時刻と撮影時刻とを差分から、静止時間が５秒であることが算出される。これは、取込判定閾値を超えており、かつ、同期判定閾値未満である。よって、電子オブジェクトタイプ決定手段３５１は、電子オブジェクト９１１のオブジェクトタイプを永続表示タイプと判断する。電子オブジェクトタイプ決定手段３５１は、電子オブジェクト９１２，９１３，９１４が電子オブジェクト記憶部３３１に該当する電子オブジェクトが記憶されていないため、未定タイプであると判断する。

図９（Ｃ）は、２０１３年５月２０日 ９：１９：５２．２５０に撮影された撮影画像である。「マスコット案！」「いぬ」「斜め下への矢印」と書かれた物理オブジェクト９７１，９７２，９７４が撮影画像に含まれている。手持ちの「犬」の物理オブジェクト９７３は撮影面から除外されている。この時、電子オブジェクト記憶部３３１には電子オブジェクト９０１、９１２、９１３、９１４が記憶されている。電子オブジェクトタイプ決定手段３５１は電子オブジェクト９２１と電子オブジェクト９０１を比較して、移動していないと判定する。この時、静止開始時刻と撮影時刻とを差分から、静止時間が１０秒と算出される。この静止時間は、取込判定閾値を超えており、かつ、同期判定閾値も超えている。よって、電子オブジェクトタイプ決定手段３５１は、電子オブジェクト９２１のオブジェクトタイプを同期表示タイプと判断する。

物理オブジェクト９７３は撮影面から除外されているので、電子オブジェクト９１３を元に物理有無をなしとして取り込まれているため、オブジェクトタイプは決定されない。よって、電子オブジェクトタイプ決定手段３５１は、電子オブジェクト９２３を未定タイプと判断する。電子オブジェクト９２２，９２４についても同様に判定を行うと、静止時間が５秒であることから、永続表示タイプであると判断される。すなわち、本例では、電子オブジェクトの静止時間が４秒以上であって８秒以内の場合に、電子オブジェクト決定手段は該電子オブジェクトを永続表示タイプであると判定する。

図９（Ｄ）は、２０１３年５月２０日 ９：１２：５７．３５０に撮影された撮影画像である。「マスコット案！」「いぬ」「斜め下への矢印」と書かれた物理オブジェクト９８１，９８２，９８３が撮影画像に含まれている。この時、電子オブジェクト記憶部３３１には電子オブジェクト９０１、９１２、９１３、９１４が記憶されている。電子オブジェクトタイプ決定手段３５１は、電子オブジェクト９３１と電子オブジェクト９０１を比較して、移動していないことを判定する。この時、静止開始時刻と撮影時刻とを差分から、静止時間が１５秒と算出される。この静止時間は、取込判定閾値を超えており、かつ、同期判定閾値も超えている。よって、電子オブジェクト９３１のオブジェクトタイプは同期表示タイプとなる。電子オブジェクト９３２，９３３についても同様に判定を行うと、静止時間が１０秒であることから、同期表示タイプであると判断される。

以上の処理によれば、本発明の会議端末は、それぞれの電子オブジェクトの元となった物理オブジェクトが撮影画像内で静止しているか否かに応じ、オブジェクトタイプを決定する事ができる。これにより、撮影面上にマグネット等で固定できる物理オブジェクトを対象に、それと対応する電子オブジェクトへ、同期表示タイプのオブジェクトタイプを付与できる。また、手で持っているような物理オブジェクトには、同期判定閾値に達する前に撮影面から除外するジェスチャによって、永続表示タイプのオブジェクトタイプを付与できる。

＜更新実施判断＞
更新実施判断手段３５２は、それぞれの電子オブジェクトに対して２つの更新処理を行うかを判別する。１つは、ローカル電子オブジェクト記憶手段３１３が行う本端末側の電子オブジェクト記憶部３３１内の電子オブジェクト情報を更新する処理である。もう１つは、電子オブジェクトパケット送信手段３１４を介して行う、対向端末の電子オブジェクト記憶部３３１内の電子オブジェクト情報を更新する処理である。

図１０は、更新実施判断手段３５２が行う、各電子オブジェクトの更新実施判断を行う処理のフローチャートである。更新実施判断手段３５２は、電子オブジェクト記憶部３３１に同等の情報が記憶されているか否かに基づき、新規登録かを判別する（Ｓ１００４）。更新実施判断手段３５２は、新規登録であれば当該電子オブジェクトのオブジェクトタイプに応じて処理を分岐する（Ｓ１００５）。更新実施判断手段３５２は、オブジェクトタイプが同期表示タイプ、もしくは、永続表示タイプであれば、送信フラグをＴＲＵＥにし（Ｓ１０１２）、記憶フラグをＴＲＵＥにする（Ｓ１０１４）。更新実施判断手段３５２は、オブジェクトタイプが未定タイプであれば、送信フラグをＦＡＬＳＥにし（Ｓ１０２２）、記憶フラグをＴＲＵＥにする（Ｓ１０２４）。つまり、まだ新規登録となる電子オブジェクトは無条件に登録処理を行う。しかし、オブジェクトタイプが未定タイプであるものは、対向端末へ送信しない。これは、表示された時間が４秒以下など短い場合は、対向端末に反映する必要がないケースが多いためである。

新規登録ではない場合、前回の登録時から電子オブジェクトの画像情報や一致情報に変化があったかを判別する（Ｓ１００８）。変化している場合には、オブジェクトタイプに応じて処理を分岐する（Ｓ１００９）。更新実施判断手段３５２は、当該電子オブジェクトのオブジェクトタイプが同期表示タイプであれば、送信フラグをＴＲＵＥに（Ｓ１０３２）、記憶フラグをＴＲＵＥにする（Ｓ１０３４）。更新実施判断手段３５２は、永続表示タイプであれば、送信フラグをＦＡＬＳＥに（Ｓ１０４２）、記憶フラグをＦＡＬＳＥにする（Ｓ１０４４）。未定タイプであれば、送信フラグをＦＡＬＳＥに（Ｓ１０５２）、記憶フラグをＴＲＵＥに変更する（Ｓ１０５４）。すなわち、既に登録されているものから変化があった電子オブジェクトは、同期表示タイプであれば変更を送信し、記憶もするが、永続表示タイプであればその変更を送信も記憶もしない。未定タイプの電子オブジェクトは、本端末内では内容更新するが、対向端末に送信は行わない。

移動していない場合、更新実施判断手段３５２は電子オブジェクト記憶手段３３１に記憶されている電子オブジェクトからオブジェクトタイプ、物理有無のいずれかに変更があるかを判定する（Ｓ１０１０）。更新実施判断手段３５２は、変更が無い場合には送信フラグをＦＡＬＳＥに（Ｓ１０６２）、記憶フラグをＦＡＬＳＥにする（Ｓ１０６４）。更新実施判断手段３５２は、オブジェクトタイプに変更がある場合には、送信フラグをＴＲＵＥに（Ｓ１０７２）、記憶フラグをＴＲＵＥにする（Ｓ１０７４）。すなわち、前回撮影時から情報が更新されていない場合には、送信処理や更新処理を行わないためデータ量を抑えることができる。

そして、送信フラグがＴＲＵＥになっている場合（Ｓ１０８２）、更新実施判断手段３５２は送信候補に当該電子オブジェクトを追加する（Ｓ１０８４）。また、記憶フラグがＴＲＵＥになっているか場合（Ｓ１０９２）、更新実施判断手段３５２は当該電子オブジェクトを記憶候補に追加する（Ｓ１０９４）。他に処理するべき電子オブジェクトがあれば処理を繰り返す（Ｓ１０９９）。処理するべき電子オブジェクトが無くなれば、電子オブジェクトパケット送信手段３１４に送信候補を通知する事で、対向端末に送信候補を送信する（Ｓ１０８６）。また、ローカル電子オブジェクト記憶手段３１３に記憶候補を通知することで、電子オブジェクト記憶部３３１内に記憶されている電子オブジェクトの情報を更新する（Ｓ１０９６）。

図９を元に更新実施判断手段を具体的に説明する。まず、図９（Ａ）の段階を考える。電子オブジェクト９０１は新規登録であるが、オブジェクトタイプが未定タイプであるため、送信フラグはＦＡＬＳＥ、記憶フラグはＴＲＵＥが設定される（Ｓ１０２２，Ｓ１０３４）。つまり、本端末では保存されるが、対向端末には情報を送信しない。

図９（Ｂ）の段階を考える。電子オブジェクト９１１は、同じ画像情報かつ同じ位置に存在する電子オブジェクト９０１が既に登録されており、位置も移動していない。オブジェクトタイプが未定タイプから永続表示タイプに変化したため、送信フラグはＴＲＵＥ、記憶フラグもＴＲＵＥが設定される（Ｓ１０７２，Ｓ１０７４）。よって、本端末で保存すると共に、対向端末に情報を送信する。一方、電子オブジェクト９１２、９１３、９１４は新規登録であり、オブジェクトタイプが未定タイプであるため、送信フラグがＦＡＬＳＥ、記憶フラグがＴＲＵＥとなる。

図９（Ｃ）の段階を考える。電子オブジェクト９２１は、電子オブジェクト９０１が既に登録されており、位置も移動していない。しかし、オブジェクトタイプが永続表示タイプから同期表示タイプに変化したため、送信フラグがＴＲＵＥ、記憶フラグもＴＲＵＥが設定される。よって、本端末で保存すると共に、対向端末に情報を送信する。電子オブジェクト９２２，９２４は、電子オブジェクト９１２，９１４が登録されており、位置は変更していないがオブジェクトタイプが変更しているため、送信フラグがＴＲＵＥ、記憶フラグもＴＲＵＥが設定される。電子オブジェクト９２３は新規追加にもなっておらず、位置情報も変更なく、物理有無情報がなしとなっているため、送信フラグがＴＲＵＥ、記憶フラグもＴＲＵＥが設定される。つまりこれによって除外された事が共有される。

最後に、電子オブジェクト９３１は、電子オブジェクト９０１が既に登録されており、位置・オブジェクトタイプともに変化が無い。よって、送信フラグも記憶フラグもＦＡＬＳＥが設定される。電子オブジェクト９３２、９３３は、電子オブジェクト９２２，９２４が登録されており、位置は変更していないがオブジェクトタイプが変更しているため、送信フラグがＴＲＵＥ、記憶フラグもＴＲＵＥが設定される。

＜投影画像の形成＞
投影画像形成手段３３２は、電子オブジェクト記憶手段３１３が記憶している電子オブジェクトを元に、画像投影モジュール２１２を使って投影画像出力手段３３３が投影する投影画像を形成する。

図１１は、電子オブジェクトから投影画像を形成するフローチャートである。図１２は、電子オブジェクト記憶部３３１が記憶している電子オブジェクトの例である。図１３は、電子オブジェクトから投影画像を形成する例である。

投影画像形成手段３３２は、投影画像を白紙で初期化する（Ｓ１１０２）。そして、投影画像形成手段３３２は電子オブジェクト記憶手段３１３が記憶している全電子オブジェクトに対して以下の処理を繰り返す。電子オブジェクトのオブジェクトタイプに応じて処理を分岐する（Ｓ１１０４）。電子オブジェクトのオブジェクトタイプが削除済みタイプである場合には、投影画像形成手段３３２は画像描画フラグをＦＡＬＳＥに設定する（Ｓ１１１０）。

電子オブジェクトのオブジェクトタイプが未定タイプである場合には、投影画像形成手段３３２は画像描画フラグをＦＡＬＳＥに設定する（Ｓ１１１２）。つまり、オブジェクトタイプが永続表示タイプとも同期表示タイプとも決定できていない場合には、当該電子オブジェクトは表示しない。電子オブジェクトのオブジェクトタイプが、永続表示タイプである場合には、投影画像形成手段３３２は画像描画フラグをＴＲＵＥに設定する（Ｓ１１２２）。つまり、オブジェクトタイプが永続表示タイプである場合には、その電子オブジェクトは本端末・対向端末の両方ともに表示される。

電子オブジェクトのオブジェクトタイプが同期表示タイプである場合、投影画像形成手段３３２は電子オブジェクトの生成端末情報が本端末と一致しているかを判定する（Ｓ１１０６）。一致している場合には、投影画像形成手段３３２は画像描画フラグをＦＡＬＳＥに設定する（Ｓ１１３２）。本端末が生成した電子オブジェクトであれば、物理オブジェクトが画面上に表示されているため、投影する必要がないからである。一致していない場合には、物理オブジェクトが存在しているかを判定する（Ｓ１１０８）。物理オブジェクトが存在している場合には、投影画像形成手段３３２は画像描画フラグをＴＲＵＥに設定する（Ｓ１１４２）。物理オブジェクトが存在していない場合には、投影画像形成手段３３２は画像描画フラグをＦＡＬＳＥに設定する（Ｓ１１５２）。すなわち、オブジェクトタイプが同期表示タイプである場合には、本端末で生成した電子オブジェクトは描画されない。また、対向端末で生成したが物理オブジェクトが存在していない電子オブジェクトは表示されない。対向端末で生成し、物理オブジェクトが存在している電子オブジェクトは表示される。

以上の結果、投影画像形成手段３３２は画像描画フラグを判断し（Ｓ１１６２）、ＴＲＵＥが設定された場合には、電子オブジェクトの位置情報と画像情報を元に投影画像上に描画する（Ｓ１１６４）。他に処理するべき電子オブジェクトがあれば処理を繰り返し、そうでなければ処理を終了する（Ｓ１１９９）。

投影画像形成の具体例を図１２、図１３を用いて説明する。図１２（Ａ）は端末１０１を設置された拠点における、撮影面上の物理オブジェクトの配置を表したものである。図１２（Ｂ）は端末１０２を設置された拠点における、撮影面上の物理オブジェクトの配置を表したものである。図１２（Ｃ）は端末１０１側の電子オブジェクト記憶手段３３１に記憶されている電子オブジェクトである。図１２（Ｄ）は端末１０１側の電子オブジェクト記憶手段３３１に記憶されている電子オブジェクトである。

電子オブジェクト１２５１，１２５２，１２５３，１２５４及び１２５８は端末１０１側で生成された電子オブジェクトである。電子オブジェクト１２５３はその元となった物理オブジェクトは既に除外されて撮影面上に存在せず、そのオブジェクトタイプは永続表示タイプとなっている。電子オブジェクト１２５８はその元となった物理オブジェクト１２０８が撮影面上に存在するが、オブジェクトタイプは未定タイプが設定されている。電子オブジェクト１２５５，１２５６，１２５７は端末１０２側で生成された。電子オブジェクト１２５７はその元となった物理オブジェクトは既に除外されて撮影面上に存在せず、そのオブジェクトタイプは永続表示タイプとなっている。

端末１０１、１０２側ではそれぞれ異なる投影画像を形成し、それを撮影面上に重畳表示する。その具体例を示したものが図１３になる。図１３（Ａ）は、図１２（Ｃ）に示した電子オブジェクト群に基づき、端末１０１が形成する投影画像の例である。電子オブジェクト１２５３、１２５７は永続表示タイプであることから、端末１０１の投影しようとする投影画像上に画像が描画される。電子オブジェクト１２５５，１２５６は同期表示タイプであり、対向端末で生成され、対向端末の撮影面上に物理オブジェクトが存在していることから、端末１０１の投影しようとする投影画像上に画像が描画される。電子オブジェクト１２５８はオブジェクトタイプが未定であるため、端末１０１の投影しようとする投影画像上に表示されない。以上の処理で投影画像図１３（Ａ）が形成される。この投影画像を図１２（Ａ）の撮影面上に重畳表示すると、図１３（Ｃ）が得られる。

図１３（Ｂ）は、図１２（Ｄ）に示した電子オブジェクト群に基づき、端末１０２が形成する投影画像の例である。電子オブジェクト１２５３、１２５７は永続表示タイプであることから、端末１０２の投影しようとする投影画像上に画像が描画される。電子オブジェクト１２５１，１２５２，１２５４は同期表示タイプであり、対向端末で生成され、対向端末の撮影面上に物理オブジェクトが存在するため、端末１０２の投影しようとする投影画像上に画像が描画される。以上の処理で投影画像図１３（Ｂ）が形成される。この投影画像を図１２（Ｂ）の撮影面上に重畳表示すると、図１３（Ｄ）が得られる。

このように、各端末で電子オブジェクトに基づいて投影画像を形成し、撮影面上の物理オブジェクトに重畳表示することで、各端末間で同じ情報を共有できる。この時、永続表示タイプの電子オブジェクトは、物理オブジェクトが存在しない場合でも、どの端末にも表示される。同期表示タイプの電子オブジェクトは、物理オブジェクトが存在する場合に表示される。オブジェクトタイプが未定タイプの電子オブジェクトの情報は各会議端末間で共有されない。

以上、本発明の情報処理装置によれば、自装置以外の情報処理装置と電子オブジェクトを共有する場合に当該電子オブジェクトのタイプを特定して共有方法を切り替えることにより操作性を向上させることが可能となる。同期表示タイプである電子オブジェクトは、撮影面上での物理オブジェクトの変化に対して、投影面上の電子オブジェクトにその変化を反映させる。これにより、物理オブジェクトを介して電子オブジェクトの移動や除外といった操作、すなわち、タンジブル・インタフェースを会議の場に導入でき、会議参加者にとって操作性が向上できる。また、永続表示タイプである電子オブジェクトは、撮影面上での物理オブジェクトの変化に対して、投影面上の電子オブジェクトにその変化を反映させない。この事で、物理的な制約を気にせずに、カメラによって撮影できる様々な資料を会議に取り込むことができる。これにより、資料を会議の場に取り込む際の前処理の煩雑さを解決でき、会議開催時の準備の負荷を大幅に軽減できる。

（実施例２）
実施例２では、会議参加者が手動で行うオブジェクトタイプの付与を中心に説明する。実施例１の手段をもってしても、会議参加者が望んだ電子オブジェクトのオブジェクトタイプを部分領域の静止画的・動画的特徴から確実に推定できるとは限らない。推定である以上は、ある一定の誤認識が含まれていると考える事が妥当である。そのため、何かしらの形で、オブジェクトタイプの誤認識をリカバリーできる手段が必要である。例えば、必ず特定のオブジェクトタイプが設定できる必要がある。あるいは、電子オブジェクトのオブジェクトタイプを会議参加者が後から容易に変更できる必要がある。

オブジェクトタイプの誤認識に対する１つのリカバリー手段として、次の撮影で取得される撮影画像から生成される電子オブジェクトのオブジェクトタイプを予め明示的に指定しておく手段が考えられる。図１４は、明示的にオブジェクトタイプを指定するユーザインタフェースの例と、その時の投影面上の表示を示す。設定ダイアログ１４００は、投影面上に表示される明示的なオブジェクトタイプを強制的に付与する為のダイアログボックスである。これはジェスチャ入力手段３６１や、ＨＩＤ入力手段３６２、音声入力手段３６３からの指示によって、投影画像形成手段３３２が描画する事で表示される。

設定ダイアログ１４００は、オブジェクトタイプ決定モードを設定するための選択項目ある。本例では、オブジェクトタイプ決定モードとしては、自動判別モード、固定判別（永続）モード、固定判別（同期）モードを選択可能である。ユーザが自動判定ボタン１４０２を指定すると、オブジェクトタイプ決定モードは自動判別モードとなる。ユーザが固定判定（永続）ボタン１４０６を指定すると、オブジェクトタイプ決定モードは固定判定（永続）モードとなる。ユーザが固定判定（同期）ボタン１４０８を指定すると、オブジェクトタイプ決定モードは固定判定（同期）モードとなる。

オブジェクトタイプ決定モードが自動判別モードである場合には、前述した電子オブジェクトのオブジェクトタイプを、その元となった部分領域の、静止画的・動画的特徴の少なくとも一方に基づいて決定する。オブジェクトタイプ決定モードが固定判定（同期）モード、あるいは、固定判定（同期）モードである場合には、次の電子オブジェクトを取り込んだときのオブジェクト判定を固定的に決定する。

なお、この設定ダイアログ１４００を介さずにジェスチャ入力手段３６１、音声入力手段３６３でどのモードにするかを指定出来てもよい。例えば、オブジェクトタイプ決定モードを、右腕を時計方向に回すジェスチャをした場合には固定判別（永続）モードにする、半時計方向に回すジェスチャをした場合には、固定判別（同期）モードにする、ということも可能である。

更に、ジェスチャ入力手段３６１、音声入力手段３６３を介して撮影タイミングを指示すると同時にどのモードにするかを指定出来てもよい。音声入力モジュール２１３から入力された音声が「永続表示タイプで撮影」であると音声入力手段３６３が認識した場合には、オブジェクトタイプ決定モードが固定判定（永続）モードにした後に、電子オブジェクトの取り込み処理を実行する。音声入力モジュール２１３から入力された音声が「同期表示タイプで撮影」であると音声入力手段３６３が認識した場合には、オブジェクトタイプ決定モードが固定判定（同期）モードにした後に、電子オブジェクトの取り込み処理を実行する。

この時、オブジェクトタイプ決定モードを会議参加者に通知する為、投影面上に、ラベルボタン１４５２、１４５４、１４５６のようにオブジェクトタイプ決定モードを表示する手段を別途設けてもよい。

オブジェクトタイプの誤認識に対する１つのリカバリー手段として、物理オブジェクトが置かれた位置に応じてオブジェクトタイプを固定で指定する手段も考えられる。図１５は、位置に応じてオブジェクトタイプを指定するフローチャートである。また、図１６は、位置に応じてオブジェクトタイプを指定する部分エリアの表示例である。

物理オブジェクトが置かれた位置に応じてオブジェクトタイプを固定で指定する手段では、撮影面上の一部領域に強制永続表示エリアを設ける。例えば、図１６（Ａ）のように撮影面の周縁部を強制永続表示エリア１６０１とすることができる。図１６（Ｂ）のように下部を強制永続表示エリア１６１１とすることができる。図１６（Ｃ）のように撮影面の下側の角を強制永続表示エリア１６２１，１６２２とすることができる。あるいは、図１６（Ｄ）のように撮影面の左右端を強制永続表示エリア１６３１，１６３２とすることができる。

強制永続表示エリアは様々な形状を用いることが出来、これらはそれらの１バリエーションにすぎない。また、矩形である必要はなく、三角形、円形、円弧など様々な形状を用いることもできる。また、電子オブジェクトが強制永続表示エリアの一部が重なっているという条件の他に、確実に強制永続表示エリアに電子オブジェクトが包含されたという条件を用いてもよい。投影画像上に強制永続表示エリアを描画して、投影面上に重畳表示をしてもよい。

最初に、電子オブジェクト記憶部３３１の内容に基づいて、電子オブジェクト生成手段３１２が生成した電子オブジェクトが静止中かを判断する（Ｓ１５０２）。電子オブジェクトタイプ決定手段３５１は、静止していなければ、そのオブジェクトタイプは未定タイプと決定する（Ｓ１５１２）。オブジェクトが静止していれば、その静止時間を求める（Ｓ１５０４）。Ｓ１５０６で、電子オブジェクトタイプ決定手段３５１は、静止時間が任意の閾値である取込判定閾値以下である場合には、オブジェクトタイプは未定タイプと決定する。静止時間が取込判定閾値より大きい場合、電子オブジェクトが強制永続表示エリア上にあるかを判定する（Ｓ１５０８）。電子オブジェクトタイプ決定手段３５１は、該エリア上に無い場合にはオブジェクトタイプは未定タイプと決定する。エリア上にある場合には永続表示タイプと決定する（Ｓ１５１０）。他に処理するべき電子オブジェクトがあれば処理を繰り返し、そうでなければ処理を終了する（Ｓ１５９９）。なお、本フローチャートでは、Ｓ１５０８の処理において、強制永続表示エリア上にないと判断された場合はＳ１５１２で未定タイプと決定された。しかし、部分エリア以外に所定の時間を越えて表示されている、つまり静止時間が取込判定閾値より大きい場合であれば、同期表示タイプと決定されてもよい。

例えば、図１６（Ａ）における物理オブジェクト１６０１を取り込む場合には、これを元にした電子オブジェクトが強制永続表示エリア１６１１の上にある為、電子オブジェクトのオブジェクトタイプは永続表示タイプであると決定される。なお、同期表示タイプを付与すべく強制同期表示エリアを撮影面上に設けてもよい。

オブジェクトタイプの誤認識に対する１つのリカバリー手段として、電子オブジェクトを表示している上に物理オブジェクトを置くことでオブジェクトタイプの変更を指定する方法も考えられる。図１７は、電子オブジェクトを表示している上に物理オブジェクトを置くことでオブジェクトタイプの変更するフローチャートである。図１８は、電子オブジェクトを表示している上に物理オブジェクトを置くことでオブジェクトタイプの変更するフローチャート例である。

最初に、電子オブジェクト記憶部３３１の内容に基づいて、電子オブジェクト生成手段３１２が生成した電子オブジェクトが静止中かを判断する（Ｓ１７０２）。電子オブジェクトタイプ決定手段３５１は、静止していなければ、そのオブジェクトタイプは未定タイプとする（Ｓ１７１２）。電子オブジェクトタイプ決定手段３５１は、オブジェクトが静止していれば、その静止時間を求める（Ｓ１７０４）。Ｓ１７０６で、電子オブジェクトタイプ決定手段３５１は、静止時間が任意の閾値である同期判定閾値以下である場合には、オブジェクトタイプは未定タイプと決定する。静止時間が同期判定閾値より大きい場合、電子オブジェクトが同じ画像情報と位置情報を持つ電子オブジェクト上にあるかを判定する（Ｓ１７０８）。電子オブジェクトタイプ決定手段３５１は、この上に無い場合にはオブジェクトタイプは未定タイプとする。上にある場合には同期表示タイプとする（Ｓ１７１０）。他に処理するべき電子オブジェクトがあれば処理を繰り返し、そうでなければ処理を終了する（Ｓ１７９９）。

図１８を用いて、具体的な動作について説明する。図１８（Ａ）は、電子オブジェクト記憶手段３１３が記憶している永続表示タイプのオブジェクトタイプを持つ電子オブジェクト１８１１の上に、会議参加者が物理オブジェクト１８０１を近づけている状態を示す。

図１８（Ｂ）は、電子オブジェクト１８１１の上に同じ画像情報と位置情報を持つ電子オブジェクトが生成されるように、物理オブジェクト１８０１を移動し、静止している状態を示す。物理オブジェクト１８０１から電子オブジェクトが生成されると、生成した電子オブジェクトによって、電子オブジェクト記憶手段３１３で記憶している電子オブジェクト１８１１はオブジェクトタイプを永続表示タイプから同期表示タイプに更新される。

図１８（Ｃ）は、物理オブジェクト１８０１を移動した例である。この時、同期表示タイプでかつ物理が存在する為、当該電子オブジェクトは投影面上に表示されない。例えば、この状態で会議参加者は、先ほどのリカバリー手段で前述した手段を用いて、音声入力手段３６３を介してオブジェクトタイプを同期表示タイプから永続表示タイプに変更して電子オブジェクトを取り込む指示をする。すると、電子オブジェクト１８１１のオブジェクトタイプは、同期表示タイプから永続表示タイプに更新される。

図１８（Ｄ）は、物理オブジェクト１８０１を動かした例である。物理オブジェクト１８０１と電子オブジェクト１８１１はオブジェクトタイプの変更に伴い独立して表示される。以上に示したように、この機能を利用する事で、永続表示タイプとして取り込まれた電子オブジェクトを、物理オブジェクトを重ねるという簡単な操作で、同期表示タイプのオブジェクトタイプに再設定することが可能となる。

（実施例３）
実施例３では、オブジェクトタイプ決定への距離情報活用について述べる。実施例３の会議端末は、撮影画像内に含まれる部分領域の静止画的・動画的な特徴に基づき、電子オブジェクトのオブジェクトタイプを決定する点に特徴がある。しかし、たとえば手やマグネットが撮影された写真をホワイトボードへ示した場合、その手やマグネットが実際に存在する立体物なのか、実際には存在しない平面なのかを確実に区別することは難しい。そのため、オブジェクトタイプの誤判定が生じる場合もありえる。

本実施例の電子会議端末では、画像撮影モジュール２１１はステレオカメラである。ステレオカメラは通常の映像取得のカメラを２つ持ち、それぞれのカメラで撮影した画像の特徴点から撮影対象との距離情報を推定するカメラである。撮影面上にある物理オブジェクトとカメラとの距離情報から、撮影対象が立体物か否かを判断する。

なお、ここで距離情報を取得するためにステレオカメラの代わりに距離画像センサ技術を用いてもよい。距離画像センサは撮影対象との距離情報を測定するセンサであり、例えば赤外線の反射時間などが用いられる。距離画像センサやステレオカメラは、３次元モデルに基づいたジェスチャ認識や、複数枚画像からの超解像処理など、他の用途に兼用してもよい。

図１９に、距離情報を適用したオブジェクトタイプ決定処理の例を示す。撮影面１９００上には、物理オブジェクト１９０１と物理オブジェクト１９１１が含まれる。物理オブジェクト１９０１は、マグネット１９０３と１９０２によって固定されている。一方、物理オブジェクト１９１１は手１９１２によって固定されている。そして、撮影面１９００と同じ領域を、距離画像センサやステレオカメラで撮影し、距離情報を求めた結果が距離マップ１９５０である。

距離マップ１９５０において、物理オブジェクト１９１１に対応して距離情報上でも形状１９６１が観測できる。一方で、物理オブジェクト１９０１に対応した形状は観測できない。これに基づき、撮影面に対してある程度の距離を離して持っている物理オブジェクト１９１１と、撮影面に貼りつけている物体１９０１とを識別できる。例えば、物理オブジェクト１９１１を撮影した部分領域から生成した電子オブジェクトに対しては永続表示タイプを付与できる。また、物理オブジェクト１９０１を撮影した部分領域から生成した物理オブジェクトに対しては同期表示タイプを付与する事が出来る。つまり、撮影面よりも手前の位置にあると判断された電子オブジェクトは永続表示タイプであると決定され、撮影面とほぼ同じ一にあると判断された電子オブジェクトは同期表示タイプであると決定される。

また、距離マップ１９５０では、マグネット１９０２，１９０３に対応するように距離情報上でも形状１９５２，１９５３が観測できる。これによりマグネットが「印刷物」ではなく「立体物」であることを認識することで、部分領域が立体物となっているマグネット画像を含んでいる場合にのみ、オブジェクトタイプを同期表示タイプと決定する事が出来るようになる。

更に、距離マップ１９５０では手１９１２に対応するように形状１９６２を観測する事が出来る。手や腕であれば多少の丸味を帯びている事が予想でき、そこから距離情報上でも階調性が構成されていることが期待できる。これを元に、色味だけを用いた判別よりも、より高い精度で手部分の検出ができる。以上に述べたとおり、オブジェクトタイプ決定への距離情報活用することで、オブジェクトタイプの認識精度をより高める事が出来る。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そしてそのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１０１、１０２ 会議端末

Claims (18)

1. 撮影された画像情報をネットワークを介して複数の情報処理装置で共有する情報処理装置であって、
   撮影面として撮影して得られた画像情報から物理オブジェクトを抽出し、該物理オブジェクトに対応する電子オブジェクトを生成する生成手段と、
   自装置以外の情報処理装置から電子オブジェクトを受信する受信手段と、
   前記生成手段により生成したまたは前記受信手段により受信した電子オブジェクトに基づいて生成された投影画像を投影面に投影する投影手段と、
   前記物理オブジェクトに対応する画像領域の特徴に基づいて、前記生成された電子オブジェクトのタイプが第１のタイプの電子オブジェクトか、第２のタイプの電子オブジェクトかを判断する判断手段と、
   前記判断手段により判断された電子オブジェクトを前記自装置以外の情報処理装置に送信する送信手段とを備え、
   前記送信手段は、前記物理オブジェクトに変化が生じた場合、
   前記電子オブジェクトが前記第１のタイプの電子オブジェクトであるときは、前記自装置以外の情報処理装置に当該電子オブジェクトに関する情報を送信し、
   前記電子オブジェクトが前記第２のタイプの電子オブジェクトであるときは、当該電子オブジェクトに関する情報を送信しない
   ことを特徴とする情報処理装置。
2. 前記投影手段は、前記物理オブジェクトに変化が生じた場合には、前記電子オブジェクトが前記第２のタイプであるときは当該電子オブジェクトの更新処理を行わず生成された投影画像を前記投影面に投影し、前記電子オブジェクトが前記第１のタイプであるときは更新処理を行って生成された投影画像を前記投影面に投影する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記生成または受信した電子オブジェクトに基づいて前記投影画像を描画する描画手段をさらに備え、
   前記描画手段は、前記第１のタイプであって自装置の前記生成手段により生成された電子オブジェクトであるときは当該電子オブジェクトを前記投影画像として描画せず、自装置以外の情報処理装置から受信した電子オブジェクトであるときは当該電子オブジェクトを前記投影画像として描画する
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記判断手段は、静止画または動画に基づいて前記電子オブジェクトのタイプを判断し、
   前記静止画を用いる場合は、前記静止画に物理オブジェクトを保持する第１の物体が含まれているときは前記第２のタイプと判断し、前記静止画に前記物理オブジェクトを保持する第２の物体が含まれているときは前記第１のタイプと判断し、
   前記動画を用いる場合は、前記電子オブジェクトの静止時間が第１の所定時間を越えているときは前記第１のタイプと判断し、前記第１の所定時間を越えていないときは前記第２のタイプであると判断する
   ことを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
5. 前記第１の物体は手であり、前記第２の物体は少なくとも識別マーカー、マグネットまたは付箋である
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記判断手段は、前記電子オブジェクトが前記第１の所定時間を越えないが、第２の所定時間を越えているときは当該電子オブジェクトを前記第２のタイプであると判断し、前記電子オブジェクトが前記第２の所定時間を越えていないときは当該電子オブジェクトを第３のタイプであると判断する
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記送信手段は、前記電子オブジェクトが新規に生成された場合であって前記第１のタイプまたは前記第２のタイプであるときは当該電子オブジェクトに関する情報を自装置以外の情報処理装置に送信し、前記電子オブジェクトが前記第３のタイプであるときは当該電子オブジェクトに関する情報を自装置以外の情報処理装置に送信しない
   ことを特徴とする請求項６に記載の情報処理装置。
8. 前記送信手段は、前記電子オブジェクトのタイプが前記第２のタイプから前記第１のタイプに変更された場合に、当該電子オブジェクトに関する情報を自装置以外の情報処理装置に送信する
   ことを特徴とする請求項６または７に記載の情報処理装置。
9. 前記第２のタイプの電子オブジェクトが前記投影面に投影された状態で当該電子オブジェクトと内容が同じ物理オブジェクトが撮影された場合、両方のオブジェクトが自装置の前記投影面に表示される
   ことを特徴とする請求項１乃至８のいずれか一項に記載の情報処理装置。
10. 前記物理オブジェクトが前記撮影面上に表示された場合に、当該電子オブジェクトを前記第１のタイプとするか前記第２のタイプとするかを選択する選択項目を前記投影面上に表示する表示手段をさらに備える
    ことを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
11. 前記投影面には、前記電子オブジェクトが表示された際に前記第２のタイプと判断するための一または複数の部分エリアが設けられており、
    前記判断手段は、前記電子オブジェクトが、前記部分エリアに第２の所定時間を越えて表示されているときは当該電子オブジェクトを前記第２のタイプと判断し、前記部分エリア以外に第２の所定時間を越えて表示されているときは当該電子オブジェクトを第３のタイプと判断する
    ことを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
12. 前記判断手段は、前記投影面上に投影された前記第２のタイプと判断された電子オブジェクト上に当該電子オブジェクトと内容が同じである物理オブジェクトが重ねて表示された場合に、当該電子オブジェクトを前記第１のタイプに変更する
    ことを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
13. 前記投影面には、前記電子オブジェクトが表示された際に前記第２のタイプと判断するための一または複数の部分エリアが設けられており、
    前記判断手段は、前記電子オブジェクトが、前記部分エリアに第２の所定時間を越えて表示されているときは当該電子オブジェクトを前記第２のタイプと判断し、前記部分エリア以外に第２の所定時間を越えて表示されているときは当該電子オブジェクトを前記第１のタイプと判断し、前記第２の所定時間を越えずに表示されているときは第３のタイプと判断する
    ことを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
14. 撮影対象との距離情報を測定する距離画像センサをさらに備え、
    前記判断手段は、前記距離画像センサが測定した距離情報に基づいて前記電子オブジェクトを前記第１のタイプとするか前記第２のタイプとするかを判断する
    ことを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
15. 前記電子オブジェクトのタイプを決定するための指示を受け付ける音声入力手段、ジェスチャ入力手段またはヒューマン・インタフェース・デバイスを少なくとも備える
    ことを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
16. 前記判断手段は、前記第２の物体が前記付箋である場合に当該付箋の色と前記物理オブジェクトの背景色とを抽出し、前記付箋の色と背景色が一致すれば前記第１のタイプであると判断し、一致しなければ前記第２のタイプであると判断する
    ことを特徴とする請求項５に記載の情報処理装置。
17. 撮影された画像情報をネットワークを介して複数の情報処理装置で共有する情報処理装置の制御方法であって、
    撮影面として撮影して得られた画像情報から物理オブジェクトを抽出し、該物理オブジェクトに対応する電子オブジェクトを生成する生成工程と、
    自装置以外の情報処理装置から電子オブジェクトを受信する受信工程と、
    前記生成工程において生成されたまたは前記受信工程において受信された電子オブジェクトに基づいて生成された投影画像を投影面に投影する投影工程と、
    前記物理オブジェクトに対応する画像領域の特徴に基づいて、前記生成された電子オブジェクトのタイプが第１のタイプの電子オブジェクトか、第２のタイプの電子オブジェクトかを判断する判断工程と、
    前記判断工程において判断された電子オブジェクトを前記自装置以外の情報処理装置に送信する送信工程とを含み、
    前記送信工程では、前記物理オブジェクトに変化が生じた場合、
    前記電子オブジェクトが前記第１のタイプの電子オブジェクトであるときは、前記自装置以外の情報処理装置に当該電子オブジェクトに関する情報が送信され、
    前記電子オブジェクトが前記第２のタイプの電子オブジェクトであるときは、当該電子オブジェクトに関する情報が送信されない
    ことを特徴とする制御方法。
18. 請求項１７に記載の制御方法をコンピュータにより実行させることを特徴とするコンピュータプログラム。

Images