JP5187001B2 - Information processing system and information processing apparatus - Google Patents
Information processing system and information processing apparatus Download PDFInfo
- Publication number
- JP5187001B2 JP5187001B2 JP2008140061A JP2008140061A JP5187001B2 JP 5187001 B2 JP5187001 B2 JP 5187001B2 JP 2008140061 A JP2008140061 A JP 2008140061A JP 2008140061 A JP2008140061 A JP 2008140061A JP 5187001 B2 JP5187001 B2 JP 5187001B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- projection
- annotation image
- input
- tablet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、情報処理システム及び情報処理装置に関する。 The present invention relates to an information processing system and an information processing apparatus.
従来より、カメラとプロジェクタを使い、ユーザ間でコミュニケーションを行うシステムが知られている（例えば、特許文献１参照）。このシステムは、カメラと、当該カメラと光学的に主点を同位置にしたプロジェクタとがある第１の地点と、第１の地点にあるカメラで撮影した画像に対してアノテーション（注釈）を追記できる端末を有する第２の地点とで構成されている。第２の地点の端末においてアノテーションの追記を指示すると、第１の地点においてそのアノテーションがプロジェクタにより投影される。
しかしながら、上記特許文献１では、第２の地点にいるユーザでなければ、アノテーションの追記ができなかった。特許文献１のシステムは、第１の地点と第２の地点とが離れていてもユーザ間でコミュニケーションを図ることができるが、アノテーションの追記は第２の地点でしか実施ができなかった。
However, in the above-mentioned
本発明の目的は、撮影装置側又は投影装置側においても、注釈画像を簡単な構成で、対象物を含む領域に投影させることができると共に撮影装置側又は投影装置側のユーザに見やすい注釈画像を提供することができる情報処理システム及び情報処理装置を提供することにある。 An object of the present invention is to allow an annotation image to be projected onto a region including an object with a simple configuration on the imaging device side or the projection device side, and to make an annotation image easy to see for the user on the imaging device side or the projection device side. An object is to provide an information processing system and an information processing apparatus that can be provided.
上記目的を達成するため、請求項１の情報処理システムは、注釈画像を表示する第１表示手段を備え、当該注釈画像又は指示を入力する入力装置と、当該入力装置を含む領域を撮影する撮影装置と、前記領域に注釈画像を投影する投影装置と、前記撮影装置で撮影された撮影画像に基づいて前記入力装置の位置及び姿勢を検知する検知手段、前記注釈画像又は前記指示を受け付けるための第１画像を生成する生成手段、前記検知手段で検出した前記入力装置の位置及び姿勢に基づいて、前記第１画像を前記投影装置用の画像に変換して、前記投影装置に出力する出力手段、前記入力装置に入力された座標情報を入力する第１入力手段、前記座標情報と前記入力装置上に投影された第１画像とに基づいて、注釈画像又は指示内容を決定し、注釈画像が含まれる場合には、前記出力手段にその注釈画像を前記領域に投影される前記投影装置用の画像に変換して前記投影装置に出力させ、指示内容が含まれる場合には、その指示内容に応じた処理を実行させる、実行手段を有する情報処理装置とを備え、前記投影装置は、前記検知される入力装置上に、前記注釈画像又は前記指示内容が反映された画像を投影し、前記第１表示手段が前記注釈画像を表示するときには、前記投影装置は、前記検知される入力装置上に、前記注釈画像を投影しないことを特徴とする。
In order to achieve the above object, the information processing system according to
請求項２の情報処理システムは、請求項１記載の情報処理システムにおいて、前記情報処理装置にネットワークを介して接続される遠隔端末を備え、前記遠隔端末は、前記撮影装置からの撮影画像を表示する第２表示手段と、前記注釈画像又は前記指示を入力する第２入力手段とを備え、前記第２入力手段により入力された注釈画像が、前記第２表示手段に表示される入力装置に重なるときには、重なった部分の注釈画像が前記入力装置に送信され、前記第１表示手段が当該重なった部分の注釈画像を表示することを特徴とする。
2. The information processing system according to
請求項３の情報処理システムは、請求項２記載の情報処理システムにおいて、前記第２入力手段により入力された注釈画像から、前記重なる部分の注釈画像を除いた残りの注釈画像は、前記投影装置から投影されることを特徴とする。
The information processing system according to
請求項４の情報処理システムは、請求項２記載の情報処理システムにおいて、前記第２表示手段は、データをドラグアンドドロップにより前記入力装置に転送するホットスポットエリアを含む画面を表示することを特徴とする。
The information processing system according to
請求項５の情報処理システムは、請求項２又は３に記載の情報処理システムにおいて、さらに前記入力装置から共有モードの指示が入力され、前記注釈画像の座標が入力された場合には、前記第２表示手段は当該注釈画像を表示し、前記投影装置は当該注釈画像が入力されたときの撮影画像内の入力装置の位置に当該注釈画像を投影することを特徴とする。
The information processing system according to
請求項６の情報処理システムは、請求項２又は３に記載の情報処理システムにおいて、前記情報処理装置は、前記入力装置が所定時間移動していないか否かを判別する判別手段をさらに備え、前記入力装置が所定時間移動していないと判別された場合に、前記第２表示手段は当該注釈画像を表示し、前記投影装置は当該移動していない入力装置の位置に当該注釈画像を投影することを特徴とする。
The information processing system according to
請求項７の情報処理システムは、請求項１乃至６のいずれか１つに記載の情報処理システムにおいて、前記情報処理装置は、ユーザの位置を検出するユーザ検知手段を備え、前記検知手段は、前記撮影装置で撮影された撮影画像から前記入力装置の少なくとも１カ所に付されたライン状のマークを検知し、前記実行手段は、前記ユーザ検知手段により検出されたユーザの位置の検出情報に基づいて、前記撮影装置の撮影領域又は前記投影装置の投影領域の４つの辺から１つの辺を選択し、前記出力手段は、前記検知されたライン状のマーク及び前記選択された１つの辺とに基づいて、前記注釈画像に回転処理を実行し、前記投影装置に出力することを特徴とする。
The information processing system according to
請求項８の情報処理装置は、注釈画像を表示する第１表示手段を備え、当該注釈画像又は指示を入力する入力装置と、当該入力装置を含む領域を撮影する撮影装置と、前記領域に注釈画像を投影する投影装置と接続される情報処理装置であって、前記撮影装置で撮影された撮影画像に基づいて前記入力装置の位置及び姿勢を検知する検知手段、前記注釈画像又は前記指示を受け付けるための第１画像を生成する生成手段、前記検知手段で検出した前記入力装置の位置及び姿勢に基づいて、前記第１画像を前記投影装置用の画像に変換して、前記投影装置に出力する出力手段、前記入力装置に入力された座標情報を入力する第１入力手段、前記座標情報と前記入力装置上に投影された第１画像とに基づいて、注釈画像又は指示内容を決定し、注釈画像が含まれる場合には、前記出力手段にその注釈画像を前記領域に投影される前記投影装置用の画像に変換して前記投影装置に出力させ、指示内容が含まれる場合には、その指示内容に応じた処理を実行させる、実行手段を備え、前記投影装置は、前記検知される入力装置上に、前記注釈画像又は前記指示内容が反映された画像を投影し、前記第１表示手段が前記注釈画像を表示するときには、前記投影装置は、前記検知される入力装置上に、前記注釈画像を投影しないことを特徴とする。
The information processing apparatus according to
請求項１，８の発明によれば、撮影装置側又は投影装置側においても、注釈画像を簡単な構成で、対象物を含む領域に投影させることができる。さらに、注釈画像が、投影装置の解像度によらず、第１表示手段の解像度に従って表示されるので、撮影装置側又は投影装置側のユーザに見やすい注釈画像を提供することができる。 According to the first and eighth aspects of the present invention, the annotation image can be projected onto the region including the object with a simple configuration on the photographing apparatus side or the projection apparatus side. Furthermore, since the annotation image is displayed according to the resolution of the first display means regardless of the resolution of the projection device, it is possible to provide an easy-to-view annotation image for the user on the photographing device side or the projection device side.
請求項２の発明によれば、遠隔端末で入力された注釈画像のうち、第２表示手段に表示される入力装置に重なる部分は、第１表示手段により表示されるので、投影装置が当該重なる部分の注釈画像を投影する場合と比べて、撮影装置側又は投影装置側のユーザに見やすい注釈画像を提供することができる。また、第２表示手段が液晶表示体である場合でも、撮影装置側又は投影装置側のユーザに見やすい注釈画像提供することができる。 According to the second aspect of the present invention, since the portion of the annotation image input by the remote terminal that overlaps the input device displayed on the second display means is displayed by the first display means, the projection device overlaps the image. Compared with the case where a partial annotation image is projected, it is possible to provide an easy-to-view annotation image for the user on the photographing apparatus side or the projection apparatus side. Even when the second display means is a liquid crystal display, it is possible to provide an easy-to-see annotation image for the user on the photographing apparatus side or the projection apparatus side.
請求項３の発明によれば、第１表示手段及び投影装置により、撮影装置側又は投影装置側のユーザに、遠隔端末で入力された注釈画像の全体を提供することができる。
According to the invention of
請求項４の発明によれば、遠隔端末のユーザは、簡単な操作により入力装置に所望のデータを転送することができ、入力装置のユーザ（即ち撮影装置側又は投影装置側のユーザ）とコミュニケーションすることができる。
According to the invention of
請求項５の発明によれば、注釈画像を同時に複数のユーザに提供することができる。また、いわゆるポストイットのように、注釈画像を当該注釈画像が入力されたときのタブレットＰＣ８の位置に貼り付けることができる。
According to the invention of
請求項６の発明によれば、注釈画像を同時に複数のユーザに提供することができる。また、いわゆるポストイットのように、注釈画像を当該注釈画像が入力されたときのタブレットＰＣ８の位置に貼り付けることができる。
According to the invention of
請求項７の発明によれば、ユーザにとって見やすい向きに注釈画像を自動的に回転することができる。 According to the seventh aspect of the present invention, the annotation image can be automatically rotated in a direction that is easy for the user to see.
以下、本発明の実施の形態について、図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１は、本発明の実施の形態に係る情報処理システムの構成を示すブロック図である。 FIG. 1 is a block diagram showing a configuration of an information processing system according to an embodiment of the present invention.
図１の情報処理システムは、ローカル側のシステムとリモート側のシステムとを備えている。ローカル側のシステムは、サーバとして機能するパーソナルコンピュータ（ＰＣ）１（情報処理装置）、プロジェクタ４（投影装置）、カメラ５（撮影装置）、及びタブレットＰＣ８（入力装置）を備えている。ＰＣ１には、プロジェクタ４、カメラ５、及びタブレットＰＣ８が接続されている。さらに、ＰＣ１には、プロジェクタ４側又はカメラ５側のユーザの位置を検出する人感センサ１０（ユーザ検知手段）を備えていてもよい。リモート側のシステムは、クライアントとして機能するＰＣ２（遠隔端末）を備えており、ＰＣ２には、表示装置２１が接続されている。ＰＣ１及びＰＣ２は、ネットワーク３を介して互いに接続されている。ローカル側のシステムは、タブレットＰＣ８に代えて、ディスプレイ付きのタブレットを備えていてもよい。
The information processing system shown in FIG. 1 includes a local system and a remote system. The local system includes a personal computer (PC) 1 (information processing apparatus), a projector 4 (projection apparatus), a camera 5 (imaging apparatus), and a tablet PC 8 (input apparatus) functioning as a server. A
プロジェクタ４は、ＰＣ１からの制御コマンドに基づいて、対象物６が置かれたテーブル７の領域に対してアノテーション画像（注釈画像）等を投影する。アノテーション画像は、線、文字、記号、図形、色、フォント（書体）等のあらゆる態様の画像を含む。アノテーション画像には、ＰＣ２で入力される又はタブレットＰＣ８で入力される。
The
カメラ５は、ビデオカメラ又はＰＴＺ（Pan Tilt Zoom）カメラで構成され、テーブル７の領域を撮影し、撮影画像をＰＣ１に出力する。この撮影画像は、表示装置２１で表示される。また、撮影画像の一部は、タブレットＰＣ８がテーブル７上にある場合に、プロジェクタ４を介して当該タブレットＰＣ８上に投影されるようにしてもよい。
The
タブレットＰＣ８は、形状が四角形で、感圧式のパネルを有している。ユーザがペンを使って当該感圧式のパネルを押下する又はなぞることで、指示又はアノテーション画像を入力する。また、この感圧式のパネルは、表示パネルに重ね合わせて固定されている。タブレットＰＣ８は、入力した指示又はアノテーション画像をＰＣ１に出力する。ローカル側のユーザがタブレットＰＣ８にアノテーション画像を入力すると、当該アノテーション画像はプロジェクタ４を介してテーブル７の領域に投影される、又はタブレットＰＣ８の表示パネルに表示される。また、タブレットＰＣ８は、ＰＣ１に赤外線又はbluetooth（登録商標）等の無線通信で接続されているが、通信ケーブルを使って有線通信でＰＣ１に接続してもよい。
The tablet PC 8 has a quadrangular shape and a pressure-sensitive panel. The user inputs an instruction or annotation image by pressing or tracing the pressure-sensitive panel using a pen. The pressure-sensitive panel is fixed by being overlapped on the display panel. The tablet PC 8 outputs the input instruction or annotation image to the PC 1. When the user on the local side inputs an annotation image to the tablet PC 8, the annotation image is projected onto the area of the table 7 via the
ＰＣ１は、カメラ５により撮影された撮影画像をネットワーク３を介してＰＣ２に出力する。ＰＣ２は、表示部２１に接続されており、表示部２１は、撮影画像の表示領域２３及びユーザインターフェース（ＵＩ）２２を表示する。尚、ＰＣ２は、表示装置２１を備える一体型のパーソナルコンピュータで構成してもよい。
The
ＵＩ２２は、ペン、テキスト、及び消去などのボタン群と、線種や色種のアイコンと、テキストや画像等のデータ（ファイル）をドラグ＆ドロップによりタブレットＰＣ８に転送することが可能なホットスポットエリア２５を含む。表示領域２３には、カメラ５で撮影された撮影画像が表示される。同図においては、タブレットＰＣ８を含むテーブル７の領域をカメラ５により撮影した撮影画像が表示領域２３に表示されている。例えば、ＵＩ２２のペンボタンが押下されて、表示領域２３内に図形等が記載されると、当該図形の情報はＰＣ２からＰＣ１を介してプロジェクタ４に出力される。プロジェクタ４は当該図形の情報に基づいてテーブル７又はタブレットＰＣ８上に図形を描く。
The
尚、同図においては、クライアントは、ＰＣ２の１台が記載されているが、複数のクライアント（ＰＣ）を備えていてもよい。また、テーブル７の領域を撮影するカメラも１台に限定するものではなく、複数台あってもよい。さらに、ＰＣ１に接続されるタブレットの数は、１つでも複数でもよい。
In the figure, one
図２（Ａ）は、ＰＣ１のハードウエア構成を示すブロック図である。図２（Ｂ）は、ＰＣ２のハードウエア構成を示すブロック図である。
FIG. 2A is a block diagram illustrating a hardware configuration of the
ＰＣ１は、装置全体を制御するＣＰＵ１１、制御プログラムを備えるＲＯＭ１２、ワーキングエリアとして機能するＲＡＭ１３、各種の情報やプログラムを備えるハードディスクドライブ（ＨＤＤ）１４、他のコンピュータと接続するためのネットワークインターフェース１５、プロジェクタ４及びカメラ５などのＵＳＢ機器と接続するためのＵＳＢ（universal serial bus）インターフェース１６、及びタブレットＰＣ８と有線又は無線の通信を行う通信部１７を備えている。ＣＰＵ１１はシステムバス１８を介してＲＯＭ１２、ＲＡＭ１３、ハードディスクドライブ（ＨＤＤ）１４、ネットワークインターフェース１５、ＵＳＢインターフェース１６、及び通信部１７に接続されている。
The
ＰＣ２は、装置全体を制御するＣＰＵ３１、制御プログラムを備えるＲＯＭ３２、ワーキングエリアとして機能するＲＡＭ３３、各種の情報やプログラムを備えるハードディスクドライブ（ＨＤＤ）３４、他のコンピュータと接続するためのネットワークインターフェース３５、キーボードやマウスなどの入力機器と接続するためのＵＳＢ（universal serial bus）インターフェース３６、及び表示装置２１を備えている。ＣＰＵ３１はシステムバス３７を介してＲＯＭ３２、ＲＡＭ３３、ハードディスクドライブ（ＨＤＤ）３４、ネットワークインターフェース３５、ＵＳＢインターフェース３６及び表示装置２１に接続されている。
The
図３は、タブレットＰＣ８の外観図である。
FIG. 3 is an external view of the
図３に示すように、タブレットＰＣ８は、タッチパネル８１（第１表示手段）を備えている。このタッチパネル８１は、ペン８２を使って入力されたデータや情報を受け付け、さらに、各種のデータや情報を表示する。
As shown in FIG. 3, the
図４は、ＰＣ１及びＰＣ２の機能構成を示すブロック図である。 FIG. 4 is a block diagram showing the functional configuration of the PC1 and PC2.
ＰＣ１は、タブレットＰＣ８からの座標情報又は指示入力を取得する入力処理部１０１（第１入力手段）と、タブレットＰＣ８の移動を検知し、これらの位置及び姿勢を算出する検知処理部１０２（検知手段、判別手段）、各種のデータや情報を保存する保存部１０３と、ＰＣ１全体を制御する制御部１０４（実行手段）と、投影画像を生成する投影画像生成部１０５（生成手段）と、投影画像をタブレットＰＣ８上に投影する際に投影対象の画像の変換処理を実行する投影処理部１０６（出力手段）とを備えている。
The
保存部１０３は、タブレットＰＣ８上に投影される各種のＧＵＩ（Graphical User Interface）を記憶するＧＵＩデータベース１０３ａと、カメラ５で撮影された撮影画像を保存するフレームバッファ領域１０３ｂと、コピーモード実行時にカメラ５で撮影された静止画像（スナップショット）を保存するスナップショット領域１０３ｃと、コピーモード実行時のタブレットＰＣ８の位置情報（即ちタブレットＰＣ８の座標情報）を保存する位置保存領域１０３ｄとを備えている。
The
制御部１０４及び投影画像生成部１０５は、制御プログラムに従って各種の処理を実行するＣＰＵ２１に相当する。入力処理部１０１は、ＣＰＵ２１及び通信部１７に相当し、検知処理部１０２及び投影処理部１０６は、ＣＰＵ２１及びＵＳＢインターフェース１６に相当し、保存部１０３は、ハードディスクドライブ（ＨＤＤ）１４に相当する。
The
ＰＣ２は、ＰＣ１全体を制御する制御部２０１と、各種のデータや情報を保存する保存部２０２と、キーボードやマウスなどでデータや指示を入力する入力部２０３（第２入力手段）と、撮影画像を表示する表示部２０４（第２表示手段）とを備えている。制御部２０１は、制御プログラムに従って各種の処理を実行するＣＰＵ３１に相当し、保存部２０２は、ハードディスクドライブ（ＨＤＤ）３４に相当する。入力部２０３は、不図示のキーボードやマウス及びこれらが接続されるＵＳＢインターフェース３６に相当し、表示部２０４は、表示装置２１に相当する。
The
以下、各機能ブロックが実行する処理を具体的に説明する。 Hereinafter, processing executed by each functional block will be specifically described.
まず、カメラ５がタブレットＰＣ８を含むテーブル７の領域を、継続的に撮影する（例えば、０．５秒毎に撮影する）。撮影画像は、カメラ５から検知処理部１０２に送信される。
First, the
検知処理部１０２は、カメラ５からの撮影画像を保存部１０３（フレームバッファ領域１０３ｂ）に保存し、撮影画像のシーケンスからタブレットＰＣ８の形状検出及びテンプレートマッチングによってタブレットＰＣ８を認識する。
The
具体的には、検知処理部１０２は、前処理として撮影した画像シーケンスに対しノイズ除去や平滑化を行い、公知のCanny法を用いてエッジの検出を行う。次いで、検知処理部１０２は、検出されたエッジから公知のHough変換を用いて、複数の直線の検出を行う。このとき、検知処理部１０２は、タブレットＰＣ８のサイズや平行性を考慮し、タブレットＰＣ８に関係のない線分の除去を行う。その後、検知処理部１０２は、検出された複数の直線の交差点から平行四辺形の検出を行い、検出された平行四辺形をタブレットＰＣ８の候補とする。最後に、検知処理部１０２は、予め撮影されたタブレットＰＣ８の画像と、タブレットＰＣ８の候補とを比較し、タブレットＰＣ８の特徴（例えば、枠の形状、又はタブレットＰＣ８に装着されたボタンなど）を持つ候補をタブレットＰＣ８とする。
Specifically, the
検知処理部１０２は、認識したタブレットＰＣ８の位置及び姿勢を特定する座標（ここではタブレットＰＣ８の４つの角の座標）を算出し、制御部１０４、投影画像生成部１０５及び投影処理部１０６に出力する。また、検知処理部１０２は、カメラ５からの撮影画像を制御部１０４に出力する。
The
投影画像生成部１０５は、タブレットＰＣ８に投影する画像を生成する。即ち、投影画像生成部１０５は、タブレットＰＣ８の位置及び姿勢を特定する座標に基づいて、撮影画像から、タブレットＰＣ８に投影される部分画像を切り出し、当該部分画像を投影処理部１０６に出力する。投影画像生成部１０５により切り出される部分画像は、プロジェクタ４側からテーブル７の領域を見たときに、タブレットＰＣ８が対象物６を含むテーブル７の領域と重なる部分の撮影画像である。従って、投影画像生成部１０５は、タブレットＰＣ８がテーブル７の任意の領域と重なる場合には、当該任意の領域に重なる直前に撮影された撮影画像から当該部分画像を切り出す。
The projection
投影処理部１０６は、検知処理部１０２で算出されたタブレットＰＣ８の座標と投影画像生成部１０５で生成された投影用の部分画像の４つの角の座標とに基づいて投影変換用のパラメータを推定し、この推定されたパラメータを用いて、部分画像の変換（以下、投影変換という）を行う。
The
投影処理部１０６は、投影変換された画像をプロジェクタ４に出力し、プロジェクタ４が、当該投影変換された画像を全投影内容の一部としてタブレットＰＣ８へ投影する。このとき、プロジェクタ４はタブレットＰＣ８以外の領域には、通常の投影を行っても良い。即ち、プロジェクタ４は、タブレットＰＣ８と、タブレットＰＣ８以外の領域とに同時に異なる内容の画像を投影することができる。投影変換された画像がタブレットＰＣ８上に投影される状態を図５に示す。
The
タブレットＰＣ８は、ペン８２で入力されたアノテーション画像をタッチパネル８１に表示すると共にペン８２で入力されたアノテーション画像の座標を入力処理部１０１に出力する。入力処理部１０１は、アノテーション画像の座標に対し、上記投影変換の逆変換を行い、投影用画像上における相対座標を算出し、制御部１０４に当該相対座標を出力する。
The
制御部１０４は、当該相対座標を投影画像生成部１０５に出力し、投影画像生成部１０５は、投影用のアノテーション画像をタブレットＰＣ８に投影する画像上に生成し、投影処理部１０６に出力する。逆投影変換されたアノテーション画像が投影用画像上に形成された状態を図６に示す。投影処理部１０６は、上述したように、推定されたパラメータを用いて、投影変換を行い、投影変換された画像をプロジェクタ４に出力し、プロジェクタ４が、当該投影変換された画像をタブレットＰＣ８へ投影する。
The
このように、タブレットＰＣ８のペン８２で入力されたアノテーション画像は、タッチパネル８１により表示され、さらにプロジェクタ４からタブレットＰＣ８へ投影させることもできる。また、アノテーション画像がタブレットＰＣ８のペン８２で入力された場合には、タッチパネル８１のみがアノテーション画像を表示し、ＰＣ１は当該アノテーション画像をプロジェクタ４からタブレットＰＣ８へ投影しないような設定もできる。
As described above, the annotation image input with the
また、制御部１０４は、検知処理部１０２から、カメラ５からの撮影画像及びタブレットＰＣ８の位置及び姿勢を特定する座標を入力し、ネットワーク３を介してＰＣ２に出力する。これにより、図１に示すように、ローカル側の対象物６及びタブレットＰＣ８が置かれたテーブル７の状況が表示領域２３に再現される。
In addition, the
図７（Ａ）は、表示領域２３に描かれたアノテーション画像がタブレットＰＣ８に表示される例を示す図であり、図７（Ｂ）は、アノテーション画像のファイルがホットスポット２５又は表示領域２３に表示されているタブレットＰＣ８上へドラグ・アンド・ドロップされたときに、当該アノテーション画像がタブレットＰＣ８に表示される例を示す図である。
FIG. 7A is a diagram showing an example in which an annotation image drawn in the
図８は、表示領域２１に描かれたアノテーション画像が表示領域２３に表示されているタブレットＰＣ８からはみ出ている場合に、ローカル側で当該アノテーション画像の一部がタブレットＰＣ８に表示され、当該アノテーション画像の残りが投影される例を示す図である。
FIG. 8 shows that when an annotation image drawn in the
図７（Ａ）に示すように、リモート側のユーザが、表示領域２３に表示されているタブレットＰＣ８上にアノテーション画像４０を描くと、ローカル側のタブレットＰＣ８には、当該アノテーション画像４０が表示される。また、図７（Ｂ）に示すように、リモート側のユーザが、アノテーション画像４０のファイルをホットスポット２５又は表示領域２３に表示されているタブレットＰＣ８上へドラグ・アンド・ドロップすると、ローカル側のタブレットＰＣ８には、当該アノテーション画像４０が表示される。この場合、ドラグ・アンド・ドロップされるファイルは、アノテーション画像のファイルに限定されず、テキスト、静止画像、動画像、又は音声のファイルでもよい。
As shown in FIG. 7A, when the remote user draws the
また、図８に示すように、アノテーション画像として「ＡＢＣ…」のテキストと矢印の画像が表示領域２３に描かれ、当該矢印の画像が表示領域２３に表示されているタブレットＰＣ８からはみ出ている場合、ローカル側では、「ＡＢＣ…」のテキストと矢印の一部の画像がアノテーション画像５１としてタブレットＰＣ８に表示され、矢印の残りの画像がアノテーション画像５２としてプロジェクタ４からテーブル７に投影される。尚、図８のアノテーション画像５２を破線で表示しているが、破線は投影されていることを示す。
In addition, as shown in FIG. 8, when the text “ABC...” And the arrow image are drawn as the annotation image in the
図９は、ＰＣ１及びＰＣ２で実行される基本処理を示すフローチャートである。 FIG. 9 is a flowchart showing basic processing executed by PC1 and PC2.
まず、検知処理部１０２は、カメラ５からの撮影画像を保存部１０３に保存し、撮影画像のシーケンスからタブレットＰＣ８の形状検出及びテンプレートマッチングによってタブレットＰＣ８の位置及び姿勢を特定する座標（ここではタブレットＰＣ８の４つの角の座標）を算出し、制御部１０４、投影画像生成部１０５及び投影処理部１０６に出力する。また、検知処理部１０２は、カメラ５からの撮影画像を制御部１０４に出力する（ステップＳ１）。制御部１０４は、タブレットＰＣ８の位置及び姿勢を特定する座標及びカメラ５からの撮影画像をネットワーク３を介してＰＣ２に出力する（ステップＳ２）。
First, the
ＰＣ２の制御部２０１は、ＰＣ１からタブレットＰＣ８の位置及び姿勢を特定する座標及びカメラ５からの撮影画像を受信し、タブレットＰＣ８の位置及び姿勢を特定する座標を保存部２０２に保存し、カメラ５からの撮影画像を表示部２０４に表示する（ステップＳ３）。
The
次いで、制御部２０１は、入力部２０３から編集操作があるか否かを判別する（ステップＳ４）。ここで、編集操作とは、アノテーション画像の書き込み操作、若しくはファイルをホットスポット２５上又は表示領域２３に表示されているタブレットＰＣ８上へドラグ・アンド・ドロップする操作である。
Next, the
ステップＳ４でＮＯの場合には、本処理を終了する。ステップＳ４でＹＥＳの場合であり、ドラグ・アンド・ドロップ操作が行われた場合には、ステップＳ６に進む。ステップＳ４でＹＥＳの場合であり、アノテーション画像の書き込み操作が行われた場合には、制御部２０１は、タブレットＰＣ８の位置及び姿勢を特定する座標に基づいて、書き込まれたアノテーション画像が表示領域２３に表示されているタブレットＰＣ８からはみ出ていないか否かを判別する（ステップＳ５）。
If NO in step S4, the process ends. If YES in step S4, and if a drag and drop operation has been performed, the process proceeds to step S6. In the case of YES in step S4, when the annotation image writing operation is performed, the
ステップＳ５でＹＥＳの場合には、制御部２０１は、当該書き込まれたアノテーション画像の座標又はドラグ・アンド・ドロップ操作が行われたファイルをＰＣ１の制御部１０４に送信する（ステップＳ６）。
If YES in step S5, the
制御部１０４は、制御部２０１からのアノテーション画像の座標又はドラグ・アンド・ドロップ操作が行われたファイルを入力処理部１０１を介してタブレットＰＣ８に出力し、タブレットＰＣ８のタッチパネル８１に当該アノテーション画像を表示させる又はタブレットＰＣ８にドラグ・アンド・ドロップ操作が行われたファイルを再生させる（ステップＳ７）。ここで、制御部２０１からのアノテーション画像の座標は、入力処理部１０１によりタブレットＰＣ８用の座標に変換して、タブレットＰＣ８に出力される。
The
上記ステップＳ５でＮＯの場合には、制御部２０１は、タブレットＰＣ８の位置及び姿勢を特定する座標に基づいて、書き込まれたアノテーション画像を表示領域２３に表示されているタブレットＰＣ８からはみ出ている部分とはみ出ていない部分とに分割する（ステップＳ８）。次いで、制御部２０１は、表示領域２３に表示されているタブレットＰＣ８からはみ出ていないアノテーション画像の座標をＰＣ１の制御部１０４に送信する、即ち、ステップＳ６と同様の処理を実行する。以後、表示領域２３に表示されているタブレットＰＣ８からはみ出ていないアノテーション画像の座標に対して、ステップＳ７の処理が実行される。
In the case of NO in step S5, the
制御部２０１は、表示領域２３に表示されているタブレットＰＣ８からはみ出ているアノテーション画像の座標にフラグを付してＰＣ１の制御部１０４に送信する（ステップＳ９）。制御部１０４は、制御部２０１からのフラグ付きのアノテーション画像の座標を投影画像生成部１０５に出力する（ステップＳ１０）。このように、上記フラグは、制御部１０４がアノテーション画像の座標の出力先（即ち、入力処理部１０１又は影画像生成部１０５）を判断するために使用される。
The
投影画像生成部１０５は、アノテーション画像の座標に基づいて、アノテーション画像を生成し、投影処理部１０６に出力する（ステップＳ１１）。
The projection
投影処理部１０６は、投影画像生成部１０５からのアノテーション画像の投影変換を行い、投影変換されたアノテーション画像をプロジェクタ４に出力し（ステップＳ１２）、本処理を終了する。プロジェクタ４は、投影変換されたアノテーション画像を対象物６を含むテーブル７の領域に投影する。
The
以上説明したように、図９の処理では、表示領域２３に表示されているタブレットＰＣ８上に書き込まれたアノテーション画像は、タブレットＰＣ８のタッチパネル８１に表示され、ホットスポット２５上又は表示領域２３に表示されているタブレットＰＣ８上へドラグ・アンド・ドロップされたファイルは、タブレットＰＣ８で再生される。また、表示領域２３に表示されているタブレットＰＣ８からはみ出たアノテーション画像は、プロジェクタ４を介してテーブル７の領域に投影される。
As described above, in the process of FIG. 9, the annotation image written on the
図１０は、ＧＵＩをタブレットＰＣ８上に投影する処理及びタブレットＰＣ８上で指定されたモードを実行する処理を示すフローチャートである。本処理は、ＰＣ１により実行される。
FIG. 10 is a flowchart illustrating a process of projecting a GUI on the
まず、検知処理部１０２は、カメラ５で撮影された画像シーケンスからタブレットＰＣ８の形状検出及びテンプレートマッチングによってタブレットＰＣ８を認識し、認識したタブレットＰＣ８の位置及び姿勢を特定する座標を算出し、当該タブレットＰＣ８の座標を投影画像生成部１０５及び投影処理部１０６に出力する（ステップＳ２１）。
First, the
次に、投影画像生成部１０５は、ＧＵＩデータベース１０３ａの各種のＧＵＩの要素に基づいて、タブレットＰＣ８に投影するＧＵＩ画像を生成する（ステップＳ２２）。
Next, the projection
投影処理部１０６は、検知処理部１０２で算出されたタブレットＰＣ８の座標と投影画像生成部１０５で生成された投影用のＧＵＩ画像の４つの角の座標とに基づいて投影変換用のパラメータを推定し、この推定されたパラメータを用いて、ＧＵＩ画像の投影変換を行い、投影変換されたＧＵＩ画像をプロジェクタ４に出力する（ステップＳ２３）。プロジェクタ４は、当該投影変換されたＧＵＩ画像を全投影内容の一部としてタブレットＰＣ８へ投影する（ステップＳ２４）。タブレットＰＣ８へ投影されたＧＵＩ画像の一例を図１１に示す。
The
タブレットＰＣ８は、ペンで入力された座標を入力処理部１０１に出力する（ステップＳ２５）。入力処理部１０１は、ペンで入力された座標に対し、上記投影変換の逆変換を行い、投影画像生成部１０５から取得したＧＵＩ画像上における相対座標を算出し、ペンで入力されたモードを決定する（ステップＳ２６）。
The
制御部１０４は、入力処理部１０１から決定されたモードの情報を入力し、当該モードの情報に応じた処理を実行し（ステップＳ２７）、本処理を終了する。
The
モードの情報に応じた処理とは、例えば、入力されたモードが印刷モードの場合は、制御部１０４は、不図示のプリンタドライバに印刷開始の指示を出力する。また、入力されたモードがコピーモードの場合は、制御部１０４は、後述する図１２，１３の処理を開始する指示を検知処理部１０２、投影画像生成部１０５、及び投影処理部１０６に出力する。入力されたモードが共有モードの場合は、制御部１０４は、後述する図１５の処理を開始する指示を検知処理部１０２、投影画像生成部１０５、及び投影処理部１０６に出力する。
For example, when the input mode is the print mode, the
図１０の処理によれば、ユーザは、タブレットＰＣ８上に投影されるＧＵＩ画像で規定する複数のモードのうちいずれか１つをタブレットＰＣ８で選択し、当該モードに応じた処理を制御部１０４に実行させることができる。
According to the processing in FIG. 10, the user selects any one of a plurality of modes defined by the GUI image projected on the
尚、上記図１０の処理では、ＧＵＩ画像はプロジェクタ４からタブレットＰＣ８上に投影されているが、ＧＵＩ画像がタブレットＰＣ８のタッチパネル８１に表示されてもよい。この場合、上記処理では、ステップＳ２５〜Ｓ２７が実行される。
In the process of FIG. 10, the GUI image is projected on the
図１２，１３は、ＰＣ１で実行されるコピーモード及び非コピーモードの処理を示すフローチャートである。
12 and 13 are flowcharts showing the copy mode and non-copy mode processing executed by the
本処理では、カメラ５がタブレットＰＣ８を含むテーブル７の領域を、継続的に撮影しているものとする（例えば、０．５秒毎に撮影する）。
In this process, it is assumed that the
まず、制御部１０４は、入力処理部１０１を介してタブレットＰＣ８からコピーモードの指示が入力されたか否かを判別する（ステップＳ３１）。ここで、コピーモードとは、プロジェクタ４側からテーブル７の領域を見て、タブレットＰＣ８がテーブル７の任意の領域と重なる場合に、その任意の領域に対応する予め撮影された撮影画像が、タブレットＰＣ８の移動によらず、タブレットＰＣ８上に固定的に投影されるモードである。このモードが実行されると、ユーザの目の前にある実物（即ち対象物６を含むテーブル７）の一部の画像が常にタブレットＰＣ８上に固定的に投影される。よって、ユーザは、テーブル７の領域内の撮影したい場所にタブレットＰＣ８を重ねて、コピーモードの指示を入力することで、撮影したい場所の画像をタブレットＰＣ８上に投影することができる。
First, the
尚、ステップＳ１１でユーザがタブレットＰＣ８でコピーモードの指示を入力する場合、タブレットＰＣ８に設けられた不図示のボタンを押下する又はプロジェクタ４からタブレットＰＣ８に投影されるＧＵＩ内のコピーモードの位置をタップすることが必要である。
When the user inputs a copy mode instruction on the
ステップＳ１１でコピーモードの指示が入力されていない場合（ＮＯ）の場合には、検知処理部１０２は、カメラ５からの撮影画像をフレームバッファ領域１０３ｂに保存し、タブレットＰＣ８の位置及び姿勢を特定する座標（ここではタブレットＰＣ８の４つの角の座標）を算出し、投影画像生成部１０５及び投影処理部１０６に出力する（ステップＳ３２）。
If the copy mode instruction is not input in step S11 (NO), the
投影画像生成部１０５は、フレームバッファ領域１０３ｂから撮影画像を読み出し、タブレットＰＣ８の位置及び姿勢を特定する座標に基づいて、当該撮影画像から、タブレットＰＣ８に投影される部分画像を切り出し、当該部分画像を投影処理部１０６に出力する（ステップＳ３３）。投影画像生成部１０５により切り出される部分画像は、プロジェクタ４側からテーブル７の領域を見たときに、タブレットＰＣ８が対象物６を含むテーブル７の領域と重なる部分の撮影画像である。従って、投影画像生成部１０５は、タブレットＰＣ８がテーブル７の任意の領域と重なる場合には、当該任意の領域に重なる直前に撮影された撮影画像から当該部分画像を切り出す。図１４（Ａ）は、プロジェクタ４側からテーブル７を見た場合のタブレットＰＣ８と対象物６を含むテーブル７との位置関係を示す図であり、図１４（Ｂ）は、対象物６上を通過するタブレットＰＣ８に投影される部分画像のシーケンスを示す図である。
The projection
投影処理部１０６は、検知処理部１０２で算出されたタブレットＰＣ８の座標と投影画像生成部１０５で生成された投影用の部分画像の４つの角の座標とに基づいて投影変換用のパラメータを推定し、この推定されたパラメータを用いて、投影用の部分画像の投影変換を行い、投影変換された部分画像をプロジェクタ４に出力する（ステップＳ３４）。プロジェクタ４は、当該投影変換された部分画像を全投影内容の一部としてタブレットＰＣ８へ投影し（ステップＳ３５）、ステップＳ３２に戻る。
The
ステップＳ３２〜Ｓ３５のループ処理により、タブレットＰＣ８の位置及び姿勢が検知されて、タブレットＰＣ８の位置及び姿勢に応じた部分画像がタブレットＰＣ８上に投影される。
Through the loop processing of steps S32 to S35, the position and orientation of the
ステップＳ１１でコピーモードの指示が入力された場合（ＹＥＳ）の場合には、制御部１０４は、撮影画像のスナップショット（即ち、カメラ５のシャッターを切ったときの画像）の保存指示及びスナップショットの撮影の瞬間のタブレットＰＣ８の位置及び姿勢を特定する座標の保存指示を検知処理部１０２に出力する（ステップＳ３６）。
When the copy mode instruction is input in step S11 (YES), the
検知処理部１０２は、撮影画像のスナップショットをスナップショット領域１０３ｃに保存すると共に当該スナップショットの撮影の瞬間のタブレットＰＣ８の位置及び姿勢を特定する座標を位置保存領域１０３ｄに保存する（ステップＳ３７）。
The
次いで、制御部１０４は、コピーモードの指示及び投影画像の生成の指示を投影画像生成部１０５に出力する（ステップＳ３８）。
Next, the
投影画像生成部１０５は、位置保存領域１０３ｄに保存されたスナップショットの撮影の瞬間のタブレットＰＣ８の座標に基づいて、スナップショット領域１０３ｃに保存されたスナップショットから投影用の部分画像を切り出し、切り出した部分画像をスナップショット領域１０３ｃに保存すると共に投影処理部１０６に出力する（ステップＳ３９）。
The projection
投影処理部１０６は、スナップショットの撮影の瞬間のタブレットＰＣ８の座標と投影画像生成部１０５で生成された投影用の部分画像の４つの角の座標とに基づいて投影変換用のパラメータを推定し、この推定されたパラメータを用いて、投影用の部分画像の投影変換を行い、投影変換された部分画像をプロジェクタ４に出力する（ステップＳ４０）。投影変換では、適宜部分画像の拡大縮小等を実行しても良い。プロジェクタ４は、当該投影変換された部分画像を全投影内容の一部としてタブレットＰＣ８へ投影する（ステップＳ４１）。
The
その後、検知処理部１０２は、プロジェクタ４で投影された画像を撮影したカメラ５の撮影画像からタブレットＰＣ８の座標を算出し、投影画像生成部１０５及び投影処理部１０６に出力する（ステップＳ４２）。
Thereafter, the
投影画像生成部１０５は、入力処理部１０１及び制御部１０４を介してタブレットＰＣ８からアノテーション画像の座標の入力があるか否かを判別する（ステップＳ４３）。
The projection
ステップＳ４３でアノテーション画像の座標の入力がない場合（ＮＯ）には、ステップ３９に進み、投影画像生成部１０５は、スナップショット領域１０３ｃに保存された投影用の部分画像を投影処理部１０６に出力する。以降のステップＳ２０の処理では、投影処理部１０６は、スナップショットの撮影の瞬間のタブレットＰＣ８の座標に代えて、ステップＳ４２で検知処理部１０２から出力されるタブレットＰＣ８の座標を利用する。
If the coordinates of the annotation image are not input in step S43 (NO), the process proceeds to step 39, and the projection
以上のステップＳ３１でＹＥＳ→ステップＳ４３でＮＯ→ステップＳ３９の一連の処理により、タブレットＰＣ８の移動が検知されて、タブレットＰＣ８の移動位置によらず、スナップショットから切り出された投影用の部分画像がタブレットＰＣ８上に投影される。
In the above-described step S31, YES → step S43, NO → step S39, the movement of the
ステップＳ４３でアノテーション画像の座標の入力がある場合（ＹＥＳ）には、投影画像生成部１０５は、アノテーション画像の座標に基づいて、アノテーション画像を生成し、投影処理部１０６に出力すると共に、生成されたアノテーション画像をスナップショット領域１０３ｃに保存された投影用の部分画像に付加して、投影処理部１０６に出力する（ステップＳ４４）。
If the coordinates of the annotation image are input in step S43 (YES), the projection
投影処理部１０６は、ステップＳ２２で検知処理部１０２から出力されるタブレットＰＣ８の座標とアノテーション画像付きの投影用の部分画像の４つの角の座標とに基づいて投影変換用のパラメータを推定し、この推定されたパラメータを用いて、アノテーション画像付きの投影用の部分画像の投影変換を行い、投影変換された部分画像及びアノテーション画像をプロジェクタ４に出力し（ステップＳ４５）、ステップＳ４１の処理に進む。以降のステップＳ２１の処理では、プロジェクタ４は、投影変換された部分画像をタブレットＰＣ８に投影し、アノテーション画像を対象物６を含むテーブル７の領域に投影する。
The
以上のステップＳ３１でＹＥＳ→ステップＳ４３でＹＥＳ→ステップＳ４１の一連の処理により、タブレットＰＣ８の移動が検知されて、タブレットＰＣ８の移動位置によらず、アノテーション画像が付加された投影用の部分画像がタブレットＰＣ８上に投影され、さらに、アノテーション画像は単独で実物（即ち、対象物６を含むテーブル７の領域）に投影される。
In the above step S31, YES → step S43 YES → step S41, the movement of the
次に、ＰＣ１で実行される共有モードの処理を説明する。
Next, shared mode processing executed by the
共有モードとは、複数のユーザが１つのタブレットＰＣ８を共用し、タブレットＰＣ８のタッチパネルに表示される画像と同一の画像をテーブル７の任意の領域に投影するモードである。このとき、タブレットＰＣ８は表示機能を有するので、プロジェクタ４がタブレットＰＣ８上に画像を投影する必要はないが、画像を投影してもよい。また、タブレットＰＣ８にアノテーション画像の入力がある場合には、当該アノテーション画像も上記テーブル７の任意の領域に投影される。
The sharing mode is a mode in which a plurality of users share one
図１５は、ＰＣ１で実行される共有モードの処理を示すフローチャートである。
FIG. 15 is a flowchart showing the processing in the sharing mode executed by the
まず、制御部１０４は、入力処理部１０１を介してタブレットＰＣ８から共有モードの指示が入力されたか否かを判別する（ステップＳ５１）。
First, the
尚、ステップＳ３１でユーザがタブレットＰＣ８で共有モードの指示を入力する場合、タブレットＰＣ８に設けられた不図示のボタンを押下する又はプロジェクタ４からタブレットＰＣ８に投影されるＧＵＩ内の共有モードの位置をタップすることが必要である。
When the user inputs a sharing mode instruction on the
ステップＳ５１で共有モードの指示が入力されていない場合（ＮＯ）には、本処理を終了する。一方、ステップＳ５１で共有モードの指示が入力された場合（ＹＥＳ）には、制御部１０４は、撮影画像内のタブレットＰＣ８の位置を特定する座標（以下、このタブレットＰＣ８の座標を共有座標という）の保存指示を検知処理部１０２に出力する（ステップＳ５２）。
If the sharing mode instruction is not input in step S51 (NO), the process is terminated. On the other hand, if the sharing mode instruction is input in step S51 (YES), the
検知処理部１０２は、撮影画像から共有座標を算出し、投影画像生成部１０５及び投影処理部１０６に出力する（ステップＳ５３）。尚、検知処理部１０２は、カメラ５から新たな撮影画像を入力する度にタブレットＰＣ８の座標（共有座標）を算出し、投影画像生成部１０５及び投影処理部１０６に出力する。
The
投影画像生成部１０５は、制御部１０４を介してアノテーション画像の座標の入力があるか否かを判別する（ステップＳ５４）。アノテーション画像の座標は、タブレットＰＣ８から入力される場合に限らず、ＰＣ２から入力されてもよい。
The projection
ステップＳ５４でアノテーション画像の座標の入力がない場合（ＮＯ）には、本判別を繰り返す。 If there is no input of the coordinates of the annotation image in step S54 (NO), this determination is repeated.
ステップＳ５４でアノテーション画像の座標の入力がある場合（ＹＥＳ）には、投影画像生成部１０５は、アノテーション画像の座標に基づいて、アノテーション画像を生成し、投影処理部１０６に出力する（ステップＳ５５）。
If there is an input of an annotation image coordinate in step S54 (YES), the projection
一方、ＰＣ２からアノテーション画像の座標が入力されている場合は、制御部１０４がアノテーション画像の座標を入力処理部１０１を介してタブレットＰＣ８に出力し、タブレットＰＣ８に、このアノテーション画像を表示させる（ステップＳ５６）。タブレットＰＣ８に直接アノテーション画像が入力されている場合は、タブレットＰＣ８がアノテーション画像を表示するので、ステップＳ５６の処理は省略される。
On the other hand, if the coordinates of the annotation image are input from the
投影処理部１０６は、アノテーション画像の投影変換を行い、投影変換されたアノテーション画像をプロジェクタ４に出力する（ステップＳ５７）。
The
プロジェクタ４は、アノテーション画像が入力されたときのタブレットＰＣ８の位置に投影変換されたアノテーション画像を投影する（ステップＳ５８）。
The
その後、検知処理部１０２は、プロジェクタ４で投影された画像を撮影したカメラ５の撮影画像からタブレットＰＣ８の座標（共有座標）を算出し、投影画像生成部１０５及び投影処理部１０６に出力し（ステップＳ５９）、ステップＳ５４に戻る。
Thereafter, the
図１５の処理によれば、アノテーション画像が検知処理部１０２に検知されるタブレットＰＣ８に表示され、且つアノテーション画像が共有モードの指示が入力されたときの撮影画像内のタブレットＰＣ８の位置に投影されるので、アノテーション画像を同時に複数のユーザに提供することができる。また、いわゆるポストイットのように、アノテーション画像を当該アノテーション画像が入力されたときのタブレットＰＣ８の位置に貼り付けることができる。
15, the annotation image is displayed on the
また、ステップＳ５４〜Ｓ５９のループにより、アノテーション画像の内容が更新されると、タブレットＰＣ８に表示されるアノテーション画像及び投影されるアノテーション画像も逐次更新される。
Further, when the content of the annotation image is updated by the loop of steps S54 to S59, the annotation image displayed on the
上記共有モードでは、投影変換されたアノテーション画像は、タブレットＰＣ８から共有モードの指示が入力されたときの撮影画像内のタブレットＰＣ８の位置を特定する座標（共有座標）に投影されたが、検知処理部１０２が、タブレットＰＣ８が所定時間（例えば、５分）移動していないか否かを判別し、タブレットＰＣ８が所定時間（例えば、５分）移動していない場合には、その移動していないタブレットＰＣ８の位置に投影変換されたアノテーション画像が投影されるようにしてもよい。この場合、タブレットＰＣ８が移動すると、移動中のタブレットＰＣ８がアノテーション画像を表示し、さらに上記移動していないタブレットＰＣ８の位置に、投影変換されたアノテーション画像が投影されるので、アノテーション画像を同時に複数のユーザに提供することができる。
In the sharing mode, the annotation image that has been subjected to projection conversion is projected on coordinates (shared coordinates) that specify the position of the
上記共有モードでは、アノテーション画像をスナップショットを撮影したときのタブレットＰＣ８の位置に投影する例を説明したが、図１６（Ａ）に示すようにローカル側のユーザがタブレットＰＣ８の正面に向いていない場合がある。この場合、アノテーション画像が文字を含むと、ユーザは読みにくいという問題がある。そこで、ＰＣ１が、ユーザにとって見やすい向きにアノテーション画像を自動的に回転させる処理を説明する。
In the shared mode, the example in which the annotation image is projected onto the position of the
図１６（Ａ）は、机７の領域、カメラ５の撮影領域、プロジェクタ４の投影領域、及びタブレットＰＣ８の位置との関係を示す図であり、図１６（Ｂ）は、カメラ５の撮影領域とタブレットＰＣ８の位置との関係を示す図であり、図１６（Ｃ）は、アノテーション画像の回転処理後のプロジェクタ４の投影領域とタブレットＰＣ８の位置との関係を示す図である。
16A is a diagram showing the relationship between the area of the
尚、ローカル側のユーザの位置を検出するための人感センサ１０がＰＣ１の制御部１０４に接続されているものとする。また、タブレットＰＣ８には、その底辺を示すライン状のマークが付けられているものとする。
It is assumed that the
図１７は、ＰＣ１により実行されるアノテーション画像の回転処理を示すフローチャートである。
FIG. 17 is a flowchart showing the annotation image rotation processing executed by the
まず、検知処理部１０２は、カメラ５で撮影された画像シーケンスからタブレットＰＣ８の形状検出及びテンプレートマッチングによってタブレットＰＣ８を認識し、認識したタブレットＰＣ８の位置及び姿勢を特定する座標を算出し、当該タブレットＰＣ８の座標を制御部１０４、投影画像生成部１０５及び投影処理部１０６に出力する（ステップＳ７１）。また、検知処理部１０２は、カメラ５で撮影された画像シーケンスからタブレットＰＣ８の底辺に付されたマークを検出し、投影処理部１０６に出力する（ステップＳ７２）。
First, the
次いで、制御部１０４は、不図示の人感センサからのユーザの位置の検出情報に基づいて、撮影領域又は投影領域の４つの辺のうち基準となる１つの辺を選択し、基準となる辺の情報を投影処理部１０６に通知する（ステップＳ７３）。例えば、図１６（Ａ）〜（Ｃ）では、制御部１０４は、撮影領域又は投影領域の右辺を基準となる辺とする。
Next, the
制御部１０４は、タブレットＰＣ８に表示される又は投影されるアノテーション画像の座標若しくはＰＣ２から受信した、タブレットＰＣ８上に表示されるアノテーション画像の座標を投影画像生成部１０５に出力する（ステップＳ７４）。
The
投影画像生成部１０５は、アノテーション画像の座標に基づいて投影用のアノテーション画像を生成する（ステップＳ７５）。
The projection
投影処理部１０６は、検知処理部１０２で算出されたタブレットＰＣ８の座標と投影用のアノテーション画像を内接するように構成された矩形領域の４つの角の座標とに基づいて投影変換用のパラメータを推定し、この推定されたパラメータを用いて、投影用のアノテーション画像に投影変換を行う（ステップＳ７６）。さらに、投影処理部１０６は、ＰＣ８の底辺に付されたマーク及び基準となる辺の情報に基づいて、投影変換されたアノテーション画像に対して回転処理を実行し、回転処理後のアノテーション画像をプロジェクタ４に出力する（ステップＳ７７）。より具体的には、投影処理部１０６は、ＰＣ８の底辺に付されたマークと基準となる辺との距離が最短になり、且つＰＣ８の底辺に付されたマークと基準となる辺が並行になるように、投影変換されたアノテーション画像を回転する。
The
プロジェクタ４は、アノテーション画像が入力されたときのタブレットＰＣ８の位置に投影変換されたアノテーション画像を投影し（ステップＳ７８）、本処理を終了する。
The
上記回転処理よれば、ユーザの位置に基づいて撮影領域又は投影領域の４つの辺のうち基準となる１つの辺が選択され、この辺とＰＣ８の底辺に付されたライン状のマークに基づいて、アノテーション画像に対する回転処理が実行されるので、ユーザにとって見やすい向きにアノテーション画像を自動的に回転することができる。尚、上記の実施例では、タブレットＰＣ８の底辺にマークが付されているが、このマークは、タブレットＰＣ８の上部又は左右の側部に付してもよい。
According to the above rotation processing, one of the four sides of the imaging region or the projection region is selected based on the position of the user, and based on the line-shaped mark attached to this side and the bottom side of the
ＰＣ１，ＰＣ２の機能を実現するためのソフトウェアのプログラムが記録されている記録媒体を、ＰＣ１，ＰＣ２に供給し、ＰＣ１，ＰＣ２のＣＰＵが記憶媒体に格納されたプログラムを読み出し実行することによっても、上記実施の形態と同様の効果を奏する。プログラムを供給するための記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、又はＳＤカードなどがある。 Even when a recording medium in which a software program for realizing the functions of PC1 and PC2 is recorded is supplied to PC1 and PC2, and the CPU of PC1 and PC2 reads and executes the program stored in the storage medium, The same effects as in the above embodiment are achieved. Examples of the storage medium for supplying the program include a CD-ROM, a DVD, or an SD card.
また、ＰＣ１のＣＰＵが、ＰＣ１の機能を実現するためのソフトウェアのプログラムを実行することによっても、上記実施の形態と同様の効果を奏する。
In addition, the same effect as that of the above-described embodiment can be obtained when the CPU of the
なお、本発明は、上述した実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。 Note that the present invention is not limited to the above-described embodiment, and can be implemented with various modifications without departing from the scope of the invention.
１，２ ＰＣ
３ ネットワーク
４ プロジェクタ
５ カメラ
７ 机
８ タブレットＰＣ
１０ 人感センサ
１０１ 入力処理部
１０２ 検知処理部
１０３ 保存部
１０４ 制御部
１０５ 投影画像生成部
１０６ 投影処理部
２０１ 制御部
２０２ 保存部
２０３ 入力部
２０４ 表示部
1, 2 PC
3
DESCRIPTION OF
Claims (8)
当該入力装置を含む領域を撮影する撮影装置と、
前記領域に注釈画像を投影する投影装置と、
前記撮影装置で撮影された撮影画像に基づいて前記入力装置の位置及び姿勢を検知する検知手段、
前記注釈画像又は前記指示を受け付けるための第１画像を生成する生成手段、
前記検知手段で検出した前記入力装置の位置及び姿勢に基づいて、前記第１画像を前記投影装置用の画像に変換して、前記投影装置に出力する出力手段、
前記入力装置に入力された座標情報を入力する第１入力手段、
前記座標情報と前記入力装置上に投影された第１画像とに基づいて、注釈画像又は指示内容を決定し、注釈画像が含まれる場合には、前記出力手段にその注釈画像を前記領域に投影される前記投影装置用の画像に変換して前記投影装置に出力させ、指示内容が含まれる場合には、その指示内容に応じた処理を実行させる、実行手段を有する情報処理装置とを備え、
前記投影装置は、前記検知される入力装置上に、前記注釈画像又は前記指示内容が反映された画像を投影し、
前記第１表示手段が前記注釈画像を表示するときには、前記投影装置は、前記検知される入力装置上に、前記注釈画像を投影しないことを特徴とする情報処理システム。 An input device that includes first display means for displaying an annotation image and that inputs the annotation image or instructions;
An imaging device for imaging an area including the input device;
A projection device for projecting an annotation image onto the region;
Detecting means for detecting the position and orientation of the input device based on a photographed image photographed by the photographing device;
Generating means for generating a first image for receiving the annotation image or the instruction;
Output means for converting the first image into an image for the projection device based on the position and orientation of the input device detected by the detection means, and outputting the image to the projection device;
First input means for inputting coordinate information input to the input device;
An annotation image or instruction content is determined based on the coordinate information and the first image projected on the input device, and when the annotation image is included, the annotation image is projected onto the area on the output means. An information processing apparatus having an execution unit that converts the image into an image for the projection apparatus to be output to the projection apparatus and executes processing according to the instruction content when the instruction content is included.
The projection device projects the annotation image or the image reflecting the instruction content onto the detected input device,
When the first display unit displays the annotation image, the projection device does not project the annotation image on the detected input device.
前記遠隔端末は、前記撮影装置からの撮影画像を表示する第２表示手段と、前記注釈画像又は前記指示を入力する第２入力手段とを備え、
前記第２入力手段により入力された注釈画像が、前記第２表示手段に表示される入力装置に重なるときには、重なった部分の注釈画像が前記入力装置に送信され、前記第１表示手段が当該重なった部分の注釈画像を表示することを特徴とする請求項１記載の情報処理システム。 A remote terminal connected to the information processing apparatus via a network;
The remote terminal includes second display means for displaying a photographed image from the photographing apparatus, and second input means for inputting the annotation image or the instruction.
When the annotation image input by the second input unit overlaps the input device displayed on the second display unit, the annotation image of the overlapped portion is transmitted to the input device, and the first display unit overlaps the input image. 2. The information processing system according to claim 1, wherein an annotation image of the selected part is displayed.
前記入力装置が所定時間移動していないと判別された場合に、前記第２表示手段は当該注釈画像を表示し、前記投影装置は当該移動していない入力装置の位置に当該注釈画像を投影することを特徴とする請求項２又は３に記載の情報処理システム。 The information processing apparatus further includes a determination unit that determines whether or not the input device has not moved for a predetermined time,
When it is determined that the input device has not moved for a predetermined time, the second display means displays the annotation image, and the projection device projects the annotation image at a position of the input device that has not moved. The information processing system according to claim 2 or 3,
前記検知手段は、前記撮影装置で撮影された撮影画像から前記入力装置の少なくとも１カ所に付されたライン状のマークを検知し、
前記実行手段は、前記ユーザ検知手段により検出されたユーザの位置の検出情報に基づいて、前記撮影装置の撮影領域又は前記投影装置の投影領域の４つの辺から１つの辺を選択し、
前記出力手段は、前記検知されたライン状のマーク及び前記選択された１つの辺とに基づいて、前記注釈画像に回転処理を実行し、前記投影装置に出力することを特徴とする請求項１乃至６のいずれか１つに記載の情報処理システム。 The information processing apparatus includes user detection means for detecting a position of a user,
The detection means detects a line-shaped mark attached to at least one place of the input device from a photographed image photographed by the photographing device,
The execution unit selects one side from four sides of the imaging region of the imaging device or the projection region of the projection device based on the detection information of the user position detected by the user detection unit,
The output means executes a rotation process on the annotation image based on the detected line-shaped mark and the selected one side, and outputs the rotation to the projection device. The information processing system as described in any one of thru | or 6.
前記撮影装置で撮影された撮影画像に基づいて前記入力装置の位置及び姿勢を検知する検知手段、
前記注釈画像又は前記指示を受け付けるための第１画像を生成する生成手段、
前記検知手段で検出した前記入力装置の位置及び姿勢に基づいて、前記第１画像を前記投影装置用の画像に変換して、前記投影装置に出力する出力手段、
前記入力装置に入力された座標情報を入力する第１入力手段、
前記座標情報と前記入力装置上に投影された第１画像とに基づいて、注釈画像又は指示内容を決定し、注釈画像が含まれる場合には、前記出力手段にその注釈画像を前記領域に投影される前記投影装置用の画像に変換して前記投影装置に出力させ、指示内容が含まれる場合には、その指示内容に応じた処理を実行させる、実行手段を備え、
前記投影装置は、前記検知される入力装置上に、前記注釈画像又は前記指示内容が反映された画像を投影し、
前記第１表示手段が前記注釈画像を表示するときには、前記投影装置は、前記検知される入力装置上に、前記注釈画像を投影しないことを特徴とする情報処理装置。 First input means for displaying an annotation image is connected to an input device for inputting the annotation image or instruction, a photographing device for photographing an area including the input device, and a projection device for projecting the annotation image onto the area. An information processing apparatus comprising:
Detecting means for detecting the position and orientation of the input device based on a photographed image photographed by the photographing device;
Generating means for generating a first image for receiving the annotation image or the instruction;
Output means for converting the first image into an image for the projection device based on the position and orientation of the input device detected by the detection means, and outputting the image to the projection device;
First input means for inputting coordinate information input to the input device;
An annotation image or instruction content is determined based on the coordinate information and the first image projected on the input device, and when the annotation image is included, the annotation image is projected onto the area on the output means. An execution unit that converts the image into an image for the projection device to be output to the projection device and, when the instruction content is included, executes processing according to the instruction content;
The projection device projects the annotation image or the image reflecting the instruction content onto the detected input device,
When the first display unit displays the annotation image, the projection device does not project the annotation image on the detected input device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008140061A JP5187001B2 (en) | 2008-05-28 | 2008-05-28 | Information processing system and information processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008140061A JP5187001B2 (en) | 2008-05-28 | 2008-05-28 | Information processing system and information processing apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009290488A JP2009290488A (en) | 2009-12-10 |
| JP5187001B2 true JP5187001B2 (en) | 2013-04-24 |
Family
ID=41459275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008140061A Expired - Fee Related JP5187001B2 (en) | 2008-05-28 | 2008-05-28 | Information processing system and information processing apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5187001B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5246148B2 (en) * | 2009-12-04 | 2013-07-24 | 富士通株式会社 | Light projection control program, light projection control device, and light projection control method |
-
2008
- 2008-05-28 JP JP2008140061A patent/JP5187001B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009290488A (en) | 2009-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8004571B2 (en) | Projection-based system, apparatus and program of storing annotated object image | |
| JP6525611B2 (en) | Image processing apparatus and control method thereof | |
| US20100149206A1 (en) | Data distribution system, data distribution apparatus, data distribution method and recording medium, improving user convenience | |
| JP2008217590A (en) | Information sharing support system, information processor, and control program | |
| JP2009055110A (en) | Image recorder and its control method | |
| KR20120033246A (en) | Image processing apparatus, image processing method, and computer program | |
| JP2012053545A (en) | Image processing system, and method for controlling the same | |
| JP2021052289A (en) | Image processing method, program, image processing apparatus, and image processing system | |
| JP5751775B2 (en) | Imaging apparatus, control method and program thereof, and recording medium | |
| JP7155781B2 (en) | Information processing device and information processing program | |
| JP5262888B2 (en) | Document display control device and program | |
| JP2008250700A (en) | Information processor, window reproduction method and program | |
| JP4674627B2 (en) | Information processing apparatus, remote instruction system, and program | |
| JP2008078937A (en) | Image processing apparatus, method and program for controlling the image processor | |
| JP5187001B2 (en) | Information processing system and information processing apparatus | |
| JP6314564B2 (en) | Image processing apparatus, image processing method, and program | |
| JP4999606B2 (en) | Image shooting and editing apparatus, image shooting and editing method, and image editing program | |
| JP2009076983A (en) | Information processing system, and information processor | |
| JP6070795B2 (en) | Information processing apparatus, control method thereof, and program | |
| KR20120012870A (en) | Multifunction Eletronic Pen and character input method using the same | |
| JP2010079529A (en) | Information processor, information processing method, program therefor and recording medium | |
| JP2013131811A (en) | Image display device | |
| JP2010117465A (en) | Information processing device, information processing system and program | |
| JP2013084148A (en) | Electronic pen system and program | |
| JP4894458B2 (en) | Instruction device, instruction system, instruction method, and instruction program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110421 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121225 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130107 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160201 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5187001 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |