JP4957327B2 - 表示制御装置 - Google Patents

Description

本発明は、文書生成装置、表示制御装置、プログラムに関する。

テーブルや壁面を、携帯型コンピュータを空間的に拡張する作業環境として機能させる技術は知られている（例えば、特許文献１参照）。この特許文献１では、例えば、あるユーザのコンピュータ・ディスプレイ上のドラッグ操作を、そのままコンピュータが設置された平面（テーブルや壁面）に継承する「ハイパードラッグ」操作が可能になっている。
また、画像表示機能を持った媒体を表示画面における表示内容に対する操作に利用し、表示装置と媒体との間の双方向の表示内容のやりとりを可能とする技術も知られている（例えば、特許文献２参照）。この特許文献２では、媒体を表示部にかざすと、位置マーカーにより媒体の位置や角度等が検知され、媒体の表示領域に対応する表示部の領域の表示内容が媒体に書き込まれる。逆に、媒体に表示されている内容を、媒体の表示領域に対応する表示部の領域に転写することもできるようになっている。

特開２００１−１３６５０４号公報 特開２００５−３１４４８号公報

ここで、従来、表示画面に表示された画像を電子文書化する処理や、媒体が保持する画像を表示画面に表示する処理を、高い自由度で行うための仕組みは提案されていなかった。

本発明の目的は、表示画面に表示された画像を電子文書化する処理や、媒体が保持する画像を表示画面に表示する処理を、高い自由度で行えるようにすることにある。

請求項１に記載の発明は、
表示画面上に位置する媒体を特定する媒体特定手段と、
前記媒体特定手段により特定された媒体が保持する画像に含まれる複数の画像要素の中から所定の条件を満たす画像要素を特定する画像特定手段と、
前記画像特定手段により特定された前記画像要素が前記表示画面に表示されるように制御する制御手段と
を備え、
前記媒体は、画像を印刷可能な表面を有し、
前記媒体の表面上の位置を特定する位置特定手段を更に備え、
前記画像特定手段は、前記媒体特定手段により特定された前記媒体の表面に印刷された画像に含まれる複数の画像要素の中から、前記位置特定手段により特定された前記表面上の位置に印刷されていないことを前記所定の条件として、前記画像要素を特定することを特徴とする表示制御装置である。

請求項１の発明は、媒体が保持する画像の表示画面への表示を画像要素単位で制御することができ、かつ、表示画面に表示する画像要素をそれが印刷された媒体上の位置により特定することができるという効果を有する。

以下、添付図面を参照して、本発明を実施するための最良の形態（以下、「実施の形態」という）について詳細に説明する。
本実施の形態では、表示装置の一例として、複数のユーザが取り囲んで議論等を行うための水平型表示装置を用いる。ユーザが持ち込んだ紙や電子端末等の媒体をこの水平型表示装置の上に置き、紙に印刷された画像や電子端末に表示された画像を水平型表示装置上の共有画面で共有することで、議論等が行われる。そこで、まず、この水平型表示装置の機構について説明する。

図１は、水平型表示装置１０に媒体（メディア）の一例として紙媒体２０をかざした場合の断面図である。水平型表示装置１０には他の媒体をかざすこともあるが、ここでは紙媒体２０をかざした場合を例にとっている。
図示するように、水平型表示装置１０は、議論等を行う作業台としての天板１１と、天板１１を支持する脚部１２ａ〜１２ｄとを備える。また、天板１１に対して背面から画像を投影する投影ユニット１３と、投影ユニット１３を移動自在に支持するキャスター１４ａ〜１４ｄと、天板１１に投影させる画像を映し出すプロジェクタ１５とを備える。更に、紙媒体２０の裏面に対して赤外光を照射する赤外光光源１７と、紙媒体２０の裏面で反射された赤外光を受光する赤外カメラ１８とを備える。但し、図１は断面図のため、脚部１２ｃ及び１２ｄ、キャスター１４ｃ及び１４ｄについては、図に現れていない。

天板１１は、その周囲の任意の位置にユーザが立って議論等に参加できるよう、例えば、円形のものを用いる。また、例えばガラス板等の基材に乳白色の半透明フィルターを貼り付けて透過型スクリーンを形成し、投影ユニット１３により投影された画像を表示する表示画面（例えば、大画面ディスプレイ）として機能させる。即ち、本実施の形態では、表示手段の一例として、天板１１を用いている。更に、天板１１は、表示された画像に対するユーザの操作を検知するタッチパネルの機能も備える。ここで、タッチパネルは、天板１１の表面を接触を検知するための素子を配置した透明なスクリーンで覆うことで実現してもよいし、天板１１の表面で縦、横に赤外光を走らせてその遮断された位置を検出することで実現してもよい。但し、本実施の形態では、天板１１に紙媒体２０が置かれることがある。従って、天板１１が備えるタッチパネルの機能は、紙媒体２０の裏面によるタッチを、ユーザ操作としてのタッチとは区別して処理するものとする。例えば、タッチされている箇所が一定の面積を超える場合には、ユーザ操作を表す信号を発生させないようにすればよい。
脚部１２ａ〜１２ｄは、４本脚の場合の例であるが、脚部の数はこれに限らない。

投影ユニット１３は、天板１１の側の面が開いた四角柱の箱からなっており、その中にミラー１３ａ及び１３ｂを備える。ここで、ミラー１３ａ及び１３ｂは、図のような角度で固定され、投影ユニット１３の箱の側面に取り付けられているものとする。
キャスター１４ａ〜１４ｄは、天板１１、脚部１２ａ〜１２ｄ、プロジェクタ１５からなるテーブルの移動に合わせて投影ユニット１３を動かせるよう、投影ユニット１３の底面に取り付けられている。但し、テーブルに対する投影ユニット１３の相対的位置がずれることのないようにする。尚、ここでは、キャスターを４つとしたが、その数はこれに限らない。
プロジェクタ１５は、天板１１の下に吊り下げられて固定され、ミラー１３ａの方向に画像を投影する。すると、その画像はミラー１３ｂで反射し、天板１１に投影されることになる。

赤外光光源１７は、例えば、赤外カメラ１８のシャッタタイミングに同期させてパルス点灯する。これにより、天板１１の紙媒体２０が載る可能性のある領域に対して、定期的に赤外光が照射されることになる。この赤外光光源１７としては、例えば、赤外ＬＥＤを用いるとよい。
赤外カメラ１８は、赤外光が照射された紙媒体２０の裏面を、赤外領域に感度を有するイメージセンサによって撮像する。そして、撮像された画像を解析することにより、紙媒体２０のＩＤ及び位置が検出される。ここで、イメージセンサとしては、例えば、ＣＭＯＳセンサやＣＣＤセンサを用いるとよい。
本実施の形態では、このように赤外光を用いて画像を読み取ることで、プロジェクタ１５の可視光による映像に影響を与えないようにしている。また、更に確実な投影やＩＤの認識を行うために、天板１１には、一定の角度の光以外を透過させるホログラフィック光素子を用いてもよい。或いは、電気的に透過／不透過を変えられるフィルムを天板１１に貼り付け、投影とＩＤの認識を短い周期で切り替える方法も考えられる。

一方、紙媒体２０の裏面には、赤外光光源１７及び赤外カメラ１８を用いてそのＩＤ及び位置が検出されるよう、赤外領域に吸収域を持つ色材（例えば、トナー）を用いて形成された符号画像２６が印刷されている。尚、このような符号画像２６が印刷された紙媒体２０を、以下では「ＩＤ付き用紙」ともいう。
また、図１には示していないが、本実施の形態では、紙媒体２０の表面（裏面と反対側の面）に符号画像が印刷されることもある。表面の符号画像は例えば電子ペンを用いて読み取られるが、この場合も、符号画像は、赤外光光源及び赤外カメラを用いてそのＩＤ及び紙媒体２０上の位置が検出されるよう、赤外領域に吸収域を持つ色材（例えば、トナー）を用いて印刷される。
尚、紙媒体２０としては、一般的な紙だけでなく、紙のような感覚で利用できる表示媒体である電子ペーパーを用いてもよい。

更に、図１には水平型表示装置１０に紙媒体２０をかざした場合について示したが、紙媒体２０の代わりに、媒体（メディア）の一例として電子端末をかざす場合もある。ここで、電子端末としては、携帯可能な端末装置が考えられる。デジタルカメラが代表例であるが、ノート型のＰＣ、ＰＤＡ（Personal Digital Assistants）、携帯電話等であっても構わない。この場合も、電子端末の底面には、赤外光光源１７及び赤外カメラ１８を用いてそのＩＤが検出されるよう、赤外領域に吸収域を持つ色材（例えば、トナー）を用いて形成された符号画像が貼付されている。

尚、本実施の形態では、実質的に水平な表示画面を有する表示装置の一例として、水平型表示装置１０を用いた。ここで、「実質的に水平」とは、天板１１が地面又は床面と完全に平行であることまでを要求する趣旨ではなく、天板１１の上に媒体を載せてもずれ落ちない程度に水平であればよいものとする。また、以下、水平型表示装置１０に適用した場合について説明するが、垂直型等、他のタイプの表示装置に適用してもよい。

ここで、会議等において、複数の参加者が持ち寄った文書に含まれるコンテンツオブジェクトのマッピングや再構成の作業をこのような水平型表示装置１０の上で行う場面を考える。このような場面で創造的なマッピングや再構成の作業を行うには、作業を行うための領域に出力サイズ枠等の概念を設けないことが望ましい。
この点に関し、既存の文書作成ソフトウェア（電子文書作成ソフトウェア）では、最初にＡ４等の紙の大きさ（出力サイズ枠）を設定し、コンテンツオブジェクトを枠内に収めていく方法が採用されている。しかしながら、このような「先に紙の大きさを決め、その枠内に収めていく」方法は、上述した創造的なマッピングや再構成の作業に合っておらず、作業に支障をきたしているのが現状である。

また、表示画面上で行ったマッピングの結果（マッピング図）を、部分ごとに文書化したい場合、現状の文書作成ソフトウェアでは、ページごとにマッピングする必要があり、全体の俯瞰が難しい。１ページに全体のマッピング図を作成し、そこからページ割りしていく方法もあるが、各ページにコピー＆ペーストを行い、出力サイズ枠に応じて配置したり修正したりするのが手間である。

更に、会議への参加者は、紙、電子ペーパー、電子端末等、様々なメディアでコンテンツを持参するため、コンテンツの大きさ、コンテンツオブジェクトに対するメディアの余白、メディアの背景色等にばらつきがある。そのため、表示画面上でコンテンツオブジェクトのマッピングや再構成を行い、新たな文書を作成する作業において、これまでは、同じメディアへの移行（スキャン等）や、コンテンツのオブジェクト化（各コンテンツの切り抜き等）を行い、大きさを揃え、背景色を透明にする、といった前準備に手間がかかっていた。

そこで、本実施の形態では、出力サイズ枠の概念がない作業スペース上で、コンテンツオブジェクト単位でマッピングや再構成等の作業を行う環境を提案する。
また、コンテンツオブジェクトのマッピングや再構成の作業を行った後に、文書のサイズ枠（出力サイズ枠）を指定すると、それに合わせてコンテンツが拡大／縮小され、文書化されるようにする。ここで、作業スペース上では複数の部分を指定できるようにし、そのいずれの部分に対しても、出力サイズ枠を設定できるようにする。
更に、紙、電子ペーパー、電子端末等の様々なメディアから、上記の環境へコンテンツを移動させる際、メディアに指示することで、移動させたいコンテンツオブジェクトのみが上記の環境へ移動するようにする。

以下、本実施の形態における作法の例について、図２〜１１を参照して詳細に述べる。
まず、出力サイズ枠の概念がない作業スペース（電子作業スペース）の例について説明する。
図２は、このような作業スペースの例を示した図である。図には、水平型表示装置１０の天板１１に実現される表示画面上でコンテンツオブジェクトのマッピング作業を行っている場面が示されている。マッピング作業を行う領域は、議論するうちに拡張していくため、出力サイズ枠の概念がない作業スペースで行うのが有効である。

ここで、コンテンツオブジェクトとは、文書を構成する単位／かたまりであり、それ自体で議論の対象になり得るものである。また、文書が紙媒体２０に印刷された画像であれば、その画像を構成する単位／かたまりの元となる電子情報であってもよい。即ち、本実施の形態では、画像に含まれる画像要素又はその元となる電子情報の一例として、コンテンツオブジェクトを用いている。また、コンテンツオブジェクトは、背景や余白が透明であり、大きさの概念を有していない。尚、図では、円、正方形、正三角形、正六角形、星形で、コンテンツオブジェクトを表している。
また、作業スペースとは、オブジェクトの移動、回転、縮小拡大、切り貼り等の編集を行うためのソフトウェアを、水平型表示装置１０の天板１１に投影した環境である。図では、このソフトウェアの機能を用いて、複数のコンテンツオブジェクトをグループとして線で囲んだり、コンテンツオブジェクト間又はコンテンツオブジェクトとグループとの間を線で結んだりした様子を示している。尚、図中、黒塗りの横長の長方形は、コンテンツオブジェクトのグループの例えばグループ名を表示するために配置されたものである。

次に、出力サイズ枠の概念がない作業スペース上のある部分を電子文書化するための作法について説明する。
図３は、電子文書化するための作法の第１の例を示した図である。
ここでは、図２のコンテンツオブジェクトのマッピング図全体を電子文書化する場合を考える。図３では、まず、（ａ）に矢印付きの破線で示したように、電子文書化したい部分であるマッピング図全体を指で囲う。すると、（ｂ）に示すように、指定された部分（領域）を表す破線１１３が表示されると共に、用紙サイズを選択するためのメニュー１１４が表示される。ユーザが希望の用紙サイズを選択すると、（ｃ）に示すように、選択された用紙サイズに応じてコンテンツが拡縮して電子文書化され、電子文書３５が生成される。

図４は、電子文書化するための作法の第２の例を示した図である。
ここでは、図２のコンテンツオブジェクトのマッピング図の一部を電子文書化する場合を考える。図４では、まず、（ａ）に矢印付きの破線で示したように、マッピング図の電子文書化したい部分を指で囲う。すると、（ｂ）に示すように、指定された部分（領域）を表す破線１１３が表示されると共に、用紙サイズを選択するためのメニュー１１４が表示される。ユーザが希望の用紙サイズを選択すると、（ｃ）に示すように、選択された用サイズに応じてコンテンツが拡縮して電子文書化され、電子文書３５が生成される。

図５は、電子文書化するための作法の第３の例を示した図である。
ここでは、図３と同様、図２のコンテンツオブジェクトのマッピング図全体を電子文書化する場合を考えるが、電子文書化したい部分の指定方法が図３とは異なる。即ち、両手の親指と人差し指をＬ字型にして、電子文書化したい部分の左上点及び右下点を指定する。このようにして電子文書化したい部分が特定されると、その後は、図３と同様の表示及び電子文書化を行う。

次いで、コンテンツオブジェクトを出力サイズ枠の概念がない作業スペースへ移動させるための作法について説明する。つまり、これまでに述べたのは、コンテンツオブジェクトを作業スペースへ移動させた後に電子文書として出力する際の作法であったが、その作業スペースにそもそもコンテンツオブジェクトをどのようにして移動させるかについて、以下で説明する。

図６は、従来の方法でコンテンツオブジェクトを持ち寄った場合と、本実施の形態の方法でコンテンツオブジェクトを持ち寄った場合とを比較して説明するための図である。
一般に、会議への参加者は、様々なメディアでコンテンツを持参するため、コンテンツの大きさ、コンテンツオブジェクトに対するメディアの余白、メディアの背景色等にばらつきがある。
図６（ａ）にその具体例を示す。左から順に、参加者Ａ、参加者Ｂ、参加者Ｃが持参したコンテンツであるとする。参加者Ａは、電子ペーパーに２つのアイデア（正方形、正三角形で示している）を載せて持参している。参加者Ｂは、２枚のＩＤ付き用紙のそれぞれに１つずつ、合計２つのアイデア（円、星形で示している）を載せて持参している。参加者Ｃが、電子端末に１つのアイデアデータ（正六角形で示している）を格納して持参している。

しかしながら、このように様々なメディアを用いてアイデアを持ち寄ったのでは、図６（ｂ）に示すように、これらのアイデアを並べて比較検討したり、マッピングや再構成の作業を行ったりするのが、非常に困難になってしまう。同じメディアへの移行（スキャン等）や、コンテンツのオブジェクト化（各コンテンツの切り抜き等）を行い、大きさを揃え、背景色を揃える等の作業に手間がかかるからである。
これに対し、本実施の形態は、図６（ｃ）に示すように、コンテンツの大きさ、余白、背景色を揃えることにより、複数の参加者が持参したアイデアを同一の条件で比較できるようにするものである。

図７は、コンテンツオブジェクトを作業スペースへ移動させるための作法の第１の例を示した図である。
まず、（ａ）に示すように、出力サイズ枠の概念がない作業スペースを持つ水平型表示装置１０に対して、紙媒体２０（ＩＤ付き用紙）を斜めに向け、何度か振る。すると、紙媒体２０に内蔵されている加速度センサが、振られたことをセンシング（検知）する。そして、これをトリガーとして、コンテンツオブジェクトを所定のサーバから取得し、（ｂ）に示すように、画像を表示する。即ち、紙媒体２０に記録されていたコンテンツオブジェクトが、水平型表示装置１０上の作業スペースへ移動する。これにより、出力サイズ枠の概念がない作業スペース上で、拡大縮小、回転等の編集を行うことにより、並べて比較検討したり、マッピングの再構成の作業を行ったりすることが可能となる。

尚、図７では、水平型表示装置１０上で振るメディアとして、紙媒体２０を想定したが、その他のメディアを採用してもよい。そのようなメディアとしては、例えば、電子ペーパー、ＰＣ、タブレットＰＣ、ＰＤＡ等が考えられる。そして、これらのメディアを用いた場合、メディアに内蔵されている加速度センサが振られたことを検知し、メディアが保持する情報が、水平型表示装置１０上の作業スペースへ移動することになる。
また、ここでは、メディアが振られたことを加速度センサによって検出するようにしたが、メディアの振動を検出できるものであれば、他の如何なる方法を用いてもよい。例えば、メディアにＲＦＩＤ(Radio Frequency Identification)タグを添付しておき、ＲＦＩＤリーダの検知範囲に対するＲＦＩＤタグの出入りにより検出することが考えられる。また、水平型表示装置１０側からメディアを撮像した結果の画像の解析により検出するようにしてもよい。

図８は、コンテンツオブジェクトを作業スペースへ移動させるための作法の第２の例を示した図である。この例では、１枚の紙媒体２０（ＩＤ付き用紙）に複数のコンテンツオブジェクトが載っているものとする。そして、例えば紙媒体２０にコンテンツオブジェクトを印刷する際に、コンテンツオブジェクトごとにオブジェクトＩＤを生成し、所定のサーバにオブジェクトＩＤとコンテンツオブジェクトとを関連付けて登録しておくものとする。例えば、コンテンツオブジェクトどうしの過密度等に基づいて個々のコンテンツオブジェクトを認識するプログラムを用いて、コンテンツオブジェクトを区別して登録するようにすればよい。

この例でも、まず、（ａ）に示すように、出力サイズ枠の概念がない作業スペースを持つ水平型表示装置１０に対して、紙媒体２０（ＩＤ付き用紙）を斜めに向け、何度か振る。但し、（ｂ）に示すように、振った後すぐに移動させないオブジェクトを指で押さえることにより、押さえなかったオブジェクトのみが作業スペースへ移動する。例えば、紙媒体２０にタッチセンサ（例えば、加圧センサ）を内蔵しておき、押さえられているコンテンツオブジェクトを移動させないコンテンツオブジェクトとしてセンシングするとよい。或いは、紙媒体２０の表面に符号画像を印刷し、その符号画像から情報を読み取ることができる電子ペン等で紙媒体２０上をタッチすることで、タッチされたコンテンツオブジェクトを移動させないコンテンツオブジェクトとしてセンシングするようにしてもよい。
また、（ｃ）に示すように、多点でのタッチを検出可能なタッチセンサを内蔵させ、移動させないコンテンツオブジェクトを複数指定できるようにしてもよい。

尚、図８でも、水平型表示装置１０上で振るメディアとして、紙媒体２０を想定したが、その他のメディアを採用してもよい。そのようなメディアとしては、例えば、電子ペーパー、ＰＣ、タブレットＰＣ、ＰＤＡ等が考えられる。そして、これらのメディアを用いた場合、メディアに内蔵されている加速度センサが振られたことを検知し、メディアが保持する情報のうち指示された情報が、水平型表示装置１０上の作業スペースへ移動することになる。
また、ここでも、メディアが振られたことを加速度センサによって検出するようにしたが、メディアの振動を検出できるものであれば、他の如何なる方法を用いてもよい。例えば、メディアにＲＦＩＤ(Radio Frequency Identification)タグを添付しておき、ＲＦＩＤリーダの検知範囲に対するＲＦＩＤタグの出入りにより検出することが考えられる。また、水平型表示装置１０側からメディアを撮像した結果の画像の解析により検出するようにしてもよい。

図９は、コンテンツオブジェクトを作業スペースへ移動させるための作法の第３の例を示した図である。
まず、（ａ）に示すように、出力サイズ枠の概念がない作業スペースを持つ水平型表示装置１０上に、紙媒体２０（ＩＤ付き用紙）を載せ、移動させるコンテンツオブジェクトを指でタッチする。すると、押さえられているコンテンツオブジェクトを、水平型表示装置１０に内蔵されたタッチセンサ（例えば、加圧センサ）が検出する。そして、（ｂ）に示すように、そのまま指をドラッグして指を離すと、指を離した位置へ所定のサーバからコンテンツオブジェクトが送られ、画像が生成される。
また、（ｃ）に示すように、多点でのタッチを検出可能なタッチセンサを内蔵させ、一度に複数のコンテンツオブジェクトを移動させるようにしてもよい。

尚、図９でも、水平型表示装置１０上に載せるメディアとして、紙媒体２０を想定したが、その他のメディアを採用してもよい。そのようなメディアとしては、例えば、電子ペーパー、ＰＣ、タブレットＰＣ、ＰＤＡ等が考えられる。そして、これらのメディアを用いた場合、メディアが保持する情報が、水平型表示装置１０上の作業スペースへ移動することになる。

図１０は、コンテンツオブジェクトを作業スペースへ移動させるための作法の第４の例を示した図である。この例では、デジタルカメラ（以下、単に「カメラ」という）４０でコンテンツを持参するものとする。ここで、カメラ４０は、複数のコンテンツオブジェクトを１枚に収めた画像を含む複数の画像を保持している。また、カメラ４０の例えば底面には、符号画像が貼付されているものとする。
この例でも、まず、（ａ）に示すように、出力サイズ枠の概念がない作業スペースを持つ水平型表示装置１０に対して、カメラ４０を斜めに向け、何度か振る。すると、カメラ４０に内蔵されている加速度センサが、振られたことをセンシング（検知）する。そして、これをトリガーとして、カメラ４０のＩＤとカメラ４０内の画像とが所定のサーバに送られる。これにより、画像からコンテンツオブジェクトを認識するプログラムで個々にオブジェクト化され、（ｂ）に示すように、水平型表示装置１０に表示される。
その際、カメラ４０内の画像のうち移動させる画像をユーザが選択状態にしておき、選択状態になっている画像のみを水平型表示装置１０に移動させるようにしてもよい。

また、ここでは、カメラ４０が振られたことを加速度センサによって検出するようにしたが、カメラ４０の振動を検出できるものであれば、他の如何なる方法を用いてもよい。例えば、カメラ４０にＲＦＩＤ(Radio Frequency Identification)タグを添付しておき、ＲＦＩＤリーダの検知範囲に対するＲＦＩＤタグの出入りにより検出することが考えられる。また、水平型表示装置１０側からカメラ４０を撮像した結果の画像の解析により検出するようにしてもよい。

図１１は、コンテンツオブジェクトを作業スペースへ移動させるための作法の第５の例を示した図である。
この例では、まず、（ａ）に示すように、カメラ４０のシャッタを押す。すると、カメラ４０のＩＤと今撮影した画像とが所定のサーバに送られ、画像からコンテンツオブジェクトを認識するプログラムで個々にオブジェクト化され、（ｂ）に示すように、水平型表示装置１０に表示される。即ち、ユーザにとって撮影した物理的なコンテンツが瞬時に水平型表示装置１０に移動したように見える例である。

次に、このような概略動作を実現する表示システムの構成について説明する。
図１２は、本実施の形態における表示システムの構成例を示した図である。
図示するように、本実施の形態の表示システムは、水平型表示装置１０と、水平型表示装置１０上の共有画面を制御する共有画面制御装置３０とを含む。また、共有画面制御装置３０には、電子ペン６０が接続されたり、カメラ４０が接続されたりする場合もある。尚、水平型表示装置１０と共有画面制御装置３０との間、電子ペン６０と共有画面制御装置３０との間、カメラ４０と共有画面制御装置３０との間は、例えばＬＡＮ（有線でも無線でもよい）等によって接続される。ここで、図には、各装置間で送受信される情報も示している。尚、情報に付した丸囲みの数字は、後述する動作例との対応を示す。即ち、丸囲み数字の「１」は、第１の動作例にて送受信される情報を、丸囲み数字の「２」は、第２の動作例にて送受信される情報を、丸囲み数字の「３」は、第３の動作例にて送受信される情報を、丸囲み数字の「４」は、第４の動作例にて送受信される情報を、それぞれ示している。

ここで、各装置の内部の機能構成について説明する。
水平型表示装置１０は、画像を表示するための処理を行う表示部１１１と、表示画面上での操作を検出する操作検出部１１２と、紙媒体２０のＩＤ（以下、「紙ＩＤ」という）等を検出する情報検出部１８１と、各部の動作を制御する制御部１６と、共有画面制御装置３０との間で情報の送受信を行う通信部１９とを備える。

表示部１１１は、通信部１９が共有画面制御装置３０から受信したコンテンツオブジェクトを、メモリに記憶する表示中の画像に反映させて新たな画像を生成し、これをプロジェクタ１５に出力する。その際、通信部１９が共有画面制御装置３０から受信した表示位置の情報に従ってコンテンツオブジェクトを配置し、新たな画像を生成する場合もある。
操作検出部１１２は、天板１１のタッチパネル機能からユーザ操作に関する信号を受け、操作内容を検出する。この操作内容には、電子文書化する領域を指定する操作や電子文書化する際の用紙サイズを選択する操作、或いは、移動対象のコンテンツオブジェクトやその移動先の天板１１上での位置（以下、「画面上位置」という）を指定する操作等がある。
情報検出部１８１は、赤外カメラ１８が撮像した画像を解析することにより、紙ＩＤを検出する。また、天板１１上での紙媒体２０の位置（以下、「紙位置」という）を検出する場合もある。

制御部１６は、通信部１９から受け取ったコンテンツオブジェクト等を表示部１１１に渡したり、操作検出部１１２や情報検出部１８１から受け取った情報を通信部１９に渡したりする。
通信部１９は、天板１１に表示された画像の領域を指定するユーザ操作の情報と、電子文書化する際の用紙サイズを設定するユーザ操作の情報とを共有画面制御装置３０に送信する。また、自身のＩＤと紙ＩＤとを共有画面制御装置３０に送信し、コンテンツオブジェクトを共有画面制御装置３０から受信する。或いは、自身のＩＤ、紙ＩＤ、紙位置、コンテンツオブジェクトの移動元と移動先に対応する画面上位置を共有画面制御装置３０に送信し、コンテンツオブジェクトと表示位置に関する情報を共有画面制御装置３０から受信する。更には、自身のＩＤとカメラ４０のＩＤ（以下、「カメラＩＤ」という）とを共有画面制御装置３０に送信し、コンテンツオブジェクトを共有画面制御装置３０から受信する場合もある。

共有画面制御装置３０は、各部の動作を制御する制御部３１と、電子文書を生成する電子文書生成部３２と、コンテンツオブジェクトを取得するコンテンツオブジェクト取得部３３と、天板１１上でのコンテンツオブジェクトの表示位置を決定する表示位置決定部３４と、水平型表示装置１０との間で情報の送受信を行う通信部３９とを備える。

制御部３１は、通信部３９から受け取った画像と用紙サイズを電子文書生成部３２に渡す。また、コンテンツオブジェクトを取得するための紙上位置を取得し、これをコンテンツオブジェクト取得部３３に伝えてコンテンツオブジェクトを取得させる。そして、取得されたコンテンツオブジェクトが水平型表示装置１０に表示されるように通信部３９に送り返す。即ち、本実施の形態では、媒体の表面上の位置を特定する位置特定手段の一例として、また、画像要素が表示画面に表示されるように制御する制御手段の一例として、制御部３１を設けている。更に、制御部３１は、表示位置決定部３４を制御して表示位置を決定させる。

電子文書生成部３２は、水平型表示装置１０から受信した画像を用紙サイズに合うように調整して電子文書を生成する。即ち、本実施の形態では、画像を調整する調整手段の一例として、また、電子文書を生成する生成手段の一例として、電子文書生成部３２を設けている。
コンテンツオブジェクト取得部３３は、水平型表示装置１０から送られた紙ＩＤと所定の方法で得られた紙上位置とに基づいて表示対象のコンテンツオブジェクトを特定し、そのコンテンツオブジェクトを図示しない記憶装置から取得する。或いは、カメラ４０から送られた画像を解析することにより、コンテンツオブジェクトを取得する場合もある。即ち、本実施の形態では、画像要素を特定する画像特定手段の一例として、コンテンツオブジェクト取得部３３を設けている。
表示位置決定部３４は、水平型表示装置１０から画面上位置が送られた場合に、その画面上位置に応じて、コンテンツオブジェクトの表示位置を決定する。

通信部３９は、天板１１に表示された画像の領域を指定するユーザ操作の情報と、電子文書化する際の用紙サイズを設定するユーザ操作の情報とを水平型表示装置１０から受信する。即ち、本実施の形態では、所定の領域を指定する第１の操作と媒体の大きさを設定する第２の操作に関する情報を取得する取得手段の一例として、通信部３９を設けている。また、水平型表示装置１０のＩＤ（以下、「装置ＩＤ」という）と紙ＩＤとを水平型表示装置１０から受信し、コンテンツオブジェクトを水平型表示装置１０に送信する。或いは、装置ＩＤ、紙ＩＤ、紙位置、コンテンツオブジェクトの移動元と移動先に対応する画面上位置を水平型表示装置１０から受信し、コンテンツオブジェクトと表示位置に関する情報を水平型表示装置１０に送信する。更には、装置ＩＤとカメラＩＤとを水平型表示装置１０から受信し、コンテンツオブジェクトを水平型表示装置１０に送信する場合もある。更にまた、電子ペン６０が接続されている場合、通信部３９は、紙ＩＤと紙上位置とを電子ペン６０から受信し、カメラ４０が接続されている場合、通信部３９は、カメラＩＤと画像とをカメラ４０から受信する。その際、通信部３９は、紙媒体２０又はカメラ４０が振動した旨の情報も受信する。即ち、本実施の形態では、媒体を特定する媒体特定手段の一例として、また、媒体が振動した旨の情報を取得する第１の取得手段の一例として、通信部３９を設けている。

尚、図１２では、１つの共有画面制御装置３０に１つの水平型表示装置１０が接続された表示システムを示したが、１つの共有画面制御装置３０に複数の水平型表示装置１０が接続されていても構わない。また、水平型表示装置１０とは別に共有画面制御装置３０を設けたが、共有画面制御装置３０は、水平型表示装置１０と一体に設けてもよい。但し、このような構成を採用した場合、共有画面制御装置３０は、複数の水平型表示装置１０を一括して管理するというものではなくなるので、後述するように装置ＩＤを管理する必要はなくなる。

次に、本実施の形態の表示システムにおける動作を説明する。尚、以下では、図３〜５に示した作法により電子文書化する際の処理を第１の動作例として示し、図８に示した作法によりコンテンツオブジェクトを移動させる処理を第２の動作例として示し、図９に示した作法によりコンテンツオブジェクトを移動させる処理を第３の動作例として示し、図１０及び１１に示した作法によりコンテンツオブジェクトを移動させる処理を第４の動作例として示す。

まず、第１の動作例について述べる。
図１３は、第１の動作例の流れを示したフローチャートである。
まず、図３〜５に示したように、ユーザが、電子文書化する部分を囲う操作を行う。これにより、操作検出部１１２が、そのユーザ操作を検出する（ステップ１０１）。すると、そのユーザ操作に関する情報は、制御部１６に伝えられ、制御部１６による制御の下、表示部１１１が、用紙サイズ選択用のメニューを表示する（ステップ１０２）。
このメニューが表示されると、図３〜５に示したように、ユーザは選択肢として表示された用紙サイズの中から好みの用紙サイズを選択する。これにより、操作検出部１１２が、そのユーザ操作を検出する（ステップ１０３）。すると、そのユーザ操作に関する情報は、制御部１６に伝えられ、制御部１６は、天板１１に表示された画像のうちステップ１０１でユーザが指定した範囲に含まれる画像と、ステップ１０３でユーザが設定した用紙サイズに関する情報とを通信部１９に伝える。そして、通信部１９が、画像と用紙サイズの情報とを共有画面制御装置３０に送信する（ステップ１０４）。

これにより、共有画面制御装置３０では、通信部３９が、画像と用紙サイズの情報とを受信する。そして、これらを制御部３１に伝え、制御部３１は、これらを電子文書生成部３２に伝えて電子文書の生成を指示する。これにより、電子文書生成部３２は、渡された画像を用紙サイズに合うように調整し、電子文書を生成する（ステップ１０５）。
ここで、画像の調整の具体的な手法としては、例えば、次のようなものがある。
まず、電子文書化したい画像の縦方向の長さを用紙サイズの縦方向の長さに拡大又は縮小する際の拡縮率（Ａ）を求める。次に、電子文書化したい画像の横方向の長さを用紙サイズの横方向の長さに拡大又は縮小する際の拡縮率（Ｂ）を求める。そして、ＡとＢのうち小さい方の拡縮率を用いて画像全体を拡大又は縮小する。このようにすれば、元の画像の縦と横の比率を変えることなく、用紙サイズに収まる最大の画像が得られる。
そして、このようにして生成された電子文書は、図示しない記憶装置に記憶される（ステップ１０６）。

尚、上記動作例では、水平型表示装置１０でユーザ操作を検出する処理までを行い、画像を用紙サイズに合わせる調整処理や、電子文書の生成処理は、共有画面制御装置３０で行うようにした。しかしながら、画像を用紙サイズに合わせる調整処理までを水平型表示装置１０で行い、電子文書の生成処理のみを共有画面制御装置３０で行うようにしてもよい。或いは、電子文書の生成処理までを水平型表示装置１０で行い、共有画面制御装置３０では電子文書の記憶／管理のみを行うこととしてもよい。

次に、第２の動作例について述べる。尚、図８では、紙媒体２０上を指で押さえていたが、ここでは、紙媒体２０上の位置（紙上位置）を画像読取り可能な電子ペン６０で指示するものとする。
図１４は、第２の動作例の流れを示したフローチャートである。
この第２の動作例では、まず、水平型表示装置１０において、情報検出部１８１が、紙媒体２０の裏面に印刷された符号画像２６を読み取ることにより、紙ＩＤを検出する。
そこで、紙媒体２０の裏面に印刷する符号画像２６について説明しておく。

図１５は、符号画像２６を構成する画像等の一例を示した図である。
まず、符号画像２６を構成する単位パターンについて説明する。
図１５（ａ）は、単位パターンの一例を示したものである。
単位パターンとは、情報埋め込みの最小単位である。図では、黒塗りの領域と斜線の領域をドット配置可能な領域とし、その間にある白色の領域をドット配置不可能な領域としている。そして、ドット配置可能な領域のうち、黒塗りの領域にドットが配置され、斜線の領域にはドットが配置されていないことを示している。即ち、図は、ドットを配置可能な９箇所の中から選択した２箇所にドットを配置することで単位パターンを構成した例を示したものである。ここで、９箇所の中から２箇所を選択する組み合わせは３６（＝_９Ｃ_２）通りなので、単位パターンは、３６種類存在する。このうち、４種類の単位パターンは、同期パターンとして使用される。同期パターンとは、画像の回転を検出したり、識別符号の相対的な位置を特定したりするためのパターンである。特に、画像の回転を検出する必要があることから、４種類の同期パターンとしては、そのうちの１つの同期パターンを９０度回転するとそのうちの別の同期パターンになるようなものが選ばれる。また、この４種類の単位パターンを除く３２種類の単位パターンは、識別符号を表現する情報パターンとして使用され、５ビットの情報が表現される。

ところで、図１５（ａ）に示したドットは、あくまで情報表現のためのドットであり、画像を構成する最小の点を意味するドットとは必ずしも一致しない。本実施の形態において、情報表現のためのドット（図１５（ａ）の最小の四角）は、６００ｄｐｉにおける２ドット×２ドットの大きさを有している。６００ｄｐｉにおける１ドットの大きさは０．０４２３ｍｍなので、情報表現のためのドット（図１５（ａ）の最小の四角）の一辺は、８４．６μｍ（＝０．０４２３ｍｍ×２）である。情報表現のためのドットは、大きくなればなるほど目に付きやすくなるため、できるだけ小さいほうが好ましい。ところが、あまり小さくすると、プリンタで印刷できなくなってしまう。そこで、情報表現のためのドットの大きさとして、５０μｍより大きく１００μｍより小さい上記の値を採用している。但し、上記の値８４．６μｍは、あくまで計算上の数値であり、実際に印刷されたトナー像では１００μｍ程度になる。

次に、このような単位パターンから構成される符号ブロックについて説明する。
図１５（ｂ）に、符号ブロックのレイアウトの一例を示す。尚、ここでは、画像ではなく、パターン画像によって置き換えられる直前の符号配列で示している。即ち、図１５（ｂ）の最小の四角（以下、「単位ブロック」という）に、図１５（ａ）のような単位パターン（３６通りの単位パターンのいずれか）が配置され、その画像が媒体に形成されることになる。
図１５（ｂ）のレイアウトでは、符号ブロックの左上の１つの単位ブロックに、同期符号が配置されている。また、同期符号が配置された単位ブロックの右側の４つの単位ブロック、同期符号が配置された単位ブロックの下側の４つの単位ブロック、更には、これらの単位ブロックに囲まれた１６（＝４×４）個の単位ブロックに識別符号が配置されている。

本実施の形態では、紙ＩＤを符号化し、符号画像２６における識別符号とする。こうすることで、赤外カメラ１８で撮像した画像を解析すると紙ＩＤが得られ、水平型表示装置１０の上にどの紙媒体２０があるかが分かる。

尚、符号画像２６を形成するために用いるトナーには、Ｋ（カーボンを含む黒）のトナーや、特殊トナーがある。
ここで、特殊トナーとしては、可視光領域（４００ｎｍ〜７００ｎｍ）における最大吸収率が７％以下であり、近赤外領域（８００ｎｍ〜１０００ｎｍ）における吸収率が３０％以上の不可視トナーが例示される。但し、「可視」及び「不可視」は、目視により認識できるかどうかとは関係しない。符号画像が可視光領域における特定の波長の吸収に起因する発色性の有無により認識できるかどうかで「可視」と「不可視」とを区別する。また、可視光領域における特定の波長の吸収に起因する発色性が若干あるが人間の目で認識し難いものも、「不可視」に含める。

ここで再び図１４に戻って動作の説明を続ける。
情報検出部１８１は、このような符号画像２６から紙ＩＤを検出すると、これを制御部１６に伝える。そして、制御部１６がこれを更に通信部１９に伝えると、通信部１９は、自身のＩＤである装置ＩＤと紙ＩＤを共有画面制御装置３０に送信する。これにより、共有画面制御装置３０では、通信部３９が、これらの情報を受信する（ステップ３０１）。そして、受信した情報は、制御部３１に伝えられる。

一方、この第２の動作例では、紙媒体２０に印刷されたコンテンツオブジェクトのうち移動させたくないコンテンツオブジェクトが印刷された紙上位置を電子ペン６０で指示することにより、電子ペン６０が、紙ＩＤ及び紙上位置を検出する。
そこで、紙媒体２０の表面（裏面と反対側の面）に印刷する符号画像について説明しておく。

図１６は、符号画像を構成する画像等の一例を示した図である。
図１６（ａ）は、符号画像を構成する単位パターンの一例を示したものであるが、これについては、図１５（ａ）を参照して説明したものと同様であるので説明を省略する。但し、図１５（ａ）では、単位パターンのうち同期パターン以外の情報パターンを識別符号のみを表現するものとして説明したが、図１６では、後述するように、識別符号だけでなく、位置符号も表現する。

次に、このような単位パターンから構成される符号ブロックについて説明する。
図１６（ｂ）に、符号ブロックのレイアウトの一例を示す。尚、ここでは、画像ではなく、パターン画像によって置き換えられる直前の符号配列で示している。即ち、図１６（ｂ）の最小の四角（単位ブロック）に、図１６（ａ）のような単位パターン（３６通りの単位パターンのいずれか）が配置され、その画像が媒体に形成されることになる。
図１６（ｂ）のレイアウトでは、符号ブロックの左上の１つの単位ブロックに、同期符号が配置されている。また、同期符号が配置された単位ブロックの右側の４つの単位ブロックにＸ位置符号が配置され、同期符号が配置された単位ブロックの下側の４つの単位ブロックにＹ位置符号が配置されている。更に、これらの位置符号が配置された単位ブロックに囲まれた１６（＝４×４）個の単位ブロックに識別符号が配置されている。

本実施の形態では、紙ＩＤを符号化し、符号画像における識別符号とする。また、紙媒体２０上の座標位置を符号化し、符号画像における位置符号とする。こうすることで、電子ペン６０の赤外カメラで撮像した画像を解析すると紙ＩＤ及び紙上位置が得られ、どの紙媒体２０の上のどの位置が指示されたかが分かる。
尚、符号画像１６を形成するために用いるトナーとしては、図１５の場合と同様のものを用いるとよい。

また、ここで紙ＩＤ及び紙上位置の検出を行う電子ペン６０についても説明しておく。
図１７は、電子ペン６０の構成例を示した図である。
図示するように、電子ペン６０は、ペン全体の動作を制御する制御回路６１を備える。また、制御回路６１は、読み取った符号画像を処理する画像処理部６１ａと、そこでの処理結果から識別情報及び位置情報を抽出するデータ処理部６１ｂとを含む。
また、制御回路６１には、電子ペン６０による筆記動作をペンチップ６９に加わる圧力によって検出する圧力センサ６２が接続されている。更に、媒体上に赤外光を照射する赤外ＬＥＤ６３と、反射光を検知することによって符号画像を読み取る赤外ＣＭＯＳ６４も接続されている。更にまた、識別情報及び位置情報を記憶するための情報メモリ６５と、外部装置と通信するための通信回路６６と、ペンを駆動するためのバッテリ６７と、ペンの識別情報(ペンＩＤ)を記憶するペンＩＤメモリ６８も接続されている。

ここで再び図１４に戻って動作の説明を続ける。
電子ペン６０が紙ＩＤ及び紙上位置を検出すると、情報メモリ６５には、識別情報として紙ＩＤが記憶され、位置情報として紙上位置が記憶される。そして、紙ＩＤ及び紙上位置は、通信回路６６を介して共有画面制御装置３０へ送信される。これにより、共有画面制御装置３０では、通信部３９が、これらの情報を受信する（ステップ３０２）。そして、受信した情報は、制御部３１に伝えられる。

この時点で、制御部３１は、水平型表示装置１０から送られた装置ＩＤ及び紙ＩＤと、電子ペン６０から送られた紙ＩＤ及び紙上位置とを保持している。この状態で、例えば水平型表示装置１０から紙媒体２０が振られた旨の情報を受信すると、制御部３１は、紙ＩＤ及び紙上位置をコンテンツオブジェクト取得部３３に伝えて、コンテンツオブジェクトの取得を指示する。尚、この場合、紙媒体２０の振動は、上述したように、ＲＦＩＤの検知範囲に対する出入りや、紙媒体２０を撮影した結果の画像の解析等により、検出すればよい。また、紙媒体２０が振られた旨の情報は、ステップ３０１で装置ＩＤ及び紙ＩＤと共に受信してもよい。

制御部３１から指示されると、コンテンツオブジェクト取得部３３は、紙ＩＤ及び紙上位置に基づいて、水平型表示装置１０に表示すべきコンテンツオブジェクトを特定し、特定されたコンテンツオブジェクトを図示しない記憶装置から読み出す（ステップ３０３）。そして、読み出したコンテンツオブジェクトは、制御部３１に戻される。
このとき、コンテンツオブジェクトの特定は、具体的には、どの紙のどの位置にどのようなコンテンツオブジェクトが配置されているかを管理する管理情報に基づいて行われる。

ここで、この管理情報の一例であるコンテンツオブジェクト管理テーブルについて説明する。
図１８は、コンテンツオブジェクト管理テーブルの具体的な内容の例を示したものである。
このコンテンツオブジェクト管理テーブルは、紙ＩＤと、コンテンツオブジェクトを一意に識別するためのオブジェクトＩＤと、コンテンツオブジェクトの中心座標と、コンテンツオブジェクトの形状と、コンテンツオブジェクトの形状を決定するための形状パラメータとを対応付けたものになっている。
そして、図には、紙ＩＤ「Ｐ００１」、「Ｐ００２」の紙媒体２０が管理されている部分が示されている。また、紙ＩＤ「Ｐ００１」の紙媒体２０上にオブジェクトＩＤ「Ｑ００１１」と「Ｑ００１２」のコンテンツオブジェクトが配置されていることと、紙ＩＤ「Ｐ００２」の紙媒体２０上にオブジェクトＩＤ「Ｑ００２１」と「Ｑ００２２」と「Ｑ００２３」と「Ｑ００２４」と「Ｑ００２５」のコンテンツオブジェクトが配置されていることが示されている。

更に、このコンテンツオブジェクト管理テーブルでは、各コンテンツオブジェクトについて、その中心点のＸ座標及びＹ座標を中心座標として記憶している。ここで、Ｘ座標及びＹ座標を表現するための座標系の原点としては、紙媒体２０上のどの点を採用してもよい。例えば、紙媒体２０の左上点を原点とするとよい。また、中心点として、どの点を採用してもよい。例えば、形状に関わらず、重心となる点を中心点とするとよい。或いは、形状ごとにどの点を中心点とするかを予め定めておいてもよい。
また、コンテンツオブジェクトの形状としては、実際には様々なものが考えられるが、ここでは説明を単純化するために、極めて基本的な図形の形状のみを考えている。

更にまた、形状パラメータは、中心点の周りのどの範囲をコンテンツオブジェクトが覆っているかを算出するために用いられる値である。ここで、オブジェクトＩＤ「Ｑ００１１」に対応する形状パラメータ「Ｒ１」、オブジェクトＩＤ「Ｑ００２１」に対応する形状パラメータ「Ｒ３」、オブジェクトＩＤ「Ｑ００２４」に対応する形状パラメータ「Ｒ６」は、円の半径を表している。また、オブジェクトＩＤ「Ｑ００１２」に対応する形状パラメータ「Ｌａ２」、オブジェクトＩＤ「Ｑ００２３」に対応する形状パラメータ「Ｌａ５」、オブジェクトＩＤ「Ｑ００２５」に対応する形状パラメータ「Ｌａ７」は、正方形の一辺の長さを表している。更に、オブジェクトＩＤ「Ｑ００２２」に対応する形状パラメータ「Ｌｂ４」は、正三角形の一辺の長さを表している。

従って、コンテンツオブジェクト取得部３３は、まず、紙ＩＤをキーとしてこのコンテンツオブジェクト管理テーブルを検索し、その紙ＩＤで特定される紙媒体２０に載っているコンテンツオブジェクトを特定する。そして、特定されたコンテンツオブジェクトの中心座標と形状パラメータとから、各コンテンツオブジェクトの範囲を求める。その結果、紙上位置を含むコンテンツオブジェクトがあれば、そのコンテンツオブジェクトは水平型表示装置１０に表示させないコンテンツオブジェクトとし、残りのコンテンツオブジェクトを表示させるコンテンツオブジェクトとして特定する。即ち、この第２の動作例では、コンテンツオブジェクトを特定するための所定の条件の一例として、指示された位置に印刷されていないという条件を採用している。

その後、制御部３１は、保持していた装置ＩＤで特定される水平型表示装置１０に対し、コンテンツオブジェクト取得部３３から渡されたコンテンツオブジェクトを送信するよう、通信部３９に指示する。そして、通信部３９が、指示された水平型表示装置１０に対して、指示された情報を送信する（ステップ３０４）。これにより、水平型表示装置１０では、通信部１９がコンテンツオブジェクトを受信し、これが制御部１６を介して表示部１１１へと渡され、表示部１１１が渡されたコンテンツオブジェクトの画像をこれまでの画像に反映してプロジェクタ１５へ出力する。これにより、天板１１に表示された画像が更新される。

次に、第３の動作例について述べる。
図１９は、第３の動作例の流れを示したフローチャートである。
この第３の動作例では、まず、水平型表示装置１０において、情報検出部１８１が、紙媒体２０の裏面に印刷された符号画像２６を読み取ることにより、紙ＩＤ及び紙位置（天板１１上での紙媒体の位置）を検出する。
尚、紙媒体２０の裏面に印刷する符号画像２６については、図１５を参照して説明したものと同様であるので、ここでの説明は省略する。

本実施の形態では、紙ＩＤを符号化し、符号画像２６における識別符号とする。こうすることで、赤外カメラ１８で撮像した画像を解析すると紙ＩＤが得られ、水平型表示装置１０の上にどの紙媒体２０があるかが分かる。
一方、紙位置は、赤外カメラ１８が撮像した画像内での符号画像の位置及び大きさに基づいて求める。例えば、赤外カメラ１８が撮像した画像内で、符号画像が上側にあれば、略鉛直上方からの赤外光を受光したことが分かり、符号画像が下側にあれば、鉛直方向よりも水平方向に近い方向から赤外光を受光したことが分かる。また、符号画像２６の大きさを予め決めておき、赤外カメラ１８で撮像した画像内の符号画像の大きさと比較することで、赤外カメラ１８から符号画像２６までの距離を認識する。そして、ここで求めた方向及び距離から、紙媒体２０の３次元空間内での位置を特定する。
情報検出部１８１は、符号画像２６から紙ＩＤ及び紙位置を検出すると、これを制御部１６に伝える。

また、この第３の動作例では、水平型表示装置１０において、操作検出部１１２が、天板１１に設けられたタッチパネル機能から伝えられた信号に基づいて、天板１１上でのユーザのドラッグ操作の開始点及び終了点の画面上位置を検出する。ここで、図９に示したように、ドラッグ操作の開始点の画面上位置は、その上に載っている紙媒体２０上の移動させたいコンテンツオブジェクトの指定であり、ドラッグ操作の終了点の画面上位置は、そのコンテンツオブジェクトの移動先の指定である。
操作検出部１１２は、天板１１上のユーザ操作からドラッグ開始点及び終了点の画面上位置を検出すると、これを制御部１６に伝える。
そして、制御部１６がこれらの情報、つまり、紙ＩＤ、紙位置、ドラッグ開始点及び終了点の画面上位置を更に通信部１９に伝えると、通信部１９は、自身のＩＤである装置ＩＤとこれらの情報を共有画面制御装置３０に送信する。これにより、共有画面制御装置３０では、通信部３９が、これらの情報を受信する（ステップ３１１）。そして、受信した情報は、制御部３１に伝えられる。

次に、制御部３１は、紙ＩＤ、紙位置、ドラッグ開始点の画面上位置をコンテンツオブジェクト取得部３３に伝えて、コンテンツオブジェクトの取得を指示する。
これにより、コンテンツオブジェクト取得部３３は、まず、ドラッグ開始点の画面上位置を紙上位置に変換する（ステップ３１２）。例えば、紙媒体２０上での座標の原点が天板１１上での座標の原点に重なるように紙媒体２０を平行移動したと仮定すると、そのときのドラッグ開始点の天板１１上での座標が、紙媒体２０上での座標を表すことになるので、この座標を紙上位置として求める。
次に、コンテンツオブジェクト取得部３３は、ステップ３１１で受信した紙ＩＤとステップ３１２で求めた紙上位置とに基づいて、水平型表示装置１０に表示すべきコンテンツオブジェクトを特定し、特定されたコンテンツオブジェクトを図示しない記憶装置から読み出す（ステップ３１３）。そして、読み出したコンテンツオブジェクトは、制御部３１に戻される。
このとき、コンテンツオブジェクトの特定は、具体的には、どの紙のどの位置にどのようなコンテンツオブジェクトが配置されているかを管理する管理情報に基づいて行われる。

この第３の動作例でも、管理情報の一例として、図１８のようなコンテンツオブジェクト管理テーブルが参照されるが、このコンテンツオブジェクト管理テーブルを参照したコンテンツオブジェクトの特定方法は第２の動作例で述べたもの同様である。但し、この第３の動作例では、第２の動作例と異なり、紙上位置を含むコンテンツオブジェクトが水平型表示装置１０に表示させるコンテンツオブジェクトとなる。即ち、この第３の動作例では、コンテンツオブジェクトを特定するための所定の条件の一例として、指示された位置に印刷されているという条件を採用している。

次いで、制御部３１は、ドラッグ終了点の画面上位置を表示位置決定部３４に伝えて、表示位置の決定を指示する。
これにより、表示位置決定部３４は、ドラッグ開始点の画面上位置に基づいて、コンテンツオブジェクトの天板１１上での表示位置を決定する（ステップ３１４）。そして、決定された表示位置は、制御部３１に戻される。このとき、ドラッグ開始点の画面上位置をそのままコンテンツオブジェクトの表示位置としてもよいし、ドラッグ開始点の画面上位置に何らかの変換を行って得られる位置をコンテンツオブジェクトの表示位置としてもよい。

その後、制御部３１は、保持していた装置ＩＤで特定される水平型表示装置１０に対し、コンテンツオブジェクト取得部３３から渡されたコンテンツオブジェクトと、表示位置決定部３４から渡された表示位置の情報とを送信するよう、通信部３９に指示する。そして、通信部３９が、指示された水平型表示装置１０に対して、指示された情報を送信する（ステップ３１５）。これにより、水平型表示装置１０では、通信部１９がコンテンツオブジェクトを受信し、これが制御部１６を介して表示部１１１へと渡され、表示部１１１が渡されたコンテンツオブジェクトの画像をこれまでの画像のうち渡された表示位置に対応する箇所に反映してプロジェクタ１５へ出力する。これにより、天板１１に表示された画像が更新される。

次に、第４の動作例について述べる。
図２０は、第４の動作例の流れを示したフローチャートである。
この第４の動作例では、まず、水平型表示装置１０において、情報検出部１８１が、カメラ４０底面に貼付された符号画像２６を読み取ることにより、カメラＩＤを検出する。
尚、カメラ４０の底面に貼付する符号画像２６については、図１５を参照して説明したものと同様であるので、ここでの説明は省略する。

本実施の形態では、カメラＩＤを符号化し、符号画像２６における識別符号とする。こうすることで、赤外カメラ１８で撮像した画像を解析するとカメラＩＤが得られ、水平型表示装置１０の上にどのカメラ４０があるかが分かる。
情報検出部１８１は、符号画像２６からカメラＩＤを検出すると、これを制御部１６に伝える。そして、制御部１６がこれを更に通信部１９に伝えると、通信部１９は、自身のＩＤである装置ＩＤとカメラＩＤを共有画面制御装置３０に送信する。これにより、共有画面制御装置３０では、通信部３９が、これらの情報を受信する（ステップ３２１）。そして、受信した情報は、制御部３１に伝えられる。

一方、この第４の動作例では、カメラ４０が複数のコンテンツオブジェクトを１枚に収めた画像を含む複数の画像を保持している。そして、これらの画像が、カメラＩＤと共に共有画面制御装置３０へ送信される。これにより、共有画面制御装置３０では、通信部３９が、これらの情報を受信する（ステップ３２２）。そして、受信した情報は、制御部３１に伝えられる。尚、カメラ４０が保持している画像は、その全てを共有画面制御装置３０に送信するのではなく、予めユーザによって選択された画像のみを共有画面制御装置３０に送信するようにしてもよい。

この時点で、制御部３１は、水平型表示装置１０から送られた装置ＩＤ及びカメラＩＤと、カメラ４０から送られたカメラＩＤ及び画像とを保持している。この状態で、例えばカメラ４０から振られた旨の情報を受信すると、制御部３１は、画像をコンテンツオブジェクト取得部３３に伝えて、コンテンツオブジェクトの取得を指示する。或いは、カメラ４０が振られた旨の情報は、ステップ３２２でカメラＩＤ及び画像と共に受信してもよい。
また、カメラ４０が振られた旨の情報は、水平型表示装置１０から受信するようにしてもよい。この場合、カメラ４０の振動は、上述したように、ＲＦＩＤの検知範囲に対する出入りや、カメラ４０を撮影した結果の画像の解析等により、検出すればよい。
或いは、ステップ３２２で、カメラ４０のシャッタが押された旨の情報と共に、カメラＩＤ及び画像を受信し、これに応じて、制御部３１が、画像をコンテンツオブジェクト取得部３３に伝えて、コンテンツオブジェクトの取得を指示するようにしてもよい。

これにより、コンテンツオブジェクト取得部３３は、画像を解析し、水平型表示装置１０に表示すべきコンテンツオブジェクトを取り出す（ステップ３２３）。そして、取り出したコンテンツオブジェクトは、制御部３１に戻される。
このとき、コンテンツオブジェクトの取出しには、公知の画像処理を用いるとよい。例えば、コンテンツオブジェクトの背景として予め決められた色の背景を写しているような場合であれば、その色の背景を除去する画像処理を行えばよい。即ち、この第４の動作例では、コンテンツオブジェクトを特定するための所定の条件の一例として、画像処理によって取り出すことができるという条件を採用している。

その後、制御部３１は、保持していた装置ＩＤで特定される水平型表示装置１０に対し、コンテンツオブジェクト取得部３３から渡されたコンテンツオブジェクトを送信するよう、通信部３９に指示する。そして、通信部３９が、指示された水平型表示装置１０に対して、指示された情報を送信する（ステップ３２４）。これにより、水平型表示装置１０では、通信部１９がコンテンツオブジェクトを受信し、これが制御部１６を介して表示部１１１へと渡され、表示部１１１が渡されたコンテンツオブジェクトの画像をこれまでの画像に反映してプロジェクタ１５へ出力する。これにより、天板１１に表示された画像が更新される。

尚、ここまでは、コンテンツオブジェクト単位で水平型表示装置１０に表示するようにしたが、媒体が保持する画像、又は、その画像に関連する電子情報を表す画像を水平型表示装置１０に表示するようにしてもよい。この場合、媒体が保持する画像、又は、その画像に関連する電子情報を取得する第２の取得手段の一例として、コンテンツオブジェクト取得部３３を設けたことになる。また、そのような画像又は電子情報が表示画面に表示されるように制御する制御手段の一例として、制御部３１を設けたことになる。

最後に、本実施の形態をコンピュータ９０にて実現するものとして、このコンピュータ９０のハードウェア構成について説明する。
図２１は、コンピュータ９０のハードウェア構成を示した図である。
図示するように、コンピュータ９０は、演算手段であるＣＰＵ（Central Processing Unit）９１と、記憶手段であるメインメモリ９２及び磁気ディスク装置（ＨＤＤ：Hard Disk Drive）９３とを備える。ここで、ＣＰＵ９１は、ＯＳ（Operating System）やアプリケーション等の各種ソフトウェアを実行し、上述した各機能を実現する。また、メインメモリ９２は、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、磁気ディスク装置９３は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
更に、コンピュータ９０は、外部との通信を行うための通信Ｉ/Ｆ９４と、ビデオメモリやディスプレイ等からなる表示機構９５と、キーボードやマウス等の入力デバイス９６とを備える。

尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

本発明の実施の形態が適用される水平型表示装置の断面図である。 本発明の実施の形態が適用される作業スペースの一例を示した図である。 本発明の実施の形態における電子文書化のための作法の第１の例を示した図である。 本発明の実施の形態における電子文書化のための作法の第２の例を示した図である。 本発明の実施の形態における電子文書化のための作法の第３の例を示した図である。 従来の方法でコンテンツオブジェクトを持ち寄った場合と本発明の実施の形態の方法でコンテンツオブジェクトを持ち寄った場合とを比較した図である。 本発明の実施の形態におけるコンテンツオブジェクトの移動のための作法の第１の例を示した図である。 本発明の実施の形態におけるコンテンツオブジェクトの移動のための作法の第２の例を示した図である。 本発明の実施の形態におけるコンテンツオブジェクトの移動のための作法の第３の例を示した図である。 本発明の実施の形態におけるコンテンツオブジェクトの移動のための作法の第４の例を示した図である。 本発明の実施の形態におけるコンテンツオブジェクトの移動のための作法の第５の例を示した図である。 本発明の実施の形態における表示システムの構成例を示した図である。 本発明の実施の形態における共有画面制御装置の第１の動作例を示したフローチャートである。 本発明の実施の形態における共有画面制御装置の第２の動作例を示したフローチャートである。 本発明の実施の形態で用いられる符号画像の第１の例を示した図である。 本発明の実施の形態で用いられる符号画像の第２の例を示した図である。 本発明の実施の形態で用いられる電子ペンの構成例を示した図である。 本発明の実施の形態で参照されるコンテンツオブジェクト管理テーブル記憶内容の例を示した図である。 本発明の実施の形態における共有画面制御装置の第３の動作例を示したフローチャートである。 本発明の実施の形態における共有画面制御装置の第４の動作例を示したフローチャートである。 本発明の実施の形態を実現可能なコンピュータのハードウェア構成図である。

符号の説明

１０…水平型表示装置、１１…天板、１３…投影ユニット、１５…プロジェクタ、２０…紙媒体

Claims (1)

1. 表示画面上に位置する媒体を特定する媒体特定手段と、
   前記媒体特定手段により特定された媒体が保持する画像に含まれる複数の画像要素の中から所定の条件を満たす画像要素を特定する画像特定手段と、
   前記画像特定手段により特定された前記画像要素が前記表示画面に表示されるように制御する制御手段と
   を備え、
   前記媒体は、画像を印刷可能な表面を有し、
   前記媒体の表面上の位置を特定する位置特定手段を更に備え、
   前記画像特定手段は、前記媒体特定手段により特定された前記媒体の表面に印刷された画像に含まれる複数の画像要素の中から、前記位置特定手段により特定された前記表面上の位置に印刷されていないことを前記所定の条件として、前記画像要素を特定することを特徴とする表示制御装置。

Images