JP4670053B2 - 実寸表示装置 - Google Patents

Description

本発明は、実寸表示装置に関する。

［Ｒｅｌａｔｅｄ Ｒｅｓｅａｒｃｈｅｓ］
非特許文献１では、ＤｉｇｉｔａｌＤｅｓｋ（１９９３）で、パーソナルコンピュータによって仮想化されてしまったデスクトップメタファの再実体化を試みている。これは机の上方にプロジェクタとカメラを配置し、机上に置かれたドキュメントや手指の動作を画像認識させる。これは、実体のある物と、コンピュータ内部状態を一体化しようとする先駆的な研究であった。この流れは、非特許文献２、非特許文献３、非特許文献４などに受け継がれているが、いずれも実世界にコンピュータ上の直接操作法を拡張する手法について論じたものでしかない。

また、遠隔地間の共同作業を支援するという観点では、非特許文献５や、非特許文献６がある。前者は、前述のＤｉｇｉｔａｌＤｅｓｋを複数用意し、ビデオリンクで繋いだものである。後者は、テーブルを囲む身体配置を遠隔で再現することを目的とした研究である。机上に配置されたカメラとプロジェクタで投影されたスクリーンで情報を共有し、机に垂直に立てられた遠隔地にいる作業者を投影するスクリーンで構成されている。この研究では、臨場感のある遠隔コミュニケーションシステムを構築することを主目的としている。

自動的に記録された大量な情報を扱う上で、現状のコンピュータにおけるフォルダ概念では効率的に情報を引き出すことは不可能である。非特許文献７は、個人の日々の生活の情報の全てをハードディスクに記録しようという非特許文献８に端を発したアイデアを推し進めており、情報の検索をタイムライン上に並べる方向性を探っている。また非特許文献９は、パーソナルコンピュータのデスクトップ上の情報を時間軸で扱うことで、フォルダ概念をなくそうとする試みである。

Ｉｎｔｅｒａｃｔｉｎｇ ｗｉｔｈ ｐａｐｅｒ ｏｎ ｔｈｅ ｄｉｇｉｔａｌ ｄｅｓｋ（Ｐ．Ｗｅｌｌｎｅｒ， Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ， １９９３， ｖｏｌ．３６，Ｎｏ．７，ｐｐ．８７−９６．） Ｅｎｈａｎｃｅｄ ｄｅｓｋ：Ｉｎｔｅｇｒａｔｉｎｇ ｐａｐｅｒ ｄｏｃｕｍｅｎｔｓ ａｎｄ ｄｉｇｉｔａｌ ｄｏｃｕｍｅｎｔｓ（Ｍ．Ｋｏｂａｙａｓｈｉ ａｎｄ Ｈ．Ｋｏｉｋｅ， Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １９９８ Ａｓｉａ Ｐａｃｉｆｉｃ Ｃｏｍｐｕｔｅｒ Ｈｕｍａｎ Ｉｎｔｅｒａｃｔｉｏｎ（ＡＰＣＨＩ’９８）． ＩＥＥＥ ＣＳ， １９９８．） Ａｕｇｍｅｎｔｅｄ Ｓｕｒｆａｃｅｓ： Ａ ＳｐａｔｉａｌｌｙＣｏｎｔｉｎｕｏｕｓ Ｗｏｒｋｓｐａｃｅ ｆｏｒ Ｈｙｂｒｉｄ Ｃｏｍｐｕｔｉｎｇ Ｅｎｖｉｒｏｎｍｅｎｔｓ（Ｊｕｎ Ｒｅｋｉｍｏｔｏ，Ｍａｓａｎｏｒｉ Ｓａｉｔｏｈ， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＣＨＩ’９９， １９９９） Ｆｌｅｘｉｂｌｅ， Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｏｒｇａｎｉｚａｔｉｏｎ ｏｎ ａ Ｔａｂｌｅｔｏｐ（Ｇｒａｎｔ，Ｋａｒｅｎ，Ｗｉｎｏｇｒａｄ，Ｔｅｒｒｙ， ＡＣＭ ＣＳＣＷ ２００２：Ｗｏｒｋｓｈｏｐ ｏｎ Ｃｏ−ｌｏｃａｔｅｄ Ｔａｂｌｅｔｏｐ Ｃｏｌｌａｂｏｒａｔｉｏｎ：Ｔｅｃｈｎｏｌｏｇｉｅｓ ａｎｄ Ｄｉｒｅｃｔｉｏｎｓ． Ｎｅｗ Ｏｒｌｅａｎｓ，ＬＡ，ＵＳＡ， Ｎｏｖｅｍｂｅｒ ２００２） Ｔｈｅ ＤｉｇｉｔａｌＤｅｓｋ：Ｓｕｐｐｏｒｔｉｎｇ Ｃｏｍｐｕｔｅｒｂａｓｅｄ Ｉｎｔｅｒａｃｔｉｏｎ ｗｉｔｈ Ｐａｐｅｒ Ｄｏｃｕｍｅｎｔｓ（Ｗｅｌｌｎｅｒ，Ｐ．， ｉｍａｇｉａ’９３） 相互モニタリングが可能な遠隔共同作業支援システムの開発（山下淳，葛岡英明，山崎敬一，山崎晶子，加藤浩，鈴木栄幸，三樹弘之，日本バーチャルリアリティ学会論文誌，Ｖｏｌ．４，Ｎｏ．３，ｐｐ．４９５−５０４， １９９９） ＭｙＬｉｆｅＢｉｔｓ：Ｆｕｌｆｉｌｌｉｎｇ ｔｈｅ Ｍｅｍｅｘ Ｖｉｓｉｏｎ（Ｇｅｍｍｅｌｌ，Ｊｉｍ，Ｂｅｌｌ，Ｇｏｒｄｏｎ，Ｌｕｅｄｅｒ，Ｒｏｇｅｒ，Ｄｒｕｃｋｅｒ，Ｓｔｅｖｅｎ，ａｎｄ Ｗｏｎｇ，Ｃｕｒｔｉｓ， ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ’０２， ２００２， Ｊｕａｎ−ｌｅｓ−Ｐｉｎｓ，Ｆｒａｎｃｅ，ｐｐ．２３５−２３８） Ａｓ Ｗｅ Ｍａｙ Ｔｈｉｎｋ（Ｖａｎｎｅｖａｒ Ｂｕｓｈ，１９４５，Ａｔｌａｎｔｉｃ Ｍｏｎｔｈｌｙ， Ｊｕｌｙ １９４５，ｈｔｔｐ：／／ｗｗｗ．ｔｈｅａｔｌａｎｔｉｃ．ｃｏｍ／ｄｏｃ／１９４５０７／ｂｕｓｈ） Ｔｉｍｅ−Ｍａｃｈｉｎｅ Ｃｏｍｐｕｔｉｎｇ：Ａ Ｔｉｍｅ−ｃｅｎｔｒｉｃ Ａｐｐｒｏａｃｈ ｆｏｒ ｔｈｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｖｉｒｏｎｍｅｎｔ（ Ｊ．Ｒｅｋｉｍｏｔｏ，ＵＩＳＴ’９９， １９９９， ｐｐ．４５−５４．）

［Ｉｎｔｒｏｄｕｃｔｉｏｎ］
コンピュータがオフィスワークに利用されるようになり、作業の効率化やペーパーレスが期待されたにも関わらず、現実的にそれが実現されているとは言い難い。また、デザインワークにおいてもコンピュータの出現はそのクオリティの向上には寄与しているが、逆に作業時間の大幅な延長を副作用としてもたらした。パーソナルコンピュータのＧＵＩや直接操作環境は、多くの人々にとってコンピュータの敷居を低くはしたが、作業環境の向上、とりわけオフィスワークの根幹である共同作業を支援するという視点には大きく欠けている。

［Ｏｕｒ Ｇｏａｌ］
現状のテレビコミュニケーションシステムの使い難さは、画像から相手の表情が読み取れないことや数十ミリ秒の音声ディレイなどに起因する問題である。その解決策としてブロードバンド化、マルチスクリーン化、高解像化といった方向での研究がされている。しかし、臨場感を追求するその方向性は、会議やオフィスでの共同作業の本質の探究とは相反することと思われる。つまり、会議における雰囲気やそこに存在する人の身体性を支援し、人間の脳の再認記憶を啓発する共同作業支援システムとは何か、ということの再考が急務であることを示唆する。協調作業において本当に相手に伝えるべき情報が何か、議事録のようにサマライズされ、毀れ落ちる情報がない記憶方式とは何か、そして、会議に参加できなかった人間が状況を後から再構成する方法があるのか、といった未解決の課題が山積していると思われる。これらを解決する糸口として、テーブル型の直接操作環境を一例として製作し会議の再現研究をおこなっている。

［Ａ Ｐｒｏｐｏｓａｌ ｏｆ Ｃｏｎｆｅｒｅｎｃｅ Ｐｒｏｍｏｔｉｏｎ Ｄｅｓｉｇｎ ｂｙ Ｕｓｉｎｇ Ｌｅｇｉｂｌｅ（可読性） Ｄｅｓｉｇｎ Ｓｙｓｔｅｍ：レジブルデザイン・システムを用いた会議促進デザインの提案］
アイデアを共有する場において、個人の思考活動を支援するＩＴ環境は整っているとしても、会議を支援する環境は見あたらない。会議は議事録で情報を残すことはできるが、それは追認記憶形式に依るサマライズでしかない。そこから毀れ落ちる情報は、あまりにも多い。例えば、会議に参加しなかった人間が、その記録から、そのときの状況を再構成することは困難である。これは、その記録に、参加者の態度や振る舞い、雰囲気といった身体性が抜け落ちているからである。つまり、次世代のコミュニケーションシステムには、身体性を支援し記録する事によって再認記憶を啓発したデザインが求められる。発明者らは、Ｌｅｇｉｂｌｅ Ｄｅｓｉｇｎ Ｓｙｓｔｅｍの概念を応用した会議促進デザインにより、これを解決する。

［Ｓｙｓｔｅｍ ａｎｄ Ｔｈｅｏｒｙ］
発明者らは、この数年、Ｌｅｇｉｂｌｅ Ｄｅｓｉｇｎ Ｓｙｓｔｅｍを研究課題とし、エディトリアルやデザイニングの支援環境を構築してきた。図１は、Ｌｅｇｉｂｌｅ Ｄｅｓｉｇｎ Ｓｙｓｔｅｍを示す斜視図である。本実施の形態におけるハードウェアは、基本的にその派生となる。

本発明は、電子化により生成される画像に臨場感を与えることができる実寸表示装置および電子配布装置を得ることを目的とする。

本発明に係る実寸表示装置は、書類などの実物が載置される読取台と、読取台に載置された実物を撮像する実物撮像部材と、実物撮像部材により撮像された実物の画像を、実物と同じ寸法にて表示する表示画像を生成する制御手段と、制御手段により生成された表示画像を表示する表示部材と、を有するものである。

この構成を採用すれば、読取台にて撮像される実物は、その画像が表示部材に実寸で表示される。また、実物の画像は、読取台において表示部材を閲覧する人の目の前で電子化される。したがって、表示部材を閲覧する人は、その表示部材に表示される画像を見たとき、その画像を実物そのもののであるかのように感じる。撮像により電子化される画像に、それが実物そのものであるかのような臨場感を持たせることができる。

本発明に係る実寸表示装置は、上述した発明の構成に加えて、制御手段が、実物撮像部材により撮像された画像を表示部材に表示した場合に、実物の画像の寸法が実物の寸法となる解像度を指定して、実物撮像部材に撮像を指示し、且つ、実物撮像部材により撮像された画像から実物の画像を切り出して、表示画像を生成するものである。

この構成を採用すれば、読取台にて撮像される実物の画像は、画像の拡大縮小処理をすることなく表示部材に実寸で表示される。制御手段は、実物撮像部材により撮像された画像を拡大したり縮小したりすることなく、実物の画像を切り出すだけで、実物の画像を生成することができる。したがって、読取台にて実物を撮像したら直ちに表示部材にその実物の画像が表示される。たとえば実物としての書類を配布する場合と同等の短い時間で、待ち時間などによる違和感を与えることなく、実寸の実物の画像を提供することができる。

本発明に係る実寸表示装置は、上述した各発明の構成に加えて、表示部材が、表示画像を表示する表示領域を、二人以上の人が囲んで同時に閲覧可能であるテーブル型のものであり、制御手段が、実物撮像部材に撮像された画像から切り出した実物の画像を、その切り出した画像における実物の下側が表示部材の表示領域の外周側となる向きで、複数個割り付けた表示画像を生成するものである。

この構成を採用すれば、表示部材に表示される実物の画像は、その下側が表示領域の外周側となる向きで表示される。表示部材を囲んでいる二人以上の人には、実物の実寸の画像が正対して提供される。各人は、撮像により電子化される画像を、それが実物そのものであるかのような臨場感を持って閲覧することになる。

本発明に係る実寸表示装置は、上述した各発明の構成に加えて、表示部材の周囲にいる人の位置を検出する人検出手段を有し、制御手段が、実物の画像を、人を検出している位置と１対１の対応にて、検出した人数分の実物の画像を割り付けるものである。

この構成を採用すれば、各人に、実物の実寸の画像が正対して提供される。各自に実物を配った場合と同様の状態を作り出すことができる。各人は、各人に実物が配布された場合と同様の感覚で臨場感を持って、それぞれに個別に提供される実物の実寸の画像を閲覧することになる。

本発明に係る実寸表示装置は、上述した各発明の構成に加えて、人検出手段が、表示部材の周囲に外向きに配設された複数の距離センサ、表示部材の周囲に間隔をあけて配設された複数のＵＳＢコネクタ、表示部材の外周を複数の区画に分割したときの各区画内のＩＤタグと無線通信する複数のタグ通信部材、あるいは、表示部材の周囲を撮像する撮像部材を有するものである。

この構成を採用すれば、表示部材の周囲にいる人を、個別に検出することができる。

本発明に係る実寸表示装置は、上述した各発明の構成に加えて、制御手段が、実物撮像部材により撮像したときには実物の画像を１つ割り付けた表示画像を生成し、その表示画像により表示される実物の画像に対して所定の配布操作がなされた後に、人を検出している位置と１対１の対応にて実物の画像を割り付けた表示画像を生成するものである。

この構成を採用すれば、表示部材に表示される１つの実物の画像に対する所定の配布操作により、各人に実物の実寸の画像を正対させて提供することができる。したがって、実物の実寸の画像を各人に提供する際に、人の配布動作を付加することができ、その配布動作により高い臨場感を持たせることができる。

本発明に係る実寸表示装置は、上述した各発明の構成に加えて、制御手段が、実物の画像を複数個割り付ける表示画像を生成する際に、実物の大きさと表示部材の表示領域との関係を判断し、その複数個の実物の画像を実寸で割り付けた場合に互いに画像が重なり合うことなく表示することができないと判断した場合には、実物の画像を１つ割り付けた表示画像を生成するものである。

この構成を採用すれば、大きな実物の画像も実寸で提供し、その画像に臨場感を持たせることができる。

本発明に係る実寸表示装置は、上述した各発明の構成に加えて、実物の画像を記憶する記憶手段と、表示部材において表示画像が表示される表示領域に対する操作を検出する操作検出部材と、を有し、制御手段が、検出手段の操作検出に基づいて、記憶手段に記憶される実物の画像を用いて新たな表示画像を生成するものである。

この構成を採用すれば、制御手段は、実物撮像部材に新たな撮像をさせなくとも、検出した操作に応じた新たな表示画像を生成することができる。操作に対する表示のレスポンスを向上させることができる。

本発明に係る実寸表示装置は、上述した各発明の構成に加えて、制御手段が、操作検出部材により表示部材に表示させている１つの割り付け画像に対して所定の書込み操作が検出されたら、表示画像に割り付けられているその操作対象の画像と同じ画像をすべて、書込み操作を反映した画像へ更新するものである。

この構成を採用すれば、一人の画像の操作内容を他の人に提供することができる。各人は、たとえば各自に別々の書面が配られた場合のように、説明箇所を口頭で伝えることなく、他人に伝えることができる。また、複数の人が操作をすることで書類の変更処理などを共同作業とし、効率よく作業を実施することができる。

本発明に係る実寸表示装置は、上述した各発明の構成に加えて、表示手段の表示領域の表面が、平らであり、操作検出部材が、その平らな表面に略垂直な回転軸の周囲で回転するポリゴンミラーと、ポリゴンミラーの外周面へ光を照射する発光素子とを有し、ポリゴンミラーで反射された光が表示領域から１ｃｍ以上、３ｃｍ以下の高さの範囲内で表示領域の上を通過するものである。

この構成を採用すれば、操作を妨げることなく、実物の画像を表示する表示領域の上に、書類などの物を置くことができる。また、操作検出手段は、書類などが置かれている状態でも、操作を正しく検出することができる。

本発明に係る実寸表示装置は、上述した各発明の構成に加えて、他の表示装置との間でデータの送受信をする外部通信部材を有し、制御手段が、表示画像に実物の画像などの画像を割り付けるときに、その割り付ける画像を他の表示装置に表示させるために、その割り付ける画像のデータを外部通信部材に送信させるものである。

この構成を採用すれば、表示部材に実寸で表示する実物の画像などを、他の表示装置に表示することができる。他の表示装置と実寸表示装置とで、同期した情報の共有化ができる。

本発明に係る実寸表示装置は、上述した各発明の構成に加えて、表示部材において表示画像が表示される表示領域に対する操作を検出する操作検出部材を有し、制御手段が、表示部材に表示される実物の画像などの割り付け画像に対する所定の選択操作後に表示領域内に設定される遠隔地への送信領域内の所定の操作を検出したら、その選択された割り付け画像のデータを他の表示装置に表示させるために、外部通信部材に送信させるものである。

この構成を採用すれば、表示部材に表示されている実物の画像などを、一定の配布操作により他の表示装置へ送信し、表示させることができる。他の表示装置と実寸表示装置とで、情報の共有化ができる。

本発明に係る実寸表示装置は、上述した各発明の構成に加えて、制御手段が、遠隔地への送信領域を、外部通信部材とデータを送受する他の表示装置毎に、他の表示装置を使用する者毎に、あるいは、それらの組み合わせで、設定するものである。

この構成を採用すれば、画像の配布先を個別に選択することができる。

本発明に係る実寸表示装置は、上述した各発明の構成に加えて、当該実寸表示装置およびその周辺を撮像する周辺撮像部材と、他の表示装置が設置される遠隔地の撮像画像を表示する遠隔地モニタと、を有し、制御手段が、周辺撮像部材により撮像された画像を他の表示装置に表示させるために、その撮像画像のデータを外部通信部材に送信させ、外部通信部材が他の表示装置から受信する他の表示装置の周辺の画像を遠隔地モニタに表示させるものである。

この構成を採用すれば、他の表示装置が設置される遠隔地にいる人と、実寸表示装置の設置場所にいる人とは、互いに相手の居場所の様子を映像により知ることができる。実物の画像も共有化されているので、実寸表示装置の設置場所と遠隔地とを１つの空間として利用することができる。

本発明に係る実寸表示装置は、上述した各発明の構成に加えて、遠隔地モニタが、表示装置の表示領域の一辺に沿って配設され、制御手段が、遠隔地への送信領域を、一辺に沿って設定するものである。

この構成を採用すれば、実寸表示装置の周囲にいる人は、遠隔地モニタに写っている人に対して実物の画像などを渡すように操作することで、その写っている人に実物の画像などを提供することができる。

本発明に係る電子配布装置は、書類などの実物が載置される読取台と、読取台に載置された実物を撮像する実物撮像部材と、実物撮像部材により撮像された実物の画像を、その切り出した画像における実物の下側が表示部材の表示領域の外周側となる向きで、複数個割り付けた表示画像を生成する制御手段と、制御手段により生成された表示画像を表示する表示部材と、を有するものである。

この構成を採用すれば、読取台にて撮像される実物は、表示部材に複数個表示される。また、実物の画像は、読取台において表示部材を閲覧する人の目の前で電子化される。したがって、表示部材の周囲にいる人は、その画像を見たとき、実物が配布されたかのように感じる。撮像により電子化される画像に、それが実物そのものであるかのような臨場感を持たせることができる。

本発明では、電子化により生成される画像に臨場感を与えることができる。

以下、本発明の実施の形態に係る実寸表示装置および電子配布装置を、図面に基づいて説明する。実寸表示装置は、コミュニケーション装置を例として説明する。電子配布装置は、コミュニケーション装置を例として説明する。

実施の形態１．
図２は、コミュニケーション装置としてのＬｅｇｉｂｌｅ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｓｙｓｔｅｍのプロトタイプモデルを示す斜視図である。図３は、本発明に係るコミュニケーション装置の概念図である。コミュニケーション装置は、実物撮像部材としてのキャプチャカメラ（Ｃａｐｔｕｒｉｎｇ ｃａｍｅｒａ）３１と、読取台としてのキャプチャ領域（Ｃａｐｔｕｒｅｄ ａｒｅａ）３２、周辺撮像部材としての記録用のビデオカメラ（Ｒｅｃｏｒｄｉｎｇ ｃａｍｅｒａ）３３およびマイクロフォン（Ｍｉｃｒｏｐｈｏｎｅ）３４、表示部材の表示領域としての、位置センシング機能を持ったディスプレイ領域（Ｓｅｎｓｉｎｇ ａｎｄ ｄｉｓｐｌａｙ ａｒｅａ）３５からなる。図２のプロトタイプで使用したテーブルは、オフィスでは標準的である幅９００ｍｍで高さ７００ｍｍ、長さ１８００ｍｍ（長さは１２００ｍｍから１８００ｍｍと標準はない）のものである。使用者がこのテーブルを挟んで両側から使用することができる。座椅子に座るフォーマルなミーティングから、立ちながらのカジュアルミーティングまで幅広く利用できる。

実施の形態１に係るコミュニケーション装置は、その基本的な構成要素として、テーブル形状あるいはパネル形状を有し、投射あるいは表示による画像を表示する表示手段と、表示手段に表示される画像に対する操作を検出する検出手段と、検出手段が検出した画像に対する操作により、表示手段に表示させる画像を制御する制御手段と、を有する。

［Ｃａｐｔｕｒｉｎｇ Ｏｂｊｅｃｔｓ］
ところで、コンピュータが発展した現代においても情報の全てがデジタル化されているわけではない。また距離的な差や時間的な差がある場合、議論の対象になるものが物理的な形態を持っているとすれば、情報の共有は困難になる。その場合の唯一の解決策は、対象物のデジタル化であろう。このコミュニケーション装置では、そのためのキャプチャカメラ３１を有する。キャプチャ処理は、スクリーン領域３５の横に設けたＡ４サイズの台座のキャプチャ領域３２にオブジェクトや文書を載せ、これをキャプチャカメラ３１で読み取ることで行なわれる。台座は、上下方向に移動可能となり、台座の下には、台座の上下移動によりオンオフが切り替わるスイッチがある。台座が押下されることでこのスイッチが入り、キャプチャ処理が実行される。

キャプチャされたオブジェクトのイメージは、ディスプレイ領域３５に自動的にスライドして表示される。このイメージのデータは、またオブジェクトデータとしてコミュニケーション装置の記憶手段に保存される。ディスプレイ領域３５に表示するイメージのデータを記憶手段に保存することで、そのディスプレイ領域３５に表示されているイメージに対する手指による回転や移動、複製、消去といった直接操作が可能となる。なお、この操作には、後述する多点認識技術が使用されている。

また、このイメージは一定時間以上操作されないと段々と透明化し消えていく。これは、コミュニケーション装置によるテーブル上の自動クリーンアップ機構である。イメージに対して何らかの操作をすることで、透明化を抑制し、イメージを表示し続けることができる。なお、キャプチャ領域３２をスクリーン領域３５とは別領域にすることで、カメラとスクリーン間のビデオループによる画像劣化を回避することができる。

［Ｃｉｒｃｕｍｓｔａｎｃｅ Ｒｅｃｏｒｄｉｎｇ ａｎｄ Ｌｉｎｋｉｎｇ］
会議をするテーブルの周りには、その会議を把握するに必要不可欠な情報が存在する。例えば、何処に誰が座っているか、何を操作しているか、何を話しているかなどである。それらを捕らえるためにこのコミュニケーション装置は、テーブル全体を写すビデオカメラ３３と、無指向性マイク３４とを有する。このビデオカメラ３３の主たる目的は、全体の雰囲気を連続的に撮ることであり、例えば人の顔や肌のつやだとかいったハイクオリティな情報は重視されない。また、映り込む人間を影のようにモノトーンのベタ画像として加工し、記録するようにしてもよい。

［Ｍｕｌｔｉ−ｐｏｉｎｔ Ｓｅｎｓｉｎｇ ａｎｄ Ｏｂｊｅｃｔ−Ｆｉｎｇｅｒ Ｐａｒａｌｌａｘ］
現在のパーソナルコンピュータのＧＵＩの最大の問題は、操作の視線位置と、マウスなどの道具の位置との間に、位置の差があることに尽きる。道具としてのマウスと、スクリーン上のポインタとの物理位置が異なることは、極言すれば、目を瞑りながら絵を描く作業をすることに等しいことになるが、人々がなんの疑問もなく使用しているのは不思議なことである。それに対して、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｔ）やタブレットＰＣのようにタッチパネルを使用してこの問題を改善した機器は存在するが、キーボードのように文字挿入位置と打鍵するキースイッチとの物理的な位置の差は、依然として解消されない。また、それら代替案は、既存のコンピュータの作業効率には遠くおよぶものではない。複数人で使用できるテーブルを用い、手指や道具を使う直接的なインターフェースを使用することで、この問題を解消できる。

実施の形態１のコミュニケーション装置では、センシング領域３５をテーブル全体には設定せずに、ノートを置いたり手肘を付くことができるエリアを、テーブルの周囲である手前に１５ｃｍ設けている。前述の通りこのコミュニケーション装置は、多点認識のできる赤外線方式のセンサ（図３のｉｎｆｒａｒｅｄ ｓｅｎｓｏｒ）３６，３６を有する。このセンサ３６，３６により、複数人での同時使用が可能となる。

センサ領域３５は、テーブル面から高さ１ｃｍ弱の不感領域を設けている。なお、この不感領域の高さは、たとえば０．５〜２ｃｍの範囲内であれば良い。このため、センサ領域３５に紙やノート、ペンを置くことができる。また、手指での操作の他、描画ツールとしてペンツールが用意されており、任意の場所にドローイングすることができる。なお、コミュニケーション装置において、ドローイングにより生成される画像は、それ単体で１つのオブジェクトデータとして扱われる。そのため、キャプチャされたオブジェクトのイメージと同様に、一定時間後に段々透明化して消失する。

［Ｔｉｍｅｌｉｎｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ］
自動的に記録された情報を引き出すことは、現状のコンピュータにおけるフォルダ概念のみでは、極めて難しい。そのため、このコミュニケーション装置では、タイムラインを視覚化して表示する。これにより、コミュニケーション装置は、情報を延々と記録する記録モードに加え、記録した過去の情報を再生する再生モードを有する。

再生モードにおいては、スクリーン領域３５に、再生画像が映される。また、スクリーン領域３５の中央に、タイムラインが横長にオーバーラップ表示される。図４は、テーブルの表示画面（Ｔｉｍｅ−ｌｉｎｅ Ｖｉｓｕａｌｉｚａｔｉｏｎの画面）の一例を示す図である。このタイムライン上には、付加情報として時間、参加者名などが付加可能である。前述のキャプチャオブジェクト、ドローイングオブジェクトがタイムスタンプと共にサムネイル画像表示される。つまり、キャプチャした行為や描き込みをした行為は、コミュニケーション装置によりイベントとして記憶される。

他にも、コミュニケーション装置は、参加者の増減、登録されたジェスチャや笑い声などの音声的情報などを自動的に取得し、イベント化し、記録することもできる。また、コミュニケーション装置は、記録モードから再生モードに移行するプロセスや、その逆に移行するプロセス自体も、イベントの一つとして記憶する。これにより、タイムラインの枝分かれが誘発される。時間は、二次元的なグラフ状に広がることになる。

図５は、タイムラインが枝分かれしているテーブルの表示画面（Ｔｈｕｍｂｎａｉｌ ａｎｄ Ｂｒａｎｃｈｉｎｇ画面）の一例を示す図である。これにより、脳が物を思い起こし、考えを巡らす様をシミュレートもしくは視覚化することができる。タイムラインには、音量情報の波形が重畳されて表示され、発言のありなしがビジュアライズされている。タイムラインの任意の位置を指定することで、その音声を指定した位置から再生したりすることができる。

また、タイムラインに沿って表示されているサムネイル画像は、手元に移動させるドラッグ操作などにより、複製され、その複製された画像が表示される。これにより、サムネイル画像の元画像のドキュメントなどを、再び操作の対象とすることができる。タイムラインがスクリーン領域をはみ出す場合、手元にある時間移動スライダと時間単位変更スライダを操作することで、タイムラインの任意の位置を表示し、操作の対象とすることができる。任意の時間をタイムマシンのように行き来することができる。

実施の形態２．
図６は、本発明の実施の形態２に係るコミュニケーション装置を示す図である。コミュニケーション装置は、オフィス作業においてリアルサイズでの操作を可能とし、ドキュメント共有を遠隔においても可能とする仕組みを有する。また、コミュニケーション装置は、この装置を使用する会議等の作業において参加者を自動的に認識し、ドキュメントをスキャンする仕組みによってリアルタイムにキャプチャし、表示する。

［システムの概要］
コミュニケーション装置は、対象物に対応する画像を生成するための制御手段としての装置（コンピュータ）（４１）と、作業者に画像を提示する表示部材の一部としての装置（プロジェクタとスクリーン）（４２）と、作業者が操作をするための表示部材の一部としての入力装置（タッチスクリーン）（４３）と、ドキュメントを取り込むための実物撮像部材としての画像入力装置（カメラ）（４４）と、作業者の位置を知るための人検出手段としての複数の画像入力装置（カメラもしくは距離センサ）（４５）と、を有する。なお、図６中において、符号（４６）は、画像入力装置（４４）で取り込まれるドキュメントである。このドキュメントは、二次元的なもの、三次元的なものを問わない。また、符号（４７）は、インターネット等の通信部材としての通信手段である。

そして、このような構成を有するコミュニケーション装置は、以下の使い方が可能である。

１．遠隔であること
インターネット経由や無線経由でこのコミュニケーション装置を、他のコンピュータや他のコミュニケーション装置に接続することが可能である。接続される複数台の装置において連携した処理が可能である。コミュニケーション装置は、ドキュメントや操作のデータを、接続される他の装置へ送信する。接続される複数の装置は、自装置で発生したデータを他の装置へ送信する。これにより、ドキュメントを同期的に操作し、操作を同期させることが可能となる。

２．作業者の位置が自動で取れること
装置の側面には、作業者の位置や移動を特定するためのセンサが複数配置されている。これは、カメラの撮像画像に対して所定の画像処理をすることで特定するものでなくとも、赤外線および超音波距離センサ、人感センサなどの組み合わせでもかまわない。これらのセンサ情報により、コミュニケーション装置は、作業者の入出が管理できる。また、コミュニケーション装置は、作業者の入出をイベントとした表示処理や動作を実行することができる。このセンサの存在は、遠隔地の装置と接続されている場合において最大の能力を発揮する。つまり、コミュニケーション装置は、この情報を遠隔地の装置に再現することも出来うるし、遠隔地の作業者の正面にドキュメントを配布表示することが可能である。

オフィスワーカーは、ＲＦＩＤのような機能の付いたネームタグをつけることは、今後、一般的になりつつある。コミュニケーション装置は、赤外線・超音波センサなどの代わりに、あるいはそれらと共にＲＦＩＤ検出器を有することで、ＲＦＩＤタグを身につけた作業者が装置に近づいた時点にて検知することができる。ＲＦＩＤは、使用する周波数や、アクティブあるいはパッシブに応じてその検知範囲が異なる。そして、コミュニケーション装置は、たとえば、センサから１０〜４０ｃｍの範囲でタグを検知可能なセンサとすればよい。この検知範囲があまり広範囲でもあるいは狭くても、コミュニケーション装置の制御には好ましくない。また、タグを検出することで、コミュニケーション装置の周囲の人の有無だけでなく、コミュニケーション装置の周囲にいる人そのものを特定することができる。

３．ドキュメントをキャプチャできること
コミュニケーション装置は、実物のドキュメントを電子化する手段であるカメラ、スキャナを有する。また、コミュニケーション装置は、電子化したイメージを実物と同じ大きさで表示する。実物のドキュメントを電子化するためのキャプチャ処理は、上方もしくは下方に置かれたカメラにドキュメントを翳すことで行なわれる。カメラ、スキャナなどによるキャプチャユニットは、この装置の一機能ではあるが、着脱が可能になってもかまわない。これにより、コミュニケーション装置は、どのような形式や形状のものであっても、そのイメージをスクリーン上に電子化し実物と同じ大きさで表示することができる。その結果、遠隔地で、実質的に実物のドキュメントを共有することができる。

４．実物大のドキュメントと実物操作
操作対象が実物大であるために、スクリーン領域は、十分な大きさとして４０インチといった大きさ有する。この装置では、スクリーンは水平に置かれているが、そのことがその本質ではなく、垂直に置かれていてもよい。また、コミュニケーション装置は、スクリーン領域に表示されている対象に対する操作を検出する入力手段（タッチスクリーン）を有する。この入力手段は、両手を使えることが望ましい。そのため、赤外線による多点認識可能なセンサを使用している。

実施の形態３．
図７は、本発明の実施の形態３に係るコミュニケーション装置を示す概略断面図である。図８は、図７のコミュニケーション装置の平面図である。図９は、図７のコミュニケーション装置の正面図である。図１０は、図７のコミュニケーション装置の背面図である。図１１は、図７のコミュニケーション装置の右側面図である。図１２は、図７のコミュニケーション装置の使用状態を示す概要参考図である。図１３は、図７のコミュニケーション装置の概略斜視図である。

実施の形態３のコミュニケーション装置は、装置本体１と、読取台としてのスキャンデスク１７とを有する。

装置本体１は、テーブル天板４を有する。テーブル天板４は、長方形の板形状のテーブルフレーム４ｂと、テーブルフレーム４ｂの中央に四角形に開設された開口部に装着される表示部材の一部としての画像投影表示部４ａと、を有する。画像投影表示部４ａの表面は、平らである。

画像投影表示部４ａは、複数の参加者の利用を考慮して、少なくとも４０インチといったサイズを取る。画像投影表示部４ａは、透明部材に拡散性の優れた透過型スクリーン等のスクリーン部材を裏面に貼ったもの、あるいは、半透明あるいは乳白色のテーブル天板ベース部材で構成される。このテーブル天板ベース部材は、たとえばエポキシ成形板、強化ガラスあるいは透明アクリル板などで形成すればよい。半透明あるいは乳白色のテーブル天板ベース部材は、可視光を透過する。

長方形のテーブルフレーム４ｂは、メンテナンステーブル１９と、２本の軸組み脚１６，１６の上に配設される。軸組み脚１６，１６は、テーブルフレーム４ｂの４角の中の２つの角部の下側に配設される。テーブルフレーム４ｂの残りの２つの角部は、メンテナンステーブル１９に載置される。メンテナンステーブル１９および２本の軸組み脚１６，１６の下端には、アジャスター・キャスター１５が設けられる。このアジャスター・キャスター１５の高さを調整することで、テーブル天板４の高さや傾きを微調整することができる。このような構成とすることで、コミュニケーション装置を利用した会議などへの参加者は、テーブルの３辺において、椅子に座ることができる。また、このように構成されるテーブルは、たとえばその全体形状が、オフィスでは標準的である幅９００ｍｍで高さ７００ｍｍ、長さ１８００ｍｍ（長さは１２００ｍｍから１８００ｍｍと標準はない）の四角形の外形形状に形成されればよい。

テーブルフレーム４ｂの上述した着座される３辺の中央部には、人検出手段としての距離センサ６と、人検出手段としての人感センサまたはＲＦＩＤリーダ７と、ＵＳＢコネクタとしてのＵＳＢ接続コネクタ９と、がそれぞれ配設される。距離センサ６は、人の着座を検出する。人感センサまたはＲＦＩＤリーダ７は、所定のＩＤ情報が記録されたＲＦＩＤを有する人がたとえば３０ｃｍなどの範囲内に近接すると、そのＩＤ情報を読み取る。距離センサ６、人感センサ、ＲＦＩＤリーダ７およびＵＳＢ接続コネクタ９は、距離・人感センサ基板１１を介して、メンテナンステーブル１９の上部に格納される制御手段および記憶手段としてのパーソナルコンピュータ２に接続される。

パーソナルコンピュータ２は、図示外の中央処理装置、メモリ、記憶デバイス、入出力ポート、通信ポートなどを有する。通信ポートには、ネットワーク接続線１３が接続される。また、パーソナルコンピュータ２には電源コード１４が接続され、パーソナルコンピュータ２は、この電源コード１４から供給される電力で動作する。

記憶デバイスには、テーブル制御プログラムが記憶され、中央処理装置がこのプログラムをメモリに読み込んで実行することで、パーソナルコンピュータ２は後述する動作のための機能を実現する。なお、テーブル制御プログラムは、出荷前に記憶デバイスに記憶されているものであっても、出荷後に記憶デバイスに記憶されているものであってもよい。出荷後に記憶デバイスに記憶されるテーブル制御プログラムは、たとえば、外部通信部材としての通信手段１３などの伝送媒体を介してダウンロードされても、ＣＤなどの記録媒体に記憶されていてもよい。

メンテナンステーブル１９の上には、テーブル天板４より厚さのあるスペーサを介してカウンター天板１２が配設される。カウンター天板１２は、テーブル天板４の一端を覆い隠すようにスペーサからテーブル天板４側へ突出する。カウンター天板１２の上には、周辺撮像部材としてのマイク付きカメラ８が設置される。マイク付きカメラ８は、テーブル天板４側に向けて設置される。マイク付きカメラ８は、パーソナルコンピュータ２に接続される。マイク付きカメラ８のマイクは、たとえば無指向性マイクがよい。

カウンター天板１２とテーブル天板４との間には、操作検出部材としての２つのタッチセンサー（多点認識タッチセンサー）５，５が設けられる。２つのタッチセンサー５，５は、テーブル天板４の２つの角に設けられる。

ところで、画像投影表示部４ａを構成するテーブル天板ベース部材は、テーブル天板４の下面寄りに配設される。画像投影表示部４ａは、テーブル天板４より窪む。この窪みの深さは、たとえば２ｃｍ程度にする。２つのタッチセンサー５，５は、この窪み内に配設される。

タッチセンサー５は、たとえばポリゴンミラーと、発光素子と、受光素子とで構成される。ポリゴンミラーは、回転多面鏡ともよばれ、たとえば六角柱形状を有する。六角柱の各側面は鏡面仕上げされる。ポリゴンミラーは、画像投影表示部４ａの表面に垂直な回転軸を中心として回転駆動される。

発光素子は、画像投影表示部４ａの表面と略並行な光をポリゴンミラーの外周面へ照射する。ポリゴンミラーの側面で反射された光は、画像投影表示部４ａ上を進行する。画像投影表示部４ａの周囲には、テーブル天板４の窪みに収まるように正反射テープが貼着されている。正反射テープは、それに入射する光を、入射方向に反射する構造を有するテープである。画像投影表示部４ａ上を進行する光は、この正反射テープにより反射され、タッチセンサー５側へ戻り、ポリゴンミラーに隣接して配設される受光素子により受光される。

ポリゴンミラーは回転する。この回転に従って発光素子の光が照射される側面の角度は変化する。これにより、タッチセンサー５は、画像投影表示部４ａを走査することができる。

なお、発光素子は、テーブル天板ベース部材から１ｃｍ程度の高さ位置から、ポリゴンミラーへ光を照射する。これにより、ポリゴンミラーにより反射される走査光は、画像投影表示部４ａの表面から約１ｃｍの高さで、画像投影表示部４ａの上を通過する。タッチセンサー５が走査する面と、テーブル天板ベース部材との間に１ｃｍ程度の不感領域を設けることができる。これにより、タッチセンサー５の走査を妨げないように、テーブル天板ベース部材の上に、紙やノート、ペンを置くことができる。会議などで使用する書籍などをテーブルの中央で提示することができる。

なお、この不感領域の高さは、たとえば１ｃｍ以上、３ｃｍ以下であればよい。不感領域の高さをこの範囲内の高さとすることで、画像投影表示部４ａに対する指などによる操作感を悪化させることなく、実物の画像を表示する表示領域の上にその操作の邪魔とならないように書類などの物を置くことができる。また、タッチセンサー５は、書類などが置かれている状態でも、操作を正しく検出することができる。

タッチセンサー５は、タッチセンサー基板１０を介して、パーソナルコンピュータ２に接続される。ポリゴンミラーの回転は、パーソナルコンピュータ２の指示に基づいて制御され、受光素子の受光レベル信号は、パーソナルコンピュータ２に入力される。

メンテナンステーブル１９の下部には、表示部材の一部としての反射ミラー２０が配設される。２本の軸組み脚１６，１６の間には、表示部材の一部としてのプロジェクタ３が設置される。プロジェクタ３は、反射ミラー２０に向けて画像を投影する。反射ミラー２０は、投影された画像を、テーブル天板ベース部材へ反射する。テーブルの周囲に座る人などは、半透明あるいは乳白色のテーブル天板ベース部材に投影された画像を、その上から見ることができる。このように画像を下側から投影することで、テーブル天板ベース部材の上に操作のために指などがおかれたとしても、それにより画像の光が遮断されることはなく、テーブル天板ベース部材に画像を投影し続けることができる。プロジェクタ３は、パーソナルコンピュータ２に接続される。

スキャンデスク１７は、装置本体１の脇にサイドテーブルのように配設可能なデスクである。スキャンデスク１７の天板は、Ａ４サイズの原稿を載置することができる大きさを有する。なお、天板は、Ａ３、Ｂ２サイズの原稿を載置することができる大きさであってもよい。

スキャンデスク１７には、実物撮像部材としてのキャプチャカメラ１８が配設される。キャプチャカメラ１８は、スキャンデスク１７の天板をその上方から撮像する。キャプチャカメラ１８は、パーソナルコンピュータ２に接続される。なお、キャプチャカメラ１８と天板との相対的な距離や位置は、固定されている。

次に、実施の形態３に係るコミュニケーション装置の動作を説明する。コミュニケーション装置を用いた会議を例として説明する。

会議は、一般的には、まず、議題に使用する書類が各参加者に配られる。各参加者は、各自に配られた書類を閲覧しながら話し合う。一定の時間が経過したり、一定の結論が得られると会議は終了する。結論が得られることなく会議が中断した場合、後日、その中断箇所から会議が再開される。会議が再開される場合、会議の冒頭において前回の会議の議事録などを参照し、前回話し合った内容を確認する。そして、必要とする議題について、前回配られた資料や今回新たに配られた資料を参照しながら話し合いを行う。会議は、基本的にこのような流れで実行される。

会議の参加者は、図１２の実線に示すように、装置本体１のテーブル天板４の３辺に着座する。テーブル天板４の脇に人が着座すると、距離センサ６は、人の着座を検出し、検出信号をパーソナルコンピュータ２へ出力する。パーソナルコンピュータ２は、着座位置情報を生成し、その記憶手段に保存する。図１２の場合では、３人分の着座位置情報が記憶手段に保存される。

また、ＲＦＩＤリーダ７は、着座した人がＲＦＩＤタグを所持している場合、そのＲＦＩＤタグと通信し、ＩＤ情報を取得する。ＲＦＩＤリーダ７は、取得したＩＤ情報をパーソナルコンピュータ２へ出力する。ＵＳＢ接続コネクタ９は、それにＩＤ情報が記録されたＵＳＢメモリなどが接続されると、そのＵＳＢメモリと通信し、ＩＤ情報を取得する。

パーソナルコンピュータ２は、着座位置情報と関連付けてそのＩＤ情報を記憶手段に保存する。これにより、着座した人を特定することができる。なお、パーソナルコンピュータ２は、ＩＤ情報とともに図示外のタイマで計測した時刻情報を関連付けて保存するようにしてもよい。

参加者全員が揃うと、会議は開始される。たとえば図１２の参加者Ｂは、Ａ４サイズの書類をスキャンデスク１７の天板に起き、図示外のスキャン開始スイッチを操作する。スキャン開始スイッチが操作されると、パーソナルコンピュータ２は、書類のスキャン制御を実行する。

書類のスキャン制御では、パーソナルコンピュータ２は、書類を実寸で表示するための制御を行う。

パーソナルコンピュータ２の記憶手段には、プロジェクタ３の解像度（たとえば９６ｄｐｉ）の情報と、プロジェクタ３の投影画像が画像投影表示部４ａに表示される表示倍率（たとえば２倍）の情報とが記憶される。たとえば、プロジェクタ３の解像度が９６ｄｐｉであり且つ表示倍率が２倍であるとき、９６ｄｐｉの解像度で読み取った画像は、一辺が２倍（面積で言えば４倍）のサイズで画像投影表示部４ａに表示される。

パーソナルコンピュータ２は、これら記憶手段に予め記憶されている表示解像度に関する情報に基づいて、画像データを実寸で表示するための読取解像度を指定して、キャプチャカメラ１８に撮像指示を出力する。具体的にはたとえば、パーソナルコンピュータ２は、プロジェクタ３の解像度が９６ｄｐｉであり且つ表示倍率が２倍であるとき、４８ｄｐｉの解像度で読み取りを指示する。

キャプチャカメラ１８は、パーソナルコンピュータ２の読取指示に基づいて、指定され解像度で書類が乗った天板を撮像する。キャプチャカメラ１８は、撮像データをパーソナルコンピュータ２へ出力する。

撮像データが供給されると、パーソナルコンピュータ２は、書類イメージデータの生成処理を開始する。具体的には、パーソナルコンピュータ２は、キャプチャカメラ１８と天板との予め設定されている距離や位置の情報に基づいて、撮像データの画像中の書類の画像範囲を特定する。パーソナルコンピュータ２は、撮像データの画像から、特定した画像範囲の画像を切り出す。なお、切り出しの際に、天板上における書類の向きが問題となる場合には、たとえば天板に予めＡ４サイズの枠を表示し、その枠内に書類を載置させるようにすればよい。

特定した画像範囲の画像を切り出した後、パーソナルコンピュータ２は、その切り出し画像データを記憶手段に保存する。パーソナルコンピュータ２は、切り出した画像データを、その切り出し時刻の情報とともに保存する。

パーソナルコンピュータ２は、切り出し画像データを記憶手段に保存するとともに、その切り出し画像データの画像を表示する表示データを生成する。パーソナルコンピュータ２がプロジェクタ３へ出力する表示データは、画像投影表示部４ａに表示する全体の画像の表示データである。パーソナルコンピュータ２は、まず、記憶手段から着座位置情報を読み込み、画像投影表示部４ａを基準とした人の着座位置を特定する。図１２の着座状態の場合、パーソナルコンピュータ２は、画像投影表示部４ａの三方向を着座位置として特定する。

人の着座位置を特定した後、パーソナルコンピュータ２は、その着座位置にいる人に正対する向きで、切り出し画像データの画像を割り付けた表示データを生成する。図１２の着座状態の場合、パーソナルコンピュータ２は、図１２においてＡ，ＢおよびＣとして示すように、画像投影表示部４ａの三方向に切り出し画像データの画像を割り付ける。なお、図１２に示すように、パーソナルコンピュータ２は、Ａ，ＢおよびＣに加えて、Ｄの画像を割り付けるようにしてもよい。

切り出し画像データは、プロジェクタ３の解像度と表示倍率とに基づいて指定された解像度で読み取られたものである。したがって、パーソナルコンピュータ２は、切り出し画像データを拡大したり、縮小したりすることなく切り出したままの解像度にて、切り出し画像データの画像を割り付ける。

切り出し画像データを割り付けた表示データを生成すると、パーソナルコンピュータ２は、その生成した表示データをプロジェクタ３へ出力する。プロジェクタ３は、表示データの画像を投影する。画像は、反射ミラー２０により反射され、テーブル天板ベース部材に投影される。テーブルの周囲に着座する参加者は、それぞれの前に正対してＡ４の実寸で表示された書類の画像を見ることができる。各参加者は、同じ条件で、書類の視認や操作を行うことができ、ほぼ平等に作業にアクセスすることが可能となる。

このように会議の場において目の前で電子化された書類が、実寸で提示されることで、各参加者は、実際の書類が、スキャンデスク１８からスライドして配布されたかのような感覚を受ける。各参加者は、電子化されて表示されている書類の画像を、配布された書類と同様の感覚で違和感なく受け取ることができる。

また、このようにプロジェクタ３の解像度と表示倍率とに基づいて解像度を指定した上で、キャプチャカメラ１８に画像を読み取らせることで、パーソナルコンピュータ２は、読み取り画像に対してトリミング処理をするだけで、テーブル天板ベース部材に実寸で表示する画像のデータを生成することができる。

なお、切り出し画像データの画像は、参加者全員に自動的に配られなくてもよい。たとえば、パーソナルコンピュータ２は、切り出し画像データの画像を、その操作者の前にのみ割り付けた表示データを生成し、表示させるようにしてもよい。その後、パーソナルコンピュータ２は、操作者がたとえば自分の前に表示された書類の画像を指などで押えたまま配信したい人の方向へ手を動かす操作をしたことを検出したら、他の人の前に、操作者の前に表示された切り出し画像データの画像と同じ画像を割り付けるようにしてもよい。

書類が電子化されて配布されると、各参加者は、その書類を閲覧しながら話し合う。たとえば、書類に小さい文字が記載されて読み難い場合には、各参加者は、その文字の表示位置の両側に指を置いた後、その二本の指を開くよう動かす。

書類が表示されるテーブル天板ベース部材の上空は、タッチセンサー５の走査光により走査されている。タッチセンサー５から発光される光が指にあたった場合、その光はタッチセンサー５の受光素子に入射しなくなる。操作光は遮断される。パーソナルコンピュータ２は、この受光素子の受光レベルの低下により、指を検出する。パーソナルコンピュータ２は、受光素子の受光レベルが低下している期間に基づいて、タッチセンサー５を基準とする指の方向を判断する。パーソナルコンピュータ２は、各タッチセンサー５からの方向に基づいて、三角法により、テーブル天板ベース部材上の指の位置を特定する。パーソナルコンピュータ２は、テーブル天板ベース部材上の各指の位置を特定する。なお、このようにパーソナルコンピュータ２は複数の操作位置を同時に特定することができる。したがって、複数人が同時に操作をすることができる。

タッチセンサー５の走査光の遮断として検出される複数回の各指の位置の特定処理に基づいて、書類イメージの表示領域内において二本の指の間隔が開かれる動きを検出すると、パーソナルコンピュータ２は、記憶手段に保存した切り出し画像データを読込み、その二本の指の間を中心として、指の開き具合に応じた拡大率で書類を拡大したイメージの画像データを生成する。

このようにパーソナルコンピュータ２の記憶手段に切り出し画像データを記憶させ、操作に応じた表示画像を生成する際にはその記憶されているデータを用いることで、パーソナルコンピュータ２は、操作に応じた表示画像を生成する度にキャプチャカメラ１８に画像を撮像させる必要が無くなる。操作に応じて表示画像を表示するまでのレスポンスが向上する。

なお、パーソナルコンピュータ２は、記憶手段に保存した切り出し画像データに替えて、その拡大率に応じた解像度を指定して新たにキャプチャカメラ１８に画像を読み取らせ、その読み取り画像のデータを使用するようにしてもよい。また、拡大率は、予め設定されている離散的な複数の拡大率の値の間で、１操作毎に段階的に１段ずつ拡大するようにしてもよい。

拡大画像のデータを生成すると、パーソナルコンピュータ２は、操作検出時にその操作対象の画像が割り付けられていたすべての位置に、その生成した画像を割り付けて、新たな表示データを生成する。プロジェクタ３は、この新たな表示データに基づく画像を表示する。

これにより、各参加者の前には、拡大されて小さい文字が見やすくなった書類が表示される。一人の画像の操作内容を他の人に提供することができる。各人は、たとえば各自に別々の書面が配られた場合のように、説明箇所を口頭で伝えることなく、他人に伝えることができる。また、複数の人が操作をすることで書類の変更処理などを共同作業とし、効率よく作業を実施することができる。

なお、このコミュニケーション装置では、拡大以外にも、縮小、回転、移動、複製、消去といった操作を実行することができる。コミュニケーション装置は、それらの所定の操作を検出すると、記憶手段に記憶されている切り出し画像データに対して、その所定の操作に応じて加工などをし、その上で表示データを更新する。

また、各参加者が書類の重要と思う箇所の上を１本の指などでなぞると、パーソナルコンピュータ２は、各タッチセンサー５からの受光レベル信号に基づいてその指の動きを検出する。パーソナルコンピュータ２は、テーブル天板ベース部材上の移動範囲と、表示データにおける書類イメージの割り付けとに基づいて、記憶手段に記憶されている切り出し画像データ内の指の軌跡範囲を特定する。パーソナルコンピュータ２は、特定した指の軌跡範囲内の切り出し画像データを、所定の単一色のデータへ変更する。

記憶手段に記憶される切り出し画像データが更新されると、パーソナルコンピュータ２は、表示データに割り付ける画像を、その更新された画像データの画像に更新する。これにより、各参加者には、ある参加者が指で指定したマーキングが付加された書類が表示される。これにより、共有した文章やイメージをユーザ操作に基づいて同時に編集することができ、共同作業を効果的に進めることができる。なお、このマーキング処理により、パーソナルコンピュータ２は、各参加者により書類上に書き込まれた文字を、保存し、更新することができる。

また、参加者は、書類のイメージが表示されている画像投影表示部４ａに直接に指で触れてマーキングの操作をする。また、そのマーキング操作によりマークが付加された書類の画像は、参加者が触れている画像投影表示部４ａに表示される。つまり、操作位置とマーキング位置とは一致し、画像投影表示部４ａは、紙そのものと同じように機能する。参加者は、実寸で表示される書類に対して、リアルサイズのマーキングすることができる。

なお、パーソナルコンピュータ２は、マーキングの情報を、記憶手段に記憶される切り出し画像データのファイルとは別のファイルとして保存するようにしてもよい。この場合、パーソナルコンピュータ２は、たとえばマーキング操作を検出すると、その操作範囲に表示している画像のファイルを特定し、特定したファイルのコピーをその生成時刻情報とともに記憶手段に保存し、さらにその新たに記憶させたファイルの画像データを単色の画像に変更する。その上で、パーソナルコンピュータ２は、新たなファイルの画像において、特定した指の軌跡範囲内の切り出し画像データを、所定の単一色のデータへ変更する。また、パーソナルコンピュータ２は、この複数のファイルの画像を重ね合わせた画像データを生成し、その画像データを表示データに割り付ければよい。

また、パーソナルコンピュータ２は、一人の操作に基づいてすべての参加者に提示する書類を変更するのではなく、参加者毎に、書類を変更するようにしてもよい。この場合、パーソナルコンピュータ２は、たとえば画像投影表示部４ａを参加者に応じて分割し、その分割された各区域を各参加者による操作領域として認識し、検出した各指の位置情報を利用するようにすればよい。また更には、パーソナルコンピュータ２は、一人の操作に基づいてすべての参加者に提示する書類を変更するモードと、参加者毎に書類を変更するモードとを切り換えられるものであってもよい。

また、パーソナルコンピュータ２は、表示データに割り付けた各画像データの表示を管理する。パーソナルコンピュータ２は、表示データに割り付けて表示している画像データ毎に、その表示開始の際に、連続無操作時間管理データを生成し、記憶手段に保存する。なお、各連続無操作時間管理データは、表示する画像のファイル名と対応付けられて、１つのファイルとして記憶手段に記憶される。各連続無操作時間管理データの初期値は、たとえば０である。

パーソナルコンピュータ２は、周期的に、各連続無操作時間管理データの値を更新する。前回の更新後にその画像データに対する操作がなされない場合には、パーソナルコンピュータ２は、連続無操作時間管理データの値を増やす。前回の更新後にその画像データに対する操作がなされた場合には、パーソナルコンピュータ２は、連続無操作時間管理データの値を０に戻す（あるいは減らす）。

パーソナルコンピュータ２は、また、各連続無操作時間管理データの値が所定の値を超えたか否かを判断する。そして、連続無操作時間管理データの値が所定の値を超えている場合、パーソナルコンピュータ２は、その画像を表示データから削除するように、表示データを更新する。これにより、会議にて使用されていない画像は、自動的に所定の時間の後に、画像投影表示部４ａからクリーンアップされる。指などで操作される画像は、クリーンアップされることなく画像投影表示部４ａに表示されつづける。イメージに対して何らかの操作をすることで、透明化を抑制し、イメージを表示し続けることができる。

これにより、会議で使用する書類のみを、画像投影表示部４ａに表示し、画像投影表示部４ａが書類の画像で一杯になってしまわないようにすることができる。

なお、パーソナルコンピュータ２は、連続無操作時間管理データの値に応じて、画像データの透明度を制御するようにしてもよい。たとえば、パーソナルコンピュータ２は、連続無操作時間管理データの値の増加に応じて、画像データの透明度を１段ずつ上げて、最終的には透明度が１００％となる値においてその画像が画像投影表示部４ａからクリーンアップされるようにしてもよい。

また、記憶手段に、切り出し画像のファイルと、マーキングによる画像のファイルとが別々に記憶されている場合、パーソナルコンピュータ２は、これらの画像のクリーンアップ制御を別々に管理しても、マーキングによる画像を切り出し画像に従属させて管理しても良い。切り出し画像とマーキングによる画像とを別々に管理する場合には、マーキングによる画像の透明度制御の段回数やクリーンアップに至るまでの段回数を、切り出し画像のそれとよりも少ない段回数とするようにしてもよい。

以上のような会議に使用する書類の電子化および表示処理とは別に、パーソナルコンピュータ２は、マイク付きカメラ８を用いて、会議を記憶手段に記録する。

パーソナルコンピュータ２は、たとえばある距離センサ６において人が着座したことを検出すると、記憶手段にファイルを生成し、そのファイルにマイク付きカメラ８が撮像する画像および音声の保存を開始する。また、２つのタッチセンサー５，５からの受光レベル信号に基づいて、所定の会議終了操作がなされたと認識すると、パーソナルコンピュータ２は、マイク付きカメラ８が撮像する画像および音声の保存を終了する。これにより、パーソナルコンピュータ２の記憶手段には、会議が開始されてから終了するまでの画像および音声が１つのファイルとして記録される。これにより、会議の全体の雰囲気を連続的に撮ることができる。

図１７は、作業工程を音声、映像で記録し保存し、自動的に議事録化する動作を示す図である。コミュニケーション装置は、最初に、それぞれの装置にて作業工程を音声、映像で記録する（ステップＳＴ１０）。次に、保存する前に再利用時に必要となる情報を付与する（ステップＳＴ１１）。これにより、コミュニケーション装置は、作業工程を音声、映像で記録し保存し（ステップＳＴ１２）、自動的に議事録化することができる。また、コミュニケーション装置は、会議が終了したか否かを判断し、終了したと判断するまで、ステップＳＴ１０からＳＴ１２までの処理を繰り返す。

なお、このファィルには、そのファイルの記録開始時刻、記録終了時刻などの時刻情報や、ＲＦＩＤリーダ７やＵＳＢ接続コネクタ９から取得したＩＤ情報などを関連付けて保存するとよい。これにより、このファイルには、議事録として必要な情報を保存することができる。また、図１７に示すように、遠隔地にある他のコミュニケーション装置においても、同様の議事録の保存が可能である。

また、会議が終了する際に、ＵＳＢ接続コネクタ９にＵＳＢメモリが接続されていたり、ＲＦＩＤリーダ７がメモリ機能付きのＲＦＩＤタグと通信可能であったりする場合、パーソナルコンピュータ２は、その会議中に記憶手段に記憶した各種のデータを、それらのメモリへ送信する。具体的にはたとえば、パーソナルコンピュータ２は、まず、会議の動画および音声を記憶する議事録ファイルから、会議記録の開始時刻を取得する。パーソナルコンピュータ２は、記憶手段に記憶されているファイルの中から、その開始時刻から現時刻までの記録時刻や更新時刻を有するファイルを抽出する。パーソナルコンピュータ２は、抽出したすべてのファイルを、ＵＳＢメモリあるいはメモリ機能付きのＲＦＩＤタグへ送信する。これにより、会議の各参加者は、会議で電子化して使用した全ての資料と、その会議の進行の記録とを、ＵＳＢメモリあるいはメモリ機能付きのＲＦＩＤタグにより持ち帰ることができる。各参加者は、会議の記録に追われることなく、会議に参加することができる。

また、記憶手段に議事録ファイルが保存されている場合において、距離センサ６が人を検出すると、パーソナルコンピュータ２は、記憶手段に記憶されている議事録ファイルのリストを、その時刻情報とともに画像投影表示部４ａに表示する。なお、パーソナルコンピュータ２は、ＲＦＩＤリーダ７やＵＳＢ接続コネクタ９からＩＤ情報を取得できる場合、そのＩＤ情報を含む議事録ファイルのみをリスト化して表示するようにしてもよい。さらには、パーソナルコンピュータ２は、複数人のＩＤ情報が完全に一致する議事録ファイルのみをリスト化して表示するようにしてもよい。ＲＦＩＤリーダ７やＵＳＢ接続コネクタ９のＩＤ情報を、議事録再生のためのアクセスキーとして利用することができる。

リスト表示される議事録ファイルの中から１つが選択されると、パーソナルコンピュータ２は、図４に例示するようなタイムラインを画像投影表示部４ａの中央に表示する。タイムライン上には、付加情報として時刻、時間、参加者名などが付加可能である。

また、パーソナルコンピュータ２は、その議事録ファイルに記録された開示時刻と終了時刻とに基づいてその時間内に生成あるいは更新されたファイルを特定し、そのファイルのサムネイル画像を、タイムラインの周囲に表示する。キャプチャオブジェクト、ドローイングオブジェクトは、タイムスタンプと共にサムネイル画像表示される。キャプチャした行為や描き込みをした行為は、コミュニケーション装置によりイベントとして記憶され、再生される。ファイルの画像は、タイムラインの左端を会議の開始時刻とし、タイムラインの右端を会議の終了時刻とし、その間に生成時刻あるいは更新時刻に基づいて割り付けられる。複数のサムネイル画像は、会議で使用された順番に並べて表示される。

タイムラインには、音量情報の波形が重畳されて表示され、発言のありなしがビジュアライズされている。タイムラインの任意の位置を指定することで、その音声を指定した位置から再生したりすることができる。タイムライン上のある場所が指で指定されると、パーソナルコンピュータ２は、その指定された場所に対応する時刻から、議事録ファイルに記録されている動画および音声を再生する。動画は、画像投影表示部４ａに表示される。サムネイル画像が指で指定されると、パーソナルコンピュータ２は、その画像に対応する画像データをファイルから読込み、画像投影表示部４ａに表示する。

このように会議中に電子化した書類のイメージがちりばめられた会議のタイムラインが表示され、そのタイムラインやサムネイル画像を操作することで会議の様子や書類が表示されるので、集まった参加者は、過去の会議の内容を容易に且つ情報のもれなく思い返すことができる。サマライズされた書面による議事録に比べて必要な情報をより正確に引き出すことができる。書面で作成された議事録のように要約された内容だけでなく、決定に至った経緯やその証拠などの細かい事項についても、容易に思い返すことができる。参加者の態度や振る舞い、雰囲気といった身体性を再現して体感することができる。また、会議に参加しなかった人間も、その記録から、そのときの状況を再構成して追認することも可能である。再認記憶を啓発する。「Ｌｅｇｉｂｌｅ Ｄｅｓｉｇｎ Ｓｙｓｔｅｍ」となる。

他にも、コミュニケーション装置は、参加者の増減、登録されたジェスチャや笑い声などの音声的情報などを自動的に取得し、イベント化し、記録してもよい。また、コミュニケーション装置は、会議を記録するモードから過去の会議を再生するモードへ移行するプロセスや、その逆に移行するプロセス自体も、イベントの一つとして記憶してもよい。これにより、タイムラインの枝分かれが誘発される。タイムラインは、図５に示すように、時間軸毎に、二次元的なグラフ状に広がることになる。これにより、脳が物を思い起こし、考えを巡らす様をシミュレートもしくは視覚化することができる。

また、タイムラインに沿って表示されているサムネイル画像は、手元に移動させるドラッグ操作などにより、複製され、その複製された画像が表示される。これにより、サムネイル画像の元画像のドキュメントなどを、再び操作の対象とすることができる。タイムラインがスクリーン領域をはみ出す場合、手元にある時間移動スライダと時間単位変更スライダを操作することで、タイムラインの任意の位置を表示し、操作の対象とすることができる。任意の時間をタイムマシンのように行き来することができる。

次に、遠隔地において会議に参加する人がいる場合について説明する。

遠隔地において会議に参加する人がいる場合、ＰＣ２の通信手段１３に、通信ケーブル、電話回線などの通信回線が接続される。通信ケーブルや電話回線は、さらにＡＴＭ交換網やインターネットに接続される。また、遠隔地では、他のコミュニケーション装置が設置される。これにより、コミュニケーション装置と、遠隔地にある他のコミュニケーション装置とが通信回線により接続されたコミュニケーションシステムが構成される。なお、他のコミュニケーション装置に替えて、モニタ、マイク、マウスなどを有するパーソナルコンピュータなどを設置してもよい。

コミュニケーション装置に遠隔地の他のコミュニケーション装置などか接続されたことを検出すると、パーソナルコンピュータ２は、他のコミュニケーション装置が距離センサ、人感センサ、ＲＦＩＤリーダ、ＵＳＢ接続コネクタなどに基づく検出により記憶手段に保存した着座位置情報などを取得する。なお、この着座位置情報などは、コミュニケーション装置と遠隔地の他のコミュニケーション装置との接続処理中に、他のコミュニケーション装置のパーソナルコンピュータが送信してもよい。

遠隔地の他のコミュニケーション装置から参加者に関する着座位置情報を取得すると、パーソナルコンピュータ２は、その着座位置情報を時刻情報と関連付けて記憶手段に保存する。パーソナルコンピュータ２は、複数人分の着座位置情報がある場合、それを１つのグループの情報として登録してもよい。また、パーソナルコンピュータ２は、着座位置情報に、他のコミュニケーション装置の識別情報を関連付けて保存してもよい。

会議が開始され、書類をスキャンして得られる切り出し画像データを生成すると、パーソナルコンピュータ２は、その切り出し画像データを割り付けた表示データを生成するとともに、通信手段１３に切り出し画像データの送信を指示する。通信手段１３は、切り出し画像データを、遠隔地の他のコミュニケーション装置へ送信する。

遠隔地の他のコミュニケーション装置では、その通信手段が切り出し画像データを受信する。また、そのパーソナルコンピュータは、受信した切り出し画像データを割り付けた表示データを生成し、その表示データの画像を画像投影表示部に表示する。遠隔地の他のコミュニケーション装置の周囲に着座する各参加者の前には、コミュニケーション装置において電子化された書類が実寸で且つ正対して表示される。

これにより、遠隔地の他のコミュニケーション装置には、コミュニケーション装置に書類の画像が表示されるタイミングと同期して、その書類の画像が表示される。遠隔地の他のコミュニケーション装置とコミュニケーション装置とで、同期した情報の共有化ができる。

図１５は、このドキュメントデータの送信処理の流れの一例を示す図である。最初に、装置１は、該当ドキュメントを画像データ化し、関連情報を付与する（ステップＳＴ４）。二番目に、コミュニケーション装置１で生成されたデータを装置（遠隔地）へ送信する（ステップＳＴ５）。三番目に、装置（遠隔地）では受け取ったデータをそのまま適当な位置に表示する（ステップＳＴ６）。これにより、コミュニケーション装置は、ドキュメントを、通信手段を使って見たままの状態で遠隔地装置に送る。コミュニケーション装置は、ドキュメントをｅメールや圧縮ファイルとして送るのではなく、スクリーン面に投影されて見えるままの状態で遠隔地装置へ送り、遠隔地装置でも見たままの状態を受け取り表示する。

なお、遠隔地にある他のコミュニケーション装置においても、書類が電子化されると、その電子化データがパーソナルコンピュータ２へ送信される。コミュニケーション装置は、遠隔地において電子化された書類を、画像投影表示部４ａに表示する。

また、パーソナルコンピュータ２は、マイク付きカメラ８で撮像した動画および音声データを、通信手段１３に送信させる。通信手段１３により送信されたデータは、遠隔地の他のコミュニケーション装置に受信される。遠隔地の他のコミュニケーション装置の表示モニタには、その画像が映し出され、音声が再生される。

また、遠隔地の他のコミュニケーション装置は、動画および音声をカメラで撮像し、送信する。コミュニケーション装置の通信手段１３がそれらのデータを受信すると、パーソナルコンピュータ２は、たとえばカウンター天板１２の上に載置された遠隔地モニタに、その画像を映し出し、音声を再生する。これにより、遠隔地にいる人の映像が図１２の参加者Ｄの位置に表示される。参加者Ａ，Ｂ，Ｃからすれば、同一空間内に、参加者Ｄが存在するように見える。臨場感がある。

このように、コミュニケーション装置は、遠隔地にある他のコミュニケーション装置との間で、互いの会議室の様子をモニタしながら、情報を共有することができる。会議の参加者は、遠隔地において会議に参加し、他の参加者と連携することができる。ドキュメントを同期的に操作したり、操作を同期して行ったりすることが可能となる。また、場所や人数に制限されず、本装置にアクセスする共同作業者が作業を効果的に展開することができる。

なお、この説明では電子化した書類の共有について説明しているが、その他にもたとえば操作に基づくマーキング情報や、会議を撮像した動画や音声も共有することができる。コミュニケーション装置は、たとえば図１４に示すように、最初に、装置１上のドキュメントに対する変更内容をデータ化し（ステップＳＴ１）、他の装置（遠隔地の他のコミュニケーション装置など）へ送信する（ステップＳＴ２）。次に、他の装置（遠隔地）では装置１より送られてきたデータを受信し、当該他の装置（遠隔地）の該当ドキュメントにその変更内容を反映する（ステップＳＴ３）。

図１６は、映像や音声の共有処理の流れを示す図である。装置１では現場の映像、音声をデータ化し（ステップＳＴ７）、装置（遠隔地）へ送信する（ステップＳＴ８）。次に、装置（遠隔地）では映像、音声を受信し、装置（遠隔地）内で可視化・可聴化する（ステップＳＴ９）。これにより、コミュニケーション装置は、通信手段を使って遠隔地装置と画像、映像、音声を送受信し、可視化・可聴化し作業の一助とすることができる。

なお、動画や音声を各地で再生する場合、動画や音声を再生するディスプレイ装置が必要となる。ディスプレイ装置は、たとえばカウンター天板１２の上に載置すればよい。カウンター天板１２の上に載置された目線の高さのディスプレイ装置に、他の会議室の様子が映し出されることで、遠く離れた２つの会議室は、あたかも１つの空間であるかのように認識される。遠隔地の他のコミュニケーション装置での会議の参加者と、コミュニケーション装置での会議の参加者とは、互いに相手の居場所の様子を映像により知ることができる。これとともに、実物の画像なども共有化されているので、コミュニケーション装置の設置場所と遠隔地とを１つの空間として利用することができる。

また、コミュニケーション装置のパーソナルコンピュータ２は、遠隔地の他のコミュニケーション装置から参加者に関する着座位置情報を取得すると、画像投影表示部４ａ内に、遠隔地への送信領域を設ける。遠隔地への送信領域は、画像投影表示部４ａ内のたとえばカウンター天板１２側の部位や、画像投影表示部４ａの中心部などに設定される。

特に、遠隔地への送信領域は、画像投影表示部４ａ内のカウンター天板１２側の部位に設けるとよい。カウンター天板１２の上には、遠隔地モニタが載置される。したがって、コミュニケーション装置により会議に参加する人は、遠隔地モニタに写っている遠隔地の人に対して実物の画像などを渡すように操作をすることで、その遠隔地の人に実物の画像などを提供することができる。

遠隔地への送信領域は、コミュニケーション装置に接続される機器毎に設けたり、会議の参加者毎に設けたり、あるいは、それらを組み合わせで設ければよい。遠隔地への送信領域は、画像投影表示部４ａの周囲に人が着座している目の前の領域以外に設ければよい。

そして、たとえば操作者がたとえば自分の目の前に表示された書類の画像を指などで押えた後にこの遠隔地への送信領域まで指を移動する動作を検出すると、パーソナルコンピュータ２は、押えられた画像に対応する切り出し画像データなどを記憶手段から読込み、通信手段１３に切り出し画像データの送信を指示する。通信手段１３は、送信操作がさなれた切り出し画像データを、遠隔地の他のコミュニケーション装置へ送信する。

遠隔地の他のコミュニケーション装置では、その通信手段が切り出し画像データを受信すると、受信した切り出し画像データを割り付けた表示データを生成し、その表示データの画像を画像投影表示部に表示する。遠隔地の他のコミュニケーション装置の周囲に着座する各参加者の前には、コミュニケーション装置での参加者が送信操作した書類の画像が実寸で且つ正対して表示される。

これにより、画像投影表示部４ａに表示されている実物の画像などを、一定の配布操作により遠隔地の他のコミュニケーション装置へ送信し、表示させることができる。遠隔地の他のコミュニケーション装置とコミュニケーション装置とで、情報の共有化ができる。特に、遠隔地への送信領域を、コミュニケーション装置に接続される機器毎に設けたり、会議の参加者毎に設けたり、あるいは、それらを組み合わせで設けることで、情報を共有する画像の配布先を個別に選択することができる。

なお、この表示されている書類のイメージの送信処理において、パーソナルコンピュータ２は、送信する書類のイメージの中、遠隔地への送信領域内となった部分を表示しないようにしてもよい。これにより、たとえばユーザの移動操作にしたがって遠隔地への送信領域内へ移動する書類は、そのその進入方向先端部から段階的に表示から消失し、書類があたかも遠隔地に吸い込まれたかのような臨場感を喚起することができる。なお、書類の画像データが送信される受信側のコミュニケーション装置においても、パーソナルコンピュータは、画像投影表示部４ａの所定の位置から書類が段階的に排出されるように表示を制御することで、同様の臨場感を喚起することができる。

以下、コミュニケーション装置および遠隔地の他のコミュニケーション装置による他の連動動作を説明する。

図１８は、コミュニケーション装置および遠隔地の他のコミュニケーション装置における、記録、保存した議事録データの頭だし、巻き戻し、検索に関する動作の一例を示す図である。最初に、装置１は、議事録操作種の入力を受ける（ステップＳＴ１４）。二番目に装置（遠隔地）は、操作者の入力に対応する議事録の再生位置を検索する（ステップＳＴ１５）。三番目に、装置１から装置（遠隔地）へ議事録の再生位置情報を送信する（ステップＳＴ１６）。四番目に、装置１、装置（遠隔地）にて指定再生位置から議事録を再生する（ステップＳＴ１７，ＳＴ１８）。

図１９は、コミュニケーション装置および遠隔地の他のコミュニケーション装置における、作業者の位置データ取得から表示までの動作の一例を示す図である。最初に、装置１は、配置されたセンサーで作業者の位置データを取得する（ステップＳＴ１９）。二番目に、装置１は取得した位置データを装置（遠隔地）へ送信する（ステップＳＴ２０）。三番目に、装置１ではセンサーから取得した情報、装置（遠隔地）では装置１より受信した情報を使い、ドキュメントデータ及び関連情報を適当な位置に表示する（ステップＳＴ２１，ＳＴ２２）。これにより、コミュニケーション装置は、装置に配置された位置検知可能なセンサーで作業者の位置データを取得する。取得した位置データを作業装置、遠隔地装置に送信し、このデータを基にドキュメントデータ、補足説明等を適当な位置に表示する。なお、位置検知手法に関しては精度を上げる為、複数のセンサを併用してもよい。

図２０は、コミュニケーション装置および遠隔地の他のコミュニケーション装置における、カメラ、スキャナにより対象物をデジタルデータ化して共有する動作の一例を示す図である。最初に、装置１は、カメラ、スキャナにより対象物をデジタルデータ化にあたって、対象物の実寸法を自動取得・計算する（ステップＳＴ２３）。二番目に、装置１にて対象物の実寸法をスクリーン上の画素寸法に変換する（ステップＳＴ２４）。三番目に、装置１から他の装置（遠隔地）へデジタルデータおよび対象物のスクリーン上の画素寸法を送信する（ステップＳＴ２５）。四番目に、他の装置（遠隔地）では受信したデータを基に装置１で生成された対象物のデジタルデータを適当な位置に表示する（ステップＳＴ２６，ＳＴ２７）。これにより、コミュニケーション装置は、カメラ、スキャナにより対象物をデジタルデータ化する。なお、コミュニケーション装置は、対象物の実寸法を自動取得・計算し、これをスクリーン上の画素寸法に変換し、スクリーン上に実寸法と同じ大きさで投影するようにしてもよい。

図２１は、コミュニケーション装置および遠隔地の他のコミュニケーション装置における、取得したデジタルデータを加工可能な任意のデータ形式（例えば画像データやポリゴンデータ、点群データ）に変換する場合の動作の一例を示す図である。最初に、装置１にてデジタルデータの変換に必要な情報を操作者が入力する（ステップＳＴ２８）。二番目に、入力された情報を装置（遠隔地）へ送信する（ステップＳＴ２９）。三番目に、それぞれの装置内で適当なデータ変換を行う（ステップＳＴ３０，３１）。これにより、コミュニケーション装置は、取得したデジタルデータを加工可能な任意のデータ形式（例えば画像データやポリゴンデータ、点群データ）に変換して共有することができる。

図２２は、コミュニケーション装置および遠隔地の他のコミュニケーション装置における、操作情報の共有動作の一例を示す図である。最初に、装置１にてタッチセンサーより作業者の操作情報を入力する（ステップＳＴ３２）。二番目に、装置１にて入力された操作情報を装置（遠隔地）へ送信する（ステップＳＴ３３）。三番目に、装置１にて入力された情報を基にドキュメントを操作・加工する（ステップＳＴ３４，３５）。四番目に、装置（遠隔地）では受信した情報を基にドキュメントを操作・加工する（ステップＳＴ３６，３７）。これにより、コミュニケーション装置は、タッチスクリーンから送られてくるデータを利用し、スクリーンに投影するデータに対する、複数本の指、両手を使った操作・加工を可能とする。

図２３は、コミュニケーション装置および遠隔地の他のコミュニケーション装置における、タッチスクリーンから送られてくるデータを利用し、スクリーンに投影するデータを、複数人で同時に操作・可能とする動作の一例を示す図である。最初に、装置１にてタッチセンサーより作業者の操作情報を入力する（ステップＳＴ３８）。二番目に、装置１にて入力された操作情報を他の装置（遠隔地）へ送信する（ステップＳＴ３９）。三番目に、装置１にて入力された情報を基にドキュメントを操作・加工する（ステップＳＴ４０，４１）。四番目に、装置（遠隔地）では受信した情報を基にドキュメントを操作・加工する（ステップＳＴ４２，４３）。これにより、コミュニケーション装置は、タッチスクリーンから送られてくるデータを利用し、スクリーンに投影するデータを、複数人で同時に操作・可能とする。

図２４は、コミュニケーション装置および遠隔地の他のコミュニケーション装置における、加工したデータを作業装置または外部記憶装置に保存可能とする動作の一例を示す図である。最初に、それぞれの装置にて作業者より保存に関する情報を入力する（ステップＳＴ４４）。二番目に、コミュニケーション装置は、入力された情報を基に該当データを作業装置または外部記憶装置に保存する（ステップＳＴ４５）。これにより、コミュニケーション装置は、加工したデータを作業装置または外部記憶装置に保存可能とする。

以上のように、この実施の形態３のコミュニケーション装置は、会議で配布する書類を参加者の目の前でスキャンデスク１７に載せてキャプチャカメラ１８で撮像して電子化し、マイクロコンピュータ２がその撮像画像から書類の画像を切り出し、テーブルの画像投影表示部４ａに実寸（リアルサイズ）で表示する。また、書類の切り出し画像は、距離センサ６などで検知された複数の参加者のそれぞれの前に、１対１対応で正対して表示される。書類の切り出し画像は、実物の下側が、画像投影表示部４ａの外周側となる向きで、各参加者の前に表示される。

したがって、テーブルの周りに座る人は、画像投影表示部４ａに表示される実物の画像を見たとき、その画像を実物そのものであるかのように感じる。また、参加者は、各自に実物が配布されたかのように感じる。各参加者は、撮像により電子化される書類の画像に対して、それが書類そのものであるとの臨場感を持つ。同様に、遠隔地において会議に参加する人も、表示される書類の画像が配られたものであるかのように臨場感を持つ。なお、書類以外にも、たとえば製品などのオブジェクトを撮像した場合であっても、各参加者は、そのオブジェクトの画像を臨場感を持って閲覧することになる。

特に、マイクロコンピュータ２は、キャプチャカメラ１８により撮像される画像における実物の寸法が、その画像をそのまま画像投影表示部４ａに表示した場合において実寸となる解像度を指定して、キャプチャカメラ１８に画像の読み取りを指示する。また、マイクロコンピュータ２は、キャプチャカメラ１８が撮像した画像から、実物の画像を切り出して表示画像に使用する。したがって、マイクロコンピュータ２は、キャプチャカメラ１８により撮像された画像を拡大したり縮小したりすることなく、実物の画像を切り出すだけで、実物の画像を生成することができる。会議の参加者がスキャンデスク１７にて実物を撮像したら直ちに画像投影表示部４ａにその実物の画像が表示される。たとえば実物としての書類を配布する場合と同等の短い時間で、待ち時間などによる違和感を与えることなく、実寸の実物の画像を提供することができる。

コミュニケーション装置は、電子化された書類の表示に対する参加者の操作を検出し、その操作に応じて書類を拡縮表示したり、書類に重ねてマーキングを表示したりする。コミュニケーション装置は、会議の進行で使用しなくなった書類を無操作期間により検出してクリーンアップする。コミュニケーション装置は、会議の進行を記録した動画および音声を議事録ファイルとして記録する。コミュニケーション装置は、議事録ファイルと会議で電子化した画像ファイルとを、メモリ付きのＲＦＩＤタグやＵＳＢメモリに保存し、各参加者に持ち帰らせることができる。コミュニケーション装置は、その記憶手段に議事録ファイルおよび電子化した書類の画像ファイルを記憶し、後からそれらを読み出してタイムライン表示する。

このようなコミュニケーション装置を用いて会議を実行することで、会議の参加者は、従来の書面を配布する会議と同等の間隔で違和感無く会議に参加し、話し合うことができる。会議の参加者は、遠隔地において会議に参加することができる。また、議事録などの作成に追われることなく会議に参加することができ、建設的な会議を実施することができる。コミュニケーション装置は、会議としての臨場感を損なうことなく、会議をより建設的なものとすることができる。会議を支援する環境を提供することができる。

また、このようなコミュニケーション装置を用いることで、会議に参加する必要がある者において、距離的な差や時間的な差がある場合であっても、会議で使用した情報の共有が可能となる。会議において使用したオブジェクトなどの物理的な形態を持っているものであっても、それを撮像したイメージとして情報の共有が可能となる。

そして、コミュニケーション装置は、その場でキャプチャ、リアルサイズでのオペレーションを実現できる。つまり、コミュニケーション装置は、スキャンデスクの使用により、リアルデータも瞬時にキャプチャし、ドキュメントのリアルサイズでの確認が可能となる。これまでの会議や共同作業の場では、文章のコピーや配布、協議箇所の確認などに長い時間を要している。このコミュニケーション装置は、これらの作業をリアルタイムに実現し、時間を短縮し、作業内容をシンプルにすることができる。

また、コミュニケーション装置は、ドキュメント共有による遠隔会議を実現できる。つまり、コミュニケーション装置を用いることで、ドキュメントを手元で確認しながら、リアルタイムに共有することが可能となる。遠隔での会議の場では、ドキュメントやイメージの共有は難しく、事前の資料作成や配布が必要である。このコミュニケーション装置は、その場での文書配布や協議しながら重要な箇所のマーキングが可能である。

また、コミュニケーション装置は、参加者をリアルタイムに自動認識できる。つまり、コミュニケーション装置は、参加者のポジションを瞬時に確認し、ドキュメントを自動的に配布する。このコミュニケーション装置は、会議や共同作業の参加者をリアルタイムに確認し、参加者の入退出による会議や共同作業を中断することなく進めることができる。

また、コミュニケーション装置は、臨場感あふれる共同作業環境を提供することができる。つまり、コミュニケーション装置は、ドキュメントのリアルタイムな編集作業やブレーンストーミングを可能とする。遠隔作業の場では、プレゼンテーションのＯＨＰやＰＣ画面が分断されて、十分なコミュニケーションを促すものではない。このコミュニケーション装置は、ウェブカメラ、ビデオモニタなどによりリアルタイムに遠隔の参加者の表情と手元を確認しながら、迅速な会議が可能となる。

以上の各実施の形態は、本発明の好適な実施の形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形、変更が可能である。

たとえば、上記実施の形態３では、キャプチャカメラ１８で書類を撮像すると、その書類の画像を各参加者の前に表示している。この他にもたとえば、マイクロコンピュータ２は、キャプチャカメラ１８で書類を撮像したときには、その撮像画像に基づく実物の画像を１つだけ割り付けた表示画像を生成し、その後に、その表示する実物の画像に対して所定の配布操作がなされた後に、人を検出している位置と１対１に対応した複数の実物の画像を割り付けた表示画像を生成するようにしてもよい。この変形例の場合、表示部材に表示される１つの実物の画像に対する所定の配布操作を、各参加人に書類の実寸の画像を正対させて提供する処理と関連付けることができる。したがって、書類などの実寸の画像を各参加者に提供する際に、人の配布動作を付加することができ、単に書類を配布する動作に比べて高い臨場感を持たせることができる。

この他にもたとえば、上記実施の形態３では、マイクロコンピュータ２は、検出した人数分の切り出し画像を、表示画像に割り付けている。この他にもたとえば、マイクロコンピュータ２は、電子化される実物の大きさと画像投影表示部４ａの大きさとの関係を判断し、検出した人数分の切り出し画像を実寸で割り付けた場合に互いに画像が重なり合うことなく表示することができないと判断した場合には、実物の画像を１つ割り付けた表示画像を生成するようにしてもよい。これにより、たとえば大きな書類の画像も実寸で提供し、その画像に臨場感を持たせることができる。

本発明は、会議、打ち合わせなどで用いることができる。

図１は、Ｌｅｇｉｂｌｅ Ｄｅｓｉｇｎ Ｓｙｓｔｅｍを示す斜視図である。 図２は、Ｌｅｇｉｂｌｅ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｓｙｓｔｅｍのプロトタイプモデル（本発明の実施の形態１に係るコミュニケーション装置）を示す斜視図である。 図３は、本発明の実施の形態１に係るコミュニケーション装置の概念図である。 図４は、テーブルの表示画面（Ｔｉｍｅ−ｌｉｎｅ Ｖｉｓｕａｌｉｚａｔｉｏｎの画面）の一例を示す図である。 図５は、タイムラインが枝分かれしているテーブルの表示画面（Ｔｈｕｍｂｎａｉｌ ａｎｄ Ｂｒａｎｃｈｉｎｇ画面）の一例を示す図である。 図６は、本発明の実施の形態２に係るコミュニケーション装置を示す図である。 図７は、本発明の実施の形態３に係るコミュニケーション装置を示す概略断面図である。 図８は、図７のコミュニケーション装置の平面図である。 図９は、図７のコミュニケーション装置の正面図である。 図１０は、図７のコミュニケーション装置の背面図である。 図１１は、図７のコミュニケーション装置の右側面図である。 図１２は、図７のコミュニケーション装置の使用状態を示す概要参考図である。 図１３は、図７のコミュニケーション装置の概略斜視図である。 図７のコミュニケーション装置における遠隔地ドキュメント変更処理を示すフローチャートである。 図７のコミュニケーション装置におけるドキュメントの遠隔地送信処理を示すフローチャートである。 図７のコミュニケーション装置における映像音声の遠隔地再生処理を示すフローチャートである。 図７のコミュニケーション装置における保存処理を示すフローチャートである。 図７のコミュニケーション装置における議事録再生処理を示すフローチャートである。 図７のコミュニケーション装置における作業者位置検出処理を示すフローチャートである。 図７のコミュニケーション装置におけるドキュメントキャプチャ処理を示すフローチャートである。 図７のコミュニケーション装置におけるデータ変換処理を示すフローチャートである。 図７のコミュニケーション装置における実物大のドキュメントに対する実物操作を示すフローチャートである。 図７のコミュニケーション装置における実物大のドキュメントに対する複数人での実物操作を示すフローチャートである。 図７のコミュニケーション装置における加工したデータの保存処理を示すフローチャートである。

符号の説明

１ 装置本体
２ パーソナルコンピュータ（制御手段、記憶手段）
３ プロジェクタ（表示部材の一部）
４ テーブル天板
４ａ 画像投影表示部（表示部材の一部）
４ｂ テーブルフレーム
５ タッチセンサー（多点認識タッチセンサー、操作検出部材）
６ 距離センサ（人検出手段）
７ 人感センサまたはＲＦＩＤリーダ（人検出手段）
８ マイク付きカメラ（周辺撮像部材）
９ ＵＳＢ接続
１０ タッチセンサー基盤
１１ 距離・人感センサ基盤
１２ カウンター天板
１３ 通信手段（外部通信部材）
１４ 電源コード
１５ アジャスター・キャスター
１６ 軸組み脚
１７ スキャンデスク（読取台）
１８ キャプチャカメラ（実物撮像部材）
１９ メンテナンス用扉
２０ 反射ミラー（表示部材の一部）
３１ キャプチャカメラ（実物撮像部材）
３２ キャプチャ領域（読取台）
３３ ビデオカメラ（周辺撮像部材）
３５ ディスプレイ領域（表示部材の表示領域）
４１ コンピュータ（制御手段）
４２ プロジェクタ（表示部材の一部）
４３ タッチスクリーン（表示部材の一部）
４４ カメラ（実物撮像部材）
４５ カメラもしくは距離センサ（人検出手段）
４７ 通信手段（通信部材）

Claims (9)

1. 書類などの実物が載置される読取台と、
   前記読取台に載置された前記実物を撮像する実物撮像部材と、
   前記実物撮像部材により撮像された実物の画像を、前記実物と同じ寸法にて表示する表示画像を生成する制御手段と、
   前記制御手段により生成された前記表示画像を表示し、前記表示画像を表示する表示領域を、二人以上の人が囲んで同時に閲覧可能であるテーブル型の表示部材と、
   前記表示部材の周囲にいる人の位置を検出する人検出手段と
   を有し、
   前記制御手段は、前記実物撮像部材に撮像された画像から切り出した前記実物の画像を、その切り出した画像における実物の下側が前記表示部材の表示領域の外周側となる向きで、人を検出している位置と１対１の対応にて、検出した人数分の前記実物の画像を割り付けること、
   を特徴とする実寸表示装置。
2. 前記制御手段は、前記実物撮像部材により撮像された画像を前記表示部材に表示した場合に、前記実物の画像の寸法が前記実物の寸法となる解像度を指定して、前記実物撮像部材に撮像を指示し、且つ、前記実物撮像部材により撮像された画像から前記実物の画像を切り出して、前記表示画像を生成することを特徴とする請求項１記載の実寸表示装置。
3. 前記人検出手段は、前記表示部材の周囲に外向きに配設された複数の距離センサ、前記表示部材の周囲に間隔をあけて配設された複数のＵＳＢコネクタ、前記表示部材の外周を複数の区画に分割したときの各区画内のＩＤタグと無線通信する複数のタグ通信部材、あるいは、前記表示部材の周囲を撮像する撮像部材を有することを特徴とする請求項１記載の実寸表示装置。
4. 前記制御手段は、前記実物撮像部材により撮像したときには前記実物の画像を１つ割り付けた表示画像を生成し、その表示画像により表示される前記実物の画像に対して所定の配布操作がなされた後に、人を検出している位置と１対１の対応にて前記実物の画像を割り付けた表示画像を生成することを特徴とする請求項１から３の中のいずれか１項記載の実寸表示装置。
5. 前記制御手段は、前記実物の画像を複数個割り付ける表示画像を生成する際に、前記実物の大きさと前記表示部材の表示領域との関係を判断し、その複数個の前記実物の画像を実寸で割り付けた場合に互いに画像が重なり合うことなく表示することができないと判断した場合には、前記実物の画像を１つ割り付けた表示画像を生成することを特徴とする請求項１から４の中のいずれか１項記載の実寸表示装置。
6. 前記実物の画像を記憶する記憶手段と、
   前記表示部材において前記表示画像が表示される表示領域に対する操作を検出する操作検出部材と、をさらに有し、
   前記制御手段は、前記検出手段の操作検出に基づいて、前記記憶手段に記憶される前記実物の画像を用いて新たな表示画像を生成するとともに、前記操作検出部材により前記表示部材に表示させている１つの割り付け画像に対して所定の書込み操作が検出されたら、前記表示画像に割り付けられているその操作対象の画像と同じ画像をすべて、前記書込み操作を反映した画像へ更新すること、
   を特徴とする請求項１記載の実寸表示装置。
7. 他の表示装置との間でデータの送受信をする外部通信部材と、
   前記表示部材において前記表示画像が表示される表示領域に対する操作を検出する操作検出部材と
   をさらに有し、
   前記制御手段は、前記表示画像に前記実物の画像などの画像を割り付けるときに、その割り付ける画像を前記他の表示装置に表示させるために、その割り付ける画像のデータを前記外部通信部材に送信させるとともに、前記表示部材に表示される前記実物の画像などの割り付け画像に対する所定の選択操作後に前記表示領域内に設定される遠隔地への送信領域内の所定の操作を検出したら、その選択された割付画像のデータを前記他の表示装置に表示させるために、前記外部通信部材に送信させること、
   を特徴とする請求項１記載の実寸表示装置。
8. 前記制御手段は、前記遠隔地への送信領域を、前記外部通信部材とデータを送受する前記他の表示装置毎に、前記他の表示装置を使用する者毎に、あるいは、それらの組み合わせで、設定する
   ことを特徴とする請求項７記載の実寸表示装置。
9. 当該実寸表示装置およびその周辺を撮像する周辺撮像部材と、
   他の表示装置が設置される遠隔地の撮像画像を表示する、前記表示装置の表示領域の一辺に沿って配設される遠隔地モニタと、を有し、
   前記制御手段は、上記周辺撮像部材により撮像された画像を上記他の表示装置に表示させるために、その撮像画像のデータを前記外部通信部材に送信させ、前記外部通信部材が前記他の表示装置から受信する前記他の表示装置の周辺の画像を上記遠隔地モニタに表示させるとともに、前記遠隔地への送信領域を、前記一辺に沿って設定すること、
   を特徴とする請求項７または８項記載の実寸表示装置。