JP4340135B2 - 画像表示方法及び画像表示装置 - Google Patents

Description

本発明は、物体の識別情報及び移動情報に応じて情報機器やロボットなどの装置にコマンドを入力したり表示画像を操作することや、投影画像が表示される表示画面上に載置した物体を操作したり、表示画面にマーカ等を用いて描画することにより、投影画像に対してそれらの物体や描画に応じた変化が与えられる仕組みを構築し、マン・マシン・インタフェースを向上させたコマンド入力方法、画像表示方法及び画像表示装置に関する。

今日、コンピュータをはじめとする情報機器の高度化、多様化は目覚しいものがあり、情報機器を用いたさまざまシステムが開発、導入されている。しかしながら、そのようなシステムが普及すればするほど、それらシステム全体の機能的、かつ効率的なオペレーションの重要性が増大しつつある。そのため、システムを操作する人間と、システムを構成するコンピュータなどの情報機器の特性を考慮した調和のとれた、人間との親和性の高いシステムの構築が不可欠となっている。特に、人間と機械とが協力して複雑な仕事を効率的に処理するマンマシンシステムなどにおいては、ユーザインタフェース、特に入出力機器の操作性が重要な要素になっている。

すなわち、人間がその感覚器を用いて知覚可能な情報による外部表現としての出力インタフェース、および人間がその手や体を用いて情報を操作可能にするための制御機構としての入力インタフェースが重要であるとされる。

今日、ＧＵＩ（グラフィカルユーザインタフェース）に対しマウスなどを用いたインタラクションが盛んに採用されている。しかしながら、それらＧＵＩは、視覚、聴覚によるインタラクションであって、間接的な操作であり、直接的な操作性を高めるためには個々の情報特有な触覚的なフィードバックが必要であるという思想の下、「情報と物理世界を融合するタンジブル・ユーザ・インタフェース（Ｔａｎｇｉｂｌｅ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）」が提唱されている。ＴＵＩにおいては、Ｔａｎｇｉｂｌｅ ｂｉｔと称する物体による操作を可能にする仕組みが設けられている（非特許文献１参照）。

また、Ｓｅｎｓｅ Ｔａｂｌｅと称する表示画面上に複数のワイヤレスな物体の位置と方向を電磁的に探知するシステムについて紹介し、さらに探知方法に関し、例えばコンピュータビジョンを導入した２つの改良例についても紹介されている。改良例の１つは、光の吸収や変化に反応することなく迅速かつ正確に物体を探知するシステムであり、他の改良例は、探知された物体がその状態を修正可能にする物理的なダイアルと修正器を備えたシステムである。なお、システムは、変化をリアルタイムに検出することができるようになっている（非特許文献２参照。）
そのほか、液晶プロジェクタの表示画面に画像を投影し、その表示画面の上方に設けたカメラでその表示画面上に置かれた物体や手を認識するようにしたシステムも開示されている。

一方、仮想空間内のＣＧ（コンピュータグラフィックス）で表されたモデル（仮想物体）の動きや形状を、認識対象の動きや位置などの情報を基に制御するバーチャル・リアリティーに関する技術開発が、映画や放送などの分野で盛んに行われている。

しかしながら、仮想空間による臨場感を高めるためには特殊なウエアやジョイスティックなどの特殊な装置が必要となる上、仮想空間内の物体を制御して違和感なく仮想物体との融合を図るまでにはいたっていない。そこで、認識対象の位置と方向に関する情報を抽出し、その抽出された情報に基づいて、認識対象に対応する仮想空間内の制御対象を制御する技術が開示されている（特許文献１）。

また、一般事業所においては、意思決定やアイデンティティー獲得を目的とする会議などの場において、プロジェクタや電子黒板などの投影型表示装置を用いて視覚に訴える方法が盛んに用いられている。しかしながら、ＴＰＯ（Ｔｉｍｅ Ｐｌａｃｅ Ｏｃｃａｔｉｏｎ）に応じて、表示された画像に重畳させて文字や絵などを書き加えることや、書き加えられた文字などを電子データとして取り込む機能が必要であるとの根強い要望がある。

このため、投影画像が表示される投影面に画像を書き込むことができる上、その書き込まれた画像を撮影する撮影部や元の画像に書き加えた画像を元の画像と合成する合成手段を設けたものがある（特許文献２参照）。
特開２０００−２０１９３号公報 特開２００３−１４３３４８号公報 「タンジブル・ビット：石井 裕」ＩＰＳＪ Ｍａｇａｚｉｎｅ Ｖｏｌ．４３Ｎｏ．３ Ｍａｒ．２００２ 「Ｓｅｎｓｅｔａｂｌｅ：Ｊａｍｅｓ Ｐａｔｔｅｎ，Ｈｉｒｏｓｉ Ｉｓｈｉｉ，ｅｔｃ．」ＣＨＩ２００１，Ｍａｒ．３１−Ａｐｒｉｌ５２００１，ＡＣＭ Ｐｒｅｓｓ

しかしながら、文献１に開示された技術では、仮想空間内に動きのある対象物を表示させるためには、表示させたい現実の認識対象物を準備して、その現実の認識対象物を仮想空間内の対象物に与えたい動き通りに実際に動かしてやる必要がある。また、文献２に開示された技術では、投影面に書き込んだ画像そのものを表示することや、電子データとして保存することはできるが、投影されている画像を書き込んだ画像で操作することまではできない。

本発明は、上記事情に鑑み、現実の認識対象物を準備する煩わしさを回避することができる上、物体の識別情報及び移動情報に応じて装置や表示画像を操作するコマンド入力を可能にしたり、キーボードによるコマンド投入や、マウスによるメニュー選択を行うなどの煩わしい操作をすることなく、表示画面に所定形状を有する物体を置いて、人がその物体を移動させるだけの簡単な操作により、表示画面に表示された画像を操ることが可能な、コマンド入力方法、画像表示方法及び画像表示装置を提供することを目的とする。

上記の目的を達成する本発明のコマンド入力方法は、物体の識別情報及び移動情報を取得し、取得された情報に応じて所定の装置にコマンドを入力することを特徴とする。

このように物体の識別情報及び移動情報に応じて装置にコマンドが入力されるので煩わしい操作が不要となる。

上記の目的を達成する本発明のコマンド入力方法は、物体を撮影し、取得された該物体の識別情報及び移動情報に応じて所定の装置にコマンドを入力することを特徴とする。

このように物体を撮影することにより得られた識別情報及び移動情報に応じて装置にコマンドが入力されるので操作が簡単になる。

上記の目的を達成する本発明の画像表示方法は、物体を撮影し、取得された該物体の識別情報及び移動情報に応じて表示画面に表示される画像を操作することを特徴とする。

このように物体を撮影することにより得られた識別情報及び移動情報に応じて装置にコマンドが入力されるので表示画面に表示される画像を簡単に操ることが可能になる。

上記の目的を達成する本発明の画像表示方法は、裏面側から所定の投影画像が投影される投影面と、前記投影面の表面側に設けられ、透明な部材よりなる描画可能な書き込み面とを備える画像形成装置における画像表示方法であって、前記投影面に投影される所定の投影画像を形成する投影画像形成段階と、前記書き込み面に書き込まれた書き込み画像と、前記書き込み面上に載置され、底面に識別子を付した物体とを前記裏面側から撮像して撮像データを取得する撮像段階と、前記撮像データに基づいて、前記物体の識別子を抽出する物体領域抽出段階と、抽出された前記識別子に基づいて、前記物体の識別情報および前記物体の方向に関する情報を取得する物体認識段階と、前記撮像データに基づいて、前記書き込み面に書き込まれた線図の撮像データを抽出する線図抽出段階と、抽出された前記線図の撮像データに基づいて、前記書き込まれた線図に対応する線図情報を取得する線図処理段階と、前記物体の識別情報および前記物体の方向に関する情報と、前記線図情報とに基づいて前記投影画像形成段階により形成された投影画像を操作する操作処理段階と、を有することを特徴とする。

このように、表示画面に画像を表示する一方、表示画面上に固有の情報を与えた物体を載せ、人がその物体を操作すると、その物体を裏面側から撮影して、その物体の固有の情報や動きの情報が伝達され、その伝達された情報により表示された画像を操作し、変化させることができるので、画像操作に臨場感を与えつつ表示画面に表示される画像を簡単に操ることが可能になる。

上記の目的を達成する本発明の画像表示装置は、裏面側から所定の投影画像が投影される投影面と、前記投影面の表面側に設けられ、透明な部材よりなる描画可能な書き込み面と、前記投影面に投影される所定の投影画像を形成する投影画像形成部と、前記書き込み面に書き込まれた書き込み画像と、前記書き込み面上に載置され、底面に識別子を付した物体とを前記裏面側から撮像して撮像データを取得する撮像部と、前記撮像データに基づいて、前記物体の識別子を抽出する物体領域抽出部と、抽出された前記識別子に基づいて、前記物体の識別情報および前記物体の方向に関する情報を取得する物体認識部と、前記撮像データに基づいて、前記書き込み面に書き込まれた線図の撮像データを抽出する線図抽出部と、抽出された前記線図の撮像データに基づいて、前記書き込まれた線図に対応する線図情報を取得する線図処理部と、前記物体の識別情報および前記物体の方向に関する情報と、前記線図情報とに基づいて前記投影画像形成部が形成する投影画像を操作する操作処理部と、を備えることを特徴とする。

このように、表示画面の裏面から画像を投影するので、表面側に人手による線図などを描画することが可能になり、また、物体の底面や底面に付された識別子により識別情報や移動情報を取得し、取得した情報に基づいて投影画像を操作し、変化させることができるので、画像操作に臨場感を与えつつ表示画面に表示される画像を簡単に操ることが可能になる。

本発明のコマンド入力方法、画像表示方法及び画像表示装置によれば、物体の形状や移動ベクトルによってロボットや情報機器などの装置に所定の指令を簡単操作で送ることが可能となる。また表示画面に載置したり、移動させる物体の底面に、コマンドに代わる、固有の意義を有する識別子が付されており、物体の底面や識別子を認識すること、物体の移動ベクトルを認識して所定の情報を得ることができる上、得られら情報を伝達することにより表示画面に投影される画像に新たな画像を加えたり、投影される画像にアクションを加えることができる。また、表示画面に人手により描画された線図に、コマンドに代わる、固有の意義を与えることにより、線図を、物体の底面や識別子の補助的手段として用いることもできる。したがって、表示画面に置かれた所定の物体を人手で動かすや線図をマーカなどで描画することにより、表示画面に表示される投影画像を、臨場感を与えつつ簡単に繰ることが可能になり、操作性が著しく向上する。

以下に、本発明のコマンド入力方法、及び画像表示方法を使用した、本発明の画像表示装置の実施形態について説明する。
（第１の実施形態）
図１及び図２は、本発明の画像表示装置の第１の実施形態を示す概略図であり、図１は概略斜視図、図２は概略断面図である。

図１に示すように、第１の実施形態の画像表示装置は、矩形の平面部１０を有し、デスク状の表示部１と、図示しない本体部２とを備えている。

表示部１は、矩形の平面部１０の中央部分に、内部から投影された画像が表示される矩形のスクリーン（本発明の表示画面に相当する。）１１を備えている。

図２に示すように、画像表示装置の表示部１は、中央部分にスクリーン１１がはめ込まれた平面部１０と、平面部１０を支える筐体１２と、筐体１２内に設けられ、スクリーン１１に画像を投影するプロジェクタ１３と、スクリーン１１の裏面側全体が視野角１４ａとなる位置に配置され、スクリーン１１を裏面側から撮影するＣＣＤカメラ（本発明の撮像部に相当する。）１４とを備えている。そして筐体１２内に配置されたＣＣＤカメラ１４と図示しない本体部（物体領域抽出部）２とはコードで接続され、筐体１２内に配置されたプロジェクタ１３と図示しない本体部（投影画像形成部）とは光学的に結合されている。

スクリーン１１は、２重構造をなし、スクリーンの裏面側には投影画像が投影される投影面１１ａが設けられ、スクリーンの表面側には水性ペンやホワイトボード用マーカなどを用いて描画可能な書き込み面１１ｂが設けられ、投影面１１ａと書き込み面１１ｂとは密着させて一体化されている。書き込み面１１ｂ及び投影面１１ａはともに透明であるが、投影面１１ａの書き込み面１１ｂと密着する側の表面には微小な凹凸が設けてあり、投影面１１ａに画像が投影されると、その光はわずかに散乱して透過するので、書き込み面１１ｂが設けられたスクリーン１１表面側の上方の、いろいろな角度からその投影された画像を視認することができるように構成されている。

ここで、書き込み面１１ｂの表面には傷が付きにくいように、透明保護シートを被覆することにしてもよく、また透明な塗料などによりコーテイングすることにしてもよい。

本体部２は、ＣＣＤカメラ１４で撮影された物体の底面の撮像を認識して物体の情報（識別情報および移動情報のうちの何れか一方または双方）を取得し、取得された情報に応じてプロジェクタ１３からスクリーン１１の裏面側に投影される投影画像を操作することができる。

ここで、本体部２は、本実施形態の画像表示装置専用に作成されたものであっても、パーソナルコンピュータに所定のソフトウエアがインストールされたものであってもよく、さらに、筐体１２内に配置されたものであってもよい。

プロジェクタ１３は、反射ミラーやビームスプリッターなどの光学系により本体部２のディスプレイと結合され、本体部２で形成された所望の画像をスクリーン１１の投影面１１ａに投影することができる。

ＣＣＤカメラ１４は、例えばＵＳＢ（ユニバーサル・シリアル・バス）インタフェースを介して本体部２にコードで接続され、スクリーン１１の表面側、すなわち書き込み面１１ａに載置された物体や描画された図形などをスクリーン１１の裏面側、すなわち投影面１１ａ側から所定の時間間隔で連続撮影し、撮像データを得ることができる。

次に、本実施形態の画像表示装置の作用について説明する。

本体部２で形成された画像は、プロジェクタ１３によってスクリーン１１の裏面側に投影され、スクリーン１１の表面側にいる人は、その投影された画像を視認することができる。

また、物体の底面に、予めパターンが登録された識別コード（例えば、形状とサイズにより識別されるマーク）を付し、その物体をスクリーン１１の表面側に載置すると、スクリーン１１を介して裏面側からその底面に付された識別コードをＣＣＤカメラ１４で撮影することができる。ＣＣＤカメラ１４で撮影された識別コードの撮像データは本体部２に送られる。

本体部２では、送られた撮像データから、物体が置かれた位置及び物体の識別情報を取得することができる。本体部２には、いろいろな方向を向いた識別コードが撮影された撮像データがパターン認識用辞書として登録されているので、送られた撮像データとそのパターン認識用辞書とを対比して識別コードをパターン認識することができる。識別コードには、コンテンツを構成する素材やその素材の動きの情報をくくりつけておくことができる。また、物体を人が移動させたときは、連続撮影された撮像データからその物体の移動ベクトルを求め、スクリーンに投影されている画像にその移動ベクトルに応じた動きを与えることもできる。

図３は、本実施形態の画像表示装置の本体部を示す図である。

図３に示すように、本体部２は、ＣＣＤカメラ１４とのインタフェースを有し、ＣＣＤカメラ１４で撮影された撮像の撮像データを２値化し、物体が載置されたスクリーン１１上の位置、底面の輪郭および識別コードの情報を抽出する物体領域抽出部２１と、プロジェクタ１３とのインタフェースを有し、プロジェクタ１３によりスクリーン１１の裏面側から投影される画像を、所定のアプリケーション・プログラム２４ａに従って形成する投影画像形成部２４と、物体領域抽出部２１により抽出された識別コードの情報を、予めメモリに記憶された、パターン認識用辞書とパターンマッチングを行い、その物体の識別情報及び物体の方向に関する情報を得る物体認識部２２と、物体認識部２２で得た識別情報及び物体の方向に関する情報に基づいて、投影画像形成部２４で所定のアプリケーション・プログラム２４ａに基づいて形成される画像に新たなコンテンツやアクションを加えてプロジェクタから投影される画像を操作する操作処理部２３とを備えている。

投影画像形成部２４は、アプリケーション・プログラム２４ａに従って形成された画像をプロジェクタ１３に送り、プロジェクタ１３は、スクリーン１１の裏面側にその画像を投影する。
投影された画像は、スクリーン１１の表面側から視認することができるので、その画像を視認した人が、そのスクリーン１１の表面側に予め準備された複数の物体を載置する。

ＣＣＤカメラ１４は、その複数の物体の底面を撮影して撮像データを得る。その物体の底面には、識別コードが付されており、撮像データにはその識別コードの情報が含まれている。

物体領域抽出部２１は、その撮像データを解析して物体の配置位置、底面の輪郭および識別コードの情報を抽出する。そして、抽出された情報は、物体認識部２２に送られる。このとき、物体の底面の輪郭の情報は、投影画像形成部２４にも送られる。投影画像形成部２４は、その情報により物体がスクリーン１１上に載せられたことを検出することができるので、投影面１１ａの、その物体の底面を含む領域が一様に白くなるような光画像を所定の時間間隔でプロジェクタ１３に送る。

このように物体の底面を含む領域が一様に白くなるような光画像が投影されることにより、ＣＣＤカメラ１４により撮像された撮像データは、２値化されたときに物体の底面の輪郭や識別コードの情報をより鮮明に捉えることができる。

物体認識部２２は、物体領域抽出部２１により抽出された識別コードにより、パターン認識用辞書を用いて物体の識別情報を取得することができるので、その識別情報に応じた所定のデータを操作処理部２３に送る。操作処理部２３は、その送られたデータをアプリケーション・プログラム２４ａに加え、投影画像形成部２４により形成される画像を操作する。

ここで、「画像を操作する」とは、スクリーン１１にすでに投影されている画像に、物体の識別コードに応じた新たな画像を重畳させることや、新たな画像を単独で表示させること、又はスクリーン１１に載せた物体を人手で移動させたときに、その物体の動きを認識した移動情報に応じてスクリーン１１にすでに投影されている画像に動きを与えることを意味する。具体的には、操作処理部２３からコンテンツの素材データ及びアクションデータを投影画像形成部２４に送り、投影画像形成部２４におけるアプリケーション・プログラム２４ａにそれらのデータを加えることにより、識別コードに対応する新たな物体の画像が重畳され、あるいは、すでに形成されている画像に、物体を人手で移動させた物体の軌跡に応じた動きが与えられる。

図４は、物体の底面に付された識別コードの例を示す図である。

図４に示すように、物体の底面５は、物体がスクリーン１１の表面側、すなわち書き込み面１１ｂ上に載置されたことが容易に検出することができるような輪郭５ａ、例えば閉じた形状となる円形をなし、その輪郭５ａの内側に識別コード６が配置されている。ただし、例えば図４（ａ）に９つの小方形からなる方形が識別コード６になっているときは、その識別コード６が回転したときに、ＣＣＤカメラ１４による撮像データによって同一被写体と認識される関係にある、図４（ｂ）に示すような３種類の形状（例えば、９つの小方形からなる方形６ａ、５つの小方形を交互に配置した図形６ｂ、３つの小方形を直列に配置した矩形を平行に配置した図形６ｃは、識別コードに採用することができない。また、図４（ｃ）に示す６つの小方形からなる矩形と直線とからなる２種類の図形６ｄ，６ｅのように、それぞれの物体が回転したときにＣＣＤカメラ１４による撮像データによって同一被写体と認識される関係にあるものも識別コードとして採用することができない。

図５は、ＣＣＤカメラ（本発明の撮像部）により撮影された本実施形態の物体の底面の一例を示す模式図である。

図５（ａ）は、スクリーンの表面側に物体を載置したときの物体の底面を撮影した撮像を示す図であり、図５（ｂ）は、スクリーンの投影面全体が白くなるようにして物体の「底面」５を撮影した撮像を示す図であり、図５（ｃ）は、スクリーンの表面側に物体を載置するとともに、書き込み面に「線（矢印）」を描画したときの物体の「底面」５および「線」７を撮影した撮像を示す図であり、図５（ｄ）は、スクリーンの投影面全体が白くなるようにして物体の「底面」５および「線」７を撮影した撮像を示す図である。

ここで、本例では、ロッドインテグレータを光源に採用したプロジェクタを用いているので、スクリーンの投影面全体を白くして撮影したときは、ハイライト部に「矩形の黒」８が表示される。ただし、「底面」５および「線」７とは十分濃度差があり、「底面」５および「線」７をそれぞれ認識可能である。

このように、スクリーンの投影面を一時的に白くすると、スクリーンの表面側に載せられた物体の底面を確実に捉えることができる。

図６は、図５（ｂ）において、スクリーンの投影面全体が白くなるようにして物体の底面を撮影して得た撮像データを、所定の閾値で２値化した後に表示された「底面」５を示す図である。

図６に示すように、撮像データを所定の閾値で２値化すると、例えばロッドインテグレータを光源に採用したプロジェクタを用いることにより表示されるハイライト部の矩形の黒部分やその他のノイズをカットすることができるので、底面の輪郭と位置を正確に捉えることができる。

図７は、撮像データに、文字切り出し技術を適用した例を示す模式図である。

図７に示すように、撮像データをＸ方向に射影したＸ方向濃度ヒストグラム５０とＹ方向に射影したＹ方向濃度ヒストグラム５１を作成し、物体が載置された底面の位置、輪郭および識別コードを捉えることができる。

図６及び図７では物体が静止した状態を示しているが、プロジェクタ１３から所定の時間ごとにスクリーン１１の投影面１１ａ全体あるいは所定領域を白くして、ＣＣＤカメラ１４で撮影し、各時間毎に得られた撮像データの差分を求めることや、物体の底面の各点の移動ベクトルを求めることなどの周知の方法を用いて、物体が移動する時の移動情報を得ることもできる。

ここで、移動する物体の底面を、一定の時間毎に投影面１１ａの所定領域を白くしてＣＣＤカメラ１４で撮影すると、残光などによりちらつきが目立つ場合がある。その場合には、投影面１１ａを白くする前に、通常の画像が表示された状態における撮像データによって物体の位置を検出し、物体が検出された後に投影面１１ａ全体を一定時間白くして撮影することや、物体が存在する領域のみを継続的に白くして撮影することによって対処することが可能である。

図８は、物体認識部の詳細を示す図である。

図８に示すように、物体認識部は、物体領域抽出部２１から、物体の配置位置、底面の輪郭および識別コードの情報を受け取り、例えばテンプレートマッチングを用いて物体の識別情報と物体の方向に関する情報を得るパターン照合部２２ａと、いろいろな方向を向いた識別コードの撮像データを記録し、各撮像データと識別コードにより表される識別情報とを対応させたパターン認識用辞書を用意し、パターン照合部２２ａにおけるパターンマッチングに用いるパターン認識用辞書２２ｂと、所定の時間間隔で所得された撮像データに基づいて物体の移動方向を演算する方向演算部２２ｃとを備えている。

ここで、パターン認識用辞書２２ｂは、スクリーンに載置された物体の向きを変化させて底面の識別コードを撮影した撮像から作成されているが、必ずしもこの方法に限定する必要はなく、物体の向きを変化させることなく撮影されたものにより作成してもよい。その場合、物体領域抽出部２１から受け取った物体の識別コードの情報を所定の角度ずつ回転させてパターンマッチングさせてもよい。また、パターン認識を高速で行う場合には、パターン認識用辞書２２ｂに、底面を回転させた場合の撮像データも記録することにより、識別コードと物体の方向を同時に認識することができる。なお、方向分解能をｎとすれば、パターン認識用辞書２２ｂに記録されるデータもｎ倍になるが、識別コードは画像の操作用であり、１００種類程度設ければよいのでパターンマッチングに要する時間に対する影響はほとんど認められない。さらに、例えば類似度が高い２つの識別コードの方向に関するデータは類似度に応じて内挿法を適用することにより方向に関する精度を向上させることができる。

すなわち、識別コード１の類似度をｒ１、方向をｄ１とし、識別コード２の類似度をｒ２、方向をｄ２とすれば、求める方向ｄは、
ｄ＝（ｒ１×ｄ１＋ｒ２×ｄ２）／（ｒ１＋ｒ２）で求めることができる。

パターン照合部２２ａは、パターン認識用辞書２２ｂを参照し、物体領域抽出部２１から受け取った物体の識別コードの情報から、類似度の高い上位２つの方向の情報を取得し、取得した２つの方向の情報を方向演算部２２ｃに渡す。

方向演算部２２ｃは、所定の時間間隔で所得された撮像データそれぞれから抽出された物体の配置位置の情報、および物体の方向の情報に基づいてそれぞれの時間に撮影された物体の底面の移動ベクトルを求め、その移動ベクトルから、それぞれの時間における移動方向および移動距離を求める。

ここでは、移動ベクトルを用いているが、これに限定されず、例えば差分画像を利用して求めることもできる。

物体領域抽出部２１により抽出された物体の位置情報、パターン照合部２２ａにより取得された識別コード、および方向演算部２２ｃにより求められた移動方向の情報は操作処理部２３に送られ、操作処理部２３は送られた情報を基に、プロジェクタ１３からスクリーン１１に投影される画像を形成する投影画像形成部２４にデータを送り、スクリーンに１１投影される画像を操作することができる。

ここで、スクリーン１１に投影される画像の操作は、スクリーン１１の表面側に設けられた書き込み画面１１ｂに水性ペンやマーカを用いて描画することによっても行うことができる。

図９は、スクリーンの表面側に載置された物体と視認できる画像とを一例として示す図である。

図９（ａ）に示すように、スクリーンの表面側には、水の流れを模した多数の記号が記録された画像が表示されている。そして、スクリーンの表面側には、木杭または石を模した、左上方に載置されている物体４Ｂと、右下方に載置されている物体４Ａとがある。水の流れを模した多数の記号１００は、物体４Ａ、４Ｂをよけるような流れをあらわしている。そして、右下方に載置されている物体４Ａを人力で矢印Ｚ方向に移動させると、水の流れを模した多数の記号１００は、物体４Ａの移動にあわせて物体４Ａをよけるように流れの方向を変化させる。そして、物体４Ａの移動が図９（ａ）に示す位置で停止すると、水の流れを模した多数の記号１００は、停止した物体４Ａをよける流れに落ち着き、以後、物体４Ａ，４Ｂが移動しない限りその流れは変わらない。

本実施形態の画像表示装置に用いる物体の底面には予めパターンが登録された識別コードが付されているが、必ずしも識別コードである必要はない。また、底面には、必ずしも識別子を付す必要はなく、底面の形状などによって夫々の識別情報が認識できるようにしてもよい。

また、識別コードの撮影時にはスクリーンの投影面を白くしているが、投影される画像の状態や、底面及び識別コードと画像とのコントラスト、それぞれからの反射光の波長域とＣＣＤカメラの感度如何によっては、必ずしも投影面を白くする必要はない。

本実施形態は、物体の底面を裏面から撮影して取得した識別情報及び移動情報に基づいて、裏面から投影されるスクリーンに表示される画像を操作する例に基づいて説明したが、識別情報及び移動情報は、必ずしも裏面から撮影する必要はない。また、識別情報及び移動情報は撮影により取得しているが、必ずしも撮影によって取得されたものである必要はなく、物体から発する光や電磁波などを感知することにより取得することもできる。

さらに、本実施形態では、物体の識別情報及び移動情報が取得される場所と取得された情報に基づいて画像が操作される場所とが同じであるが、情報の取得場所とその情報によってコマンドが入力され、何らかのものが操作される場所とが離れていてもよい。すなわち、物体を動かすことにより取得された識別情報及び移動情報によってたとえば遠隔地にあるロボット、機械装置、情報機器などにネットワークなどを介してコマンドを送り、リモートコントロールすることもできる。
（第２の実施形態）
第２の実施形態は、第１の実施形態と比べて、本体部がスクリーン（表示画面）の表面側に人手により描画された図形や線などの情報を物体の底面の情報とは別に抽出して処理する点が相違する。しかし、それ以外の点は共通するので相違する本体部について説明する。

図１０は、本発明の画像表示装置の第２の実施形態を示す本体部の概略構成図である。

図１０に示すように、本実施形態の本体部２は、ＣＣＤカメラ１４とのインタフェースを有し、ＣＣＤカメラ１４で撮影された撮像の撮像データを２値化し、物体が載置された領域に係る撮像データに基づいてスクリーン上の位置、底面の輪郭および識別コードの情報を抽出する物体領域抽出部２１と、ＣＣＤカメラ１４で撮影された撮像の撮像データを２値化し、物体が載置された領域を除く領域に係る撮像データを微分することにより、スクリーン１１の表面側、書き込み面１１ｂに、マーカなどを用いて人手で描画された図形や線に関する情報を抽出する線図抽出部２５と、線図抽出部２５により抽出された情報から特徴を抽出して、その図形や線が、例えば直線、円形、波形、方形などと認識して補助的情報を取得する線図処理部２６と、プロジェクタ１３とのインタフェースを有し、プロジェクタ１３によりスクリーン１１の裏面側から投影される画像を、所定のアプリケーション・プログラム２４ａに従って形成する投影画像形成部２４と、物体領域抽出部２１により抽出された識別コードの情報を、予めメモリに記憶された、パターン認識用辞書とパターンマッチングを行い、その物体の識別情報及び物体の方向に関する情報を取得する物体認識部２２と、物体認識部２２で取得された識別情報及び物体の方向に関する情報並びに線図処理部２６により認識された補助的情報に基づいて、投影画像形成部２４で所定のアプリケーション・プログラム２４ａに基づいて形成される画像に新たなコンテンツやアクションを加えてプロジェクタから投影される画像を操作する操作処理部２３とを備えている。

ここで、操作処理部２３は、例えば２つの物体相互が直線で結ばれていると、２つの物体相互が連結されたという情報をアプリケーション・プログラム２４ａ与えることにしてもよい。また、線分の形状（直線、波形など）、色などによって２つの物体の関係に属性を付与することにしてもよい。

図１１は、線図処理部により、人手により描画された図形の認識方法の一例を示す図である。

図１１に示すように、線図処理部２６は、人手により描画された図形の外接方形１０１を描いてその外接方形１０１の短辺１０１ａの長さにより、図１１（ａ）に示すような波形と図１１（ｂ）に示すような直線とに区分することができる。さらに、外接方形１０１の面積と対角線の長さとの比により斜め線を区分することができる。

図１２は、本実施形態の画像表示装置のスクリーンを俯瞰した状態を示す模式図。
図１２（１）に示すように、スクリーン１１の表面側に、底面５に付された識別コードが異なる３つの物体４ａ，４ｂ，４ｃが載せられる。ＣＣＤカメラ１４は、それらの物体の底面５を撮影し、物体領域抽出部２１は撮像データに基づいてそれぞれの識別コードに係る撮像データを抽出する。物体認識部２２は、パターン認識用辞書を参照して、物体４ａは銅、物体４ｂは亜鉛、物体４ｃは酸素であることを認識する。操作処理部２３は、投影画像形成部２４に、所定のデータを送り、銅の元素記号Ｃｕ、亜鉛の元素記号Ｚｎ、酸素の元素記号Ｏ、が円内に記された画像を、スクリーン１１上のそれぞれの物体４ａ，４ｂ，４ｃの隣接位置に投影されるように形成し、プロジェクタ１３からスクリーン１１に投影する。

次に、 図１２（２）に示すように、亜鉛Ｚｎと酸素Ｏとを化合させるため、亜鉛の元素記号Ｚｎを表す物体４ｂと酸素の元素記号Ｏを表す物体４ｃとをマーカにより円形の線図９を描いて囲む。ＣＣＤカメラ１４は、物体４ａ，４ｂ，４ｃとともに円形の線図９を撮影し撮像データを得る。線図抽出部２５は撮像データに基づいて円形の線図９の撮像データを抽出する。線図処理部２６は、円形の線図９であることを認識する。操作処理部２３は、物体認識部２２で認識された情報と線図処理部２６で認識された情報とにより、線図９は物体４ｂと物体４ｃとを囲む円形の線図９であり、その円形の線図９は、物体４ｂと物体４ｃとを連結する意味であると解釈する。

そこで、 図１２（３）に示すように、操作処理部２３は、投影画像形成部２４において形成されている、銅の元素記号Ｃｕ、亜鉛の元素記号Ｚｎ、酸素の元素記号Ｏ、が円内に記された画像のうち、亜鉛の元素記号Ｚｎ、および酸素の元素記号Ｏが円内に記されたそれぞれの画像を、連結された状態で投影されるように移動させるとともに、連結された後にそれまでとは異なる色彩の画像をスクリーン１１に投影する。
このように、人手で描画された図形などについてもスクリーンに投影される画像を操作する上で一定のルールに基づく所定の「意味」を持たせ、識別コードの補助的役割を与えることにより、操作性をさらに向上させることができる。
（第３の実施形態）
第３の実施形態は、第１の実施形態と比べて、解像度の異なる２つのＣＣＤカメラを備え、一方のカメラは物体の位置を検出し、他方のカメラは物体の識別情報及び移動情報を検出する点が相違する。しかし、それ以外の点は共通するので相違点について説明する。

図１３及び図１４は、本発明の画像表示装置の第３の実施形態を示す図であり、図１３は、表示部の概略断面図であり、図１４は、本体部の概略構成図である。

図１３に示すように、第３の実施形態の画像表示装置の表示部は、中央部分にスクリーン１１がはめ込まれた平面部１０と、平面部１０を支える筐体１２と、筐体１２内に設けられ、スクリーン１１に画像を投影するプロジェクタ１３と、スクリーン１１の裏面側全体が視野角１４ａとなる位置に配置され、スクリーン１１を裏面側から撮影する第１のＣＣＤカメラ（本発明の撮像部に相当する。）１５及びスクリーン１１の裏面側全体が視野角１５ａとなる位置に配置され、スクリーン１１を裏面側から撮影する第２のＣＣＤカメラ（本発明の物体検出部に相当する。）１６とを備えている。

移動する物体の検出と、検出された物体の底面に付された識別コードの認識とを１つのＣＣＤカメラで行うためには、ＣＣＤカメラの解像度が高いものを用いる必要がある。しかし、スクリーンに載置された物体の検出を高解像度のＣＣＤカメラで行うと検出までに時間がかかる。そこで、本実施形態では、時間がかかっても高解像度のＣＣＤカメラを用いて高精度に実施する必要がある識別コードの検出と、精度は低くても低解像度のＣＣＤカメラを用いて短時間で迅速に実施できる位置の検出とに区分して投影面を撮影する。

図１４に示すように、第３の実施形態の画像表示装置の本体部２は、第２のＣＣＤカメラ１６とのインタフェースを有し、第２のＣＣＤカメラ１６で撮影された撮像の撮像データを２値化し、物体が載置されたスクリーン上の位置の情報を抽出する物体領域抽出部２１Ｍと、第２のＣＣＤカメラ１６とのインタフェースを有し、第１のＣＣＤカメラ１５で撮影された撮像の撮像データを２値化して底面の輪郭および識別コードの情報を抽出し、抽出された識別コードの情報を、パターン認識用辞書とパターンマッチングを行い、その物体の識別情報及び物体の方向に関する情報を得る物体認識部２２Ｍと、プロジェクタ１３とのインタフェースを有し、プロジェクタ１３によりスクリーン１１の裏面側から投影される画像を、所定のアプリケーション・プログラム２４ａに従って形成する投影画像形成部２４と、物体領域抽出部２１Ｍで抽出した位置の情報及び物体認識部２２Ｍで得た識別情報及び物体の方向に関する情報に基づいて、投影画像形成部２４で所定のアプリケーション・プログラム２４ａに基づいて形成される画像に新たなコンテンツやアクションを加えてプロジェクタから投影される画像を操作する操作処理部２３Ｍとを備えている。

本体部２で形成された画像は、プロジェクタ１３によってスクリーン１１の裏面側に投影され、スクリーン１１の表面側にいる人は、その投影された画像を視認することができる。

また、物体の底面に、予めパターンが登録された識別コード（例えば、形状とサイズにより識別されるマーク）が付された物体がスクリーン１１の表面側に載置されると、第２のＣＣＤカメラ１６により撮影された撮像データにより、物体領域抽出部２１Ｍはその位置を検出し、操作処理部２３Ｍに送る。操作処理部２３Ｍは、その物体が配置された位置を含む領域に白い一様な画像が投影されるデータを投影画像形成部２４に送る。一方、高解像度の第１のＣＣＤカメラ１５により撮影された、一様に白い領域内の底面の輪郭と識別コードの撮像データにより、物体認識部２２Ｍは物体の識別情報を取得するとともに、各時間毎の撮像データから移動ベクトルを取得し、操作処理部２３Ｍに送る。操作処理部２３Ｍは、物体の識別情報及び移動ベクトルに基づいて、投影画像形成部２４に形成された画像に、識別情報による新たな画像を加えることや、移動ベクトルに応じた動きを与える操作を行う。
（第４の実施形態）
第４の実施形態は、スクリーン表面側に載置する物体の底面とは反対側の表面に、識別コードの意義をあらわす視認自在な記号が付されている点は相違するが、それ以外の点は、第１から第３の実施形態と共通する。したがって、相違点についてのみ説明する。

図１５は、第４の実施形態に用いる物体の表面に付された記号の一例を示す図である。

図１５（ａ）〜図１５（ｃ）に示すように、第４の実施形態の画像表示装置のスクリーンに表示される画像を操作する物体４は、底面５が円形で、上面３５が斜めにカットされた円柱形４０をなしている。そして斜めにカットされた上面３５には、底面５に付された識別コード６によって表される識別情報の意義が一目で理解できるような記号３６が表示されている。

図１５（ａ）に示す物体４は、右回転方向に矢印が付された記号３６ａが表示され、この物体がスクリーン１１に表示された画像上に載せられると、例えばその画像が右回転する。

図１５（ｂ）に示す物体４は、右方向に矢印が付された位置をあらわす記号３６ｂが表示され、この物体がスクリーン１１の所定位置に載せられると、例えばその位置から矢印方向に伸びる線画像が表示される。

図１５（ｃ）に示す物体４は、左方向からの線分が付された位置をあらわす記号３６ｃが表示され、この物体４がスクリーン１１の所定位置に載せられると、例えば線画像はその位置まで表示される。

したがって、図１４（ｂ）に示す物体４を左側に配置し、図１４（ｃ）に示す物体４をその右側に配置すると、図１４（ｂ）に示す物体４が配置された位置から図１４（ｃ）に示す物体４が配置された位置まで伸びる線画像が表示される。

このように、スクリーン上に載置する物体の上面にその意義が一目で理解できる記号３６が付されているので、咄嗟の操作を必要とする場合であっても、底面に付された識別コードの意義を意識せずに間違いのない操作を行うことができる。

本発明の画像表示装置の第１の実施形態を示す概略図である。 本発明の画像表示装置の第１の実施形態を示す概略図である。 本実施形態の画像表示装置の本体部を示す図である。 物体の底面に付された識別コードの例を示す図である。 ＣＣＤカメラ（本発明の撮像部）により撮影された本実施形態の物体の底面の一例を示す模式図である。 スクリーンの投影面全体が白くなるようにして所定の閾値で２値化した後に表示された「底面」を示す図である。 撮像データに、文字切り出し技術を適用した例を示す模式図である。 物体認識部の詳細を示す図である。 スクリーンの表面側に載置された物体と視認できる画像とを一例として示す図である。 本発明の画像表示装置の第２の実施形態を示す本体部の概略構成図である。 線図処理部により、人手により描画された図形の認識方法の一例を示す図である。 本実施形態の画像表示装置のスクリーンを俯瞰した状態を示す模式図。 本発明の画像表示装置の第３の実施形態を示す図である。 本発明の画像表示装置の第３の実施形態を示す図である。 第４の実施形態に用いる物体の表面に付された記号の一例を示す図である。

符号の説明

１ 表示部
２ 本体部
４，４Ａ，４Ｂ，４ａ，４ｂ，４ｃ 物体
５ 底面
５ａ 輪郭
６ 識別コード
６ａ，６ｂ，６ｃ，６ｄ，６ｅ 図形
７ 線
８ 矩形の黒
９ 円形の線図
１０ 平面部
１１ スクリーン
１１ａ 投影面
１１ｂ 書き込み面
１２ 筐体
１３ プロジェクタ
１４ ＣＣＤカメラ
１４ａ，１５ａ 視野角
１５ 第１のＣＣＤカメラ
１６ 第２のＣＣＤカメラ
２１，２１Ｍ 物体領域抽出部
２２，２２Ｍ 物体認識部
２２ａ パターン照合部
２２ｂ パターン認識用辞書
２２ｃ 方向演算部
２３，２３Ｍ 操作処理部
２４ 投影画像形成部
２４ａ アプリケーションー・プログラム
２５ 線図抽出部
２６ 線図処理部
３５ 斜めにカットした上面
３６ａ，３６ｂ，３６ｃ 記号
４０ 円柱形
１００ 流れを表す記号
１０１ 外接方形
１０１ａ 短辺

Claims (18)

1. 裏面側から所定の投影画像が投影される投影面と、前記投影面の表面側に設けられ、透明な部材よりなる描画可能な書き込み面とを備える画像形成装置における画像表示方法であって、
   前記投影面に投影される所定の投影画像を形成する投影画像形成段階と、
   前記書き込み面に書き込まれた書き込み画像と、前記書き込み面上に載置され、底面に識別子を付した物体とを前記裏面側から撮像して撮像データを取得する撮像段階と、
   前記撮像データに基づいて、前記物体の識別子を抽出する物体領域抽出段階と、
   抽出された前記識別子に基づいて、前記物体の識別情報および前記物体の方向に関する情報を取得する物体認識段階と、
   前記撮像データに基づいて、前記書き込み面に書き込まれた線図の撮像データを抽出する線図抽出段階と、
   抽出された前記線図の撮像データに基づいて、前記書き込まれた線図に対応する線図情報を取得する線図処理段階と、
   前記物体の識別情報および前記物体の方向に関する情報と、前記線図情報とに基づいて前記投影画像形成段階により形成された投影画像を操作する操作処理段階と、
   を有することを特徴とする画像表示方法。
2. 前記操作処理段階は、
   前記物体の識別情報および前記物体の方向に関する情報と前記線図情報とに基づいて、前記線図情報がループ状の線分を示し、該ループ状の線分が少なくとも２つの物体を囲むと判断された場合に、前記ループ状の線分を示す線図情報に基づいて、前記囲まれた少なくとも２つの物体が同一のグループに属するという属性情報を取得し、前記属性情報に基づいて前記投影画像形成段階により形成された前記投影画像を操作することを特徴とする請求項１記載の画像表示方法。
3. 前記操作処理段階は、
   操作により変更された画像の色彩を、操作前の画像の色彩とは異なるようにすることを特徴とする請求項１又は２記載の画像形成方法。
4. 前記物体認識段階は、
   前記識別子の向きを変化させた前記底面の撮像データと該識別子の識別情報とを対応させたパターン認識用辞書に基づいて、前記撮像段階により撮像された撮像データと該パターン認識用辞書とのパターンマッチングにより前記識別情報及び前記物体の方向に関する情報を同時に取得することを特徴とする請求項１記載の画像表示方法。
5. 前記投影画像形成段階は、
   所定のアプリケーション・プログラムに基づいて前記投影画像を形成し、
   前記操作処理段階は、
   前記投影画像形成段階により形成される前記投影画像の素材データ及びアクションデータにより、前記投影画像形成段階により形成される前記投影画像を操作することを特徴とする請求項１記載の画像表示方法。
6. 前記物体の位置を検出する、前記撮像段階で撮像する解像度よりも低解像度の物体検出段階を有し、
   前記投影画像形成段階は、
   前記物体検出段階により前記物体の位置が検出されたときに、前記投影面の前記裏面側から所定の時間間隔で投影される白い画像を形成することを特徴とする請求項１乃至３いずれか一項記載の画像表示方法。
7. 前記投影面に、前記投影画像形成段階により形成された前記投影画像を前記裏面側から投影する画像投影段階を有し、
   前記画像投影段階は、前記投影画像形成段階により所定の時間間隔で形成された前記白い画像を前記物体検出段階により検出された前記物体の位置を含む所定領域に投影することを特徴とする請求項６記載の画像表示方法。
8. 前記パターン認識用辞書は、前記各撮像データそれぞれを直交する２方向の濃度分布に分解した前記底面の濃度が記録されたものであることを特徴とする請求項４記載の画像表示方法。
9. 前記物体は、前記底面とは反対側の表面に前記識別子の意義を表す記号が付されたもの
   であることを特徴とする請求項１記載の画像表示方法。
10. 裏面側から所定の投影画像が投影される投影面と、
    前記投影面の表面側に設けられ、透明な部材よりなる描画可能な書き込み面と、
    前記投影面に投影される所定の投影画像を形成する投影画像形成部と、
    前記書き込み面に書き込まれた書き込み画像と、前記書き込み面上に載置され、底面に識別子を付した物体とを前記裏面側から撮像して撮像データを取得する撮像部と、
    前記撮像データに基づいて、前記物体の識別子を抽出する物体領域抽出部と、
    抽出された前記識別子に基づいて、前記物体の識別情報および前記物体の方向に関する情報を取得する物体認識部と、
    前記撮像データに基づいて、前記書き込み面に書き込まれた線図の撮像データを抽出する線図抽出部と、
    抽出された前記線図の撮像データに基づいて、前記書き込まれた線図に対応する線図情報を取得する線図処理部と、
    前記物体の識別情報および前記物体の方向に関する情報と、前記線図情報とに基づいて前記投影画像形成部が形成する投影画像を操作する操作処理部と、
    を備えることを特徴とする画像表示装置。
11. 前記操作処理部は、
    前記物体の識別情報および前記物体の方向に関する情報と前記線図情報とに基づいて、前記線図情報がループ状の線分を示し、該ループ状の線分が少なくとも２つの物体を囲むと判断された場合に、前記ループ状の線分を示す線図情報に基づいて、前記囲まれた少なくとも２つの物体が同一のグループに属するという属性情報を得、前記属性情報に基づいて前記投影画像形成部が形成する前記投影画像を操作することを特徴とする請求項１０記載の画像表示装置。
12. 前記操作処理部は、
    操作により変更された画像の色彩を、操作前の画像の色彩とは異なるようにすることを特徴とする請求項１０又は１１記載の画像表示装置。
13. 前記物体認識部は、前記識別子の向きを変化させた前記底面の撮像データと該識別子の識別情報とを対応させたパターン認識用辞書を有し、前記撮像部が得た撮像データと該パターン認識用辞書とのパターンマッチングにより前記識別情報及び前記物体の方向に関する情報を同時に取得することを特徴とする請求項１０記載の画像表示装置。
14. 前記投影画像形成部は、所定のアプリケーション・プログラムに基づいて前記投影画像を形成するものであり、
    前記操作処理部は、前記投影画像形成部が形成する前記投影画像の素材データ及びアクションデータにより、前記投影画像形成部が形成する前記投影画像を操作することを特徴とする請求項１０記載の画像表示装置。
15. 前記物体の位置を検出する、前記撮像部の解像度よりも低解像度の物体検出部を備え、
    前記投影画像形成部は、前記物体検出部により前記物体の位置が検出されたときに、前記投影面の前記裏面側から所定の時間間隔で投影される白い画像を形成することを特徴とする請求項１０から１２のうちいずれか１項記載の画像表示装置。
16. 前記投影面に、前記投影画像形成部により形成された前記投影画像を前記裏面側から投影する画像投影部を備え、
    前記画像投影部は、前記投影画像形成部により所定の時間間隔で形成された前記白い画像を前記物体検出部により検出された前記物体の位置を含む所定領域に投影することを特徴とする請求項１５記載の画像表示装置。
17. 前記パターン認識用辞書は、前記各撮像データそれぞれを直交する２方向の濃度分布に分解した前記底面の濃度が記録されたものであることを特徴とする請求項１３記載の画像表示装置。
18. 前記物体は、前記底面とは反対側の表面に前記識別子の意義を表す記号が付されたもの
    であることを特徴とする請求項１０記載の画像表示装置。