JP3899375B2

JP3899375B2 - 表示制御装置

Info

Publication number: JP3899375B2
Application number: JP2004256716A
Authority: JP
Inventors: 健太天野; 一志西本; 臼杵正郎
Original assignee: Japan Advanced Institute of Science and Technology
Current assignee: Japan Advanced Institute of Science and Technology
Priority date: 2004-09-03
Filing date: 2004-09-03
Publication date: 2007-03-28
Anticipated expiration: 2024-09-03
Also published as: JP2006072071A

Description

本発明は、画像が表示される表示エリアに合わせて表示画像を調整する表示制御装置に関する。

従来から、テーブルに画像を表示するテーブルウェアと呼ばれるシステムが提案されている。テーブルウェアは、テーブル卓面そのものを被投影面とし、そこに画像を投影することにより、複数作業者による情報の共有や教授を容易とするものである。たとえば、テーブルウェアとして、下記の非特許文献１に開示のＰｅｒｓｏｎａｌＤｉｇｉｔａｌＨｉｓｔｏｒｉａｎ（ＰＤＨ）が挙げられる。ＰＤＨは、テーブル等に写真を投影するシステムであり、ｆａｃｅｔｏｆａｃｅの会話と話しの共有を目指すものである。
Ｓｈｅｎ，Ｃ．，Ｌｅｓｈ，Ｎ．，Ｖｅｒｎｉｅｒ，Ｆ．：ＰｅｒｓｏｎａｌＤｉｇｉｒｔａｌＨｉｓｔｏｒｉａｎ：ＳｔｏｒｙＳｈａｒｉｎｇＡｒｏｕｎｄｔｈｅＴａｂｌｅ，ＡＣＭＩｎｔｅｒａｃｔｉｏｎ，Ｖｏｌ．１０，Ｉｓｓｕｅ２，ｐｐ１５−２２，２００３

しかしながら、従来のテーブルウェアは、いずれもテーブル卓面そのものを被投影面とし、テーブル卓面自体に画像が表示される状態となる。このシステムをテーブルとして使用する際には、画像に重ならないように物を置くなどの配慮が必要であり、物を置く位置や範囲が制限される。このため、卓上の任意の位置に自由に物を置いたり、置いたままの状態でこれらのシステムを使用したりすることは非常に困難であった。

たとえば、オフィスなどにおいては、データを共有しながら複雑な共同作業を行う場合が多く、テーブルウェアを専用の協調作業用ディスプレイとして使用する必要性が高い。かかる場合に、テーブル卓面には共有すべきデータを投影するほかに、書類や商品のサンプルなどを置く場合がある。しかしながら、従来のテーブルウェアでは、テーブル上に画像が直接投影され、画像の位置が固定されているため、例えば書類やサンプルなどは、画像に重ならないようにテーブルの端に置くなどの配慮が必要であり、作業に制約が生じる場合があった。

また、近年、インフォーマルコミュニケーション支援の研究が盛んに行われており、職場の休憩時間など、雑談の中で情報の共有をすることは有益なことであるとされている。かかる観点から、家庭の食卓や職場の休憩室など、人の集まりやすい場所において、コミュニケーションの活性化を支援することは重要な課題といえる。これらの場所に設置されるテーブルウェアは、会議などのように複雑な共同作業を行うためのデバイスとしてではなく、例えば、単に一枚の写真を共有して、まわし見などをしながら会話する程度の利用となることが予想される。このような状況において、テーブルウェアは、数人の間で情報の受け渡しが可能な情報共有メディアであり、且つ、食器などの物を自由に配置でき、通常のテーブルとしても使用可能であることが望まれる。

また、家族が囲む食卓などでは、写真などの画像は中心的なものではなく、コミュニケーション促進などのための副次的なものである。かかる状況において、利用者は画像をコミュニケーションの触媒（媒介）とすることを欲しており、テーブルウェアには、コミュニケーションを阻害することのない操作性や、だれもが操作できるｔａｎｇｉｂｉｌｉｔｙが要求される。

そこで、発明者等は上記課題の総てを解決すべく様々な実験や検討を重ね、被投影面であるテーブル上に、テーブルとは別体のオブジェクトを配置し、そのオブジェクトに表示エリアを形成し、オブジェクトの移動や入れ替えによって表示エリアの位置や方向や範囲の変更を可能とすることを考えた。これにより、テーブル上において表示エリアが形成されるオブジェクトと他の配置物との位置関係を調整しながら自由な配置を実現したり、利用者間でオブジェクトを受け渡しすることにより表示エリアに表示される画像をまわし見することなどが可能となる。また、オブジェクトを表裏反転させることにより表示画像の切り替えを行う等、オブジェクト自体に簡易な操作機能を持たせることにより、だれもが自己の手元で簡単且つ直感的な操作が可能となり、コミュニケーション支援・ｔａｎｇｉｂｉｌｉｔｙの観点からも有効であると考えた。

この技術は、テーブルに画像を表示するテーブルウェアのみでなく、テーブルが存在しないような環境における情報の共有の場面や、他の様々な場面においても幅広く適用可能であると考えられる。

そこで、本発明は、表示エリアの移動等に応じて画像を表示させることが可能であり、テーブルウェアに適用した場合には、テーブルの上に自由に物を配置できるという本来のテーブルとしての機能を発揮させ、利用者間で表示画像の受け渡しを行うことができ、さらには、コミュニケーション支援に適する簡易で直感的な操作性を実現した表示制御装置を提供することを目的とする。

本発明の表示制御装置は、表示エリアに表示される表示画像を制御する表示制御装置であり、表示エリアが撮影された撮影画像を経時的に連続して取得する撮影画像取得手段と、前記画像取得手段により連続して取得された撮影画像ごとに表示エリアを認識する認識手段と、前記認識手段により認識された表示エリアに合わせて表示画像を調整する調整手段とを備えることを特徴とする。

この発明によれば、例えば表示エリアが移動したり、形状が変更される等しても、撮影画像取得手段が、表示エリアが撮影された撮影画像を経時的に連続して取得することにより、表示エリアの移動や形状変化等の経時的変動の情報が得られる。そして、認識手段が各撮影画像に含まれる表示エリアを認識することにより表示エリアの経時的変動を把握し、調整手段が表示エリアに合わせて表示画像を調節することにより、表示エリアの経時的変動に合わせて表示画像を表示することが可能となる。

前記認識手段は、表示エリアの位置、方向、範囲のうち少なくとも一つを認識することが好ましい。これによれば、表示エリアが移動したり、表示エリアの上下左右の方向が入れ替わったり、範囲が変化した場合でも、認識手段により表示エリアの位置や方向や範囲が認識されるため、それらの経時的変動に連動した表示画像の表示が可能となる。テーブルの上に自由に物を配置可能とするという目的からは、位置又は範囲を認識することが好ましく、更に位置又は方向の認識を前提として方向を認識することが好ましい。

前記認識手段は、前記表示エリアに付されるマーカーにより表示エリアを認識する機能を備えることが好ましい。これによれば、表示エリアに付されたマーカーにより表示エリアが認識されるため、マーカーを付するだけで様々なオブジェクトに表示エリアを形成することができる。

前記認識手段は、前記表示エリアに付される識別子を認識する機能を備え、識別子に応じて表示エリアに表示する表示画像を決定することが好ましい。これによれば、識別子により表示エリアを識別することができるため、画像取得手段により取得された撮影画像中に表示エリアが複数含まれている場合でも、各々の表示エリアに対して、各々に決められた表示画像を表示することができる。

前記認識手段は、前記表示エリアの切り替えを認識する機能を備え、表示エリアの切り替えに応じて表示する表示画像を切り替えることが好ましい。これによれば、表示エリアを切り替えるだけで、表示エリアに表示される表示画像が切り替わるため、コミュニケーションを遮ることのない直感的で簡単な操作により表示画像を切り替えることができる。

前記認識手段は、前記表示エリアの重なり合いを認識する機能を備え、前記調整手段は、重なり合う表示エリアのうち一の表示エリアに合わせるように表示画像を調整することが好ましい。これによれば、複数の表示エリアが重なり合う場合でも、一の表示エリアに合わせて表示画像が調整されるため、一の表示エリアに適するように表示画像が表示される。

前記撮影画像には、被投影面の上に被投影面とは別体のオブジェクトが配置されており、前記表示エリアは、当該オブジェクトに形成されていることが好ましい。これによれば、オブジェクトの移動や交換という直感的で簡単な操作で、表示エリアの移動や形状変更などを行うことができ、操作性の観点からも好適である。また、利用者間でオブジェクトを受け渡しするという簡易な操作で、表示画像の共有化が可能となり、コミュニケーション支援にも効果的である。

前記オブジェクトは、食器であることが好ましい。卓上という場において、食器は自然な存在であり、取り扱いに慣れ親しまれている。本発明の表示制御装置をテーブルウェアに適用する場合、表示エリアを、例えば皿の表裏面など、食器の面に形成する。これにより、表示エリアに表示される表示画像を、違和感がなく、コミュニケーションを阻害することのない副次的な存在として取り扱うことができる。また、食器を表裏させて表示エリアを切り替えるなどの操作も抵抗無く行うことができる。食器を手渡しながら表示画像をまわし見するなど、卓上におけるコミュニケーション支援にも効果的である。

本発明に係る表示制御装置によれば、表示エリアが移動したり、方向が入れ替わったり、範囲が変化するなど、表示エリアが経時的に変動した場合でも、その変動に合わせて表示エリアに表示画像が表示されるため、表示エリアの位置や方向や範囲などを自由に変動させることが可能となる。

表示エリアに付されるマーカーにより表示エリアを認識できるようにすれば、様々なオブジェクトに表示エリアを形成することが可能となる。たとえば、本発明をテーブルウェアに適用すれば、テーブルの卓上に置かれる様々なオブジェクトに表示エリアを形成することができる。

オブジェクトに表示エリアを形成し、そのオブジェクトを移動させることにより表示エリアを任意に移動させたり、利用者間でオブジェクトを受け渡しすることで表示画像の共有を図ったり、オブジェクトを交換することにより表示エリアの範囲を変更したりすることが可能である。オブジェクトの移動・受け渡し・交換などのように、コミュニケーションにおいて直感的で簡単な操作で表示エリアを操作することができ、コミュニケーション支援や操作性の観点からも効果的である。子供や高齢者などでも容易に操作することが可能であり、共有情報を中心として自然な対話が触発されるようになる。

これをテーブルウェアに適用する場合は、食器などに表示エリアを形成することが好ましい。テーブルの卓上おいて、食器は自然な存在であることから、利用者に違和感を与えず、コミュニケーションを阻害することがない。表示エリアが形成される食器と、用紙やサンプルや食器等の他の物との位置関係の調整が可能となり、テーブル卓上の任意の位置に物を置くことが可能となる。また、利用者が食器を受け渡しするという食卓において自然で簡易な動作により、表示画像の共有が可能となり、操作性やコミュニケーション支援の観点からも効果的である。たとえば、食器を受け渡しながら表示画像をまわし見することも可能となり、コミュニケーションが促進される。

以下、本実施の形態の表示制御装置Ｓについて説明する。図１は、本発明の表示制御装置Ｓを説明する説明図である。本実施の形態では、投影画像が投影される被投影面１００（例えばテーブルなど）に、被投影面１００とは独立した別体のオブジェクト１０１，１０２（例えば皿など）が配置されている。本実施の形態では、オブジェクト１０１，１０２として、表面と裏面を備える円形の平面体を例として使用し、オブジェクト１０１，１０２の表面を第１の表示エリア１０１ａ，１０２ａとし、裏面を第２の表示エリア１０１ｂ，１０２ｂとしている。本実施の形態の表示制御装置Ｓは、被投影面１００に投影画像１０３が投影されたときに、各表示エリア１０１ａ，，，１０２ｂに合わせて表示画像が表示されるように、表示画像を調整するものである。

本実施の形態の表示制御装置Ｓは、認識システムＳ１と投影システムＳ２との二つのサブシステムから構成されている。認識システムＳ１は、投影システムＳ２と撮影手段２とに接続可能となっている。投影システムＳ２は、画像データベース１と投影手段３とに接続可能となっている。画像データベース１は、サーバ５と画像受信システム６を介して画像送信システム４が接続可能となっている。

以下に、本実施の形態の表示制御装置Ｓの概要を説明する。
画像受信システム６は、カメラ付き携帯電話等の画像送信システム４からサーバ５に送信された画像データを取得し、その画像データは画像データベース１に表示画像として蓄積される。デジタルカメラ等の撮影手段２が、表示エリア１０１ａ，１０２ａを含む被投影面１００を撮影すると、表示制御装置Ｓは、認識システムＳ１により撮影手段２から取得した撮影画像を処理し、撮影画面中の表示エリア１０１ａ，１０２ａの認識を行う。その後、表示制御手段Ｓは、投影システムＳ２により、画像データベース１から表示エリア１０１ａに対応する表示画像１０４を取得して、その表示画像１０４が表示エリア１０１ａに合わせて表示されるように、ベースとなる座標上で表示画像１０４の位置や大きさ等を調整し、投影画像１０３を生成する。プロジェクター等の投影手段３が、投影システムＳ２から取得した投影画像１０３を被投影面１００に投影すると、投影エリア１０１ａに表示画像１０４が表示される。投影画像１０３のうち、投影エリア以外のエリアには表示画像は表示されず、単色又は無色の画像が表示される。本実施の形態では、黒色画像を背景として表示画像が表示されるようになっている。

なお、本実施の形態において、オブジェクト１０１，１０２は大小二つであるが、一つでも二つ以上でも良く、形状や大きさも問わない。オブジェクト１０１，１０２としては、表裏面を備える単なる用紙や板状体でも良いし、食卓で使用される場合は例えば皿などでも良い。形状や大きさは問わないが、取り扱いが容易な形状や大きさであることが好ましい。

図２は、本実施の形態で使用されるオブジェクトを説明する説明図である。本実施の形態では、被投影面１００とは独立した別体のオブジェクト１０１，１０２の一方面に表示エリア１０１ａ，１０２ａが形成されており、他方面に第２の表示エリア１０１ｂ，１０２ｂが形成されている。これにより、各表示エリア１０１ａ，，，１０２ｂを被投影面１００内で配置変更したり、利用者間で受け渡ししたり、表裏反転したり、取り扱いが自由となっている。各表示エリア１０１ａ，，，１０２ｂには、三つのマーカーｍ１，ｍ２，ｍ３が正三角形の頂点の位置に付されており、それぞれに色が付されている。さらに、第２の表示エリア１０１ｂ，１０２ｂには、マーカーｍ１，ｍ２，ｍ３を頂点とする三角形の重心に一つのマーカーｍ４が付されている。

以下に、本実施の形態の表示制御装置Ｓの詳細を説明する。
表示制御装置Ｓは、パーソナルコンピュータやワークステーション等のコンピュータにより実現されるものであり、プログラムがＣＰＵ等の処理装置上で実行されることにより、コンピュータを下記の表示制御装置Ｓとして機能させる。以下、オブジェクト１０１の第１の表示エリア１０１ａを例に説明するが、オブジェクト１０１の第２の表示エリア１０１ｂや、オブジェクト１０２の各表示エリア１０２ａ，１０２ｂについてもほぼ同様である。

認識システムＳ１は、出力インターフェイスを介して撮影手段２が接続されている。撮影手段２は、表示エリア１０１ａを含む所定の領域を数秒ごとにキャプチャーし、その撮影画像をメモリ内に作った仮想ドライブに上書き保存する機能を備えるものであり、例えばデジタルカメラ等である。認識システムＳ１は、撮影画像取得手段１１と、認識手段１２とを備える。

撮影画像取得手段１１は、撮影手段２により撮影された撮影画像を経時的に連続して取得する機能を備える。具体的には、撮影画像取得手段１１は、所定間隔（例えば０．５秒間隔）で撮影手段２の仮想ドライブに記憶される撮影画像が上書きされたかを監視し、撮影画像が上書きされたことを確認すると、撮影手段２から撮影画像を取得する。

認識手段１２は、撮影画像取得手段１１により取得された撮影画像ごとに、その撮影画像に含まれる表示エリア１０１ａを認識する手段を備える。たとえば、撮影画像ごとに、表示エリア１０１ａの位置・方向・範囲を認識し、且つ、表示エリア１０１ａに付される識別子、表示エリア１０１ａの切り替えの有無、表示エリア１０１ａの他の表示エリアとの重なり合いを認識する。本実施の形態では、マーカーｍ１，ｍ２，ｍ３を認識することにより表示エリア１０１ａの認識が行われる。撮影画像に含まれる表示エリアが複数である場合は、総ての表示エリアに対して認識処理を行う。

認識手段１２の具体的な機能は、下記の通りである。認識手段１２のサブ手段である色認識手段が、取得した撮影画像についてピクセルごとに色相・彩度・明度を抽出し、これらの３つの要素を閾値によりフィルタリングをし、予め記憶されているマーカーの色に近似する色の座標を取得する。

つぎに、認識手段１２のサブ手段であるマーカー検出手段が、色認識手段により得られた色の座標から表示エリア１０１ａに付されるマーカーｍ１，ｍ２，ｍ３の位置を検出する。下記にマーカー検出手段を実現するアルゴリズムを説明する。たとえば、図３のような撮影画像がキャプチャーにより取得された場合と仮定し、その一部であるフレームＦ内を例にして、アルゴリズムを説明する。フレームＦ内には、一の表示エリアに付された三つのマーカーと、他の表示エリアに付された一つのマーカーが含まれている。色認識手段により図４（ａ）のように色の座標情報が検出されたとする。この画像から、ｘ方向とｙ方向において、それぞれ色の連続する範囲を求める。連続の定義は、ピクセルの並びに所定数ピクセル（例えば３ピクセル）以上の空きがない事、所定数ピクセル以下の時はこの２つの色領域は同一のものとする。つまり図４（ｂ）において、Ｘ_３ - Ｘ_２≧所定数ピクセルならＸ_１、Ｘ_２領域とＸ_３、Ｘ_４領域は別々のマーカー、Ｘ_３ - Ｘ_２所定数ピクセルならＸ₁、Ｘ_２領域とＸ_３、Ｘ_４領域は同一のマーカーと認識する。また、色の連続する範囲が所定数ピクセル未満（例えば２ピクセル以下）の時はノイズとして削除する。つまり、Ｘ_２ - Ｘ_１＜所定数ピクセルの時は、Ｘ_１、Ｘ_２領域はノイズとしてこれを削除する。この方法によりx 軸方向、y 軸方向でそれぞれ範囲の始点と終点が見つかる。範囲の始点から軸に平行な線を点線、範囲の終点から軸に平行な線を一点鎖線で図４（ｂ）に示した。そして、x方向の点線とy方向の点線がぶつかる点を●で、x方向の点線とy方向の一点鎖線がぶつかる点を▲で示し、この座標を求める。

この座標が求まると、図４（ｃ）で示す様に●と▲を対角点とする長方形の領域内にマーカーがある可能性がある。そこで、マーカー検出手段は、求められた全ての長方形の領域について、
占有率＝該当する色のピクセル数／面積(ピクセル数)
を計算する。これで占有率が所定割合（例えば20 ％）を上回る場合は、その長方形がマーカーである可能性があると判断する。そして、図４（ｄ）に示すように、その領域の中心点が、マーカーの中心点であると確定し、この座標((Cx1,Cy1) など) を記録する。以上の処理を、予めマーカーとして記憶されている色について行う。

総てのマーカーを検出した後、検出されたマーカーから表示エリアを抽出する。表示エリアを抽出する処理は、認識されたマーカーの中心点の全組合せの中から、侠角が閾値内（５０°〜７０ °）・マーカーの中心点間の距離が閾値内の組合せを見つるアルゴリズムにより実現する。マーカーの中心点間の距離の閾値は、撮影手段２と表示エリアとの距離に応じて可変となっている。本例では、総ての四つのマーカーから、座標(Cx1,Cy1) (Cx2,Cy2) (Cx4,Cy4)のマーカーの組合せが、同一の表示エリア（オブジェクト）に付されたマーカーとして検出される。

認識手段１２は、色識別手段により色が識別された投影画像を使用して、上述のマーカー検出手段により表示エリア１０１ａに付されたマーカーｍ１，ｍ２，ｍ３を検出する。

次に、認識手段１２は、認識された表示エリア１０１ａの位置・方向・範囲を認識し、且つ、表示エリア１０１ａに付される識別子、表示エリア１０１ａの切り替えの有無、表示エリア１０１ａの他の表示エリアとの重なり合いを認識する。

識別子としては、マーカーの色の組合せを利用する。識別子の認識は、予めマーカーの色の組合せに対応して表示エリア番号が設定されており、表示エリアに付されるマーカーの色の組合せから、対応する表示エリア番号を抽出することにより行う。なお、識別子としては、マーカーの色の組合せだけでなく、例えば、表示エリア１０１ａに付された記号や図形などでも良い。

撮影画像内に含まれる表示エリア１０１ａの位置は、表示エリア１０１ａに含まれるマーカーｍ１，ｍ２，ｍ３を頂点として成る三角形の重心Ｃの座標を位置として認識する。その他、マーカーを使用することなく、オブジェクト１０１の外周を認識し、その中心座標を表示エリア１０１ａの位置として認識しても良い。

表示エリア１０１ａの方向は、予め所定方向（例えば上方向）を指すマーカーの色が設定されており、上記重心Ｃの座標に対するその色のマーカーの方向を所定方向として認識する。本実施の形態では、マーカーｍ１がその役割を果たす。図５は、表示エリア１０１ａの方向を認識する方法を説明する説明図である。具体的には、その色のマーカーｍ１と、重心を通る水平線がなす角度θを算出することにより、表示エリア１０１ａの向きを認識する。その他、例えば、所定方向を示す専用のマーカーを別途付したり、マーカーを使用することなく、表示エリア１０１ａの形状を方向性のあるものとし、その形状の向きにより方向を認識したり等しても良い。

表示エリア１０１ａの範囲は、上記重心Ｃの座標を中心として、総てのマーカーｍ１，ｍ２，ｍ３の中心を通る円周内として認識する。その他、表示エリア１０１ａに色を付して、その色が付される領域を範囲として認識したり、マーカーを使用することなく、オブジェクト１０１の外周を認識して、その外周内側を範囲として認識したり等しても良い。

表示エリア１０１ａの切り替えは、切り替え判断用のマーカーｍ４を利用して認識する（図２参照）。表示エリアの切り替えは、オブジェクト１０１の表裏面を反転させることにより行われる。同一オブジェクト１０１の表示エリア１０１ａ，１０１ｂには同一の識別子が付されており、第２の表示エリア１０１ｂに付された切り替え判断用のマーカーｍ４の有無により、同一の識別子内での第１の表示エリア１０１ａと第２の表示エリア１０１ｂとの切り替えを認識可能となっている。その他、各表示エリア１０１ａ，１０１ｂに各々異なる切り替え判断用のマーカーが付されていても良い。認識手段１２は、撮影手段２から取得した撮影画像中に、マーカーｍ４の有無を認識する。マーカーｍ４無しの場合は第１の表示エリア１０１ａであり、有りの場合は第２の表示エリア１０１ｂであると認識できる。認識手段１２は、撮影手段２から取得された経時的に連続する撮影画像を比較し、マーカーｍ４の変動を認識しても良い。たとえば、直前の撮影画像と処理中の撮影画像とを比較して、マーカーｍ４が有から無、又は、無から有に変動している場合は、表示エリアの切り替えが行われたと判断しても良い。

表示エリアの重なり合いは、各表示エリアの重心Ｃ間の距離を利用して認識する。図６は、二つの表示エリアを例として、その重なり合いを説明する説明図である。各表示エリアの重心Ｃ１，Ｃ２間の距離が所定値以下である場合、その重心Ｃ１，Ｃ２を有する表示エリアが重なり合っていると認識する。重なり合う表示エリアは、三つ以上でも良く、その形状も問わない。

投影システムＳ２は、画像データベース１から表示画像１０４を取得する表示画像取得手段２１と、表示エリア１０１ａに表示画像１０４が表示されるように画像を調整する調整手段２２とを備える。なお、投影システムＳ２は、更にキャブリエーション機能を備え、事前準備として、投影手段３が投影したキャブリエーションポイントの座標と、撮影手段２により撮影されたキャブリエーションポイントの座標とを比較して、キャブリエーションを行えるようになっている。投影システムＳ２は、認識システムＳ１により認識された各情報を逐次取得できるようになっている。

画像データベース１には、表示エリア番号ごとに複数の表示画像が蓄積されている。表示画像取得手段２１は、認識手段１２により認識された表示エリア１０１ａの識別子（マーカーの色の組合せ）から表示エリア番号を取得し、その表示エリア番号に対応する表示画像１０４を画像データベース１から取得する。また、表示画像取得手段２１は、識別子と同時に切り替えの有無の情報を受けるようにしても良い。画像データベース１に蓄積される表示画像は、識別子ごとに所定のルールに従って順序付けされている。表示エリア１０１ａの切り替え有りとの情報を受け取った場合は、表示エリア番号に対応して蓄積されている複数の表示画像のうち、現時点で投影している現表示画像の次の表示画像を取得し、切り替え無しとの情報を受け取った場合は、現時点で投影している現表示画像を再度取得する。これにより、オブジェクト１０１を表裏反転させるだけで、表示画像の切り替えが行われるようになる。

調整手段２２は、認識手段１２により認識された表示エリア１０１ａの位置・方向・範囲に合わせて、取得した表示画像１０４を調整する。具体的には、位置調整は、表示エリア１０１ａの重心Ｃの座標と、表示画像１０４の中心の座標とを一致させるように位置決めする。方向調整は、表示エリア１０１ａの方向に一致するように、表示画像１０４を角度θだけ回転させて方向を決定する。範囲調整は、表示エリア１０１ａの範囲に収まるように、表示画像１０４を拡大・縮小する。なお、調整手段２２は、これらの調整をベースとなる基本座標上で行い、投影画像１０３を生成する。撮影手段２と投影手段３との座標のズレを補正するために、上記キャリブレーション機能を利用して、所定のルールにより導出される補正係数を用いることが好ましい。認識手段１２により認識された表示エリアが複数である場合は、表示エリアごとに調整手段２２による処理を行う。上記位置・方向・範囲の調整をベースとなる基本座標上で行い、投影画像１０３を生成する。撮影画像に含まれる表示エリアが複数であり、調整済みの表示画像が複数ある場合は、基本座標上に総ての表示画像を配置して調整を行い、総ての表示画像が配置された投影画像１０３を生成する。

また、調整手段２２は、表示エリアが重ね合わせられている旨の情報を受け取った場合は、重なり合っている表示エリアのうち、一の表示エリアに合わせて表示画像を調整する。重なり合っている表示エリアのうち、何れの表示エリアに合わせても良いが、本実施の形態では、範囲の大きい表示エリアに合わせるように設定されている。たとえば、オブジェクト１０２にオブジェクト１０１を重ねた場合は、表示エリア１０２ａに表示エリア１０１ａが重なり合った状態となっているため、表示エリア１０２ａに合わせるように表示画像１０４を調整する。あたかも、表示画像１０４をオブジェクト１０１からオブジェクト１０２に移したような直感的な操作により、表示画像１０４の移動を行うことができる。表示エリア１０２ａの表示画像１０４は、所定時間経過の後、自動的に消えるようにしても良い。

投影手段３は、表示制御装置Ｓの調整手段２２から投影画像１０３を逐次受信する機能と、その投影画像１０３を被投影面１００に投射する機能を備える。投影画像１０３中の表示画像１０４は、表示エリア１０１ａに重なり、表示エリア１０１ａに表示された状態となる。

（表示制御方法）
つぎに、本実施の形態の表示制御装置Ｓを用いた表示制御方法を説明する。図７は本表示制御方法を説明する概略フローである。なお、各ステップは、上記各手段に対応するため、詳細な説明は省略する。

表示制御装置Ｓは、撮影画像取得手段１１により、撮影手段２により撮影された撮影画像を経時的に連続して取得する（撮影画像取得ステップ）。認識手段１２は、画像取得手段１１により撮影画像が取得されるたびに、逐次表示エリアを認識する処理を行う（認識ステップ）。表示画像取得手段２１は、認識手段１２により認識された被投影面の情報（少なくとも識別子と切り替えの有無）を受ける。認識手段１２により表示エリアの切り替え有りと認識されている場合は、その識別子に対応して蓄積されている複数の表示画像のうち、現時点で投影している現表示画像の次に蓄積されている次表示画像を取得する。切り替え無しと認識されている場合は、現時点で投影している現表示画像を再度取得する。（表示画像取得ステップ）。調整手段２２は、基本座標上において、認識手段１２により認識された表示エリアに合わせて、表示画像取得手段２１により取得された投影画像の調整を行う（調整ステップ）。

調整ステップにより表示画像が調整された結果、投影画像が生成される。投影画像は逐次投影手段３に送信され、被投影面１００に投影される。被投影面１００に含まれる表示領域１０１ａには、投影画像に含まれる表示画像が表示される。

（実施例）
以下に、実施例を説明する。図８は、本実施例の表示制御装置Ｓを利用した食卓環境を示す図である。被投影面となるテーブルの上面には、オブジェクトとして複数の皿が配置されており、表示エリアとして使用可能となっている。テーブルの上方には、プロジェクターとＵＳＢカメラが設置されており、テーブル卓面の撮影や投影画像の投影が可能となっている。

表示制御装置Ｓを利用するためには、まずカメラ付き携帯電話などで撮影した写真画像をサーバに送信し、本システムのサブシステムである画像受信システム４によって表示画像データベース１に蓄積しておく必要がある。携帯電話等で撮影した写真画像をメールに添付して指定されたアドレスへ送信する。画像受信システム６は定期的にサーバに問い合わせを行い、自動的にメールを受信し保存する。保存された写真画像とメールはディスプレイ７で閲覧することが出来る。以上によって写真画像を蓄積してから、本表示制御装置Ｓを食卓で利用する。

本実施例では、複数の円形の皿を使用し、各皿の表面を表示エリアとしている。なお、皿は大皿と小皿の二種類を用いる。図９は、本実施例に使用される皿の例を示す図である。第１の表示エリアとなる各皿の表面には、三箇所にマーカーが付されている。表面の３つのマーカーは侠角がほぼ60 °の正三角形に配置してある。マーカーの色は光沢のない蛍光色のピンク・緑・青の３色あり、皿は色の組合せにより識別される。すなわち、表示制御装置Ｓには、色の組合せと表示エリア番号との対応が設定されており、色の組合せが識別子の役割を果たしている。マーカーは、大皿に３色、小皿に２色ずつ使われており、小皿の色の組み合わせ方は小皿ごとに全て異なっている。この色の組合せが識別子となり、皿を識別したり、皿の持ち主を判定したりすることも可能となっている。また、小皿の裏面には表面と同じ組合せのマーカーが大きさを縮小した三角形の位置に配置されている。さらに小皿の裏面には三角形の重心に切り替え判断用のマーカーとして黄色マーカーが貼ってある。これは小皿をひっくり返した事を認識させることにより、表示エリアの切り替えを認識させるためのものである。皿は粉引きという種類の皿を用いた。粉引きの陶器は表面の光沢があまりなく、蛍光灯の光の反射による認識精度の低下を回避しやすいからである。

まず、撮影手段２であるＵＳＢカメラにより、被投影面１００であるテーブルの上面を撮影する。撮影では、ＵＳＢカメラでテーブルの上を数秒ごとにキャプチャーし（解像度：６４０×４８０ピクセル深度：24）、キャプチャーした撮影画像をメモリ内に作った仮想ドライブに上書き保存する。認識システムＳ１は、０．５秒間隔でファイルが上書きされたかを監視する。撮影画像が上書きされた事を確認すると、撮影画像取得手段１１が撮影画像を読み込む。つぎに、認識手段１２が、マーカーを用いて、皿の位置・方向・範囲・識別子・表示エリアである表面と裏面の切り替えの有無・表示エリアが形成される皿の重なり合いを認識する。たとえば、黄色のマーカーと、他の三つのマーカーの重心との距離が所定値以内である場合（１０ピクセル未満）は、皿が裏返されており、表示エリアが裏面に切り替えたれたと認識する。

表示画像取得手段２１は、認識手段１２により認識された情報をもとに、画像データベース１から識別子（皿に付されたマーカーの色の組合せ）に対応する写真画像を取得し、調整手段２２によりその写真画像をその表示エリアに合うように基本座標上で調整し、投影画像を生成する。その投影画像は投影手段であるプロジェクターに送信され、プロジェクターは、その投影画像を被投影面であるテーブル上面に投影する。表示エリアである各皿の面には、各皿に対応した写真画像が表示されることとなる。画像データベース１に蓄積される写真画像は、所定のルールに従って順序付けされている。写真画像の取得に際して、認識手段１２により表裏面の切り替え有りと認識された場合は、現時点で投影されている現写真画像の次の写真画像を取得し、表示画像が切り替わるようになっている。表示画像の表示順序のルールは問わないが、本実施例では、画像受信システム４に最後に受信したものから順に表示され、皿を表裏反転させるごとに、より古い写真画像が表示されるようになっている。最後の写真画像まで行くと、最新の写真画像に戻るようになっている。たとえば、皿の表面に「ウグイス」「モズ」「除夜の鐘」「鼓」「ほおじろ」「やまがら」の絵を貼っておき、裏面に切り替わる際に、対応する泣き声が鳴るようにしても良い。

また、大皿と小皿の重心が十分近いとき（10 ピクセル未満）、大皿の上に小皿が乗っていると認識される（図６参照）。皿の重なり、すなわち、表示エリアの重なりが認識されると「ししおどし」の音が鳴り、小皿の表示エリアに投影されている写真画像が大皿の表示エリアのサイズに拡大表示（小皿の1.5〜2 倍程度）される。また、大皿の付近に写真送信時のメール本文が表示されるようにしても良い。メール本文は、大皿の右側に表示されているが、いずれの位置でも良い。

上記実施の形態では、表示エリアが円形である場合を例に説明したが、四角形など、他の形状でも良い。また、本発明は、家庭の食卓などにおいてコミュニケーション支援を主たる目的として使用したり、職場のデスクなどにおいて共同作業の支援を主たる目的として使用したり、レストランのテーブルなどにおいて遊具として使用したり、テーブルウェアとして様々な場面に適用可能である。また、本実施例では、テーブル卓上の皿を表示エリアとしてテーブルウェアに適用した場合を例に説明したが、皿に限らず他のオブジェクトでも良い。ただし、テーブル上での取り扱いが容易且つ違和感の無いものであることが好ましい。たとえば、テーブルが存在しない場所でオブジェクトのみを用いた場合など、他の場面にも広く適用可能である。また、上記実施の形態において、表示エリアはオブジェクトの面に形成されているが、オブジェクトの面を表示エリアとすることなく、被投影面に表示エリアを直接形成した状態で、表示エリアの位置や方向や範囲を可変としても良い。たとえば、表示エリアを画する枠を被投影面に配置し、その枠の位置や方向や範囲を可変として、枠内の被投影面に表示画像を表示したりしても良い。

本発明の表示制御装置を説明する説明図。オブジェクトを説明する説明図マーカー検出手段を説明するための撮影画像の例を示す図。マーカー検出手段によるマーカーの検出方法を説明する説明図。表示エリアの方向を認識する方法を説明する説明図。二つの表示エリアを例として、その重なり合いを説明する説明図。本表示制御方法を説明する概略フロー。本実施例の表示制御装置を利用した食卓環境を示す図。本実施例に使用される皿の例を示す図。皿の重なりとメール本文の表示を示す図。

符号の説明

Ｓ表示制御装置
Ｓ１認識システム
Ｓ２投影システム
１１撮影画像取得手段
１２認識手段
２１表示画像取得手段
２２調整手段
１表示画像データベース
２撮影手段
３投影手段
４画像送信システム
５サーバー
６画像受信システム
１００被投影面
１０１，１０２オブジェクト
１０１ａ，１０１ｂ，１０２ａ，１０２ｂ表示エリア
１０３投影画像
１０４表示画像
ｍ１，ｍ２，ｍ３マーカー

Claims

表示エリアに表示される表示画像を制御する表示制御装置であり、
表示エリアが撮影された撮影画像を経時的に連続して取得する撮影画像取得手段と、前記撮影画像取得手段により連続して取得された撮影画像ごとに表示エリアを認識する認識手段と、前記認識手段により認識された表示エリアに合わせて表示画像を調整する調整手段とを備え、
前記認識手段は、前記表示エリアの重なり合いを認識する機能を備え、重なり合う表示エリアのうち一の表示エリアに合わせるように表示画像を調整することを特徴とする表示制御装置。
前記認識手段は、表示エリアの位置、方向、範囲のうち少なくとも一つを認識することを特徴とする請求項１記載の表示制御装置。
前記認識手段は、前記表示エリアに付されるマーカーにより表示エリアを認識する機能を備えることを特徴とする請求項１又は請求項２記載の表示制御装置。
前記認識手段は、前記表示エリアに付される識別子を認識する機能を備え、識別子に応じて表示エリアに表示する表示画像を決定することを特徴とする請求項１乃至請求項３のいずれか１項に記載の表示制御装置。
前記認識手段は、前記表示エリアの切り替えを認識する機能を備え、表示エリアの切り替えに応じて表示する表示画像を切り替えることを特徴とする請求項１乃至請求項４のいずれか１項に記載の表示制御装置。