図1は、本発明の一実施形態である表示装置1の構成を示すブロック図である。表示装置1は、水平置きの表示装置であり、表示画面上に載置されるタブレット装置3または棒状体4と連動して、入力される情報を、表示している情報と合成して表示するものである。表示装置1は、制御部11、通信部12、データ記憶部13、形状認識部14、位置認識部15、文字認識部16、発光部17、発光制御部18、画像入力部19、表示情報生成部20、表示制御部21、表示部22、入力部23、図示しない計時部、タブレット装置3、および棒状体4を含んで構成される。本発明に係る表示方法は、表示装置1で実行される。
制御部11は、図示しない中央処理装置(以下「CPU」という)および記憶部111を含んで構成される。制御部11は、記憶部111に記憶されるプログラムをCPUによって実行して、通信部12、形状認識部14、位置認識部15、文字認識部16、発光制御部18、表示情報生成部20および入力部23を制御する。記憶部111は、たとえば半導体メモリによって構成され、CPUで実行されるプログラムおよびCPUが処理を行うときに用いる情報を記憶する。
受信手段である通信部12は、タブレット装置3と情報の送受信を行う通信装置であり、制御部11から受け取る情報をタブレット装置3に送信し、タブレット装置3から受信する情報を制御部11に送る。データ記憶部13は、たとえば半導体メモリなどの記憶装置によって構成され、ベース表示情報131およびタブレット表示情報132などの情報を記憶する。データ記憶部13は、制御部11によって情報の書き込み、および情報の読み出しが行われる。
ベース表示情報131は、表示部22の表示画面の全面に一画面として表示される情報である。タブレット表示情報132は、タブレット装置3ごとおよび棒状体4ごとに記憶され、識別情報(以下「ID」という)301、縮小302、稼働(以下「ACTIVE」という)303、機能304、タブレット情報305、および表示情報306などの情報を含む。ID301は、各タブレット装置3および各棒状体4を識別するための情報であり、タブレット装置3および棒状体4に共通の情報である。すなわち1つのID301は、タブレット装置3および棒状体4のうちのいずれか1つに割り当てられる。
縮小302は、載置された物体が棒状体4のときに、仮想タブレットの大きさを縮小したか否かを示す情報である。取得領域である仮想タブレットは、表示部22の表示画面に載置された棒状体4に対して、表示画面の領域(以下「表示領域」という)に設けられる仮想のタブレット領域である。仮想タブレットは、予め定める形状である矩形形状である。ACTIVE303は、タブレット装置3または棒状体4が表示部22に載置されたことが表示装置1によって認識されていることを示す情報であり、載置されていると認識されているとき、「オン(以下「ON」という)」が記憶され、載置されていると認識されていないとき、「オフ(以下「OFF」という)」が記憶される。機能304は、通信機能があるか否かを示す情報であり、タブレット装置3は通信機能有りであり、棒状体4は通信機能なしである。
タブレット情報305は、サイズ311、位置312、角度313および方向314などの情報を含む。サイズ311は、タブレット装置3の大きさ、または棒状体4の大きさを示す情報である。棒状体4の場合は、仮想タブレットの大きさであり、縮小が行われた場合は縮小後の仮想タブレットの大きさである。位置312は、表示領域内に載置されたタブレット装置3または棒状体4の位置を示す情報である。位置312は、たとえば表示画面上の位置をXY座標系の座標で表したとき、タブレット装置3または棒状体4の特定の部位が、表示画面に載置される位置の座標である。
XY座標系は、たとえば表示領域が矩形であり、その矩形の4辺のうちのいずれかの辺から表示領域を見て、左上の頂点を原点とし、右方向をX軸の正方向とし、下方向をY軸の正方向とする座標系である。正方向は、予め定める方向である。タブレット装置3または棒状体4の特定の部位は、たとえばクイックレスポンスコード(以下「QRコード」という)が付される短冊形の後述する棒状部38または棒状体4の左上の頂点とする。角度313は、載置されたタブレット装置3または棒状体4がX軸に対してなす角度であり、たとえばQRコードが付される棒状部38または棒状体4の前記特定の部位を起点とする長手方向とX軸との角度で表される。方向314は、棒状体4の両側のうち仮想タブレットを確保する側を示す方向である。たとえば、棒状体4の前記特定の部位をXY座標系の原点に一致させ、かつ長手方向をX軸方向に一致させたとき、下側の方向を正方向とし、上側の方向を反対方向とする。
表示情報306は、タブレット部分の情報(図1では「タブレット」と記す)321および周辺部分の情報(図1では「周辺」と記す)322を含む。タブレット部分の情報321は、タブレット装置3の後述する座標入力部35に電子ペンなどによって入力され、タブレット装置3から送信されてきた情報、または棒状体4の仮想タブレットの領域で画像入力部19に電子ペンなどによって入力された情報である。周辺部分は、表示領域のうちタブレット装置3が載置された領域を除く残余の領域、または表示領域のうち棒状体4および仮想タブレットの領域を除く残余の領域である。周辺部分の情報322は、その周辺の領域に表示するための情報である。
形状認識部14は、画像入力部19によって入力された画像情報から載置された物体の形状および物体に付されたQRコードを認識する。識別情報であるQRコードは、たとえばID、機能およびサイズ、ならびにタブレット装置3であるか棒状体4であるかを示す情報がコード化された情報である。形状認識部14は、認識した物体の形状およびQRコードを制御部11に知らせる。形状認識部14は、形状認識部14に記憶する形状パターンと比較することによって物体の形状を認識する。制御部11は、形状認識部14から受け取ったQRコードから得られるID、機能およびサイズを、タブレット装置3または棒状体4のタブレット表示情報132として記憶する。すなわち、タブレット表示情報132に含まれる情報のうち、ID301、機能304およびサイズ311は、タブレット装置3または棒状体4に付されたQRコードから得られた情報である。
位置認識部15は、表示画面に載置された物体の位置および向き、つまり角度を認識し、認識した位置および角度を制御部11に知らせる。位置は、物体がタブレット装置3または棒状体4であるとき、前記特定の部位の位置である。文字認識部16は、画像入力部19によって入力された画像情報から文字を認識し、認識した文字を制御部11に知らせる。文字認識部16は、文字認識部16に記憶する認識パターンに基づいて文字を認識する。形状認識部14および位置認識部15は、認識手段を構成する。
照射手段である発光部17は、たとえば光を発光するバックライトなどによって構成され、表示部22に含まれる。発光部17は、発光制御部18の指示によって、表示画面に載置された物体を認識するために、表示画面の裏側から表側に光を照射する。発光制御部18は、制御部11からの指示によって、発光部17の発光および消灯を制御する。取得手段および検出手段である画像入力部19は、発光部17によって発光され、表示画面に載置された物体で反射された反射光による画像を入力し、入力した画像の画像情報を、形状認識部14、位置認識部15および文字認識部16に送る。
表示情報生成部20は、制御部11から受け取るベース表示情報131および各タブレット表示情報132の表示情報を合成して、表示部22に表示させるための描画イメージを生成し、生成した描画イメージを表示制御部21に送る。タブレット表示情報132の表示情報306をベース表示情報131に合成するサイズ、位置および角度は、制御部11から表示情報生成部20に知らされる。
表示制御部21は、表示情報生成部20から受け取る描画イメージを表示バッファ211に書き込んで記憶する。そして、表示バッファ211に記憶する描画イメージを読み出し、読み出した描画イメージを表示部22に送って表示させる。表示バッファ211は、たとえば半導体メモリによって構成され、表示部22に表示させるための描画イメージを記憶する描画メモリ領域を形成する。制御部11、表示情報生成部20および表示制御部21は、表示制御手段を構成する。
表示手段である表示部22は、たとえば液晶ディスプレイによって構成され、鉛直方向に垂直な平面状の表示画面を有する。表示画面上には、タブレット装置3および棒状体4などの物体を載置することができる。表示部22は、表示制御部21から受け取る描画イメージを表示する。入力部23は、情報を入力する入力装置であり、たとえばキーボードなどによって構成される。入力部23は、入力された情報を制御部11に送る。図示しない計時部は、時間を計時し、制御部11は、計時部を参照することによって現在の時刻を取得することができる。
図2は、タブレット装置3の構成を示すブロック図である。図3は、表示装置1の表示画面上に載置された状態のタブレット装置3を示す図である。タブレット装置3は、タブレット制御部31、タブレット通信部32、タブレット記憶部33、座標検出部34、座標入力部35およびバッテリ部36を含んで構成される。
タブレット装置3は、たとえばA4判の大きさの矩形の板状の可搬型の装置である。タブレット装置3は、透明部37を有する座標入力部35と、タブレット制御部31、タブレット通信部32、タブレット記憶部33、座標検出部34および座標入力部35を収容する棒状部38とから構成される。棒状部38は、タブレット装置3の矩形の外周の1つの辺に沿って形成され、裏面、つまりタブレット装置3を表示装置1に載置したとき表示画面に接する面に、少なくとも2つのQRコード39が付される。棒状部38は、短冊形の形状であり、透明であってもよいし、不透明であってもよい。図3に示した例では、2つのQRコードが、予め定める異なる位置、たとえば棒状部38の長手方向の両端付近に付されているので、棒状部38の長手方向を特定することができる。QRコードは、QRコードの代わりにバーコードなど他のコードを用いることも可能である。
タブレット制御部31は、図示しないCPUおよび図示しないメモリを含んで構成される。タブレット制御部31は、メモリに記憶されるプログラムをCPUによって実行して、タブレット通信部32、座標検出部34および座標入力部35を制御する。メモリは、たとえば半導体メモリによって構成され、CPUで実行されるプログラムおよびCPUが処理を行うときに用いる情報を記憶する。
送信手段であるタブレット通信部32は、表示装置1の通信部12と情報の送受信を行う通信装置であり、タブレット制御部31から受け取る情報を表示装置1に送信し、表示装置1から受信する情報をタブレット制御部31に送る。
タブレット記憶部33は、たとえば半導体メモリなどによって構成され、ID401、機能402、タブレット情報405および表示情報406などの情報を記憶する。タブレット記憶部33は、タブレット制御部31によって情報の書き込み、および情報の読み出しが行われる。ID401は、当該タブレット装置3に割り当てられたIDである。機能402は、当該タブレット装置3に通信機能があるか否かを示す情報であり、タブレット装置3は、タブレット通信部32を含むので、常に通信機能有りである。
タブレット情報405は、サイズ411の情報を含む。サイズ411は、タブレット装置3の大きさであり、たとえばタブレット装置3であればA4判の大きさである。表示情報306は、タブレット部分の情報(図2では「タブレット」と記す)421および周辺部分の情報(図2では「周辺」と記す)422を含む。タブレット部分の情報421は、座標入力部35から入力され、座標検出部34によって補正された軌跡情報である。軌跡情報は、電子ペンなどが透明部37あるいは表示部22の表示画面と接触する位置が移動した軌跡を表す情報である。周辺部分の情報422は、表示装置1から周辺部分の情報として受信した情報である。
座標検出部34は、座標入力部35から受け取る軌跡情報に含まれる誤差を無くす補正を行い、補正後の軌跡情報をタブレット制御部31に送る。座標入力部35は、矩形形状の透明な透明部37を有し、電子ペンなどが透明部37と接触した位置を検出し、検出した位置の軌跡を、軌跡情報として座標検出部34に送る。座標入力部35によって入力された軌跡情報は、ノイズなどの影響を受けて誤差を有しているので、座標検出部34でその誤差を補正する。バッテリ部36は、たとえばバッテリなどの直流電源によって構成され、タブレット制御部31、タブレット通信部32、タブレット記憶部33、座標検出部34および座標入力部35に給電する。
表示装置1の制御部11は、画像入力部19によって入力された画像情報から形状認識部14によって認識された形状およびQRコード、位置認識部15によって認識された位置に基づいて、載置されたタブレット装置3の表示領域内での領域を特定する。タブレット装置3のタブレット制御部31は、座標入力部35によって入力され、座標検出部34によって補正された軌跡情報を、タブレット通信部32によって表示装置1に送信する。
そして、表示装置1の制御部11は、通信部12によってタブレット通信部32から軌跡情報を受信し、受信した軌跡情報を、軌跡情報が送信されたタブレット装置3のIDに合致するID301が記憶されるタブレット表示情報132に含まれる表示情報306に、タブレット部分の情報321として記憶する。制御部11は、データ記憶部13に記憶されるベース表示情報131を表示情報生成部20に送り、引き続いてタブレット表示情報132を順次表示情報生成部20に送る。表示情報生成部20は、受け取ったベース表示情報131およびタブレット表示情報132を合成して描画イメージを生成し、生成した描画イメージを、表示制御部21を介して表示部22に送り表示させる。
図4は、表示装置1の表示画面上に載置された状態の棒状体4を示す図である。棒状体4は、たとえば短冊形の棒状の形態であり、通信機能はない。棒状体4は、裏面、つまり載置されたときに表示画面に接する面に少なくとも2つのQRコードが付されている。図4に示した例では、2つのQRコード42が棒状体4の長手方向の両端付近に付されているので、表示装置1は、棒状体4の長手方向を特定することができる。表示装置1は、載置された棒状体4に対して仮想タブレット41の領域を設定し、設定した仮想タブレット41の領域の境界を示す境界情報、たとえば破線を表示情報生成部20に送り、表示部22に表示させる。境界情報は、取得領域境界情報である。
表示装置1の制御部11は、画像入力部19によって入力された画像情報から、形状認識部14によって認識された形状およびQRコード、ならびに位置認識部15によって認識された位置に基づいて、表示画面に載置された棒状体4の表示領域内での領域を特定する。特定した領域の棒状体4に対して仮想タブレット41の領域を設定し、表示部22に仮想タブレット41の領域の境界を示す境界情報、たとえば破線を表示する。画像入力部19は、入力された画像情報から、仮想タブレット41の領域内で電子ペンが接触した位置の軌跡を抽出し、抽出した軌跡を表す軌跡情報を制御部11に送る。
そして、制御部11は、受け取った軌跡情報を、QRコードを認識した棒状体4のIDに合致するID301が記憶されるタブレット表示情報132に含まれる表示情報306に、タブレット部分の情報321として記憶する。制御部11は、データ記憶部13に記憶されるベース表示情報131を表示情報生成部20に送り、引き続いてタブレット表示情報132を順次表示情報生成部20に送る。表示情報生成部20は、受け取ったベース表示情報131およびタブレット表示情報132を合成して描画イメージを生成し、生成した描画イメージを、表示制御部21を介して表示部22に送り表示させる。
図5は、表示バッファ211に記憶される描画イメージの一例を示す図である。表示バッファ211は、表示情報生成部20によってベース表示情報131と、各タブレット表示情報132に含まれる表示情報306とが合成された描画イメージを記憶するための描画メモリ領域として機能する。図5に示した表示バッファ211は、表示画面の各画素に表示される画素ごとの情報を記憶する記憶位置を、表示画面の縦横に対応するように配置し、描画イメージに合致するようにして示している。
図5に示した表示バッファ211では、表示バッファ211の記憶領域のうち、表示情報135aまたは表示情報135bが記憶される領域以外の領域は、ベース表示情報131が記憶されている。表示情報135aまたは表示情報135bが記憶される領域は、タブレット装置3が載置されている領域に対応している。表示情報が表示される位置は、タブレット装置3の位置が移動すると、それに応じて移動し、図5では、表示情報135aの位置から表示情報135bの位置に移動している。
図6は、電子ペンで入力された軌跡情報の描画イメージの一例を示す図である。図6(a)は、タブレット装置3に電子ペン5によって入力された軌跡情報を示している。この軌跡情報は、タブレット表示情報132含まれる表示情報306のうちタブレット部分の情報321として、データ記憶部13に記憶される。図6(a)には、「手書き」という軌跡情報が示されている。
図6(b)は、「手書き」という軌跡情報が表示情報135cとしてベース表示情報131に合成されて、表示バッファ211に記憶されている状態を示している。すなわち、電子ペン5によって入力された「手書き」という軌跡情報が、タブレット装置3が載置されている領域に対応している領域に表示情報135cとして表示されることを示している。
図7は、棒状体4の載置位置と仮想タブレット41の領域が設定される位置との関係を示す図である。図7(a)は、棒状体4aが載置され,正方向に仮想タブレット41aが設定され、つまり確保された状態を示している。表示領域221のうち棒状体4aの正方向の領域が広いので、仮想タブレット41は、表示領域221内に確保されている。図7(b)は、棒状体4aを棒状体4bの位置に移動した状態を示している。棒状体4bの正方向には、仮想タブレット41bの領域を確保するために十分な領域がないので、棒状体4bの反対方向に仮想タブレット41cの領域が確保されている。
図8および図9は、表示装置1が実行する第1の表示処理の処理手順を示すフローチャートである。第1の表示処理は、棒状体4による仮想タブレット41から入力された情報を表示する処理が主たる処理であるが、タブレット装置3から入力された情報を表示する処理も含んでいる。表示装置1の電源が投入され、動作可能状態になるとステップA1に進む。
取得ステップであるステップA1では、画像入力部19は、表示画面(図では「画面」と記す)上の画像を取り込む。表示画面上の画像とは、表示画面に載置される物体あるいは表示画面に接触する電子ペンの先端部など表示画面に接触あるいは近接する領域の画像である。表示画面上の画像を取り込むとは、表示画面に接触あるいは近接する領域の画像を画像情報として取り込むことである。画像入力部19は、取り込んだ画像情報を形状認識部14、位置認識部15および文字認識部16に送る。
ステップA2では、制御部11は、取込画像に変化があるか否かを判定する。制御部11は、形状認識部14によって認識された形状およびQRコード、位置認識部15によって認識された位置、ならびに文字認識部16によって認識された文字を、次回の比較のためにデータ記憶部13に記憶しておく。そして、新たに、形状認識部14によって認識された形状およびQRコード、位置認識部15によって認識された位置、ならびに文字認識部16によって認識された文字と、データ記憶部13に記憶した形状などの情報とを比較して、取込画像に変化があるか否かを判定する。
制御部11は、形状認識部14によって認識された形状およびQRコード、位置認識部15によって認識された位置、ならびに文字認識部16によって認識された文字のうちのいずれかが、前回、形状認識部14によって認識された形状およびQRコード、位置認識部15によって認識された位置、ならびに文字認識部16によって認識された文字と変化していると、取込画像に変化があると判定し、ステップA3に進む。また、制御部11は、形状認識部14によって認識された形状およびQRコード、位置認識部15によって認識された位置、ならびに文字認識部16によって認識された文字のうちのいずれもが、前回、形状認識部14によって認識された形状およびQRコード、位置認識部15によって認識された位置、ならびに文字認識部16によって認識された文字と変化していないと、取込画像に変化がないと判定し、ステップA12に進む。
認識ステップであるステップA3では、制御部11は、表示画面上の変化の位置と領域とを確認し認識する。すなわち、制御部11は、形状認識部14によって認識された形状およびQRコード、ならびに位置認識部15によって認識された位置に基づいて、変化した後の位置、角度および領域を確認し認識する。QRコードが認識されれば、QRコードを解析してID、機能およびサイズを得る。
ステップA4では、制御部11は、位置などに変化があると認識されたものが手であるか否かを判定する。QRコードが認識されず、かつ認識された形状の面積が電子ペンの先端部の形状の面積よりも広い場合、指が接触したと判定、つまり手であると判定し、ステップA12に進む。QRコードが認識された場合、または認識された形状の面積が電子ペンの先端部の形状の面積以下である場合、手ではないと判定し、ステップA5に進む。
ステップA5では、制御部11は、位置などに変化があると認識されたものが認識可能な物体であるか否かを判定する。QRコードが認識されたとき、またはステップA3で認識された形状が電子ペンの先端部の形状と同じであるとき、認識可能な物体であると判定し、ステップA20に進む。QRコードが認識されず、かつステップA3で認識された形状が電子ペンの先端部の形状と同じでないとき、ステップA6に進む。ステップA5では、制御部11は、QRコードの有無で、表示画面に載置された物体がタブレット装置3または棒状体4であるか否かを判定しているが、認識された形状がタブレット装置3の形状または棒状体4の形状と同じであるか否かで判定してもよい。
ステップA6では、制御部11は、ステップA3で変化があったと認識された位置(以下「注目位置」という)がタブレット領域であるか否かを判定する。注目位置が、いずれかのタブレット表示情報132のタブレット情報305に含まれるサイズ311、位置312、角度313および方向314によって決まるタブレット領域内にあるとき、タブレット領域であると判定し、ステップA7に進む。注目位置が、タブレット表示情報132のタブレット情報305に含まれるサイズ311、位置312、角度313および方向314によって決まるいずれのタブレット領域内にもないとき、タブレット領域でないと判定し、ステップA10に進む。
ステップA7では、制御部11は、座標データを手書きデータとして保存する。具体的には、注目位置の座標データを、注目位置が含まれるタブレット領域を示すタブレット情報305を含むタブレット表示情報132に含まれる表示情報306のタブレット部分の情報321として、つまり手書きデータとして記憶し保存する。ステップA8では、制御部11は、帰線期間中に、画像入力部19によって、注目位置が含まれるタブレット領域限定で表示画面上の画像を取り込む。画像入力部19は、取り込んだ画像情報を形状認識部14、位置認識部15および文字認識部16に送る。ステップA9では、制御部11は、位置認識部15によって新たに認識された位置の座標データを、手書きデータとして記憶し保存する。ステップA3,A7〜A9は、検出ステップである。
ステップA10では、制御部11は、表示情報生成部20にて描画イメージを生成する表示イメージ生成処理を実行する。表示イメージ生成処理は、図12で詳述する。ステップA11では、制御部11は、表示情報生成部20の出力に表示を変更し、ステップA1に戻る。具体的には、制御部11は、表示情報生成部20が生成した描画イメージを表示制御部21によって表示部22に出力させる。表示制御部21は、表示情報生成部20から入力された描画イメージを表示バッファ211に記憶し、表示バッファ211に記憶した描画イメージを読み出して表示部22に送り表示させ、ステップA1に戻る。
ステップA20では、制御部11は、物体のACTIVEはONであるか否かを判定する。タブレット表示情報132のうち、ステップA3で認識されたQRコードから得たIDと同じID301を含むタブレット表示情報132のACTIVE303がONであるとき、物体のACTIVEはONであると判定し、ステップA21に進む。タブレット表示情報132のうち、ステップA3で認識されたQRコードから得たIDと同じID301を含むタブレット表示情報132のACTIVE303がOFFであるとき、物体のACTIVEはONでないと判定し、ステップA28に進む。ステップA3で認識されたQRコードから得たIDと同じID301を含むタブレット表示情報132がないときは、新たにステップA3で認識されたQRコードから得たIDと同じID301を含むタブレット表示情報132を生成し、ステップA28に進む。
ステップA21では、制御部11は、物体がディスプレイ上、つまり表示画面上に存在するか否かを判定する。データ記憶部13に記憶されるすべてのタブレット表示情報132のID301が、ステップA3で認識されたQRコードから得たいずれかのIDに一致すると、物体がディスプレイ上に存在すると判定し、ステップA22に進む。データ記憶部13に記憶される各タブレット表示情報132のID301のうちいずれかのID301が、ステップA3で認識されたQRコードから得たIDに一致しないと、物体がディスプレイ上に存在しないと判定し、ステップA33に進む。
ステップA22では、制御部11は、該当IDのデータ記憶部13(図9〜11では「記憶部」と記す)の「位置」および「角度」を更新する。具体的には、データ記憶部13に記憶されるタブレット表示情報132のうち、ステップA3で認識されたQRコードから得たIDと同じID301を含むタブレット表示情報132の「位置」および「角度」を、ステップA3で認識した変化した位置および角度に書き換え更新する。
ステップA23では、制御部11は、物体の位置が印刷または保存の領域にあるか否かを判定する。印刷の領域は、タブレット表示情報132に含まれる表示情報306の印刷を指示するために、表示画面に表示されるアイコンの領域であり、保存の領域は、タブレット表示情報132に含まれる表示情報306の保存を指示するために表示画面に表示されるアイコンの領域である。
これらのアイコンは、表示画面に表示されている表示情報を電子ペンによってドラッグアンドドロップすることを可能にするために設けられる。表示画面に表示されている表示情報のいずれかを電子ペンでドラッグし、印刷または保存のアイコンの位置でドロップする。印刷を可能とするときは、たとえば表示装置1に印刷装置を接続しておく。また、保存を可能とするときは、たとえば表示装置1に着脱可能な記録媒体を接続しておく。
制御部11は、電子ペンの先端部の形状に一致する形状が印刷のアイコンまたは保存のアイコンの領域にあると、物体の位置が印刷または保存の領域にあると判定し、ステップA35に進む。ステップA3で認識された形状のうち電子ペンの先端部の形状に一致する形状が印刷のアイコンおよび保存のアイコンの領域のいずれにもないと、物体の位置が印刷および保存の領域のいずれにもないと判定し、ステップA24に進む。
ステップA24では、制御部11は、認識可能な物体が通信機能有りか否かを判定する。ステップA3で位置に変化が有ったと判断された認識可能な物体のQRコードから得られた「機能」が、通信機能があることを示していると、通信機能有りと判定し、ステップA25に進む。ステップA3で位置に変化が有ったと判断された認識可能な物体のQRコードから得られた「機能」が、通信機能がないことを示していると、通信機能なしと判定し、ステップA29に進む。
ステップA25では、制御部11は、通信部12によってタブレット通信部32とデータ通信を確立する。ステップA26では、制御部11は、タブレット座標入力部から座標情報を取得する。具体的には、制御部11は、タブレット装置3の座標入力部35によって入力された軌跡情報を、通信部12によってタブレット通信部32から座標情報として受信し取得する。ステップA27では、制御部11は、通信部12によって受信した座標情報を手書きデータとして、つまりデータ記憶部13のタブレット部分の情報321として記憶し保存し、ステップA6に進む。
ステップA28では、制御部11は、該当IDのデータ記憶部13の「ACTIVE」をONとし、ステップA23に進む。具体的には、データ記憶部13に記憶されるタブレット表示情報132のうち、ステップA3で認識されたQRコードから得たIDと同じID301を含むタブレット表示情報132のACTIVE303をONにし、ステップA23に進む。
ステップA29では、制御部11は、仮想タブレット41の領域確保可能であるか否かを判定する。ステップA3で位置に変化が有ったと判断された棒状体4のQRコードから得たIDと同じID301を含むタブレット表示情報132の方向314に示される方向の側の表示領域に、仮想タブレット41の領域を確保することができるとき、領域確保可能であると判定し、その方向に、仮想タブレット41を確保し、ステップA6に進む。ステップA3で位置に変化が有ったと判断された棒状体4のQRコードから得たIDと同じID301を含むタブレット表示情報132の方向314に示される方向の側の表示領域に、仮想タブレット41の領域を確保することができないとき、領域確保可能でないと判定し、ステップA30に進む。
ステップA30では、制御部11は、反対方向に領域確保可能であるか否かを判定する。ステップA3で位置に変化が有ったと判断された棒状体4のQRコードから得たIDと同じID301を含むタブレット表示情報132の方向314に示される方向と反対の方向の側の表示領域に、仮想タブレット41の領域を確保することができるとき、反対方向に領域確保可能であると判定し、ステップA32に進む。ステップA3で位置に変化が有ったと判断された棒状体4のQRコードから得たIDと同じID301を含むタブレット表示情報132の方向314に示される方向と反対の方向の側の表示領域に、仮想タブレット41の領域を確保することができないとき、反対方向に領域確保可能でないと判定し、ステップA31に進む。
ステップA31では、制御部11は、データ記憶部13に記憶されるタブレット部分の情報321の描画イメージの大きさを(X,Y)で縮小し、ステップA6に進む。すなわち、ステップA3で位置に変化が有ったと判断された棒状体4のタブレット表示情報132に含まれる表示情報306のタブレット部分の情報321の描画イメージの大きさを、当該棒状体4の仮想タブレット41のXY座標系で縦横比を変えずに、確保できない表示領域に入る最大の大きさに縮小し、縮小した大きさの仮想タブレット41を確保する。棒状体4の仮想タブレット41のXY座標系は、表示装置1の表示画面のXY座標系と異なる座標系であり、たとえば仮想タブレット41が棒状体4の正方向に形成され、仮想タブレット41が棒状体4の下側になるように配置したとき、原点を仮想タブレットの左上の頂点とし、X軸の正方向を右方向とし、Y軸の正方向を下方向とする座標系である。
ステップA32では、制御部11は、ステップA3で位置に変化が有ったと判断された棒状体4のQRコードから得たIDと同じID301を含むタブレット表示情報132の方向314が示す方向を反転するとともに、反転した方向に、仮想タブレット41を確保し、ステップA6に進む。ステップA33では、制御部11は、未存在から一定時間が経過したか否かを判定する。制御部11は、ステップA21でディスプレイ上に存在しないと判定されたタブレット装置3または棒状体4が継続してディスプレイ上に存在しない時間が、一定時間、たとえば3秒間以上経過すると、未存在から一定時間が経過したと判定し、ステップA34に進む。ステップA21でディスプレイ上に存在しないと判定されたタブレット装置3または棒状体4が継続してディスプレイ上に存在しない時間が、一定時間、たとえば3秒間未満しか経過していないと、未存在から一定時間が経過していないと判定し、ステップA6に進む。
制御部11は、ステップA21でディスプレイ上に存在しないと判定されたタブレット装置3または棒状体4について、未存在が初めて検出された時刻を、計時部を参照して取得し、取得した時刻をIDごとにデータ記憶部13に記憶する。制御部11は、データ記憶部13に記憶したIDごとの時刻に基づいて継続時間を求めることができる。
ステップA34では、制御部11は、該当IDのデータ記憶部13の「ACTIVE」をOFFとして、ステップA6に進む。該当IDのデータ記憶部13の「ACTIVE」は、未存在から一定時間が経過したと判定されたタブレット装置3または棒状体4のIDと同じID301を含むタブレット表示情報132のACTIVE303である。
ステップA35では、制御部11は、電子ペンによるドラッグアンドドロップが行われたと認識する。印刷のアイコンにドラッグアンドドロップが行われたときは、電子ペンによってドラッグされた表示情報の基になったタブレット表示情報132に含まれる表示情報306を、表示装置1に接続される印刷装置で印刷し、ステップA6に進む。保存のアイコンにドラッグアンドドロップが行われたときは、電子ペンによってドラッグされた表示情報の基になったタブレット表示情報132に含まれる表示情報306を、表示装置1に装着された記録媒体に記録し保存し、ステップA6に進む。
図10および図11は、表示装置1が実行する第2の表示処理の処理手順を示すフローチャートである。第2の表示処理は、第1の表示処理の代わりに実行される処理であり、タブレット装置3から入力された情報を表示する処理が主たる処理であるが、棒状体4による仮想タブレット41から入力された情報を表示する処理も含む。表示装置1の電源が投入され、動作可能状態になるとステップB1に進む。
ステップB1〜B4,B11,B12は、それぞれ図8に示したステップA1〜A4,A10,A11と同様の処理であり、重複を避けるために説明は省略するが、分岐先が異なるステップがあるので、そのステップについては異なる分岐先のみ説明する。ステップB2では、制御部11は、取込画像に変化がないと判定したとき、ステップB13に進む。そして、ステップB4では、制御部11は、手であると判定したとき、ステップB1に戻る。
ステップB5では、制御部11は、認識可能な物体であるか否かを判定する。QRコードが認識されたとき、認識可能な物体であると判定し、ステップB20に進み、QRコードが認識されないとき、認識可能な物体でないと判定し、ステップB6に進む。
ステップB6では、制御部11は、QRコードが撤去されたか否かを判定する。データ記憶部13に記憶されるすべてのタブレット表示情報132のID301が、ステップB3で認識されたQRコードから得たIDに一致すると、QRコードが撤去されていないと判定し、ステップB7に進む。データ記憶部13に記憶されるタブレット表示情報132のID301のうちいずれかのID301が、ステップB3で認識されたQRコードから得たIDに一致しないと、QRコードが撤去されたと判定し、ステップB15に進む。ステップB7では、制御部11は、当該IDのデータ記憶部13の「サイズ」および「方向」を読み取る。すなわち、データ記憶部13に記憶される各タブレット表示情報132のサイズ311および方向314を読み取る。
ステップB8では、制御部11は、タブレット部分であるか否かを判定する。ステップB3で変化があったと認識された注目位置が、いずれかのタブレット表示情報132のタブレット情報305に含まれるサイズ311、位置312、角度313および方向314によって決まるタブレット領域内にあるとき、タブレット部分であると判定し、ステップB17に進む。注目位置が、タブレット表示情報132のタブレット情報305に含まれるサイズ311、位置312、角度313および方向314によって決まるいずれのタブレット領域内にもないとき、タブレット部分でないと判定し、ステップB9に進む。
ステップB9では、制御部11は、当該IDのデータ記憶部13の周辺部分情報を更新する。すなわち、制御部11は、注目位置を、注目位置に最も近い位置にあるタブレット装置3または仮想タブレット41の棒状体4のタブレット表示情報132に含まれる周辺部分の情報322として記憶される軌跡情報に含めて記憶する。
ステップB10では、制御部11は、注目位置に最も近い位置にある物体が通信機能有りか否かを判定する。制御部11は、ステップB9で周辺部分情報を更新したタブレット表示情報132の機能304が、通信機能があることを示していると、通信機能有りと判定し、ステップB18に進む。ステップB9で周辺部分情報を更新したタブレット表示情報132の機能304が、通信機能があることを示していないと、通信機能なしと判定し、ステップB11に進む。
ステップB13では、制御部11は、通信接続ありか否かを判定する。通信部12によっていずれかのタブレット通信部32と通信が継続して接続状態であるとき、通信接続ありと判定し、ステップB14に進む。通信部12によっていずれのタブレット通信部32とも通信が行われておらず、非接続状態であるとき、ステップB1に戻る。ステップB14では、制御部11は、当該IDのデータ記憶部13を受信情報で更新する。具体的には、通信部12によっていずれかのタブレット通信部32から受信した軌跡情報を、軌跡情報を受信したタブレット通信部32のタブレット装置3のIDと同じIDを含むタブレット表示情報132にタブレット部分の情報として記憶し、ステップB11に進む。
ステップB15では、制御部11は、一定時間が経過したか否かを判定する。制御部11は、ステップB6でQRコードが撤去されたと判定されたタブレット装置3または棒状体4のQRコードが継続して認識されない時間が、一定時間、たとえば3秒間以上経過すると、一定時間が経過したと判定し、ステップB16に進む。ステップB6でQRコードが撤去されたと判定されたタブレット装置3または棒状体4のQRコードが継続して認識されないが、一定時間、たとえば3秒間未満しか経過していないと、一定時間が経過していないと判定し、ステップB6に戻る。
ステップB16では、制御部11は、該当IDのデータ記憶部13の「ACTIVE」をOFFとして、ステップB11に進む。該当IDのデータ記憶部13の「ACTIVE」は、ステップB15で一定時間が経過したと判定されたタブレット装置3または棒状体4のIDに対応するタブレット表示情報132のACTIVE303である。
ステップB17では、制御部11は、該当IDのデータ記憶部13のタブレット部分情報を更新する。すなわち、制御部11は、注目位置を、注目位置が位置する仮想タブレットの棒状体4のIDと同じID301を含むタブレット表示情報132の表示情報306のタブレット部分の情報322として記憶される軌跡情報に含めて記憶し、ステップB11に進む。
ステップB18では、制御部11は、該当IDのタブレット装置3に周辺部分情報を送信して、ステップB11に進む。具体的には、ステップB9で更新したデータ記憶部13から周辺部分の情報322を読み出し、読み出した周辺部分の情報322を、通信部12によって、ステップB9で更新した周辺部分の情報322を含むタブレット表示情報132のIDと同じID301が割り振られたタブレット装置3に送信する。
ステップB20では、制御部11は、IDを認識する。すなわち、ステップB3で認識したQRコードに含まれるIDを認識する。ステップB21では、制御部11は、「ACTIVE」はONであるか否かを判定する。ステップB20で認識したIDと同じID301を含むすべてのタブレット表示情報132のACTIVE303がONであると、ステップB22に進む。ステップB20で認識したIDと同じID301を含むいずれかのタブレット表示情報132のACTIVE303がOFFであると、「ACTIVE」はONでないと判定し、ステップB29に進む。ステップB20で認識したIDがいずれのタブレット表示情報132のも含まれないときは、新たにタブレット表示情報132を生成して、ステップB29に進む。
ステップB22では、制御部11は、ステップB3で認識した情報から「位置」および「角度」を識別し、識別した「位置」および「角度」で、ステップB3で変化があると認識されたタブレット装置3または棒状体4のIDと同じID301を含むタブレット表示情報132の位置312および角度313を更新する。ステップB23では、制御部11は、ステップB3で変化が有ったと判断されたタブレット装置3または棒状体4のQRコードから得られた「機能」が、通信機能があることを示していると、通信機能有りと判定し、ステップB30に進む。ステップB3で変化が有ったと判断されたタブレット装置3または棒状体4のQRコードから得られた「機能」が、通信機能がないことを示していると、通信機能なしと判定し、ステップB24に進む。
ステップB24では、制御部11は、該当IDのデータ記憶部13の「サイズ」および「方向」を読み取る。すなわち、ステップB20で認識したIDと同じID301を含む棒状体4のタブレット表示情報132のサイズ311および方向314を読み取る。ステップB25では、制御部11は、タブレット領域を確保可能であるか否かを判定する。ステップB22で識別した「位置」および「角度」で、かつステップB24で読み出した「サイズ」および「方向」で、仮想タブレット41を確保可能であるとき、タブレット領域を確保可能であると判定し、仮想タブレット41を確保して、ステップB28に進む。ステップB22で識別した「位置」および「角度」で、かつステップB24で読み出した「サイズ」および「方向」で、仮想タブレット41を確保可能でないとき、タブレット領域を確保可能でないと判定し、ステップB26に進む。
ステップB26では、制御部11は、反対方向の領域を確保可能であるか否かを判定する。ステップB24で読み出した「方向」と反対の方向に仮想タブレット41を確保可能であるとき、反対方向の領域を確保可能であると判定し、ステップB27に進み、ステップB24で読み出した「方向」と反対の方向に仮想タブレット41を確保可能でないとき、反対方向の領域を確保可能でないと判定し、ステップB34に進む。ステップB27では、制御部11は、該当IDのデータ記憶部13に「方向」を記憶する。すなわち、ステップB20で認識したIDと同じID301を含む棒状体4のタブレット表示情報132の方向314を、記憶されている方向と反対の方向に更新して記憶し、更新した方向に、仮想タブレット41を確保する。
ステップB28では、制御部11は、該当IDのデータ記憶部13の表示情報を読み込み、ステップB1に戻る。すなわち、ステップB20で認識したIDと同じID310を含む棒状体4の表示情報306をデータ記憶部13から読み出し、ステップB11に戻る。ステップB29では、制御部11は、ステップB21で「ACTIVE」がOFFであると判定されたタブレット表示情報132のACTIVE303をONとして、ステップB22に戻る。
ステップB30では、制御部11は、通信部12によってタブレット装置3から「サイズ」を受信する。ステップB31では、制御部11は、該当IDのデータ記憶部13の「サイズ」を更新する。すなわち、通信部12によって受信した「サイズ」で、ステップB20で認識したIDと同じID301を含むタブレット表示情報132のサイズ311を更新する。ステップB32では、制御部11は、通信部12によってタブレット装置3から表示情報を受信する。ステップB33では、制御部11は、該当IDのデータ記憶部13の表示情報を更新して、ステップB28に進む。すなわち、通信部12によって受信した表示情報で、ステップB20で認識したIDと同じID301を含むタブレット表示情報132の表示情報306を更新して、ステップB28に進む。
ステップB34では、制御部11は、正が反よりも広いか否かを判定する。正方向に確保可能である最大の仮想タブレットの広さが反対方向に確保可能である最大の仮想タブレットの広さよりも広いとき、ステップB35に進む。正方向に確保可能である最大の仮想タブレットの広さが反対方向に確保可能である最大の仮想タブレットの広さよりも広くないとき、ステップB36に進む。ステップB35では、制御部11は、該当IDのデータ記憶部13に「縮小」を記憶し、ステップB28に進む。すなわち、ステップB20で認識したIDと同じID301を含むタブレット表示情報132の縮小302に縮小であることを記憶し、縮小した仮想タブレット41を確保して、ステップB28に進む。
ステップB36では、制御部11は、該当IDのデータ記憶部13に「方向」および「縮小」を記憶し、ステップB28に進む。すなわち、ステップB20で認識したIDと同じID301を含むタブレット表示情報132の方向314に反対方向を記憶し、かつ縮小302に縮小であることを記憶し、さらに、記憶した方向に縮小した仮想タブレット41を確保して、ステップB28に進む。縮小した場合は、縮小後のサイズをタブレット表示情報132のサイズ311に記憶する。
図12は、表示装置1が処理する表示イメージ生成処理の処理手順を示すフローチャートである。図8に示したステップA10または図10に示したステップB11に示される表示イメージ生成処理を実行する処理であり、図8に示したステップA10または図10に示したステップB11が実行されると、ステップC1に移る。
ステップC1では、制御部11は、ベース表示を描画する。すなわち、制御部11は、データ記憶部13に記憶されるベース表示情報131を表示情報生成部20に送る。表示情報生成部20は、制御部11から受け取ったベース表示情報131の描画イメージを生成する。制御部11は、データ記憶部13に記憶されるタブレット表示情報132のうち、ACTIVE303がONであるタブレット表示情報132を抽出し、抽出したタブレット表示情報132に含まれるサイズ311、位置312、角度313、方向314、および表示情報306、ならびにタブレット装置3であるか棒状体4であるかを示す情報を、表示情報生成部20に送る。
第2の表示制御ステップであるステップC3では、表示情報生成部20は、角度、位置、タブレットの大きさ、および向きを元に手書きデータを描画する。すなわち、制御部11から受け取ったサイズ、つまりタブレットの大きさ、位置、角度および方向、つまり向きを元に、手書きデータ、つまり表示情報に含まれるタブレット部分の情報を、ステップC1で生成した描画イメージに合成する。合成は、ステップC1で生成した描画イメージのうち、タブレット部分の情報を表示する領域の描画イメージをタブレット部分の情報の描画イメージに置き換える。
第1の表示制御ステップであるステップC4では、表示情報生成部20は、タブレット無しの物は、タブレット領域の境界を線で描画する。すなわち、制御部11から棒状体4であることが知らされたタブレット部分の描画イメージの輪郭を示す線、つまり仮想タブレット41の輪郭を示す破線を描画イメージに合成する。ステップC5では、表示情報生成部20は、周辺データをタブレット周辺に配置する。すなわち、周辺データ、つまり制御部11から受け取った表示情報に含まれる周辺部分の情報を、タブレット周辺、つまりタブレット部分の情報を表示する領域の描画イメージの周辺に、その周辺の描画イメージと置き換えて合成した描画イメージを生成し、表示イメージ生成処理を終了する。
図13は、タブレット装置3が処理する軌跡情報入力処理の処理手順を示すフローチャートである。タブレット装置3は、電源、つまりバッテリ部36が投入され、動作可能になるとステップD1に進む。
ステップD1では、タブレット制御部31は、タブレット通信部32によって、表示装置1との通信を行う。ステップD2では、タブレット制御部31は、通信接続があるか否かを判定する。タブレット通信部32によって表示装置1の通信部12との通信が可能となり、表示装置1と接続状態になると、通信接続があると判定し、ステップD3に進む。タブレット通信部32によって表示装置1の通信部12との通信が可能とならず、表示装置1と接続状態にならないと、通信接続がないと判定し、ステップD1に戻る。
ステップD3では、タブレット制御部31は、タブレット記憶部33のID401に記憶されている「ID」を読み出し、読み出した「ID」をタブレット通信部32によって表示装置1に送信する。ステップD4では、タブレット制御部31は、タブレット記憶部33のサイズ411に記憶されている「サイズ」を読み出し、読み出した「サイズ」をタブレット通信部32によって表示装置1に送信する。ステップD5では、タブレット制御部31は、タブレット記憶部33に記憶される表示情報406を読み出し、読み出した表示情報406をタブレット通信部32によって表示装置1に送信する。
ステップD6では、タブレット制御部31は、周辺部分の情報を受信したか否かを判定する。タブレット通信部32によって通信部12から周辺部分の情報を受信すると、ステップD7に進み、タブレット通信部32によって通信部12から周辺部分の情報を受信しないと、ステップD8に進む。ステップD7では、タブレット制御部31は、タブレット通信部32によって受信した周辺部分の情報によって、タブレット記憶部33の表示情報406の周辺部分の情報422を更新する。
ステップD8では、タブレット制御部31は、タブレット入力ありか否かを判定する。座標入力部35によって軌跡情報の入力があり、座標検出部34によって補正された軌跡情報を受け取ると、タブレット入力ありと判定し、ステップD9に進み、座標入力部35によって軌跡情報の入力がなく、座標検出部34によって補正された軌跡情報を受け取らないと、タブレット入力なしと判定し、ステップD11に進む。
ステップD9では、タブレット制御部31は、座標入力部35によって入力され、座標検出部34によって補正された軌跡情報によって、タブレット記憶部33に記憶される表示情報406に含まれるタブレット部分の情報421を更新する。ステップD10では、タブレット制御部31は、タブレット記憶部33に記憶される表示情報406に含まれるタブレット部分の情報421を読み出し、読み出したタブレット部分の情報421をタブレット通信部32によって表示装置1に送信する。
ステップD11では、タブレット制御部31は、通信が継続しているか否かを判定する。タブレット通信部32によって表示装置1の通信部12との通信が継続していると、ステップD6に戻り、タブレット通信部32による表示装置1の通信部12との通信が継続していないと、軌跡情報入力処理を終了する。
上述した実施形態では、棒状体4として通信機能を有しない例を示したが、通信機能を有するように構成することも可能である。棒状体4が通信機能を有する場合、タブレット装置3のタブレット制御部31、タブレット通信部32、タブレット記憶部33およびバッテリ部36を含んで構成される。すなわち、通信機能を有する棒状体4は、タブレット装置3から座標検出部34および座標入力部35を除いた構成と同じ構成である。
このように、表示領域が形成された表示部22によって、情報が表示される。画像入力部19によって、前記表示領域に載置される面に固有のQRコードが付された棒状体4の画像が画像情報として取得される。形状認識部14および位置認識部15によって、画像入力部19によって取得された画像情報から載置された棒状体4の位置およびQRコードが認識される。制御部11、表示情報生成部20および表示制御部21によって、形状認識部14によってQRコードが認識されると、QRコードが認識された棒状体4の長手方向に直交する方向のうち予め定める方向の側に、QRコードが認識された棒状体4に隣接する予め定める形状の仮想タブレット41が設定され、設定された仮想タブレット41を前記表示領域に表示するように表示部22が制御される。画像入力部19によって、前記表示領域に表示した仮想タブレット41内の、物体が接触する位置が検出される。そして、制御部11、表示情報生成部20および表示制御部21によって、画像入力部19によって検出された位置の軌跡を表す軌跡情報を、前記表示領域に表示するように表示部22が制御される。したがって、表示画面上に載置された物体との位置関係で決まる領域で入力された情報を表示することができる。すなわち、表示装置1をホワイトボードのように使用することができる。
さらに、形状認識部14によって、各棒状体4の少なくとも2つの予め定める異なる位置に付されたQRコードが認識されるので、予め定める異なる位置から棒状体4の方向を特定することができ、仮想タブレット41の位置を決定することができる。
さらに、表示部22に含まれる発光部17によって、光が照射される。そして、画像入力部19によって、発光部17が照射した光の反射光が画像情報として取得されるので、スキャナなどと同じ方法で実現することができる。
さらに、制御部11、表示情報生成部20および表示制御部21によって、仮想タブレット41を前記予め定める方向で前記表示領域内に設定することができないとき、前記予め定める方向と反対の方向の側に仮想タブレット41が設定されるので、表示領域の四辺の近辺であっても表示することができる。
さらに、制御部11、表示情報生成部20および表示制御部21は、仮想タブレット41を前記予め定める方向と反対の方向の側にも設定することができないときは、仮想タブレット41を縮小した領域を設定するので、表示領域の角の近辺であっても表示することができる。また、表示領域の小さい表示装置1にも対応することができる。
さらに、情報を表示する表示領域が形成された表示部22を含む表示装置の前記表示領域に情報を表示するにあたって、図8に示したステップA1または図10に示したステップB1では、前記表示領域に載置される面に固有のQRコードが付された棒状体4の画像を表す画像情報を取得する。図8に示したステップA3または図10に示したステップB3では、図8に示したステップA1または図10に示したステップB1で取得された画像情報から、載置された載置物の位置およびQRコードを認識する。図12に示したステップC4では、図8に示したステップA3または図10に示したステップB3でQRコードが認識されると、QRコードが認識された棒状体4の長手方向に直交する方向のうち予め定める方向の側に、QRコードが認識された棒状体4に隣接する予め定める形状の仮想タブレット41を設定し、設定した仮想タブレット41を前記表示領域に表示するように表示部22を制御する。図8に示したステップA3,A7〜A9では、前記表示領域に表示した仮想タブレット41内の、物体が接触する位置を検出する。そして、図12に示したステップC3では、図8に示したステップA3,A7〜A9で検出された位置の軌跡を表す軌跡情報を前記表示領域に表示するように表示部22を制御する。したがって、表示画面上に載置された物体との位置関係で決まる領域で入力された情報を表示することができる。すなわち、表示装置1をホワイトボードのように使用することができる。