以下、本発明の好適な実施形態につき説明する。
<構成>
図4は一実施形態にかかるシステムの構成例を示す図である。図4において、サーバ装置1と複数のディスプレイ装置3と複数の携帯端末4は、LAN(Local Area Network)等のネットワーク2(有線・無線を問わない)を介して相互に通信可能に接続されている。サーバ装置1は、携帯端末4のユーザが自端末の画面をディスプレイ装置3で指定した所定エリアに表示する際に、携帯端末4を特定(認証)するのに用いる認証動きパターンをディスプレイ装置3に貸与し、使用後に返却を受け付ける機能を有している。また、サーバ装置1は、携帯端末4から送信される認証のための端末動き情報を、候補となるディスプレイ装置3に転送する機能も有している。
ディスプレイ装置3は、大型のディスプレイ(液晶ディスプレイ等のほか、プロジェクタによるものを含む)を有するとともに、情報処理を行うPC(Personal Computer)の機能を有している。携帯端末4は、スマートフォン等の情報機器である。サーバ装置1は、いずれかのディスプレイ装置3と一体に構成してもよい。
以下の説明では、携帯端末4に表示された1つの画面をいずれかのディスプレイ装置3の1つの枠に紐付けるという前提で説明する。なお、携帯端末4の1つの画面を1台または複数のディスプレイ装置3の枠に紐付けたり、携帯端末4の複数の画面を1台または複数のディスプレイ装置3の枠に紐付けたりするよう、拡張することもできる。
図5はサーバ装置1の機能構成例を示す図である。図5において、サーバ装置1は、認証動きパターン管理部11と端末動き情報転送部12と認証動きパターンDB13とパターン貸与中ディスプレイリスト14と端末動き情報転送先テーブル15とディスプレイ傾斜角度テーブル16とを備えている。
認証動きパターン管理部11は、ネットワーク2を介していずれかのディスプレイ装置3から認証動きパターンの取得要求を受信した場合に、認証動きパターンDB13から1つの認証動きパターンを取り出して、要求元のディスプレイ装置3に送信する機能を有している。この際、認証動きパターンを構成する情報を全て送信してもよいし、予めディスプレイ装置3側で認証動きパターンDB13と同内容の情報を保持している場合には、認証動きパターンを識別するID(パターンID)だけを送信してもよい。貸与した認証動きパターンは、重複して他のディスプレイ装置に貸与できないように管理される。また、認証動きパターン管理部11は、認証動きパターンを貸与したディスプレイ装置3のID(ディスプレイID)をパターン貸与中ディスプレイリスト14に記録する。なお、認証動きパターン管理部11は、認証動きパターンを貸与した場合に、所定の場(複数のディスプレイ装置3を利用できる所定範囲)に存在する全ての携帯端末4に対して、端末動き情報の送信要求を行う。
また、認証動きパターン管理部11は、ディスプレイ装置3から認証動きパターンの返却要求を受信した場合に、認証動きパターンを認証動きパターンDB13に戻す機能を有している。認証動きパターン管理部11は、認証動きパターンを返却したディスプレイ装置3のID(ディスプレイID)をパターン貸与中ディスプレイリスト14から削除するとともに、端末動き情報転送先テーブル15から該当するディスプレイIDと端末IDの組を削除する。また、認証動きパターン管理部11は、貸与中の認証動きパターンがなくなった場合に、所定の場に存在する全ての携帯端末4に対して、端末動き情報の送信中止要求を行う。
図6は認証動きパターンDB13のデータ構造例を示す図であり、「パターンID」「ガイダンス情報」「加速度情報」等の項目を有している。「パターンID」は、認証動きパターンを識別する情報である。認証動きパターンに対応する操作としては、携帯端末4を三角形状に動かす操作、矩形状に動かす操作、円を描くように動かす操作、右方向、左方向、上方向または下方向のいずれかに動かす操作、左右または上下に動かす操作等がある。
「ガイダンス情報」は、認証動きパターン毎に、どのような操作を行えばよいかをユーザに理解させるために、操作の仕方を教える動画(アニメーション)、静止画、テキストまたは音声等の情報である。「加速度情報」は、ユーザにより実際に行われた操作が認証動きパターンで規定した操作と合致するか否かを判断するための、認証動きパターン毎に事前に実際に操作を行って記録された加速度時系列データである。
図5に戻り、端末動き情報転送部12は、携帯端末4から端末動き情報を受信した場合に、端末動き情報に含まれる携帯端末4の傾斜角度情報に基づいて、ディスプレイ傾斜角度テーブル16を参照して、候補となるディスプレイ装置3を絞り込む機能を有している。図7は携帯端末4の傾斜角度によるディスプレイ装置3の絞り込みの例を示す図である。図7(a)に示すように縦置きのディスプレイ装置3に対しては傾斜角度が90°の携帯端末4からの加速度情報を転送する。図7(b)に示すように平置きのディスプレイ装置3に対しては傾斜角度が0°の携帯端末4からの加速度情報を転送する。ガイダンスに従って携帯端末4を動かす場合、ディスプレイ装置3の表示面と携帯端末4の表示面の向きを合わせることは自然なことであるため、向きが合っている場合にのみ、その表示面のディスプレイ装置3に対する操作として扱う。
図5に戻り、端末動き情報転送部12は、絞り込んだ候補のディスプレイ装置3に対して、携帯端末4からの端末動き情報に含まれる加速度情報を転送する機能を有している。なお、傾斜角度を判断して一致が得られた結果は、端末動き情報転送先テーブル15に登録し、再利用する。
図8は各種リスト・テーブル等のデータ構造例を示す図である。パターン貸与中ディスプレイリスト14は、ディスプレイIDを列挙したものである。端末動き情報転送先テーブル15は、端末IDとディスプレイID(複数可)が対応付けられたものである。ディスプレイ傾斜角度テーブル16は、ディスプレイID毎に傾斜角度が設定されたものである。
次に、図9はディスプレイ装置3の機能構成例を示す図である。図9において、ディスプレイ装置3は、操作認識部302と認証動きパターン要求送信部303と操作情報送信部304とを備えている。また、ディスプレイ装置3は、認証動きパターン受信部305とガイダンス表示部307と端末動き情報受信部309と認証処理部311と認証結果送信部313と認証動きパターン返却部314と画面受信部315とを備えている。
操作認識部302は、ディスプレイ308の前面に設けられたタッチセンサ301により画面上のユーザの指やペン等の接触位置の座標に基づいて操作を認識する機能を有している。例えば、操作認識部302は、矩形状の枠が描かれた場合に、枠の描画操作を認識する。なお、タッチセンサ301に代えて、画面上のユーザの指やペンによる接触位置の座標を得る他の機構を用いることもできる。認証動きパターン要求送信部303は、操作認識部302により枠の描画操作が認識(検出)された場合に、サーバ装置1に対して認証動きパターン要求を送信する機能を有している。
認証動きパターン受信部305は、サーバ装置1から認証動きパターンを受信して認証動きパターン306として保持する機能を有している。ガイダンス表示部307は、認証動きパターン306に含まれるガイダンス情報に基づいて、ディスプレイ308の表示画面上の例えば認識されて整形表示された枠内にガイダンス動画等を表示する機能を有している。
端末動き情報受信部309は、サーバ装置1から転送された、携帯端末4からの端末動き情報(加速度情報)を受信して端末動き情報310として保持する機能を有している。認証処理部311は、認証動きパターン306の加速度情報と端末動き情報310の加速度情報とを照合し、同じ認証動きパターンであるか否か判定する機能を有している。認証処理部311は、認証動きパターンと一致したと判定した場合、枠(枠ID、XY座標)と端末IDとを枠・端末対応テーブル312に登録して紐付ける。認証結果送信部313は、認証処理部311の認証が行われた旨の認証結果として、該当する携帯端末4にディスプレイIDを送信する機能を有している。
認証動きパターン返却部314は、認証処理部311において認証が完了した認証動きパターンまたはタイムアップで認証が行われなかった認証動きパターンをサーバ装置1に返却する機能を有している。返却に際しては、認証動きパターンを構成する情報の全てを送信する必要はなく、パターンIDを指定すればよい。なお、返却に際して、その認証動きパターンを使用したディスプレイIDや、存在する場合には紐付けを行った端末IDも送信する。
画面受信部315は、紐付けが完了した携帯端末4から、アプリ画面を受信し、ディスプレイ308に表示させる機能を有している。操作情報送信部304は、操作認識部302により認識された、枠内のアプリ画面に対するユーザの操作(画面の拡大・縮小、移動、ページ送り・戻り、ポイント等)を携帯端末4に送信する機能を有している。操作情報を受信した携帯端末4は、操作情報に応じた画面遷移を行い、更新画面を送信してくるが、それは画面受信部315により受信され、ディスプレイ308の画面更新が行われる。
次に、図10は携帯端末4の機能構成例を示す図である。図10において、携帯端末4は、端末動き認識部402と傾斜角度計算部403と端末動き情報送信部404と認証結果受信部406と画面連携アプリ408と画面送信部409と操作情報受信部410とを備えている。
端末動き認識部402は、内蔵IMU(Inertial Measurement Unit:慣性計測装置)センサ401の信号から、携帯端末4自体の動き(主に加速度変化)を認識する機能を有している。傾斜角度計算部403は、同じく内蔵IMUセンサ401から携帯端末4の傾斜角度を計算する機能を有している。端末動き情報送信部404は、端末動き認識部402により認識された動きと傾斜角度計算部403により計算された傾斜角度に基づき、端末動き情報をサーバ装置1に送信する機能を有している。なお、端末動き情報送信部404は、中止フラグ405を有しており、中止フラグ405がOFFの場合にのみ動作する。中止フラグ405は、サーバ装置1から端末動き情報送信要求が行われた場合にOFFにされる。また、サーバ装置1から端末動き情報送信中止要求が行われた場合、またはディスプレイ装置3から紐付けが完了した認証結果が得られた場合に、中止フラグ405はONにされる。
認証結果受信部406は、ディスプレイ装置3から紐付けが完了した認証結果を受信し、認証結果に含まれるディスプレイIDをディスプレイID407として保持する機能を有している。画面連携アプリ408は、ディスプレイ装置3に表示反映させる画面を提供するアプリケーションプログラムの処理実体である。画面送信部409は、紐付けが行われたディスプレイ装置3に対して画面連携アプリ408の画面を送信する機能を有している。操作情報受信部410は、ディスプレイ装置3から画面に対する操作情報を受信し、画面連携アプリ408に引き渡す機能を有している。
図11はサーバ装置1、ディスプレイ装置3および携帯端末4の情報処理にかかるハードウェア構成例を示す図である。図11において、サーバ装置1等は、バス107を介して相互に接続されたCPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103を備えている。また、サーバ装置1等は、HDD(Hard Disk Drive)/SSD(Solid State Drive)104、接続I/F(Interface)105、通信I/F106を備えている。CPU101は、RAM103をワークエリアとしてROM102またはHDD/SSD104等に格納されたプログラムを実行することで、サーバ装置1等の動作を統括的に制御する。接続I/F105は、サーバ装置1等に接続される機器とのインタフェースである。通信I/F106は、ネットワークを介して他の情報処理装置と通信を行うためのインタフェースである。
図5、図9および図10で説明した各装置の機能は、CPU101において所定のプログラムが実行されることで実現される。プログラムは、記録媒体を経由して取得されるものでもよいし、ネットワークを経由して取得されるものでもよいし、ROM組込でもよい。処理に際して参照・更新されるデータは、RAM103またはHDD/SSD104に保持される。その他に、ディスプレイ装置3では、画面を表示するディスプレイ308およびタッチセンサ301が接続I/F105に接続される。携帯端末4では、画面を表示するディスプレイ、タッチセンサおよび内蔵IMUセンサ401が接続I/F105に接続される。
<動作>
図12は上記の実施形態の処理例を示すシーケンス図である。図12において、先ず、携帯端末4のユーザは、携帯端末4の画面連携アプリ408からディスプレイ装置3に表示したい画面を選択し(ステップS101)、所望のディスプレイ装置3の画面上に、表示エリアに相当する枠を指やペン等でなぞることで描く(ステップS102)。図13(a)は、携帯端末4に画面「あ」が表示され、ディスプレイ装置3にユーザが矩形の枠を描いた状態を示している。
図12に戻り、ディスプレイ装置3の操作認識部302は、枠が描かれたことを検出すると、形を整形した表示エリアを画面上に表示する(ステップS103)。図13(b)は、ディスプレイ装置3の画面上に表示エリアが表示された状態を示している。
図12に戻り、ディスプレイ装置3の認証動きパターン要求送信部303は、サーバ装置1に対して、自己のディスプレイIDを伴って認証動きパターン要求を行う(ステップS104)。これを受け、サーバ装置1の認証動きパターン管理部11は、認証動きパターンDB13から1つの認証動きパターンを取り出して、要求元のディスプレイ装置3に送信する(ステップS105)。認証動きパターンの取り出しは、同じ認証動きパターンを重複して貸与できないように行われ、例えば、認証動きパターンの順列の末尾にある認証動きパターンを順列から取り外すことにより行われる。また、認証動きパターン管理部11は、所定の場(複数のディスプレイ装置3を利用できる所定範囲)に存在する全ての携帯端末4に対して、端末動き情報送信要求を行う(ステップS106)。
一方、ディスプレイ装置3は、認証動きパターン受信部305により受信した認証動きパターンに基づき、ガイダンス表示部307によりガイダンスの表示を行う(ステップS107)。図13(c)は、ディスプレイ装置3の表示エリアに、右回りに動かすことを指示するガイダンスが表示された状態を示している。
図12に戻り、携帯端末4のユーザが、認証動きパターンのガイダンスに従って携帯端末4を動かすと(ステップS108)、端末動き認識部402が端末動き(加速度変化)を認識し、傾斜角度計算部403が傾斜角度を計算する。そして、端末動き情報送信部404は、それらを含む端末動き情報を自己の端末IDを伴ってサーバ装置1に送信する(ステップS109)。図13(d)は、ユーザが携帯端末4をガイダンスに従って右回りに動かしている状態を示している。
図12に戻り、サーバ装置1の端末動き情報転送部12は、携帯端末4から受信した端末動き情報の傾斜角度に基づき、ディスプレイ傾斜角度テーブル16を参照して転送先のディスプレイ装置3を特定する(ステップS110)。なお、傾斜角度に基づいて対応付けた端末IDとディスプレイIDは端末動き情報転送先テーブル15に保持するため、傾斜角度の判断を毎回行う必要はない。そして、端末動き情報転送部12は、特定したディスプレイ装置3に対し、端末動き情報の加速度情報を端末IDを伴って送信する(ステップS111)。
ディスプレイ装置3の端末動き情報受信部309が端末動き情報(加速度情報)を受信すると、認証処理部311は、先に取得している認証動きパターンの加速度情報と照合を行う(ステップS112)。ここでは照合により一致が判断されたものとすると、認証結果送信部313は認証された旨の認証結果としてディスプレイIDを携帯端末4に送信する(ステップS113)。また、認証動きパターン返却部314は、サーバ装置1に対して、パターンID、ディスプレイID、端末ID(存在する場合)を伴って認証動きパターンの返却を行う(ステップS114)。サーバ装置1の認証動きパターン管理部11は、返却された認証動きパターンを認証動きパターンDB13に戻す。例えば、認証動きパターンの順列の末尾にある認証動きパターンを順列から取り外すことにより貸与を行った場合は、再び、順列の末尾に返却された認証動きパターンを付加することで返却を完了する。また、認証動きパターン管理部11は、貸与中の認証動きパターンが返却により全てなくなった場合は、所定の場に存在する全ての携帯端末4に対して、端末動き情報送信中止要求を行う(ステップS115)。
認証された旨の認証結果を認証結果受信部406により受信した携帯端末4は、紐付けられたディスプレイ装置3に対して、画面連携アプリ408の画面を画面送信部409により転送開始する(ステップS116)。なお、携帯端末4側から自主的に画面の転送を開始するものとしているが、ディスプレイ装置3側から画面の転送を要求し、それに応えて携帯端末4側から画面の転送を開始するようにしてもよい。ディスプレイ装置3の画面受信部315は画面を受信すると、ディスプレイ308に表示する(ステップS117)。図13(e)は、携帯端末4の画面「あ」がディスプレイ装置3の表示エリアに表示された状態を示している。
図12に戻り、その後、任意のユーザがディスプレイ装置3の画面が表示されたエリアに対して操作を行うと(ステップS118)、ディスプレイ装置3の操作認識部302は操作を認識する。そして、操作情報送信部304は、操作情報を対応する携帯端末4に送信する(ステップS119)。携帯端末4の操作情報受信部410が操作情報を受信すると、画面連携アプリ408は操作内容に応じた画面更新を行い、画面送信部409により更新画面をディスプレイ装置3に送信する(ステップS120)。ディスプレイ装置3の画面受信部315は更新画面を受信すると、ディスプレイ308に表示(画面更新)する(ステップS121)。
以下、サーバ装置1、ディスプレイ装置3および携帯端末4のそれぞれの詳細な動作について説明する。
図14はサーバ装置1の処理例を示すフローチャートである。図14において、サーバ装置1は、外部からイベント受信があると(ステップS201)、認証動きパターン要求であるか(ステップS202)、認証動きパターン返却であるか(ステップS203)、端末動き情報であるか(ステップS204)を判断する。
認証動きパターン要求である場合(ステップS202のYes)、認証動きパターン管理部11は、認証動きパターンDB13から認証動きパターンを1つ取り出し、重複貸与不可とする(ステップS205)。次いで、認証動きパターン管理部11は、パターン貸与中ディスプレイリスト14に要求してきたディスプレイ装置3のディスプレイIDを登録し(ステップS206)、取り出した認証動きパターンを要求元のディスプレイ装置3へ送信する(ステップS207)。次いで、認証動きパターン管理部11は、場内にある全携帯端末4へ端末動き情報送信要求を発行する(ステップS208)。そして、イベント受信(ステップS201)の待機に戻る。
一方、認証動きパターン返却である場合(ステップS203のYes)、認証動きパターン管理部11は、返却された認証動きパターンを認証動きパターンDB13に戻す(ステップS209)。そして、認証動きパターン管理部11は、パターン貸与中ディスプレイリスト14から該当するディスプレイIDを削除する(ステップS210)。次いで、認証動きパターン管理部11は、そのディスプレイIDに端末動き情報転送先テーブル15において紐づけた端末IDがあるか否か判断する(ステップS211)。そして、紐づけた端末IDがある場合(ステップS211のYes)は、該端末IDを端末動き情報転送先テーブル15から削除する(ステップS212)。紐づけた端末IDがない場合(ステップS211のNo)は、端末動き情報転送先テーブル15からの削除は行わない。
次いで、認証動きパターン管理部11は、パターン貸与中ディスプレイリスト14が空となったか否か判断し(ステップS213)、空となった場合(ステップS213のYes)は、場内にある全携帯端末4へ端末動き情報送信中止要求を発行する(ステップS214)。空でない場合(ステップS213のNo)は、端末動き情報送信中止要求を発行は行わない。そして、イベント受信(ステップS201)の待機に戻る。
一方、端末動き情報である場合(ステップS204のYes)、端末動き情報転送部12は、送信元の端末IDの転送先が端末動き情報転送先テーブル15に既にあるか否か判断する(ステップS215)。ない場合(ステップS215のNo)、端末動き情報転送部12は、パターン貸与中ディスプレイリスト14に含まれるディスプレイ装置3のうち、端末の傾斜角度と一致するディスプレイ装置3をディスプレイ傾斜角度テーブル16から検索する(ステップS216)。検索結果に従って、端末IDとディスプレイIDを端末動き情報転送先テーブル15に追加する(ステップS217)。端末動き情報転送先テーブル15に既にある場合(ステップS215のYes)は、傾斜角度による検索および端末動き情報転送先テーブル15への追加は行わない。そして、端末動き情報転送部12は、転送先のディスプレイ装置3へ端末動き情報の加速度情報と端末IDを送信する(ステップS218)。そして、イベント受信(ステップS201)の待機に戻る。
図15はディスプレイ装置3の処理例を示すフローチャートである。図15において、ディスプレイ装置3の操作認識部302は、タッチ検出を行い(ステップS301)、タッチがあった場合(ステップS302のYes)はタッチ位置を取得してタッチ軌跡として保持する(ステップS303)。操作認識部302は、タッチ終了を認識するまでタッチ軌跡を追記していく。そして、操作認識部302は、タッチ終了を認識した場合(ステップS304のYes)、タッチ軌跡から枠を書くイベントを認識する(ステップS305)。枠を認識した場合(ステップS306のYes)、認証動きパターン要求送信部303は、サーバ装置1へ認証動きパターン要求を行う(ステップS307)。
認証動きパターン受信部305は、認証動きパターン要求に応じてサーバ装置1から認証動きパターンを受信すると(ステップS308)、認証動きパターンに含まれるガイダンス情報に基づき、ガイダンス表示部307によりガイダンスを表示する(ステップS309)。次いで、内部のタイマー時刻を「0」に設定し、計時を開始する(ステップS310)。この計時は、認証が行えない場合のタイムアップを判断するためのものである。
次いで、端末動き情報受信部309は、サーバ装置1からの端末動き情報の着信があるか否かをチェックし(ステップS311)、着信がある場合(ステップS312のYes)、端末動き情報を取得する(ステップS313)。そして、認証処理部311により、先に受信している認証動きパターンとマッチングを行う(ステップS314)。照合の結果、同じ動きであると照合された場合(ステップS315のYes)、認証処理部311は、端末IDを枠(表示エリア)と紐付けて枠・端末対応テーブル312に登録する(ステップS316)。そして、認証結果送信部313は、認証結果(ディスプレイID)を該当する携帯端末4へ送信する(ステップS317)。次いで、認証動きパターン返却部314は、認証動きパターンをサーバ装置1へ返却する(ステップS318)。そして、その後、携帯端末4から送信されてくる画面を紐付けられた枠内へ表示を行い、画面に対して行われた操作情報の携帯端末4への転送を開始し(ステップS319)、タッチ検出(ステップS301)に戻る。
また、サーバ装置1からの端末動き情報の着信がない場合(ステップS312のNo)または同じ動きであると照合されなかった場合(ステップS315のNo)、タイマー時間をインクリメントし(ステップS320)、タイムアウトしたか否か判断する(ステップS321)。タイムアウトしていない場合(ステップS321のNo)は、着信のチェック(ステップS311)に戻る。タイムアウトしている場合(ステップS321のYes)は、認証動きパターンの返却(ステップS318)に移行する。
図16は携帯端末4の処理例を示すフローチャートである。図16において、携帯端末4は、外部からイベント受信があると(ステップS401)、端末動き情報送信要求であるか、端末動き情報送信中止要求であるか、認証結果(紐付け)であるか、画面操作情報であるかを判断する(ステップS402〜S405)。
端末動き情報送信要求である場合(ステップS402のYes)、端末動き情報送信部404は中止フラグ405をOFFにする(ステップS406)。次いで、端末動き情報送信部404は、自端末の画面がディスプレイ装置3と紐付け済みであるか否か判断し(ステップS407)、紐付け済の場合(ステップS407のYes)は、イベント受信(ステップS401)の待機に戻る。紐付け済でない場合(ステップS407のNo)、端末動き情報送信部404は、自端末の動き監視を開始し(ステップS408)、イベント受信(ステップS401)の待機に戻る。
開始された動き監視において、端末動き情報送信部404は、動き振幅(加速度変化の振幅)が一定以上であるか否か判断し(ステップS409)、動き振幅が一定以上となった場合(ステップS409のYes)に、端末動き情報の送信を開始する(ステップS410)。その後、端末動き情報送信部404は、中止フラグ405がONになったか否か判断し(ステップS411)、中止フラグ405がONでない場合(ステップS411のNo)は端末動き情報の送信を継続する(ステップS410)。中止フラグ405がONになった場合(ステップS411のYes)、端末動き情報送信部404は端末動き情報の送信を終了する(ステップS412)。
一方、端末動き情報送信中止要求である場合(ステップS403のYes)、端末動き情報送信部404は、中止フラグ405をONにし(ステップS413)、イベント受信(ステップS401)の待機に戻る。
一方、認証結果(紐付け)である場合(ステップS404のYes)、端末動き情報送信部404は中止フラグ405をONにし(ステップS414)、画面送信部409により画面の転送を開始し(ステップS415)、イベント受信(ステップS401)の待機に戻る。
一方、画面操作情報である場合(ステップS405のYes)、画面連携アプリ408はアプリ画面の遷移を行い(ステップS416)、画面送信部409により画面を転送し(ステップS417)、イベント受信(ステップS401)の待機に戻る。
なお、認証動きパターンの照合をディスプレイ装置3側で行う場合について説明したが、サーバ装置1側で認証動きパターンの照合を行うようにすることもできる。
<変形例>
上述した実施形態は、携帯端末4自体を所定のパターンに従って動かすものであり、スマートフォンなど、慣性センサ(加速度センサ、ジャイロ等)を内部に装備している携帯端末4には適用可能である。しかし、PC(Personal Computer)など、慣性センサを装備していない携帯端末4には適用できない。そこで、ここでは慣性センサを装備していない携帯端末4にも適用できる例について説明する。なお、上述した実施形態と併存させることも可能である。
図17はサーバ装置1の機能構成例を示す図である。図17において、サーバ装置1は、認証文字列管理部11'と入力文字列情報転送部12'と認証文字列払出中ディスプレイリスト14'とを備えている。
認証文字列管理部11'は、ネットワーク2を介していずれかのディスプレイ装置3から認証文字列の取得要求を受信した場合に、現時点で払出中の認証文字列と重複しない認証文字列を発行して、要求元のディスプレイ装置3に送信する機能を有している。払い出した認証文字列は、重複して他のディスプレイ装置に払い出しできないように管理される。また、認証文字列管理部11'は、認証文字列を払い出したディスプレイ装置3のID(ディスプレイID)を認証文字列払出中ディスプレイリスト14'に記録する。認証文字列払出中ディスプレイリスト14'は、前述したパターン貸与中ディスプレイリスト14(図8)と同様のデータ構造でもよいし、払い出した認証文字列とディスプレイIDとを対応付けて保持してもよい。なお、認証文字列管理部11'は、認証文字列を払い出した場合に、所定の場(複数のディスプレイ装置3を利用できる所定範囲)に存在する全ての携帯端末4に対して、入力文字列情報の送信要求を行う。入力文字列情報は、認証文字列を見たユーザが入力した文字列情報である。
また、認証文字列管理部11'は、ディスプレイ装置3から認証文字列の返却要求を受信した場合に、認証文字列の返却処理を行う機能を有している。すなわち、認証文字列管理部11'は、認証文字列を返却したディスプレイ装置3のID(ディスプレイID)を認証文字列払出中ディスプレイリスト14'から削除するとともに、その認証文字列を払出中でない状態にする。また、認証文字列管理部11'は、払出中の認証文字列がなくなった場合に、所定の場に存在する全ての携帯端末4に対して、入力文字列情報の送信中止要求を行う。
入力文字列情報転送部12'は、携帯端末4から入力文字列情報を受信した場合に、入力文字列情報を端末IDを伴ってディスプレイ装置3に転送する機能を有している。
図18はディスプレイ装置3の機能構成例を示す図である。図18において、ディスプレイ装置3は、操作認識部302と認証文字列要求送信部303'と操作情報送信部304とを備えている。また、ディスプレイ装置3は、認証文字列受信部305'と認証文字列表示部307'と入力文字列情報受信部309'と認証処理部311と認証結果送信部313と認証文字列返却部314'と画面受信部315とを備えている。
操作認識部302は、ディスプレイ308の前面に設けられたタッチセンサ301により画面上のユーザの指やペン等の接触位置の座標に基づいて操作を認識する機能を有している。例えば、操作認識部302は、矩形状の枠が描かれた場合に、枠の描画操作を認識する。なお、タッチセンサ301に代えて、画面上のユーザの指やペンによる接触位置の座標を得る他の機構を用いることもできる。認証文字列要求送信部303'は、操作認識部302により枠の描画操作が認識(検出)された場合に、サーバ装置1に対して認証文字列要求を送信する機能を有している。
認証文字列受信部305'は、サーバ装置1から認証文字列を受信して認証文字列306'として保持する機能を有している。認証文字列表示部307'は、認証文字列306'に基づいて、ディスプレイ308の表示画面上の例えば認識されて整形表示された枠内や枠に隣接して認証文字列を表示する機能を有している。
入力文字列情報受信部309'は、サーバ装置1から転送された、携帯端末4からの入力文字列情報を受信して入力文字列情報310'として保持する機能を有している。認証処理部311は、認証文字列306'と入力文字列情報310'とを照合し、同じであるか否か判定する機能を有している。認証処理部311は、両者が一致したと判定した場合、枠(枠ID、XY座標)と端末IDとを枠・端末対応テーブル312に登録して紐付ける。認証結果送信部313は、認証処理部311の認証が行われた旨の認証結果として、該当する携帯端末4にディスプレイIDを送信する機能を有している。
認証文字列返却部314'は、認証処理部311において認証が完了した認証文字列またはタイムアップで認証が行われなかった認証文字列をサーバ装置1に返却する機能を有している。返却に際しては、認証文字列を特定して返却を要求する。
画面受信部315は、紐付けが完了した携帯端末4から、アプリ画面を受信し、ディスプレイ308に表示させる機能を有している。操作情報送信部304は、操作認識部302により認識された、枠内のアプリ画面に対するユーザの操作(画面の拡大・縮小、移動、ページ送り・戻り、ポイント等)を携帯端末4に送信する機能を有している。操作情報を受信した携帯端末4は、操作情報に応じた画面遷移を行い、更新画面を送信してくるが、それは画面受信部315により受信され、ディスプレイ308の画面更新が行われる。
図19は携帯端末4の機能構成例を示す図である。図19において、携帯端末4は、文字列入力部402'と入力文字列情報送信部404'と認証結果受信部406と画面連携アプリ408と画面送信部409と操作情報受信部410とを備えている。
文字列入力部402'は、ユーザから文字列を入力する機能を有している。入力文字列情報送信部404'は、文字列入力部402'により入力された文字列情報をサーバ装置1に送信する機能を有している。なお、入力文字列情報送信部404'は、中止フラグ405を有しており、中止フラグ405がOFFの場合にのみ動作する。中止フラグ405は、サーバ装置1から入力文字列情報送信要求が行われた場合にOFFにされる。また、サーバ装置1から入力文字列情報送信中止要求が行われた場合、またはディスプレイ装置3から紐付けが完了した認証結果が得られた場合に、中止フラグ405はONにされる。
認証結果受信部406は、ディスプレイ装置3から紐付けが完了した認証結果を受信し、認証結果に含まれるディスプレイIDをディスプレイID407として保持する機能を有している。画面連携アプリ408は、ディスプレイ装置3に表示反映させる画面を提供するアプリケーションプログラムの処理実体である。画面送信部409は、紐付けが行われたディスプレイ装置3に対して画面連携アプリ408の画面を送信する機能を有している。操作情報受信部410は、ディスプレイ装置3から画面に対する操作情報を受信し、画面連携アプリ408に引き渡す機能を有している。
図20は実施形態の処理例を示すシーケンス図である。図20において、先ず、携帯端末4のユーザは、携帯端末4の画面連携アプリ408からディスプレイ装置3に表示したい画面を選択し(ステップS131)、所望のディスプレイ装置3の画面上に、表示エリアに相当する枠を指やペン等でなぞることで描く(ステップS132)。図21(a)は、携帯端末4に画面「あ」が表示され、ディスプレイ装置3にユーザが矩形の枠を描いた状態を示している。
図20に戻り、ディスプレイ装置3の操作認識部302は、枠が描かれたことを検出すると、形を整形した表示エリアを画面上に表示する(ステップS133)。図21(b)は、ディスプレイ装置3の画面上に表示エリアが表示された状態を示している。
図20に戻り、ディスプレイ装置3の認証文字列要求送信部303'は、サーバ装置1に対して、自己のディスプレイIDを伴って認証文字列要求を行う(ステップS134)。これを受け、サーバ装置1の認証文字列管理部11'は、現時点で払出中のものと重複しない認証文字列をシーケンシャルまたはランダムに発行し、要求元のディスプレイ装置3に送信する(ステップS135)。例えば、認証文字列「67」を発行し、ディスプレイ装置3に送信する。また、認証文字列管理部11'は、所定の場(複数のディスプレイ装置3を利用できる所定範囲)に存在する全ての携帯端末4に対して、入力文字列情報送信要求を行う(ステップS136)。入力文字列情報送信要求を受信した携帯端末4は、画面上に文字列の入力欄を表示する。
一方、ディスプレイ装置3は、認証文字列受信部305'により受信した認証文字列に基づき、認証文字列表示部307'により認証文字列の表示を行う(ステップS137)。図21(c)は、ディスプレイ装置3の表示エリアに認証文字列「67」が表示され、携帯端末4の画面上に文字列の入力欄が表示された状態を示している。
図20に戻り、携帯端末4のユーザは、ディスプレイ装置3上に表示された認証文字列に従って携帯端末4の入力欄に同じ文字列を入力する(ステップS138)。文字列入力部402'は文字列を入力し、入力文字列情報送信部404'は入力文字列情報を自己の端末IDを伴ってサーバ装置1に送信する(ステップS139)。図21(d)は、ユーザが携帯端末4の入力欄に文字列「67」を入力した状態を示している。
図20に戻り、サーバ装置1の入力文字列情報転送部12'は、携帯端末4から受信した入力文字列情報を端末IDを伴ってディスプレイ装置3に転送する(ステップS140)。
ディスプレイ装置3の入力文字列情報受信部309'が入力文字列情報と端末IDを受信すると、認証処理部311は、先に取得している認証文字列と照合を行う(ステップS141)。ここでは照合により一致が判断されたものとすると、認証結果送信部313は認証された旨の認証結果としてディスプレイIDを携帯端末4に送信する(ステップS142)。また、認証文字列返却部314'は、サーバ装置1に対して、認証文字列を伴って認証文字列の返却を行う(ステップS143)。サーバ装置1の認証文字列管理部11'は、認証文字列を返却したディスプレイ装置3のID(ディスプレイID)を認証文字列払出中ディスプレイリスト14'から削除するとともに、その認証文字列を払出中でない状態にする。また、認証文字列管理部11'は、払出中の認証文字列が返却により全てなくなった場合は、所定の場に存在する全ての携帯端末4に対して、入力文字列情報送信中止要求を行う(ステップS144)。
認証された旨の認証結果を認証結果受信部406により受信した携帯端末4は、紐付けられたディスプレイ装置3に対して、画面連携アプリ408の画面を画面送信部409により転送開始する(ステップS145)。なお、携帯端末4側から自主的に画面の転送を開始するものとしているが、ディスプレイ装置3側から画面の転送を要求し、それに応えて携帯端末4側から画面の転送を開始するようにしてもよい。ディスプレイ装置3の画面受信部315は画面を受信すると、ディスプレイ308に表示する(ステップS146)。図21(e)は、携帯端末4の画面「あ」がディスプレイ装置3の表示エリアに表示された状態を示している。
図20に戻り、その後、任意のユーザがディスプレイ装置3の画面が表示されたエリアに対して操作を行うと(ステップS147)、ディスプレイ装置3の操作認識部302は操作を認識する。そして、操作情報送信部304は、操作情報を対応する携帯端末4に送信する(ステップS148)。携帯端末4の操作情報受信部410が操作情報を受信すると、画面連携アプリ408は操作内容に応じた画面更新を行い、画面送信部409により更新画面をディスプレイ装置3に送信する(ステップS149)。ディスプレイ装置3の画面受信部315は更新画面を受信すると、ディスプレイ308に表示(画面更新)する(ステップS150)。
以下、サーバ装置1、ディスプレイ装置3および携帯端末4のそれぞれの詳細な動作について説明する。
図22はサーバ装置1の処理例を示すフローチャートである。図22において、サーバ装置1は、外部からイベント受信があると(ステップS221)、認証文字列要求であるか(ステップS222)、認証文字列返却であるか(ステップS223)、入力文字列情報であるか(ステップS224)を判断する。
認証文字列要求である場合(ステップS222のYes)、認証文字列管理部11'は、現時点で重複しない認証文字列をシーケンシャルまたはランダムに発行し、内部的に保持する(ステップS225)。次いで、認証文字列管理部11'は、認証文字列払出中ディスプレイリスト14'に要求してきたディスプレイ装置3のディスプレイIDを登録し(ステップS226)、発行した認証文字列を要求元のディスプレイ装置3へ送信する(ステップS227)。次いで、認証文字列管理部11'は、場内にある全携帯端末4へ入力文字列情報送信要求を発行する(ステップS228)。そして、イベント受信(ステップS221)の待機に戻る。
一方、認証文字列返却である場合(ステップS223のYes)、認証文字列管理部11'は、返却された認証文字列を払出中でない状態とし、認証文字列払出中ディスプレイリスト14'から該当するディスプレイIDを削除する(ステップS229)。次いで認証文字列管理部11'は、認証文字列払出中ディスプレイリスト14'が空となったか否か判断し(ステップS230)、空となった場合(ステップS230のYes)は、場内にある全携帯端末4へ入力文字列情報送信中止要求を発行する(ステップS231)。空でない場合(ステップS230のNo)は、入力文字列情報送信中止要求を発行は行わない。そして、イベント受信(ステップS221)の待機に戻る。
一方、入力文字列情報である場合(ステップS224のYes)、入力文字列情報転送部12'は、認証文字列払出中ディスプレイリスト14'にあるディスプレイ装置3へ入力文字列情報と端末IDを送信する(ステップS232)。そして、イベント受信(ステップS221)の待機に戻る。
図23はディスプレイ装置3の処理例を示すフローチャートである。図23において、ディスプレイ装置3の操作認識部302は、タッチ検出を行い(ステップS331)、タッチがあった場合(ステップS332のYes)はタッチ位置を取得してタッチ軌跡として保持する(ステップS333)。操作認識部302は、タッチ終了を認識するまでタッチ軌跡を追記していく。そして、操作認識部302は、タッチ終了を認識した場合(ステップS334のYes)、タッチ軌跡から枠を書くイベントを認識する(ステップS335)。枠を認識した場合(ステップS336のYes)、認証文字列要求送信部303'は、サーバ装置1へ認証文字列要求を行う(ステップS337)。
認証文字列受信部305'は、認証文字列要求に応じてサーバ装置1から認証文字列を受信すると(ステップS338)、認証文字列を枠内または枠の近辺に表示する(ステップS339)。次いで、内部のタイマー時刻を「0」に設定し、計時を開始する(ステップS340)。この計時は、認証が行えない場合のタイムアップを判断するためのものである。
次いで、入力文字列情報受信部309'は、サーバ装置1からの入力文字列情報の着信があるか否かをチェックし(ステップS341)、着信がある場合(ステップS342のYes)、入力文字列情報を取得する(ステップS343)。そして、認証処理部311により、先に受信している認証文字列とマッチングを行う(ステップS344)。照合の結果、同じであると照合された場合(ステップS345のYes)、認証処理部311は、端末IDを枠(表示エリア)と紐付けて枠・端末対応テーブル312に登録する(ステップS346)。そして、認証結果送信部313は、認証結果(ディスプレイID)を該当する携帯端末4へ送信する(ステップS347)。次いで、認証文字列返却部314'は、認証文字列をサーバ装置1へ返却する(ステップS348)。そして、その後、携帯端末4から送信されてくる画面を紐付けられた枠内へ表示を行い、画面に対して行われた操作情報の携帯端末4への転送を開始し(ステップS349)、タッチ検出(ステップS331)に戻る。
また、サーバ装置1からの入力文字列情報の着信がない場合(ステップS342のNo)または同じであると照合されなかった場合(ステップS345のNo)、タイマー時間をインクリメントし(ステップS350)、タイムアウトしたか否か判断する(ステップS351)。タイムアウトしていない場合(ステップS351のNo)は、着信のチェック(ステップS341)に戻る。タイムアウトしている場合(ステップS351のYes)は、認証文字列の返却(ステップS348)に移行する。
図24は携帯端末4の処理例を示すフローチャートである。図24において、携帯端末4は、外部からイベント受信があると(ステップS421)、入力文字列情報送信要求であるか、入力文字列情報送信中止要求であるか、認証結果(紐付け)であるか、画面操作情報であるかを判断する(ステップS422〜S425)。
入力文字列情報送信要求である場合(ステップS422のYes)、入力文字列情報送信部404'は中止フラグ405をOFFにする(ステップS426)。次いで、入力文字列情報送信部404'は、自端末の画面がディスプレイ装置3と紐付け済みであるか否か判断し(ステップS427)、紐付け済の場合(ステップS427のYes)は、イベント受信(ステップS421)の待機に戻る。紐付け済でない場合(ステップS427のNo)、入力文字列情報送信部404'は、文字列の入力欄を表示し(ステップS428)、イベント受信(ステップS421)の待機に戻る。なお、1台の携帯端末4において複数のアプリのそれぞれにディスプレイ装置3上の枠との紐付けを許容する場合は、紐付け済みの確認はしなくてもよい。
文字列の入力欄の表示の後、入力文字列情報送信部404'は、入力欄に文字列が入力されて確定されたか否か判断し(ステップS429)、入力が確定された場合(ステップS429のYes)に、入力文字列情報を送信する(ステップS430)。その後、入力文字列情報送信部404'は、中止フラグ405がONになったか否か判断し(ステップS431)、中止フラグ405がONでない場合(ステップS431のNo)は文字列の入力を待機する(ステップS429)。中止フラグ405がONになった場合(ステップS431のYes)、入力文字列情報送信部404'は文字列の入力欄を消去する(ステップS432)。
一方、入力文字列情報送信中止要求である場合(ステップS423のYes)、入力文字列情報送信部404'は、中止フラグ405をONにし(ステップS433)、文字列の入力欄を消去し(ステップS434)、イベント受信(ステップS421)の待機に戻る。
一方、認証結果(紐付け)である場合(ステップS424のYes)、入力文字列情報送信部404'は中止フラグ405をONにし(ステップS435)、画面送信部409により画面の転送を開始し(ステップS436)、イベント受信(ステップS421)の待機に戻る。
一方、画面操作情報である場合(ステップS425のYes)、画面連携アプリ408はアプリ画面の遷移を行い(ステップS437)、画面送信部409により画面を転送し(ステップS438)、イベント受信(ステップS421)の待機に戻る。
なお、認証文字列の照合をディスプレイ装置3側で行う場合について説明したが、サーバ装置1側で認証文字列の照合を行うようにすることもできる。
また、ディスプレイ装置3に認証文字列を表示し、携帯端末4からその認証文字列に対応する文字列を入力する場合について説明したが、認証文字列を入力するのと同時に、アプリケーションを特定するアプリIDを併せて入力させるようにすることもできる。図25は携帯端末4への文字列の入力の例を示す図であり、枠の認証文字列に対応する文字列「67」を入力するとともに、枠内に表示させるアプリケーションのアプリID「03」を入力した状態を示している。携帯端末4がPC等である場合には、画面上に複数のアプリケーションのウインドウが表示されている可能性があり、そのどれをディスプレイ装置3上に表示するかを選択することになるが、アプリIDを認証文字列と併せて入力させることで、区別が容易になる。
この場合、入力文字列情報転送部12'(図17)、入力文字列情報受信部309'(図18)、文字列入力部402'および入力文字列情報送信部404'(図19)は認証文字列に対応した文字列だけでなく、アプリIDも併せて扱うように拡張される。また、枠・端末対応テーブル312(図18)は、枠と端末とアプリとを対応付けるように拡張される。
<総括>
以上説明したように、本実施形態によれば、ユーザが所望する表示装置にコンテンツを表示することができる。
以上、好適な実施の形態により説明した。ここでは特定の具体例を示して説明したが、特許請求の範囲に定義された広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により限定されるものと解釈してはならない。
以上の説明に関し、更に以下の項を開示する。
(付記1)
クライアント端末と、該クライアント端末から配信されるコンテンツを表示可能な複数の表示装置とを対応付けるための認証情報を提供するサーバ装置であって、
クライアント端末の操作に関する情報と対応付けられた認証パターン情報を記憶する記憶部と、
前記複数の表示装置のうちユーザから操作された表示装置に対して、該表示装置から認証パターン情報の返却を受けるまでの期間にて該認証パターン情報を重複して発行できない態様で、前記記憶部に記憶された前記認証パターン情報を発行する発行部と、
を有するサーバ装置。
(付記2)
前記発行部は、ユーザによりコンテンツを表示するエリアを指定する操作が行われた表示装置に対して、前記認証パターン情報を発行する、
付記1に記載のサーバ装置。
(付記3)
前記クライアント端末から該クライアント端末自体の動きを示す動作パターン情報を受信し、前記クライアント端末の傾斜角度の情報に基づいて、同じ傾斜角度の表示装置に対して前記動作パターン情報を転送する転送部、
を有する付記1または2に記載のサーバ装置。
(付記4)
前記認証パターン情報に、動作パターンを案内するガイダンス情報を付加する、
付記1乃至3のいずれか一項に記載のサーバ装置。
(付記5)
クライアント端末から配信されるコンテンツを表示可能な複数の表示装置と、
前記クライアント端末と表示装置とを対応付けるための認証情報を提供するサーバ装置と、
を有するコンテンツ表示制御システムであって、
前記サーバ装置は、
クライアント端末の操作に関する情報と対応付けられた認証パターン情報を記憶する記憶部と、
前記複数の表示装置のうちユーザから操作された表示装置に対して、該表示装置から認証パターン情報の返却を受けるまでの期間にて該認証パターン情報を重複して発行できない態様で、前記記憶部に記憶された前記認証パターン情報を発行する発行部と、
を有し、
前記表示装置は、
前記クライアント端末の動作パターン情報および前記認証パターン情報を受信する受信部と、
前記受信部が受信した認証パターン情報に基づき、該認証パターン情報に対応する動作パターンを出力したクライアント端末から配信されるコンテンツを表示すると共に前記受信部が受信した認証パターン情報を前記サーバ装置に送信する表示制御部と、
を有するコンテンツ表示制御システム。
(付記6)
前記発行部は、ユーザによりコンテンツを表示するエリアを指定する操作が行われた表示装置に対して、前記認証パターン情報を発行する、付記5に記載のコンテンツ表示制御システム。
(付記7)
前記サーバ装置は、
前記クライアント端末から該クライアント端末自体の動きを示す動作パターン情報を受信し、前記クライアント端末の傾斜角度の情報に基づいて、同じ傾斜角度の表示装置に対して前記動作パターン情報を転送する転送部、
を有する付記5または6に記載のコンテンツ表示制御システム。
(付記8)
前記認証パターン情報に、動作パターンを案内するガイダンス情報を付加する、
付記5乃至7のいずれか一項に記載のコンテンツ表示制御システム。
(付記9)
クライアント端末から配信されるコンテンツを表示可能な複数の表示装置と、前記クライアント端末と表示装置とを対応付けるための認証情報を提供するサーバ装置と、を有するコンテンツ表示制御システムを制御するプログラムであって、
前記サーバ装置のコンピュータに、
前記複数の表示装置のうちユーザから操作された表示装置に対して、該表示装置から認証パターン情報の返却を受けるまでの期間にて該認証パターン情報を重複して発行できない態様で、クライアント端末の操作に関する情報と対応付けられた認証パターン情報を記憶する記憶部に記憶された前記認証パターン情報を発行する、
処理を実行させ、
前記表示装置のコンピュータに、
前記クライアント端末の動作パターン情報および前記認証パターン情報を受信し、
受信した認証パターン情報に基づき、該認証パターン情報に対応する動作パターンを出力したクライアント端末から配信されるコンテンツを表示すると共に、受信した認証パターン情報を前記サーバ装置に送信する、
処理を実行させるコンテンツ表示制御プログラム。
(付記10)
前記発行する処理は、ユーザによりコンテンツを表示するエリアを指定する操作が行われた表示装置に対して、前記認証パターン情報を発行する、
付記9に記載のコンテンツ表示制御プログラム。
(付記11)
前記サーバ装置のコンピュータに、
前記クライアント端末から該クライアント端末自体の動きを示す動作パターン情報を受信し、前記クライアント端末の傾斜角度の情報に基づいて、同じ傾斜角度の表示装置に対して前記動作パターン情報を転送する、
処理を実行させる付記9または10に記載のコンテンツ表示制御プログラム。
(付記12)
前記認証パターン情報に、動作パターンを案内するガイダンス情報を付加する、
付記9乃至11のいずれか一項に記載のコンテンツ表示制御プログラム。