JP6065619B2 - 端末連携制御システム、端末、制御装置、および端末連携制御方法 - Google Patents

Description

本発明は、端末連携制御システム、端末、制御装置、および端末連携制御方法に関する。

近日、広告や宣伝に関するコンテンツを表示するディスプレイ装置が、駅、空港、建物の壁面、病院および金融機関などの多様な場所に設置されている。さらに、ユーザが有するモバイル端末と連携し、モバイル端末からの操作に応じて表示コンテンツを変更するインタラクティブなディスプレイ装置も知られている。

例えば特許文献１には、１台のディスプレイ装置に対して当該ディスプレイ装置と通信可能な範囲に複数のモバイル端末が存在する場合に、各モバイル端末がディスプレイ装置と連携中である旨を表示し、最初にユーザ操作が行われたモバイル端末に一時的にディスプレイ装置を操作可能に占有させる技術が開示されている。

特開２０１０−４９１５８号公報

しかし、特許文献１に記載の技術では、同一のＬＡＮに複数のディスプレイ装置が存在する場合、モバイル端末と連携させるべきディスプレイ装置を一意に特定することが困難であった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、端末連携制御の精度を向上することが可能な、新規かつ改良された端末連携制御システム、端末、制御装置、および端末連携制御方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、一又は複数の端末と、複数のディスプレイ装置を備える情報処理装置と、制御装置とを備える端末連携制御システムであって、前記端末は、当該端末の動きに応じて検出される第１センサ値を取得する第１センサ値取得手段と、取得された前記第１センサ値を前記制御装置に送信する第１通信手段と、を備え、前記情報処理装置は、物体の動きに応じて検出される第２センサ値を取得する第２センサ値取得手段と、取得された前記第２センサ値を前記制御装置に送信する第２通信手段と、を備え、前記制御装置は、前記第１センサ値及び前記第２センサ値に基づいて前記端末の動きと前記物体の動きの対応関係を判定し、判定結果に基づいて、前記端末と連携を行う相手となるディスプレイ装置を前記複数のディスプレイ装置から決定する連携相手決定手段と、を備えることを特徴とする、端末連携制御システムが提供される。

前記第１センサ値と、前記第２センサ値とは、異なる種類のセンサ値であってもよい。かかる構成によれば、端末で取得される第１センサ値と情報処理装置で取得される第２センサ値とが異なる種類のセンサ値となり、動作検出の精度がより高くなる結果、端末連携の精度がより高くなる。

前記制御装置は、前記端末の動きに応じて、前記端末と連携を行う相手となるディスプレイ装置に表示する表示情報を選定する表示制御情報選定手段を更に備えてもよい。

前記端末は、表示情報を表示するための第２表示手段を更に備え、前記表示制御情報選定手段は、前記端末と連携を行う相手となるディスプレイ装置の表示情報に応じて、前記第２表示手段に表示する表示情報を選定してもよい。

前記第１センサ値取得手段は、前記第１センサ値を取得した時刻の情報である第１時刻情報を更に取得し、前記第１通信手段は、前記第１時刻情報を前記制御装置に送信し、前記第２センサ値取得手段は、前記第２センサ値を取得した時刻の情報である第２時刻情報を取得し、前記連携相手決定手段は、前記第１センサ値及び前記第２センサ値と、前記第１時刻情報及び前記第２時刻情報とに基づき、前記端末と連携を行う相手となるディスプレイ装置を前記複数のディスプレイ装置から決定してもよい。

前記制御装置は、前記端末と連携を行う相手となるディスプレイ装置を前記複数のディスプレイ装置から決定するための手順である決定態様を判定する判定部をさらに備えてもよい。

前記判定部は、前記端末のバッテリー残量、または前記端末における無線電波の受信電界強度に応じて前記決定態様を判定してもよい。

前記端末と連携を行う相手となるディスプレイ装置を前記複数のディスプレイ装置から決定するための手順である決定態様が第２の決定態様である場合、前記第１通信手段は、前記第１センサ値のデータ列を前記制御装置に送信し、前記第２通信手段は、前記第２センサ値のデータ列を前記制御装置に送信し、前記連携相手決定手段は、前記第１センサ値のデータ列との差分の自乗和が最小となる第２センサ値のデータ列に対応するディスプレイ装置を、前記情報処理装置との連携相手として決定してもよい。

前記端末は、前記第１センサ値を符号化し、符号化後の前記第１センサ値に基づいて前記端末の利用者の動きが第１の所定の動きであるかを判定する第１状態認識手段を更に備え、
前記情報処理装置は、前記第２センサ値を符号化し、符号化後の前記第２センサ値に基づいて前記物体の動きが人物による第２の所定の動きであるかを判定する第２状態認識手段を更に備え、
前記端末と連携を行う相手となるディスプレイ装置を前記複数のディスプレイ装置から決定するための手順である決定態様が第１の決定態様である場合、
前記第１通信手段は、前記端末の利用者の動きが前記第１の所定の動きであると判定された場合に、符号化後の前記第１センサ値を前記制御装置に送信し、
前記第２通信手段は、前記物体の動きが人物による前記第２の所定の動きであると判定された場合に、符号化後の前記第２センサ値を前記制御装置に送信し、
前記連携相手決定手段は、前記第１通信手段から受信された前記符号化後の前記第１センサ値および前記第２通信手段から受信された前記符号化後の前記第２センサ値に基づき、前記端末と連携を行う相手となるディスプレイ装置を決定してもよい。

前記連携相手決定手段は、前記第１センサ値を取得した時刻の情報である第１時刻情報及び前記第２センサ値を取得した時刻の情報である第２時刻情報との差が第１閾値より小さく、かつ符号化後の前記第１センサ値と符号化後の前記第２センサ値とが一致している場合に、当該前記第２時刻情報及び当該前記第２センサ値を取得した第２センサ値取得手段に対応するディスプレイ装置を、前記端末と連携を行う相手となる前記ディスプレイ装置と決定してもよい。

前記第１センサ値取得手段は、前記判定部による判定結果に応じてセンサ値取得頻度を変更してもよい。

前記ディスプレイ装置はカーソルを表示し、前記制御装置は、前記情報処理装置と前記端末との連携後、前記端末に対する操作内容を前記ディスプレイ装置におけるカーソル操作に対応させてもよい。

ディスプレイ装置は選択項目を表示し、前記制御装置は、前記情報処理装置と前記端末との連携後、前記端末の利用者によるジャスチャ操作を前記ディスプレイ装置における前記選択項目の選択操作に対応させてもよい。

前記情報処理装置と前記制御装置は同一装置として構成されてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、自端末の動きを検出する第１のセンサと、前記第１のセンサによる検出結果を示す第１のセンサ情報を、所定の検出領域における物体の動きを検出する第２のセンサを備える情報処理装置から当該第２のセンサによる検出結果を取得する制御装置に送信する送信手段と、を備え、自端末の動きを示す第１のセンサ情報と前記第２のセンサによる検出結果とに基づいて前記情報処理装置に含まれる複数のディスプレイ装置から選択されたディスプレイ装置と連携することを特徴とする、端末が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、自端末の動きに応じて検出される検出される第１センサ値を取得する第１センサ値取得手段と、取得された前記第１センサ値を制御装置に送信する通信手段と、を有する端末と連携可能な制御装置であって、前記第１センサ値および複数のディスプレイ装置を有する情報処理装置により物体の動きに応じて検出される第２センサ値に基づいて前記端末の動きと前記物体の動きとの対応関係を判定し、判定結果に基づいて、前記端末と連携を行う相手となるディスプレイ装置を前記複数のディスプレイ装置から決定する連携相手決定手段と、を備えることを特徴とする、制御装置が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、一又は複数の端末と、複数のディスプレイ装置を有する情報処理装置と、制御装置とを含む端末連携制御システムにおける端末連携制御方法であって、前記端末が、当該端末の動きに応じて検出される第１センサ値を取得する第１センサ値取得ステップと、前記第１センサ値取得ステップで取得された前記第１センサ値を前記制御装置に送信する通信ステップと、前記情報処理装置が、物体の動きに応じて検出される第２センサ値を取得する第２センサ値取得ステップと、取得された前記第２センサ値を前記制御装置に送信するステップと、前記制御装置が、所定の装置前方に位置する物体の動きに応じて検出される第２センサ値を取得する第２センサ値取得ステップと、前記第１センサ値及び前記第２センサ値に基づいて前記端末の動きと前記物体の動きの対応関係を判定し、判定結果に基づいて、前記端末と連携を行う相手となるディスプレイ装置を前記複数のディスプレイ装置から決定する連携相手決定ステップと、を含むことを特徴とする、端末連携制御方法が提供される。

以上説明したように本発明によれば、端末連携制御の精度を向上することが可能である。

本発明の実施形態による端末連携制御システムの構成を示した説明図である。 ディスプレイ装置とモバイル端末との連携例を示した説明図である。 ディスプレイ装置および制御装置が備える、ディスプレイ装置における表示およびペアリング動作の検知に関する構成を示した機能ブロック図である。 表示制御情報の具体例を示した説明図である。 装置前状態認識手段による動きの検知について説明するための説明図である。 検知情報記憶ＤＢに記憶される検知結果の具体例を示した説明図である。 表示制御処理の流れの一例を示す流れ図である。 ディスプレイ装置が行うペアリング動作の検知及び制御装置への検知結果送信の流れの一例を示す流れ図である。 制御装置およびモバイル端末が備える、モバイル端末におけるペアリング動作の検知に関する構成を示した機能ブロック図である。 センサ値の具体例を示した説明図である。 検知情報記憶ＤＢに記憶される検知結果の具体例を示した説明図である。 モバイル端末が行うユーザの動き検知処理及び制御装置への検知結果送信処理の流れの一例を示す流れ図である。 ディスプレイ装置、制御装置、およびモバイル端末の機能構成の一部を示す説明図である。 連携相手決定手段が行う連携相手決定処理について説明するための説明図である。 連携状態記憶ＤＢの一例を示す説明図である。 制御装置が行う連携相手決定処理及び連携相手情報送信処理の流れの一例を示す流れ図である。 ディスプレイ装置が行う連携相手情報及び表示情報受信処理の流れの一例について示す流れ図である。 モバイル端末が行う連携相手情報及び表示情報受信処理の流れの一例について示す流れ図である。 ディスプレイ装置による検知範囲内に複数のユーザが存在することを示す説明図である。 ディスプレイ装置およびモバイル端末による検知結果の具体例を示した説明図である。 第２の実施形態による制御装置およびモバイル端末の一部構成を示した機能ブロック図である。 第２の実施形態によるディスプレイ装置および制御装置の一部構成を示した機能ブロック図である。 第２の実施形態によるディスプレイ装置、制御装置およびモバイル端末の一部構成を示した機能ブロック図である。

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．端末連携制御システムの概要
２．第１の実施形態
２−１．ディスプレイ装置における表示およびペアリング動作の検知
２−２．モバイル端末におけるペアリング動作の検知
２−３．ディスプレイ装置とモバイル端末の連携
２−４．第１の実施形態のむすび
２−５．変形例
２−６．補足
３．第２の実施形態
３−１．連携相手の決定態様の判定および判定結果に応じたモバイル端末の動作
３−２．連携相手の決定態様の判定結果に応じたディスプレイ装置の動作
３−３．ディスプレイ装置とモバイル端末の連携
３−４．変形例
４．むすび

＜１．端末連携制御システムの概要＞
本発明は、一例として「２．第１の実施形態」〜「３．第２の実施形態」において詳細に説明するように、多様な形態で実施され得る。また、各実施形態による端末連携制御システムは、
Ａ．一又は複数の端末（モバイル端末３００）と、情報処理装置（ディスプレイ装置１００）と、制御装置（２００）とを備え、
Ｂ．前記端末は、
当該端末の動きに応じて検出される第１センサ値を取得する第１センサ値取得手段（センサ値取得手段３０２）と、
取得された前記第１センサ値を前記制御装置に送信する第１通信手段（通信手段３０６）と、
を備え、
Ｃ．前記情報処理装置は、
物体の動きに応じて検出される第２センサ値を取得する第２センサ値取得手段（センサ値取得手段１０２）と、
取得された前記第２センサ値を前記制御装置に送信する第２通信手段（通信手段１０６）と、
を備え、
Ｄ．前記制御装置は、
前記第１センサ値及び前記第２センサ値に基づいて前記端末の動きと前記物体の動きとの対応関係の有無を判定し、判定結果に基づいて前記情報処理装置と連携を行う相手となる前記端末を決定する連携相手決定手段（２０３）と、
を備える。

以下では、まず、このような各実施形態において共通する端末連携制御システムの基本構成について図１および図２を参照して説明する。

図１は、本発明の実施形態による端末連携制御システムの構成を示した説明図である。図１に示したように、本発明の実施形態による端末連携制御システムは、複数のディスプレイ装置１００と、制御装置２００と、複数のモバイル端末３００と、通信網４００と、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）アクセスポイント４２０と、を備える。このような端末連携制御システムは、駅、空港、建物の壁面、病院および金融機関などの多様な場所に設置され得る。

無線ＬＡＮアクセスポイント４２０は、無線通信機能により無線ＬＡＮを形成し、無線ＬＡＮに属する通信端末による通信を制御、中継する。図１に示した例では、無線ＬＡＮアクセスポイント４２０が形成する無線ＬＡＮ４３０にディスプレイ装置１００Ａ〜１００Ｃおよびモバイル端末３００Ａ〜３００Ｄが属し、無線ＬＡＮアクセスポイント４２０は、ディスプレイ装置１００Ａ〜１００Ｃおよびモバイル端末３００Ａ〜３００Ｄによる通信を制御、中継する。

通信網４００は、通信網４００に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網４００は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網４００は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。本実施形態においては、この通信網４００および無線ＬＡＮアクセスポイント４２０を介して、制御装置２００と各ディスプレイ装置１００、制御装置２００と各モバイル端末３００が接続される。

ディスプレイ装置１００は、宣伝や広告などの表示情報を制御装置２００からの制御に従って表示する情報処理装置である。モバイル端末３００は、ユーザによって携帯される端末である。本実施形態においては、これら複数のディスプレイ装置１００のいずれかと、複数のモバイル端末３００のいずれかとのペアを決定し、決定したディスプレイ装置１００とモバイル端末３００のペアを連携させることが可能である。連携の具体例としては、ディスプレイ装置１００からの制御によりモバイル端末３００の表示を変更することや、モバイル端末３００からの制御によりディスプレイ装置１００の表示を変更することが挙げられる。

図２は、ディスプレイ装置１００とモバイル端末３００との連携例を示した説明図である。図２に示した例では、ディスプレイ装置１００の表示手段１０１に、「南の島へ行こう！キャンペーン」という表示情報が表示されている。ここで、ディスプレイ装置１００とモバイル端末３００がペアとして決定されると、モバイル端末３００の表示手段３０１には、例えば図２に示したようにディスプレイ装置１００に表示された「南の島へ行こう！キャンペーン」に関連する詳細内容が表示される。従って、ディスプレイ装置１００と、ディスプレイ装置１００を視認可能な範囲に存在するモバイル端末３００をペアリングすることが有用である。なお、ディスプレイ装置１００と、ディスプレイ装置１００に表示された表示情報に興味を持ったユーザのモバイル端末３００をペアリングすることが特に有用である。

ところで、ディスプレイ装置とモバイル端末をペアリングするための幾つかの技術が知られている。例えば、１台のディスプレイ装置に対して当該ディスプレイ装置と通信可能な範囲に複数のモバイル端末が存在する場合に、各モバイル端末がディスプレイ装置と連携中である旨を表示し、最初にユーザ操作が行われたモバイル端末に一時的にディスプレイ装置を操作可能に占有させる技術が知られている。しかし、当該技術では、同一のＬＡＮに複数のディスプレイ装置が存在する場合、モバイル端末と連携させるべきディスプレイ装置を一意に特定することが困難であった。

そこで、上記事情を一着眼点にして本発明の各実施形態を創作するに至った。本発明の各実施形態によれば、同一ＬＡＮに複数のディスプレイ装置１００が存在する場合であっても、モバイル端末３００と連携させるべきディスプレイ装置１００を適切に決定することにより、端末連携制御の精度を向上することが可能である。以下、このような本発明の各実施形態について順次詳細に説明する。

＜２．第１の実施形態＞
第１の実施形態による端末連携制御システムは、ディスプレイ装置１００と、当該ディスプレイ装置１００の周囲でペアリング動作を行ったユーザのモバイル端末３００とを連携させる。このために、ディスプレイ装置１００は、ディスプレイ装置１００の周囲で行われたペアリング動作を検知し、モバイル端末３００も別個にペアリング動作を検知し、制御装置２００は、ディスプレイ装置１００およびモバイル端末３００による検知結果のマッチングによりディスプレイ装置１００およびモバイル端末３００のペアを決定する。なお、ペアリング動作は、例えばモバイル端末３００を上に動かす、右に動かす、または振るなどの事前に設定された動作である。以下、ディスプレイ装置１００とモバイル端末３００のペアの決定に資する各機能を説明する。

［２−１．ディスプレイ装置における表示およびペアリング動作の検知］
図３は、ディスプレイ装置１００および制御装置２００が備える、ディスプレイ装置１００における表示およびペアリング動作の検知に関する構成を示した機能ブロック図である。

（制御装置の構成）
図３に示したように、制御装置２００は、ディスプレイ装置検知手段２０２、表示制御情報選定手段２０４、検知情報記憶ＤＢ２０６および表示制御情報ＤＢ２０８を備える。

表示制御情報ＤＢ２０８は、ディスプレイ装置１００における宣伝や広告などの表示を制御するための表示制御情報を格納するデータベースである。具体的には、図４に示すように、スケジュールＩＤ、表示情報、ディスプレイ装置ＩＤ、装置設置情報、表示開始時刻、および表示終了時刻などが表示制御情報に含まれる。スケジュールＩＤは、各表示情報の表示スケジュールを識別するＩＤであり、表示情報は、宣伝や広告などの静止画情報または動画情報であり、ディスプレイ装置ＩＤは表示制御を行う対象のディスプレイ装置１００のＩＤである。また、装置設置情報は、表示制御を行う対象のディスプレイ装置１００の設置場所（緯度、経度、建物名称など）を示す情報であり、表示開始時刻は、表示情報の表示を開始すべき時刻であり、表示終了時刻は、表示情報の表示を終了すべき時刻である。

表示制御情報選定手段２０４は、各ディスプレイ装置１００のための表示制御情報を表示制御情報ＤＢ２０８から選定し、選定した表示制御情報を、制御装置２００の通信手段２０５に出力する。

通信手段２０５は、通信網４００を介してディスプレイ装置１００やモバイル端末３００と各種情報を送受信するための通信インタフェースである。例えば、通信手段２０５は、表示制御情報選定手段２０４により選定された表示制御情報を、ディスプレイ装置１００の通信手段１０６に送信する。また、通信手段２０５は、ディスプレイ装置１００の通信手段１０６からペアリング動作に関する検知結果を受信する。

ディスプレイ装置検知手段２０２は、通信手段２０５により受信されたペアリング動作に関する検知結果を検知情報記憶ＤＢ２０６に記憶させる。なお、検知情報記憶ＤＢ２０６に記憶される検知結果の具体例については図６を参照して後述する。

（ディスプレイ装置の構成）
一方、ディスプレイ装置１００は、図３に示したように、表示手段１０１、センサ値取得手段１０２、装置前状態認識手段１０３、表示制御手段１０５、通信手段１０６、装置前状態記憶手段１０７、および表示情報記憶手段１０９を備える。

通信手段１０６は、無線ＬＡＮアクセスポイント４２０および通信網４００を介して制御装置２００と各種情報を送受するための通信インタフェースである。例えば、通信手段１０６は、制御装置２００から表示制御情報を受信し、装置前状態認識手段１０３により得られたペアリング動作の検知結果を制御装置２００に送信する。

表示情報記憶手段１０９は、通信手段１０６により制御装置２００から受信された表示制御情報を記憶する。なお、表示情報記憶手段１０９は、不揮発性メモリ、磁気ディスク、光ディスク、およびＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスクなどの記憶媒体であってもよい。不揮発性メモリとしては、例えば、フラッシュメモリ、ＳＤカード、マイクロＳＤカード、ＵＳＢメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）があげられる。また、磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）およびＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ（登録商標））などがあげられる。

表示制御手段１０５は、表示情報記憶手段１０９に記憶された表示制御情報に基づき、表示手段１０１による表示情報の表示を制御する。例えば、表示制御手段１０５は、表示開始時刻が到来した表示制御情報を表示情報記憶手段１０９から読出し、読み出した表示制御情報に含まれる表示情報を表示手段１０１に表示させる。

表示手段１０１（第１表示手段）は、表示制御手段１０５による制御に従って、例えば図２を参照して説明したような宣伝や広告などの静止画情報または動画情報からなる表示情報を表示する。なお、表示手段１０１は、液晶ディスプレイ（ＬＣＤ；Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置であってもよいし、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイ装置であってもよい。また、表示手段１０１は、ディスプレイ装置１００との連携を実現するためのペアリング動作の誘導案内を表示してもよい。

センサ値取得手段１０２は、ディスプレイ装置１００の周囲の状態に関するデータを取得するセンサを含む。このようなセンサとしては、深度センサ、映像取得センサ、赤外線センサ、超音波センサなどが挙げられる。図２に示したように、センサ値取得手段１０２をディスプレイ装置１００の前方に向けて、すなわち、ディスプレイ装置１００の表示面に対向する被写体を撮像又はセンシングできるように設置することにより、ディスプレイ装置１００の前方における人物（物体の一例）の動きに関するデータを取得することが可能である。

なお、センサ値取得手段１０２により取得されるデータは、例えば、ディスプレイ装置１００の前方にいるユーザまでの距離値や、距離画像データである。以下では、センサ値取得手段１０２は、深度センサからなり、取得データは、距離画像データ（階調表現などで奥行き情報が表現された画像データ）とそのデータ列であるものとして、説明を行う。

装置前状態認識手段１０３は、センサ値取得手段１０２から取得データが入力されると、入力された取得データを装置前状態記憶手段１０７に一時的に記憶する。さらに、装置前状態認識手段１０３は、装置前状態記憶手段１０７に一時的に記憶した取得データ列から、ディスプレイ装置１００の前方にいるユーザの動きを検知する。以下、この点について図５を参照して説明する。

図５は、装置前状態認識手段１０３による動きの検知について説明するための説明図である。以下では、図５を参照しながら、装置前状態認識手段１０３が、装置前状態記憶手段１０７に一時的に記憶された取得データ列を加工し、ディスプレイ装置１００の前方にいるユーザの動きを検知する処理の一例について説明する。

図５に示すように、取得データ列は、例えば、連続的に撮像された複数の距離画像データ（Ｐ_１、Ｐ_２、…、Ｐ_ｎ）の列である。各距離画像データＰ_１、Ｐ_２、…、Ｐ_ｎには、撮像されたユーザと推定される部分Ｕ_１、Ｕ_２、…、Ｕ_ｎが含まれる。

装置前状態認識手段１０３（第２状態認識手段）は、取得データ列から、ユーザのスケルトンモデルＵを生成し、ユーザの部位それぞれの変位を算出する。例えば、図５に示すように、ユーザの左手の位置の変位が、装置前状態認識手段１０３により算出される。なお、この例では奥行き情報を含む距離画像データを利用しているため、奥行き方向を含む３次元的なユーザの動きを検知することが可能である。そのため、３次元的なユーザの骨格及び各部位の動きを表現したスケルトンモデルＵを得ることができる。

その後、装置前状態認識手段１０３は、算出したユーザの特定の部位、例えば左手の変位が所定の方向に所定値以上変位した場合、取得データ列の符号化を行う。装置前状態認識手段１０３は、例えば、上向き、下向き、左向き、右向きの４つのラベルのうちいずれかにユーザの動きをマッチングすることで取得データ列を符号化する。図５に示す例では、スケルトンモデルＵにおけるユーザの左手の位置の変位が、上向きのラベルで符号化される。

一方、装置前状態認識手段１０３は、算出したユーザの特定の部位、例えば左手の変位が所定の方向に所定値以上変位しなかった場合、センサ値取得手段１０２にセンサ値の取得を続行させるための制御を行う。この際、装置前状態記憶手段１０７の記憶領域確保の観点から、センサ値取得手段１０２が新たに取得した取得データを、装置前状態記憶手段１０７が記憶した取得データに順次上書きするようにしてもよい。

装置前状態認識手段１０３により符号化されたユーザの動きがペアリング動作に該当する場合、すなわち、ユーザによるペアリング動作が検知された場合、検知結果は、通信手段１０６を介して制御装置２００に送信され、検知情報記憶ＤＢ２０６に記憶される。

ここで、図６を参照し、制御装置２００の検知情報記憶ＤＢ２０６に記憶される検知結果の具体例を説明する。図６に示したように、検知結果は、検知結果の送信元のディスプレイ装置１００を示すディスプレイ装置ＩＤ、検知時刻を示すタイムスタンプ、および検知情報を含む。例えば、図６に示した検知結果Ｄ１は、ディスプレイ装置ＩＤ「０００１０１」、タイムスタンプ「１４：００：００」、および検知情報「右向き」を含む。

なお、上記では撮像された距離画像データ内にユーザ１人が存在する場合の処理を説明したが、撮像された距離画像データ内に複数ユーザが同時に存在してもよい。この場合、装置前状態認識手段１０３は、それぞれのユーザのスケルトンモデルを作成し，各ユーザの部位それぞれの変位を算出する。これにより、装置前状態認識手段１０３は、ユーザが１人である場合と同様に、奥行き方向を含む３次元的な各ユーザの動きを検知することができるので、ユーザごとに３次元的なユーザの骨格及び各部位の動きを表現したスケルトンモデルＵ１，Ｕ２，・・・Ｕｍを得ることができる。上記は、既存特許ＵＳ２０１０/０１１８１２３に記載の方法などを用いて実現することが可能であり、装置前状態認識手段１０３は，複数ユーザのあるユーザの特定の動きを検知したときは，そのユーザと符号化結果を関連づけて保持してもよい。

（表示制御の流れ）
以上、ディスプレイ装置１００および制御装置２００の表示およびペアリング動作の検知に関する構成を説明した。続いて、図７および図８を参照し、ディスプレイ装置１００および制御装置２００による表示制御に関する動作、ペアリング動作の検知に関する動作の流れを整理する。

図７は、表示制御処理の流れの一例を示す流れ図である。図７に示すように、まず、制御装置２００の表示制御情報選定手段２０４は、情報を表示するディスプレイ装置１００を選択する（Ｓ１０２）。

次に、表示制御情報選定手段２０４は、各ディスプレイ装置１００のための表示制御情報を表示制御情報ＤＢ２０８から選定し、選定した表示制御情報を、制御装置２００の通信手段２０５に出力する（Ｓ１０４）。続いて、通信手段２０５は、表示制御情報選定手段２０４により選定された表示制御情報を、ディスプレイ装置１００の通信手段１０６に送信する（Ｓ１０６）。

そして、ディスプレイ装置１００の通信手段１０６が表示制御情報を受信し（Ｓ１０８）、通信手段１０６により受信された表示制御情報を表示情報記憶手段１０９が記憶する（Ｓ１１０）。

その後、表示制御手段１０５は、表示制御情報をディスプレイ装置１００の表示情報記憶手段１０９から読み出し（Ｓ１１２）、読み出した表示情報を表示手段１０１に表示するための制御を行い、一連の処理を終了する（Ｓ１１４）。

（ペアリング動作の検知の流れ）
図８は、ディスプレイ装置１００が行うペアリング動作の検知及び制御装置２００への検知結果送信の流れの一例を示す流れ図である。図８に示すように、まず、ディスプレイ装置１００のセンサ値取得手段１０２は、ディスプレイ装置１００の前方の状態に関するデータを取得し、装置前状態認識手段１０３に出力する（Ｓ２０２）。

次に、装置前状態認識手段１０３は、センサ値取得手段１０２から入力された取得データを、装置前状態記憶手段１０７に一時的に記憶させる（Ｓ２０４）。

次に、装置前状態認識手段１０３は、装置前状態記憶手段１０７から取得データ列を読み出し、読み出した取得データ列を加工する（Ｓ２０６）。例えば、装置前状態認識手段１０３は、図５に例示したように、ユーザの動きを符号で表現する。

次に、装置前状態認識手段１０３は、ユーザによるペアリング動作を検知したか、すなわち、符号化されたユーザの動きがペアリング動作に該当するかを判定する（Ｓ２０８）。ユーザのペアリング動作を検知した場合、装置前状態認識手段１０３は、処理をステップＳ２１０に進める。一方、ペアリング動作が検知されない場合、装置前状態認識手段１０３は、再びステップＳ２０２に戻って処理を進める。

処理をステップＳ２１０に進めた場合、装置前状態認識手段１０３は、ペアリング動作の検知結果を通信手段１０６に出力する。ディスプレイ装置１００の通信手段１０６は、入力された検知結果を、制御装置２００の通信手段２０５に送信する（Ｓ２１０）。以上の処理はシステム終了まで繰り返し行われる（Ｓ２１２）。

［２−２．モバイル端末におけるペアリング動作の検知］
以上、ディスプレイ装置１００における表示およびペアリング動作の検知について説明を行った。続いて、モバイル端末３００におけるペアリング動作の検知に関する機能を説明する。図９は、制御装置２００およびモバイル端末３００が備える、モバイル端末３００におけるペアリング動作の検知に関する構成を示した機能ブロック図である。

（モバイル端末の構成）
図９に示したように、モバイル端末３００は、表示手段３０１と、センサ値取得手段３０２と、端末状態認識手段３０３と、表示制御手段３０５と、通信手段３０６と、端末状態記憶手段３０７と、表示情報記憶手段３０９と、を備える。なお、モバイル端末３００には、例えば、携帯電話、ゲーム機、情報端末、パーソナルコンピュータなどが該当する。

表示手段３０１（第２表示手段）は、表示制御手段３０５による制御に従って情報を表示する。この表示手段３０１は、液晶ディスプレイ装置であってもよいし、ＯＬＥＤディスプレイ装置であってもよい。また、表示手段３０１は、操作検出機能を有するタッチパネルであってもよい。

表示制御手段３０５は、表示手段３０１による情報の表示を制御する。例えば、表示制御手段３０５は、制御装置２００とモバイル端末３００とが無線ＬＡＮアクセスポイント４２０などを介して接続されると、表示情報記憶手段３０９に予め記憶されたペアリング動作の誘導案内を表示手段３０１に表示させる。具体例として、ペアリング動作の誘導案内は、モバイル端末３００を上向きに移動させることを誘導する案内であってもよい。

また、表示制御手段３０５は、端末状態認識手段３０３によりペアリング動作の検知結果が得られると、表示情報記憶手段３０９に予め記憶された表示情報のうち、検知結果に対応した表示情報を読み出し、読み出した表示情報を表示手段１０１に表示させる。例えば、モバイル端末３００を携帯しているユーザの動きを検知した旨の視覚フィードバックが、検知結果に対応した表示情報として、表示手段３０１に表示される。また、ユーザの動きを検知した旨の視覚フィードバックとともに、検知結果を表示手段３０１に表示してもよい。また、ユーザの動きを検知した旨のフィードバックとして、画面表示の代わりに特定の音声や音楽、特定の振動を再生してもよい。

通信手段３０６は、無線ＬＡＮアクセスポイント４２０および通信網４００を介して制御装置２００と各種情報を送受するための通信インタフェースである。例えば、通信手段３０６は、端末状態認識手段３０３により得られたペアリング動作の検知結果を制御装置２００に送信する。

センサ値取得手段３０２は、例えば、モバイル端末３００に内蔵される方位センサ、加速度センサ、映像取得センサ、赤外線センサなどからなり、モバイル端末３００の動きに応じて検出されるデータを第１センサ値として取得する。また、取得データとしては、加速度センサによる重力方向のベクトルデータや赤外線センサによる前方の物体までの距離データなどが挙げられる。以下では、センサ値取得手段３０２は、例えば表示手段３０１の表示面の向きを基準とする左右方向（ｘ方向）の加速度を検出する加速度センサ及び上下方向（ｚ軸方向）の加速度を検出する加速度センサからなり、取得データは、ｘ軸方向の加速度センサの時系列データ及びｚ軸方向の加速度センサの時系列データであるものとして、説明を行う。但し、本説明において上下方向とは、鉛直方向のことをいい、下とは、鉛直方向下向きをいう。また、左右方向とは、鉛直方向に垂直な一方向をいい、その一方の向きを正の向きとし、左向きとよぶこととする。

端末状態認識手段３０３（第１状態認識手段）は、端末状態認識手段３０３は、センサ値取得手段３０２から入力された取得データから、一又は複数の方向に関して、所定の時間に所定の閾値以上のセンサ値が検出されたか否かを判定する。所定の時間に所定の閾値以上のセンサ値が検出されない場合（換言すれば、モバイル端末３００の動作が小さい場合）は、所定の時間に所定の閾値以上のセンサ値が検出されるかシステムが終了するまで、端末状態認識手段３０３によるユーザに所定の動きを要求する表示を表示手段３０１に行うための制御や、センサ値取得手段３０２によるセンサ値の取得などが繰り返し行われる。

一方、一又は複数の方向に関して、所定の時間に所定の閾値以上のセンサ値が検出された図１０の例のような場合、端末状態認識手段３０３は、取得データであるセンサ値などを端末状態記憶手段３０７に一時的に記憶させる。例えば、ピークが生じた時刻や時間幅、或いは、ピーク位置における加速度センサ値などが一時的に記憶される。その後、端末状態認識手段３０３は、取得データ列を端末状態記憶手段３０７から読み出し、データの加工を試みる。データの加工は、例えば、上向き、下向き、左向き、右向きの４つのラベルのうちいずれかで符号化することである。

例えば、端末状態認識手段３０３は、ｘ軸方向のセンサ値が正の向きで大きさが所定の閾値以上であり、かつｚ軸方向のセンサ値の大きさが所定の閾値以下である取得データについては、ユーザの左向きの動きを検知したとして、左向きのラベルで符号化する。

また、端末状態認識手段３０３は、ｘ軸方向及びｚ軸方向のセンサ値の大きさの両方が閾値以上である場合など、１つの向きに対応したラベルで符号化できない取得データについては、ペアリング動作を検出できなかった旨のエラーメッセージ及びユーザに再度ペアリング動作を要求するためのメッセージを、表示手段３０１に表示するための制御を行ってもよい。

端末状態認識手段３０３により符号化されたユーザの動きがペアリング動作に該当する場合、すなわち、ユーザによるペアリング動作が検知された場合、端末状態認識手段３０３は検知結果を通信手段３０６に出力する。ここで、検知結果は、取得データを符号化したものである検知情報と、取得データを取得した時刻情報であるタイムスタンプと、モバイル端末３００を特定するためのＩＤであるモバイル端末ＩＤとを含む。通信手段３０６は、上記検知結果を、表示制御手段３０５及び制御装置２００の通信手段２０５に送信する。

（制御装置の構成）
一方、制御装置２００は、端末検知手段２０１と、通信手段２０５と、検知情報記憶ＤＢを備える。

通信手段２０５は、図３を参照して説明したように、通信網４００を介してディスプレイ装置１００やモバイル端末３００と各種情報を送受信するための通信インタフェースである。例えば、通信手段２０５は、モバイル端末３００の通信手段３０６からペアリング動作に関する検知結果を受信する。

端末検知手段２０１は、通信手段２０５により受信されたペアリング動作に関する検知結果を検知情報記憶ＤＢ２０６に記憶させる。図１１に示したように、モバイル端末３００から受信される検知結果は、検知結果の送信元のモバイル端末３００を示すモバイル端末ＩＤ、検知時刻を示すタイムスタンプ、および検知情報を含む。例えば、図１１に示した検知結果Ｍ１は、モバイル端末ＩＤ「０００３０３」、タイムスタンプ「１３：４０：３６」、および検知情報「上向き」を含む。

（ペアリング動作の検知の流れ）
以上、制御装置２００およびモバイル端末３００のペアリング動作の検知に関する構成を説明した。続いて、図１２を参照し、制御装置２００およびモバイル端末３００によるペアリング動作の検知に関する動作の流れを整理する。

図１２は、モバイル端末３００が行うユーザの動き検知処理及び制御装置２００への検知結果送信処理の流れの一例を示す流れ図である。まず、制御装置２００とモバイル端末３００とが接続されると、表示制御手段３０５は、図１２に示すように、表示情報記憶手段３０９に予め記憶されたペアリング動作の誘導案内を表示手段３０１に表示させる（Ｓ３０２）。

続いて、センサ値取得手段３０２は、モバイル端末３００の状態に関するデータを取得し、端末状態認識手段３０３に出力する（Ｓ３０４）。

端末状態認識手段３０３は、センサ値取得手段３０２から入力された取得データから、一又は複数の方向に関して、所定の時間に所定の閾値以上のセンサ値が検出されたか否かを判定する（Ｓ３０６）。所定の時間に所定の閾値以上のセンサ値が検出された場合、端末状態認識手段３０３は、処理をステップＳ３０８に進める。一方、所定の時間に所定の閾値以上のセンサ値が検出されない場合、端末状態認識手段３０３は、処理をステップＳ３１８に進める。

処理をステップＳ３０８に進めた場合、端末状態認識手段３０３は、取得データであるセンサ値を、端末状態記憶手段３０７に一時的に記憶させる（Ｓ３０８）。

次に、端末状態認識手段３０３は、端末状態記憶手段３０７から取得データ列を読み出し、ユーザの動きの検知を試みる（Ｓ３１２）。ここで、ユーザのペアリング動作が検知された場合、端末状態認識手段３０３は、処理をステップＳ３１４に進める。一方、ユーザのペアリング動作が検知されない場合、端末状態認識手段３０３は、処理をステップＳ３２０に進める。

ステップＳ３１２で処理をステップＳ３１４に進めた場合、端末状態認識手段３０３は、検知結果を表示制御手段３０５及び通信手段３０６に出力する。通信手段３０６は、端末状態認識手段３０３から検知結果が入力されると、制御装置２００の通信手段２０５に検知結果を出力する（Ｓ３１４）。

さらに、表示制御手段３０５は、端末状態認識手段３０３から検知結果が入力されると、ユーザの動きを検知した旨の表示を、表示手段３０１に行い、一連の処理を終了する（Ｓ３１６）。

一方、ステップＳ３０６で処理をステップＳ３１８に進めた場合、端末状態認識手段３０３は、システムが終了するまで処理をステップＳ３０２に戻って繰り返し行う（Ｓ３１８）。

また、ステップＳ３１２で処理をステップＳ３２０に進めた場合、端末状態認識手段３０３は、表示手段３０１にエラーメッセージの表示及びペアリング動作の誘導案内の表示を行うための制御を行う（Ｓ３２０）。

［２−３．ディスプレイ装置とモバイル端末の連携］
以上、モバイル端末３００におけるペアリング動作の検知に関する機能を説明した。続いて、ディスプレイ装置１００およびモバイル端末３００によるペアリング動作の検知結果に基づくディスプレイ装置１００とモバイル端末３００との連携に関する機能を説明する。図１３は、ディスプレイ装置１００、制御装置２００、およびモバイル端末３００の機能構成の一部を示す説明図である。

（制御装置の構成）
図１３に示すように、制御装置２００は、通信手段２０５と、連携相手決定手段２０３と、検知情報記憶ＤＢ２０６と、連携状態記憶ＤＢ２０７と、を備える。

検知情報記憶ＤＢ２０６は、図６を参照して説明したディスプレイ装置１００によるペアリング動作の検知結果、および、図１１を参照して説明したモバイル端末３００によるペアリング動作の検知結果を格納する。

連携相手決定手段２０３は、検知情報記憶ＤＢ２０６に記憶されているディスプレイ装置１００によるペアリング動作の検知結果、およびモバイル端末３００によるペアリング動作の検知結果のマッチングを行い、連携させるべきディスプレイ装置１００とモバイル端末３００のペアを決定する。

例えば、連携相手決定手段２０３は、ディスプレイ装置１００のタイムスタンプと、モバイル端末３００のタイムスタンプとを比較し、タイムスタンプの差が所定の閾値以下である場合（換言すれば、タイムスタンプ同士が所定の誤差以下で一致する場合）、連携相手決定手段２０３は、さらにディスプレイ装置１００の検知情報とモバイル端末３００の検知情報を比較する。

そして、ディスプレイ装置１００の検知情報とモバイル端末３００の検知情報が一致する場合、連携相手決定手段２０３は、当該ディスプレイ装置１００と当該モバイル端末３００とをペアとして決定する。あるディスプレイ装置１００のタイムスタンプ及び検知情報と、あるモバイル端末３００のタイムスタンプ及び検知情報が一致しているということは、当該モバイル端末３００を携帯しているユーザがディスプレイ装置１００の前方でペアリング動作を行い、当該モバイル端末３００と当該ディスプレイ装置１００との連携を行おうとしていると想定されるためである。以下、図１４を参照してさらに具体的に説明する。

図１４は、連携相手決定手段２０３が行う連携相手決定処理について説明するための説明図である。なお、検知情報記憶ＤＢ２０６が記憶している情報のうち、ディスプレイ装置１００に関する検知結果を図１４の左図に、モバイル端末３００に関する検知結果を図１４の右図に示している。

図１４の例において、ディスプレイ装置１００Ａ（ディスプレイ装置ＩＤ：０００１０１）に関する検知結果Ｄ１と、モバイル端末３００Ｃ（モバイル端末ＩＤ：０００３０３）に関する検知結果Ｍ１を比較すると、タイムスタンプが一致していない。この場合、連携相手決定手段２０３は、ディスプレイ装置１００Ａと、モバイル端末３００Ｃとをペアとしない。

また、図１４の例において、ディスプレイ装置１００Ａ（ディスプレイ装置ＩＤ：０００１０１）に関する検知結果Ｄ１と、モバイル端末３００Ｂ（モバイル端末ＩＤ：０００３０２）に関する検知結果Ｍ２を比較すると、タイムスタンプは一致しているものの、ディスプレイ装置１００Ａの検知情報が下向きであるのに対し、モバイル端末３００Ｂの検知情報は左向きであり、一致しない。この場合、連携相手決定手段２０３は、ディスプレイ装置１００−１とモバイル端末３００−２とをペアとしない。

一方、図１４の例において、ディスプレイ装置１００Ａ（ディスプレイ装置ＩＤ：０００１０１）に関する検知結果Ｄ１と、モバイル端末３００Ａ（モバイル端末ＩＤ：０００３０５）に関する検知結果Ｍ３を比較すると、タイムスタンプ及び検知情報が一致している。この場合、連携相手決定手段２０３は、ディスプレイ装置１００Ａとモバイル端末３００Ａとをペアとする。

なお、連携相手決定手段２０３は、タイムスタンプの差が閾値以下であり、かつ、検知情報が一致した検知結果を複数有するディスプレイ装置１００とモバイル端末３００とのペアのみを、連携相手と決定するようにしてもよい。その結果、ユーザが意図せず所定の動きを行った場合に、ユーザが携帯するモバイル端末３００と、ユーザの動きを検知したディスプレイ装置１００との連携が偶発的に確立することを防ぐことができる。

連携相手決定手段２０３は、ディスプレイ装置１００及びモバイル端末３００のペアを決定すると、当該ディスプレイ装置１００のＩＤ及び当該モバイル端末３００のＩＤと、タイムスタンプとを、連携状態記憶ＤＢ２０７に記憶させるとともに、表示制御情報選定手段２０４に出力する。

図１５は、連携状態記憶ＤＢ２０７の一例を示す説明図である。連携状態記憶ＤＢ２０７には、図１５に示すように、ペアとなるディスプレイ装置１００のディスプレイ装置ＩＤと、モバイル端末３００のモバイル端末ＩＤと、タイムスタンプと、ディスプレイ装置１００とモバイル端末３００との間の連携状態が含まれる。

また、連携相手決定手段２０３は、ディスプレイ装置１００とモバイル端末３００とのそれぞれに送信するための連携相手に関する情報を、通信手段２０５に出力する。

さらに、図３を参照して説明した表示制御情報選定手段２０４は、ディスプレイ装置１００とモバイル端末３００のそれぞれに表示する表示情報を表示情報ＤＢ２０８から読み出し、通信手段２０５に出力する。これにより、例えば、ディスプレイ装置１００は、通常表示されている広告などに加えて、連携相手であるモバイル端末３００の動作に応じたポインタを表示することができる。また、モバイル端末３００は、当該モバイル端末３００の連携相手であるディスプレイ装置１００の前方でユーザがペアリング動作を行った際に表示されていた広告などの表示情報に関連する情報を表示する。

通信手段２０５は、図３を参照して説明したように、通信網４００を介してディスプレイ装置１００やモバイル端末３００と各種情報を送受信するための通信インタフェースである。例えば、通信手段２０５は、ディスプレイ装置１００の連携相手となるモバイル端末３００に関する情報（例えばモバイル端末３００のモバイル端末ＩＤ）を、ディスプレイ装置１００の通信手段１０６に送信する。また、通信手段２０５は、ディスプレイ装置１００に表示する表示情報を、ディスプレイ装置１００の通信手段１０６に送信する。

同様に、通信手段２０５は、モバイル端末３００の連携相手となるディスプレイ装置１００に関する情報（例えばディスプレイ装置１００のディスプレイ装置ＩＤ）を、モバイル端末３００の通信手段３０６に送信する。以下では、連携相手に関する情報を連携相手情報ともよぶこととする。さらに、通信手段２０５は、モバイル端末３００に表示する表示情報を、モバイル端末３００の通信手段３０６に送信する。

（ディスプレイ装置の構成）
また、図１３に示したように、ディスプレイ装置１００は、通信手段１０６と、連携状態検知手段１０４と、連携状態記憶手段１０８と、を備える。

通信手段１０６は、制御装置２００の通信手段２０５から、連携相手情報を受信すると、連携状態検知手段１０４に出力する。また、通信手段１０６は、制御装置２００の通信手段２０５から表示情報を受信すると、表示情報記憶手段１０９に記憶させる（図１３に不図示）。

連携状態検知手段１０４は、連携相手情報が入力されると、連携状態記憶手段１０８に記憶させる。

連携状態記憶手段１０８に記憶された連携相手情報は、例えば、端末連携制御システムのネットワーク内に存在する複数のモバイル端末３００のうち、当該ディスプレイ装置１００の連携相手であるモバイル端末３００を特定する識別子として利用される。

また、表示制御手段１０５は、表示情報記憶手段１０９から連携相手であるモバイル端末３００に対応した表示情報を読み出して、表示手段１０１に表示させる（図１４に不図示）。

（モバイル端末の構成）
一方、図１３に示したように、モバイル端末３００は、連携状態検知手段３０４と、通信手段３０６と、連携状態記憶手段３０８と、を備える。

通信手段３０６は、制御装置２００の通信手段２０５から、連携相手情報を受信すると、連携状態検知手段３０４に出力する。また、通信手段３０６は、制御装置２００の通信手段２０５から表示情報を受信すると、表示情報記憶手段３０９に記憶させる（図１３に不図示）。

連携状態検知手段３０４は、連携相手情報が入力されると、連携状態記憶手段３０８に記憶させる。

連携状態記憶手段３０８に記憶された連携相手情報は、例えば、端末連携制御システムのネットワーク内に存在する複数のディスプレイ装置１００のうち、当該モバイル端末３００の連携相手であるディスプレイ装置１００を特定する識別子として利用される。

また、表示制御手段３０５は、モバイル端末３００の連携相手であるディスプレイ装置１００に対応した表示情報を表示情報記憶手段３０９から読み出して、表示手段３０１に表示させる（図１３に不図示）。例えば、表示手段３０１は、図２に示したように、「南の島へ行こう！キャンペーン」というディスプレイ装置１００に表示された広告に対応する旅行プラン情報を表示する。また、一応用例として、モバイル端末３００を左手で上下に振った場合にはディスプレイ装置１００の表示された旅行会社の広告に係る格安プランの情報が、右手で左右に振った場合には通常プランの情報が表示手段３０１に表示されるといった構成も実現可能である。

上記のように、本説明においては、ディスプレイ装置１００とモバイル端末３００との間の連携とは、主に制御装置２００がディスプレイ装置１００とモバイル端末３００とのペアを決定し、ディスプレイ装置１００及びモバイル端末３００の表示情報などを制御することにより、ユーザから見てディスプレイ装置１００とモバイル端末３００とが連携して、情報のやり取りをしているように見える状態をさす。しかし、制御装置２００により決定されたディスプレイ装置１００とモバイル端末３００とが直接的にネットワーク接続され、情報のやり取りを行ってもよい。

また、ディスプレイ装置１００とモバイル端末３００との間の連携が確立した後、ディスプレイ装置１００及びモバイル端末３００とが所定の閾値より距離が離れた場合に連携を切断してもよく、連携が確立してから一定時間経過した場合に連携を切断してもよい。

また、１つのディスプレイ装置１００と複数のモバイル端末３００が同時に連携することも可能である。

また、１つのモバイル端末３００が複数のディスプレイ装置１００と順次連携及び連携の切断を行うことも可能である。例えば、あるディスプレイ装置１００とユーザが携帯しているモバイル端末３００との連携中に、ユーザが別のディスプレイ装置１００の前方でペアリング動作を行ったことが検知された場合、連携をしていたディスプレイ装置１００とモバイル端末３００との連携を切断して、ユーザがペアリング動作を行ったディスプレイ装置１００と新たに連携を行う。

（制御装置の動作）
以上、ディスプレイ装置１００とモバイル端末３００との連携に関する機能を説明した。続いて、図１６〜図１８を参照し、ディスプレイ装置１００とモバイル端末３００との連携に関する動作を整理する。

図１６は、制御装置２００が行う連携相手決定処理及び連携相手情報送信処理の流れの一例を示す流れ図である。なお、以下では、通信手段２０５が各ディスプレイ装置１００からの検知結果を受信した後、各モバイル端末３００からの検知結果を受信するものとして説明するが、通信手段２０５は、各ディスプレイ装置１００及び各モバイル端末３００からの検知結果を順次受信して、端末検知手段２０１又はディスプレイ装置検知手段２０２に出力するようにしてもよい。

まず、図１６に示すように、制御装置２００の通信手段２０５は、各ディスプレイ装置１００からの検知結果を受信すると、受信した検知結果を、ディスプレイ装置検知手段２０２に出力する（Ｓ４０２）。そして、ディスプレイ装置検知手段２０２は、入力された検知結果を、検知情報記憶ＤＢ２０６に記憶させる（Ｓ４０４）。

また、通信手段２０５は、各モバイル端末３００からの検知結果を受信すると、受信した検知結果を、端末検知手段２０１に出力する（Ｓ４０６）。そして、端末検知手段２０１は、入力された検知結果を、検知情報記憶ＤＢ２０６に記憶させる（Ｓ４０８）。

次に、連携相手決定手段２０３は、検知情報記憶ＤＢ２０６から検知結果を読み出し、読み出した検知結果のうち、タイムスタンプの差が閾値以下のディスプレイ装置１００及びモバイル端末３００のペアがあるか否かを判定する（Ｓ４１０）。

タイムスタンプの差が閾値以下のディスプレイ装置１００及びモバイル端末３００のペアがある場合、連携相手決定手段２０３は、処理を次のステップＳ４１２に進める。一方、タイムスタンプの差が閾値以下のディスプレイ装置１００及びモバイル端末３００のペアがない場合、連携相手決定手段２０３は、一連の処理を終了する。

処理をステップＳ４１２に進めた場合、連携相手決定手段２０３は、タイムスタンプの差が閾値以下であるディスプレイ装置１００とモバイル端末３００の各ペアについて、検知情報が一致しているかを判定する（Ｓ４１２）。検知情報が一致するディスプレイ装置１００及びモバイル端末３００のペアがない場合、連携相手決定手段２０３は、連携相手同士ではないとして、一連の処理を終了する。

一方、タイムスタンプの差が閾値以下であり、かつ、検知情報が一致しているディスプレイ装置１００及びモバイル端末３００のペアについては、連携相手決定手段２０３は、連携相手同士であると特定し、ディスプレイ装置１００及びモバイル端末３００のペアに関する情報を、連携状態記憶ＤＢ２０７に記憶させるとともに、表示制御情報選定手段２０４に出力する（Ｓ４１４）。

次に、連携相手決定手段２０３は、ディスプレイ装置１００及びモバイル端末３００に送信するための連携相手情報を、通信手段２０５に出力する。通信手段２０５は、ディスプレイ装置１００の通信手段１０６及びモバイル端末３００の通信手段３０６に、連携相手情報を送信する（Ｓ４１６）。

次に、表示制御情報選定手段２０４は、ディスプレイ装置１００及びモバイル端末３００に表示する、連携相手に対応した表示情報を、表示情報ＤＢ２０８から読み出し、通信手段２０５に出力する。通信手段２０５は、ディスプレイ装置１００の通信手段１０６及びモバイル端末３００の通信手段３０６に、表示情報を送信し、一連の処理を終了する（Ｓ４１８）。

（ディスプレイ装置の動作）
図１７は、ディスプレイ装置１００が行う連携相手情報及び表示情報受信処理の流れの一例について示す流れ図である。

図１７に示すように、まず、ディスプレイ装置１００の通信手段１０６は、制御装置２００の通信手段２０５から、連携相手情報を受信すると、連携状態検知手段１０４に出力する（Ｓ５０２）。そして、連携状態検知手段１０４は、連携相手情報が入力されると、連携状態記憶手段１０８に記憶させる（Ｓ５０４）。

次に、ディスプレイ装置１００の通信手段１０６は、連携相手であるモバイル端末３００に対応する表示情報を、制御装置２００の通信手段２０５から受信する（Ｓ５０６）。受信された表示情報は、表示情報記憶手段１０９に記憶される（Ｓ５０８）。続いて、表示制御手段１０５は、表示情報記憶手段１０９から表示情報を読み出し、表示情報を表示手段１０１に表示する（Ｓ５１０）。

（モバイル端末の動作）
図１８は、モバイル端末３００が行う連携相手情報及び表示情報受信処理の流れの一例について示す流れ図である。

図１８に示すように、まず、モバイル端末３００の通信手段３０６は、制御装置２００の通信手段２０５から、連携相手情報を受信すると、連携状態検知手段３０４に出力する（Ｓ６０２）。そして、連携状態検知手段３０４は、連携相手情報が入力されると、連携状態記憶手段３０８に記憶させる（Ｓ６０４）。

次に、モバイル端末３００の通信手段３０６は、連携相手であるディスプレイ装置１００に対応する表示情報を、制御装置２００の通信手段２０５から受信する（Ｓ６０６）。受信された表示情報は、表示情報記憶手段３０９に記憶される（Ｓ６０８）。続いて、表示制御手段３０５は、表示情報記憶手段３０９から表示情報を読み出し、表示情報を表示手段３０１に表示する（Ｓ６１０）。

[２−４．第１の実施形態のむすび]
以上説明したように、本発明の第１の実施形態によれば、ユーザがあるディスプレイ装置１００の前方でペアリング動作を行った場合、当該ペアリング動作が当該ディスプレイ装置１００及びユーザが携帯するモバイル端末３００それぞれにより検知される。さらに、ディスプレイ装置１００及びモバイル端末３００により検知された検知結果に基づき、通信を行うディスプレイ装置１００及びモバイル端末３００のペアが制御装置２００により決定される。その結果、ユーザが携帯しているモバイル端末３００と所望のディスプレイ装置１００との連携が、ユーザの負担が小さくかつ、精度良く行われる。特に、複数のディスプレイ装置１００の位置が動的に変更したり、密集したりしている場合でも、ディスプレイ装置１００とモバイル端末３００との連携を精度良く実施することができる。また、同一ＬＡＮに複数のディスプレイ装置１００が存在する場合であっても、モバイル端末３００と連携させるべきディスプレイ装置１００を一意に特定することが可能である。

また、本実施形態によれば、ディスプレイ装置１００とモバイル端末３００とを接触又は近接させる必要がなく、ディスプレイ装置１００とモバイル端末３００とを離隔させた状態で、ユーザはディスプレイ装置１００及びモバイル端末３００を連携させることが可能になる。この場合、モバイル端末３００を携帯しているユーザは、公共の空間でも第三者に気づかれることなく、ディスプレイ装置１００とモバイル端末３００とを連携することが可能になるという効果もある。

また、本実施形態では、モバイル端末３００のセンサ値取得手段３０２から取得された情報及びディスプレイ装置１００のセンサ値取得手段１０２から取得された情報には、個人情報などは付加されていないため、セキュリティにも配慮したものになっている。さらに通信手段にも例えば一時的に利用可能なＳＳＩＤなどを合わせて利用することで、その空間の、そのときにだけ利用可能な広告取得手段を確立することができる。

また、ディスプレイ装置１００とモバイル端末３００とのペア決定後には、制御装置２００は、ディスプレイ装置１００からの制御によりモバイル端末３００の表示を変更することや、モバイル端末３００からの制御によりディスプレイ装置１００の表示を変更することが可能である。例えば、制御装置２００は、モバイル端末３００に対する操作内容をディスプレイ装置１００の表示手段１０１におけるカーソル操作に対応させることも可能である。また、制御装置２００は、モバイル端末３００のユーザによるジェスチャ操作をディスプレイ装置１００の表示手段１０１における選択項目の選択操作に対応させることも可能である。

［２−５．変形例］
上述した第１の実施形態では、ディスプレイ装置１００Ａの前方でモバイル端末３００Ａのユーザペアリング動作を行うと同時に、偶然、他の場所でモバイル端末３００Ｂのユーザがペアリング動作を行う場合が考えられる。この場合、ディスプレイ装置１００Ａの検知結果に、モバイル端末３００Ａの検知結果だけでなく、モバイル端末３００Ｂの検知結果も合致する。従って、モバイル端末３００Ａとモバイル端末３００Ｂのいずれをディスプレイ装置１００Ａと連携させるべきか特定することは必ずしも容易でない。

そこで、第１の実施形態の変形例として、複数のユーザが同時にペアリング動作を行った場合でもディスプレイ装置１００の連携相手を適切に決定するための処理を説明する。

まず、ディスプレイ装置１００の装置前状態認識手段１０３は、複数のユーザが検知範囲内に存在する場合、ユーザごとにスケルトンモデルを作成し，各ユーザの部位それぞれの変位を算出し、ユーザごとの検知結果を得る。そして、ディスプレイ装置１００の通信手段１０６は、ユーザごとの検知結果を制御装置２００に送信する。制御装置２００は、図６を参照して説明した検知結果に、ユーザＩＤが加わった検知結果を記憶する。

なお、ユーザＩＤはすべてのユーザに対して一意でなくてもよく、また別のディスプレイ装置１００にて検知される同一ユーザに同一のユーザＩＤが割り当てられる必要もなく、本変形例で記載する連携相手が決定できると判断するに相当する時間内で一意であればよい。このため、それぞれのディスプレイ装置１００でのユーザ認証などのユーザの負担となるような手続きは必要ない。

そして、制御装置２００の連携相手決定手段２０３は、同一のディスプレイ装置ＩＤおよび同一のユーザＩＤについての１または２以上の検知結果を、モバイル端末３００による検知結果と比較する。ここで、連携相手決定手段２０３は、同一のディスプレイ装置ＩＤおよび同一のユーザＩＤについての１または２以上の検知結果と、検知結果が所定回数以上合致するモバイル端末３００を、ディスプレイ装置１００の連携相手として決定する。以下、図１９および図２０を参照して具体例を説明する。

図１９は、ディスプレイ装置１００による検知範囲内に複数のユーザが存在することを示す説明図であり、図２０は、ディスプレイ装置１００およびモバイル端末３００による検知結果の具体例を示した説明図である。

図１９に示したユーザＵ１およびユーザＵ２が同時に右向きのペアリング動作を行った場合、図２０のＤ１およびＤ２に示すように、同時刻「１４：００：００」に同一の検知情報「右向き」がディスプレイ装置１００（ディスプレイ装置ＩＤ：０００１０１）により得られたことを示す検知結果が得られる。

ここで、検知結果Ｄ１には、モバイル端末３００Ｃ（モバイル端末ＩＤ：０００３０３）に関する検知結果Ｍ４と、モバイル端末３００Ａ（モバイル端末ＩＤ：０００３０５）に関する検知結果Ｍ５の双方が一致する。このため、連携相手決定手段２０３は、ディスプレイ装置ＩＤ「０００１０１」およびユーザＩＤ「Ｕ０１」の組み合わせについて、モバイル端末３００Ｃ（モバイル端末ＩＤ：０００３０３）およびモバイル端末３００Ａ（モバイル端末ＩＤ：０００３０５）のカウント値を「１」とする。

その後、図１９に示したユーザＵ１のみがペアリング動作を行った場合、図２０のＤ３に示すように、ディスプレイ装置ＩＤ「０００１０１」およびユーザＩＤ「Ｕ０１」についての検知結果が得られる。

ここで、検知結果Ｄ３には、モバイル端末３００Ｃ（モバイル端末ＩＤ：０００３０３）に関する検知結果Ｍ６のみが合致する。このため、連携相手決定手段２０３は、ディスプレイ装置ＩＤ「０００１０１」およびユーザＩＤ「Ｕ０１」の組み合わせについて、モバイル端末３００Ｃ（モバイル端末ＩＤ：０００３０３）のカウント値を「２」に増加させる。

そして、連携相手決定手段２０３は、カウント値の閾値が「２」である場合、カウント値が「２」に達したモバイル端末３００Ｃ（モバイル端末ＩＤ：０００３０３）を、ディスプレイ装置ＩＤ「０００１０１」のペアに決定する。

かかる構成により、複数のユーザが同時にペアリング動作を行った場合でもディスプレイ装置１００の連携相手を適切に決定することが可能となる。なお、連携相手決定手段２０３は、同一のディスプレイ装置ＩＤおよび同一のユーザＩＤについての検知結果に、同一のモバイル端末３００の検知結果が連続して合致した場合にのみカウント値を増加させてもよい。これにより、連携確立の精度をさらなる向上が期待される。

［２−６．補足］
以上、本発明の第１の実施形態および第１の実施形態の変形例を説明したが、本発明の第１の実施形態および変形例の構成は上述した例に限定されない。

例えば、図面を参照して説明したディスプレイ装置１００、制御装置２００、及びモバイル端末３００の各構成の一部を省略すること、変更すること、或いは他の構成を追加することも可能である。また、制御装置２００が、ディスプレイ装置１００の構成を全て含み、ディスプレイ装置１００としての機能を兼ねていてもよい。また、モバイル端末３００の一部機能を制御装置２００に含める構成にすることも可能である。

また、ディスプレイ装置１００の１つのセンサ値取得手段１０２を、複数のディスプレイ装置１００が共有してもよい。但し、この場合、センサ値取得手段１０２が取得するデータを、当該センサ値取得手段１０２を共有する各ディスプレイ装置１００に対応する領域ごとに分割して扱うことに留意されたい。例えば、取得したデータが画像データの場合、各ディスプレイ装置１００に対応付けられた領域ごとに画像データを分割し、分割した各画像データを利用して処理を行う。なお、取得したデータが画像データではない場合、そのデータ自体を分割するのではなく、各領域に対応するデータの部分を利用して処理を行うようにする場合もある。

また、上記ではセンサ値取得手段１０２がディスプレイ装置１００の前方の状態に関するデータを取得する例を説明したが、センサ値取得手段１０２は、ディスプレイ装置１００の周辺、例えば、後方、左方、右方などの状態に関するデータを取得してもよい。

＜３．第２の実施形態＞
続いて、本発明の第２の実施形態を説明する。本発明の第２の実施形態の背景として、例えば特開２０１２−１７８６６３には、一方の端末から他方の端末へ受信電界強度，バッテリーの残量、残り使用時間等を転送して、他方の端末に表示する技術が開示されている。本発明の第２の実施形態は、モバイル端末の受信電界強度、電源の残量を考慮して、第１の実施形態で説明した連携相手の決定態様を動的に変更することにより、モバイル端末の受信電界強度と電源の残量をユーザが逐一気にかけることのない、ユーザにとって使い勝手の良いシステムを提供する。なお、以下では、第１の実施形態と異なる構成を中心に説明を進める。

[３−１．連携相手の決定態様の判定および判定結果に応じたモバイル端末の動作]
図２１は、第２の実施形態による制御装置２００−２およびモバイル端末３００−２の一部構成を示した機能ブロック図である。図２１に示したように、第１の実施形態との相違点として、制御装置２００−２は判定部２０９を備え、モバイル端末３００−２は電源部３１０および端末状態認識手段３１１を備える。

電源部３１０は、モバイル端末３００−２を駆動する電源を供給する構成であり、充放電可能な充電池または外部電源と、制御機構を備える。電源部３１０は、例えばパーセント（％）で表現される電源残量を通信手段３０６に通知する。

モバイル端末３００−２の通信手段３０６は、無線ＬＡＮアクセスポイント４２０が送信する無線電波の受信電界強度を測定する。なお、本実施形態においてはモバイル端末３００−２が無線ＬＡＮにより通信する例を説明するが、モバイル端末３００−２はＢｌｕｅｔｏｏｔｈ（登録商標）により通信することも可能であり、この場合、通信手段３０６は、Ｂｌｕｅｔｏｏｔｈの受信電界強度を測定する。

そして、モバイル端末３００−２の通信手段３０６は、例えばパーセント（％）で表現された受信電界強度および電源残量を制御装置２００−２に送信する。

制御装置２００−２の判定部２０９は、モバイル端末３００−２から受信した受信電界強度および電源残量に基づいて、ディスプレイ装置１００−２の連携相手の決定態様を判定する。具体的には、判定部２０９は、受信電界強度や電源残量が閾値以下である場合には第１の実施形態で説明した符号化された検知結果の比較に基づく第１の決定態様を用いると判定し、受信電界強度および電源残量が閾値を上回る場合には符号化前のセンサ値のデータ列の比較に基づく第２の決定態様を用いると判定する。制御装置２００−２の通信手段２０５は、判定部２０９による判定結果をモバイル端末３００−２およびディスプレイ装置１００−２に通知する。

モバイル端末３００−２の端末状態認識手段３１１は、判定部２０９による判定結果が第１の決定態様である場合、第１の実施形態で説明したようにユーザの動きを符号化し、符号化されたユーザの動きを検知結果として出力する。一方、端末状態認識手段３１１は、判定部２０９による判定結果が第２の決定態様である場合、センサ値取得手段３０２により取得されたセンサ値のデータ列、または加工されたデータ列を出力する。そして、通信手段３０６がセンサ値のデータ列を制御装置２００に送信する。

このように、第２の決定態様では、モバイル端末３００−２と制御装置２００−２との間のトラフィックが増加するので、受信電界強度が高く通信環境が良好な場合に第２の決定態様が用いられることが望まれる。また、第２の決定態様では、後述するようにセンサ値取得手段３０２が常時起動していることが望まれるので、消費電力が高くなる。これらの事情により、上述したように、受信電界強度および電源残量が閾値を上回る場合に符号化前のセンサ値のデータ列の比較に基づく第２の決定態様を用いる。

[３−２．連携相手の決定態様の判定結果に応じたディスプレイ装置の動作]
図２２は、第２の実施形態によるディスプレイ装置１００−２および制御装置２００−２の一部構成を示した機能ブロック図である。図２２に示したように、第１の実施形態との相違点として、制御装置２００−２は判定部２０９を備え、ディスプレイ装置１００−２は、装置前状態認識手段１１１を備える。

上述したように、制御装置２００−２の判定部２０９は、受信電界強度や電源残量に基づいて連携相手の決定態様を判定する。そして、制御装置２００−２の通信手段２０５は、判定部２０９による判定結果をモバイル端末３００−２およびディスプレイ装置１００−２に通知する。

ディスプレイ装置１００−２の装置前状態認識手段１１１は、判定部２０９による判定結果が第１の決定態様である場合、第１の実施形態で説明したようにユーザの動きを符号化し、符号化されたユーザの動きを検知結果として出力する。一方、装置前状態認識手段１１１は、判定部２０９による判定結果が第２の決定態様である場合、センサ値取得手段１０２により取得されたセンサ値のデータ列、または加工されたデータ列を出力する。そして、通信手段１０６がセンサ値のデータ列を制御装置２００−２に送信する。

[３−３．ディスプレイ装置とモバイル端末の連携]
図２３は、第２の実施形態によるディスプレイ装置１００−２、制御装置２００−２およびモバイル端末３００−２の一部構成を示した機能ブロック図である。図２３に示したように、第１の実施形態との相違点として、制御装置２００−２は判定部２０９および連携相手決定手段２１１を備える。

判定部２０９による判定結果が第１の決定態様である場合の連携相手決定手段２１１の動作は第１の実施形態で説明した通りであるので、ここでは、判定部２０９による判定結果が第２の決定態様である場合の連携相手決定手段２１１の動作を説明する。

まずモバイル端末３００−２から通知される検知結果としてのデータ列をＤｍとし，ディスプレイ装置１００−２から通知される検知結果としてのデータ列をＤｄとする。例えば検出するユーザの動作を右手・左手の加速度データ列とすると、検知情報記憶ＤＢ２０６に記憶される検知結果として、複数のユーザの右手・左手双方の加速度データ列Ｄｄがありえる。また同様に複数のモバイル端末３００−２が存在する場合には、複数のモバイル端末３００−２の加速度データ列Ｄｍがありえる。

連携相手決定手段２１１は、各加速度データ列Ｄｄおよび加速度データ列Ｄｍについて、タイムスタンプ毎の加速度データの差の自乗和が最小となる加速度データ列ＤｄとＤｍのペアを抽出する。そして、連携相手決定手段２１１は、抽出した加速度データ列ＤｄおよびＤｍの送信元のディスプレイ装置１００−２およびモバイル端末３００−２をペアとして決定し、連携させる。

かかる構成により、ユーザが第１の実施形態で説明したような特定のペアリング動作を行わなくても、例えばモバイル端末３００−２をカバンから取り出すなどの任意の動作に基づいて、ユーザが意識することなくディスプレイ装置１００−２およびモバイル端末３００−２を連携させることが可能となる。なお、ユーザが連携を意識せずに行う任意の動作を検知するためには、モバイル端末３００−２のセンサ値取得手段３０２は常時動作していることが望まれる。

[３−４．変形例]
第２の実施形態の変形例として、判定部２０９は、モバイル端末３００−２の電源残量や受信電界強度が低いほど、センサ値取得手段３０２のセンサ値取得レートを下げさせてもよい。かかる構成によれば、センサ値取得のための消費電力や、制御装置２００−２との間のトラフィックを低減することが可能である。

また、第１の実施形態の変形例を基礎とする場合、モバイル端末３００−２の電源残量や受信電界強度が低いほど、「２−５．変形例」において説明した「カウント値」の閾値を下げてもよい。かかる構成によれば、より早期にディスプレイ装置１００−２とモバイル端末３００−２との連携が確立されるので、連携のための消費電力を低減することが可能である。

＜４．むすび＞
以上説明したように、本発明の実施形態によれば、ユーザが携帯しているモバイル端末３００と所望のディスプレイ装置１００との連携が、ユーザの負担が小さくかつ、精度良く行われる。特に、複数のディスプレイ装置１００の位置が動的に変更したり、密集したりしている場合でも、ディスプレイ装置１００とモバイル端末３００との連携を精度良く実施することができる。また、同一ＬＡＮに複数のディスプレイ装置１００が存在する場合であっても、モバイル端末３００と連携させるべきディスプレイ装置１００を一意に特定することが可能である。

なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本明細書のディスプレイ装置１００、制御装置２００またはモバイル端末３００の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、ディスプレイ装置１００、制御装置２００またはモバイル端末３００の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、本実施形態では、一又は複数のディスプレイ装置１００を備える端末連携制御システムについて説明したが、端末連携制御システムが、そのうちの一又は複数のディスプレイ装置１００の代わりにポスターなどの媒体による表示手段を備えていてもよい。但し、この場合、ポスターなどの各媒体の周辺に、ディスプレイ装置１００のセンサ値取得手段１０２と同様の機能を有するセンサ値取得手段を備えることに留意されたい。

また、本発明の実施形態の適用場面として、ショッピングモールや公的施設，オフィスでのデジタルサイネージシステムが想定される。モバイル端末３００を携帯するユーザが待ち時間の際や通りがかりの際に、近くのディスプレイ装置１００に近づき、ユーザ自身が携帯するモバイル端末３００とディスプレイ装置１００を連携させることで、その場に応じた情報（例えば店舗広告や施設情報、関連あるニュース情報など）やそのユーザに応じた情報（オススメ広告やルート案内、興味がある分野のニュース情報など）を閲覧させたり、モバイル端末３００に詳細情報を表示させたりする形態がある。またモバイル端末３００への詳細情報の表示に応じて、広告閲覧料を課金する形態も考えられる。このとき検知情報記憶ＤＢ２０６に記憶されたモバイル端末３００のデータを利用することで広告閲覧料を徴収することが可能である。

１００ ディスプレイ装置
１０１ 表示手段
１０２ センサ値取得手段
１０３、１１１ 装置前状態認識手段
１０４ 連携状態検知手段
１０５ 表示制御手段
１０６ 通信手段
１０７ 装置前状態記憶手段
１０８ 連携状態記憶手段
１０９ 表示情報記憶手段
２００ 制御装置
２０１ 端末検知手段
２０２ ディスプレイ装置検知手段
２０３、２１１ 連携相手決定手段
２０４ 表示制御情報選定手段
２０５ 通信手段
２０６ 検知情報記憶ＤＢ
２０７ 連携状態記憶ＤＢ
２０８ 表示情報ＤＢ
２０９ 判定部
３００ モバイル端末
３０１ 表示手段
３０２ センサ値取得手段
３０３ 端末状態認識手段
３０４、３１１ 連携状態検知手段
３０５ 表示制御手段
３０６ 通信手段
３０７ 端末状態記憶手段
３０８ 連携状態記憶手段
３０９ 表示情報記憶手段
３１０ 電源部

Claims (17)

1. 一又は複数の端末と、複数のディスプレイ装置を備える情報処理装置と、制御装置とを備える端末連携制御システムであって、
   前記端末は、
   当該端末の動きに応じて検出される第１センサ値を取得する第１センサ値取得手段と、
   取得された前記第１センサ値を前記制御装置に送信する第１通信手段と、
   を備え、
   前記情報処理装置は、
   物体の動きに応じて検出される第２センサ値を取得する第２センサ値取得手段と、
   取得された前記第２センサ値を前記制御装置に送信する第２通信手段と、
   を備え、
   前記制御装置は、
   前記第１センサ値及び前記第２センサ値に基づいて前記端末の動きと前記物体の動きの対応関係を判定し、判定結果に基づいて、前記端末と連携を行う相手となるディスプレイ装置を前記複数のディスプレイ装置から決定する連携相手決定手段と、
   を備える
   ことを特徴とする、端末連携制御システム。
2. 前記第１センサ値と、前記第２センサ値とは、異なる種類のセンサ値であることを特徴とする、請求項１に記載の端末連携制御システム。
3. 前記制御装置は、前記端末の動きに応じて、前記端末と連携を行う相手となるディスプレイ装置に表示する表示情報を選定する表示制御情報選定手段を更に備える
   ことを特徴とする、請求項１又は２に記載の端末連携制御システム。
4. 前記端末は、表示情報を表示するための第２表示手段を更に備え、
   前記表示制御情報選定手段は、前記端末と連携を行う相手となるディスプレイ装置の表示情報に応じて、前記第２表示手段に表示する表示情報を選定する
   ことを特徴とする、請求項３に記載の端末連携制御システム。
5. 前記第１センサ値取得手段は、前記第１センサ値を取得した時刻の情報である第１時刻情報を更に取得し、
   前記第１通信手段は、前記第１時刻情報を前記制御装置に送信し、
   前記第２センサ値取得手段は、前記第２センサ値を取得した時刻の情報である第２時刻情報を取得し、
   前記連携相手決定手段は、前記第１センサ値及び前記第２センサ値と、前記第１時刻情報及び前記第２時刻情報とに基づき、前記端末と連携を行う相手となるディスプレイ装置を前記複数のディスプレイ装置から決定する
   ことを特徴とする、請求項１〜４のいずれか１項に記載の端末連携制御システム。
6. 前記制御装置は、前記端末と連携を行う相手となるディスプレイ装置を前記複数のディスプレイ装置から決定するための手順である決定態様を判定する判定部をさらに備える、請求項５に記載の端末連携制御システム。
7. 前記判定部は、前記端末のバッテリー残量、または前記端末における無線電波の受信電界強度に応じて前記決定態様を判定する、請求項６に記載の端末連携制御システム。
8. 前記端末と連携を行う相手となるディスプレイ装置を前記複数のディスプレイ装置から決定するための手順である決定態様が第２の決定態様である場合、
   前記第１通信手段は、前記第１センサ値のデータ列を前記制御装置に送信し、
   前記第２通信手段は、前記第２センサ値のデータ列を前記制御装置に送信し、
   前記連携相手決定手段は、前記第１センサ値のデータ列との差分の自乗和が最小となる第２センサ値のデータ列に対応するディスプレイ装置を、前記情報処理装置との連携相手として決定する、請求項１〜７のいずれか一項に記載の端末連携制御システム。
9. 前記端末は、前記第１センサ値を符号化し、符号化後の前記第１センサ値に基づいて前記端末の利用者の動きが第１の所定の動きであるかを判定する第１状態認識手段を更に備え、
   前記情報処理装置は、前記第２センサ値を符号化し、符号化後の前記第２センサ値に基づいて前記物体の動きが人物による第２の所定の動きであるかを判定する第２状態認識手段を更に備え、
   前記端末と連携を行う相手となるディスプレイ装置を前記複数のディスプレイ装置から決定するための手順である決定態様が第１の決定態様である場合、
   前記第１通信手段は、前記端末の利用者の動きが前記第１の所定の動きであると判定された場合に、符号化後の前記第１センサ値を前記制御装置に送信し、
   前記第２通信手段は、前記物体の動きが人物による前記第２の所定の動きであると判定された場合に、符号化後の前記第２センサ値を前記制御装置に送信し、
   前記連携相手決定手段は、前記第１通信手段から受信された前記符号化後の前記第１センサ値および前記第２通信手段から受信された前記符号化後の前記第２センサ値に基づき、前記端末と連携を行う相手となるディスプレイ装置を決定する
   ことを特徴とする、請求項１〜８のいずれか一項に記載の端末連携制御システム。
10. 前記連携相手決定手段は、前記第１センサ値を取得した時刻の情報である第１時刻情報及び前記第２センサ値を取得した時刻の情報である第２時刻情報との差が第１閾値より小さく、かつ符号化後の前記第１センサ値と符号化後の前記第２センサ値とが一致している場合に、当該前記第２時刻情報及び当該前記第２センサ値を取得した第２センサ値取得手段に対応するディスプレイ装置を、前記端末と連携を行う相手となる前記ディスプレイ装置と決定する
    ことを特徴とする、請求項９に記載の端末連携制御システム。
11. 前記第１センサ値取得手段は、前記判定部による判定結果に応じてセンサ値取得頻度を変更する、請求項６に記載の端末連携制御システム。
12. 前記ディスプレイ装置はカーソルを表示し、
    前記制御装置は、前記情報処理装置と前記端末との連携後、前記端末に対する操作内容を前記ディスプレイ装置におけるカーソル操作に対応させる、請求項１〜１１のいずれか一項に記載の端末連携制御システム。
13. ディスプレイ装置は選択項目を表示し、
    前記制御装置は、前記情報処理装置と前記端末との連携後、前記端末の利用者によるジャスチャ操作を前記ディスプレイ装置における前記選択項目の選択操作に対応させる、請求項１〜１２のいずれか一項に記載の端末連携制御システム。
14. 前記情報処理装置と前記制御装置は同一装置として構成されることを特徴とする、請求項１に記載の端末連携制御システム。
15. 自端末の動きを検出する第１のセンサと、
    前記第１のセンサによる検出結果を示す第１のセンサ情報を、所定の検出領域における物体の動きを検出する第２のセンサを備える情報処理装置から当該第２のセンサによる検出結果を取得する制御装置に送信する送信手段と、
    を備え、
    自端末の動きを示す第１のセンサ情報と前記第２のセンサによる検出結果とに基づいて前記情報処理装置に含まれる複数のディスプレイ装置から選択されたディスプレイ装置と連携する
    ことを特徴とする、端末。
16. 自端末の動きに応じて検出される検出される第１センサ値を取得する第１センサ値取得手段と、取得された前記第１センサ値を制御装置に送信する通信手段と、を有する端末と連携可能な制御装置であって、
    前記第１センサ値および複数のディスプレイ装置を有する情報処理装置により物体の動きに応じて検出される第２センサ値に基づいて前記端末の動きと前記物体の動きとの対応関係を判定し、判定結果に基づいて、前記端末と連携を行う相手となるディスプレイ装置を前記複数のディスプレイ装置から決定する連携相手決定手段と、
    を備える
    ことを特徴とする、制御装置。
17. 一又は複数の端末と、複数のディスプレイ装置を有する情報処理装置と、制御装置とを含む端末連携制御システムにおける端末連携制御方法であって、
    前記端末が、
    当該端末の動きに応じて検出される第１センサ値を取得する第１センサ値取得ステップと、
    前記第１センサ値取得ステップで取得された前記第１センサ値を前記制御装置に送信する通信ステップと、
    前記情報処理装置が、
    物体の動きに応じて検出される第２センサ値を取得する第２センサ値取得ステップと、
    取得された前記第２センサ値を前記制御装置に送信するステップと、
    前記制御装置が、
    所定の装置前方に位置する物体の動きに応じて検出される第２センサ値を取得する第２センサ値取得ステップと、
    前記第１センサ値及び前記第２センサ値に基づいて前記端末の動きと前記物体の動きの対応関係を判定し、判定結果に基づいて、前記端末と連携を行う相手となるディスプレイ装置を前記複数のディスプレイ装置から決定する連携相手決定ステップと、
    を含む
    ことを特徴とする、端末連携制御方法。
    

Images