JP6260366B2 - 制御装置、制御方法、プログラムおよび端末 - Google Patents

Description

本発明は、制御装置、制御方法、プログラムおよび端末に関するものである。

近日、端末の表示領域よりも大きなページを表示させたい場合に表示領域のサイズに合わせてページを縮小させたり、複数のページを表示させたい場合にページめくりの操作により複数のページを順次に表示させたりする技術が存在する。しかし、かかる技術においては、ページに含まれる文字や画像が小さくなってしまったり、１つの表示領域において複数のページが分散されて表示されたりすることにより、ページの視認性や一覧性が低下してしまうおそれがある。

一方、複数の端末を並べて配置し、１つのページを複数の端末に分散させて表示させる技術もある。例えば、空間に配された撮像装置による撮像結果に対して画像処理を施すことによって複数の端末それぞれの位置関係を判定し、当該位置関係に応じた表示内容が各表示領域に表示されるように制御する技術がある（例えば、特許文献１参照）。また、端末が内蔵する歪みセンサを用いることによって、複数の端末の接触箇所を検出し、接触箇所に基づいて複数の端末の位置関係を判定し、当該位置関係に応じた表示内容が各端末に表示されるように制御する技術がある（例えば、特許文献２参照）。

特開２００５−１７３２９１号公報 特開２０１３−６５９６３号公報

しかしながら、特許文献１に開示された技術では、空間に配された撮像装置と複数の端末との間に物体（例えば、人間など）があると、その物体によって複数の端末が遮蔽されてしまうため、複数の端末それぞれの位置関係の判定精度が低下してしまう可能性がある。また、特許文献２に開示された技術では、複数の端末を接触させる必要があるが、ユーザが複数の端末を接触させることに抵抗を感じる可能性があり、利用シーンが限定されてしまう可能性もある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、複数の端末それぞれの位置関係の判定精度の低下を抑えつつ、利用シーンが限定されてしまう可能性を低減する技術を提供することにある。

上記問題を解決するために、本発明のある観点によれば、第１の端末の撮像部によって撮像された第１の映像と第２の端末の撮像部によって撮像された第２の映像とに基づいて所定の関係が満たされるか否かを判定する判定部と、前記所定の関係が満たされると判定された場合、前記第１の端末の表示部への第１の表示内容と前記第２の端末の表示部への第２の表示内容とが関連するように前記第１の表示内容と前記第２の表示内容とを決定する決定部と、を備え、前記判定部は、前記第１の端末から提供されたセンサ値と前記第２の端末から提供されたセンサ値との差分が所定の範囲を超える場合、所定の関係が満たされるか否かを判定しない、制御装置が提供される。

前記判定部は、前記第１の映像を解析して第１の特徴情報を算出するとともに前記第２の映像を解析して第２の特徴情報を算出し、前記第１の特徴情報と前記第２の特徴情報とに基づいて前記所定の関係が満たされるか否かを判定してよい。

前記所定の関係は、前記第１の特徴情報に含まれる特徴点と前記第２の特徴情報に含まれる特徴点との間のマッチング結果が一致を示すという関係を含んでよい。

前記決定部は、前記第１の特徴情報に含まれる特徴点と前記第２の特徴情報に含まれる特徴点との位置関係に基づいて、前記第１の表示内容と前記第２の表示内容とを決定してよい。

前記第１の映像は、前記第１の端末において裏面に設けられた裏面撮像部によって撮像された第１の裏面映像であってよく、前記第２の映像は、前記第２の端末において裏面に設けられた裏面撮像部によって撮像された第２の裏面映像であってよい。

前記判定部は、前記第１の裏面映像と前記第２の裏面映像と前記第１の端末において表面に設けられた表面撮像部によって撮像された第１の表面映像と前記第２の端末において表面に設けられた表面撮像部によって撮像された第２の表面映像とに基づいて、所定の関係が満たされるか否かを判定してよい。

前記判定部は、前記第１の裏面映像および前記第２の裏面映像の少なくとも何れか一方から算出された特徴情報に特徴点が含まれない場合、前記第１の表面映像と前記第２の表面映像とに基づいて、所定の関係が満たされるか否かを判定してよい。

前記第１の映像は、前記第１の端末において表面に設けられた表面撮像部によって撮像された第１の表面映像であってよく、前記第２の映像は、前記第２の端末において表面に設けられた表面撮像部によって撮像された第２の表面映像であってよい。

前記判定部は、前記第１の表面映像および前記第２の表面映像の少なくとも何れか一方から算出された特徴情報に特徴点が含まれない場合、前記第１の端末において裏面に設けられた裏面撮像部によって撮像された第１の裏面映像と前記第２の端末において裏面に設けられた裏面撮像部によって撮像された第２の裏面映像とに基づいて、所定の関係が満たされるか否かを判定してよい。

前記判定部は、前記第１の端末および前記第２の端末の少なくとも何れか一方からセンサ値またはセンサ値の変化が閾値を超えた旨が通知された場合、通信部を介して映像送信要求を前記第１の端末および前記第２の端末に提供してよい。

前記所定の関係は、前記第１の特徴情報と前記第１の端末のタッチセンサによる検出データとに応じて推定された推定特徴情報に含まれる特徴点と前記第２の特徴情報に含まれる特徴点との間のマッチング結果が一致するという関係を含み、前記推定された特徴情報は、前記第１の端末と前記第２の端末とが並列に置かれた場合における特徴情報であってもよい。

前記所定の関係は、前記第１の特徴情報および前記第２の特徴情報の双方に特徴点が含まれ始めた時刻と前記第１の特徴情報および前記第２の特徴情報の少なくとも何れか一方に特徴点が含まれなくなった時刻との差分が閾値を下回るという関係を含み、前記第１の端末と前記第２の端末とは並列に置かれており、前記決定部は、前記第１の端末と前記第２の端末との位置関係に依存せずに前記第１の表示内容と前記第２の表示内容とを決定してもよい。

また、本発明の他の観点によれば、第１の端末の撮像部によって撮像された第１の映像と第２の端末の撮像部によって撮像された第２の映像とに基づいて所定の関係が満たされるか否かを判定することと、前記所定の関係が満たされると判定された場合、前記第１の端末の表示部への第１の表示内容と前記第２の端末の表示部への第２の表示内容とが関連するように前記第１の表示内容と前記第２の表示内容とを決定することと、を含み、前記第１の端末から提供されたセンサ値と前記第２の端末から提供されたセンサ値との差分が所定の範囲を超える場合、所定の関係が満たされるか否かを判定しない、制御方法が提供される。

また、本発明の他の観点によれば、コンピュータを、第１の端末の撮像部によって撮像された第１の映像と第２の端末の撮像部によって撮像された第２の映像とに基づいて所定の関係が満たされるか否かを判定する判定部と、前記所定の関係が満たされると判定された場合、前記第１の端末の表示部への第１の表示内容と前記第２の端末の表示部への第２の表示内容とが関連するように前記第１の表示内容と前記第２の表示内容とを決定する決定部と、を備え、前記判定部は、前記第１の端末から提供されたセンサ値と前記第２の端末から提供されたセンサ値との差分が所定の範囲を超える場合、所定の関係が満たされるか否かを判定しない、制御装置として機能させるためのプログラムが提供される。

また、本発明の他の観点によれば、映像を撮像する撮像部と、通信部を介して前記映像を制御装置に提供する出力制御部と、表示部と、を備え、前記制御装置に提供された前記映像と他の端末の撮像部によって撮像された映像とに基づいて所定の関係が満たされると判定された場合、前記表示部への第１の表示内容と前記他の端末の表示部への第２の表示内容とが関連するように前記第１の表示内容と前記第２の表示内容とが決定され、自端末から提供されたセンサ値と前記他の端末から提供されたセンサ値との差分が所定の範囲を超える場合、所定の関係が満たされるか否かが判定されない、端末が提供される。

以上説明したように本発明によれば、複数の端末それぞれの位置関係の判定精度の低下を抑えつつ、利用シーンが限定されてしまう可能性を低減することが可能である。

本発明の実施形態に係る表示連携システムの構成を示す図である。 本発明の実施形態に係る複数の端末の連携の例について説明するための図である。 第１の実施形態に係る端末の機能構成例を示す図である。 第１の実施形態に係る制御装置の機能構成例を示す図である。 特徴点が存在する映像の一例を示す図である。 特徴点が存在する映像の他の一例を示す図である。 第１の実施形態に係る端末の動作の流れの例を示すフローチャートである。 第１の実施形態に係る制御装置の動作の流れの例を示すフローチャートである。 端末同士の対応関係の有無の判定の一例を説明するための図である。 第２の実施形態に係る端末の機能構成例を示す図である。 第２の実施形態に係る制御装置の機能構成例を示す図である。 第２の実施形態に係る端末の動作の流れの例を示すフローチャートである。 第２の実施形態に係る制御装置の動作の流れの例を示すフローチャートである。 端末同士の対応関係の有無の判定の一例を説明するための図である。 端末同士の対応関係の有無の判定の一例を説明するための図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

まず、本発明の実施形態に係る表示連携システム１０の構成について、図１および図２を参照しながら説明する。図１は、本発明の実施形態に係る表示連携システム１０の構成を示す図である。図１に示すように、表示連携システム１０は、端末１００Ａ〜１００Ｃと、制御装置２００と、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）アクセスポイント３００と、通信網４００とを備える。本実施形態においては、３台の端末１００が無線ＬＡＮアクセスポイント３００に接続されている場合を想定しているが、無線ＬＡＮアクセスポイント３００に接続されている端末１００は複数であればよい。また、無線ＬＡＮアクセスポイント３００の設置場所は特に限定されないが、例えば、建物の壁面、駅、空港、金融機関、病院などであってもよい。

無線ＬＡＮアクセスポイント３００は、無線通信機能により無線ＬＡＮを形成し、無線ＬＡＮに属する通信端末による通信を制御したり中継したりする。図１に示した例では、無線ＬＡＮアクセスポイント３００が形成する無線ＬＡＮ３１０に端末１００Ａ〜１００Ｃが属し、無線ＬＡＮアクセスポイント３００は、端末１００Ａ〜１００Ｃによる通信を制御したり中継したりする。

通信網４００は、通信網４００に接続されている装置から送信される情報の有線または無線の伝送路である。例えば、通信網４００は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網４００は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。本実施形態においては、通信網４００および無線ＬＡＮアクセスポイント３００を介して、端末１００Ａ〜１００Ｃと制御装置２００とが接続される。

図２は、本発明の実施形態に係る複数の端末１００の連携の例について説明するための図である。例えば、端末１００は、ユーザに対して表示領域が向けられた状態で卓上に立てかけられて設置されてよい。また、端末１００は、ユーザによって自由に位置や向きを変更されてよい。本実施形態においては、これらの複数の端末１００の何れかの端末同士の表示を連携させることが可能である。連携の具体例としては、端末１００Ａと端末１００Ｂとの対応関係に応じて、端末１００Ａの表示に従って端末１００Ｂの表示を変更したり、端末１００Ｂの表示に従って端末１００Ａの表示を変更したりすることが挙げられる。

図２に示した連携例では、端末１００Ａに「ライフプランシミュレーション」の一部に相当する表示内容Ｚ２０が表示されている。ここで、端末１００Ａの表示と端末１００Ａの近傍にある端末１００Ｂの表示とを連携させると、端末１００Ｂには、端末１００Ａに表示された「ライフプランシミュレーション」の一部とは異なる部分に相当する表示内容Ｚ２１が表示される。この例のように、端末１００の表示と端末１００Ｂの表示とを連携させることが情報の一覧性の観点から有用である。

本発明の実施形態においては、端末１００Ａの表示と端末１００Ａの近傍にある端末１００Ｂの表示とを連携させる。このため、制御装置２００は、端末１００Ａによって撮像された映像と端末１００Ａの近傍にある端末１００Ｂによって撮像された映像とを取得し、それぞれの映像を解析することによって得られる特徴情報に基づいて、端末１００Ａと端末１００Ｂとの表示連携を制御する。以下、端末１００と制御装置２００との各機能構成例について説明する。

（第１の実施形態の説明）
続いて、本発明の第１の実施形態について説明する。まず、本発明の第１の実施形態に係る端末１００の機能構成例について説明する。図３は、本発明の第１の実施形態に係る端末１００の機能構成例を示す図である。図３に示すように、本発明の第１の実施形態に係る端末１００は、制御部１１０、撮像部１２０、通信部１３０、記憶部１４０および表示部１５０を備える。

制御部１１０は、端末１００の動作全体を制御する機能を有する。例えば、制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサにより構成されてよい。また、制御部１１０は、各種の演算処理を実行するための電子回路により構成されてよい。

撮像部１２０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を用いて実空間を撮像して映像を生成する機能を有する。撮像部１２０により生成される映像は、ピクセルデータであってよい。また、撮像部１２０により生成される映像は、制御部１１０に出力されてよい。なお、図３に示した例では、撮像部１２０は端末１００と一体化されているが、撮像部１２０は、端末１００と別体に構成されていてもよい。例えば、端末１００と有線または無線で接続される撮像装置が撮像部１２０として扱われてもよい。

通信部１３０は、制御部１１０による制御に従って他の装置と通信を行う機能を有する。例えば、通信部１３０は、無線ＬＡＮアクセスポイント３００を介して制御装置２００と通信を行う通信インタフェースにより構成されてよい。

記憶部１４０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、制御部１１０を動作させるためのプログラムやデータを記憶することができる。また、記憶部１４０は、制御部１１０の動作の過程で必要となる各種データを一時的に記憶することもできる。なお、図３に示した例では、記憶部１４０は端末１００と一体化されているが、記憶部１４０は端末１００と別体に構成されていてもよい。

表示部１５０は、制御部１１０の制御に従って表示内容を表示する機能を有する。表示部１５０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）により実現されてもよいし、有機ＥＬ（Ｅｌｅｃｔｒｏ−ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイにより実現されてもよい。なお、図２に示した例では、表示部１５０は端末１００と一体化されているが、表示部１５０は端末１００と別体に構成されていてもよい。例えば、端末１００と有線または無線で接続される表示装置が表示部１５０として扱われてもよい。

制御部１１０は、映像取得部１１１と、出力制御部１１２とを備える。映像取得部１１１は、撮像部１２０によって撮像された映像を取得する機能を有する。また、出力制御部１１２は、映像取得部１１１によって取得された映像を、通信部１３０を介して制御装置２００に提供する。制御部１１０が備えるこれらの各機能部の詳細については、後に説明する。以上、本発明の第１の実施形態に係る端末１００の機能構成例について説明した。

続いて、本発明の第１の実施形態に係る制御装置２００の機能構成例について説明する。図４は、本発明の第１の実施形態に係る制御装置２００の機能構成例を示す図である。図４に示すように、本発明の第１の実施形態に係る制御装置２００は、制御部２１０、通信部２２０および記憶部２３０を備える。

制御部２１０は、制御装置２００の動作全体を制御する機能を有する。例えば、制御部２１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサにより構成されてよい。また、制御部２１０は、各種の演算処理を実行するための電子回路により構成されてよい。

通信部２２０は、制御部２１０による制御に従って他の装置と通信を行う機能を有する。例えば、通信部２２０は、無線ＬＡＮアクセスポイント３００を介して端末１００Ａ〜１００Ｃと通信を行う通信インタフェースにより構成されてよい。

記憶部２３０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、制御部２１０を動作させるためのプログラムやデータを記憶することができる。また、記憶部２３０は、制御部２１０の動作の過程で必要となる各種データを一時的に記憶することもできる。なお、図４に示した例では、記憶部２３０は制御装置２００と一体化されているが、記憶部２３０は制御装置２００と別体に構成されていてもよい。

制御部２１０は、判定部２１１と、決定部２１２とを備える。判定部２１１は、複数の端末１００それぞれの撮像部１２０によって撮像された映像に基づいて当該複数の端末１００の対応関係の有無を判定する。具体的には、判定部２１１は、複数の端末１００それぞれの撮像部１２０によって撮像された映像に基づいて所定の関係が満たされるか否かを判定する。決定部２１２は、所定の関係が満たされると判定された場合、当該複数の端末１００それぞれの表示部１５０への表示内容が関連するように各表示内容を決定してよい。

かかる構成によれば、複数の端末１００それぞれの撮像部１２０によって撮像された映像を用いるため、空間に配された撮像装置によって撮像された映像を用いる場合よりも、複数の端末１００それぞれの位置関係の判定精度の低下を抑えることが可能となる。また、かかる構成によれば、ユーザに対して特別な操作を要求せずに済むため、利用シーンが限定されてしまう可能性を低減することが可能となる。

また、複数の端末１００の対応関係の有無はどのようにして判定されてもよい。例えば、判定部２１１は、端末１００Ａの撮像部１２０によって撮像された映像を解析して特徴情報を算出するとともに、端末１００Ｂの撮像部１２０によって撮像された映像を解析して特徴情報を算出してよい。そして、判定部２１１は、それぞれの特徴情報に基づいて所定の関係が満たされるか否かを判定してよい。例えば、所定の関係は限定されないが、それぞれの特徴情報に含まれる特徴点のマッチング結果が一致を示すという関係を含んでもよい。

特徴情報は、映像に存在する物体（例えば、２次元コード、人間の顔など）を特徴点とし、その特徴点の映像における位置情報を含んでもよく、その特徴点のサイズを含んでもよい。図５は、特徴点が存在する映像の一例を示す図である。図５を参照すると、端末１００の裏面（表示部１５０が存在する面とは反対側の面）に設けられた撮像部１２０によって撮像された映像Ｚ４０に２次元コードＺ４１が含まれている。このような２次元コードＺ４１も特徴点となり得る。また、特徴情報には、２次元コードＺ４１の中心座標が含まれてよく、２次元コードＺ４１の一辺の画素数が含まれてよい。

図６は、特徴点が存在する映像の他の一例を示す図である。図６を参照すると、端末１００の裏面に設けられた撮像部１２０によって撮像された映像Ｚ４２に人間の顔Ｚ４３が含まれている。このような人間の顔Ｚ４３も特徴点となり得る。なお、本発明の第１の実施形態においては、端末１００の裏面に撮像部１２０が設けられている例を主に説明するが、撮像部１２０は、端末１００の表面（表示部１５０が存在する面）に設けられていてもよい。

図４に戻って説明を続ける。決定部２１２によって決定された各表示内容は、それぞれに対応する端末１００の表示部１５０によって表示されてよい。また、決定部２１２は、複数の端末１００それぞれの表示部１５０への表示内容を、どのように関連させてもよい。例えば、決定部２１２は、コンテンツの一部を端末１００Ａの表示部１５０への表示内容として決定し、残りの一部または全部を端末１００Ｂの表示部１５０への表示内容として決定してもよい。

また、決定部２１２は、端末１００Ａの表示部１５０への表示内容と端末１００Ｂの表示部１５０への表示内容とを連続させてもよい。また、決定部２１２は、端末１００Ａの撮像部１２０によって撮像された映像を解析して算出された特徴情報に含まれる特徴点と端末１００Ｂの撮像部１２０によって撮像された映像を解析して算出された特徴情報に含まれる特徴点との位置関係に基づいて、端末１００Ａの表示部１５０への表示内容と端末１００Ｂの表示部１５０への表示内容とを決定してもよい。

あるいは、決定部２１２は、所定のコンテンツを端末１００Ａの表示部１５０への表示内容として決定し、このコンテンツに関連する情報（例えば、コンテンツの詳細情報など）を端末１００Ｂの表示部１５０への表示内容として決定してもよい。なお、コンテンツの詳細情報は、コンテンツに関連する情報の一例に過ぎない。そのため、コンテンツに関連する情報は、コンテンツの詳細情報に限定されない。

続いて、本発明の第１の実施形態に係る端末１００の動作の流れの例について説明する。図７は、本発明の第１の実施形態に係る端末１００の動作の流れの例を示す図である。なお、図７に示した動作の流れの例は、端末１００の動作の流れの一例に過ぎないため、端末１００の動作は、図７に示した例に限定されないことは言うまでもない。

図７に示したように、端末１００において映像取得部１１１は、撮像部１２０によって撮像された映像を取得し（ステップＳ１０１）、出力制御部１１２は、映像取得部１１１によって取得された映像を、通信部１３０を介して制御装置２００に送信する（ステップＳ１０２）。映像取得部１１１は、表示内容決定情報が通信部２２０によって受信されない場合（ステップＳ１０３において「Ｎｏ」）、所定の時刻経過後、ステップＳ１０１に戻ってよい。

一方、かかる映像に基づいて制御装置２００によって表示内容が決定され、制御装置２００から送信された表示内容決定情報が通信部２２０によって受信された場合（ステップＳ１０３において「Ｙｅｓ」）、表示部１５０は、通信部２２０によって受信された表示内容決定情報に基づいて、出力制御部１１２による制御に従って表示内容を表示する（ステップＳ１０４）。映像取得部１１１は、ステップＳ１０４が終わった後は、ステップＳ１０１に戻ってよい。

表示内容決定情報は、表示内容を識別するための何らかの情報であればよい。したがって、例えば、表示内容決定情報は、表示内容を規定するためのファイル名を含んでもよいし、そのファイルの形式（例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＰＮＧ（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）など）を含んでもよいし、ファイルにおける位置（例えば、ページ番号など）を含んでもよい。

また、表示内容決定情報は、表示内容が存在する位置を示す情報（例えば、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ））を含んでもよい。また、表示内容決定情報は、コンテンツにおける表示内容の位置（例えば、開始座標など）を含んでもよいし、コンテンツに対する表示内容のズーム倍率を含んでもよい。

例えば、図２に示した例のように、端末１００Ａの表示部１５０に「ライフプランシミュレーション」というファイルの一部が表示内容Ｚ２０として表示されている場合を想定する。かかる場合、制御装置２００から端末１００Ｂに通知される表示内容決定情報は、「ライフプランシミュレーション」というファイルを規定するためのファイル名、ファイルの形式、ファイルにおける表示内容Ｚ２１の開始座標、ファイルに対する表示内容Ｚ２１のズーム倍率などを含んでよい。

続いて、本発明の第１の実施形態に係る制御装置２００の動作の流れの例について説明する。図８は、本発明の第１の実施形態に係る制御装置２００の動作の流れの例を示す図である。なお、図８に示した動作の流れの例は、制御装置２００の動作の流れの例に過ぎないため、制御装置２００の動作は、図８に示した例に限定されないことは言うまでもない。

図８に示したように、制御装置２００において通信部２２０は、各端末１００から映像を受信し（ステップＳ２０１）、判定部２１１は、通信部２２０によって受信された各映像を取得し、判定部２１１は、各映像を解析する（ステップＳ２０２）。判定部２１１は、特徴点が算出されない映像があった場合には（ステップＳ２０３において「Ｎｏ」）、所定の時刻経過後、ステップＳ２０１に戻ってよい。

一方、判定部２１１は、各映像から特徴点が算出された場合には（ステップＳ２０３において「Ｙｅｓ）、特徴情報同士が所定の関係を満たすか否かを判定する（ステップＳ２０４）。なお、既に述べたように、特徴情報は、映像に存在する物体（例えば、２次元コード、人間の顔など）を特徴点とし、その特徴点の映像における位置情報を含んでもよく、その特徴点のサイズを含んでもよい。

図９は、端末同士の対応関係の有無の判定の一例を説明するための図である。図９を参照すると、端末１００Ａの撮像部１２０によって映像Ｚ７１が撮像され、端末１００Ｂの撮像部１２０によって映像Ｚ７２が撮像されている。実空間には、２次元コードＺ７０が配置されており、映像Ｚ７１からは、２次元コードＺ７０に対応する特徴点Ｚ７５が算出され、映像Ｚ７２からは、２次元コードＺ７０に対応する特徴点Ｚ７６が算出されている。ここで、端末１００Ａと端末１００Ｂとは、同一面内に置かれており、それぞれの撮像部１２０の撮像方向は同一であると仮定する。

このとき、判定部２１１は、特徴点Ｚ７５のサイズ情報および特徴点Ｚ７６のサイズ情報に基づいて、２次元コードＺ７０と端末１００Ａの撮像部１２０および端末１００Ｂの撮像部１２０との距離Ｚ７４を推定することが可能である。また、判定部２１１は、特徴点Ｚ７５の映像Ｚ７１における位置情報と特徴点Ｚ７６の映像Ｚ７２における位置情報との差分と距離Ｚ７４とに基づいて、端末１００Ａの撮像部１２０と端末１００Ｂの撮像部１２０との距離Ｚ７３を推定することが可能である。

例えば、判定部２１１は、距離Ｚ７３が所定の範囲（例えば、端末１００Ａと端末１００Ｂとが同一面内において短辺同士または長辺同士が接触または近接するように置かれているときの端末１００Ａの撮像部１２０と端末１００Ｂの撮像部１２０との距離の範囲）に収まっている場合には、端末１００Ａと端末１００Ｂとが対応関係を有していると判定してよい。ただし、後にも説明するように、端末同士の対応関係の有無の判定は、かかる例に限定されない。

図８に戻って説明を続ける。決定部２１２は、特徴情報同士が所定の関係を満たさないと判定された場合には（ステップＳ２０４において「Ｎｏ」）、ステップＳ２０６に進んでよい。一方、決定部２１２は、特徴情報同士が所定の関係を満たしていると判定された場合には（ステップＳ２０４において「Ｙｅｓ」）、各端末１００の表示内容を決定する（ステップＳ２０５）。

続いて、通信部２２０は、決定部２１２による制御に従って、各端末１００に表示内容決定情報を通知する（ステップＳ２０６）。ただし、通信部２２０は、ステップＳ２０４において「Ｎｏ」の場合には、所定の関係を満たさない特徴情報が算出された端末１００に対して表示連携を解除する旨を通知してもよい。既に述べたように、表示内容決定情報は、表示内容を識別するための何らかの情報であればよい。判定部２１１は、ステップＳ２０６が終わった後は、ステップＳ２０１に戻ってよい。

（第２の実施形態の説明）
続いて、本発明の第２の実施形態について説明する。本発明の第１の実施形態においては、各端末１００の撮像部１２０によって撮像された映像の中に、特徴情報が算出されない映像があった場合には、各映像を再度受信する例について説明した。本発明の第２の実施形態においては、各端末１００の裏面に設けられた撮像部１２０によって撮像された映像と表面に設けられた撮像部１２０によって撮像された映像との双方を用いる場合を説明する。なお、本発明の第２の実施形態において、本発明の第１の実施形態と同様の構成については説明を省略する。

まず、本発明の第２の実施形態に係る端末１００♯の機能構成例について説明する。図１０は、第２の実施形態に係る端末１００♯の機能構成例を示す図である。図１０に示すように、本発明の第２の実施形態に係る端末１００♯は、制御部１１０♯、裏面撮像部１２０−１、表面撮像部１２０−２、通信部１３０、記憶部１４０、表示部１５０およびセンサ部１６０を備える。また、制御部１１０＃は、裏面映像取得部１１１−１、表面映像取得部１１１−２、出力制御部１１２＃およびセンサ値取得部１１３を備える。

裏面撮像部１２０−１は、端末１００＃の裏面に設けられている。裏面撮像部１２０−１によって撮像された映像（以下、「裏面映像」とも言う。）は、裏面映像取得部１１１−１によって取得される。また、裏面映像取得部１１１−１によって取得された裏面映像は、出力制御部１１２＃に出力される。

一方、表面撮像部１２０−２は、端末１００＃の表面に設けられている。表面撮像部１２０−２によって撮像された映像（以下、「表面映像」とも言う。）は、表面映像取得部１１１−２によって取得される。また、表面映像取得部１１１−２によって取得された表面映像は、出力制御部１１２＃に出力される。

センサ部１６０は、センサ値を検出して制御部１１０＃に出力する。センサ部１６０は特に限定されないが、３軸加速度センサを含んでもよいし、ジャイロセンサを含んでもよいし、深度センサを含んでもよいし、超音波センサを含んでもよいし、地磁気センサを含んでもよいし、タッチセンサを含んでもよいし、照度センサを含んでもよい。なお、図１０に示した例では、センサ部１６０は端末１００＃と一体化されているが、センサ部１６０は、端末１００＃と別体に構成されていてもよい。

センサ部１６０によって検出されたセンサ値は、センサ値取得部１１３によって取得される。また、センサ値取得部１１３によって取得されたセンサ値は、出力制御部１１２＃に出力される。以上、本発明の第２の実施形態に係る端末１００＃の機能構成例について説明した。

続いて、本発明の第２の実施形態に係る制御装置２００＃の機能構成例について説明する。図１１は、本発明の第２の実施形態に係る制御装置２００＃の機能構成例を示す図である。図１１に示すように、本発明の第２の実施形態に係る制御装置２００＃は、制御部２１０＃、通信部２２０および記憶部２３０を備える。また、制御部２１０＃は、判定部２１１＃と、決定部２１２とを備える。

判定部２１１＃は、端末１００＃Ａの裏面撮像部１２０−１によって撮像された裏面映像と、端末１００＃Ｂの裏面撮像部１２０−１によって撮像された裏面映像と、端末１００＃Ａの表面撮像部１２０−２によって撮像された表面映像と、端末１００＃Ｂの表面撮像部１２０−２によって撮像された表面映像とに基づいて、端末１００＃Ａと端末１００＃Ｂとの対応関係の有無を判定する。より詳細には、これらの映像に基づいて、所定の関係が満たされるか否かを判定すればよい。

かかる構成によれば、端末１００＃Ａと端末１００＃Ｂとの対応関係の有無の判定に利用することが可能な映像の種類が増加するため、端末１００＃Ａおよび端末１００＃Ｂそれぞれの位置関係の判定精度をより向上させることが可能となる。また、端末１００＃Ａと端末１００＃Ｂとの対応関係の有無の判定精度がより向上することにより、端末１００＃Ａと端末１００＃Ｂそれぞれに表示される表示内容をより高精度に決定することが可能となる。

例えば、判定部２１１＃は、裏面映像同士が所定の第１の関係を満たし、かつ、表面映像同士が所定の第２の関係を満たすか否かを判定してもよい。また、決定部２１２は、所定の第１の関係および所定の第２の関係が満たされると判定された場合、端末１００＃Ａおよび端末１００＃Ｂそれぞれの表示部１５０への表示内容が関連するように各表示内容を決定してよい。なお、所定の第１の関係と所定の第２の関係とは同一であってもよいし、異なっていてもよい。

また、端末１００＃Ａと端末１００＃Ｂとの対応関係の有無の判定には、各映像が補完的に利用されてもよい。例えば、裏面映像同士が先に利用され、表面映像同士が後に利用されてもよいし、利用される順序は逆であってもよい。例えば、先の各映像から算出された特徴情報には特徴点が含まれないために、先の各映像から算出された特徴情報に基づいて端末１００＃Ａと端末１００＃Ｂとの対応関係の有無を判定できない場合が想定される。かかる場合、後の各映像を利用して端末１００＃Ａと端末１００＃Ｂとの対応関係の有無を判定してもよい。このように、端末１００＃Ａと端末１００＃Ｂとの対応関係の有無の判定は、後の各映像によって補完され得る。

例えば、端末１００＃Ａの裏面撮像部１２０−１によって撮像された裏面映像と、端末１００＃Ｂの裏面撮像部１２０−１によって撮像された裏面映像との少なくとも何れか一方から算出された特徴情報に特徴点が含まれない場合が想定される。かかる場合、判定部２１１＃は、端末１００＃Ａの表面撮像部１２０−２によって撮像された表面映像と、端末１００＃Ｂの表面撮像部１２０−２によって撮像された表面映像とに基づいて、所定の関係が満たされるか否かを判定してよい。

あるいは、端末１００＃Ａの表面撮像部１２０−２によって撮像された表面映像と、端末１００＃Ｂの表面撮像部１２０−２によって撮像された表面映像との少なくとも何れか一方から算出された特徴情報に特徴点が含まれない場合が想定される。かかる場合、判定部２１１＃は、端末１００＃Ａの裏面撮像部１２０−１によって撮像された裏面映像と、端末１００＃Ｂの裏面撮像部１２０−１によって撮像された裏面映像とに基づいて、所定の関係が満たされるか否かを判定してよい。

また、端末１００＃から制御装置２００へは映像が常時送信されてもよいし、定期的に送信されてもよいが、映像の送信により掛かる処理負荷などを考慮すれば、映像に変化が生じたときに映像が送信されるようにするのがよい。ここで、端末１００＃のセンサ部１６０によって検出されたセンサ値またはセンサ値の変化が閾値を超えた場合には、端末１００＃がある程度を超えて動いた可能性があり、撮像された映像に変化が生じた可能性があると考えられる。

そこで、端末１００＃において出力制御部１１２＃は、センサ値またはセンサ値の変化が閾値を超えた場合には、センサ値またはセンサ値の変化が閾値を超えた旨を、通信部１３０を介して制御装置２００に通知するようにすればよい。そして、制御装置２００＃において判定部２１１＃は、端末１００＃Ａおよび端末１００＃Ｂの少なくとも何れか一方からセンサ値またはセンサ値の変化が閾値を超えた旨が通知された場合、通信部２２０を介して映像送信要求を端末１００＃Ａおよび端末１００＃Ｂに提供すればよい。

端末１００＃Ａにおいては、出力制御部１１２＃は、通信部１３０によって映像送信要求が受信された場合に、通信部１３０を介して映像を制御装置２００に提供すればよい。同様に、端末１００＃においても、出力制御部１１２＃は、通信部１３０によって映像送信要求が受信された場合に、通信部１３０を介して映像を制御装置２００に提供すればよい。このようにして映像送信要求が端末１００＃Ａおよび端末１００＃Ｂに提供されるようにすれば、端末１００＃Ａと端末１００＃Ｂとの間において映像の送信時刻を同期させることが可能となる。

続いて、本発明の第２の実施形態に係る端末１００＃の動作の流れの例について説明する。図１２は、本発明の第２の実施形態に係る端末１００＃の動作の流れの例を示す図である。なお、図１２に示した動作の流れの例は、端末１００＃の動作の流れの一例に過ぎないため、端末１００＃の動作は、図１２に示した例に限定されないことは言うまでもない。

図１２に示したように、端末１００＃においてセンサ値取得部１１３は、センサ部１６０によって検出されたセンサ値を取得する（ステップＳ３０１）。続いて、出力制御部１１２＃は、センサ値の変化が閾値を超えたか否かを判定する（ステップＳ３０２）。例えば、センサ部１６０として加速度センサが用いられる場合には、ｘ軸、ｙ軸およびｚ軸それぞれの加速度値の絶対値の合計がセンサ値として採用されてもよい。また、例えば、センサ部１６０として地磁気センサが用いられる場合には、地磁気方向または地磁気方向に応じた方向（例えば、表示部１５０が向けられている方向）がセンサ値として採用されてもよい。

なお、センサ値の変化の代わりにセンサ値自体が用いられてもよい。例えば、センサ部１６０としてジャイロセンサが用いられる場合には、ジャイロセンサによって検出されたセンサ値（角速度）が用いられてよい。かかる場合には、出力制御部１１２＃は、センサ値の変化が閾値を超えたか否かを判定する代わりに、センサ値が閾値を超えたか否かを判定すればよい。

出力制御部１１２＃は、センサ値の変化が閾値を超えていないと判定された場合（ステップＳ３０２において「Ｎｏ」）、ステップＳ３０４に進む。一方、出力制御部１１２＃は、センサ値の変化が閾値を超えたと判定された場合（ステップＳ３０２において「Ｙｅｓ」）、センサ値の変化が閾値を超えた旨を、通信部１３０を介して制御装置２００に通知する（ステップＳ３０３）。

続いて、出力制御部１１２＃は、通信部１３０によって制御装置２００から映像送信要求が受信されない場合には（ステップＳ３０４において「Ｎｏ」）、ステップＳ３０７に進む。一方、裏面映像取得部１１１−１は、通信部１３０によって制御装置２００から映像送信要求が受信された場合には（ステップＳ３０４において「Ｙｅｓ」）、裏面撮像部１２０−１によって撮像された裏面映像を取得するとともに、表面映像取得部１１１−２は、表面撮像部１２０−２によって撮像された表面映像を取得する（ステップＳ３０５）。

続いて、出力制御部１１２＃は、表面映像および裏面映像を、通信部１３０を介して制御装置２００に送信する（ステップＳ３０６）。センサ値取得部１１３は、制御装置２００から表示内容決定情報が受信されない場合には（ステップＳ３０７において「Ｎｏ」）、ステップＳ３０１に戻ってよい。一方、表示部１５０は、制御装置２００から表示内容決定情報が受信された場合には（ステップＳ３０７において「Ｙｅｓ」）、出力制御部１１２＃による制御に従って、表示内容決定情報に基づいて表示内容を表示する（ステップＳ３０８）。センサ値取得部１１３は、ステップＳ３０８が終わった後は、ステップＳ３０１に戻ってよい。

続いて、本発明の第２の実施形態に係る制御装置２００＃の動作の流れの例について説明する。図１３は、本発明の第２の実施形態に係る制御装置２００＃の動作の流れの例を示す図である。なお、図１３に示した動作の流れの例は、制御装置２００＃の動作の流れの例に過ぎないため、制御装置２００＃の動作は、図１３に示した例に限定されないことは言うまでもない。

図１３に示したように、制御装置２００において判定部２１１＃は、複数の端末１００＃の何れからもセンサ値の変化が閾値を超えた旨が通知されない場合（ステップＳ４０１において「Ｎｏ」）、ステップＳ４０１に戻ってよい。一方、判定部２１１＃は、複数の端末１００＃の何れかからセンサ値の変化が閾値を超えた旨が通知された場合（ステップＳ４０１において「Ｙｅｓ」）、同一ＬＡＮに属する各端末１００＃に映像送信要求を、通信部２２０を介して送信する（ステップＳ４０２）。

続いて、各端末１００＃から裏面映像および表面映像を受信する（ステップＳ４０３）。判定部２１１＃は、各裏面映像を解析して（ステップＳ４０４）、各裏面映像から特徴点が算出された場合には（ステップＳ４０５おいて「Ｙｅｓ」）、ステップＳ４１０に進む。一方、判定部２１１＃は、特徴点が算出されない裏面映像が存在した場合には（ステップＳ４０５において「Ｎｏ」）、各表面映像を解析する（ステップＳ４０６）。判定部２１１＃は、各表面映像から特徴点が算出された場合には（ステップＳ４０７において「Ｙｅｓ」）、ステップＳ４１０に進む。

一方、判定部２１１＃は、特徴点が算出されない表面映像が存在した場合には（ステップＳ４０７において「Ｎｏ」）、表面映像の解析が規定回数行われたか否かを判定する（ステップＳ４０８）。判定部２１１＃は、表面映像の解析が規定回数行われた場合には（ステップＳ４０８において「Ｙｅｓ」）、ステップＳ４０１に戻ってよい。一方、判定部２１１＃は、表面映像の解析が規定回数行われていない場合には（ステップＳ４０８において「Ｎｏ」）、解析対象の表面映像を更新し（ステップＳ４０９）、ステップＳ４０６に戻ってよい。

続いて、判定部２１１＃は、各裏面映像から特徴点が算出された場合、または、各表面映像から特徴点が算出された場合には、特徴情報同士が所定の関係を満たすか否かを判定する（ステップＳ４１０）。決定部２１２は、特徴情報同士が所定の関係を満たさないと判定された場合には（ステップＳ４１０において「Ｎｏ」）、ステップＳ４１２に進んでよい。一方、決定部２１２は、特徴情報同士が所定の関係を満たしていると判定された場合には（ステップＳ４１０において「Ｙｅｓ」）、各端末１００の表示内容を決定する（ステップＳ４１１）。

続いて、通信部２２０は、決定部２１２による制御に従って、各端末１００＃に表示内容決定情報を通知する（ステップＳ４１２）。ただし、通信部２２０は、ステップＳ４１０において「Ｎｏ」の場合には、所定の関係を満たさない特徴情報が算出された端末１００＃に対して表示連携を解除する旨を通知してもよい。既に述べたように、表示内容決定情報は、表示内容を識別するための何らかの情報であればよい。判定部２１１＃は、ステップＳ４１２が終わった後は、ステップＳ４０１に戻ってよい。

（効果の説明）
以上に説明したように、本発明の実施形態によれば、複数の端末１００それぞれの撮像部１２０によって撮像された映像を用いるため、空間に配された撮像装置によって撮像された映像を用いる場合よりも、複数の端末１００それぞれの位置関係の判定精度の低下を抑えることが可能となる。また、本発明の実施形態によれば、ユーザに対して特別な操作を要求せずに済むため、利用シーンが限定されてしまう可能性を低減することが可能となる。

（変形例の説明）
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記した例では、制御装置２００が他の装置からは独立した装置として存在したが、制御装置２００は、他の装置に組み込まれていてもよい。例えば、制御装置２００は、端末１００のいずれかに組み込まれていてもよい。また、端末１００の種類は特に限定されない。例えば、端末１００は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）であってもよいし、携帯電話であってもよいし、スマートフォンであってもよいし、タブレット端末であってもよい。

また、制御装置２００が有する機能の一部または全部は、制御装置２００の代わりに複数の端末１００が分担して有していてもよい。例えば、制御装置２００が有する判定部２１１の機能は、映像解析の機能などを含んでおり、処理負荷が大きいことが予想される。したがって、判定部２１１の機能は、制御装置２００の代わりに複数の端末１００が分担して有していてもよい。

また、決定部２１２は、端末１００Ａと端末１００Ｂとが離れていると判定された場合であっても、端末１００Ａと端末１００Ｂとの距離を考慮して、それぞれの表示内容を決定してよい。例えば、それぞれの表示内容は、コンテンツにおいて端末１００Ａと端末１００Ｂとの距離に応じた長さだけ離れた領域であってもよい。また、ベゼルの位置には表示内容が表示されないため、決定部２１２は、ベゼルの幅を考慮してそれぞれの表示内容を決定してもよい。例えば、それぞれの表示内容は、コンテンツにおいてベゼルの幅に応じた長さだけ離れた領域であってもよい。

また、判定部２１１によって映像が解析されるに際して、映像に存在する物体が既知である場合には、その物体の実サイズが容易に把握され得るが、映像に存在する物体が未知である場合も想定される。しかしながら、かかる場合であっても、判定部２１１は、外部に存在する画像データベースや画像検索システムなどと連携して、物体の実サイズを把握するようにしてもよい。

また、上記した例においては、表面映像の解析が規定回数行われていない場合には解析対象の表面映像を更新することとした。ここで、端末１００＃のセンサ部１６０によって検出されたセンサ値またはセンサ値の変化が閾値を超えた場合には、撮像された映像に変化が生じた可能性があると考えられる。そこで、判定部２１１＃は、表面映像の解析が規定回数行われていない場合、かつ、センサ値またはセンサ値の変化が閾値を超えた場合に、解析対象の表面映像を更新するようにしてもよい。そうすれば、端末１００＃からの映像送信によって掛かる処理負荷が軽減され得る。

また、対応関係の有無の判定がなされる端末１００は絞り込まれてもよい。例えば、端末１００＃Ａのセンサ部１６０によって検出されたセンサ値と端末１００＃Ｂのセンサ部１６０によって検出されたセンサ値との差分が所定の範囲を超える場合、端末１００＃Ａの向きと端末１００Ｂの向きとの差分はある程度を超えていることが想定される。かかる場合には、端末１００＃Ａと端末１００＃Ｂとの間で表示連携させなくてよいと考えられるため、判定部２１１＃は、対応関係の有無の判定をスキップしてもよい。すなわち、かかる場合には、判定部２１１＃は、所定の関係が満たされるか否かを判定しないことにしてもよい。そうすれば、処理の高速化が図られ、誤判定の可能性が低減され得る。

例えば、センサ部１６０として地磁気センサが用いられる場合には、地磁気方向または地磁気方向に応じた方向（例えば、表示部１５０が向けられている方向）がセンサ値として採用されてもよい。このとき、例えば、地磁気方向または地磁気方向に応じた方向がある程度の幅を有したラベル（例えば、東西南北など）によって表現され、ラベル同士が等しくない場合に、対応関係の有無の判定がスキップされてもよい。なお、センサ値としては、ジャイロセンサによって検出されたセンサ値（角速度）が用いられてもよいし、照度センサによって検出されたセンサ値（照度）が用いられてもよい。

また、端末１００＃Ａの表面撮像部１２０−２によって撮像された表面映像と端末１００＃Ｂの表面撮像部１２０−２によって撮像された表面映像とに同じ物体が映っていたとしても、撮像方向の相違から特徴点同士のマッチングが不一致となる場合も想定される。そこで、対応関係の有無の判定には、推定された特徴情報が利用されてもよい。具体的には、端末１００Ａのタッチセンサによる検出データ（例えば、タッチ位置）に対応して特徴情報の推定があらかじめモデル情報として用意されている場合が想定される。

かかる場合、判定部２１１＃は、端末１００＃Ａの表面撮像部１２０−２によって撮像された表面映像から算出された特徴情報と端末１００＃Ａのタッチセンサによる検出データとに応じて、モデル情報を用いて端末１００＃Ｂの表面撮像部１２０−２によって撮像された表面映像から算出されるべき特徴情報を推定することが可能である。このとき、判定部２１１＃は、このようにして推定された特徴情報に含まれる特徴点と端末１００＃Ｂの表面撮像部１２０−２によって撮像された表面映像から算出された特徴情報に含まれる特徴点との間のマッチング結果が一致するか否かによって、所定の条件が満たされるか否かを判定してもよい。

図１４は、端末同士の対応関係の有無の判定の一例を説明するための図である。図１４を参照すると、端末１００＃Ａと端末１００＃Ｂとが配置されている。また、端末１００＃Ａの表面撮像部１２０−２と端末１００＃Ｂの表面撮像部１２０−２との間が距離Ｚ１１３だけ離れている。また、図１４を参照すると、端末１００＃Ａの表面撮像部１２０−２によって表面映像Ｚ１１１が撮像され、端末１００＃Ｂの表面撮像部１２０−２によって表面映像Ｚ１１２が撮像されている。

図１４に示した例において、判定部２１１＃は、ユーザの腕Ｚ１１０に対応する特徴点Ｚ１１４を表面映像Ｚ１１１から算出している。また、判定部２１１＃は、特徴点Ｚ１１４の表面映像Ｚ１１１における位置情報および特徴点Ｚ１１４のサイズに基づいて、端末１００＃Ａのタッチセンサへのタッチ座標に対応する腕Ｚ１１０のモデル情報を用いて、特徴点Ｚ１１５の表面映像Ｚ１１２における位置情報および特徴点Ｚ１１５のサイズを推定し得る。そこで、判定部２１１＃は、かかる推定結果と表面映像Ｚ１１２から算出した特徴点Ｚ１１５の表面映像Ｚ１１２における位置情報および特徴点Ｚ１１５のサイズとを比較すればよい。

また、端末１００＃Ａの表面撮像部１２０−２によって撮像された表面映像と端末１００＃Ｂの表面撮像部１２０−２によって撮像された表面映像とに映った物体の動きに基づいて、対応関係の有無が判定されてもよい。例えば、端末１００＃Ａと端末１００＃Ｂとが近傍に置かれている場合、それぞれの表面映像に、同一の特徴点が含まれ始めた状態から少なくとも何れか一方に含まれなくなる状態になるまでの時間が閾値を下回ることが想定される。

そこで、判定部２１１＃は、端末１００＃Ａの表面撮像部１２０−２によって撮像された表面映像から算出された特徴情報および端末１００＃Ｂの表面撮像部１２０−２によって撮像された表面映像から算出された特徴情報の双方に特徴点が含まれ始めた時刻と少なくとも何れか一方に特徴点が含まれなくなった時刻との差分が閾値を下回るか否かによって、所定の条件が満たされるか否かを判定してもよい。

図１５は、端末同士の対応関係の有無の判定の一例を説明するための図である。図１５を参照すると、端末１００＃Ａと端末１００＃Ｂとが配置されている。また、端末１００＃Ａの表面撮像部１２０−２と端末１００＃Ｂの表面撮像部１２０−２との間が距離Ｚ１２３だけ離れている。また、図１５を参照すると、端末１００＃Ａの表面撮像部１２０−２によって表面映像Ｚ１２１が撮像され、端末１００＃Ｂの表面撮像部１２０−２によって表面映像Ｚ１２２が撮像されている。

図１５に示した例において、判定部２１１＃は、ユーザの腕Ｚ１２０に対応する特徴点Ｚ１２４を表面映像Ｚ１２１から算出している。また、判定部２１１＃は、ユーザの腕Ｚ１２０に対応する特徴点Ｚ１２５を表面映像Ｚ１２２から算出している。例えば、判定部２１１＃は、表面映像Ｚ１２１に特徴点Ｚ１２４が映っており表面映像Ｚ１２２に特徴点Ｚ１２５が映っている状態が開始されてから、表面映像Ｚ１２２に特徴点Ｚ１２５が映らなくなった状態になるまでの時間が閾値を下回るか否かによって、端末１００＃Ａと端末１００＃Ｂとの対応関係の有無を判定してよい。

制御部１１０を構成する各ブロックは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成され、記憶部１４０により記憶されているプログラムがＣＰＵによりＲＡＭに展開されて実行されることにより、その機能が実現され得る。あるいは、制御部１１０を構成する各ブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。

制御部２１０を構成する各ブロックは、例えば、ＣＰＵ、ＲＡＭなどから構成され、記憶部２３０により記憶されているプログラムがＣＰＵによりＲＡＭに展開されて実行されることにより、その機能が実現され得る。あるいは、制御部２１０を構成する各ブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。

尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。

１０ 表示連携システム
１００（１００Ａ〜１００Ｃ） 端末
１１０ 制御部
１１１ 映像取得部
１１１−１ 裏面映像取得部
１１１−２ 表面映像取得部
１１２ 出力制御部
１１３ センサ値取得部
１２０ 撮像部
１２０−１ 裏面撮像部
１２０−２ 表面撮像部
１３０ 通信部
１４０ 記憶部
１５０ 表示部
１６０ センサ部
２００ 制御装置
２１０ 制御部
２１１ 判定部
２１２ 決定部
２２０ 通信部
２３０ 記憶部
３００ 無線ＬＡＮアクセスポイント
４００ 通信網

Claims (15)

1. 第１の端末の撮像部によって撮像された第１の映像と第２の端末の撮像部によって撮像された第２の映像とに基づいて所定の関係が満たされるか否かを判定する判定部と、
   前記所定の関係が満たされると判定された場合、前記第１の端末の表示部への第１の表示内容と前記第２の端末の表示部への第２の表示内容とが関連するように前記第１の表示内容と前記第２の表示内容とを決定する決定部と、を備え、
   前記判定部は、前記第１の端末から提供されたセンサ値と前記第２の端末から提供されたセンサ値との差分が所定の範囲を超える場合、所定の関係が満たされるか否かを判定しない、
   制御装置。
2. 前記判定部は、前記第１の映像を解析して第１の特徴情報を算出するとともに前記第２の映像を解析して第２の特徴情報を算出し、前記第１の特徴情報と前記第２の特徴情報とに基づいて前記所定の関係が満たされるか否かを判定する、
   請求項１に記載の制御装置。
3. 前記所定の関係は、前記第１の特徴情報に含まれる特徴点と前記第２の特徴情報に含まれる特徴点との間のマッチング結果が一致を示すという関係を含む、
   請求項２に記載の制御装置。
4. 前記決定部は、前記第１の特徴情報に含まれる特徴点と前記第２の特徴情報に含まれる特徴点との位置関係に基づいて、前記第１の表示内容と前記第２の表示内容とを決定する、
   請求項３に記載の制御装置。
5. 前記第１の映像は、前記第１の端末において裏面に設けられた裏面撮像部によって撮像された第１の裏面映像であり、
   前記第２の映像は、前記第２の端末において裏面に設けられた裏面撮像部によって撮像された第２の裏面映像である、
   請求項１に記載の制御装置。
6. 前記判定部は、前記第１の裏面映像と前記第２の裏面映像と前記第１の端末において表面に設けられた表面撮像部によって撮像された第１の表面映像と前記第２の端末において表面に設けられた表面撮像部によって撮像された第２の表面映像とに基づいて、所定の関係が満たされるか否かを判定する、
   請求項５に記載の制御装置。
7. 前記判定部は、前記第１の裏面映像および前記第２の裏面映像の少なくとも何れか一方から算出された特徴情報に特徴点が含まれない場合、前記第１の表面映像と前記第２の表面映像とに基づいて、所定の関係が満たされるか否かを判定する、
   請求項６に記載の制御装置。
8. 前記第１の映像は、前記第１の端末において表面に設けられた表面撮像部によって撮像された第１の表面映像であり、
   前記第２の映像は、前記第２の端末において表面に設けられた表面撮像部によって撮像された第２の表面映像である、
   請求項１に記載の制御装置。
9. 前記判定部は、前記第１の表面映像および前記第２の表面映像の少なくとも何れか一方から算出された特徴情報に特徴点が含まれない場合、前記第１の端末において裏面に設けられた裏面撮像部によって撮像された第１の裏面映像と前記第２の端末において裏面に設けられた裏面撮像部によって撮像された第２の裏面映像とに基づいて、所定の関係が満たされるか否かを判定する、
   請求項８に記載の制御装置。
10. 前記判定部は、前記第１の端末および前記第２の端末の少なくとも何れか一方からセンサ値またはセンサ値の変化が閾値を超えた旨が通知された場合、通信部を介して映像送信要求を前記第１の端末および前記第２の端末に提供する、
    請求項１に記載の制御装置。
11. 前記所定の関係は、前記第１の特徴情報と前記第１の端末のタッチセンサによる検出データとに応じて推定された特徴情報に含まれる特徴点と前記第２の特徴情報に含まれる特徴点との間のマッチング結果が一致するという関係を含み、
    前記推定された特徴情報は、前記第１の端末と前記第２の端末とが並列に置かれた場合における特徴情報である、
    請求項２に記載の制御装置。
12. 前記所定の関係は、前記第１の特徴情報および前記第２の特徴情報の双方に特徴点が含まれ始めた時刻と前記第１の特徴情報および前記第２の特徴情報の少なくとも何れか一方に特徴点が含まれなくなった時刻との差分が閾値を下回るという関係を含み、
    前記第１の端末と前記第２の端末とは並列に置かれており、
    前記決定部は、前記第１の端末と前記第２の端末との位置関係に依存せずに前記第１の表示内容と前記第２の表示内容とを決定する、
    請求項２に記載の制御装置。
13. 第１の端末の撮像部によって撮像された第１の映像と第２の端末の撮像部によって撮像された第２の映像とに基づいて所定の関係が満たされるか否かを判定することと、
    前記所定の関係が満たされると判定された場合、前記第１の端末の表示部への第１の表示内容と前記第２の端末の表示部への第２の表示内容とが関連するように前記第１の表示内容と前記第２の表示内容とを決定することと、
    を含み、
    前記第１の端末から提供されたセンサ値と前記第２の端末から提供されたセンサ値との差分が所定の範囲を超える場合、所定の関係が満たされるか否かを判定しない、
    制御方法。
14. コンピュータを、
    第１の端末の撮像部によって撮像された第１の映像と第２の端末の撮像部によって撮像された第２の映像とに基づいて所定の関係が満たされるか否かを判定する判定部と、
    前記所定の関係が満たされると判定された場合、前記第１の端末の表示部への第１の表示内容と前記第２の端末の表示部への第２の表示内容とが関連するように前記第１の表示内容と前記第２の表示内容とを決定する決定部と、を備え、
    前記判定部は、前記第１の端末から提供されたセンサ値と前記第２の端末から提供されたセンサ値との差分が所定の範囲を超える場合、所定の関係が満たされるか否かを判定しない、
    制御装置として機能させるためのプログラム。
15. 映像を撮像する撮像部と、
    通信部を介して前記映像を制御装置に提供する出力制御部と、
    表示部と、を備え、
    前記制御装置に提供された前記映像と他の端末の撮像部によって撮像された映像とに基づいて所定の関係が満たされると判定された場合、前記表示部への第１の表示内容と前記他の端末の表示部への第２の表示内容とが関連するように前記第１の表示内容と前記第２の表示内容とが決定され、
    自端末から提供されたセンサ値と前記他の端末から提供されたセンサ値との差分が所定の範囲を超える場合、所定の関係が満たされるか否かが判定されない、
    端末。
    

Images