JP6384376B2 - 情報処理装置、プログラム、携帯端末、及び情報処理システム - Google Patents

Description

本発明は、情報処理装置、プログラム、携帯端末、及び情報処理システムに関する。

従来、例えば駅、空港、またはショッピングモールなどの施設には、ディスプレイを用いて利用者に対して情報提供を行うデジタルサイネージが設置されている。例えば、特許文献１には、ディスプレイに表示されている複数のコンテンツのうちいずれかがユーザにより選択された場合に、選択されたコンテンツと関連したコンテンツをディスプレイに表示させる技術が記載されている。

また、ディスプレイに表示されているコンテンツとユーザとの間での直感的なインタラクションを可能とするための技術も提案されている。例えば、特許文献２には、ディスプレイに表示されている複数の概略情報のうちのいずれかに対するユーザの手の接近が超音波センサにより検出された場合には、該当の概略情報に対応付けられた詳細情報をディスプレイに表示させる技術が記載されている。

特開２０１５−１５００５号公報 特開２００６−３０１５３４号公報

しかしながら、特許文献２に記載の技術では、システムの構成が複雑になる。例えば、特許文献２に記載の技術では、ディスプレイに対するユーザの相対位置を推測するために、ディスプレイごとに専用の計測機器が必要である。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、専用の計測機器による計測結果を用いることなく、表示部に対するユーザの相対位置を推測することが可能な、新規かつ改良された情報処理装置、プログラム、携帯端末、及び情報処理システムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、携帯端末と表示部との間の情報連携の確立に関する判定を行う連携処理部と、前記携帯端末により検出される前記携帯端末の位置変化と、前記情報連携の確立が判定された場合に前記表示部により検出される前記表示部における前記携帯端末の接触位置とに基づいて、前記携帯端末を携帯するユーザの前記表示部に対する相対位置を推測する位置推測部と、を備える、情報処理装置が提供される。

前記携帯端末の位置変化は、前記携帯端末が前記表示部に接触された際の前記携帯端末の位置と、前記携帯端末が前記表示部に接触される前もしくは前記表示部から離れた後における前記携帯端末の位置との間の変化であってもよい。

前記携帯端末の位置変化は、前記ユーザの姿勢が第１の姿勢から、前記ユーザが前記携帯端末を前記表示部に接触させる際の姿勢であるタッチ姿勢へ移行する際、もしくは、前記タッチ姿勢から前記第１の姿勢へ移行する際における前記携帯端末の位置の変化であってもよい。

前記ユーザの姿勢は、前記携帯端末により検出される前記携帯端末の加速度または前記携帯端末の角加速度に基づいて判定されてもよい。

前記位置推測部は、さらに、記憶部に格納されている人体モデル情報に基づいて、前記表示部に対する前記ユーザの相対位置を推測してもよい。

前記情報連携は、前記携帯端末が前記ユーザにより把持された状態で前記携帯端末が前記表示部に接触された場合に確立されてもよい。

前記情報処理装置は、前記位置推測部により前記ユーザの相対位置が推測された場合に、推測された前記ユーザの相対位置に基づいて、前記表示部に表示されているコンテンツの表示態様を変化させる表示制御部をさらに備えてもよい。

前記表示制御部は、前記ユーザの相対位置に基づいて、表示されているコンテンツの表示位置を変更してもよい。

前記表示制御部は、前記ユーザの相対位置が前記表示部上に投影された位置である投影位置の周辺に表示されているコンテンツを前記投影位置の上方に移動し、表示させてもよい。

前記情報処理装置は、前記携帯端末の接触位置、前記携帯端末が前記表示部に接触された際における前記表示部に対する前記携帯端末の傾き、および、前記ユーザの相対位置に基づいて、前記ユーザが前記携帯端末を把持する把持腕が左腕と右腕とのいずれであるかを推測する姿勢推測部をさらに備え、前記表示制御部は、さらに、推測された前記ユーザの把持腕に基づいて、表示されているコンテンツの表示態様を変化させてもよい。

前記姿勢推測部は、前記携帯端末の接触位置と推測された前記ユーザの相対位置との位置関係に対応付けてデータベースに登録されている把持腕判定条件が示す傾きの閾値と、前記携帯端末の傾きとを比較することにより、前記把持腕が左腕と右腕とのいずれであるかを推測してもよい。

前記情報処理装置は、前記携帯端末が前記表示部に接触されている場合に、前記姿勢推測部により推測された把持腕、推測された前記ユーザの相対位置、および、前記携帯端末の接触位置に基づいて、前記表示部において前記把持腕により前記ユーザの視界から遮蔽される領域である遮蔽領域を推測する遮蔽領域推測部をさらに備え、前記表示制御部は、推測された遮蔽領域に表示されているコンテンツの表示位置を変更してもよい。

前記表示制御部は、前記遮蔽領域に表示されているコンテンツを前記遮蔽領域外の領域に表示させてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、携帯端末と表示部との間の情報連携の確立に関する判定を行う連携処理部と、前記携帯端末により検出される前記携帯端末の位置変化と、前記情報連携の確立が判定された場合に前記表示部により検出される前記表示部における前記携帯端末の接触位置とに基づいて、前記携帯端末を携帯するユーザの前記表示部に対する相対位置を推測する位置推測部、として機能させるための、プログラムが提供される。

また、上記課題を解決するために、本発明の別の観点によれば、携帯端末であって、ユーザにより把持された状態で前記携帯端末が表示部に接触された場合に前記表示部との間での情報連携の確立の要求を情報処理装置へ送信部に送信させる連携制御部と、前記携帯端末が前記表示部に接触された際の前記携帯端末の位置と、前記表示部に接触される前もしくは前記表示部から離れた後における前記携帯端末の位置との間の位置変化を検出し、検出した位置変化を前記情報処理装置へ前記送信部に送信させる動作制御部と、を備える、携帯端末が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、携帯端末と、コンテンツを表示する表示部と、前記携帯端末と前記表示部との間の情報連携の確立に関する判定を行う連携処理部と、前記携帯端末により検出される前記携帯端末の位置変化と、前記情報連携の確立が判定された場合に前記表示部により検出される前記表示部における前記携帯端末の接触位置とに基づいて、前記携帯端末を携帯するユーザの前記表示部に対する相対位置を推測する位置推測部と、を備える、情報処理システムが提供される。

以上説明したように本発明によれば、専用の計測機器による計測結果を用いることなく、表示部に対するユーザの相対位置を推測することができる。

本発明の第１の実施形態による情報処理システムの構成例を示した説明図である。 ベース姿勢およびタッチ姿勢の例を示した説明図である。 同実施形態による携帯端末２０の構成を示した機能ブロック図である。 携帯端末２０において設定されている座標系の例を示した説明図である。 携帯端末２０を傾けた場面において携帯端末２０にかかる重力加速度の方向を示した説明図である。 同実施形態による携帯端末２０の表示方向ごとの、ベース姿勢に関する一部の判定方法の例を示した説明図である。 携帯端末２０により検出された加速度の変化方向を表示部３２６上に投影した様子を示した説明図である。 同実施形態による表示装置３０の構成を示した機能ブロック図である。 同実施形態によるサーバ１０‐１の構成を示した機能ブロック図である。 同実施形態による動作の一部を示したシーケンス図である。 同実施形態による動作の一部を示したシーケンス図である。 本発明の第２の実施形態によるサーバ１０‐２の構成を示した機能ブロック図である。 携帯端末２０の把持腕の回転の自由度を示した説明図である。 タッチ姿勢時における携帯端末２０の把持腕の手掌部分の無理のない姿勢の例を示した説明図である。 タッチ姿勢時における携帯端末２０の把持腕と、表示部に対する携帯端末２０の傾きとの関係例を示した説明図である。 タッチ姿勢時における携帯端末２０の把持腕と、表示部に対する携帯端末２０の傾きとの関係例を示した説明図である。 タッチ姿勢時における携帯端末２０の把持腕と、表示部に対する携帯端末２０の傾きとの関係例を示した説明図である。 同実施形態による把持腕の判定条件が異なる領域の区分例を示した説明図である。 ユーザの相対位置とタッチ位置との関係の例を示した説明図である。 ユーザの相対位置とタッチ位置との位置関係および把持腕の組み合わせと、遮蔽領域との関係の例を示した説明図である。 遮蔽領域と、コンテンツが非表示にされる領域との関係の例を示した説明図である。 同実施形態による動作の一部を示したシーケンス図である。 各実施形態に共通するサーバ１０のハードウェア構成を示した説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じて通信網３２ａおよび通信網３２ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、通信網３２ａおよび通信網３２ｂを特に区別する必要が無い場合には、単に通信網３２と称する。

また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．情報処理システムの基本構成
２．第１の実施形態
３．第２の実施形態
４．ハードウェア構成
５．変形例

なお、本明細書及び図面において、第１の実施形態によるサーバ１０‐１と第２の実施形態によるサーバ１０‐２とを特に区別する必要がない場合には、総称的にサーバ１０と記載する場合がある。

＜＜１．情報処理システムの基本構成＞＞
まず、各実施形態に共通する情報処理システムの基本構成について、図１を参照して説明する。図１に示したように、各実施形態に共通する情報処理システムは、サーバ１０、携帯端末２０、表示装置３０、および通信網３２を含む。

［１−１−１．サーバ１０］
サーバ１０は、本発明における情報処理装置の一例である。このサーバ１０は、例えば携帯端末２０がユーザにより表示装置３０にタッチされた場合に、携帯端末２０と表示装置３０との間の情報連携（ペアリング）の確立処理を行うための装置である。また、サーバ１０は、表示装置３０に対する表示制御を行うことが可能である。

［１−１−２．携帯端末２０］
携帯端末２０は、ユーザが携帯する通信端末である。この携帯端末２０は、例えば、スマートフォンなどの携帯電話である。

また、携帯端末２０は、サーバ１０との間で通信網３２ａを介して各種情報の送受信を行うことが可能である。なお、携帯端末２０と表示装置３０とは、初期状態では互いに通信相手として特定されていない状態であり、通信が不可能となっている。

［１−１−３．表示装置３０］
表示装置３０は、例えば静電容量方式または赤外線遮断方式のタッチパネルを含むディスプレイを有する。この表示装置３０は、例えば、デジタルサイネージ用の装置である。

表示装置３０は、サーバ１０から受信される表示制御情報に従って、画像などの複数のコンテンツを表示する。また、表示装置３０は、例えば図２の右図に示したような、ユーザが携帯端末２０を表示装置３０のディスプレイに接触させた場合（タッチ姿勢時）に、ディスプレイにおける携帯端末２０のタッチ位置を検出することが可能である。

［１−１−４．通信網３２］
通信網３２は、通信網３２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網３２は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網３２は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

＜１−２．課題の整理＞
ところで、表示装置３０に表示されているコンテンツとユーザとの間で直感的なインタラクションが可能であることが望まれる。例えば図２の右図に示したようにユーザが携帯端末２０をディスプレイにタッチした場合には、携帯端末２０のタッチ位置に応じて、表示されているコンテンツの表示態様を変化可能であることが望ましい。

公知の技術では、ユーザの状態を計測するためだけに使用される専用の計測機器を使用することにより、インタラクション時におけるユーザとディスプレイとの位置関係や姿勢関係を計測する技術が提案されている。しかしながら、この技術では、専用の計測機器が必要となるので、システムの構成が複雑になったり、システムの導入コストが高くなる。

そこで、上記事情を一着眼点にして、各実施形態によるサーバ１０を創作するに至った。各実施形態によるサーバ１０は、携帯端末２０および表示装置３０による計測結果だけで、ディスプレイに対するユーザの相対位置を推測することが可能である。また、サーバ１０は、推測したユーザの相対位置に応じて、表示装置３０に表示されているコンテンツの表示態様を変化させることが可能である。

＜＜２．第１の実施形態＞＞
＜２−１．構成＞
［２−１−１．携帯端末２０］
次に、第１の実施形態による構成について詳細に説明する。図３は、第１の実施形態による携帯端末２０の構成を示した機能ブロック図である。図３に示したように、携帯端末２０は、制御部２００、入力部２２０、センサ部２２２、通信部２２４、記憶部２２６、および表示部２２８を有する。

（２−１−１−１．制御部２００）
制御部２００は、携帯端末２０に内蔵される例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、またはＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などのハードウェアを用いて、携帯端末２０の動作を全般的に制御する。また、図３に示したように、制御部２００は、操作処理部２０２、動作処理部２０４、表示制御部２０６、および、連携制御部２０８を有する。

（２−１−１−２．操作処理部２０２）
操作処理部２０２は、後述する入力部２２０により検出されたユーザの入力操作の処理を行う。

（２−１−１−３．動作処理部２０４）
‐動作の導出
動作処理部２０４は、後述するセンサ部２２２による検出結果に基づいて、ユーザの動作またはユーザに把持された携帯端末２０の動作を示す動作情報を導出する処理を行う。

‐‐ユーザの姿勢（ベース姿勢）の判定
例えば、動作処理部２０４は、センサ部２２２による加速度または角加速度の検出結果に基づいて、ユーザの姿勢がベース姿勢であるか否かの判定を行う。ここで、ベース姿勢は、本発明における第１の姿勢の一例である。ベース姿勢は、タッチ姿勢との間での姿勢の切り替えを識別可能な任意の姿勢である。また、タッチ姿勢は、例えば図２の右図に示したような、ユーザが携帯端末２０を表示装置３０のディスプレイにタッチさせる際の姿勢である。

例えば、ベース姿勢は、図２の左図に示したように、ユーザが携帯端末２０を胸部前方に傾けて保持し、かつ、携帯端末２０の表示画面を見ている姿勢であってもよい。または、ベース姿勢は、ユーザが表示装置３０に正対し、かつ、携帯端末２０を手に把持した状態で手を下ろしている姿勢であってもよい。または、ベース姿勢は、ユーザが表示装置３０に向かって歩いている際の姿勢であってもよい。

例えば、動作処理部２０４は、下記の２つの条件（条件Ａ、および条件Ｂ）をともに満たす場合にはユーザの姿勢がベース姿勢であると判定し、かつ、２つの条件のうち少なくとも一方を満たさない場合にはベース姿勢ではないと判定してもよい。ここで、条件Ａは、携帯端末２０が静止状態であることである。また、条件Ｂは、携帯端末２０の姿勢状態が、特定の姿勢状態であることである。

ここで、上記の内容についてより詳細に説明する。今、携帯端末２０の座標系（つまり、後述するセンサ部２２２に含まれる３軸加速度センサまたはジャイロセンサの座標系）が図４に示したようなｘｙｚ座標系として設定されているとする。この場合、条件Ａは、例えば３軸加速度センサにより測定されるｘ、ｙ、ｚの３軸方向にかかる加速度がそれぞれ一定の値に収束しており（または、ある範囲内に収まっており）、かつ、３軸回りにかかる角加速度（角速度）の値が全て「０」である（または「０」を基点としてある範囲内に収まっている）状態であることである。

ところで、ベース姿勢が、図２の左図に示したようなユーザが携帯端末２０の表示画面を見ている姿勢として定められているとすると、携帯端末２０は、ベース姿勢時において、例えば図５に示したような方向にユーザにより傾けられている。このため、携帯端末２０には、重力加速度Ｇ（ｇｘ，ｇｙ，ｇｚ）が図５に示した実線の矢印のような方向にかかる。そこで、ベース姿勢が図２の左図に示したような姿勢と定められている場合には、上記の条件Ｂは、下記の２つの条件（条件Ｂ‐１、および条件Ｂ‐２）をともに満たす状態であると定められ得る。

なお、条件Ｂ‐１は、携帯端末２０の表示部２２８が上方を向いていることを判定するための条件である。また、条件Ｂ‐２は、（ユーザが表示部２２８を見やすいように）表示部２２８がユーザの胸部側に傾けられていることを判定するための条件である。

なお、変形例として、空間上での携帯端末２０の姿勢によって表示画面の表示方向を４方向に変化可能な機能を携帯端末２０が有している場合には、条件Ｂ‐２の代わりに、図６に示したような、表示画面の表示方向ごとに定められた判定式が用いられてもよい。例えば表示部２２８におけるＹ軸の負方向と表示画面の表示の上方向とが一致するように携帯端末２０が傾けられている場合には、条件Ｂ‐２の代わりに、下記の判定式が用いられる。

‐‐携帯端末２０の位置変化の特定
また、動作処理部２０４は、センサ部２２２により検出される加速度の変化に基づいて、携帯端末２０の位置の変化を特定する。例えば、動作処理部２０４は、検出された加速度の変化の方向と逆の方向に携帯端末２０が移動したことを特定する。

ここで、図７を参照して、上記の内容についてより詳細に説明する。図７は、ユーザにより携帯端末２０が移動された場合において、センサ部２２２により検出された加速度の変化方向が（表示装置３０における）後述する表示部３２６上に投影された様子を示した説明図である。なお、図７における（ａ）は、携帯端末２０が表示部３２６にタッチされる際に、矢印で示したように、加速度が「左上」方向に変化したことが検出された場合の投影例を示している。同様に、図７の（ｂ）は加速度が「上」方向に変化したことが検出された場合、（ｃ）は加速度が「左下」方向に変化したことが検出された場合、また（ｄ）は加速度が「右」方向に変化したことが検出された場合の投影例をそれぞれ示している。

図７の（ａ）の例では、動作処理部２０４は、携帯端末２０の移動方向を（加速度の変化方向とは逆方向である）「右下」と判定する。同様に、動作処理部２０４は、携帯端末２０の移動方向を、図７の（ｂ）の例では「下」、図７の（ｃ）の例では「右上」、また、図７の（ｄ）の例では「左」とそれぞれ判定する。

‐処理結果の送信
また、動作処理部２０４は、ユーザの姿勢の判定結果や携帯端末２０の位置変化情報をサーバ１０‐１へ、後述する通信部２２４に送信させる。

（２−１−１−４．表示制御部２０６）
表示制御部２０６は、例えばＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などの各種の表示情報を表示部２２８に表示させる。

（２−１−１−５．連携制御部２０８）
連携制御部２０８は、後述する入力部２２０に対するユーザの入力に基づいて、表示装置３０との間での情報連携の確立に関する要求処理を行う。例えば、連携制御部２０８は、入力部２２０に対してユーザにより入力された、表示装置３０との間の情報連携の確立の要求信号、および、処理時刻を含む第１のペアリング要求をサーバ１０‐１へ通信部２２４に送信させる。ここで、第１のペアリング要求は、（例えば携帯端末２０の移動が停止した場合に）センサ部２２２に含まれる３軸加速度センサにより測定された３軸方向の加速度成分をさらに含んでもよい。

（２−１−１−６．入力部２２０）
入力部２２０は、携帯端末２０に対するユーザの操作を検出する機能を有する。例えば、入力部２２０は、表示部２２８に表示されているＧＵＩに対するユーザの操作を検出可能なタッチパネルを含んでもよい。また、入力部２２０は、ユーザのジェスチャーを検出可能なカメラを含んでもよい。また、入力部２２０は、ユーザの発声を検出可能なマイクロフォンを含んでもよい。

（２−１−１−７．センサ部２２２）
センサ部２２２は、携帯端末２０の加速度、または角加速度を検出する機能を有する。例えば、センサ部２２２は、３軸加速度センサを含み、かつ、携帯端末２０にかかる３軸方向の加速度を検出する。なお、携帯端末２０におけるｘ、ｙ、ｚの３軸（座標系）は、例えば図４に示したようにそれぞれ設定され得る。また、センサ部２２２は、ジャイロセンサを含み、かつ、携帯端末２０における３軸回りの角加速度を検出する。

なお、センサ部２２２は、基本的には携帯端末２０の内部に備えられる。但し、かかる例に限定されず、センサ部２２２は、携帯端末２０の外部に備えられてもよい。

（２−１−１−８．通信部２２４）
通信部２２４は、通信網３２ａに接続されている他の装置との間で情報の送受信を行う。例えば、通信部２２４は、動作処理部２０４の制御に従って、携帯端末２０の位置変化情報をサーバ１０‐１へ送信する。

なお、携帯端末２０と表示装置３０との間の情報連携がサーバ１０‐１により確立された場合には、通信部２２４は、表示装置３０との間で情報の送受信を行うことも可能である。

（２−１−１−９．記憶部２２６）
記憶部２２６は、例えば、制御部２００の動作に関するソフトウェアやデータなどを記憶する。

（２−１−１−１０．表示部２２８）
表示部２２８は、例えば液晶ディスプレイなどにより構成される。この表示部２２８は、表示制御部２０６の制御に従って、表示画面を表示する。

［２−１−２．表示装置３０］
また、図８は、第１の実施形態による表示装置３０の構成を示した機能ブロック図である。図８に示したように、表示装置３０は、制御部３００、入力部３２０、通信部３２２、記憶部３２４、および表示部３２６を有する。

（２−１−２−１．制御部３００）
制御部３００は、表示装置３０に内蔵される例えばＣＰＵ、ＲＡＭ、またはＲＯＭなどのハードウェアを用いて、表示装置３０の動作を全般的に制御する。また、図８に示したように、制御部３００は、操作処理部３０２、表示制御部３０４、および、連携制御部３０６を有する。

（２−１−２−２．操作処理部３０２）
操作処理部３０２は、後述する入力部３２０により検出されたユーザの入力操作の処理を行う。例えば、操作処理部３０２は、表示部３２６に表示されているコンテンツに対するユーザの選択操作を特定する。

（２−１−２−３．表示制御部３０４）
表示制御部３０４は、例えばサーバ１０‐１から受信される表示制御情報に従って、コンテンツなどの表示情報を表示部３２６に表示させる。また、表示制御部３０４は、コンテンツの表示態様を制御する。

（２−１−２−４．連携制御部３０６）
連携制御部３０６は、携帯端末２０がユーザにより片手で把持された状態での表示部３２６に対するタッチ入力が、後述する入力部３２０により検出された場合には、携帯端末２０との間での情報連携の確立に関する要求処理を行う。

‐静電容量方式タッチパネル
例えば、上記の場合で、かつ、後述する表示部３２６が静電容量方式タッチパネルを含む場合には、連携制御部３０６は、まず、入力部３２０により検出された２タッチ点の中点（タッチ点の組が複数存在する場合には各タッチ点の組の中点の重心）を表示部３２６に対する接触点として特定する。そして、連携制御部３０６は、特定した接触点、および、処理時刻を含む第２のペアリング要求をサーバ１０‐１へ通信部３２２に送信させる。

‐赤外線遮断方式タッチパネル
また、上記の場合で、かつ、表示部３２６が赤外線遮断方式タッチパネルを含む場合には、連携制御部３０６は、まず、表示部３２６にタッチされた携帯端末２０の領域を含む最小の矩形領域の中心を表示部３２６に対する接触点として特定する。次に、連携制御部３０６は、表示装置３０に内蔵される３軸加速度センサ（図示省略）により計測される、表示部３２６にかかる重力加速度の３軸方向成分を取得する。次に、連携制御部３０６は、表示部３２６に対する携帯端末２０の傾きを算出する。そして、連携制御部３０６は、特定した接触点、取得した３軸加速度の計測情報、算出した携帯端末２０の傾き、および、処理時刻を含む第２のペアリング要求をサーバ１０‐１へ通信部３２２に送信させる。

（２−１−２−５．入力部３２０）
‐入力例１
入力部３２０は、表示装置３０に対するユーザの操作を検出する機能を有する。例えば、入力部３２０は、表示部３２６に対するユーザのタッチ入力を検出する。

‐‐静電容量方式タッチパネル
例えば、表示部３２６が静電容量方式タッチパネルを含む場合には、このタッチパネルは、パネル形状で構成される静電容量方式（例えば、格子状に配置された電極と電極との交点に形成されるコンデンサの静電容量が、例えば人体などの導電性物体が接近または接触することにより変化する原理）を利用した、いわゆる投影型静電容量方式を備える。この場合、入力部３２０は、当該タッチパネルに対する導電性物体の接近または接触により変化する静電容量を計測し、そして、計測した情報に基づいて、表示部３２６に対するタッチの有無、および、タッチ位置を検出する。

‐‐赤外線遮断方式タッチパネル
または、表示部３２６が赤外線遮断方式タッチパネルを含む場合には、このタッチパネルでは、ベゼルの長辺および短辺のそれぞれ一辺には赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、対向する辺には赤外線センサがそれぞれ敷設されており、そして、赤外線ＬＥＤを順次発光させることにより、タッチパネルの表面上に赤外線のマトリクスを形成する。この場合、入力部３２０は、当該タッチパネルに敷設されている赤外線センサの受光レベルに基づいて、表示部３２６に対するタッチの有無、および、タッチ位置を検出する。例えば、当該タッチパネルが指などでタッチされた場合、タッチされた部分を通る赤外線が遮断され、そして、対応する箇所の赤外線センサの受光レベルが低下することにより、入力部３２０は、タッチ位置を検出する。なお、入力部３２０は、当該タッチパネル上に物体（例えば携帯端末２０など）が配置された場合、配置された物体によって覆われる領域を含む最小の矩形領域のサイズ（縦×横）も検出可能である。

‐入力例２
また、携帯端末２０と表示装置３０との間で情報連携が確立した場合には、入力部３２０は、当該情報連携が実現可能な範囲において任意の入力方法を受け付け可能である。

（２−１−２−６．通信部３２２）
通信部３２２は、通信網３２ｂに接続されている他の装置との間で情報の送受信を行う。例えば、通信部３２２は、コンテンツを表示部３２６に表示させるための表示制御情報をサーバ１０‐１から受信する。

また、携帯端末２０と表示装置３０との間で情報連携が確立された場合には、通信部３２２は、携帯端末２０との間で情報の送受信を行うことも可能である。

（２−１−２−７．記憶部３２４）
記憶部３２４は、例えば、制御部３００の動作に関するソフトウェアやデータなどを記憶する。

（２−１−２−８．表示部３２６）
表示部３２６は、タッチパネルを含む例えば液晶ディスプレイにより構成される。この表示部３２６は、表示制御部３０４の制御に従って、表示画面を表示する。

［２−１−３．サーバ１０‐１］
また、図９は、第１の実施形態によるサーバ１０‐１の構成を示した機能ブロック図である。図９に示したように、サーバ１０‐１は、制御部１００‐１、通信部１２０、および記憶部１２２‐１を有する。

（２−１−３−１．制御部１００‐１）
制御部１００‐１は、サーバ１０‐１に内蔵される、後述するＣＰＵ１５０、ＲＯＭ１５２、ＲＡＭ１５４などのハードウェアを用いて、サーバ１０‐１の動作を全般的に制御する。また、図９に示したように、制御部１００‐１は、連携処理部１０２、人物位置推測部１０４、および、表示制御部１０６を有する。

（２−１−３−２．連携処理部１０２）
‐情報連携の確立処理
連携処理部１０２は、携帯端末２０から受信される第１のペアリング要求と、表示装置３０から受信される第２のペアリング要求との比較に基づいて、携帯端末２０と表示装置３０との間の情報連携の確立に関する制御を行う。

‐‐静電容量方式タッチパネル
例えば、表示部３２６が静電容量方式タッチパネルを含む場合には、連携処理部１０２は、受信された第１のペアリング要求に含まれる処理時刻と、受信された第２のペアリング要求に含まれる処理時刻との差分が所定の時間内に収まる場合に、携帯端末２０と表示装置３０との間で情報連携（ペアリング）を確立させる。

‐‐赤外線遮断方式タッチパネル
また、表示部３２６が赤外線遮断方式タッチパネルを含む場合には、連携処理部１０２は、下記の２つの条件（条件Ｃ、および条件Ｄ）を満たす場合にのみ、携帯端末２０と表示装置３０との間で情報連携を確立させる。ここで、条件Ｃは、受信された第１のペアリング要求に含まれる処理時刻と、受信された第２のペアリング要求に含まれる処理時刻との差分が所定の時間内に収まることである。また、条件Ｄは、第１のペアリング要求に含まれる携帯端末２０の姿勢情報（３軸方向の加速度成分）、および第２のペアリング要求に含まれる表示装置３０の姿勢情報（３軸方向の加速度成分）に基づいて連携処理部１０２により算出される表示部３２６上での携帯端末２０の傾きと、第２のペアリング要求に含まれる表示装置３０により算出された表示部３２６上での携帯端末２０（と推測される物体）の傾きとの差分が所定の閾値以内に収まることである。このように、条件Ｃだけでなく、条件Ｄを追加して判定を行うことにより、ペアリングの精度を向上させることができる。

なお、例えば表示装置３０がテーブル型の装置であり、かつ、表示部３２６がテーブルの天板である場合や、表示装置３０が壁に取り付けられる場合など、空間における表示部３２６の姿勢は多様であり得る。しかし、条件Ｄでは、表示部３２６の姿勢に依存せずに判定を行うことができる。

‐タッチ姿勢の判定処理
また、連携処理部１０２は、携帯端末２０から受信される携帯端末２０の位置変化情報に基づいて、ユーザの姿勢がタッチ姿勢であるか否かの判定を行う。

例えば、連携処理部１０２は、下記の２つの条件（条件Ｅ、および条件Ｆ）をともに満たす場合にはユーザの姿勢がタッチ姿勢であると判定し、かつ、２つの条件のうち少なくとも一方を満たさない場合にはタッチ姿勢ではないと判定する。ここで、条件Ｅは、携帯端末２０から受信された携帯端末２０の位置変化情報が、携帯端末２０が静止状態であることを示すことである。また、条件Ｆは、携帯端末２０と表示装置３０との間の情報連携がすでに確立しており、かつ、表示部３２６に対する携帯端末２０の接触が検出されていることが表示装置３０から受信されていることである。

（２−１−３−３．人物位置推測部１０４）
人物位置推測部１０４は、携帯端末２０から受信される位置変化情報、および、連携処理部１０２による情報連携の確立時（または確立後）に表示装置３０から受信される携帯端末２０のタッチ位置に基づいて、表示部３２６に対するユーザの相対位置を推測する。ここで、対象となる位置変化情報は、例えば、表示部３２６に携帯端末２０がタッチされる直前もしくは表示部３２６から携帯端末２０が離された直後における携帯端末２０の位置と、表示部３２６における携帯端末２０のタッチ位置との間の位置変化を示す情報であってもよい。または、当該位置変化情報は、ユーザの姿勢がベース姿勢からタッチ姿勢へ移行する際、もしくは、タッチ姿勢からベース姿勢へ移行する際における携帯端末２０の位置変化を示す情報であってもよい。

例えば、人物位置推測部１０４は、さらに、人体モデルＤＢ１２４に格納されている例えば腕の長さなどの人体モデル情報に基づいて、表示部３２６に対するユーザの相対位置を推測する。なお、ユーザの相対位置は、表示部３２６に対するユーザの胸部の相対位置であってもよいし、ユーザの顔部または眼部正面の相対位置であってもよい。

‐‐人体モデルＤＢ１２４
人体モデルＤＢ１２４は、例えば人体の身長、各部位の長さ、および各部位の位置関係などの平均データが格納されているデータベースである。また、人体モデルＤＢ１２４は、例えば、記憶部１２２‐１に記憶されている。

（２−１−３−４．表示制御部１０６）
表示制御部１０６は、人物位置推測部１０４により推測されたユーザの相対位置に基づいて、表示装置３０（の表示部３２６）に表示されているコンテンツの表示態様を変化させるための表示制御情報を表示装置３０へ、後述する通信部１２０に送信させる。

例えば、表示制御部１０６は、推測されたユーザの相対位置に基づいて、表示部３２６に現在表示されているコンテンツの表示位置を変更したり、または、新たにコンテンツを表示させるための表示制御情報を表示装置３０へ通信部１２０に送信させる。一例として、表示制御部１０６は、推測されたユーザの胸部の相対位置が表示部３２６上に投影された位置である胸部投影位置の周辺に表示されているコンテンツを胸部投影位置よりも上方に移動させて表示させる。また、表示制御部１０６は、表示部３２６に新たにコンテンツを表示させる際に、当該コンテンツを胸部投影位置よりも上方に表示させる。これらの表示例によれば、ユーザにとってコンテンツがより見やすくなる。例えば、ユーザの眼部はユーザの胸部よりも上に位置するので、ユーザは視線を下げずにコンテンツを見ることができるようになる。

または、表示制御部１０６は、表示部３２６に表示されている複数のコンテンツのうちユーザがインタラクションを行ったコンテンツ、および当該コンテンツに関連するコンテンツを、表示部３２６においてユーザの顔部または眼部正面が投影された位置または領域（以下、顔部投影位置／領域とも称する）を中心として集まるように移動させたり、または、顔部投影位置／領域に新たに表示させる。

または、表示制御部１０６は、表示部３２６において顔部投影位置／領域に表示されているコンテンツの密度が他の領域よりも高くなるようにコンテンツの表示位置を移動させたり、または、新たにコンテンツを表示させる。

（２−１−３−５．通信部１２０）
通信部１２０は、例えば通信網３２を介して、他の装置との間で情報の送受信を行う。例えば、通信部１２０は、携帯端末２０の位置変化情報、および、ユーザのベース姿勢の判定結果を携帯端末２０から受信する。また、通信部１２０は、表示制御部１０６の制御に従って、表示制御情報を表示装置３０へ送信する。

（２−１−３−６．記憶部１２２‐１）
記憶部１２２‐１は、例えば人体モデルＤＢ１２４などの各種のデータを記憶する。

なお、第１の実施形態によるサーバ１０‐１の構成は、上述した構成に限定されない。例えば、人体モデルＤＢ１２４は、記憶部１２２‐１に記憶される代わりに、サーバ１０‐１と通信可能な他の装置（図示省略）に記憶されることも可能である。

＜２−２．動作＞
以上、第１の実施形態による構成について説明した。続いて、第１の実施形態による動作について説明する。図１０は、第１の実施形態による動作の一部を示したシーケンス図である。図１０に示したように、まず、サーバ１０‐１の通信部１２０は、表示制御部１０６の制御に従って、１以上のコンテンツを表示させるための表示制御情報を表示装置３０へ送信する（Ｓ１０１）。そして、表示装置３０の表示制御部３０４は、受信された表示制御情報に従って、表示画面を表示部３２６に表示させる（Ｓ１０３）。

また、携帯端末２０の動作処理部２０４は、センサ部２２２による検出結果に基づいて、ユーザの姿勢がベース姿勢であるか否かを例えば定期的に判定する。そして、動作処理部２０４は、例えばベース姿勢であると判定した場合には、判定結果をサーバ１０‐１へ通信部２２４に送信させる（Ｓ１０５）。

その後、ユーザの姿勢がベース姿勢からタッチ姿勢へ移行する際に、携帯端末２０の動作処理部２０４は、センサ部２２２による検出結果に基づいて、携帯端末２０の位置の変化を検出する（Ｓ１０７）。

その後、ユーザは、携帯端末２０を把持した手で（表示装置３０の）表示部３２６をタッチしながら、例えば携帯端末２０に表示されているＧＵＩのボタンを押下するなど、表示装置３０との間の情報連携の確立の要求を入力部２２０に対して入力する（Ｓ１０９）。その後、表示装置３０の入力部３２０は、表示部３２６に対する携帯端末２０のタッチ位置を検出する（Ｓ１１１）。

また、携帯端末２０の通信部２２４は、連携制御部２０８の制御に従って、Ｓ１０９で入力された要求信号、および、処理時刻を含む第１のペアリング要求をサーバ１０‐１へ送信する（Ｓ１１３）。

その後、表示装置３０の通信部３２２は、連携制御部３０６の制御に従って、Ｓ１１１で検出されたタッチ位置、および、処理時刻を含む第２のペアリング要求をサーバ１０‐１へ送信する（Ｓ１１５）。

その後、サーバ１０‐１の連携処理部１０２は、Ｓ１１３で受信された第１のペアリング要求と、Ｓ１１５で受信された第２のペアリング要求との比較に基づいて、携帯端末２０と表示装置３０との間の情報連携の確立に関する制御を行う（Ｓ１１７）。

Ｓ１１７において情報連携が確立された場合には、携帯端末２０の通信部２２４は、動作処理部２０４の制御に従って、Ｓ１０７で検出された携帯端末２０の位置変化情報をサーバ１０‐１へ送信する（Ｓ１１９）。

ここで、図１１を参照して、Ｓ１１９より後の動作について説明する。図１１に示したように、Ｓ１１９の後、サーバ１０‐１の人物位置推測部１０４は、Ｓ１１９で受信された位置変化情報、Ｓ１１５で受信されたタッチ位置、および、人体モデルＤＢ１２４に格納されている人体モデル情報に基づいて、表示部３２６に対するユーザの相対位置を推測する（Ｓ１２１）。

続いて、表示制御部１０６は、Ｓ１２１で推測されたユーザの相対位置に基づいて、表示部３２６に現在表示されているコンテンツの表示位置を変更させるための表示制御情報を生成する（Ｓ１２３）。そして、通信部１２０は、表示制御部１０６の制御に従って、生成された表示制御情報を表示装置３０へ送信する（Ｓ１２５）。

その後、表示装置３０の表示制御部３０４は、受信された表示制御情報に従って表示画面の表示内容を更新し、そして、更新後の表示画面を表示部３２６に表示させる（Ｓ１２７）。

＜２−３．効果＞
［２−３−１．効果１］
以上、例えば図９〜図１１などを参照して説明したように、第１の実施形態によるサーバ１０‐１は、携帯端末２０により検出される携帯端末２０の位置変化、および、携帯端末２０と表示装置３０との間の情報連携の確立時に表示部３２６により検出される携帯端末２０のタッチ位置に基づいて、表示部３２６に対するユーザの相対位置を推測する。このため、第１の実施形態によれば、携帯端末２０および表示装置３０による計測結果だけで、表示部３２６に対するユーザの相対位置を推測することができる。つまり、ユーザの状態を計測するための専用の計測機器が不要であるので、情報処理システムがシンプルな構成になり、かつ、安価に構成することができる。

［２−３−２．効果２］
また、サーバ１０‐１は、推測したユーザの相対位置に応じて、表示部３２６に表示されているコンテンツの表示位置を変化させることが可能である。例えば、サーバ１０‐１は、現在表示されているコンテンツを顔部投影位置／領域に移動させて表示させたり、または、新たにコンテンツを表示させる際に当該コンテンツを顔部投影位置／領域に表示させる。このため、ユーザは視線を下げずにコンテンツを見ることができ、コンテンツが見やすくなる。

＜２−４．変形例＞
［２−４−１．変形例１］
なお、第１の実施形態は、上述した説明に限定されない。例えば、変形例１として、推測されたユーザの相対位置に基づいてコンテンツの表示位置を変化させた後に、例えばユーザの次の入力が一定時間行われない場合には、表示制御部１０６は、コンテンツの表示位置を元の位置に戻してもよい。ここで、ユーザの次の入力の例は、表示部３２６に対する指によるタッチ操作（例えばコンテンツの選択操作など）であってもよいし、または、ユーザにより新たなタッチ姿勢がなされること（つまり、表示部３２６に対してユーザが携帯端末２０を新たにタッチすること）であってもよい。また、携帯端末２０と表示装置３０との間で情報連携が確立している場合には、ユーザの次の入力は、例えば表示部３２６に表示されている表示情報に関連した内容の、携帯端末２０に対する入力であってもよい。

［２−４−２．変形例２］
また、上記の説明では、ユーザの姿勢がベース姿勢であるか否かの判定は携帯端末２０が行う例について説明したが、かかる例に限定されず、サーバ１０‐１が判定を行うことも可能である。具体的には、携帯端末２０は、センサ部２２２により計測された例えば加速度や角加速度の計測結果などの情報をサーバ１０‐１へ送信し、そして、サーバ１０‐１は、受信された情報に基づいて、ユーザの姿勢がベース姿勢であるか否かの判定を行ってもよい。

［２−４−３．変形例３］
また、例えば、携帯端末２０のセンサ部２２２に含まれる３軸加速度センサやジャイロセンサの精度、および、位置変化や姿勢変化の算出処理の精度が高い場合には、携帯端末２０は、計測値変化の積分値などを用いて、（携帯端末２０の移動方向だけでなく）携帯端末２０の移動距離も算出することが可能である。そして、サーバ１０‐１は、算出した移動距離にさらに基づいてユーザの相対位置を推測し、そして、推測した相対位置に基づいてコンテンツの表示態様を変化させることが可能である。

［２−４−４．変形例４］
また、携帯端末２０がインカメラ機能を有し、かつ、ベース姿勢が、図２の左図に示したような、ユーザが携帯端末２０の表示画面を見ている姿勢であると定められている場合には、ベース姿勢を判定するための条件として、インカメラの視野内にユーザの顔が認識できること（条件Ｇ）を追加してもよい。つまり、携帯端末２０の動作処理部２０４は、３つの条件（条件Ａ、条件Ｂ、および条件Ｇ）の全てを満たす場合にはユーザの姿勢がベース姿勢であると判定し、かつ、３つの条件のうち少なくとも一つを満たさない場合にはベース姿勢ではないと判定してもよい。この変形例によれば、ベース姿勢が図２の左図に示したような姿勢と定められている場合に、ベース姿勢を精度高く判定することができる。

［２−４−５．変形例５］
また、ベース姿勢が、図２の左図に示したような姿勢であると定められている場合には、携帯端末２０は、インカメラ機能を利用して、ベース姿勢状態時のユーザの顔部、または、顔部と携帯端末２０との位置関係を推測することも可能である。例えば、インカメラの視野内にユーザの顔が認識できる場合には、携帯端末２０は、インカメラの視野領域内を占めるユーザの顔領域のサイズに基づいて、ユーザの顔部または眼部と携帯端末２０との位置関係（または距離）を算出してもよい。

＜＜３．第２の実施形態＞＞
以上、第１の実施形態について説明した。次に、第２の実施形態について説明する。まず、第２の実施形態を創作するに至った背景について説明する。

上述したタッチ姿勢時には、携帯端末２０を把持するユーザの腕によって、表示部３２６の表示領域のうちの一部がユーザの視界から遮蔽され得る。このため、遮蔽される領域（以下、遮蔽領域と称する）に表示されているコンテンツをユーザが見ることができない、もしくは、見辛いという問題が生じる。

後述するように、第２の実施形態によるサーバ１０‐２は、遮蔽領域を推測すること、および、遮蔽領域に表示されているコンテンツを遮蔽領域外に表示させることが可能である。

＜３−１．構成＞
［３−１−１．携帯端末２０、表示装置３０］
第２の実施形態による携帯端末２０および表示装置３０の構成については、第１の実施形態と同様である。

［３−１−２．サーバ１０‐２］
図１２は、第２の実施形態によるサーバ１０‐２の構成を示した機能ブロック図である。図１２に示したように、サーバ１０‐２は、第１の実施形態と比較して、制御部１００‐１および記憶部１２２‐１の代わりに、制御部１００‐２および記憶部１２２‐２を有する。なお、以下では、第１の実施形態と重複する内容については説明を省略する。

（３−１−２−１．制御部１００‐２）
制御部１００‐２は、図１２に示したように、制御部１００‐１と比較して、人物姿勢推測部１０８、および、遮蔽領域推測部１１０をさらに有する。

（３−１−２−２．人物姿勢推測部１０８）
人物姿勢推測部１０８は、携帯端末２０のタッチ位置、表示部３２６に対する携帯端末２０の傾き、および、人物位置推測部１０４により推測されたユーザの相対位置に基づいて、ユーザが携帯端末２０を把持する把持腕が左手と右手とのいずれであるかを推測する。例えば、人物姿勢推測部１０８は、携帯端末２０のタッチ位置とユーザの相対位置との位置関係に対応付けて、後述する把持腕判定条件ＤＢ１２６に格納されている把持腕判定条件に基づいて、把持腕が左手と右手とのいずれであるかを推測する。

より具体的には、人物姿勢推測部１０８は、まず、携帯端末２０のタッチ位置と、推測されたユーザの相対位置との位置関係に対応付けて把持腕判定条件ＤＢ１２６に格納されている、把持腕の判定領域の区分を把持腕判定条件ＤＢ１２６から抽出する。そして、人物姿勢推測部１０８は、抽出した区分に対応づけて把持腕判定条件ＤＢ１２６に格納されている把持腕判定条件、および、表示部３２６に対する携帯端末２０の傾きに基づいて、把持腕が左手と右手とのいずれであるかを推測する。

ここで、図１３〜図１８を参照して、上記の機能についてより詳細に説明する。一般的に、携帯端末２０を把持する手の稼働範囲（回転可能な範囲）は、人体の構造上、ある範囲内に制限される。例えば、携帯端末２０の把持腕の手首の自由度は、図１３に示したような、直行する３軸Ｙ、Ｒ、Ｐ回りになり得る。

このため、タッチ姿勢時における携帯端末２０の把持腕の手掌部分の無理のない自然な姿勢は、例えば図１４に示したようになる。図１４に示したように、把持腕およびタッチ位置が決定された場合には、表示部３２６に対する携帯端末２０の傾きはある程度特定可能である。なお、図１４では、携帯端末２０を右手で把持している場合の例を示しており、左手で把持している場合に関しては、図１４と対照の図になる。

また、図１５〜図１７は、タッチ姿勢時における携帯端末２０の把持腕と携帯端末２０の傾きとの関係例を示した説明図である。なお、図１５〜図１７は、携帯端末２０のタッチ位置とユーザの相対位置との位置関係、および、把持腕（左手、右手）ごとに、表示部３２６に対する携帯端末２０の傾きの例を矢印で示している。ここで、携帯端末２０の傾きとは、表示部３２６上における携帯端末２０のＹ軸の方向である。なお、図１５における（ａ）、（ｂ）、（ｃ）、図１６における（ｄ）、（ｅ）、（ｆ）、および、図１７における（ｇ）、（ｈ）、（ｉ）では、携帯端末２０のタッチ位置４０に対するユーザの相対位置がそれぞれ「左上」、「上」、「右上」、「左」、「同一」、「右」、「左下」、「下」、または「右下」に位置している場合の例を示している。

図１５〜図１７において矢印で示したように、表示部３２６に対する携帯端末２０の傾きは、反時計回りを正の向きとした場合、通常、
右手で把持している場合の傾き ＞ 左手で把持している場合の傾き
の関係になる。

‐把持腕判定条件ＤＢ１２６
把持腕判定条件ＤＢ１２６は、ユーザの相対位置とタッチ位置との位置関係による表示画面の区分け方、および各区分における把持腕の判定条件が定められているデータベースである。図１８は、把持腕判定条件ＤＢ１２６に格納されている、ユーザの相対位置４２を基点として表示画面が９個の領域に区分される方法の例を示した説明図である。

図１８に示した例では、タッチ位置とユーザの相対位置４２との間の距離が所定の値以下である領域が区分Ｅであり、また、区分Ｅ以外の領域はユーザの相対位置４２を中心として８分割され、それぞれ区分Ａ〜Ｄ、Ｆ〜Ｉと定められている。

また、把持腕判定条件ＤＢ１２６では、例えば、図１８に示した区分Ａの領域では閾値としてＸ（ｄｅｇｒｅｅ）が設定されており、かつ、
携帯端末２０の傾き ≧ Ｘである場合には、把持腕は右手、
携帯端末２０の傾き ＜ Ｘである場合には、把持腕は左手、
とそれぞれ判定することが定められている。

なお、区分ごとの閾値の決定方法は、例えばサーバ１０‐２の開発者が予め複数のユーザを対象としたテストを実施することにより、適切な値が定められ得る。

なお、図１８は、ユーザの相対位置４２を中心とした場合の図であるのに対して、上述した図１５〜図１７は、携帯端末２０のタッチ位置を中心とした場合の図である。つまり、図１８と図１５〜図１７との対応関係は、区分Ａが図１７の（ｉ）、区分Ｂが図１７の（ｈ）、区分Ｃが図１７の（ｇ）、区分Ｄが図１６の（ｆ）、区分Ｅが図１６の（ｅ）、区分Ｆが図１６の（ｄ）、区分Ｇが図１５の（ｃ）、区分Ｈが図１５の（ｂ）、区分Ｉが図１５の（ａ）に、それぞれ対応する。

‐‐変形例１
なお、上記の説明では、把持腕判定条件ＤＢ１２６において区分ごとに一つの閾値が定められており、この閾値を用いて把持腕を判定する方法の例を示したが、かかる例に限定されない。例えば、閾値の代わりに、把持腕が右手と左手とのいずれであるかを判定するための角度の範囲が区分ごとに定められていてもよい。一例として、図１８に示した区分Ａの領域では把持腕が左手であると判定する角度の範囲（以下、範囲Ａとも称する）が［ａ１、ａ２］、把持腕が右手であると判定する角度の範囲（以下、範囲Ｂとも称する）が［ｂ１、ｂ２］であり、かつ、ａ２ ＜ ｂ１であることが定められていてもよい。つまり、
ｂ１ ≦ 携帯端末２０の傾き ≦ ｂ２である場合には、把持腕は右手、
ａ１ ≦ 携帯端末２０の傾き ≦ ａ２である場合には、把持腕は左手、
とそれぞれ判定することが定められていてもよい。

なお、携帯端末２０の傾きが範囲Ａまたは範囲Ｂの範囲外である場合には、人物姿勢推測部１０８は、所定の基準に従って、把持腕が右手と左手とのいずれであるかを判定することが可能である。ここで、所定の基準は、例えば、過去にユーザが携帯端末２０を表示部３２６にタッチさせた際の把持腕の判定履歴であってもよい。

‐‐変形例２
また、図１８では、表示画面が９個の領域に区分される方法の例を示したが、かかる例に限定されず、任意の個数の領域に区分可能である。

（３−１−２−３．遮蔽領域推測部１１０）
遮蔽領域推測部１１０は、携帯端末２０が表示部３２６にタッチされている間に、人物位置推測部１０４により推測されたユーザの相対位置、人物姿勢推測部１０８により推測された把持腕、および、表示装置３０から受信される携帯端末２０のタッチ位置に基づいて、遮蔽領域を推測する。例えば、遮蔽領域推測部１１０は、推測されたユーザの相対位置とタッチ位置との位置関係、および、推測された把持腕に対応づけて、後述する遮蔽領域ＤＢ１２８に格納されている領域を、遮蔽領域として推測する。または、遮蔽領域推測部１１０は、推測されたユーザの相対位置とタッチ位置との位置関係、および、推測された把持腕に対応づけて人体モデルＤＢ１２４に格納されている腕の情報（腕の形状や長さなど）を人体モデルＤＢ１２４から抽出し、そして、抽出した腕の情報を用いて遮蔽領域を算出してもよい。

ここで、図１９および図２０を参照して、上記の機能についてより詳細に説明する。図１９は、ユーザの相対位置４２と携帯端末２０のタッチ位置４０との位置関係の４つの例を示した図である。図１９における（ａ）は、ユーザの相対位置４２に対するタッチ位置４０の方向が「左上」である例を示している。同様に、ユーザの相対位置４２に対するタッチ位置４０の方向が、図１９の（ｂ）は「上」、図１９の（ｃ）は「左下」、図１９の（ｄ）は「右」である例をそれぞれ示している。

また、図２０は、図１９に示した、ユーザの相対位置４２と携帯端末２０のタッチ位置４０との４種類の位置関係に関して、遮蔽領域推測部１１０により推測される把持腕ごとの遮蔽領域５０をそれぞれ示した説明図である。なお、図２０の（ａ）〜（ｄ）では、遮蔽領域５０ａは把持腕が右手である場合の遮蔽領域であり、また、遮蔽領域５０ｂは把持腕が左手である場合の遮蔽領域を示している。

例えば、推測されたユーザの相対位置４２とタッチ位置４０との位置関係が図１９の（ａ）に示した位置関係であり、かつ、推測された把持腕が右手である場合には、遮蔽領域推測部１１０は、図２０の（ａ）に示した遮蔽領域５０ａを遮蔽領域として推測する。

‐遮蔽領域ＤＢ１２８
遮蔽領域ＤＢ１２８は、ユーザの相対位置とタッチ位置との位置関係、および、把持腕（右手または左手）に対応づけて、遮蔽領域のテンプレートが格納されているデータベースである。なお、遮蔽領域ＤＢ１２８に格納されている遮蔽領域のテンプレートは、例えば図２０に示したような矩形領域であってもよい。

（３−１−２−４．表示制御部１０６）
‐表示例１
第２の実施形態による表示制御部１０６は、人物位置推測部１０４により推測されたユーザの相対位置、および、遮蔽領域推測部１１０により推測された遮蔽領域に基づいて、表示部３２６におけるコンテンツの表示位置を制御するための表示制御情報を表示装置３０へ通信部１２０に送信させる。例えば、表示制御部１０６は、携帯端末２０が表示部３２６にタッチされている場合に、遮蔽領域推測部１１０により推測された遮蔽領域に表示されているコンテンツを遮蔽領域外に移動させて表示させる。または、表示制御部１０６は、携帯端末２０が表示部３２６にタッチされている間に表示部３２６に新たにコンテンツを表示させる際に、当該コンテンツを遮蔽領域外の領域に表示させる。

ここで、図２１を参照して、上記の機能についてより詳細に説明する。図２１の（α）および（β）は、遮蔽領域推測部１１０により推測された遮蔽領域５０と、表示制御部１０６によりコンテンツが非表示にされる領域（非表示領域５２）との関係の例を示した説明図である。例えば、図２１の（α）に示したように、表示制御部１０６は、遮蔽領域５０の全てを含む例えば楕円形などの領域を非表示領域５２とする。そして、表示制御部１０６は、非表示領域５２に表示されているコンテンツを非表示領域５２外に移動させて表示させる。

または、図２１の（β）に示したように、表示制御部１０６は、遮蔽領域５０の相対する短辺の中点を結ぶ直線を境界として、ユーザの顔部（または眼部）と反対側の領域を非表示領域５２とする。なお、図２１の（β）では、非表示領域５２が三角形である例を示しているが、かかる例に限定されず、台形であってもよい。なお、この台形は、遮蔽領域５０に含まれる二つの短辺の中点のうち上方の点が上底の一頂点であり、かつ、上底は、表示部３２６の水平な線と平行であるような台形であってもよい。

これらの表示例によれば、遮蔽領域を含むユーザが見辛い領域にコンテンツが表示されなくなるので、表示部３２６に表示されている全てのコンテンツをユーザは容易に見ることができる。

‐表示例２
また、携帯端末２０が表示部３２６から離された場合には、表示制御部１０６は、表示位置を移動させていたコンテンツを元の位置（つまり遮蔽領域であった領域内）に戻して表示させてもよい。または、上記の場合には、表示制御部１０６は、携帯端末２０のタッチ時に遮蔽領域外に表示させたコンテンツの一部を、遮蔽領域であった領域内に移動させて表示させてもよい。これらの表示例によれば、携帯端末２０が表示部３２６から離された場合において、遮蔽領域であった領域が空白領域とならないようにコンテンツを表示させることができる。このため、空白領域がユーザに見えてしまい、ユーザに不自然に思われることを避けることができる。

（３−１−２−５．記憶部１２２‐２）
記憶部１２２‐２は、記憶部１２２‐１と比較して、さらに、把持腕判定条件ＤＢ１２６、および、遮蔽領域ＤＢ１２８を記憶することが可能である。

なお、サーバ１０‐２に含まれる他の構成要素の機能については、第１の実施形態と同様である。

なお、第２の実施形態によるサーバ１０‐２の構成は、上述した構成に限定されない。例えば、把持腕判定条件ＤＢ１２６、および、遮蔽領域ＤＢ１２８は、記憶部１２２‐２に記憶される代わりに、サーバ１０‐２と通信可能な他の装置に記憶されてもよい。

＜３−２．動作＞
以上、第２の実施形態による構成について説明した。続いて、第２の実施形態による動作について、図２２を参照して説明する。なお、図１０に示した、第１の実施形態によるＳ１０１〜Ｓ１１９の動作に関しては、第２の実施形態でも概略同様である。但し、第２の実施形態によるＳ１１５では、表示装置３０の通信部３２２は、Ｓ１１１で検出される表示部３２６に対する携帯端末２０の傾きをさらに含む第２のペアリング要求をサーバ１０‐２へ送信する点が、第１の実施形態とは相違する。

また、図２２に示したＳ２２１の動作は、図１１に示した、第１の実施形態によるＳ１２１と同様である。以下では、Ｓ２２１より後の動作について説明を行う。

図２２に示したように、Ｓ２２１の後、サーバ１０‐２の人物姿勢推測部１０８は、Ｓ１１５で受信された第２のペアリング要求に含まれる携帯端末２０のタッチ位置および表示部３２６に対する携帯端末２０の傾きと、Ｓ２２１で推測されたユーザの相対位置とに基づいて、ユーザの把持腕が左手と右手とのいずれであるかを推測する（Ｓ２２３）。

続いて、遮蔽領域推測部１１０は、Ｓ１１５で受信された携帯端末２０のタッチ位置、Ｓ２２１で推測されたユーザの相対位置、および、Ｓ２２３で推測された把持腕に基づいて、遮蔽領域を推測する（Ｓ２２５）。

続いて、表示制御部１０６は、Ｓ２２５で推測された遮蔽領域に表示されているコンテンツを遮蔽領域外に移動させるための表示制御情報を生成する（Ｓ２２７）。そして、通信部１２０は、表示制御部１０６の制御に従って、生成された表示制御情報を表示装置３０へ送信する（Ｓ２２９）。

その後、表示装置３０の表示制御部３０４は、受信された表示制御情報に従って表示画面の表示内容を更新し、そして、更新後の表示画面を表示部３２６に表示させる（Ｓ２３１）。

＜３−３．効果＞
以上、例えば図１２および図２２などを参照して説明したように、第２の実施形態によるサーバ１０‐２は、携帯端末２０が表示部３２６にタッチされている間に、推測されたユーザの相対位置、推測されたユーザの把持腕、および、携帯端末２０のタッチ位置に基づいて遮蔽領域を推測し、そして、推測した遮蔽領域にコンテンツが表示されないようにコンテンツの表示位置を制御する。このため、第２の実施形態によれば、遮蔽領域にコンテンツが表示されなくなるので、表示部３２６に表示されている全てのコンテンツをユーザは容易に見ることができる。

＜３−４．変形例＞
なお、第２の実施形態は、上述した説明に限定されない。例えば、人物姿勢推測部１０８がユーザの把持腕を一度推測した場合には、表示制御部１０６は、以後ユーザが当該把持腕で携帯端末２０を把持してインタラクションを行う（つまり、携帯端末２０を他方の腕で把持しない）ものと判断してもよい。そして、表示制御部１０６は、表示部３２６において当該把持腕により携帯端末２０がタッチされた際に発生する遮蔽領域が少なくなるような位置にコンテンツを表示させることが可能である。

＜＜４．ハードウェア構成＞＞
次に、各実施形態に共通するサーバ１０のハードウェア構成について、図２３を参照して説明する。図２３に示したように、サーバ１０は、ＣＰＵ１５０、ＲＯＭ１５２、ＲＡＭ１５４、内部バス１５６、入出力インターフェース１５８、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１６０、およびネットワークインターフェース１６２を備える。

＜４−１．ＣＰＵ１５０＞
ＣＰＵ１５０は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ１０内の動作全般を制御する。また、ＣＰＵ１５０は、サーバ１０において制御部１００‐１または制御部１００‐２の機能を実現する。なお、ＣＰＵ１５０は、マイクロプロセッサなどのプロセッサにより構成される。

＜４−２．ＲＯＭ１５２＞
ＲＯＭ１５２は、ＣＰＵ１５０が使用するプログラムや演算パラメータなどを記憶する。

＜４−３．ＲＡＭ１５４＞
ＲＡＭ１５４は、ＣＰＵ１５０の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時記憶する。

＜４−４．内部バス１５６＞
内部バス１５６は、ＣＰＵバスなどから構成される。この内部バス１５６は、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４を相互に接続する。

＜４−５．入出力インターフェース１５８＞
入出力インターフェース１５８は、ＨＤＤ１６０、およびネットワークインターフェース１６２を、内部バス１５６と接続する。例えばＨＤＤ１６０は、この入出力インターフェース１５８および内部バス１５６を介して、ＲＡＭ１５４などとの間でデータをやり取りする。

＜４−６．ＨＤＤ１６０＞
ＨＤＤ１６０は、記憶部１２２‐１または記憶部１２２‐２として機能する、データ格納用の装置である。このＨＤＤ１６０は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、および記憶媒体に記録されたデータを削除する削除装置などを含む。また、ＨＤＤ１６０は、ＣＰＵ１５０が実行するプログラムや各種データを格納する。

＜４−７．ネットワークインターフェース１６２＞
ネットワークインターフェース１６２は、例えばインターネットなどの通信網に接続するための通信デバイスなどで構成された通信インターフェースである。このネットワークインターフェース１６２は、通信部１２０として機能する。なお、ネットワークインターフェース１６２は、無線ＬＡＮ対応通信装置、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。

＜＜５．変形例＞＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

＜５−１．変形例１＞
例えば、上述した各実施形態では、サーバ１０が表示制御を行う例について説明したが、かかる例に限定されず、表示装置３０が表示制御を行ってもよい。この変形例の場合、例えば、サーバ１０‐１またはサーバ１０‐２は、推測したユーザの相対位置（および推測した遮蔽領域）を表示装置３０へ送信する。そして、表示装置３０の表示制御部３０４は、サーバ１０から受信されるユーザの相対位置（および遮蔽領域）に基づいて、表示部３２６に表示させるコンテンツの表示位置を変化させる。

＜５−２．変形例２＞
また、上述した各実施形態では、ユーザが一名である例について説明したが、かかる例に限定されない。携帯端末２０を有する複数のユーザが同時に表示装置３０とインタラクションを行う場面にも本発明は適用可能である。例えば、ユーザが２名である場合には、サーバ１０は、一人のユーザの位置推測を行った段階で、表示部３２６の表示領域内に当該ユーザ用の領域を割り当て、かつ、割り当てた領域内において当該ユーザに対するコンテンツの表示制御を行ってもよい。この変形例によれば、一人のユーザが行っているインタラクションが、他のユーザのインタラクションへ影響することを抑制することができる。

＜５−３．変形例３＞
また、上述した各実施形態では、本発明における情報処理装置がサーバ１０である例について説明したが、かかる例に限定されない。例えば制御部１００‐１および記憶部１２２‐１（または制御部１００‐２および記憶部１２２‐２）に含まれる全ての構成要素が携帯端末２０に含まれる場合には、当該情報処理装置は、携帯端末２０であってもよい。また、当該全ての構成要素が表示装置３０に含まれる場合には、当該情報処理装置は、表示装置３０であってもよい。なお、この変形例３では、サーバ１０は設置されなくてもよい。

＜５−４．変形例４＞
また、上述した各実施形態では、携帯端末２０が携帯電話である例を中心として説明したが、かかる例に限定されない。例えば、携帯端末２０は、腕時計型コンピュータや服コンピュータなどのウェアラブルコンピュータであってもよい。

＜５−５．変形例５＞
また、各実施形態によれば、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４などのハードウェアを、上述した各実施形態によるサーバ１０の構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。

１０‐１、１０‐２ サーバ
２０ 携帯端末
３０ 表示装置
３２ 通信網
１００‐１、１００‐２、２００、３００ 制御部
１０２ 連携処理部
１０４ 人物位置推測部
１０６、２０６、３０４ 表示制御部
１０８ 人物姿勢推測部
１１０ 遮蔽領域推測部
１２０、２２４、３２２ 通信部
１２２‐１、１２２‐２、２２６、３２４ 記憶部
１２４ 人体モデルＤＢ
１２６ 把持腕判定条件ＤＢ
１２８ 遮蔽領域ＤＢ
２０２、３０２ 操作処理部
２０４ 動作処理部
２０８、３０６ 連携制御部
２２０、３２０ 入力部
２２２ センサ部
２２８、３２６ 表示部

Claims (16)

1. 携帯端末と表示部との間の情報連携の確立に関する判定を行う連携処理部と、
   前記携帯端末により検出される前記携帯端末の位置変化と、前記情報連携の確立が判定された場合に前記表示部により検出される前記表示部における前記携帯端末の接触位置とに基づいて、前記携帯端末を携帯するユーザの前記表示部に対する相対位置を推測する位置推測部と、
   を備える、情報処理装置。
2. 前記携帯端末の位置変化は、前記携帯端末が前記表示部に接触された際の前記携帯端末の位置と、前記携帯端末が前記表示部に接触される前もしくは前記表示部から離れた後における前記携帯端末の位置との間の変化である、請求項１に記載の情報処理装置。
3. 前記携帯端末の位置変化は、前記ユーザの姿勢が第１の姿勢から、前記ユーザが前記携帯端末を前記表示部に接触させる際の姿勢であるタッチ姿勢へ移行する際、もしくは、前記タッチ姿勢から前記第１の姿勢へ移行する際における前記携帯端末の位置の変化である、請求項２に記載の情報処理装置。
4. 前記ユーザの姿勢は、前記携帯端末により検出される前記携帯端末の加速度または前記携帯端末の角加速度に基づいて判定される、請求項３に記載の情報処理装置。
5. 前記位置推測部は、さらに、記憶部に格納されている人体モデル情報に基づいて、前記表示部に対する前記ユーザの相対位置を推測する、請求項１〜４のいずれか一項に記載の情報処理装置。
6. 前記情報連携は、前記携帯端末が前記ユーザにより把持された状態で前記携帯端末が前記表示部に接触された場合に確立される、請求項１〜５のいずれか一項に記載の情報処理装置。
7. 前記情報処理装置は、前記位置推測部により前記ユーザの相対位置が推測された場合に、推測された前記ユーザの相対位置に基づいて、前記表示部に表示されているコンテンツの表示態様を変化させる表示制御部をさらに備える、請求項１〜６のいずれか一項に記載の情報処理装置。
8. 前記表示制御部は、前記ユーザの相対位置に基づいて、表示されているコンテンツの表示位置を変更する、請求項７に記載の情報処理装置。
9. 前記表示制御部は、前記ユーザの相対位置が前記表示部上に投影された位置である投影位置の周辺に表示されているコンテンツを前記投影位置の上方に移動し、表示させる、請求項８に記載の情報処理装置。
10. 前記情報処理装置は、前記携帯端末の接触位置、前記携帯端末が前記表示部に接触された際における前記表示部に対する前記携帯端末の傾き、および、前記ユーザの相対位置に基づいて、前記ユーザが前記携帯端末を把持する把持腕が左腕と右腕とのいずれであるかを推測する姿勢推測部をさらに備え、
    前記表示制御部は、さらに、推測された前記ユーザの把持腕に基づいて、表示されているコンテンツの表示態様を変化させる、請求項７〜９のいずれか一項に記載の情報処理装置。
11. 前記姿勢推測部は、前記携帯端末の接触位置と推測された前記ユーザの相対位置との位置関係に対応付けてデータベースに登録されている把持腕判定条件が示す傾きの閾値と、前記携帯端末の傾きとを比較することにより、前記把持腕が左腕と右腕とのいずれであるかを推測する、請求項１０に記載の情報処理装置。
12. 前記情報処理装置は、前記携帯端末が前記表示部に接触されている場合に、前記姿勢推測部により推測された把持腕、推測された前記ユーザの相対位置、および、前記携帯端末の接触位置に基づいて、前記表示部において前記把持腕により前記ユーザの視界から遮蔽される領域である遮蔽領域を推測する遮蔽領域推測部をさらに備え、
    前記表示制御部は、推測された遮蔽領域に表示されているコンテンツの表示位置を変更する、請求項１０または１１に記載の情報処理装置。
13. 前記表示制御部は、前記遮蔽領域に表示されているコンテンツを前記遮蔽領域外の領域に表示させる、請求項１２に記載の情報処理装置。
14. コンピュータを、
    携帯端末と表示部との間の情報連携の確立に関する判定を行う連携処理部と、
    前記携帯端末により検出される前記携帯端末の位置変化と、前記情報連携の確立が判定された場合に前記表示部により検出される前記表示部における前記携帯端末の接触位置とに基づいて、前記携帯端末を携帯するユーザの前記表示部に対する相対位置を推測する位置推測部、
    として機能させるための、プログラム。
15. 携帯端末であって、
    ユーザにより把持された状態で前記携帯端末が表示部に接触された場合に前記表示部との間での情報連携の確立の要求を情報処理装置へ送信部に送信させる連携制御部と、
    前記携帯端末が前記表示部に接触された際の前記携帯端末の位置と、前記表示部に接触される前もしくは前記表示部から離れた後における前記携帯端末の位置との間の位置変化を検出し、検出した位置変化を前記情報処理装置へ前記送信部に送信させる動作制御部と、
    を備える、携帯端末。
16. 携帯端末と、
    コンテンツを表示する表示部と、
    前記携帯端末と前記表示部との間の情報連携の確立に関する判定を行う連携処理部と、
    前記携帯端末により検出される前記携帯端末の位置変化と、前記情報連携の確立が判定された場合に前記表示部により検出される前記表示部における前記携帯端末の接触位置とに基づいて、前記携帯端末を携帯するユーザの前記表示部に対する相対位置を推測する位置推測部と、
    を備える、情報処理システム。

Images