JP6257329B2 - 情報処理装置及び情報処理方法、並びにコンピューター・プログラム - Google Patents

Description

本明細書で開示する技術は、タッチパネル式などの入力部を兼用した表示画面を有する情報処理装置及び情報処理方法、並びにコンピューター・プログラムに係り、特に、大画面を有し、複数のユーザーで共用するとともに、タッチパネルの操作を介してユーザー同士が協調作業を行なう情報処理装置及び情報処理方法、並びにコンピューター・プログラムに関する。

最近、タッチパネル式などの入力部を兼用した表示画面を有するタブレット端末が急速に普及してきている。タブレット端末は、ウィジェットやデスクトップをインターフェースとし、操作方法が視覚的に分かり易いことから、ユーザーは、キーボードやマウスから入力操作を行なうパーソナル・コンピューターよりも手軽に利用することができる。

例えば、マルチポイント・タッチ・スクリーンなどのマルチポイント感知デバイスからマルチポイント感知デバイスに関連するタッチ入力に属するデータを読み取り、マルチポイント感知デバイスからのデータに基づいてマルチポイント・ジェスチャーを識別するタッチ・センシティブ・デバイスについて提案がなされている（例えば、特許文献１を参照のこと）。

一般に、タブレット端末の画面上には、ユーザーの操作対象となる多数の被操作オブジェクトがさまざまな方位に配置されている。個々の被操作オブジェクトは、動画や静止画などの再生コンテンツ、他ユーザーから受信したメールやメッセージなどである。ユーザーは、所望の被操作オブジェクトを自分に正対して表示させるためには、個別にタブレット端末本体を回転操作する必要がある。例えば、Ａ４、Ａ５サイズのタブレット端末であれば回転操作は容易である。しかしながら、数十インチ程度の大画面になると、単一のユーザーが被操作オブジェクトを操作する度にタブレット端末を回転操作するのは面倒である。

また、大画面化したタブレット端末を、複数のユーザーで同時にそれぞれ個別の被操作オブジェクトの操作を行なうという利用形態も考えられる。

例えば、端末の側縁でユーザーが存在する場所を近接センサーで検出すると、右腕と左腕間の領域を識別して、そのユーザーのタッチ・ポイント領域にマッピングするタブレット端末について提案がなされている（例えば、非特許文献１を参照のこと）。タブレット端末は、複数のユーザーを検出したときには、被操作オブジェクト毎にユーザー個別の操作権を設定することや、あらかじめユーザーの追加参加を禁止することによって、あるユーザーが操作している被操作オブジェクトを他のユーザーが自分に正対する向きに回転するなどの操作を行なえないようにすることができる。

ところが、大画面のタブレット端末を複数のユーザーで共有する利用形態として、上述のように各ユーザーが個別に被操作オブジェクトの操作を行なう以外に、ユーザー同士が被操作オブジェクトを交換して協調作業を行なう場合も想定される。ユーザー毎に占有するタッチ・ポイント領域を設定し、各自の領域内で操作権が与えられた被操作オブジェクトの操作を行なうのでは、協調作業の実現は困難である。

また、端末の画面に表示するＧＵＩが、ユーザーから画面までの距離やユーザーの状態に依らず一定であると、ユーザーは遠くにいるのに画面に提示されている情報が細か過ぎてよく理解できない、あるいは、ユーザーは近くにいるのに画面に提示されている情報が少ない、といった問題がある。同様に、ユーザーが端末を操作するための入力手段が、ユーザーから画面までの距離やユーザーの状態に依らず一定であると、ユーザーは端末の近くにいてもリモコンがないため操作できない、あるいはユーザーはタッチパネルを操作するために端末に近づく必要があるなど、不便である。

また、従来の物体表示システムでは、実在するオブジェクトの画像を、そのリアルサイズ情報を考慮せずに画面に表示する。このため、画面の大きさや解像度（ｄｐｉ）に応じて表示されるオブジェクトのサイズが変動してしまう、という問題がある。

また、表示システムにおいて、複数のソースの映像コンテンツを、並列又は重畳するという形態で画面上に同時に表示する場合、同時表示する画像間の大小関係が正しく表示されず、画像同士の対応領域の大きさや位置がまちまちであると、ユーザーにとってとても見づらい画像になる。

また、回転機構を備えた端末などにおいて画面の向きを変えると、ユーザーから見え難くなるので、表示画面を回転させる必要がある。

特開２０１０−１７０５７３号公報

ｈｔｔｐ：・／ｗｗｗ．ａｕｔｏｄｅｓｋｒｅｓｅａｒｃｈ．ｃｏｍ／ｐｕｂｌｉｃａｔｉｏｎｓ／ｍｅｄｕｓａ （平成２３年１２月１５日現在）

本明細書で開示する技術の目的は、大画面を有し、複数のユーザーで共用するとともに、タッチパネルの操作を介してユーザー同士が協調作業を好適に行なうことができる、優れた情報処理装置及び情報処理方法、並びにコンピューター・プログラムを提供することにある。

また、本明細書で開示する技術の目的は、ユーザーの位置やユーザーの状態に拘わらず、ユーザーが操作するのに常に利便性の高い、優れた情報処理装置及び情報処理方法、並びにコンピューター・プログラムを提供することにある。

また、本明細書で開示する技術の目的は、実在するオブジェクトの大きさや、画面のサイズや解像度に依らず、オブジェクトの画像を常に適切な大きさで画面上に表示することができる、優れた情報処理装置及び情報処理方法、並びにコンピューター・プログラムを提供することにある。

また、本明細書で開示する技術の目的は、複数のソースの映像コンテンツを、並列又は重畳するという形態で画面上に好適に同時表示することとができる、優れた情報処理装置及び情報処理方法、並びにコンピューター・プログラムを提供することにある。

また、本明細書で開示する技術の目的は、本体を回転させる際に、任意の回転角度やその遷移過程において、映像コンテンツの表示形態を最適に調整することができる、優れた情報処理装置及び情報処理方法、並びにコンピューター・プログラムを提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
映像コンテンツを画面に表示する表示部と、
前記画面の回転角度を検出する回転角度検出部と、
前記画面の任意の回転角度やその遷移過程において映像コンテンツの表示形態を決定する表示形態決定部と、
映像コンテンツが、前記回転角度検出部で検出された回転角度だけ傾いた前記画面に適合するよう、前記表示形態決定部で決定した表示形態に従って画像加工する画像加工部と、
を具備する情報処理装置である。

本願の請求項２に記載の発明によれば、請求項１に記載の情報処理装置の表示形態決定部は、任意の回転角度において映像コンテンツが全く見切れないようにする表示形態、各回転角度において、映像コンテンツ中の注目コンテンツが最大となるようにする表示形態、無効領域がないように映像コンテンツを回転する表示形態の３つを含む複数の表示形態の中から決定するように構成されている。

本願の請求項３に記載の発明によれば、請求項１に記載の情報処理装置の表示形態決定部は、映像コンテンツが持つ属性情報に基づいて、前記画面の任意の回転角度やその遷移過程における表示形態を決定するように構成されている。

本願の請求項４に記載の発明によれば、請求項１に記載の情報処理装置の表示形態決定部は、保護された映像コンテンツについて、任意の回転角度において映像コンテンツが全く見切れないようにする表示形態を決定するように構成されている。

また、本願の請求項５に記載の発明は、
映像コンテンツを表示する画面の回転角度を検出する回転角度検出ステップと、
前記画面の任意の回転角度やその遷移過程において映像コンテンツの表示形態を決定する表示形態決定ステップと、
映像コンテンツが、前記回転角度検出ステップで検出された回転角度だけ傾いた前記画面に適合するよう、前記表示形態決定ステップで決定した表示形態に従って画像加工する画像加工ステップと、
を有する情報処理方法である。

また、本願の請求項６に記載の発明は、
映像コンテンツを画面に表示する表示部、
前記画面の回転角度を検出する回転角度検出部、
前記画面の任意の回転角度やその遷移過程において映像コンテンツの表示形態を決定する表示形態決定部、
映像コンテンツが、前記回転角度検出部で検出された回転角度だけ傾いた前記画面に適合するよう、前記表示形態決定部で決定した表示形態に従って画像加工する画像加工部、
としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラムである。

本願の請求項６に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項６に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係る情報処理装置と同様の作用効果を得ることができる。

本明細書で開示する技術によれば、画面を有し、複数のユーザーで共用するとともに、タッチパネルの操作を介してユーザー同士が協調作業を好適に行なうことができる、優れた情報処理装置及び情報処理方法、並びにコンピューター・プログラムを提供することができる。

また、本明細書で開示する技術によれば、ユーザーの位置やユーザーの状態に応じて表示ＧＵＩや入力手段を最適化して、ユーザーの利便性がよい、優れた情報処理装置及び情報処理方法、並びにコンピューター・プログラムを提供することができる。

また、本明細書で開示する技術によれば、実在するオブジェクトの大きさや、画面のサイズや解像度に依らず、オブジェクトの画像を常に適切な大きさで画面上に表示することができる、優れた情報処理装置及び情報処理方法、並びにコンピューター・プログラムを提供することができる。

また、本明細書で開示する技術によれば、複数のソースの映像コンテンツを、並列又は重畳するという形態で画面上に同時表示するときに、画像の正規化処理を行なうことで、画像同士の対応領域の大きさや位置がそろった、ユーザーに見易い画面を提示することができる、優れた情報処理装置及び情報処理方法、並びにコンピューター・プログラムを提供することができる。

また、本明細書で開示する技術によれば、本体を回転させる際に、任意の回転角度やその遷移過程において、映像コンテンツの表示形態を最適に調整することができる、優れた情報処理装置及び情報処理方法、並びにコンピューター・プログラムを提供することができる。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、大画面を有する情報処理装置１００の使用形態の一例（Ｗａｌｌ）を示した図である。 図２は、大画面を有する情報処理装置１００の使用形態の他の例（Ｔａｂｌｅｔｏｐ）を示した図である。 図３Ａは、大画面を有する情報処理装置１００の使用形態の他の例を示した図である。 図３Ｂは、大画面を有する情報処理装置１００の使用形態の他の例を示した図である。 図３Ｃは、大画面を有する情報処理装置１００の使用形態の他の例を示した図である。 図４は、情報処理装置１００の機能的構成を模式的に示した図である。 図５は、入力インターフェース部１１０の内部構成を示した図である。 図６は、出力インターフェース部１３０の内部構成を示した図である。 図７は、演算部１２０が被操作オブジェクトの処理を行なうための内部構成を示した図である。 図８は、画面にユーザー占有領域を設定した様子を示した図である。 図９Ａは、ユーザー占有領域Ａが設定される前に、各被操作オブジェクト＃１〜＃６がランダムに向いている様子を示した図である。 図９Ｂは、ユーザーＡのユーザー占有領域Ａが設定されたことにより、被操作オブジェクト＃１〜＃６がユーザーＡと正対する向きに切り替わった様子を示した図である。 図１０は、ユーザーＡに加え、ユーザーＢの存在を検出したことにより、ユーザーＢのユーザー占有領域Ｂと共通領域を画面内に追加して設定した様子を示した図である。 図１１は、ユーザーＡ、Ｂに加え、ユーザーＤの存在を検出したことにより、ユーザーＢのユーザー占有領域Ｄと共通領域を画面内に追加して設定した様子を示した図である。 図１２は、ユーザーＡ、Ｂ、Ｄに加え、ユーザーＣの存在を検出したことにより、ユーザーＢのユーザー占有領域Ｃと共通領域を画面内に追加して設定した様子を示した図である。 図１３Ａは、画面の形状やサイズとユーザー数に応じて画面にユーザー毎のユーザー占有領域を分割する領域分割パターンを例示した図である。 図１３Ｂは、画面の形状やサイズとユーザー数に応じて画面にユーザー毎のユーザー占有領域を分割する領域分割パターンを例示した図である。 図１３Ｃは、画面の形状やサイズとユーザー数に応じて画面にユーザー毎のユーザー占有領域を分割する領域分割パターンを例示した図である。 図１３Ｄは、画面の形状やサイズとユーザー数に応じて画面にユーザー毎のユーザー占有領域を分割する領域分割パターンを例示した図である。 図１３Ｅは、画面の形状やサイズとユーザー数に応じて画面にユーザー毎のユーザー占有領域を分割する領域分割パターンを例示した図である。 図１４は、モニター領域分割部７１０が実行するモニター領域分割の処理手順を示したフローチャートである。 図１５は、被操作オブジェクトをユーザー占有領域にドラッグ又はスロー移動したことによりユーザーに正対する方向に自動で回転する様子を示した図である。 図１６Ａは、新たに出現したユーザー占有領域内の被操作オブジェクトがユーザーに正対する方向に自動で回転する様子を示した図である。 図１６Ｂは、新たに出現したユーザー占有領域内の被操作オブジェクトがユーザーに正対する方向に自動で回転する様子を示した図である。 図１７は、オブジェクト最適処理部７２０が実行する被操作オブジェクトの最適処理の手順を示したフローチャートである。 図１８は、ユーザーが被操作オブジェクトをタッチ操作した位置に応じて回転方向を制御する様子を示した図である。 図１９は、ユーザーが被操作オブジェクトをタッチ操作した位置に応じて回転方向を制御する様子を示した図である。 図２０は、情報処理装置１００とユーザーの所持端末との間で被操作オブジェクトの授受を行なうインタラクションの一例を示した図である。 図２１は、機器連携データ送受信部７３０が実行する機器連携データ送受信の処理手順を示したフローチャートである。 図２２は、ユーザー占有領域間で被操作オブジェクトを移動させて、被操作オブジェクトを複製する様子を示した図である。 図２３は、演算部１２０がユーザーの距離に応じて最適化処理を行なうための内部構成を示した図である。 図２４Ａは、表示ＧＵＩ最適化部２３１０によるユーザーの位置とユーザーの状態に応じたＧＵＩ表示の最適化処理を表にまとめた図である。 図２４Ｂは、ユーザーの位置とユーザーの状態に応じた情報処理装置１００の画面遷移を示した図である。 図２４Ｃは、ユーザーの位置とユーザーの状態に応じた情報処理装置１００の画面遷移を示した図である。 図２４Ｄは、ユーザーの位置とユーザーの状態に応じた情報処理装置１００の画面遷移を示した図である。 図２４Ｅは、ユーザーの位置とユーザーの状態に応じた情報処理装置１００の画面遷移を示した図である。 図２５Ａは、さまざまな被操作オブジェクトをランダムに表示して、オート・ザッピングする画面の表示例を示した図である。 図２５Ｂは、オート・ザッピングする複数の被操作オブジェクトの表示位置や大きさを時々刻々と変化させる画面の表示例を示した図である。 図２６は、ユーザーがＴＶを見ているが操作していない状態での画面表示例を示した図である。 図２７Ａは、ユーザーがＴＶを操作している状態での画面表示例を示した図である。 図２７Ｂは、ユーザーがＴＶを操作している状態での画面表示例を示した図である。 図２８は、入力手段最適化部２３２０によるユーザーの位置とユーザーの状態に応じた入力手段の最適化処理を表にまとめた図である。 図２９は、距離検出方式切替部２３３０によるユーザーの位置に応じた距離検出方式の切り替え処理を表にまとめた図である。 図３０は、従来の物体表示システムの問題点を説明するための図である。 図３１は、従来の物体表示システムの問題点を説明するための図である。 図３２は、演算部１２０がモニター性能に応じたオブジェクトのリアルサイズ表示処理を行なうための内部構成を示した図である。 図３３は、同じオブジェクトの画像を異なるモニター仕様の画面上でそれぞれリアルサイズ表示する例を示した図である。 図３４は、リアルサイズの異なる２つのオブジェクトの画像を同じ画面上で相互の大小関係を正しく保って表示する例を示した図である。 図３５は、オブジェクト画像のリアルサイズ表示する例を示した図である。 図３６は、リアルサイズ表示したオブジェクト画像を回転若しくは姿勢変換した例を示した図である。 図３７Ａは、被写体のリアルサイズ情報を推定する様子を召した図である。 図３７Ｂは、推定した被写体のリアルサイズ情報に基づいて被操作オブジェクトのリアルサイズ表示処理を行なう様子を示した図である。 図３８Ａは、ビデオ・チャットしているユーザー間で顔の大きさや位置がまちまちになっている様子を示した図である。 図３８Ｂは、複数画像間の正規化処理により、ビデオ・チャットしているユーザー間で顔の大きさや位置が揃えられた様子を示した図である。 図３９Ａは、画面に並列して表示するユーザーの姿とインストラクターの姿の大きさや位置が揃っていない様子を示した図である。 図３９Ｂは、複数画像間の正規化処理により、画面に並列して表示するユーザーの姿とインストラクターの姿の大きさや位置が揃えられた様子を示した図である。 図３９Ｃは、複数画像間の正規化処理により正規化したユーザーの姿をインストラクターの姿と重畳して表示する様子を示した図である。 図４０Ａは、商品のサンプル画像がユーザー本人の映像と正しい大小関係で適当な場所に重なっていない様子を示した図である。 図４０Ｂは、複数画像間の正規化処理により、商品のサンプル画像がユーザー本人の映像と正しい大小関係で適当な場所に重ねて表示している様子を示した図である。 図４１は、演算部１２０が画像の正規化処理を行なうための内部構成を示した図である。 図４２は、任意の回転角度において映像コンテンツが全く見切れないように、映像コンテンツの全領域を表示する表示形態を示した図である。 図４３は、各回転角度において、映像コンテンツ中の注目領域が最大となるようにする表示形態を示した図である。 図４４は、無効領域がないように映像コンテンツを回転する表示形態を示した図である。 図４５は、図４２〜図４４に示した各表示形態における、回転位置に対する映像コンテンツのズーム率の関係を示した図である。 図４６は、情報処理装置１００を回転させる際に、演算部１２０において映像コンテンツの表示形態を制御するための処理手順を示したフローチャートである。 図４７は、演算部１２０が情報処理装置１００本体の任意の回転角度やその遷移過程において映像コンテンツの表示形態を調整する処理を行なうための内部構成を示した図である。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

Ａ．システム構成
本実施形態に係る情報処理装置１００は、大画面を有するが、主な使用形態として、図１に示すように壁に掛ける「Ｗａｌｌ」、並びに、図２に示すように卓上に設置する「Ｔａｂｌｅｔｏｐ」が想定される。

図１に示す「Ｗａｌｌ」状態では、情報処理装置１００は、例えば回転・取り付け機構部１８０によって壁面上で回転可能且つ着脱可能な状態で取り付けられている。また、回転・取り付け機構部１８０は情報処理装置１００と外部との電気的接点を兼ねており、この回転・取り付け機構部１８０を介して情報処理装置１００に電源ケーブルやネットワーク・ケーブル（いずれも図示しない）が接続されているものとし、情報処理装置１００は、商用ＡＣ電源から駆動電力を受電できるとともに、インターネット上の各種サーバーにもアクセスすることができる。

後述するように、情報処理装置１００は、距離センサー、近接センサー、並びにタッチ・センサーを備えており、画面に正対しているユーザーの位置（距離、方位）を把握することができる。ユーザーを検出したとき、又は、ユーザーを検出している状態では、波紋状の検出インジケーター（後述）や、検出状態を示すイルミネーション表現などを画面上で行なって、ユーザーに視覚的なフィードバックを与えることができる。

情報処理装置１００は、ユーザーの位置に応じた最適なインタラクションを自動選択するようになっている。例えば、情報処理装置１００は、ユーザーの位置に応じて、被操作オブジェクト枠組み、情報密度などのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）表示を自動で選択し又は調整する。また、情報処理装置１００は、画面へのタッチ、近接、手などを用いたジェスチャー、リモコン、ユーザー状態による間接操作など複数の入力手段の中から、ユーザーの位置若しくはユーザーまでの距離に応じて自動で選択することができる。

また、情報処理装置１００は、１台以上のカメラも備えており、ユーザーの位置だけでなく、カメラの撮影画像から人物、物体、機器の認識も行なうことができる。また、情報処理装置１００は、超近距離通信部も備えており、超近距離まで接近したユーザーが所持する機器との間で直接且つ自然なデータ送受信を行なうこともできる。

Ｗａｌｌ状態の大画面上には、ユーザーが操作する対象となる被操作オブジェクトが定義されている。被操作オブジェクトは、動画、静止画、テキスト・コンテンツを始め、任意のインターネット・サイト、アプリケーションやウィジェットなどの機能モジュールの特定の表示領域を有する。被操作オブジェクトには、テレビ放送の受信コンテンツ、記録メディアからの再生コンテンツ、ネットワークを介して取得したストリーミング動画、ユーザーが所持するモバイル端末など他の機器から取り込んだ動画、静止画コンテンツなどが含まれる。

図１に示すように大画面が横置きとなるように、壁に掛けた情報処理装置１００の回転位置を設定すると、画面全体の大きさを持つ被操作オブジェクトとして、ほぼムービーで描写する世界観そのままに映像を表示することができる。

ここで、大画面が縦向きとなるように、壁に掛けた情報処理装置１００の回転位置を設定すると、図３Ａに示すように、アスペクト比が１６：９の画面を垂直方向に３つ配置することができる。例えば、異なる放送局から同時受信する放送コンテンツ、記録メディアからの再生コンテンツ、ネットワーク上のストリーミング動画など、３種類のコンテンツ＃１〜＃３を上下方向に並べて同時に表示することができる。さらに、ユーザーが例えば指先で画面上を上下方向に操作すると、図３Ｂに示すように、コンテンツが上下方向にスクロールする。また、ユーザーが３段のうちいずれかの場所で指先により左右方向に操作すると、図３Ｃに示すように、その段で画面が水平方向にスクロールする。

一方、図２に示す「Ｔａｂｌｅｔｏｐ」状態では、情報処理装置１００は卓上に直接設置される。図１に示した使用形態では回転・取り付け機構部１８０が電気的接点を兼ねているのに対し（前述）、図２に示すように卓上に設置された状態では、情報処理装置１００への電気的接点が見当たらない。そこで、図示のＴａｂｌｅｔｏｐ状態では、情報処理装置１００は、内蔵バッテリーにより無電源で動作可能に構成してもよい。また、情報処理装置１００が例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）の移動局機能に相当する無線通信部を備えるとともに、回転・取り付け機構部１８０が無線ＬＡＮのアクセスポイント機能に相当する無線通信部を備えるようにすれば、情報処理装置１００は、Ｔａｂｌｅｔｏｐ状態においても、アクセスポイントとしての回転・取り付け機構部１８０との無線通信を通じてインターネット上の各種サーバーにアクセスすることができる。

Ｔａｂｌｅｔｏｐの大画面上には、画面上には、被操作対象となる複数の被操作オブジェクトが定義されている。被操作オブジェクトは、動画、静止画、テキスト・コンテンツを始め、任意のインターネット・サイト、アプリケーションやウィジェットなどの機能モジュールの特定の表示領域を有する。

情報処理装置１００は、大画面の４つの側縁部の各々に、ユーザーの存在又は状態を検出する近接センサーを備えている。上述と同様に、大画面に接近したユーザーをカメラで撮影して人物認識してもよい。また、超近距離通信部は、存在を検出したユーザーがモバイル端末などの機器を所持しているか否かを検出したり、ユーザーが所持する他端末からのデータ送受信要求を検出したりする。ユーザー又はユーザーの所持端末を検出したとき、又は、ユーザーを検出している状態では、波紋状の検出インジケーターや検出状態を示すイルミネーション表現（後述）などを画面上で行なって、ユーザーに視覚的なフィードバックを与えることができる。

情報処理装置１００は、近接センサーなどでユーザーの存在を検出すると、その検出結果をＵＩ制御に利用する。ユーザーの存在の有無だけでなく、胴体や両手足、頭の位置などを検出するようにすれば、より詳細なＵＩ制御に利用することもできる。また、情報処理装置１００は、超近距離通信部も備えており、超近距離まで接近したユーザーが所持する機器との間で直接且つ自然なデータ送受信を行なうこともできる（同上）。

ここで、ＵＩ制御の一例として、情報処理装置１００は、検出されたユーザーの配置に応じて大画面内に、ユーザー毎のユーザー占有領域と各ユーザー間で共有する共通領域を設定する。そして、ユーザー占有領域並びに共通領域での各ユーザーのタッチ・センサー入力を検出する。画面の形状及び領域分割するパターンは、長方形に限定されず、正方形、丸型、円錐などの立体を含む形状に適応することができる。

情報処理装置１００の画面を大型化すれば、Ｔａｂｌｅｔｏｐ状態では、複数のユーザーが同時にタッチ入力するだけのスペースの余裕が生じる。上述したように、画面内にユーザー毎のユーザー占有領域と共通領域を設定することで、複数のユーザーにより快適且つ効率的な同時操作を実現することができる。

ユーザー占有領域に置かれている被操作オブジェクトの操作権は、該当するユーザーに与えられている。ユーザーが、共通領域又は他のユーザーのユーザー占有領域から自分のユーザー占有領域に被操作オブジェクトを移動させることで、その被操作オブジェクトの操作権も自分に移動する。また、被操作オブジェクトが自分のユーザー占有領域内に入ると、被操作オブジェクトが自分に正対する方向となるように自動で表示が変わる。

ユーザー占有領域間を被操作オブジェクトが移動する場合において、移動操作がなされるタッチ位置に応じて、被操作オブジェクトは物理的に自然な動作で移動する。また、ユーザー同士で１つの被操作オブジェクトを引っ張り合うことで、被操作オブジェクトを分割又は複製するという操作が可能である。

図４には、情報処理装置１００の機能的構成を模式的に示している。情報処理装置１００は、外部からの情報信号を入力する入力インターフェース部１１０と、入力された情報信号に基づいて表示画面の制御などのための演算処理を行なう演算部１２０と、演算結果に基づいて外部への情報出力を行なう出力インターフェース部１３０と、ハード・ディスク・ドライブ（ＨＤＤ）などからなる大容量の記憶部１４０と、外部ネットワークと接続する通信部１５０と、駆動電力を扱う電源部１６０と、テレビ・チューナー部１７０を備えている。記憶部１４０には、演算部１２０で実行する各種処理アルゴリズムや、演算部１２０で演算処理に使用する各種データベースが格納されている。

入力インターフェース部１１０の主な機能は、ユーザーの存在の検出、検出したユーザーによる画面すなわちタッチパネルへのタッチ操作の検出、ユーザーが所持するモバイル端末などの機器の検出並びに機器からの送信データの受信処理である。図５には、入力インターフェース部１１０の内部構成を示している。

リモコン受信部５０１は、リモコンやモバイル端末からのリモコン信号を受信する。信号解析部５０２は、受信したリモコン信号を復調、復号処理して、リモコン・コマンドを得る。

カメラ部５０３は、単眼式、又は、２眼式若しくはアクティブ型のうち一方又は両方を採用する。カメラ部５０３は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｍｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子からなる。また、カメラ部５０３は、パンやチルト、ズームなどのカメラ制御部を備えている。カメラ部５０３は、パンやチルト、ズームなどのカメラ情報を演算部１２０に通知するとともに、演算部１２０からのカメラ制御情報に従ってカメラ部５０３のパン、チルト、ズームを制御できるものとする。

画像認識部５０４は、カメラ部５０３による撮影画像を認識処理する。具体的には、背景差分によりユーザーの顔や手の動きを検出してジェスチャー認識したり、撮影画像に含まれるユーザーの顔を認識したり、人体を認識したり、ユーザーまでの距離を認識したりする。

マイク部５０５は、音やユーザーが発する会話を音声入力する。音声認識部５０６は、入力された音声信号を音声認識する。

距離センサー５０７は、例えばＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｔｉｖｅ Ｄｅｔｅｃｔｏｒ）などからなり、ユーザーやその他の物体から返ってくる信号を検出する。信号解析部５０８は、その検出信号を解析して、ユーザーや物体までの距離を測定する。ＰＤＳセンサー以外に、焦電センサーや簡易カメラなどを距離センサー５０７に用いることができる。距離センサー５０７は、情報処理装置１００から例えば５〜１０メートルの半径内にユーザーが存在するかどうかを常時監視している。このため、距離センサー５０７には、消費電力の小さなセンサー素子を用いることが好ましい。

タッチ検出部５０９は、画面に重畳されたタッチ・センサーなどからなり、画面にユーザーの指先が触れた場所から検出信号を出力する。信号解析部５１０は、その検出信号を解析して、位置情報を得る。

近接センサー５１１は、大画面の４つの側縁部の各々に設置され、例えば静電容量式によりユーザーの身体が画面に近接したことを検出する。信号解析部５１２は、その検出信号を解析する。

超近距離通信部５１３は、例えばＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）により、ユーザーが所持する機器などからの非接触通信信号を受信する。信号解析部５１４は、その受信信号を復調、復号処理して、受信データを得る。

３軸センサー部５１５は、ジャイロなどで構成され、情報処理装置１００のｘｙｚ各軸回りの姿勢を検出する。ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部５１６は、ＧＰＳ衛星からの信号を受信する。信号解析部５１７は、３軸センサー部５１５並びにＧＰＳ受信部５１６からの信号を解析して、情報処理装置１００の位置情報や姿勢情報を得る。

入力インターフェース統合部５２０は、上記の情報信号の入力を統合して演算部１２０に渡す。また、入力インターフェース統合部５２０は、各信号解析部５０８、５１０、５１２、５１４の解析結果を統合して、情報処理装置１００の周囲にいるユーザーの位置情報を取得して演算部１２０に渡す。

演算部１２０の主な機能は、入力インターフェース部１１０によるユーザー検出結果、画面のタッチ検出結果、及びユーザーが所持する機器からの受信データに基づくＵＩ画面の生成処理などの演算処理と、演算結果の出力インターフェース部１３０への出力である。演算部１２０は、例えば記憶部１４０にインストールされているアプリケーション・プログラムをロードし、実行することで、アプリケーション毎の演算処理を実現することができる。各アプリケーションに対応した演算部１２０の機能的構成については、後述に譲る。

出力インターフェース部１３０の主な機能は、演算部１２０の演算結果に基づく画面上へのＵＩ表示と、ユーザーが所持する機器へのデータ送信である。図６には、出力インターフェース部１３０の内部構成を示している。

出力インターフェース統合部６１０は、演算部１２０によるモニター分割処理、オブジェクト最適処理、機器連携データ送受信処理などの演算結果に基づく情報出力を統合して扱う。

出力インターフェース統合部６１０は、コンテンツ表示部６０１に対して、受信したＴＶ放送コンテンツや、ブルーレイ・ディスクなどの記録メディアから再生したコンテンツなど、動画又は静止画コンテンツの表示部６０３、スピーカー部６０４への画像及び音声出力を指示する。

また、出力インターフェース統合部６１０は、ＧＵＩ表示部６０２に対して、被操作オブジェクトなどのＧＵＩの表示部６０３への表示を指示する。

また、出力インターフェース統合部６１０は、イルミネーション部６０６からの検出状態を表すイルミネーションの表示出力を、イルミネーション表示部６０５に指示する。

また、出力インターフェース統合部６１０は、超近距離通信部５１３に対して、ユーザーが所持する機器などへの、非接触通信によるデータ送信を指示する。

情報処理装置１００は、カメラ部５０３の撮影画像の認識や、距離センサー５０７、タッチ検出部５０９、近接センサー５１１、超近距離通信部５１３などの検出信号に基づいて、ユーザーを検出することができる。また、カメラ部５０３の撮影画像の顔認識や、超近距離通信部５１３でユーザーが所持する機器を認識することで、検出したユーザーの人物を特定することができる。特定されたユーザーは情報処理装置１００にログインすることができる。勿論、ログインできるアカウントを特定のユーザーに限定することもできる。また、情報処理装置１００は、ユーザーの位置やユーザーの状態に応じて、距離センサー５０７、タッチ検出部５０９、近接センサー５１１を使い分けて、ユーザーからの操作を受け取ることができる。

また、情報処理装置１００は、通信部１５０を通じて外部ネットワークに接続している。外部ネットワークとの接続形態は、有線、無線を問わない。情報処理装置１００は、通信部１５０を通じて、ユーザーが所持するスマートフォンなどのモバイル端末や、タブレット端末などの他の機器と通信することができる。情報処理装置１００、モバイル端末、タブレット端末の３種類の装置の組み合わせにより、いわゆる「３スクリーン」を構成することができる。情報処理装置１００は、他の２スクリーンよりも大画面上で、３スクリーンを連携させるＵＩを提供することができる。

例えば、ユーザーが画面上でタッチ操作する、あるいは所持端末を情報処理装置１００に接近させるなどのアクションを行なっているバックグランドで、情報処理装置１００と対応する所持端末との間で、被操作オブジェクトの実体である動画、静止画、テキスト・コンテンツなどのデータ送受信が行なわれる。さらに外部ネットワーク上にはクラウド・サーバーなどが設置されており、３スクリーンは、クラウド・サーバーの演算能力を利用するなど、情報処理装置１００を通じてクラウド・コンピューティングの恩恵を受けることができる。

以下では、情報処理装置１００の幾つかのアプリケーションについて順に説明する。

Ｂ．大画面における複数ユーザーによる同時操作
情報処理装置１００は、大画面における複数ユーザーによる同時操作が可能である。具体的には、大画面の４つの側縁部の各々に、ユーザーの存在又はユーザーの状態を検出する近接センサー５１１を備えており、ユーザーの配置に応じて画面内にユーザー占有領域と共通領域を設定することで、複数のユーザーによる快適且つ効率的な同時操作を可能にする。

情報処理装置１００の画面を大型化すれば、Ｔａｂｌｅｔｏｐ状態では、複数のユーザーが同時にタッチ入力するだけのスペースの余裕が生じる。上述したように、画面内にユーザー毎のユーザー占有領域と共通領域を設定することで、複数のユーザーにより快適且つ効率的な同時操作を実現することができる。

ユーザー占有領域に置かれている被操作オブジェクトの操作権は、該当するユーザーに与えられている。ユーザーが、共通領域又は他のユーザーのユーザー占有領域から自分のユーザー占有領域に被操作オブジェクトを移動させることで、その被操作オブジェクトの操作権も自分に移動する。また、被操作オブジェクトが自分のユーザー占有領域内に入ると、被操作オブジェクトが自分に正対する方向となるように自動で表示が変わる。

ユーザー占有領域間を被操作オブジェクトが移動する場合において、移動操作がなされるタッチ位置に応じて、被操作オブジェクトは物理的に自然な動作で移動する。また、ユーザー同士で１つの被操作オブジェクトを引っ張り合うことで、被操作オブジェクトを分割又は複製するという操作が可能である。

このアプリケーションを実現する際の演算部１２０の主な機能は、入力インターフェース部１１０によるユーザー検出結果、画面のタッチ検出結果、及びユーザーが所持する機器からの受信データに基づく被操作オブジェクトの最適化並びにＵＩ生成である。図７には、演算部１２０が被操作オブジェクトの処理を行なうための内部構成を示している。演算部１２０は、モニター領域分割部７１０と、オブジェクト最適処理部７２０と、機器連携データ送受信処理部６３０を備えている。

モニター領域分割部７１０は、入力インターフェース統合部５２０からユーザーの位置情報を取得すると、記憶部１４０内に格納されている、形状やセンサー配置などに関する機器データベース７１１と、領域パターン・データベース７１１を参照して、画面上に上述したユーザー占有領域並びに共通領域を設定する。そして、モニター領域設定部７１０は、設定した領域情報をオブジェクト最適処理部７２０と、機器連携データ送受信部７３０に渡す。モニター領域分割の処理手順の詳細については後述に譲る。

オブジェクト最適処理部７２０は、入力インターフェース統合部５２０から、ユーザーが画面上の被操作オブジェクトに対して行なった操作の情報を入力する。そして、オブジェクト最適処理部７２０は、記憶部１４０からロードした最適処理アルゴリズム７２１に従って、ユーザーが操作を行なった被操作オブジェクトを回転、移動、表示、分割、又はコピーするなど、ユーザー操作に対応した被操作オブジェクトの最適処理を行なって、最適処理された被操作オブジェクトを表示部６０３の画面に出力する。被操作オブジェクトの最適処理の詳細については、後述に譲る。

機器連携データ送受信部７３０は、入力インターフェース統合部５２０から、ユーザーやユーザーが所持する機器の位置情報、機器との送受信データを入力する。そして、機器連携データ送受信部７３０は、記憶部１４０からロードした送受信処理アルゴリズム７３１に従って、ユーザーが所持する機器との連携によるデータ送受信処理を行なう。また、オブジェクト最適処理部７２０は、データ送受信処理に対応した被操作オブジェクトの最適処理を行なう。例えば、オブジェクト最適処理部７２０は、送受信データに関連する被操作オブジェクトを回転、移動、表示、又はコピーするなど、ユーザーが所持する機器と連携したデータ送受信に伴う被操作オブジェクトの最適処理を行なって、最適処理された被操作オブジェクトを表示部６０３の画面に出力する。機器連携に伴う被操作オブジェクトの最適処理の詳細については、後述に譲る。

続いて、モニター領域分割処理の詳細について説明する。モニター領域分割は、主に情報処理装置１００がＴａｂｌｅｔｏｐ状態で複数のユーザーで共有する利用形態での処理を想定しているが、勿論、Ｗａｌｌ状態で複数のユーザーで共有する利用形態であってもよい。

モニター領域分割部７１０は、入力インターフェース統合部５２０を通じてユーザーの存在を検出すると、画面内にそのユーザーのユーザー占有領域を割り当てる。図８には、画面側縁部に設置された近接センサー５１１（若しくは距離センサー５０７）の検出信号によりユーザーＡの存在を検出したことに応じて、モニター領域分割部７１０がユーザーＡのユーザー占有領域Ａを画面内に設定した様子を示している。存在を検出したユーザーが一人だけの場合は、図示のように画面全体をそのユーザーのユーザー占有領域に設定してもよい。

ここで、ユーザー占有領域Ａが設定されると、オブジェクト最適処理部７２０は、入力インターフェース統合部５２０を通じて得たユーザーＡの位置情報を基に、ユーザー占有領域Ａ内の各被操作オブジェクトの向きを、そのユーザーと正対するように切り替える。図９Ａには、ユーザー占有領域Ａが設定される前に、各被操作オブジェクト＃１〜＃６がランダムに向いている様子を示している。図中、オブジェクト内の各文字「＃１」、「＃２」…の傾きがそのオブジェクトの向きを表していると理解されたい。そして、図９Ｂには、ユーザーＡのユーザー占有領域Ａが設定されたことにより、この領域内のすべての被操作オブジェクト＃１〜＃６がユーザーＡと正対する向きに切り替わった様子を示している。

存在を検出したのがユーザーＡ一人だけの場合は、画面全体をユーザーＡのユーザー占有領域Ａに設定してもよい。これに対し、２人以上のユーザーの存在が検出されたときには、ユーザー同士が協調作業（Ｃｏｌｌａｂｏｒａｔｉｖｅ ａｃｔｉｏｎ）を行なうために、ユーザー間で共有できる共通領域を設定することが好ましい。

図１０には、ユーザーＡに加え、近接センサー５１１若しくは距離センサー５０７の検出信号により隣接する画面側縁でユーザーＢの存在を検出したことにより、モニター領域分割部７１０がユーザーＢのユーザー占有領域Ｂと共通領域を画面内に追加して設定した様子を示している。各ユーザーＡ、Ｂの位置情報に基づいて、ユーザーＡのユーザー占有領域ＡはユーザーＡの居る場所に向かって縮退するとともに、ユーザーＢの居る場所近くにユーザーＢのユーザー占有領域Ｂが出現する。また、新しくユーザーＢの存在を検出したことにより、ユーザー占有領域Ｂ内で波紋状の検出インジケーターも表示される。そして、画面内のユーザー占有領域Ａ並びにユーザー占有領域Ｂ以外の領域はすべて共通領域となる。ユーザーＢが情報処理装置１００に接近したことに伴ってユーザー占有領域Ｂが画面内に新たに設定された後、最初にユーザー占有領域Ｂ内の任意の被操作オブジェクトがタッチされた時点でユーザー占有領域Ｂを有効にするようにしてもよい。なお、図１０では省略したが、新しくユーザー占有領域Ｂとなった領域内の各被操作オブジェクトは、ユーザー占有領域Ｂが設定された時点、又は、ユーザー占有領域Ｂが有効になった時点で、ユーザーＢに正対するように向きが切り替わる。

図１１には、ユーザーＡ、Ｂに加え、さらに他の画面側縁でユーザーＤの存在を検出したことにより、モニター領域分割部７１０がユーザーＤの居る場所近くにユーザーＤのユーザー占有領域Ｄを画面内に追加して設定した様子を示している。ユーザー占有領域Ｄ内では、波紋状の検出インジケーターを表示して、新しくユーザーＤの存在を検出したことを表現する。また、図１２には、ユーザーＡ、Ｂ、Ｄに加え、さらに他の画面側縁でユーザーＣの存在を検出したことにより、モニター領域分割部７１０がユーザーＣの居る場所近くにユーザーＣのユーザー占有領域Ｃを画面内に追加して設定した様子を示している。ユーザー占有領域Ｃ内では、波紋状の検出インジケーターを表示して、新しくユーザーＣの存在を検出したことを表現するようにしている。

なお、図８〜図１２に示したユーザー占有領域並びに共通領域の領域分割パターンは一例に過ぎない。領域分割パターンは、画面の形状や存在を検出したユーザー数とその配置などにも依存する。領域分割パターン・データベース６１１には、画面の形状やサイズとユーザー数に応じた領域分割パターンに関する情報を蓄積している。また、機器データベース７１１には、当該情報処理装置１００が使用する画面の形状やサイズの情報を蓄積している。そして、モニター領域分割部７１０は、入力インターフェース統合部５２０を通じて検出したユーザーの位置情報が入力されると、機器データベース７１１から画面の形状やサイズを読み出し、領域分割パターン・データベース７１２に該当する領域分割パターンを照会する。図１３Ａ〜図１３Ｅには、画面の形状やサイズとユーザー数に応じて画面にユーザー毎のユーザー占有領域を分割する領域分割パターンを例示している。

図１４には、モニター領域分割部７１０が実行するモニター領域分割の処理手順をフローチャートの形式で示している。

モニター領域分割部７１０は、まず、近接センサー５１１又は距離センサー５０７の検出信号の信号解析結果に基づいて、画面付近にユーザーが存在するかどうかをチェックする（ステップＳ１４０１）。

ユーザーが存在することを検出したときには（ステップＳ１４０１のＹｅｓ）、モニター領域分割部７１０は、続いて、存在するユーザーの人数を取得し（ステップＳ１４０２）、さらに各ユーザーがいる位置を取得する（ステップＳ１４０３）。ステップＳ１４０１〜Ｓ１４０３の処理は、入力インターフェース統合部５２０から渡されるユーザーの位置情報に基づいて実現される。

続いて、モニター領域分割部７１０は、機器データベース５１１に照会して、情報処理装置１００で使用する表示部６０３の画面形状や近接センサー５１１の配置などの機器情報を取得し、これとユーザー位置情報を併せて、該当する領域分割パターンを領域分割パターン・データベース７１２に照会する（ステップＳ１４０４）。

そして、モニター領域分割部７１０は、得られた領域分割パターンに従って、画面上に各ユーザーのユーザー占有領域と共通領域を設定して（ステップＳ１４０５）、本処理ルーチンを終了する。

続いて、オブジェクト最適処理部７２０によるオブジェクト最適処理の詳細について説明する。

オブジェクト最適処理部７２０は、入力インターフェース統合部５２０を通じて、ユーザーが画面上の被操作オブジェクトに対して行なった操作の情報を入力すると、ユーザー操作に応じて、画面上の被操作オブジェクトを回転、移動、表示、分割、又はコピーするなどの表示処理を行なう。ユーザーによるドラッグやスローなどの操作に応じて被操作オブジェクトを回転、移動、表示、分割、又はコピーする処理は、コンピューターのデスクトップ画面上におけるＧＵＩ操作に類似する。

本実施形態では、画面上にユーザー占有領域並びに共通領域が設定されており、オブジェクト最適処理部７２０は、被操作オブジェクトが存在する領域に応じて、その表示を最適処理する。最適処理の代表例は、ユーザー占有領域内の各被操作オブジェクトの向きを、そのユーザーと正対するように切り替える処理である。

図１５には、共通領域にある被操作オブジェクト＃１をユーザーＡのユーザー占有領域Ａに向かってドラッグ又はスロー移動し、オブジェクトの一部又は中心座標がユーザー占有領域Ａに入った時点で、オブジェクト最適処理部７２０がオブジェクトをユーザーＡに正対する方向に自動で回転処理する様子を示している。また、図１５には、ユーザーＢのユーザー占有領域Ｂにある被操作オブジェクト＃２をユーザーＡのユーザー占有領域Ａに向かってドラッグ又はスロー移動し、オブジェクトの一部又は中心座標がユーザー占有領域Ａに入った時点でオブジェクトをユーザーＡに正対する方向に自動で回転処理する様子も併せて示している。

図１０に示したように、ユーザーＢが情報処理装置１００に接近すると、画面上のユーザーＢの近くにユーザー占有領域Ｂが新たに設定される。このユーザー占有領域Ｂとなる領域内に元々ユーザーＡに正対していた被操作オブジェクト＃３が存在する場合には（図１６Ａを参照のこと）、新たにユーザー占有領域Ｂが出現すると、オブジェクト最適処理部７２０は、即座に、被操作オブジェクト＃３がユーザーＢに正対する方向に自動で回転処理する（図１６Ｂを参照のこと）。

あるいは、即座に被操作オブジェクトを回転処理するのではなく、ユーザーＢが情報処理装置１００に接近したことに伴ってユーザー占有領域Ｂが新たに設定された後、最初にユーザー占有領域Ｂ内の任意の被操作オブジェクトがタッチされた時点でユーザー占有領域Ｂを有効にするようにしてもよい。この場合、ユーザー占有領域Ｂが有効になった時点で、ユーザー占有領域Ｂ内のすべての被操作オブジェクトをユーザーＢに正対する方向となるよう同時に回転処理するようにしてもよい。

オブジェクト最適処理部７２０は、入力インターフェース統合部５２０を通じて取得するユーザーの操作情報と、モニター領域分割部７１０から渡される領域情報に基づいて、被操作オブジェクトの最適処理を行なうことができる。図１７には、オブジェクト最適処理部７２０が実行する被操作オブジェクトの最適処理の手順をフローチャートの形式で示している。

オブジェクト最適処理部７２０は、ユーザーが操作いた被操作オブジェクトの位置情報を入力インターフェース統合部５２０から渡されるとともに、モニター領域分割部７１０から分割したモニター領域情報を取得すると、ユーザーが操作した被操作オブジェクトがどの領域にあるのかを確認する（ステップＳ１７０１）。

ここで、ユーザーが操作した被操作オブジェクトがユーザー占有領域に存在するときには、オブジェクト最適処理部７２０は、その被操作オブジェクトが当該ユーザー占有領域内でユーザーと正対する方向を向いているかどうかをチェックする（ステップＳ１７０２）。

そして、被操作オブジェクトがユーザーと正対する方向を向いていないときには（ステップＳ１７０２のＮｏ）、オブジェクト最適処理部７２０は、当該ユーザー占有領域内でユーザーと正対する方向となるよう、被操作オブジェクトを回転処理する（ステップＳ１７０３）。

ユーザーが共通領域や他ユーザーのユーザー占有領域から自分のユーザー占有領域に被操作オブジェクトをドラッグ又はスロー移動する際に、ユーザーがこの被操作オブジェクトをタッチ操作した位置に応じて回転方向を制御するようにしてもよい。図１８には、ユーザーが被操作オブジェクトの重心位置より右側をタッチしてドラッグ又はスロー移動したことにより、被操作オブジェクトはユーザー占有領域に入った時点で、重心位置を中心に時計回りに回転してユーザーに正対する向きになる様子を示している。また、図１９には、ユーザーが被操作オブジェクトの重心位置より左側をタッチしてドラッグ又はスロー移動したことにより、被操作オブジェクトが重心位置を中心に反時計回りに回転してユーザーに正対する向きになる様子を示している。

図１８並びに図１９に示すように、重心位置を基準にして被操作オブジェクトの回転方向を切り替えることで、ユーザーに対して自然な操作感を提供することができる。

続いて、機器連携データ送受信部７３０による機器連携データ送受信処理について説明する。

図４に示したように、情報処理装置１００は、通信部１５０を通じて、ユーザーが所持するモバイル端末などの他の機器と通信することができる。例えば、ユーザーが画面上でタッチ操作する、あるいは所持端末を情報処理装置１００に接近させるなどのアクションを行なっているバックグランドで、情報処理装置１００と対応する所持端末との間で、被操作オブジェクトの実体である動画、静止画、テキスト・コンテンツなどのデータ送受信が行なわれる。

図２０には、情報処理装置１００とユーザーの所持端末との間で被操作オブジェクトの授受を行なうインタラクションの一例を図解している。図示の例では、ユーザーＡが自分に割り当てられたユーザー占有領域Ａの周辺に自分が所持する端末を接近させたことに応じて、被操作オブジェクトが端末付近から出現して、ユーザー占有領域Ａ内へ流れ込んでいくＵＩ表現がなされている。

情報処理装置１００は、超近距離通信部５１３による検出信号の信号解析結果や、カメラ部５０３によるユーザーの撮影画像の認識結果に基づいて、ユーザーの所持端末がユーザー占有領域Ａ付近に接近したことを検出することができる。また、機器連携データ送受信部７３０は、これまでのユーザーＡと情報処理装置１００（あるいは、情報処理装置１００を介したユーザーＡと他のユーザーとのやりとり）のコンテキストを通じて、ユーザーが情報処理装置１００へ送信するデータがあるか、送信データが何であるかを特定するようにしてもよい。そして、機器連携データ送受信部７３０は、送信データがある場合には、ユーザーの所持端末がユーザー占有領域Ａ付近に接近させるアクションのバックグランドで、情報処理装置１００と対応する所持端末との間で、被操作オブジェクトの実体である動画、静止画、テキスト・コンテンツなどのデータ送受信を実行する。

バックグランドでは機器連携データ送受信部７３０がユーザーの所持端末とデータ送受信を行ないながら、表示部６０３の画面上では、オブジェクト最適処理部７２０によるオブジェクト最適処理によって、ユーザーの所持端末から被操作オブジェクトが出現するようなＵＩ表現を行なう。図２０には、ユーザーＡの所持端末から該当するユーザー占有領域Ａへ、被操作オブジェクトが流れ込むようなＵＩ表現を例示している。

図２１には、機器連携データ送受信部７３０が実行する機器連携データ送受信の処理手順をフローチャートの形式で示している。機器連携データ送受信部７３０による処理は、超近距離通信部５１３による検出信号の信号解析結果などに基づいて、あるユーザーの所持端末が自分のユーザー占有領域付近に接近させたことにより、起動する。

機器連携データ送受信部７３０は、超近距離通信部５１３による検出信号の信号解析結果などに基づいて、通信をするユーザーの所持端末が存在するかどうかをチェックする（ステップＳ２１０１）。

通信をするユーザーの所持端末が存在するときには（ステップＳ２１０１のＹｅｓ）、機器連携データ送受信部７３０は、その端末が存在する位置を、超近距離通信部５１３による検出信号の信号解析結果などに基づいて取得する（ステップＳ２１０２）。

そして、機器連携データ送受信部７３０は、そのユーザー所持端末と送受信するデータがあるかどうかをチェックする（ステップＳ２１０３）。

ユーザー所持端末と送受信するデータがあるときには（ステップＳ２１０３のＹｅｓ）、機器連携データ送受信部７３０は、送受信処理アルゴリズム７３１に従って、端末の位置に応じて被操作オブジェクトのＵＩ表示（図２０を参照のこと）を行なう。また、機器連携データ送受信部７３０は、ＵＩ表示のバックグランドで、端末との間で被操作オブジェクトの実体であるデータの送受信を行なう（ステップＳ２１０４）。

図２０並びに図２１に示したように、情報処理装置１００がユーザーの所持端末から取得した被操作オブジェクトは、該当するユーザーのユーザー占有領域に配置される。さらに、ユーザー間でデータのやりとりを行なうときには、互いのユーザー占有領域間で被操作オブジェクトを移動させる操作を行なえばよい。図２２には、ユーザー占有領域Ｂ内でユーザーＢが保持している被操作オブジェクトを、ユーザーＡが自身のユーザー占有領域Ａに複製する様子を示している。あるいは、被操作オブジェクトを複製するのではなく、分割するのでもよい。

画面上で複製された被操作オブジェクトは、動画や静止画などのコンテンツであれば、単純に独立した別データを作成することになる。また、複製された被操作オブジェクトがアプリケーションのウィンドウの場合には、被操作オブジェクトを元々保持するユーザーと複製先のユーザー間で共同操作が可能なアプリケーションの別のウィンドウを作成することになる。

Ｃ．ユーザーの位置に応じた入力手段及び表示ＧＵＩの最適選択
情報処理装置１００は、距離センサー５０７や近接センサー５１１を備えており、例えば図１、図３に示したような壁掛け使用時において、情報処理装置１００本体すなわち画面からユーザーまでの距離を検出することができる。

また、情報処理装置１００は、タッチ検出部５０９、近接センサー５１１、カメラ部５０３、リモコン受信部５０１を備えており、画面へのタッチ、近接、手などを用いたジェスチャー、リモコン、ユーザー状態による間接操作など複数の入力手段をユーザーに提供することができる。各入力手段は、情報処理装置１００本体すなわち画面からユーザーまでの距離に応じて操作の適否がある。例えば、情報処理装置１００本体から５０ｃｍ以内の範囲にいるユーザーであれば、画面上を直接触れることで、被操作オブジェクトを確実に操作することができる。また、情報処理装置１００本体から２ｍ以内の範囲にいるユーザーであれば、画面を直接触れるには遠いが、カメラ部５０３の撮影画像を認識処理して顔や手の動きを正確に捕捉することができるので、ジェスチャー入力が可能である。また、情報処理装置１００本体から２ｍ以上離れているユーザーは、画像認識の精度は低下しても、リモコン信号は確実に到達するので、リモコン操作は可能である。さらに、画面に表示する被操作オブジェクトの枠組みや情報密度などの最適なＧＵＩ表示も、ユーザーまでの距離に応じて変化する。

本実施形態では、情報処理装置１００は、複数の入力手段の中から、ユーザーの位置若しくはユーザーまでの距離に応じて自動で選択するとともに、ユーザーの位置に応じてＧＵＩ表示を自動で選択し又は調整するようにしているので、ユーザーの利便性が向上する。

図２３には、演算部１２０がユーザーの距離に応じて最適化処理を行なうための内部構成を示している。演算部１２０は、表示ＧＵＩ最適化部２３１０と、入力手段最適化部２３２０と、距離検出方式切替部２３３０を備えている。

表示ＧＵＩ最適化部２３１０は、ユーザーの位置とユーザーの状態に応じて、表示部６０３の画面に表示する被操作オブジェクトの枠組みや情報密度などの最適なＧＵＩ表示を最適化処理する。

ここで、ユーザーの位置は、距離検出方式切替部２３３０によって切り替えられた距離検出方式によって得られる。ユーザーの位置が近付くと、カメラ部５０３の撮影画像の顔認識や、ユーザーの所持端末との近接通信などを通じて個人認証が可能になってくる。また、ユーザーの状態は、カメラ部５０３の撮影画像の画像認識や、距離センサー５０７の信号解析に基づいて特定される。ユーザーの状態は、大きくは、「ユーザーがいる（存在）」、「ユーザーがいない（不在）」の２状態に大別される。「ユーザーがいる」状態は、「ユーザーがＴＶ（表示部６０３の画面）を見ている（視聴中）」、「ユーザーがＴＶを見ていない（非視聴）」の２状態に分類される。さらに、「ユーザーがＴＶを見ている」状態は、「ユーザーがＴＶを操作している（操作中）」、「ユーザーがＴＶを操作していない（操作なし）」の２状態に細分化される。

表示ＧＵＩ最適化部２３１０は、ユーザー状態の判別に際し、記憶部１４０内の機器入力手段データベースを参照する。また、判別したユーザーの位置及びユーザー状態に応じて、表示ＧＵＩを最適化するに際し、記憶部１４０内のＧＵＩ表示（枠組み・密度）データベース、及び、コンテンツ・データベースを参照する。

図２４Ａには、表示ＧＵＩ最適化部２３１０によるユーザーの位置とユーザーの状態に応じた表示ＧＵＩの最適化処理を表にまとめている。また、図２４Ｂ〜図２４Ｅには、ユーザーの位置とユーザーの状態に応じた情報処理装置１００の画面遷移を示している。

「ユーザーがいない」状態では、表示ＧＵＩ最適化部２３１０は、表示部６０３の画面表示を停止して、ユーザーの存在が検出されるまで待機する（図２４Ｂを参照のこと）。

「ユーザーがいる」が「ユーザーがＴＶを見ていない」状態では、表示ＧＵＩ最適化部２３１０は、最適な表示ＧＵＩとして、「オート・ザッピング」を選択する（図２４Ｃを参照のこと）。オート・ザッピングは、さまざまな被操作オブジェクトをランダムに表示して、ユーザーの興味を引いてＴＶを視聴したくなるようにする。ザッピングに用いる被操作オブジェクトは、テレビ・チューナー部１７０で受信したＴＶ放送の番組コンテンツの他、通信部１５０からインターネット経由で取得したネットワーク・コンテンツ、他ユーザーからのメールやメッセージなど、表示ＧＵＩ最適化部２３１０がコンテンツ・データベースに基づいて選択した複数の被操作オブジェクトを含んでいる。

図２５Ａには、オート・ザッピングしている表示ＧＵＩの例を示している。また、表示ＧＵＩ最適化部２３１０は、画面に表示される各被操作オブジェクトの位置や大きさ（すなわち、露出の度合い）を、図２５Ｂに示すように時々刻々と変化させて、ユーザーの潜在意識に働きかけるようにしてもよい。また、ユーザーの位置が近付いて個人認証が可能になった場合には、表示ＧＵＩ最適化部２３１０は、認識した個人の情報を利用して、オート・ザッピングする被操作オブジェクトを取捨選択するようにしてよい。

「ユーザーがＴＶを見ている」が「ユーザーがＴＶを操作していない」状態でも、表示ＧＵＩ最適化部２３１０は、最適な表示ＧＵＩとして、「オート・ザッピング」を選択する（図２４Ｄを参照のこと）。但し、上記とは相違し、コンテンツ・データベースに基づいて選択した複数の被操作オブジェクトを、図２６に示すように段組みにするなど規則的に配置して、個々の被操作オブジェクトの表示内容を確認し易くする。また、ユーザーの位置が近付いて個人認証が可能になった場合には、表示ＧＵＩ最適化部２３１０は、認識した個人の情報を利用して、オート・ザッピングする被操作オブジェクトを取捨選択するようにしてよい。また、ユーザーが遠くにいるときにはＧＵＩの情報密度を抑制し、ユーザーが近づいてくるとＧＵＩの情報密度を高くしていくといった具合に、表示ＧＵＩ最適化部２３１０は、ユーザーの位置に応じて、表示ＧＵＩの情報密度を制御するようにしてもよい。

一方、「ユーザーがＴＶを見ている」とともに「ユーザーがＴＶを操作している」状態では、ユーザーが入力手段最適化部２３２０により最適化された入力手段を用いて情報処理装置１００を操作している（図２４Ｅを参照のこと）。この状態での最適な入力手段は、例えば、リモコン受信部５０１へのリモコン信号の送信、カメラ部５０３へのジェスチャー、タッチ検出部５０９で検出するタッチパネルへの接触、マイク５０５に対する音声入力、近接センサー５１１に対する近接入力などである。表示ＧＵＩ最適化部２３１０は、最適な表示ＧＵＩとして、ユーザーの入力操作に応じて、被操作オブジェクトを段組み表示し、ユーザー操作に応じて、スクロールや被操作オブジェクトの選択操作が可能である。入力手段を介して指示された画面上の位置には、図２７Ａに示すようにカーソルが表示される。カーソルが置かれていない被操作オブジェクトは、ユーザーが注目していないと考えられることから、図中斜線で示すように輝度レベルを下げて、注目している被操作オブジェクトとのコントラストを表現するようにしてもよい（同図では、ユーザーが指先でタッチしている被操作オブジェクト＃３上にカーソルが置かれている）。また、図２７Ｂに示すようにカーソルが置かれた被操作オブジェクトをユーザーが選択すると、その被操作オブジェクトを全画面表示（若しくは、可能な最大サイズに拡大表示）するようにしてもよい（同図では、選択された被操作オブジェクト♯３が拡大表示されている）。

入力手段最適化部２３２０は、ユーザーの位置とユーザーの状態に応じて、ユーザーが情報処理装置１００に対して操作を行なう入力手段の最適化を行なう。

上述したように、ユーザーの位置は、距離検出方式切替部２３３０によって切り替えられた距離検出方式によって得られる。ユーザーの位置が近付くと、カメラ部５０３の撮影画像の顔認識や、ユーザーの所持端末との近接通信などを通じて個人認証が可能になってくる。また、ユーザーの状態は、カメラ部５０３の撮影画像の画像認識や、距離センサー５０７の信号解析に基づいて特定される。

入力手段最適化部２３２０は、ユーザー状態の判別に際し、記憶部１４０内の機器入力手段データベースを参照する。

図２８には、入力手段最適化部２３２０によるユーザーの位置とユーザーの状態に応じた入力手段の最適化処理を表にまとめている。

「ユーザーがいない」状態、「ユーザーがいる」が「ユーザーがＴＶを見ていない」状態、並びに、「ユーザーがＴＶを見ている」が「ユーザーがＴＶを操作していない」状態では、入力手段最適化部２３２０は、ユーザーの操作が開始されるまで待機する。

そして、「ユーザーがＴＶを見ている」とともに「ユーザーがＴＶを操作している」状態では、入力手段最適化部２３２０は、主にユーザーの位置に応じて各入力手段を最適化する。入力手段は、例えば、リモコン受信部５０１へのリモコン入力、カメラ部５０３へのジェスチャー入力、タッチ検出部５０９で検出するタッチ入力、マイク５０５に対する音声入力、近接センサー５１１に対する近接入力などである。

リモコン受信部５０１は、すべてのユーザー位置にわたり（すなわち、ほぼ常時）起動して、リモコン信号の受信を待機している。

カメラ部５０３の撮像画像に対する認識精度は、ユーザーが離れるに従って低下する。また、ユーザーが接近し過ぎると、ユーザーの姿がカメラ部５０３の視界から外れ易くなる。そこで、入力手段最適化部２３２０は、ユーザー位置が数十センチメートル〜数メートルの範囲で、カメラ部５０３へのジェスチャー入力をオンにする。

表示部６０３の画面に重畳されたタッチパネルへのタッチは、ユーザーの手の届く範囲に限定される。そこで、距離検出方式切替部２３３０は、ユーザー位置が数十センチメートルまでの範囲で、タッチ検出部５０９による距離検出機能をオンにする。また、近接センサー５１１は、タッチしていなくても数十センチメートルまではユーザーを検出することができる。したがって、距離検出方式切替部２３３０は、タッチ入力よりも遠いユーザー位置まで、近接センサー５１１による距離検出機能をオンにする。

マイク部５０５への入力音声の認識精度は、ユーザーが離れるに従って低下する。そこで、入力手段最適化部２３２０は、ユーザー位置が数メートルまでの範囲で、カメラ部５０３へのジェスチャー入力をオンにする。

距離検出方式切替部２３３０は、ユーザーの位置に応じて、情報処理装置１００がユーザーまでの距離やユーザーの位置を検出する方式を切り替える処理を行なう。

距離検出方式切替部２３３０は、ユーザー状態の判別に際し、記憶部１４０内の検出方式毎のカバー範囲データベースを参照する。

図２９には、距離検出方式切替部２３３０によるユーザーの位置に応じた距離検出方式の切り替え処理を表にまとめている。

距離センサー５０７は、例えば、ＰＳＤセンサーや焦電センサーや簡易カメラなど、単純で消費電力の小さなセンサー素子からなる。情報処理装置１００から例えば５〜１０メートルの半径内にユーザーが存在するかどうかを常時監視するために、距離検出方式切替部２３３０は、距離センサー５０７を常時オンにする。

カメラ部５０３が単眼式を採用する場合、画像認識部５０４では、背景差分によるユーザーの動き認識、顔認識、人体認識などを行なう。距離検出方式切替部２３３０は、撮影画像に基づいて十分な認識精度が得られる、ユーザー位置が７０センチメートル〜６メートルの範囲で、画像認識部５０４による認識（距離検出）機能をオンにする。

また、カメラ部５０３が２眼式若しくはアクティブ式を採用する場合には、画像認識部５０４が十分な認識精度を得られるのは、やや手前の６０センチメートル〜５メートルであり、距離検出方式切替部２３３０はそのユーザー位置の範囲で画像認識部５０４による認識（距離検出）機能をオンにする。

また、ユーザーが接近し過ぎると、ユーザーの姿がカメラ部５０３の視界から外れ易くなる。そこで、距離検出方式切替部２３３０は、ユーザーが接近し過ぎたときには、カメラ部５０３及び画像認識部５０４をオフにするようにしてもよい。

表示部６０３の画面に重畳されたタッチパネルへのタッチは、ユーザーの手の届く範囲に限定される。そこで、距離検出方式切替部２３３０は、ユーザー位置が数十センチメートルまでの範囲で、タッチ検出部５０９による距離検出機能をオンにする。また、近接センサー５１１は、タッチしていなくても数十センチメートルまではユーザーを検出することができる。したがって、距離検出方式切替部２３３０は、タッチ入力よりも遠いユーザー位置まで、距離検出機能をオンにする。

複数の距離検出方式を備えた情報処理装置１００の設計論として、数メートルあるいは十メートルを超える遠方を検出する距離検出方式は、ユーザーの存在を確認する目的があり、常時オンにしなければならないことから、低消費電力のデバイスを用いることが好ましい。逆に、１メートル以内の至近距離を検出する距離検出方式は、密度の高い情報を得て顔認識や人体認識など認識機能を併せ持つことができるが、認識処理などに大きな電力を消費することから、十分な認識精度が得られない距離では機能をオフにすることが好ましい。

Ｄ．モニター性能に応じたオブジェクトのリアルサイズ表示
従来の物体表示システムでは、実在するオブジェクトの画像を、そのリアルサイズ情報を考慮せずに画面に表示する。このため、画面の大きさや解像度（ｄｐｉ）に応じて表示されるオブジェクトのサイズが変動してしまう。例えば、横幅がａセンチメートルのバッグを３２インチのモニターに表示したときの横幅ａ’と、５０インチのモニターに表示したときの横幅ａ”は互いに異なる（ａ≠ａ’≠ａ”）（図３０を参照のこと）。

また、複数のオブジェクトの画像を同じモニター画面上に同時表示する際、各オブジェクトのリアルサイズ情報を考慮しないと、オブジェクト相互の大小関係が正しく表示されない。例えば、横幅がａセンチメートルのバッグと、横幅がｂセンチメートルのポーチを同じモニター画面上に同時表示する場合、バッグがａ’センチメートルで表示される一方、ポーチがｂ’センチメートルで表示され、相互の大小関係が正しく表示されない（ａ：ｂ≠ａ’：ｂ’）（図３１を参照のこと）。

例えば、商品をネット・ショッピングする際、そのサンプル画像がリアルサイズを再現できていないと、ユーザーは自分の姿に的確にフィッティングすることができず、誤った商品購入を行なうおそれがある。また、ネット・ショッピングで複数の商品を同時購入しようとするとき、各商品のサンプル画像を画面に同時表示した際にサンプル画像相互の大小関係が正しく表示されていないと、ユーザーは商品を組み合わせて的確にフィッティングすることができず、相応しくない組み合わせで商品を購入してしまうというおそれがある。

これに対し、本実施形態に係る情報処理装置１００は、表示させたいオブジェクトのリアルサイズ情報と、表示部６０３の画面の大きさ及び解像度（画素ピッチ）情報を管理し、オブジェクトや画面の大きさが変わったとしても、常に画面上にリアルサイズでオブジェクトの画像を表示するようにしている。

図３２には、演算部１２０がモニター性能に応じたオブジェクトのリアルサイズ表示処理を行なうための内部構成を示している。演算部１２０は、リアルサイズ表示部３２１０と、リアルサイズ推定部３２２０と、リアルサイズ拡張部３２３０を備えている。但し、リアルサイズ表示部３２１０、リアルサイズ推定部３２２０、リアルサイズ拡張部３２３０のうち少なくとも１つの機能ブロックが、通信部１５０を介して接続されるクラウド・サーバー上で実現されることも想定される。

リアルサイズ表示部３２１０は、複数のオブジェクトの画像を同じモニター画面上に同時表示する際、各オブジェクトのリアルサイズ情報を考慮することによって、表示部６０３の画面の大きさ及び解像度（画素ピッチ）に応じて、常にリアルサイズで表示する。また、リアルサイズ表示部３２１０は、複数のオブジェクトの画像を表示部６０３の画面に同時表示するときには、オブジェクト相互の大小関係を正しく表示するようにしている。

リアルサイズ表示部３２１０は、記憶部１４０から、表示部６０３の画面の大きさ及び解像度（画素ピッチ）などのモニター仕様を読み出す。また、リアルサイズ表示部３２１０は、回転・取り付け機構部１８０から、表示部６０３の画面の向き、傾きなどのモニター状態を取得する。

また、リアルサイズ表示部３２１０は、記憶部１４０内のオブジェクト画像データベースから、表示したいオブジェクトの画像を読み出すとともに、オブジェクト・リアルサイズ・データベースからそのオブジェクトのリアルサイズ情報を読み出す。但し、オブジェクト画像データベースやオブジェクト・リアルサイズ・データベースは、通信部１５０を介して接続されるデータベース・サーバー上にあることも想定される。

そして、リアルサイズ表示部３２１０は、表示したいオブジェクトが表示部６０３の画面上でリアルサイズとなるよう（あるいは、複数のオブジェクト相互の大小関係が正しくなるよう）、モニター性能及びモニター状態に基づいて、オブジェクトの画像を変換処理する。すなわち、同じオブジェクトの画像を異なるモニター仕様の画面に表示するときであっても、図３３に示すようにａ＝ａ’＝ａ”となる。

また、リアルサイズ表示部３２１０は、リアルサイズの異なる２つのオブジェクトの画像を同じ画面上に同時に表示する際には、図３４に示すように、ａ：ｂ＝ａ’：ｂ’すなわち相互の大小関係は正しく表示される。

例えばユーザーがサンプル画像の表示を通じて商品のネット・ショッピングを行なう際には、上述したように情報処理装置１００がオブジェクトのリアルサイズ表示を実現したり、複数のサンプル画像を正しい大小関係で表示したりすることができるので、ユーザーは的確な商品のフィッティングを行なうことができ、誤った商品選択を行なうおそれが少なくなる。

リアルサイズ表示部３２１０におけるオブジェクト画像のリアルサイズ表示をネット・ショッピングのアプリケーションに適用した例で説明を追加する。カタログの表示画面上でユーザーが所望の商品の画像をタッチしたことに応答して、その商品の画像がリアルサイズ表示に切り換わる（図３５を参照のこと）。また、リアルサイズ表示した画像を、ユーザーのタッチ操作に従って、回転若しくは姿勢変換して、リアルサイズのオブジェクトの向きを変えて表示することができる（図３６を参照のこと）。

また、リアルサイズ推定部３２２０は、カメラ部５０３で撮影した人物など、オブジェクト・リアルサイズ・データベースに照会しても、リアルサイズ情報が得られないオブジェクトのリアルサイズを推定する処理を行なう。例えば、リアルサイズを推定するオブジェクトがユーザーの顔の場合、画像認識部５０４からカメラ部５０３の撮像画像を画像認識して得られたユーザーの顔の大きさ、年齢、向きなどのユーザー顔データと、距離検出方式切替部２３３０が切り替えた距離検出方式により得られたユーザーの位置に基づいて、ユーザーのリアルサイズを推定する。

推定されたユーザーのリアルサイズ情報は、リアルサイズ表示部３２１０へのフィードバックとなり、例えばオブジェクト画像データベースに格納される。そして、ユーザー顔データから推定されたリアルサイズ情報は、リアルサイズ表示部３２１０における以降のモニター性能に応じたリアルサイズ表示に利用される。

例えば、図３７Ａに示すように、被写体（赤ん坊）の撮影画像を含んだ被操作オブジェクトが表示されているときに、リアルサイズ推定部３２２０は、その顔データを基にリアルサイズを推定する。その後、ユーザーがタッチ操作などによってその被操作オブジェクトを拡大表示しようとしても、図３７Ｂに示すように被写体のリアルサイズを超えてまで拡大することはない。すなわち、赤ん坊の画像は不自然なまでには拡大せず、映像のリアリティーが保たれている。

また、ネットワーク・コンテンツとカメラ部５０３で撮影したコンテンツを表示部６０３の画面に並列又は重畳して表示する際、推定されたリアルサイズに基づいてコンテンツの映像を正規化処理することで、調和のとれた並列又は重畳表示を実現することができる。

さらに、リアルサイズ拡張部３２３０は、リアルサイズ表示部３２１０において表示部６０３の画面上で実現したオブジェクトのリアルサイズ表示を、３Ｄ、すなわち、奥行き方向を含めて実現する。なお、両眼方式又は水平方向のみの光線再現方式により３Ｄ表示する場合には、３Ｄ映像生成時に想定した視聴位置でのみ、所望の効果を得ることができる。全方位の光線再現方式では、任意の位置から実サイズ表示が可能である。

また、リアルサイズ拡張部３２３０は、両眼方式、水平方向のみの光線再現方式においても、ユーザーの視点位置を検出して、３Ｄ映像をその位置に対して補正することによって、同様のリアルサイズ表示を、任意の位置から得ることができる。

例えば、本出願人に既に譲渡されている特開２００２−３００６０２号公報、特開２００５−１４９１２７号公報、特開２００５−１４２９５７号公報を参照されたい。

Ｅ．画像群の同時表示
表示システムにおいて、複数のソースの映像コンテンツを、並列又は重畳するという形態で同じ画面上に同時に表示する場合がある。例えば、（１）複数のユーザー同士でビデオ・チャットを行なう場合や、（２）ヨガなどのレッスンの際に、ＤＶＤなどの記録メディアから再生した（あるいは、ネットワーク経由でストリーミング再生する）インストラクターの映像とカメラ部５０３で撮影したユーザー本人の映像を同時に表示する場合、（３）ネット・ショッピングにおいて商品のサンプル画像とカメラ部５０３で撮影したユーザー本人の映像を重ねて表示してフィッティングする場合を挙げることができる。

上記の（１）〜（３）のいずれの場合においても、同時表示する画像間の大小関係が正しく表示されないと、ユーザーは適切に表示映像を利用できなくなる。例えば、ビデオ・チャットしているユーザー間で顔の大きさや位置がまちまちになってしまうと（図３８Ａ）、チャット相手との対面性が損なわれ、会話が弾まなくなる。また、ユーザーの姿とインストラクターの姿の大きさや位置が揃っていないと（図３９Ａ）、ユーザーは自分の動きとインストラクターの動きの相違を見極めにくくなり、修正・改善すべき点が分からず、十分なレッスンの成果を上げることができなくなる。また、商品のサンプル画像が、商品を手に取るようにしてポーズをとったユーザー本人の映像と正しい大小関係で適当な場所に重なっていないと、ユーザーは、その商品が自分に合っているかどうかを判断しづらく、的確なフィッティングを行なうことができない（図４０Ａ）。

これに対し、本実施形態に係る情報処理装置１００は、複数のソースの映像コンテンツを、並列又は重畳する場合に、画像のスケールや対応領域などの情報を用いて画像同士を正規化して並列又は重畳して表示するようにしている。正規化する際には、静止画、動画などのディジタル画像データに対してディジタルでズーム処理するなどの画像加工を行なう。また、並列又は重畳する一方の画像がカメラ部５０３で撮影した画像の場合、実際のカメラをパン、チルト、ズームなどの光学制御を行なう。

画像の正規化処理は、顔認識によって得られた顔の大きさ、年齢、向きなどの情報や、人物認識によって得られた身体形状や大きさなどの情報を用いて簡易に実現することができる。また、複数の画像を並列又は重畳表示する際に、一方の画像に対しミラーリングや回転の処理を自動的に行なって、他方の画像との対応を取り易くする。

図３８Ｂには、複数画像間の正規化処理により、ビデオ・チャットしているユーザー間で顔の大きさや位置が揃えられた様子を示している。また、図３９Ｂには、複数画像間の正規化処理により、画面に並列して表示するユーザーの姿とインストラクターの姿の大きさや位置が揃えられた様子を示している。また、図４０Ｂには、複数画像間の正規化処理により、商品のサンプル画像が、商品を手に取るようにしてポーズをとったユーザー本人の映像と正しい大小関係で適当な場所に重ねて表示している様子を示している。なお、図３９Ｂや図４０Ｂでは、ユーザーはカメラ部５０３の撮影画像から自分の姿勢を修正し易くするために、大小関係の正規化処理だけでなく、ミラーリングも施されている。また、必要に応じて回転処理を行なう場合もある。また、ユーザーの姿をインストラクターの姿と正規化処理することができたなら、図３９Ｂに示したようにこれらを並列表示するのではなく、図３９Ｃに示すように重畳表示することもでき、ユーザーは自分の姿勢とインストラクターの姿勢との相違をさらに視認し易くなる。

図４１には、演算部１２０が画像の正規化処理を行なうための内部構成を示している。演算部１２０は、画像間正規化処理部４１１０と、顔正規化処理部４１２０と、リアルサイズ拡張部４１３０を備えている。但し、画像間正規化処理部４１１０、顔正規化処理部４１２０、リアルサイズ拡張部４１３０のうち少なくとも１つの機能ブロックが、通信部１５０を介して接続されるクラウド・サーバー上で実現されることも想定される。

画像間正規化処理部４１１０は、複数画像間でユーザーの顔画像と他のオブジェクトとの大小関係が正しく表示されるように、正規化処理を行なう。

画像間正規化処理部４１１０は、入力インターフェース統合部５２０を通じて、カメラ部５０３で撮影したユーザーの画像を入力する。その際、ユーザーの撮影時におけるカメラ部５０３のパン、チルト、ズームなどのカメラ情報を併せて取得する。また、画像間正規化処理部４１１０は、ユーザーの画像と並列又は重畳して表示する他のオブジェクトの画像と取得するとともに、ユーザーの画像と他のオブジェクトの画像を並列又は重畳するパターンを、画像データベースから取得する。画像データベースは、記憶部１４０内に存在する場合もあれば、通信部１５０を通じてアクセスするデータベース・サーバー上に存在する場合もある。

そして、画像間正規化処理部４１１０は、正規化アルゴリズムに従って、他のオブジェクトとの大小関係や姿勢が正しくなるように、ユーザーの画像に対して拡大や回転、ミラーリングなどの画像加工を施すとともに、適切なユーザーの画像を撮影するよう、カメラ部５０３をパン、チルト、ズームなどの制御を行なうためのカメラ制御情報を生成する。画像間正規化処理部４１１０の処理によって、例えば図４０Ｂに示したように、ユーザーの画像は他のオブジェクトの画像と大小関係が正しくなるように表示される。

顔正規化処理部４１２０は、カメラ部５０３で撮影したユーザーの顔画像が、他の被操作オブジェクト内の顔画像（例えば、記録メディアから再生した画像中のインストラクターの顔や、ビデオ・チャットしている相手ユーザーの顔）と大小関係が正しく表示されるように、正規化処理を行なう。

顔正規化処理部４１２０は、入力インターフェース統合部５２０を通じて、カメラ部５０３で撮影したユーザーの画像を入力する。その際、ユーザーの撮影時におけるカメラ部５０３のパン、チルト、ズームなどのカメラ情報を併せて取得する。また、顔正規化処理部４１２０は、撮影したユーザーの画像と並列又は重畳して表示する他の被操作オブジェクト内の顔画像を、記憶部１４０又は通信部１５０を通じて取得する。

そして、顔正規化処理部４１２０は、互いの顔画像の大小関係が正しくなるように、ユーザーの画像に対して拡大や回転、ミラーリングなどの画像加工を施すとともに、適切なユーザーの画像を撮影するよう、カメラ部５０３をパン、チルト、ズームなどの制御を行なうためのカメラ制御情報を生成する。顔正規化処理部４１２０の処理によって、例えば図３８Ｂ、図３９Ｂ、図３９Ｃに示したように、ユーザーの画像は他の顔画像と大小関係が正しくなるように表示される。

さらに、リアルサイズ拡張部４１３０は、画像間正規化処理部４１１０又は画像間正規化処理部４１１０において表示部６０３の画面上で実現した複数画像の並列又は重畳表示を、３Ｄ、すなわち、奥行き方向を含めて実現する。なお、両眼方式又は水平方向のみの光線再現方式により３Ｄ表示する場合には、３Ｄ映像生成時に想定した視聴位置でのみ、所望の効果を得ることができる。全方位の光線再現方式では、任意の位置から実サイズ表示が可能である。

また、リアルサイズ拡張部４１３０は、両眼方式、水平方向のみの光線再現方式においても、ユーザーの視点位置を検出して、３Ｄ映像をその位置に対して補正することによって、同様のリアルサイズ表示を、任意の位置から得ることができる。

例えば、本出願人に既に譲渡されている特開２００２−３００６０２号公報、特開２００５−１４９１２７号公報、特開２００５−１４２９５７号公報を参照されたい。

Ｆ．回転する画面における映像コンテンツの表示方法
既に述べたように、本実施形態に係る情報処理装置１００本体は、例えば回転・取り付け機構部１８０によって壁面上で回転可能且つ着脱可能な状態で取り付けられている。情報処理装置１００の電源オンすなわち表示部６０３で被操作オブジェクトを表示している最中に本体を回転操作すると、これに伴って、ユーザーが正しい姿勢の被操作オブジェクトを観察できるよう、被操作オブジェクトを回転処理する。

以下では、情報処理装置１００本体の任意の回転角度やその遷移過程において、映像コンテンツの表示形態を最適に調整する方法について説明する。

画面の任意の回転角度やその遷移過程における映像コンテンツの表示形態として、（１）任意の回転角度において映像コンテンツが全く見切れないようにする表示形態、（２）各回転角度において、映像コンテンツ中の注目コンテンツが最大となるようにする表示形態、（３）無効領域がないように映像コンテンツを回転する表示形態、の３通りを挙げることができる。

図４２には、情報処理装置１００（画面）を反時計回りに９０度だけ回転させる間に、任意の回転角度において映像コンテンツが全く見切れないように、映像コンテンツの全領域を表示する表示形態を図解している。図示のように、横置き状態の画面に横長の映像コンテンツを表示しているときに、反時計回りに９０度だけ回転させて縦置きにしようとすると、映像コンテンツは縮小するとともに、画面には黒色で表わされている無効領域が出現してしまう。また、画面を横置きから縦置きに遷移する過程で、映像コンテンツは最小になる。

映像コンテンツの少なくとも一部が見切れてしまうと、著作物としての映像コンテンツは同一性を喪失してしまうという問題がある。図４２に知れしたような表示形態は、任意の回転角度やその遷移過程において、常に著作物としての同一性が保証される。すなわち、保護コンテンツには適した表示形態ということができる。

また、図４３には、情報処理装置１００（画面）を反時計回りに９０度だけ回転させる間に、各回転角度において、映像コンテンツ中の注目領域が最大となるようにする表示形態を図解している。同図では、映像コンテンツ中の点線で囲んだ被写体を含む領域を注目領域に設定して、各回転角度にてこの注目領域が最大となるようにする。注目領域は縦長なので、横置きを縦置きに変えることによって、映像コンテンツは拡大する。また、横置きから縦置きに遷移する過程において、注目領域は画面の対角線方向に最大に拡大する。また、横置きから縦置きに遷移する過程において、画面には黒色で表わされている無効領域が出現してしまう。

映像コンテンツ中の注目領域に着目した表示形態として、注目領域のサイズを一定にしながら映像コンテンツを回転させるという変形例も考えられる。画面の回転に伴って、注目領域は円滑に回転するようにも映るが、無効領域は拡大してしまう。

また、図４４には、情報処理装置１００（画面）を反時計回りに９０度だけ回転させる間に、無効領域がないように映像コンテンツを回転する表示形態を図解している。

図４５には、図４２〜図４４に示した各表示形態における、回転位置に対する映像コンテンツのズーム率の関係を示している。図４２に示した、任意の回転角度において映像コンテンツが全く見切れないようにする表示形態では、コンテンツを保護することはできるが、遷移過程において大きな無効領域が発生してしまう。また、遷移過程で映像が縮小するのでユーザーに違和感を与えることが懸念される。図４３に示した、各回転角度で映像コンテンツ中の注目領域が最大となるようにする表示形態では、画面が回転する遷移過程で注目領域をより滑らかに表示することができるが、遷移過程において無効領域が発生してしまう。また、図４４に示した表示形態では、遷移過程において無効領域が発生しないが、遷移過程において、映像コンテンツが大きく拡大してしまい、観察するユーザーに不自然な印象を与えることが懸念される。

図４６には、情報処理装置１００（表示部６０３の画面）を回転させる際に、演算部１２０において映像コンテンツの表示形態を制御するための処理手順をフローチャートの形式で示している。この処理手順は、例えば回転・取り付け機構部１８０において情報処理装置１００本体が回転していることを検出したことや、３軸センサー５１５により情報処理装置１００本体の回転位置の変化を検出したことに応じて起動する。

情報処理装置１００（表示部６０３の画面）を回転させる際に、演算部１２０は、まず、画面に表示している映像コンテンツの属性情報を取得する（ステップＳ４６０１）。そして、画面に表示している映像コンテンツが著作権などにより保護されているコンテンツであるかどうかをチェックする（ステップＳ４６０２）。

ここで、画面に表示している映像コンテンツが著作権などにより保護されているコンテンツである場合には（ステップＳ４６０２のＹｅｓ）、演算部１２０は、図４２に示したような、任意の回転角度において映像コンテンツが全く見切れないように、映像コンテンツの全領域を表示する表示形態を選択する（ステップＳ４６０３）。

また、画面に表示している映像コンテンツが著作権などにより保護されているコンテンツでない場合には（ステップＳ４６０２のＮｏ）、続いて、ユーザーが指定した表示形態があるかどうかをチェックする（ステップＳ４６０４）。

ユーザーが映像コンテンツの全領域を表示する表示形態を選択しているときには、ステップＳ４６０３に進む。また、ユーザーが注目領域を最大表示する表示形態を選択しているときには、ステップＳ４６０５に進む。また、ユーザーが無効領域を表示しない表示形態を選択しているときには、ステップＳ４６０６に進む。また、ユーザーがいずれの表示形態も選択してないときには、上記の３つの表示形態のうちデフォルト値として設定された表示形態を選択する。

図４７には、演算部１２０が情報処理装置１００本体の任意の回転角度やその遷移過程において映像コンテンツの表示形態を調整する処理を行なうための内部構成を示している。演算部１２０は、表示形態決定部４７１０と、回転位置入力部４７２０と、画像加工部４７３０を備え、受信したＴＶ放送やメディアから再生した映像コンテンツの表示形態を調整する。

表示形態決定部４７１０は、情報処理装置１００本体の任意の回転角度やその遷移過程において映像コンテンツを回転させる際の表示形態を、図４６に示した処理手順に従って決定する。

回転位置入力部４７２０は、回転・取り付け機構部１８０や３軸センサー５１５で得られる情報処理装置１００本体（若しくは、表示部６０２の画面）の回転位置を、入力インターフェース統合部５２０を介して入力する。

画像加工部４７３０は、受信したＴＶ放送やメディアから再生した映像コンテンツが、回転位置入力部４７２０に入力された回転角度だけ傾いた表示部６０３の画面に適合するよう、表示形態決定部４７１０で決定した表示形態に従って画像加工する。

Ｇ．本明細書で開示する技術
本明細書で開示する技術は、以下のような構成をとることも可能である。
（１０１）表示部と、前記表示部の周辺に存在するユーザーを検出するユーザー検出部と、前記ユーザー検出部がユーザーを検出したことに応じて、前記表示部に表示する被操作オブジェクトの処理を行なう演算部と、を具備する情報処理装置。
（１０２）前記ユーザー検出部は、前記表示部の画面の４つの側縁部の各々に配設された近接センサーを有し、各側縁付近に存在するユーザーを検出する、上記（１０１）に記載の情報処理装置。
（１０３）前記演算部は、前記ユーザー検出部が検出したユーザーの配置に応じて、前記表示部の画面内に、検出されたユーザー毎のユーザー占有領域と、ユーザー間で共有する共通領域を設定する、上記（１０１）に記載の情報処理装置。
（１０４）前記演算部は、前記表示部の画面上に、ユーザーの操作対象となる１以上の被操作オブジェクトを表示させる、上記（１０３）に記載の情報処理装置。
（１０５）前記演算部は、ユーザー占有領域内の被操作オブジェクトを最適化する、上記（１０４）に記載の情報処理装置。
（１０６）前記演算部は、ユーザー占有領域内の被操作オブジェクトが該当するユーザーに正対する方向となるように回転処理する、上記（１０４）に記載の情報処理装置。
（１０７）前記演算部は、共通領域又は他のユーザー占有領域からユーザー占有領域に移動してきた被操作オブジェクトが該当するユーザーに正対する方向となるように回転処理する、上記（１０４）に記載の情報処理装置。
（１０８）演算部は、ユーザーが被操作オブジェクトをドラッグして領域間を移動させる際に、被操作オブジェクトの重心位置に対してユーザーが操作した位置に応じて、被操作オブジェクトを回転処理する際の回転方向を制御する、上記（１０７）に記載の情報処理装置。
（１０９）前記演算部は、前記ユーザー検出部が新規に検出したユーザーのユーザー占有領域を前記表示部の画面内に設定するときに、ユーザーを新規に検出したことを表す検出インジケーターを表示させる、上記（１０３）に記載の情報処理装置。
（１１０）ユーザーが所持する端末とデータを送受信するデータ送受信部をさらに備える、上記（１０４）に記載の情報処理装置。
（１１１）前記データ送受信部は、前記ユーザー検出部が検出したユーザーが所持する端末とデータ送受信処理を行ない、前記演算部は、ユーザーが所持する端末から受信したデータに対応する被操作オブジェクトを、該当するユーザー占有領域に出現させる、上記（１１０）に記載の情報処理装置。
（１１２）前記演算部は、各ユーザーのユーザー占有領域間で被操作オブジェクトを移動させたことに応じて、移動先のユーザー占有領域に被操作オブジェクトを複製又は分割する、上記（１０４）に記載の情報処理装置。
（１１３）前記演算部は、移動先のユーザー占有領域に、別データとして作成した被操作オブジェクトの複製を表示させる、上記（１１２）に記載の情報処理装置。
（１１４）前記演算部は、移動先のユーザー占有領域に、ユーザー間で共同操作が可能なアプリケーションの別のウィンドウとなる被操作オブジェクトの複製を表示させる、上記（１１２）に記載の情報処理装置。
（１１５）周辺に存在するユーザーを検出するユーザー検出ステップと、前記ユーザー検出ステップでユーザーを検出したことに応じて、表示する被操作オブジェクトの処理を行なう演算ステップと、を有する情報処理方法。
（１１６）表示部、前記表示部の周辺に存在するユーザーを検出するユーザー検出部、前記ユーザー検出部がユーザーを検出したことに応じて、前記表示部に表示する被操作オブジェクトの処理を行なう演算部、としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
（２０１）表示部と、前記表示部に対するユーザーの位置を検出するユーザー位置検出部と、前記表示部の表示画面に対するユーザーの状態を検出するユーザー状態検出部と、前記ユーザー位置検出部が検出したユーザーの位置と、前記ユーザー状態検出部が検出したユーザーの状態に応じて、前記表示部に表示するＧＵＩを制御する演算部と、を具備する情報処理装置。
（２０２）前記演算部は、前記表示部の画面上に表示する、ユーザーの操作対象となる１以上の被操作オブジェクトの枠組み又は情報密度を、ユーザーの位置及びユーザーの状態に応じて制御する、上記（２０１）に記載の情報処理装置。
（２０３）前記演算部は、ユーザーが前記表示部の画面を視聴している状態か否かに応じて、画面に表示する被操作オブジェクトの枠組みを制御する、上記（２０１）に記載の情報処理装置。
（２０４）前記演算部は、ユーザーの位置に応じて前記表示部の画面に表示する被操作オブジェクトの情報密度を制御する、上記（２０１）に記載の情報処理装置。
（２０５）前記演算部は、ユーザーが個人認証可能な位置か否かに応じて、前記表示部の画面に表示する被操作オブジェクトの選択を制御する、上記（２０１）に記載の情報処理装置。
（２０６）ユーザーが前記表示部の画面上に表示されている被操作オブジェクトを操作する１以上の入力手段をさらに備え、前記演算部は、ユーザーが前記入力手段で被操作オブジェクトを操作している状態か否かに応じて、画面に表示する被操作オブジェクトの枠組みを制御する、上記（２０１）に記載の情報処理装置。
（２０７）表示部と、ユーザーが前記表示部の画面上に表示されている被操作オブジェクトを操作する１以上の入力手段と、前記表示部に対するユーザーの位置を検出するユーザー位置検出部と、前記表示部の表示画面に対するユーザーの状態を検出するユーザー状態検出部と、前記ユーザー位置検出部が検出したユーザーの位置と、前記ユーザー状態検出部が検出したユーザーの状態に応じて、前記入力手段を最適化する演算部と、を具備する情報処理装置。
（２０８）前記演算部は、ユーザーが前記表示部の画面を視聴している状態か否かに応じて、前記入力手段の最適化を制御する、上記（２０７）に記載の情報処理装置。
（２０９）前記演算部は、ユーザーが前記表示部の画面を視聴している状態において、前記ユーザー位置検出部が検出したユーザーの位置に応じて入力手段を最適化する、上記（２０７）に記載の情報処理装置。
（２１０）表示部と、前記表示部に対するユーザーの位置を検出するユーザー位置検出部と、前記表示部の画面からユーザーまでの距離を検出する複数の距離検出方式と、前記ユーザー位置検出部が検出したユーザーの位置に応じて、距離検出方式の切り替えを制御する演算部と、を具備する情報処理装置。
（２１１）前記演算部は、遠方にいるユーザーまでの距離を検出する距離検出方式を常に機能オンにする、上記（２１０）に記載の情報処理装置。
（２１２）前記演算部は、近くにいるユーザーの距離を検出するとともに認識処理を兼ねた距離検出方式を、十分な認識精度が得られる距離範囲でのみ機能オンにする、上記（２１０）に記載の情報処理装置。
（２１３）表示画面に対するユーザーの位置を検出するユーザー位置検出ステップと、表示画面に対するユーザーの状態を検出するユーザー状態検出ステップと、前記ユーザー位置検出ステップで検出したユーザーの位置と、前記ユーザー状態検出ステップで検出したユーザーの状態に応じて、前記表示画面に表示するＧＵＩを制御する演算ステップと、を有する情報処理方法。
（２１４）表示画面に対するユーザーの位置を検出するユーザー位置検出ステップと、前記表示画面に対するユーザーの状態を検出するユーザー状態検出ステップと、前記ユーザー位置検出ステップで検出したユーザーの位置と、前記ユーザー状態検出ステップで検出したユーザーの状態に応じて、ユーザーが前記表示画面上に表示されている被操作オブジェクトを操作するための１以上の入力手段を最適化する演算ステップと、を有する情報処理方法。
（２１５）表示画面に対するユーザーの位置を検出するユーザー位置検出ステップと、前記ユーザー位置検出ステップで検出したユーザーの位置に応じて、前記表示画面からユーザーまでの距離を検出する複数の距離検出方式の切り替えを制御する演算ステップと、を有する情報処理方法。
（２１６）表示部、前記表示部に対するユーザーの位置を検出するユーザー位置検出部、前記表示部の表示画面に対するユーザーの状態を検出するユーザー状態検出部、前記ユーザー位置検出部が検出したユーザーの位置と、前記ユーザー状態検出部が検出したユーザーの状態に応じて、前記表示部に表示するＧＵＩを制御する演算部、としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
（２１７）表示部、ユーザーが前記表示部の画面上に表示されている被操作オブジェクトを操作する１以上の入力手段、前記表示部に対するユーザーの位置を検出するユーザー位置検出部、前記表示部の表示画面に対するユーザーの状態を検出するユーザー状態検出部、前記ユーザー位置検出部が検出したユーザーの位置と、前記ユーザー状態検出部が検出したユーザーの状態に応じて、前記入力手段を最適化する演算部、としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
（２１８）表示部、前記表示部に対するユーザーの位置を検出するユーザー位置検出部、前記表示部の画面からユーザーまでの距離を検出する複数の距離検出方式、前記ユーザー位置検出部が検出したユーザーの位置に応じて、距離検出方式の切り替えを制御する演算部、としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
（３０１）表示部と、前記表示部の画面に表示するオブジェクトの画像を取得するオブジェクト画像取得部と、前記表示部の画面に表示する前記オブジェクトのリアルサイズに関する情報を取得するリアルサイズ取得部と、前記リアルサイズ取得部が取得した前記オブジェクトのリアルサイズに基づいて、前記オブジェクトの画像を処理する演算部と、を具備する情報処理装置。
（３０２）前記表示部の画面サイズ及び解像度を含む表示性能に関する情報を取得する表示性能取得部をさらに備え、前記演算部は、前記リアルサイズ取得部が取得した前記オブジェクトのリアルサイズと、前記表示性能取得部が取得した表示性能に基づいて、前記表示部の画面上で、前記オブジェクトの画像がリアルサイズで表示されるよう処理する、上記（３０１）に記載の情報処理装置。
（３０３）前記オブジェクト画像取得部が取得した複数のオブジェクトの画像を前記表示部の画面に同時に表示する際に、前記演算部は、前記複数のオブジェクトの画像相互の大小関係が正しく表示されるように、前記複数のオブジェクトの画像を処理する、上記（３０１）に記載の情報処理装置。
（３０４）カメラ部と、前記カメラ部で撮影した画像に含まれるオブジェクトのリアルサイズを推定するリアルサイズ推定部をさらに備える、上記（３０１）に記載の情報処理装置。
（３０５）カメラ部と、前記カメラ部で撮影した画像に含まれるユーザーの顔を認識して顔データを取得する画像認識部と、前記ユーザーまでの距離を検出する距離検出部と、前記ユーザーの顔データと前記ユーザーまでの距離に基づいて、前記ユーザーの顔のリアルサイズを推定するリアルサイズ推定部と、をさらに備える上記（３０１）に記載の情報処理装置。
（３０６）画面に表示するオブジェクトの画像を取得するオブジェクト画像取得ステップと、前記画面に表示する前記オブジェクトのリアルサイズに関する情報を取得するリアルサイズ取得ステップと、前記リアルサイズ取得ステップで取得した前記オブジェクトのリアルサイズに基づいて、前記オブジェクトの画像を処理する演算ステップと、を有する情報処理方法。
（３０７）表示部、前記表示部の画面に表示するオブジェクトの画像を取得するオブジェクト画像取得部、前記表示部の画面に表示する前記オブジェクトのリアルサイズに関する情報を取得するリアルサイズ取得部、前記リアルサイズ取得部が取得した前記オブジェクトのリアルサイズに基づいて、前記オブジェクトの画像を処理する演算部、としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
（４０１）カメラ部と、表示部と、前記表示部の画面に表示する際に、前記カメラ部で撮影したユーザーの画像を正規化する演算部と、を具備する情報処理装置。
（４０２）前記表示部の画面に表示するオブジェクトの画像を取得するオブジェクト画像取得部と、前記ユーザーの画像と前記オブジェクトの画像を前記表示部の画面上に並列又は重畳する並列・重畳パターンを取得する並列・重畳パターン取得部と、をさらに備え、前記演算部は、前記ユーザーの画像と前記オブジェクトの大小関係と位置が正しくなるように正規化し、正規化した後の前記ユーザーの画像と前記オブジェクトを取得した並列・重畳パターンに従って並列又は重畳する、上記（４０１）に記載の情報処理装置。
（４０３）前記演算部は、前記カメラ部で撮影した前記ユーザーの画像を正規化するための前記カメラ部への制御を行なう、上記（４０２）に記載の情報処理装置。
（４０４）前記カメラ部で撮影したユーザーの顔データを取得するユーザー顔データ取得部と、前記表示部の画面に表示するオブジェクト内の顔データを取得するオブジェクト内顔データ取得部をさらに備え、前記演算部は、前記ユーザーの顔データと前記オブジェクト内の顔データの大小関係と位置が正しくなるように正規化する、上記（４０１）に記載の情報処理装置。
（４０５）前記演算部は、前記カメラ部で撮影した前記ユーザーの画像を正規化するための前記カメラ部への制御を行なう、上記（４０４）に記載の情報処理装置。
（４０６）画面に表示するオブジェクトの画像を取得するオブジェクト画像取得ステップと、カメラ部で撮影したユーザーの画像と前記オブジェクトの画像を前記表示部の画面上に並列又は重畳する並列・重畳パターンを取得する並列・重畳パターン取得ステップと、前記ユーザーの画像と前記オブジェクトの大小関係と位置が正しくなるように正規化する正規化ステップと、正規化した後の前記ユーザーの画像と前記オブジェクトを取得した並列・重畳パターンに従って並列又は重畳する画像加工ステップと、を有する情報処理方法。
（４０７）カメラ部で撮影したユーザーの顔データを取得するユーザー顔データ取得ステップと、画面に表示するオブジェクト内の顔データを取得するオブジェクト内顔データ取得ステップと、前記ユーザーの顔データと前記オブジェクト内の顔データの大小関係と位置が正しくなるように正規化する正規化ステップと、を有する情報処理方法。
（４０８）カメラ部、表示部、前記表示部の画面に表示する際に、前記カメラ部で撮影したユーザーの画像を正規化する演算部、としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
（５０１）映像コンテンツを画面に表示する表示部と、前記画面の回転角度を検出する回転角度検出部と、前記画面の任意の回転角度やその遷移過程において映像コンテンツの表示形態を決定する表示形態決定部と、映像コンテンツが、前記回転角度検出部で検出された回転角度だけ傾いた前記画面に適合するよう、前記表示形態決定部で決定した表示形態に従って画像加工する画像加工部と、
を具備する情報処理装置。
（５０２）前記表示形態決定部は、任意の回転角度において映像コンテンツが全く見切れないようにする表示形態、各回転角度において、映像コンテンツ中の注目コンテンツが最大となるようにする表示形態、無効領域がないように映像コンテンツを回転する表示形態の３つを含む複数の表示形態の中から決定する、上記（５０１）に記載の情報処理装置。
（５０３）前記表示形態決定部は、映像コンテンツが持つ属性情報に基づいて、前記画面の任意の回転角度やその遷移過程における表示形態を決定する、上記（５０１）に記載の情報処理装置。
（５０４）前記表示形態決定部は、保護された映像コンテンツについて、任意の回転角度において映像コンテンツが全く見切れないようにする表示形態を決定する、上記（５０１）に記載の情報処理装置。
（５０５）映像コンテンツを表示する画面の回転角度を検出する回転角度検出ステップと、前記画面の任意の回転角度やその遷移過程において映像コンテンツの表示形態を決定する表示形態決定ステップと、映像コンテンツが、前記回転角度検出ステップで検出された回転角度だけ傾いた前記画面に適合するよう、前記表示形態決定ステップで決定した表示形態に従って画像加工する画像加工ステップと、を有する情報処理方法。
（５０６）映像コンテンツを画面に表示する表示部、前記画面の回転角度を検出する回転角度検出部、前記画面の任意の回転角度やその遷移過程において映像コンテンツの表示形態を決定する表示形態決定部、映像コンテンツが、前記回転角度検出部で検出された回転角度だけ傾いた前記画面に適合するよう、前記表示形態決定部で決定した表示形態に従って画像加工する画像加工部、としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、本命採取で開示する技術を適用した情報処理装置１００として、大画面を有するＴＶ受像機を想定した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。パーソナル・コンピューターやタブレット端末など、ＴＶ受像機以外の情報処理装置や、画面サイズが大きくない情報処理装置に対しても、同様に本明細書で開示する技術を適用することができる。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

１００…情報処理装置
１１０…入力インターフェース部
１２０…演算部
１３０…出力インターフェース部
１４０…記憶部
１５０…通信部
１６０…電源部
１７０…テレビ・チューナー部
１８０…回転・取り付け機構部
５０１…リモコン受信部、５０２…信号解析部
５０３…カメラ部、５０４…画像認識部
５０５…マイク部、５０６…音声認識部
５０７…距離センサー、５０８…信号解析部
５０９…タッチ検出部、５１０…信号解析部
５１１…近接センサー、５１２…信号解析部
５１３…超近距離通信部、５１４…信号解析部
５１５…３軸センサー部、５１６…ＧＰＳ受信部、５１７…信号解析部
５２０…入力インターフェース統合部
６０１…コンテンツ表示部、６０２…ＧＵＩ表示部
６０３…表示部、６０４…スピーカー部
６０５…イルミネーション表示部、６０６…イルミネーション部
７１０…モニター領域分割部
７１１…機器データベース、７１２…領域パターン・データベース
７２０…オブジェクト最適処理部、７２１…最適処理アルゴリズム
７３０…機器連携データ送受信部、７３１…送受信処理アルゴリズム
２３１０…表示ＧＵＩ最適化部、２３２０…入力手段最適化部
２３３０…距離検出方式切替部
３２１０…リアルサイズ表示部、３２２０…リアルサイズ推定部
３２３０…リアルサイズ拡張部
４１１０…画像間正規化処理部、４１２０…顔正規化処理部
４１３０…リアルサイズ拡張部
４７１０…表示形態決定部、４７２０…回転位置入力部
４７３０…画像加工部

Claims (5)

1. 映像コンテンツを画面に表示する表示部と、
   前記画面の回転角度を検出する回転角度検出部と、
   前記画面が回転する過程において映像コンテンツを変化させる表示形態を、任意の回転角度において映像コンテンツが全く見切れないようにする表示形態、各回転角度において映像コンテンツ中の注目コンテンツが最大となるようにする表示形態、無効領域がないように映像コンテンツを回転する表示形態の３つを含む複数の表示形態の中から決定する表示形態決定部と、
   前記回転角度検出部で検出された回転角度において、前記表示形態決定部で決定した表示形態に従って映像コンテンツを画像加工する画像加工部と、
   を具備する情報処理装置。
2. 前記表示形態決定部は、映像コンテンツが持つ属性情報に基づいて、前記画面の任意の回転角度やその遷移過程における表示形態を決定する、
   請求項１に記載の情報処理装置。
3. 前記表示形態決定部は、著作権により保護された映像コンテンツについて、任意の回転角度において映像コンテンツが全く見切れないようにする表示形態を決定する、
   請求項１に記載の情報処理装置。
4. 映像コンテンツを表示する画面の回転角度を検出する回転角度検出ステップと、
   前記画面が回転する過程において映像コンテンツを変化させる表示形態を、任意の回転角度において映像コンテンツが全く見切れないようにする表示形態、各回転角度において映像コンテンツ中の注目コンテンツが最大となるようにする表示形態、無効領域がないように映像コンテンツを回転する表示形態の３つを含む複数の表示形態の中から決定する表示形態決定ステップと、
   映像コンテンツが、前記回転角度検出ステップで検出された回転角度だけ傾いた前記画面に適合するよう、前記表示形態決定ステップで決定した表示形態に従って映像コンテンツを画像加工する画像加工ステップと、
   を有する情報処理方法。
5. 映像コンテンツを画面に表示させる表示制御部、
   前記画面の回転角度を検出する回転角度検出部、
   前記画面が回転する過程において映像コンテンツを変化させる表示形態を、任意の回転角度において映像コンテンツが全く見切れないようにする表示形態、各回転角度において映像コンテンツ中の注目コンテンツが最大となるようにする表示形態、無効領域がないように映像コンテンツを回転する表示形態の３つを含む複数の表示形態の中から決定する表示形態決定部、
   映像コンテンツが、前記回転角度検出部で検出された回転角度だけ傾いた前記画面に適合するよう、前記表示形態決定部で決定した表示形態に従って映像コンテンツを画像加工する画像加工部、
   としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。