以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
A.システム構成
本実施形態に係る情報処理装置100は、大画面を有するが、主な使用形態として、図1に示すように壁に掛ける「Wall」、並びに、図2に示すように卓上に設置する「Tabletop」が想定される。
図1に示す「Wall」状態では、情報処理装置100は、例えば回転・取り付け機構部180によって壁面上で回転可能且つ着脱可能な状態で取り付けられている。また、回転・取り付け機構部180は情報処理装置100と外部との電気的接点を兼ねており、この回転・取り付け機構部180を介して情報処理装置100に電源ケーブルやネットワーク・ケーブル(いずれも図示しない)が接続されているものとし、情報処理装置100は、商用AC電源から駆動電力を受電できるとともに、インターネット上の各種サーバーにもアクセスすることができる。
後述するように、情報処理装置100は、距離センサー、近接センサー、並びにタッチ・センサーを備えており、画面に正対しているユーザーの位置(距離、方位)を把握することができる。ユーザーを検出したとき、又は、ユーザーを検出している状態では、波紋状の検出インジケーター(後述)や、検出状態を示すイルミネーション表現などを画面上で行なって、ユーザーに視覚的なフィードバックを与えることができる。
情報処理装置100は、ユーザーの位置に応じた最適なインタラクションを自動選択するようになっている。例えば、情報処理装置100は、ユーザーの位置に応じて、被操作オブジェクト枠組み、情報密度などのGUI(Graphical User Interface)表示を自動で選択し又は調整する。また、情報処理装置100は、画面へのタッチ、近接、手などを用いたジェスチャー、リモコン、ユーザー状態による間接操作など複数の入力手段の中から、ユーザーの位置若しくはユーザーまでの距離に応じて自動で選択することができる。
また、情報処理装置100は、1台以上のカメラも備えており、ユーザーの位置だけでなく、カメラの撮影画像から人物、物体、機器の認識も行なうことができる。また、情報処理装置100は、超近距離通信部も備えており、超近距離まで接近したユーザーが所持する機器との間で直接且つ自然なデータ送受信を行なうこともできる。
Wallの大画面上には、ユーザーが操作する対象となる被操作オブジェクトが定義されている。被操作オブジェクトは、動画、静止画、テキスト・コンテンツを始め、任意のインターネット・サイト、アプリケーションやウィジェットなどの機能モジュールの特定の表示領域を有する。被操作オブジェクトには、テレビ放送の受信コンテンツ、記録メディアからの再生コンテンツ、ネットワークを介して取得したストリーミング動画、ユーザーが所持するモバイル端末など他の機器から取り込んだ動画、静止画コンテンツなどが含まれる。
図1に示すように大画面が横置きとなるように、壁に掛けた情報処理装置100の回転位置を設定すると、画面全体の大きさを持つ被操作オブジェクトとして、ほぼムービーで描写する世界観そのままに映像を表示することができる。
ここで、大画面が縦向きとなるように、壁に掛けた情報処理装置100の回転位置を設定すると、図3Aに示すように、アスペクト比が16:9の画面を垂直方向に3つ配置することができる。例えば、異なる放送局から同時受信する放送コンテンツ、記録メディアからの再生コンテンツ、ネットワーク上のストリーミング動画など、3種類のコンテンツ#1〜#3を上下方向に並べて同時に表示することができる。さらに、ユーザーが例えば指先で画面上を上下方向に操作すると、図3Bに示すように、コンテンツが上下方向にスクロールする。また、ユーザーが3段のうちいずれかの場所で指先により左右方向に操作すると、図3Cに示すように、その段で画面が水平方向にスクロールする。
一方、図2に示す「Tabletop」状態では、情報処理装置100は卓上に直接設置される。図1に示した使用形態では回転・取り付け機構部180が電気的接点を兼ねているのに対し(前述)、図2に示すように卓上に設置された状態では、情報処理装置100への電気的接点が見当たらない。そこで、図示のTabletop状態では、情報処理装置100は、内蔵バッテリーにより無電源で動作可能に構成してもよい。また、情報処理装置100が例えば無線LAN(Local Area Network)の移動局機能に相当する無線通信部を備えるとともに、回転・取り付け機構部180が無線LANのアクセスポイント機能に相当する無線通信部を備えるようにすれば、情報処理装置100は、Tabletop状態においても、アクセスポイントとしての回転・取り付け機構部180との無線通信を通じてインターネット上の各種サーバーにアクセスすることができる。
Tabletopの大画面上には、画面上には、被操作対象となる複数の被操作オブジェクトが定義されている。被操作オブジェクトは、動画、静止画、テキスト・コンテンツを始め、任意のインターネット・サイト、アプリケーションやウィジェットなどの機能モジュールの特定の表示領域を有する。
情報処理装置100は、大画面の4つの側縁部の各々に、ユーザーの存在又は状態を検出する近接センサーを備えている。上述と同様に、大画面に接近したユーザーをカメラで撮影して人物認識してもよい。また、超近距離通信部は、存在を検出したユーザーがモバイル端末などの機器を所持しているか否かを検出したり、ユーザーが所持する他端末からのデータ送受信要求を検出したりする。ユーザー又はユーザーの所持端末を検出したとき、又は、ユーザーを検出している状態では、波紋状の検出インジケーターや検出状態を示すイルミネーション表現(後述)などを画面上で行なって、ユーザーに視覚的なフィードバックを与えることができる。
情報処理装置100は、近接センサーなどでユーザーの存在を検出すると、その検出結果をUI制御に利用する。ユーザーの存在の有無だけでなく、胴体や両手足、頭の位置などを検出するようにすれば、より詳細なUI制御に利用することもできる。また、情報処理装置100は、超近距離通信部も備えており、超近距離まで接近したユーザーが所持する機器との間で直接且つ自然なデータ送受信を行なうこともできる(同上)。
ここで、UI制御の一例として、情報処理装置100は、検出されたユーザーの配置に応じて大画面内に、ユーザー毎のユーザー占有領域と各ユーザー間で共有する共通領域を設定する。そして、ユーザー占有領域並びに共通領域での各ユーザーのタッチ・センサー入力を検出する。画面の形状及び領域分割するパターンは、長方形に限定されず、正方形、丸型、円錐などの立体を含む形状に適応することができる。
情報処理装置100の画面を大型化すれば、Tabletop状態では、複数のユーザーが同時にタッチ入力するだけのスペースの余裕が生じる。上述したように、画面内にユーザー毎のユーザー占有領域と共通領域を設定することで、複数のユーザーにより快適且つ効率的な同時操作を実現することができる。
ユーザー占有領域に置かれている被操作オブジェクトは、該当するユーザーにその操作権が与えられている。ユーザーが、共通領域又は他のユーザーのユーザー占有領域から自分のユーザー占有領域に被操作オブジェクトを移動させることで、その操作権も自分に移動する。また、被操作オブジェクトが自分のユーザー占有領域内に入ると、被操作オブジェクトが自分に正対する方向となるように自動で表示が変わる。
ユーザー占有領域間を被操作オブジェクトが移動する場合において、移動操作がなされるタッチ位置に応じて、被操作オブジェクトは物理的に自然な動作で移動する。また、ユーザー同士で1つの被操作オブジェクトを引っ張り合うことで、被操作オブジェクトを分割又は複製するという操作が可能である。
図4には、情報処理装置100の機能的構成を模式的に示している。情報処理装置100は、外部からの情報信号を入力する入力インターフェース部110と、入力された情報信号に基づいて表示画面の制御などのための演算処理を行なう演算部120と、演算結果に基づいて外部への情報出力を行なう出力インターフェース部130と、ハード・ディスク・ドライブ(HDD)などからなる大容量の記憶部140と、外部ネットワークと接続する通信部150と、駆動電力を扱う電源部160と、テレビ・チューナー部170を備えている。記憶部140には、演算部120で実行する各種処理アルゴリズムや、演算部120で演算処理に使用する各種データベースが格納されている。
入力インターフェース部110の主な機能は、ユーザーの存在の検出、検出したユーザーによる画面すなわちタッチパネルへのタッチ操作の検出、ユーザーが所持するモバイル端末などの機器の検出並びに機器からの送信データの受信処理である。図5には、入力インターフェース部110の内部構成を示している。
リモコン受信部501は、リモコンやモバイル端末からのリモコン信号を受信する。信号解析部502は、受信したリモコン信号を復調、復号処理して、リモコン・コマンドを得る。
カメラ部503は、単眼式、又は、2眼式若しくはアクティブ型のうち一方又は両方を採用する。カメラは、CMOS(Complememtary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などの撮像素子からなる。また、カメラ部503は、パンやチルト、ズームなどのカメラ制御部を備えている。カメラ部503は、パンやチルト、ズームなどのカメラ情報を演算部120に通知するとともに、演算部120からのカメラ制御情報に従ってカメラ部503のパン、チルト、ズームを制御できるものとする。
画像認識部504は、カメラ部503による撮影画像を認識処理する。具体的には、背景差分によりユーザーの顔や手の動きを検出してジェスチャー認識したり、撮影画像に含まれるユーザーの顔を認識したり、人体を認識したり、ユーザーまでの距離を認識したりする。
マイク部505は、音やユーザーが発する会話を音声入力する。音声認識部506は、入力された音声信号を音声認識する。
距離センサー507は、例えばPSD(Position Sensitive Detector)などからなり、ユーザーやその他の物体から返ってくる信号を検出する。信号解析部508は、その検出信号を解析して、ユーザーや物体までの距離を測定する。PDSセンサー以外に、焦電センサーや簡易カメラなどを距離センサー507に用いることができる。距離センサー507は、情報処理装置100から例えば5〜10メートルの半径内にユーザーが存在するかどうかを常時監視している。このため、距離センサー507には、消費電力の小さなセンサー素子を用いることが好ましい。
タッチ検出部509は、画面に重畳されたタッチ・センサーなどからなり、画面にユーザーの指先が触れた場所から検出信号を出力する。信号解析部510は、その検出信号を解析して、位置情報を得る。
近接センサー511は、大画面の4つの側縁部の各々に設置され、例えば静電容量式によりユーザーの身体が画面に近接したことを検出する。信号解析部512は、その検出信号を解析する。
超近距離通信部513は、例えばNFC(Near Field Communication)により、ユーザーが所持する機器などからの非接触通信信号を受信する。信号解析部514は、その受信信号を復調、復号処理して、受信データを得る。
3軸センサー部515は、ジャイロなどで構成され、情報処理装置100のxyz各軸回りの姿勢を検出する。GPS(Global Positioning System)受信部516は、GPS衛星からの信号を受信する。信号解析部517は、3軸センサー部515並びにGPS受信部516からの信号を解析して、情報処理装置100の位置情報や姿勢情報を得る。
入力インターフェース統合部520は、上記の情報信号の入力を統合して演算部120に渡す。また、入力インターフェース統合部520は、各信号解析部508、510、512、514の解析結果を統合して、情報処理装置100の周囲にいるユーザーの位置情報を取得して演算部120に渡す。
演算部120の主な機能は、入力インターフェース部110によるユーザー検出結果、画面のタッチ検出結果、及びユーザーが所持する機器からの受信データに基づくUI画面の生成処理などの演算処理と、演算結果の出力インターフェース部130への出力である。演算部120は、例えば記憶部140にインストールされているアプリケーション・プログラムをロードし、実行することで、アプリケーション毎の演算処理を実現することができる。各アプリケーションに対応した演算部120の機能的構成については、後述に譲る。
出力インターフェース部130の主な機能は、演算部120の演算結果に基づく画面上へのUI表示と、ユーザーが所持する機器へのデータ送信である。図6には、出力インターフェース部130の内部構成を示している。
出力インターフェース統合部610は、演算部120によるモニター分割処理、オブジェクト最適処理、機器連携データ送受信処理などの演算結果に基づく情報出力を統合して扱う。
出力インターフェース統合部610は、コンテンツ表示部601に対して、受信したTV放送コンテンツや、ブルーレイ・ディスクなどの記録メディアから再生したコンテンツなど、動画又は静止画コンテンツの表示部603、スピーカー部604への画像及び音声出力を指示する。
また、出力インターフェース統合部610は、GUI表示部602に対して、被操作オブジェクトなどのGUIの表示部603への表示を、GUI表示部602に指示する。
また、出力インターフェース統合部610は、イルミネーション部606からの検出状態を表すイルミネーションの表示出力を、イルミネーション表示部605に指示する。
また、出力インターフェース統合部610は、超近距離通信部513に対して、ユーザーが所持する機器などへの、非接触通信によるデータ送信を指示する。
情報処理装置100は、カメラ部503の撮影画像の認識や、距離センサー507、タッチ検出部509、近接センサー511、超近距離通信部513などの検出信号に基づいて、ユーザーを検出することができる。また、カメラ部503の撮影画像の顔認識や、超近距離通信部513でユーザーが所持する機器を認識することで、検出したユーザーの人物を特定することができる。特定されたユーザーは情報処理装置100にログインすることができる。勿論、ログインできるアカウントを特定のユーザーに限定することもできる。また、情報処理装置100は、ユーザーの位置やユーザーの状態に応じて、距離センサー507、タッチ検出部509、近接センサー511を使い分けて、ユーザーからの操作を受け取ることができる。
また、情報処理装置100は、通信部150を通じて外部ネットワークに接続している。外部ネットワークとの接続形態は、有線、無線を問わない。情報処理装置100は、通信部150を通じて、ユーザーが所持するスマートフォンなどのモバイル端末や、タブレット端末などの他の機器と通信することができる。情報処理装置100、モバイル端末、タブレット端末の3種類の装置により、いわゆる「3スクリーン」を構成することができる。情報処理装置100は、他の2スクリーンよりも大画面上で、3スクリーンを連携させるUIを提供することができる。
例えば、ユーザーが画面上でタッチ操作する、あるいは所持端末を情報処理装置100に接近させるなどのアクションを行なっているバックグランドで、情報処理装置100と対応する所持端末との間で、被操作オブジェクトの実体である動画、静止画、テキスト・コンテンツなどのデータ送受信が行なわれる。さらに外部ネットワーク上にはクラウド・サーバーなどが設置されており、3スクリーンは、クラウド・サーバーの演算能力を利用するなど、情報処理装置100を通じてクラウド・コンピューティングの恩恵を受けることができる。
以下では、情報処理装置100の幾つかのアプリケーションについて順に説明する。
B.大画面における複数ユーザーによる同時操作
情報処理装置100は、大画面における複数ユーザーによる同時操作が可能である。具体的には、大画面の4つの側縁部の各々に、ユーザーの存在又は状態を検出する近接センサー511を備えており、ユーザーの配置に応じて画面内にユーザー占有領域と共通領域を設定することで、複数のユーザーによる快適且つ効率的な同時操作を可能にする。
情報処理装置100の画面を大型化すれば、Tabletop状態では、複数のユーザーが同時にタッチ入力するだけのスペースの余裕が生じる。上述したように、画面内にユーザー毎のユーザー占有領域と共通領域を設定することで、複数のユーザーにより快適且つ効率的な同時操作を実現することができる。
ユーザー占有領域に置かれている被操作オブジェクトは、該当するユーザーにその操作権が与えられている。ユーザーが、共通領域又は他のユーザーのユーザー占有領域から自分のユーザー占有領域に被操作オブジェクトを移動させることで、その操作権も自分に移動する。また、被操作オブジェクトが自分のユーザー占有領域内に入ると、被操作オブジェクトが自分に正対する方向となるように自動で表示が変わる。
ユーザー占有領域間を被操作オブジェクトが移動する場合において、移動操作がなされるタッチ位置に応じて、被操作オブジェクトは物理的に自然な動作で移動する。また、ユーザー同士で1つの被操作オブジェクトを引っ張り合うことで、被操作オブジェクトを分割又は複製するという操作が可能である。
このアプリケーションを実現する際の演算部120の主な機能は、入力インターフェース部110によるユーザー検出結果、画面のタッチ検出結果、及びユーザーが所持する機器からの受信データに基づく被操作オブジェクトの最適化並びにUI生成である。図7には、演算部120が被操作オブジェクトの処理を行なうための内部構成を示している。演算部120は、モニター領域分割部710と、オブジェクト最適処理部720と、機器連携データ送受信処理部630を備えている。
モニター領域分割部710は、入力インターフェース統合部520からユーザーの位置情報を取得すると、記憶部140内に格納されている、形状やセンサー配置などに関する機器データベース711と、領域パターン・データベース711を参照して、画面上に上述したユーザー占有領域並びに共通領域を設定する。そして、モニター領域設定部710は、設定した領域情報をオブジェクト最適処理部720と、機器連携データ送受信部730に渡す。モニター領域分割の処理手順の詳細については後述に譲る。
オブジェクト最適処理部720は、入力インターフェース統合部520から、ユーザーが画面上の被操作オブジェクトに対して行なった操作の情報を入力する。そして、オブジェクト最適処理部720は、記憶部140からロードした最適処理アルゴリズム721に従って、ユーザーが操作を行なった被操作オブジェクトを回転、移動、表示、分割、又はコピーするなど、ユーザー操作に対応した被操作オブジェクトの最適処理を行なって、最適処理された被操作オブジェクトを表示部603の画面に出力する。被操作オブジェクトの最適処理の詳細については、後述に譲る。
機器連携データ送受信部730は、入力インターフェース統合部520から、ユーザーやユーザーが所持する機器の位置情報、機器との送受信データを入力する。そして、機器連携データ送受信部730は、記憶部140からロードした送受信処理アルゴリズム731に従って、ユーザーが所持する機器との連携によるデータ送受信処理を行なう。また、に対応した被操作オブジェクトの最適処理を行なう。被操作オブジェクトの最適処理の詳細については、後述に譲る。送受信データに関連する被操作オブジェクトを回転、移動、表示、又はコピーするなど、ユーザーが所持する機器と連携したデータ送受信に伴う被操作オブジェクトの最適処理を行なって、最適処理された被操作オブジェクトを表示部603の画面に出力する。機器連携に伴う被操作オブジェクトの最適処理の詳細については、後述に譲る。
続いて、モニター領域分割処理の詳細について説明する。モニター領域分割は、主に情報処理装置100がTabletop状態で複数のユーザーで共有する利用形態での処理を想定しているが、勿論、Wall状態で複数のユーザーで共有する利用形態であってもよい。
モニター領域分割部710は、入力インターフェース統合部520を通じてユーザーの存在を検出すると、画面内にそのユーザーのユーザー占有領域を割り当てる。図8には、画面側縁部に設置された近接センサー511(若しくは距離センサー507)の検出信号によりユーザーAの存在を検出したことに応じて、モニター領域分割部710がユーザーAのユーザー占有領域Aを画面内に設定した様子を示している。存在を検出したユーザーが一人だけの場合は、図示のように画面全体をそのユーザーのユーザー占有領域に設定してもよい。
ここで、ユーザー占有領域Aが設定されると、オブジェクト最適処理部720は、入力インターフェース統合部520を通じて得たユーザーAの位置情報を基に、ユーザー占有領域A内の各被操作オブジェクトの向きを、そのユーザーと正対するように切り替える。図9Aには、ユーザー占有領域Aが設定される前に、各被操作オブジェクト#1〜#6がランダムに向いている様子を示している。そして、図9Bには、ユーザーAのユーザー占有領域Aが設定されたことにより、この領域内のすべての被操作オブジェクト#1〜#6がユーザーAと正対する向きに切り替わった様子を示している。
存在を検出したのがユーザーA一人だけの場合は、画面全体をユーザーAのユーザー占有領域Aに設定してもよい。これに対し、2人以上のユーザーの存在が検出されたときには、ユーザー同士が協調作業(Collaborative action)を行なうために、ユーザー間で共有できる共通領域を設定することが好ましい。
図10には、ユーザーAに加え、近接センサー511若しくは距離センサー507の検出信号により隣接する画面側縁でユーザーBの存在を検出したことにより、モニター領域分割部710がユーザーBのユーザー占有領域Bと共通領域を画面内に追加して設定した様子を示している。各ユーザーA、Bの位置情報に基づいて、ユーザーAのユーザー占有領域AはユーザーAの居る場所に向かって縮退するとともに、ユーザーBの居る場所近くにユーザーBのユーザー占有領域Bが出現する。また、新しくユーザーBの存在を検出したことにより、ユーザー占有領域B内で波紋状の検出インジケーターも表示される。そして、画面内のユーザー占有領域A、B以外の領域は共通領域となる。ユーザーBが情報処理装置100に接近したことに伴ってユーザー占有領域Bが新たに設定された後、最初にユーザー占有領域B内の任意の被操作オブジェクトがタッチされた時点でユーザー占有領域Bを有効にするようにしてもよい。なお、図10では省略したが、新しくユーザー占有領域Bとなった領域内の各被操作オブジェクトは、ユーザー占有領域Bが設定された時点、又は、ユーザー占有領域Bが有効になった時点で、ユーザーBに正対するように向きが切り替わる。
図11には、ユーザーA、Bに加え、さらに他の画面側縁でユーザーDの存在を検出したことにより、モニター領域分割部710がユーザーDの居る場所近くにユーザーDのユーザー占有領域Dを画面内に追加して設定した様子を示している。ユーザー占有領域D内では、波紋状の検出インジケーターを表示して、新しくユーザーDの存在を検出したことを表現する。また、図12には、ユーザーA、B、Dに加え、さらに他の画面側縁でユーザーCの存在を検出したことにより、モニター領域分割部710がユーザーCの居る場所近くにユーザーCのユーザー占有領域Cを画面内に追加して設定した様子を示している。ユーザー占有領域C内では、波紋状の検出インジケーターを表示して、新しくユーザーCの存在を検出したことを表現するようにしている。
なお、図8〜図12に示したユーザー占有領域並びに共通領域の領域分割パターンは一例に過ぎない。領域分割パターンは、画面の形状や存在を検出したユーザー数とその配置などにも依存する。領域分割パターン・データベース611には、画面の形状やサイズとユーザー数に応じた領域分割パターンに関する情報を蓄積している。また、機器データベース612には、当該情報処理装置100が使用する画面の形状やサイズの情報を蓄積している。そして、モニター領域分割部710は、入力インターフェース統合部520を通じて検出したユーザーの位置情報が入力されると、機器データベース612から画面の形状やサイズを読み出し、領域分割パターン・データベース611に該当する領域分割パターンを照会する。図13A〜図13Eには、画面の形状やサイズとユーザー数に応じて画面にユーザー毎のユーザー占有領域を分割する領域分割パターンを例示している。
図14には、モニター領域分割部710が実行するモニター領域分割の処理手順をフローチャートの形式で示している。
モニター領域分割部710は、まず、近接センサー511又は距離センサー507の検出信号の信号解析結果に基づいて、画面付近にユーザーが存在するかどうかをチェックする(ステップS1401)。
ユーザーが存在することを検出したときには(ステップS1401のYes)、モニター領域分割部710は、続いて、存在するユーザーの人数を取得し(ステップS1402)、さらに各ユーザーがいる位置を取得する(ステップS1403)。ステップS1401〜S1403の処理は、入力インターフェース統合部520から渡されるユーザーの位置情報に基づいて実現される。
続いて、モニター領域分割部710は、機器データベース511に照会して、情報処理装置100で使用する表示部603の画面形状や近接センサー511の配置などの機器情報を取得し、これとユーザー位置情報を併せて、該当する領域分割パターンを領域分割パターン・データベース712に照会する(ステップS1404)。
そして、モニター領域分割部710は、得られた領域分割パターンに従って、画面上に各ユーザーのユーザー占有領域と共通領域を設定して(ステップS1405)、本処理ルーチンを終了する。
続いて、オブジェクト最適処理部720によるオブジェクト最適処理の詳細について説明する。
オブジェクト最適処理部720は、入力インターフェース統合部520を通じて、ユーザーが画面上の被操作オブジェクトに対して行なった操作の情報を入力すると、ユーザー操作に応じて、画面上の被操作オブジェクトを回転、移動、表示、分割、又はコピーするなどの表示処理を行なう。ユーザーによるドラッグやスローなどの操作に応じて被操作オブジェクトを回転、移動、表示、分割、又はコピーする処理は、コンピューターのデスクトップ画面上におけるGUI操作に類似する。
本実施形態では、画面上にユーザー占有領域並びに共通領域が設定されており、オブジェクト最適処理部720は、被操作オブジェクトが存在する領域に応じて、その表示を最適処理する。最適処理の代表例は、ユーザー占有領域内の各被操作オブジェクトの向きを、そのユーザーと正対するように切り替える処理である。
図15には、共通領域にある被操作オブジェクト#1をユーザーAのユーザー占有領域Aに向かってドラッグ又はスロー移動し、オブジェクトの一部又は中心座標がユーザー占有領域Aに入った時点で、オブジェクト最適処理部720がオブジェクトをユーザーAに正対する方向に自動で回転処理する様子を示している。また、図15には、ユーザーBのユーザー占有領域Bにある被操作オブジェクト#2をユーザーAのユーザー占有領域Aに向かってドラッグ又はスロー移動し、オブジェクトの一部又は中心座標がユーザー占有領域Aに入った時点でオブジェクトをユーザーAに正対する方向に自動で回転処理する様子も併せて示している。
図10に示したように、ユーザーBが情報処理装置100に接近すると、画面上のユーザーBの近くにユーザー占有領域Bが新たに設定される。このユーザー占有領域B内に元々ユーザーAに正対していた被操作オブジェクト#3が存在する場合には、図16に示すように、新たにユーザー占有領域Bが出現すると、オブジェクト最適処理部720は、即座に、被操作オブジェクト#3がユーザーBに正対する方向に自動で回転処理する。
あるいは、即座に被操作オブジェクトを回転処理するのではなく、ユーザーBが情報処理装置100に接近したことに伴ってユーザー占有領域Bが新たに設定された後、最初にユーザー占有領域B内の任意の被操作オブジェクトがタッチされた時点でユーザー占有領域Bを有効にするようにしてもよい。この場合、ユーザー占有領域Bが有効になった時点で、ユーザー占有領域B内のすべての被操作オブジェクトをユーザーBに正対する方向となるよう同時に回転処理するようにしてもよい。
オブジェクト最適処理部720は、入力インターフェース統合部520を通じて取得するユーザーの操作情報と、モニター領域分割部710から渡される領域情報に基づいて、被操作オブジェクトの最適処理を行なうことができる。図17には、オブジェクト最適処理部720が実行する被操作オブジェクトの最適処理の手順をフローチャートの形式で示している。
オブジェクト最適処理部720は、ユーザーが操作いた被操作オブジェクトの位置情報を入力インターフェース統合部520から渡されるとともに、モニター領域分割部710から分割したモニター領域情報を取得すると、ユーザーが操作した被操作オブジェクトがどの領域にあるのかを確認する(ステップS1701)。
ここで、ユーザーが操作した被操作オブジェクトがユーザー占有領域に存在するときには、オブジェクト最適処理部720は、その被操作オブジェクトが当該ユーザー占有領域内でユーザーと正対する方向を向いているかどうかをチェックする(ステップS1702)。
そして、被操作オブジェクトがユーザーと正対する方向を向いていないときには(ステップS1702のNo)、オブジェクト最適処理部720は、当該ユーザー占有領域内でユーザーと正対する方向となるよう、被操作オブジェクトを回転処理する(ステップS1703)。
ユーザーが共通領域や他ユーザーのユーザー占有領域から自分のユーザー占有領域に被操作オブジェクトをドラッグ又はスロー移動する際に、ユーザーがこの被操作オブジェクトをタッチ操作した位置に応じて回転方向を制御するようにしてもよい。図18には、ユーザーが被操作オブジェクトの重心位置より右側をタッチしてドラッグ又はスロー移動したことにより、被操作オブジェクトはユーザー占有領域に入った時点で、重心位置を中心に時計回りに回転してユーザーに正対する向きになる様子を示している。また、図19には、ユーザーが被操作オブジェクトの重心位置より左側をタッチしてドラッグ又はスロー移動したことにより、被操作オブジェクトが重心位置を中心に反時計回りに回転してユーザーに正対する向きになる様子を示している。
図18並びに図19に示すように、重心位置を基準にして被操作オブジェクトの回転方向を切り替えることで、ユーザーに対して自然な操作感を提供することができる。
続いて、機器連携データ送受信部730による機器連携データ送受信処理について説明する。
図4に示したように、情報処理装置100は、通信部150を通じて、ユーザーが所持するモバイル端末などの他の機器と通信することができる。例えば、ユーザーが画面上でタッチ操作する、あるいは所持端末を情報処理装置100に接近させるなどのアクションを行なっているバックグランドで、情報処理装置100と対応する所持端末との間で、被操作オブジェクトの実体である動画、静止画、テキスト・コンテンツなどのデータ送受信が行なわれる。
図20には、情報処理装置100とユーザーの所持端末との間で被操作オブジェクトの授受を行なうインタラクションの一例を図解している。図示の例では、ユーザーAが自分に割り当てられたユーザー占有領域Aの周辺に自分が所持する端末を接近させたことに応じて、被操作オブジェクトが端末付近から出現して、ユーザー占有領域A内へ流れ込んでいくUI表現がなされている。
情報処理装置100は、超近距離通信部513による検出信号の信号解析結果や、カメラ部503によるユーザーの撮影画像の認識結果に基づいて、ユーザーの所持端末がユーザー占有領域A付近に接近したことを検出することができる。また、機器連携データ送受信部730は、これまでのユーザーAと情報処理装置100(あるいは、情報処理装置100を介したユーザーAと他のユーザーとのやりとり)のコンテキストを通じて、ユーザーが情報処理装置100へ送信するデータがあるか、送信データが何であるかを特定するようにしてもよい。そして、機器連携データ送受信部730は、送信データがある場合には、ユーザーの所持端末がユーザー占有領域A付近に接近させるアクションのバックグランドで、情報処理装置100と対応する所持端末との間で、被操作オブジェクトの実体である動画、静止画、テキスト・コンテンツなどのデータ送受信を実行する。
バックグランドでは機器連携データ送受信部730がユーザーの所持端末とデータ送受信を行ないながら、表示部603の画面上では、オブジェクト最適処理部720によるオブジェクト最適処理によって、ユーザーの所持端末から被操作オブジェクトが出現するようなUI表現を行なう。図20には、端末から該当するユーザー占有領域へ、被操作オブジェクトが流れ込むようなUI表現を例示している。
図21には、機器連携データ送受信部730が実行する機器連携データ送受信の処理手順をフローチャートの形式で示している。機器連携データ送受信部730による処理は、超近距離通信部513による検出信号の信号解析結果などに基づいて、ユーザーの所持端末がユーザー占有領域A付近に接近したことにより、起動する。
機器連携データ送受信部730は、超近距離通信部513による検出信号の信号解析結果などに基づいて、通信をするユーザーの所持端末が存在するかどうかをチェックする(ステップS2101)。
通信をするユーザーの所持端末が存在するときには(ステップS2101のYes)、機器連携データ送受信部730は、その端末が存在する位置を、超近距離通信部513による検出信号の信号解析結果などに基づいて取得する(ステップS2102)。
そして、機器連携データ送受信部730は、そのユーザー所持端末と送受信するデータがあるかどうかをチェックする(ステップS2103)。
ユーザー所持端末と送受信するデータがあるときには(ステップS2103のYes)、機器連携データ送受信部730は、送受信処理アルゴリズム731に従って、端末の位置に応じて被操作オブジェクトのUI表示(図20を参照のこと)を行なう。また、機器連携データ送受信部730は、UI表示のバックグランドで、端末との間で被操作オブジェクトの実体であるデータの送受信を行なう(ステップS2104)。
図20並びに図21に示したように、情報処理装置100がユーザーの所持端末から取得した被操作オブジェクトは、該当するユーザーのユーザー占有領域に配置される。さらに、ユーザー間でデータのやりとりを行なうときには、互いのユーザー占有領域間で被操作オブジェクトを移動させる操作を行なえばよい。図22には、ユーザー占有領域B内でユーザーBが保持している被操作オブジェクトを、ユーザーAが自身のユーザー占有領域Aに複製する様子を示している。あるいは、被操作オブジェクトを複製するのではなく、分割するのでもよい。
画面上で複製された被操作オブジェクトは、動画や静止画などのコンテンツであれば、単純に独立した別データを作成することになる。また、複製された被操作オブジェクトがアプリケーションのウィンドウの場合には、被操作オブジェクトを元々保持するユーザーと複製先のユーザー間で共同操作が可能なアプリケーションの別のウィンドウを作成することになる。
C.ユーザーの位置に応じた入力手段及び表示GUIの最適選択
情報処理装置100は、距離センサー507や近接センサー511を備えており、例えば図1、図3に示したような壁掛け使用時において、情報処理装置100本体すなわち画面からユーザーまでの距離を検出することができる。
また、情報処理装置100は、タッチ検出部509、近接センサー511、カメラ部503、リモコン受信部501を備えており、画面へのタッチ、近接、手などを用いたジェスチャー、リモコン、ユーザー状態による間接操作など複数の入力手段をユーザーに提供することができる。各入力手段は、情報処理装置100本体すなわち画面からユーザーまでの距離に応じて操作の適否がある。例えば、情報処理装置100本体から50cm以内の範囲にいるユーザーであれば、画面上を直接触れることで、被操作オブジェクトを確実に操作することができる。また、情報処理装置100本体から2m以内の範囲にいるユーザーであれば、画面を直接触れるには遠いが、カメラ部503の撮影画像を認識処理して顔や手の動きを正確に捕捉することができるので、ジェスチャー入力が可能である。また、情報処理装置100本体から2m以上離れているユーザーは、画像認識の精度は低下しても、リモコン信号は確実に到達するので、リモコン操作は可能である。さらに、画面に表示する被操作オブジェクトの枠組みや情報密度などの最適なGUI表示も、ユーザーまでの距離に応じて変化する。
本実施形態では、情報処理装置100は、複数の入力手段の中から、ユーザーの位置若しくはユーザーまでの距離に応じて自動で選択するとともに、ユーザーの位置に応じてGUI表示を自動で選択し又は調整するようにしているので、ユーザーの利便性が向上する。
図23には、演算部120がユーザーの距離に応じて最適化処理を行なうための内部構成を示している。演算部120は、表示GUI最適化部2310と、入力手段最適化部2320と、距離検出方式切替部2330を備えている。
表示GUI最適化部2310は、ユーザーの位置とユーザーの状態に応じて、表示部603の画面に表示する被操作オブジェクトの枠組みや情報密度などの最適なGUI表示を最適化処理する。
ここで、ユーザーの位置は、距離検出方式切替部2330によって切り替えられた距離検出方式によって得られる。ユーザーの位置が近付くと、カメラ部503の撮影画像の顔認識や、ユーザーの所持端末との近接通信などを通じて個人認証が可能になってくる。また、ユーザーの状態は、カメラ部503の撮影画像の画像認識や、距離センサー507の信号解析に基づいて特定される。ユーザーの状態は、大きくは、「ユーザーがいる(存在)」、「ユーザーがいない(不在)」の2状態に大別される。「ユーザーがいる」状態は、「ユーザーがTV(表示部603の画面)を見ている(視聴中)」、「ユーザーがTVを見ていない(非視聴)」の2状態に分類される。さらに、「ユーザーがTVを見ている」状態は、「ユーザーがTVを操作している(操作中)」、「ユーザーがTVを操作していない(操作なし)」の2状態に細分化される。
表示GUI最適化部2310は、ユーザー状態の判別に際し、記憶部140内の機器入力手段データベースを参照する。また、判別したユーザーの位置及びユーザー状態に応じて、表示GUIを最適化するに際し、記憶部140内のGUI表示(枠組み・密度)データベース、及び、コンテンツ・データベースを参照する。
図24Aには、表示GUI最適化部2310によるユーザーの位置とユーザーの状態に応じた表示GUIの最適化処理を表にまとめている。また、図24B〜図24Eには、ユーザーの位置とユーザーの状態に応じた情報処理装置100の画面遷移を示している。
「ユーザーがいない」状態では、表示GUI最適化部2310は、表示部603の画面表示を停止して、ユーザーの存在が検出されるまで待機する(図24Bを参照のこと)。
「ユーザーがいる」が「ユーザーがTVを見ていない」状態では、表示GUI最適化部2310は、最適な表示GUIとして、「オート・ザッピング」を選択する(図24Cを参照のこと)。オート・ザッピングは、さまざまな被操作オブジェクトをランダムに表示して、ユーザーの興味を引いてTVを視聴したくなるようにする。ザッピングに用いる被操作オブジェクトは、テレビ・チューナー部170で受信したTV放送の番組コンテンツの他、通信部150からインターネット経由で取得したネットワーク・コンテンツ、他ユーザーからのメールやメッセージなど、表示GUI最適化部2310がコンテンツ・データベースに基づいて選択した複数の被操作オブジェクトを含んでいる。
図25Aには、オート・ザッピングしている表示GUIの例を示している。また、表示GUI最適化部2310は、画面に表示される各被操作オブジェクトの位置や大きさ(すなわち、露出の度合い)を、図25Bに示すように時々刻々と変化させて、ユーザーの潜在意識に働きかけるようにしてもよい。また、ユーザーの位置が近付いて個人認証が可能になった場合には、表示GUI最適化部2310は、認識した個人の情報を利用して、オート・ザッピングする被操作オブジェクトを取捨選択するようにしてよい。
「ユーザーがTVを見ている」が「ユーザーがTVを操作していない」状態でも、表示GUI最適化部2310は、最適な表示GUIとして、「オート・ザッピング」を選択する(図24Dを参照のこと)。但し、上記とは相違し、コンテンツ・データベースに基づいて選択した複数の被操作オブジェクトを、図26に示すように段組みにするなど規則的に配置して、個々の被操作オブジェクトの表示内容を確認し易くする。また、ユーザーの位置が近付いて個人認証が可能になった場合には、表示GUI最適化部2310は、認識した個人の情報を利用して、オート・ザッピングする被操作オブジェクトを取捨選択するようにしてよい。また、ユーザーが遠くにいるときにはGUIの情報密度を抑制し、ユーザーが近づいてくるとGUIの情報密度を高くしていくといった具合に、表示GUI最適化部2310は、ユーザーの位置に応じて、表示GUIの情報密度を制御するようにしてもよい。
一方、「ユーザーがTVを見ている」とともに「ユーザーがTVを操作している」状態では、ユーザーが入力手段最適化部2320により最適化された入力手段を用いて情報処理装置100を操作している(図24Eを参照のこと)。入力手段は、例えば、リモコン受信部501へのリモコン信号の送信、カメラ部503へのジェスチャー、タッチ検出部509で検出するタッチパネルへの接触、マイク505に対する音声入力、近接センサー511に対する近接入力などである。表示GUI最適化部2310は、最適な表示GUIとして、ユーザーの入力操作に応じて、被操作オブジェクトを段組み表示し、ユーザー操作に応じて、スクロールや被操作オブジェクトの選択操作が可能である。入力手段を介して指示された画面上の位置には、図27Aに示すようにカーソルが表示される。カーソルが置かれていない被操作オブジェクトは、ユーザーが注目していないと考えられることから、図中斜線で示すように輝度レベルを下げて、注目している被操作オブジェクトとのコントラストを表現するようにしてもよい(同図では、ユーザーが指先でタッチしている被操作オブジェクト#3上にカーソルが置かれている)。また、図27Bに示すようにカーソルが置かれた被操作オブジェクトをユーザーが選択すると、その被操作オブジェクトを全画面表示(若しくは、可能な最大サイズに拡大表示)するようにしてもよい(同図では、選択された被操作オブジェクト♯3が拡大表示されている)。
入力手段最適化部2320は、ユーザーの位置とユーザーの状態に応じて、ユーザーが情報処理装置100に対して操作を行なう入力手段の最適化を行なう。
上述したように、ユーザーの位置は、距離検出方式切替部2330によって切り替えられた距離検出方式によって得られる。ユーザーの位置が近付くと、カメラ部503の撮影画像の顔認識や、ユーザーの所持端末との近接通信などを通じて個人認証が可能になってくる。また、ユーザーの状態は、カメラ部503の撮影画像の画像認識や、距離センサー507の信号解析に基づいて特定される。
入力手段最適化部2320は、ユーザー状態の判別に際し、記憶部140内の機器入力手段データベースを参照する。
図28には、入力手段最適化部2320によるユーザーの位置とユーザーの状態に応じた入力手段の最適化処理を表にまとめている。
「ユーザーがいない」状態、「ユーザーがいる」が「ユーザーがTVを見ていない」状態、並びに、「ユーザーがTVを見ている」が「ユーザーがTVを操作していない」状態では、入力手段最適化部2320は、ユーザーの操作が開始されるまで待機する。
そして、「ユーザーがTVを見ている」とともに「ユーザーがTVを操作している」状態では、入力手段最適化部2320は、主にユーザーの位置に応じて各入力手段を最適化する。入力手段は、例えば、リモコン受信部501へのリモコン入力、カメラ部503へのジェスチャー入力、タッチ検出部509で検出するタッチ入力、マイク505に対する音声入力、近接センサー511に対する近接入力などである。
リモコン受信部501は、すべてのユーザー位置にわたり(すなわち、ほぼ常時)起動して、リモコン信号の受信を待機している。
カメラ部503の撮像画像に対する認識精度は、ユーザーが離れるに従って低下する。また、ユーザーが接近し過ぎると、ユーザーの姿がカメラ部503の視界から外れ易くなる。そこで、入力手段最適化部2320は、ユーザー位置が数十センチメートル〜数メートルの範囲で、カメラ部503へのジェスチャー入力をオンにする。
表示部603の画面に重畳されたタッチパネルへのタッチは、ユーザーの手の届く範囲に限定される。そこで、入力手段最適化部2320は、ユーザー位置が数十センチメートルまでの範囲で、タッチ検出部509へのタッチ入力をオンにする。また、近接センサー511は、タッチしていなくても数十センチメートルまではユーザーを検出することができる。したがって、入力手段最適化部2320は、タッチ入力よりも遠いユーザー位置まで、近接入力をオンにする。
マイク部505への入力音声の認識精度は、ユーザーが離れるに従って低下する。そこで、入力手段最適化部2320は、ユーザー位置が数メートルまでの範囲で、カメラ部503へのジェスチャー入力をオンにする。
距離検出方式切替部2330は、ユーザーの位置に応じて、情報処理装置100がユーザーまでの距離やユーザーの位置を検出する方式を切り替える処理を行なう。
距離検出方式切替部2330は、ユーザー状態の判別に際し、記憶部140内の検出方式毎のカバー範囲データベースを参照する。
図29には、距離検出方式切替部2330によるユーザーの位置に応じた距離検出方式の切り替え処理を表にまとめている。
距離センサー507は、例えば、PSDセンサーや焦電センサーや簡易カメラなど、単純で消費電力の小さなセンサー素子からなる。情報処理装置100から例えば5〜10メートルの半径内にユーザーが存在するかどうかを常時監視するために、距離検出方式切替部2330は、距離センサー507を常時オンにする。
カメラ部503が単眼式を採用する場合、画像認識部504では、背景差分によるユーザーの動き認識、顔認識、人体認識などを行なう。距離検出方式切替部2330は、撮影画像に基づいて十分な認識精度が得られる、ユーザー位置が70センチメートル〜6メートルの範囲で、画像認識部504による認識(距離検出)機能をオンにする。
また、カメラ部503が2眼式若しくはアクティブ式を採用する場合には、画像認識部504が十分な認識精度を得られるのは、やや手前の60センチメートル〜5メートルであり、距離検出方式切替部2330はそのユーザー位置の範囲で画像認識部504による認識(距離検出)機能をオンにする。
また、ユーザーが接近し過ぎると、ユーザーの姿がカメラ部503の視界から外れ易くなる。そこで、距離検出方式切替部2330は、ユーザーが接近し過ぎたときには、カメラ部503及び画像認識部504をオフにするようにしてもよい。
表示部603の画面に重畳されたタッチパネルへのタッチは、ユーザーの手の届く範囲に限定される。そこで、距離検出方式切替部2330は、ユーザー位置が数十センチメートルまでの範囲で、タッチ検出部509による距離検出機能をオンにする。また、近接センサー511は、タッチしていなくても数十センチメートルまではユーザーを検出することができる。したがって、距離検出方式切替部2330は、タッチ入力よりも遠いユーザー位置まで、距離検出機能をオンにする。
複数の距離検出方式を備えた情報処理装置100の設計論として、数メートルあるいは十メートルを超える遠方を検出する距離検出方式は、ユーザーの存在を確認する目的があり、常時オンにしなければならないことから、低消費電力のデバイスを用いることが好ましい。逆に、1メートル以内の至近距離を検出する距離検出方式は、密度の高い情報を得て顔認識や人体認識など認識機能を併せ持つことができるが、認識処理などに大きな電力を消費することから、十分な認識精度が得られない距離では機能をオフにすることが好ましい。
D.モニター性能に応じたオブジェクトのリアルサイズ表示
従来の物体表示システムでは、実在するオブジェクトの画像を、そのリアルサイズ情報を考慮せずに画面に表示する。このため、画面の大きさや解像度(dpi)に応じて表示されるオブジェクトのサイズが変動してしまう。例えば、横幅がaセンチメートルのバッグを32インチのモニターに表示したときの横幅a’と、50インチのモニターに表示したときの横幅a”は互いに異なる(a≠a’≠a”)(図30を参照のこと)。
また、複数のオブジェクトの画像を同じモニター画面上に同時表示する際、各オブジェクトのリアルサイズ情報を考慮しないと、オブジェクト相互の大小関係が正しく表示されない。例えば、横幅がaセンチメートルのバッグと、横幅がbセンチメートルのポーチを同じモニター画面上に同時表示する場合、バッグがa’センチメートルで表示される一方、ポーチがb’センチメートルで表示され、相互の大小関係が正しく表示されない(a:b≠a’:b’)(図31を参照のこと)。
例えば、商品をネット・ショッピングする際、そのサンプル画像がリアルサイズを再現できていないと、ユーザーは自分の姿に的確にフィッティングすることができず、誤った商品購入を行なうおそれがある。また、ネット・ショッピングで複数の商品を同時購入しようとするとき、各商品のサンプル画像を画面に同時表示した際にサンプル画像相互の大小関係が正しく表示されていないと、ユーザーは商品を組み合わせて的確にフィッティングすることができず、相応しくない組み合わせで商品を購入してしまうというおそれがある。
これに対し、本実施形態に係る情報処理装置100は、表示させたいオブジェクトのリアルサイズ情報と、表示部603の画面の大きさ及び解像度(画素ピッチ)情報を管理し、オブジェクトや画面の大きさが変わったとしても、常に画面上にリアルサイズでオブジェクトの画像を表示するようにしている。
図32には、演算部120がモニター性能に応じたオブジェクトのリアルサイズ表示処理を行なうための内部構成を示している。演算部120は、リアルサイズ表示部3210と、リアルサイズ推定部3220と、リアルサイズ拡張部3230を備えている。但し、リアルサイズ表示部3210、リアルサイズ推定部3220、リアルサイズ拡張部3230のうち少なくとも1つの機能ブロックが、通信部150を介して接続されるクラウド・サーバー上で実現されることも想定される。
リアルサイズ表示部3210は、複数のオブジェクトの画像を同じモニター画面上に同時表示する際、各オブジェクトのリアルサイズ情報を考慮することによって、表示部603の画面の大きさ及び解像度(画素ピッチ)に応じて、常にリアルサイズで表示する。また、リアルサイズ表示部3210は、複数のオブジェクトの画像を表示部603の画面に同時表示するときには、オブジェクト相互の大小関係を正しく表示するようにしている。
リアルサイズ表示部3210は、記憶部140から、表示部603の画面の大きさ及び解像度(画素ピッチ)などのモニター仕様を読み出す。また、リアルサイズ表示部3210は、回転・取り付け機構部180から、表示部603の画面の向き、傾きなどのモニター状態を取得する。
また、リアルサイズ表示部3210は、記憶部140内のオブジェクト画像データベースから、表示したいオブジェクトの画像を読み出すとともに、オブジェクト・リアルサイズ・データベースからそのオブジェクトのリアルサイズ情報を読み出す。但し、オブジェクト画像データベースやオブジェクト・リアルサイズ・データベースは、通信部150を介して接続されるデータベース・サーバー上にあることも想定される。
そして、リアルサイズ表示部3210は、表示したいオブジェクトが表示部603の画面上でリアルサイズとなるよう(あるいは、複数のオブジェクト相互の大小関係が正しくなるよう)、モニター性能及びモニター状態に基づいて、オブジェクトの画像を変換処理する。すなわち、同じオブジェクトの画像を異なるモニター仕様の画面に表示するときであっても、図33に示すようにa=a’=a”となる。
また、リアルサイズ表示部3210は、リアルサイズの異なる2つのオブジェクトの画像を同じ画面上に同時に表示する際には、図34に示すように、a:b=a’:b’すなわち相互の大小関係は正しく表示される。
例えばユーザーがサンプル画像の表示を通じて商品のネット・ショッピングを行なう際には、上述したように情報処理装置100がオブジェクトのリアルサイズ表示を実現したり、複数のサンプル画像を正しい大小関係で表示したりすることができるので、ユーザーは的確な商品のフィッティングを行なうことができ、誤った商品選択を行なうおそれが少なくなる。
リアルサイズ表示部3210におけるオブジェクト画像のリアルサイズ表示をネット・ショッピングのアプリケーションに適用した例で説明を追加する。カタログの表示画面上でユーザーが所望の商品の画像をタッチしたことに応答して、その商品の画像がリアルサイズ表示に切り換わる(図35を参照のこと)。また、リアルサイズ表示した画像を、ユーザーのタッチ操作に従って、回転若しくは姿勢変換して、リアルサイズのオブジェクトの向きを変えて表示することができる(図36を参照のこと)。
また、リアルサイズ推定部3220は、カメラ部503で撮影した人物など、オブジェクト・リアルサイズ・データベースに照会しても、リアルサイズ情報が得られないオブジェクトのリアルサイズを推定する処理を行なう。例えば、リアルサイズを推定するオブジェクトがユーザーの顔の場合、画像認識部504からカメラ部503の撮像画像を画像認識して得られたユーザーの顔の大きさ、年齢、向きなどのユーザー顔データと、距離検出方式切替部2330が切り替えた距離検出方式により得られたユーザーの位置に基づいて、ユーザーのリアルサイズを推定する。
推定されたユーザーのリアルサイズ情報は、リアルサイズ表示部3210へのフィードバックとなり、例えばオブジェクト画像データベースに格納される。そして、ユーザー顔データから推定されたリアルサイズ情報は、リアルサイズ表示部3210における以降のモニター性能に応じたリアルサイズ表示に利用される。
例えば、図37Aに示すように、被写体(赤ん坊)の撮影画像を含んだ被操作オブジェクトが表示されているときに、リアルサイズ推定部3220は、その顔データを基にリアルサイズを推定する。その後、ユーザーがタッチ操作などによってその被操作オブジェクトを拡大表示しようとしても、図37Bに示すように被写体のリアルサイズを超えてまで拡大することはない。すなわち、赤ん坊の画像は不自然なまでには拡大せず、映像のリアリティーが保たれている。
また、ネットワーク・コンテンツとカメラ部503で撮影したコンテンツを表示部603の画面に並列又は重畳して表示する際、推定されたリアルサイズに基づいてコンテンツの映像を正規化処理することで、調和のとれた並列又は重畳表示を実現することができる。
さらに、リアルサイズ拡張部3230は、リアルサイズ表示部3210において表示部603の画面上で実現したオブジェクトのリアルサイズ表示を、3D、すなわち、奥行き方向を含めて実現する。なお、両眼方式又は水平方向のみの光線再現方式により3D表示する場合には、3D映像生成時に想定した視聴位置でのみ、所望の効果を得ることができる。全方位の光線再現方式では、任意の位置から実サイズ表示が可能である。
また、リアルサイズ拡張部3230は、両眼方式、水平方向のみの光線再現方式においても、ユーザーの視点位置を検出して、3D映像をその位置に対して補正することによって、同様のリアルサイズ表示を、任意の位置から得ることができる。
例えば、本出願人に既に譲渡されている特開2002−300602号公報、特開2005−149127号公報、特開2005−142957号公報を参照されたい。
E.画像群の同時表示
表示システムにおいて、複数のソースの映像コンテンツを、並列又は重畳するという形態で同じ画面上に同時に表示する場合がある。例えば、(1)複数のユーザー同士でビデオ・チャットを行なう場合や、(2)ヨガなどのレッスンの際に、DVDなどの記録メディアから再生した(あるいは、ネットワーク経由でストリーミング再生する)インストラクターの映像とカメラ部503で撮影したユーザー本人の映像を同時に表示する場合、(3)ネット・ショッピングにおいて商品のサンプル画像とカメラ部503で撮影したユーザー本人の映像を重ねて表示してフィッティングする場合を挙げることができる。
上記の(1)〜(2)のいずれの場合においても、同時表示する画像間の大小関係が正しく表示されないと、ユーザーは適切に表示映像を利用できなくなる。例えば、ビデオ・チャットしているユーザー間で顔の大きさや位置がまちまちになってしまうと(図38A)、チャット相手との対面性が損なわれ、会話が弾まなくなる。また、ユーザーの姿とインストラクターの姿の大きさや位置が揃っていないと(図39A)、ユーザーは自分の動きとインストラクターの動きの相違を見極めにくくなり、修正・改善すべき点が分からず、十分なレッスンの成果を上げることができなくなる。また、商品のサンプル画像が、商品を手に取るようにしてポーズをとったユーザー本人の映像と正しい大小関係で適当な場所に重なっていないと、ユーザーは、その商品が自分に合っているかどうかを判断しづらく、的確なフィッティングを行なうことができない(図40A)。
これに対し、本実施形態に係る情報処理装置100は、複数のソースの映像コンテンツを、並列又は重畳する場合に、画像のスケールや対応領域などの情報を用いて画像同士を正規化して並列又は重畳して表示するようにしている。正規化する際には、静止画、動画などのディジタル画像データに対してディジタルでズーム処理するなどの画像加工を行なう。また、並列又は重畳する一方の画像がカメラ部503で撮影した画像の場合、実際のカメラをパン、チルト、ズームなどの光学制御を行なう。
画像の正規化処理は、顔認識によって得られた顔の大きさ、年齢、向きなどの情報や、人物認識によって得られた身体形状や大きさなどの情報を用いて簡易に実現することができる。また、複数の画像を並列又は重畳表示する際に、一方の画像に対しミラーリングや回転の処理を自動的に行なって、他方の画像との対応を取り易くする。
図38Bには、複数画像間の正規化処理により、ビデオ・チャットしているユーザー間で顔の大きさや位置が揃えられた様子を示している。また、図39Bには、複数画像間の正規化処理により、画面に並列して表示するユーザーの姿とインストラクターの姿の大きさや位置が揃えられた様子を示している。また、図40Bには、複数画像間の正規化処理により、商品のサンプル画像が、商品を手に取るようにしてポーズをとったユーザー本人の映像と正しい大小関係で適当な場所に重ねて表示している様子を示している。なお、図39Bや図40Bでは、ユーザーはカメラ部503の撮影画像から自分の姿勢を修正し易くするために、大小関係の正規化処理だけでなく、ミラーリングも施されている。また、必要に応じて回転処理を行なう場合もある。また、ユーザーの姿をインストラクターの姿と正規化処理することができたなら、図39Bに示したようにこれらを並列表示するのではなく、図39Cに示すように重畳表示することもでき、ユーザーは自分の姿勢とインストラクターの姿勢との相違をさらに視認し易くなる。
図41には、演算部120が画像の正規化処理を行なうための内部構成を示している。演算部120は、画像間正規化処理部4110と、顔正規化処理部4120と、リアルサイズ拡張部4130を備えている。但し、画像間正規化処理部4110、顔正規化処理部4120、リアルサイズ拡張部4130のうち少なくとも1つの機能ブロックが、通信部150を介して接続されるクラウド・サーバー上で実現されることも想定される。
画像間正規化処理部4110は、複数画像間でユーザーの顔画像と他のオブジェクトとの大小関係が正しく表示されるように、正規化処理を行なう。
画像間正規化処理部4110は、入力インターフェース統合部520を通じて、カメラ部503で撮影したユーザーの画像を入力する。その際、ユーザーの撮影時におけるカメラ部503のパン、チルト、ズームなどのカメラ情報を併せて取得する。また、画像間正規化処理部4110は、ユーザーの画像と並列又は重畳して表示する他のオブジェクトの画像と取得するとともに、ユーザーの画像と他のオブジェクトの画像を並列又は重畳するパターンを、画像データベースから取得する。画像データベースは、記憶部140内に存在する場合もあれば、通信部150を通じてアクセスするデータベース・サーバー上に存在する場合もある。
そして、画像間正規化処理部4110は、正規化アルゴリズムに従って、他のオブジェクトとの大小関係や姿勢が正しくなるように、ユーザーの画像に対して拡大や回転、ミラーリングなどの画像加工を施すとともに、適切なユーザーの画像を撮影するよう、カメラ部503をパン、チルト、ズームなどの制御を行なうためのカメラ制御情報を生成する。画像間正規化処理部4110の処理によって、例えば図40Bに示したように、ユーザーの画像は他のオブジェクトの画像と大小関係が正しくなるように表示される。
顔正規化処理部4120は、カメラ部503で撮影したユーザーの顔画像が、他の被操作オブジェクト内の顔画像(例えば、記録メディアから再生した画像中のインストラクターの顔や、ビデオ・チャットしている相手ユーザーの顔)と大小関係が正しく表示されるように、正規化処理を行なう。
顔正規化処理部4120は、入力インターフェース統合部520を通じて、カメラ部503で撮影したユーザーの画像を入力する。その際、ユーザーの撮影時におけるカメラ部503のパン、チルト、ズームなどのカメラ情報を併せて取得する。また、顔正規化処理部4120は、撮影したユーザーの画像と並列又は重畳して表示する他の被操作オブジェクト内の顔画像を、記憶部140又は通信部150を通じて取得する。
そして、顔正規化処理部4120は、互いの顔画像の大小関係が正しくなるように、ユーザーの画像に対して拡大や回転、ミラーリングなどの画像加工を施すとともに、適切なユーザーの画像を撮影するよう、カメラ部503をパン、チルト、ズームなどの制御を行なうためのカメラ制御情報を生成する。顔正規化処理部4120の処理によって、例えば図38B、図39B、図39Cに示したように、ユーザーの画像は他の顔画像と大小関係が正しくなるように表示される。
さらに、リアルサイズ拡張部4130は、画像間正規化処理部4110又は画像間正規化処理部4110において表示部603の画面上で実現した複数画像の並列又は重畳表示を、3D、すなわち、奥行き方向を含めて実現する。なお、両眼方式又は水平方向のみの光線再現方式により3D表示する場合には、3D映像生成時に想定した視聴位置でのみ、所望の効果を得ることができる。全方位の光線再現方式では、任意の位置から実サイズ表示が可能である。
また、リアルサイズ拡張部4130は、両眼方式、水平方向のみの光線再現方式においても、ユーザーの視点位置を検出して、3D映像をその位置に対して補正することによって、同様のリアルサイズ表示を、任意の位置から得ることができる。
例えば、本出願人に既に譲渡されている特開2002−300602号公報、特開2005−149127号公報、特開2005−142957号公報を参照されたい。
F.回転する画面における映像コンテンツの表示方法
既に述べたように、本実施形態に係る情報処理装置100本体は、例えば回転・取り付け機構部180によって壁面上で回転可能且つ着脱可能な状態で取り付けられている。情報処理装置100の電源オンすなわち表示部603で被操作オブジェクトを表示している最中に本体を回転操作すると、これに伴って、ユーザーが正しい姿勢の被操作オブジェクトを観察できるよう、被操作オブジェクトを回転処理する。
以下では、情報処理装置100本体の任意の回転角度やその遷移過程において、映像コンテンツの表示形態を最適に調整する方法について説明する。
画面の任意の回転角度やその遷移過程における映像コンテンツの表示形態として、(1)任意の回転角度において映像コンテンツが全く見切れないようにする表示形態、(2)各回転角度において、映像コンテンツ中の注目コンテンツが最大となるようにする表示形態、(3)無効領域がないように映像コンテンツを回転する表示形態、の3通りを挙げることができる。
図42には、情報処理装置100(画面)を反時計回りに90度だけ回転させる間に、任意の回転角度において映像コンテンツが全く見切れないように、映像コンテンツの全領域を表示する表示形態を図解している。図示のように、横置き状態の画面に横長の映像コンテンツを表示しているときに、反時計回りに90度だけ回転させて縦置きにしようとすると、映像コンテンツは縮小するとともに、画面には黒色で表わされている無効領域が出現してしまう。また、画面を横置きから縦置きに遷移する過程で、映像コンテンツは最小になる。
映像コンテンツの少なくとも一部が見切れてしまうと、著作物としての映像コンテンツは同一性を喪失してしまうという問題がある。図42に知れしたような表示形態は、任意の回転角度やその遷移過程において、常に著作物としての同一性が保証される。すなわち、保護コンテンツには適した表示形態ということができる。
また、図43には、情報処理装置100(画面)を反時計回りに90度だけ回転させる間に、各回転角度において、映像コンテンツ中の注目領域が最大となるようにする表示形態を図解している。同図では、映像コンテンツ中の点線で囲んだ被写体を含む領域を注目領域に設定して、各回転角度にてこの注目領域が最大となるようにする。注目領域は縦長なので、横置きを縦置きに変えることによって、映像コンテンツは拡大する。また、横置きから縦置きに遷移する過程において、注目領域は画面の対角線方向に最大に拡大する。また、横置きから縦置きに遷移する過程において、画面には黒色で表わされている無効領域が出現してしまう。
映像コンテンツ中の注目領域に着目した表示形態として、注目領域のサイズを一定にしながら映像コンテンツを回転させるという変形例も考えられる。画面の回転に伴って、注目領域は円滑に回転するようにも映るが、無効領域は拡大してしまう。
また、図44には、情報処理装置100(画面)を反時計回りに90度だけ回転させる間に、無効領域がないように映像コンテンツを回転する表示形態を図解している。
図45には、図42〜図44に示した各表示形態における、回転位置に対する映像コンテンツのズーム率の関係を示している。図42に示した、任意の回転角度において映像コンテンツが全く見切れないようにする表示形態では、コンテンツを保護することはできるが、遷移過程において大きな無効領域が発生してしまう。また、遷移過程で映像が縮小するのでユーザーに違和感を与えることが懸念される。図43に示した、各回転角度で映像コンテンツ中の注目領域が最大となるようにする表示形態では、画面が回転する遷移過程で注目領域をより滑らかに表示することができるが、遷移過程において無効領域が発生してしまう。また、図44に示した表示形態では、遷移過程において無効領域が発生しないが、遷移過程において、映像コンテンツが大きく拡大してしまい、観察するユーザーに不自然な印象を与えることが懸念される。
図46には、情報処理装置100(表示部603の画面)を回転させる際に、演算部120において映像コンテンツの表示形態を制御するための処理手順をフローチャートの形式で示している。この処理手順は、例えば回転・取り付け機構部180において情報処理装置100本体が回転していることを検出したことや、3軸センサー515により情報処理装置100本体の回転位置の変化を検出したことに応じて起動する。
情報処理装置100(表示部603の画面)を回転させる際に、演算部120は、まず、画面に表示している映像コンテンツの属性情報を取得する(ステップS4601)。そして、画面に表示している映像コンテンツが著作権などにより保護されているコンテンツであるかどうかをチェックする(ステップS4602)。
ここで、画面に表示している映像コンテンツが著作権などにより保護されているコンテンツである場合には(ステップS4602のYes)、演算部120は、図42に示したような、任意の回転角度において映像コンテンツが全く見切れないように、映像コンテンツの全領域を表示する表示形態を選択する(ステップS4603)。
また、画面に表示している映像コンテンツが著作権などにより保護されているコンテンツでない場合には(ステップS4602のNo)、続いて、ユーザーが指定した表示形態があるかどうかをチェックする(ステップS4604)。
ユーザーが映像コンテンツの全領域を表示する表示形態を選択しているときには、ステップS4603に進む。また、ユーザーが注目領域を最大表示する表示形態を選択しているときには、ステップS4605に進む。また、ユーザーが無効領域を表示しない表示形態を選択しているときには、ステップS4606に進む。また、ユーザーがいずれの表示形態も選択してないときには、上記の3つの表示形態のうちデフォルト値として設定された表示形態を選択する。
図47には、演算部120が情報処理装置100本体の任意の回転角度やその遷移過程において映像コンテンツの表示形態を調整する処理を行なうための内部構成を示している。演算部120は、表示形態決定部4710と、回転位置入力部4720と、画像加工部4730を備え、受信したTV放送やメディアから再生した映像コンテンツの表示形態を調整する。
表示形態決定部4710は、情報処理装置100本体の任意の回転角度やその遷移過程において映像コンテンツを回転させる際の表示形態を、図46に示した処理手順に従って決定する。
回転位置入力部4720は、回転・取り付け機構部180や3軸センサー515で得られる情報処理装置100本体(若しくは、表示部602の画面)の回転位置を、入力インターフェース統合部520を介して入力する。
画像加工部4730は、受信したTV放送やメディアから再生した映像コンテンツが、回転位置入力部4720に入力された回転角度だけ傾いた表示部603の画面に適合するよう、表示形態決定部4710で決定した表示形態に従って画像加工する。
G.本明細書で開示する技術
本明細書で開示する技術は、以下のような構成をとることも可能である。
(101)表示部と、前記表示部の周辺に存在するユーザーを検出するユーザー検出部と、前記ユーザー検出部がユーザーを検出したことに応じて、前記表示部に表示する被操作オブジェクトの処理を行なう演算部と、を具備する情報処理装置。
(102)前記ユーザー検出部は、前記表示部の画面の4つの側縁部の各々に配設された近接センサーを有し、各側縁付近に存在するユーザーを検出する、上記(101)に記載の情報処理装置。
(103)前記演算部は、前記ユーザー検出部が検出したユーザーの配置に応じて、前記表示部の画面内に、検出されたユーザー毎のユーザー占有領域と、ユーザー間で共有する共通領域を設定する、上記(101)に記載の情報処理装置。
(104)前記演算部は、前記表示部の画面上に、ユーザーの操作対象となる1以上の被操作オブジェクトを表示させる、上記(103)に記載の情報処理装置。
(105)前記演算部は、ユーザー占有領域内の被操作オブジェクトを最適化する、上記(104)に記載の情報処理装置。
(106)前記演算部は、ユーザー占有領域内の被操作オブジェクトが該当するユーザーに正対する方向となるように回転処理する、上記(104)に記載の情報処理装置。
(107)前記演算部は、共通領域又は他のユーザー占有領域からユーザー占有領域に移動してきた被操作オブジェクトが該当するユーザーに正対する方向となるように回転処理する、上記(104)に記載の情報処理装置。
(108)演算部は、ユーザーが被操作オブジェクトをドラッグして領域間を移動させる際に、被操作オブジェクトの重心位置に対してユーザーが操作した位置に応じて、被操作オブジェクトを回転処理する際の回転方向を制御する、上記(107)に記載の情報処理装置。
(109)前記演算部は、前記ユーザー検出部が新規に検出したユーザーのユーザー占有領域を前記表示部の画面内に設定するときに、ユーザーを新規に検出したことを表す検出インジケーターを表示させる、上記(103)に記載の情報処理装置。
(110)ユーザーが所持する端末とデータを送受信するデータ送受信部をさらに備える、上記(104)に記載の情報処理装置。
(111)前記データ送受信部は、前記ユーザー検出部が検出したユーザーが所持する端末とデータ送受信処理を行ない、前記演算部は、ユーザーが所持する端末から受信したデータに対応する被操作オブジェクトを、該当するユーザー占有領域に出現させる、上記(110)に記載の情報処理装置。
(112)前記演算部は、各ユーザーのユーザー占有領域間で被操作オブジェクトを移動させたことに応じて、移動先のユーザー占有領域に被操作オブジェクトを複製又は分割する、上記(104)に記載の情報処理装置。
(113)前記演算部は、移動先のユーザー占有領域に、別データとして作成した被操作オブジェクトの複製を表示させる、上記(112)に記載の情報処理装置。
(114)前記演算部は、移動先のユーザー占有領域に、ユーザー間で共同操作が可能なアプリケーションの別のウィンドウとなる被操作オブジェクトの複製を表示させる、上記(112)に記載の情報処理装置。
(115)周辺に存在するユーザーを検出するユーザー検出ステップと、前記ユーザー検出ステップでユーザーを検出したことに応じて、表示する被操作オブジェクトの処理を行なう演算ステップと、を有する情報処理方法。
(116)表示部、前記表示部の周辺に存在するユーザーを検出するユーザー検出部、前記ユーザー検出部がユーザーを検出したことに応じて、前記表示部に表示する被操作オブジェクトの処理を行なう演算部、としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
(201)表示部と、前記表示部に対するユーザーの位置を検出するユーザー位置検出部と、前記表示部の表示画面に対するユーザーの状態を検出するユーザー状態検出部と、前記ユーザー位置検出部が検出したユーザーの位置と、前記ユーザー状態検出部が検出したユーザーの状態に応じて、前記表示部に表示するGUIを制御する演算部と、を具備する情報処理装置。
(202)前記演算部は、前記表示部の画面上に表示する、ユーザーの操作対象となる1以上の被操作オブジェクトの枠組み又は情報密度を、ユーザーの位置及びユーザーの状態に応じて制御する、上記(201)に記載の情報処理装置。
(203)前記演算部は、ユーザーが前記表示部の画面を視聴している状態か否かに応じて、画面に表示する被操作オブジェクトの枠組みを制御する、上記(201)に記載の情報処理装置。
(204)前記演算部は、ユーザーの位置に応じて前記表示部の画面に表示する被操作オブジェクトの情報密度を制御する、上記(201)に記載の情報処理装置。
(205)前記演算部は、ユーザーが個人認証可能な位置か否かに応じて、前記表示部の画面に表示する被操作オブジェクトの選択を制御する、上記(201)に記載の情報処理装置。
(206)ユーザーが前記表示部の画面上に表示されている被操作オブジェクトを操作する1以上の入力手段をさらに備え、前記演算部は、ユーザーが前記入力手段で被操作オブジェクトを操作している状態か否かに応じて、画面に表示する被操作オブジェクトの枠組みを制御する、上記(201)に記載の情報処理装置。
(207)表示部と、ユーザーが前記表示部の画面上に表示されている被操作オブジェクトを操作する1以上の入力手段と、前記表示部に対するユーザーの位置を検出するユーザー位置検出部と、前記表示部の表示画面に対するユーザーの状態を検出するユーザー状態検出部と、前記ユーザー位置検出部が検出したユーザーの位置と、前記ユーザー状態検出部が検出したユーザーの状態に応じて、前記入力手段を最適化する演算部と、を具備する情報処理装置。
(208)前記演算部は、ユーザーが前記表示部の画面を視聴している状態か否かに応じて、前記入力手段の最適化を制御する、上記(207)に記載の情報処理装置。
(209)前記演算部は、ユーザーが前記表示部の画面を視聴している状態において、前記ユーザー位置検出部が検出したユーザーの位置に応じて入力手段を最適化する、上記(207)に記載の情報処理装置。
(210)表示部と、前記表示部に対するユーザーの位置を検出するユーザー位置検出部と、前記表示部の画面からユーザーまでの距離を検出する複数の距離検出方式と、前記ユーザー位置検出部が検出したユーザーの位置に応じて、距離検出方式の切り替えを制御する演算部と、を具備する情報処理装置。
(211)前記演算部は、遠方にいるユーザーまでの距離を検出する距離検出方式を常に機能オンにする、上記(210)に記載の情報処理装置。
(212)前記演算部は、近くにいるユーザーの距離を検出するとともに認識処理を兼ねた距離検出方式を、十分な認識精度が得られる距離範囲でのみ機能オンにする、上記(210)に記載の情報処理装置。
(213)表示画面に対するユーザーの位置を検出するユーザー位置検出ステップと、表示画面に対するユーザーの状態を検出するユーザー状態検出ステップと、前記ユーザー位置検出ステップで検出したユーザーの位置と、前記ユーザー状態検出ステップで検出したユーザーの状態に応じて、前記表示画面に表示するGUIを制御する演算ステップと、を有する情報処理方法。
(214)表示画面に対するユーザーの位置を検出するユーザー位置検出ステップと、前記表示画面に対するユーザーの状態を検出するユーザー状態検出ステップと、前記ユーザー位置検出ステップで検出したユーザーの位置と、前記ユーザー状態検出ステップで検出したユーザーの状態に応じて、ユーザーが前記表示画面上に表示されている被操作オブジェクトを操作するための1以上の入力手段を最適化する演算ステップと、を有する情報処理方法。
(215)表示画面に対するユーザーの位置を検出するユーザー位置検出ステップと、前記ユーザー位置検出ステップで検出したユーザーの位置に応じて、前記表示画面からユーザーまでの距離を検出する複数の距離検出方式の切り替えを制御する演算ステップと、を有する情報処理方法。
(216)表示部、前記表示部に対するユーザーの位置を検出するユーザー位置検出部、前記表示部の表示画面に対するユーザーの状態を検出するユーザー状態検出部、前記ユーザー位置検出部が検出したユーザーの位置と、前記ユーザー状態検出部が検出したユーザーの状態に応じて、前記表示部に表示するGUIを制御する演算部、としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
(217)表示部、ユーザーが前記表示部の画面上に表示されている被操作オブジェクトを操作する1以上の入力手段、前記表示部に対するユーザーの位置を検出するユーザー位置検出部、前記表示部の表示画面に対するユーザーの状態を検出するユーザー状態検出部、前記ユーザー位置検出部が検出したユーザーの位置と、前記ユーザー状態検出部が検出したユーザーの状態に応じて、前記入力手段を最適化する演算部、としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
(218)表示部、前記表示部に対するユーザーの位置を検出するユーザー位置検出部、前記表示部の画面からユーザーまでの距離を検出する複数の距離検出方式、前記ユーザー位置検出部が検出したユーザーの位置に応じて、距離検出方式の切り替えを制御する演算部、としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
(301)表示部と、前記表示部の画面に表示するオブジェクトの画像を取得するオブジェクト画像取得部と、前記表示部の画面に表示する前記オブジェクトのリアルサイズに関する情報を取得するリアルサイズ取得部と、前記リアルサイズ取得部が取得した前記オブジェクトのリアルサイズに基づいて、前記オブジェクトの画像を処理する演算部と、を具備する情報処理装置。
(302)前記表示部の画面サイズ及び解像度を含む表示性能に関する情報を取得する表示性能取得部をさらに備え、前記演算部は、前記リアルサイズ取得部が取得した前記オブジェクトのリアルサイズと、前記表示性能取得部が取得した表示性能に基づいて、前記表示部の画面上で、前記オブジェクトの画像がリアルサイズで表示されるよう処理する、上記(301)に記載の情報処理装置。
(303)前記オブジェクト画像取得部が取得した複数のオブジェクトの画像を前記表示部の画面に同時に表示する際に、前記演算部は、前記複数のオブジェクトの画像相互の大小関係が正しく表示されるように、前記複数のオブジェクトの画像を処理する、上記(301)に記載の情報処理装置。
(304)カメラ部と、前記カメラ部で撮影した画像に含まれるオブジェクトのリアルサイズを推定するリアルサイズ推定部をさらに備える、上記(301)に記載の情報処理装置。
(305)カメラ部と、前記カメラ部で撮影した画像に含まれるユーザーの顔を認識して顔データを取得する画像認識部と、前記ユーザーまでの距離を検出する距離検出部と、前記ユーザーの顔データと前記ユーザーまでの距離に基づいて、前記ユーザーの顔のリアルサイズを推定するリアルサイズ推定部と、をさらに備える上記(301)に記載の情報処理装置。
(306)画面に表示するオブジェクトの画像を取得するオブジェクト画像取得ステップと、前記画面に表示する前記オブジェクトのリアルサイズに関する情報を取得するリアルサイズ取得ステップと、前記リアルサイズ取得ステップで取得した前記オブジェクトのリアルサイズに基づいて、前記オブジェクトの画像を処理する演算ステップと、を有する情報処理方法。
(307)表示部、前記表示部の画面に表示するオブジェクトの画像を取得するオブジェクト画像取得部、前記表示部の画面に表示する前記オブジェクトのリアルサイズに関する情報を取得するリアルサイズ取得部、前記リアルサイズ取得部が取得した前記オブジェクトのリアルサイズに基づいて、前記オブジェクトの画像を処理する演算部、としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
(401)カメラ部と、表示部と、前記表示部の画面に表示する際に、前記カメラ部で撮影したユーザーの画像を正規化する演算部と、を具備する情報処理装置。
(402)前記表示部の画面に表示するオブジェクトの画像を取得するオブジェクト画像取得部と、前記ユーザーの画像と前記オブジェクトの画像を前記表示部の画面上に並列又は重畳する並列・重畳パターンを取得する並列・重畳パターン取得部と、をさらに備え、前記演算部は、前記ユーザーの画像と前記オブジェクトの大小関係と位置が正しくなるように正規化し、正規化した後の前記ユーザーの画像と前記オブジェクトを取得した並列・重畳パターンに従って並列又は重畳する、上記(401)に記載の情報処理装置。
(403)前記演算部は、前記カメラ部で撮影した前記ユーザーの画像を正規化するための前記カメラ部への制御を行なう、上記(402)に記載の情報処理装置。
(404)前記カメラ部で撮影したユーザーの顔データを取得するユーザー顔データ取得部と、前記表示部の画面に表示するオブジェクト内の顔データを取得するオブジェクト内顔データ取得部をさらに備え、前記演算部は、前記ユーザーの顔データと前記オブジェクト内の顔データの大小関係と位置が正しくなるように正規化する、上記(401)に記載の情報処理装置。
(405)前記演算部は、前記カメラ部で撮影した前記ユーザーの画像を正規化するための前記カメラ部への制御を行なう、上記(404)に記載の情報処理装置。
(406)画面に表示するオブジェクトの画像を取得するオブジェクト画像取得ステップと、カメラ部で撮影したユーザーの画像と前記オブジェクトの画像を前記表示部の画面上に並列又は重畳する並列・重畳パターンを取得する並列・重畳パターン取得ステップと、前記ユーザーの画像と前記オブジェクトの大小関係と位置が正しくなるように正規化する正規化ステップと、正規化した後の前記ユーザーの画像と前記オブジェクトを取得した並列・重畳パターンに従って並列又は重畳する画像加工ステップと、を有する情報処理方法。
(407)カメラ部で撮影したユーザーの顔データを取得するユーザー顔データ取得ステップと、画面に表示するオブジェクト内の顔データを取得するオブジェクト内顔データ取得ステップと、前記ユーザーの顔データと前記オブジェクト内の顔データの大小関係と位置が正しくなるように正規化する正規化ステップと、を有する情報処理方法。
(408)カメラ部、表示部、前記表示部の画面に表示する際に、前記カメラ部で撮影したユーザーの画像を正規化する演算部、としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
(501)映像コンテンツを画面に表示する表示部と、前記画面の回転角度を検出する回転角度検出部と、前記画面の任意の回転角度やその遷移過程において映像コンテンツの表示形態を決定する表示形態決定部と、映像コンテンツが、前記回転角度検出部で検出された回転角度だけ傾いた前記画面に適合するよう、前記表示形態決定部で決定した表示形態に従って画像加工する画像加工部と、
を具備する情報処理装置。
(502)前記表示形態決定部は、任意の回転角度において映像コンテンツが全く見切れないようにする表示形態、各回転角度において、映像コンテンツ中の注目コンテンツが最大となるようにする表示形態、無効領域がないように映像コンテンツを回転する表示形態の3つを含む複数の表示形態の中から決定する、上記(501)に記載の情報処理装置。
(503)前記表示形態決定部は、映像コンテンツが持つ属性情報に基づいて、前記画面の任意の回転角度やその遷移過程における表示形態を決定する、上記(501)に記載の情報処理装置。
(504)前記表示形態決定部は、保護された映像コンテンツについて、任意の回転角度において映像コンテンツが全く見切れないようにする表示形態を決定する、上記(501)に記載の情報処理装置。
(505)映像コンテンツを表示する画面の回転角度を検出する回転角度検出ステップと、前記画面の任意の回転角度やその遷移過程において映像コンテンツの表示形態を決定する表示形態決定ステップと、映像コンテンツが、前記回転角度検出ステップで検出された回転角度だけ傾いた前記画面に適合するよう、前記表示形態決定ステップで決定した表示形態に従って画像加工する画像加工ステップと、を有する情報処理方法。
(506)映像コンテンツを画面に表示する表示部、前記画面の回転角度を検出する回転角度検出部、前記画面の任意の回転角度やその遷移過程において映像コンテンツの表示形態を決定する表示形態決定部、映像コンテンツが、前記回転角度検出部で検出された回転角度だけ傾いた前記画面に適合するよう、前記表示形態決定部で決定した表示形態に従って画像加工する画像加工部、としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。