JP6881193B2 - 情報処理装置、情報処理方法、プログラム、表示制御装置、表示制御方法、プログラムおよび情報処理システム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、プログラム、表示制御装置、表示制御方法、プログラムおよび情報処理システムに関する。

近年、従来のようにハードウェアで実装される電話機に代わって、アプリケーションソフトウェアで実装されるソフトフォンが普及してきている。ソフトフォンはソフトウェアで実装されるため、ソフトフォンへの機能追加、ソフトフォンと他のアプリケーションソフトウェアとの連携等を比較的容易に実現することができる。そのため、ソフトフォンに関する様々な応用技術が提案されている。

例えば、特許文献１には、フロアを俯瞰的に撮影する複数のカメラを備えたシステムと、そのカメラから得られた撮像画像の表示画面において当該撮像画像に写っている人物をタッチすると、顔認識により当該人物を特定し、当該人物の電話番号を取得し、当該人物への電話発信を行う技術が、開示されている。

特開２００７−２０８８６３号公報 特開２００４−１５２２７６号公報

Gaver et al., One is not enough: multiple views in a media space, inProceedings of INTERCHI'93, pp.335-341, 1993.

しかし、上記特許文献１では、前記システムに複数のカメラを切り換える機能が備えられる旨は記載されているものの、そのカメラ切り換え操作のためのユーザインタフェースが具体的にどのような仕様になっているかということに関する記述が全くなされていない。

ここで、遠隔コミュニケーション支援システムにおけるカメラ切り換え機能とその操作の重要性について説明する。

遠隔地の被呼対象者に対して電話発呼を行う直前に、その遠隔地の映像が見えることで、発呼するユーザは前記被呼対象者のプレゼンス情報を知ることができる。プレゼンス情報は相手の状況を伝達するもので、その情報は量・質ともに高い方が好ましい。プレゼンス情報の質が高まると、被呼対象者が在席しているか否かのような大雑把な状況把握だけでなく、今は忙しそうか、もうすぐ離席しようとしているか等の、被呼対象者に関するさらに高度な状況把握が可能になる。その結果、発呼するユーザにとっては被呼対象者への話しかけやすさが向上し、一方、被呼対象者にとっては話しかけられたくない状況時に被呼される不都合の機会が減少する、という両者にとって有用な効果が得られる。

そして、被呼対象者が在席しているか否かではなく、上記のような高度な状況把握、すなわち「様子見」行動を遠隔環境で効果的に行うためには、相手の身体状態を多角的に観察できるシステム機能が必要となる。その機能を実現するために、前記遠隔コミュニケーション支援システムは複数のカメラを備えることが望ましいが、それだけでは十分ではない。

なぜなら、遠隔地に設置された複数のカメラの切り換え操作において、その操作ユーザが、いま自分は遠隔地のどこをどのカメラで見ているのか、見たい対象・位置を見るためには次にどのカメラを選択すればよいのかといった、複数カメラ同士の相互位置関係がわからず混乱してしまう問題（Spatial Discontinuities）の存在が従来指摘されているからである（非特許文献１）。

さらに、例えば、特許文献２には、ユーザが実行した機器機能選択操作履歴の情報からユーザが次に実行する機能選択操作の傾向を、ユーザが入力を行った時間と紐づけて学習し、ユーザによる機能選択操作を予測して支援する技術が、開示されている。

しかし、上記特許文献２は、ユーザが操作するある情報機器において、あらかじめある機器開発者によって人的に定義された連鎖可能な機能系列内の機能単位を選択した情報を対象にした技術である。一方、本発明は、後述するように、実空間に対応する「位置」の指定情報を対象にした技術である。特に「カメラと被写人物との位置関係性」に基づき、ユーザ毎の視点選好という心理的特性に応じた位置指定履歴情報をシステムが学習する。そして、ユーザが指定した位置と前記視点選好特性に応じて、ユーザ毎に最適と予測される視点の位置をシステムがユーザに推薦提示するユーザインタフェースに関する技術である。

そこで、本発明は、前記の複数カメラ同士の相互位置関係がわからず混乱してしまう問題を解決しつつ、直感的かつ効率的な操作を行えることによって、発呼するユーザが遠隔地の被呼対象者の状況を容易かつ高度に把握することを可能にするユーザインタフェースを提供する従来発明の効果をさらに高める技術を提供するものである。本発明は、位置情報に基づいた視点選択行動の学習処理により、各ユーザの行動および心理的特性に適した視点の映像を、遠隔コミュニケーション支援システムがユーザに提供できるようにすることを目的とする。

本発明によれば、ユーザの指定に基づく選択位置に対応する３次元仮想空間における３次元選択位置と前記３次元選択位置を撮像範囲に含む撮像装置の３次元設置位置とに応じた３次元ラインが指定され、前記３次元ラインに対応する撮像装置が前記ユーザの視点位置として指定された場合、前記３次元選択位置と前記３次元設置位置とに基づいて、前記選択位置に存在するオブジェクトに対応する人物に対する前記ユーザの閲覧条件を算出し、前記閲覧条件と前記視点位置の指定回数との関係を算出する学習部を備える、情報処理装置が提供される。

前記学習部は、前記視点位置の指定回数が最大となる前記閲覧条件を算出してもよい。

前記学習部は、前記３次元選択位置と前記３次元設置位置とに基づいて、少なくとも３次元仮想空間における前記人物と前記ユーザとの距離を前記閲覧条件として算出してもよい。

前記学習部は、前記距離と前記視点位置の指定回数との関係式を算出し、前記関係式に基づいて、前記視点位置の指定回数が最大となる前記距離を算出してもよい。

前記学習部は、前記３次元選択位置と前記３次元設置位置と前記人物の身体方向の情報とに基づいて、少なくとも３次元仮想空間における前記人物に対する前記ユーザの視点位置の角度を前記閲覧条件として算出してもよい。

前記学習部は、前記人物に紐づけられた前記３次元仮想空間に対応する実空間における机の設置方向の情報に基づいて前記人物の身体方向を取得してもよい。

前記学習部は、前記撮像装置による撮像画像に対する前記人物の顔検出処理または人体３次元モデル作成処理に基づいて前記人物の身体方向を取得してもよい。

前記学習部は、前記人物の身体に備え付けられたセンサ装置によって検出されたセンサデータに基づいて前記人物の身体方向を取得してもよい。

前記学習部は、前記角度と前記視点位置の指定回数との関係式を算出し、前記関係式に基づいて、前記視点位置の指定回数が最大となる前記角度を算出してもよい。

前記学習部は、前記３次元選択位置と前記３次元設置位置と前記人物の身体方向の情報とに基づいて、３次元仮想空間における前記人物と前記ユーザとの距離および前記人物に対する前記ユーザの視点位置の角度を前記閲覧条件として算出し、前記距離および前記角度と前記視点位置の指定回数とを変数として含む回帰式を算出し、前記回帰式に基づいて、前記視点位置の指定回数が最大となる前記距離および前記角度を算出してもよい。

また、本発明によれば、ユーザの指定に基づく選択位置に対応する３次元仮想空間における３次元選択位置と前記３次元選択位置を撮像範囲に含む撮像装置の３次元設置位置とに応じた３次元ラインが指定され、前記３次元ラインに対応する撮像装置が前記ユーザの視点位置として指定された場合、前記３次元選択位置と前記３次元設置位置とに基づいて、前記選択位置に存在するオブジェクトに対応する人物に対する前記ユーザの閲覧条件を算出し、前記閲覧条件と前記視点位置の指定回数との関係を算出することを含む、情報処理方法が提供される。

また、本発明によれば、コンピュータを、ユーザの指定に基づく選択位置に対応する３次元仮想空間における３次元選択位置と前記３次元選択位置を撮像範囲に含む撮像装置の３次元設置位置とに応じた３次元ラインが指定され、前記３次元ラインに対応する撮像装置が前記ユーザの視点位置として指定された場合、前記３次元選択位置と前記３次元設置位置とに基づいて、前記選択位置に存在するオブジェクトに対応する人物に対する前記ユーザの閲覧条件を算出し、前記閲覧条件と前記視点位置の指定回数との関係を算出する学習部を備える、情報処理装置として機能させるためのプログラムが提供される。

また、本発明によれば、ユーザの指定に基づく選択位置に対応する３次元仮想空間における３次元選択位置と前記３次元選択位置を撮像範囲に含む撮像装置の３次元設置位置とに応じた３次元ラインが指定され、前記３次元ラインに対応する撮像装置が前記ユーザの視点位置として指定され、前記３次元選択位置と前記３次元設置位置とに基づいて、前記選択位置に存在するオブジェクトに対応する人物に対する前記ユーザの閲覧条件が算出され、前記閲覧条件と前記視点位置の指定回数との関係が算出された場合、前記関係に応じた表示を制御する表示制御部を備える、表示制御装置が提供される。

前記表示制御部は、前記視点位置の指定回数が最大となる前記閲覧条件に応じた３次元ラインを選択し、選択した３次元ラインに対応する２次元ラインと他の３次元ラインに対応する２次元ラインとが区別可能に視認されるように、前記選択した３次元ラインに対応する２次元ラインと前記他の３次元ラインに対応する２次元ラインとのうち少なくとも一方の表示態様を変更してもよい。

前記表示制御部は、前記視点位置の指定回数が最大となる前記閲覧条件に応じた３次元ラインにおける視点位置を算出し、算出した前記視点位置に対応する撮像画像が表示されるように制御してもよい。

また、本発明によれば、ユーザの指定に基づく選択位置に対応する３次元仮想空間における３次元選択位置と前記３次元選択位置を撮像範囲に含む撮像装置の３次元設置位置とに応じた３次元ラインが指定され、前記３次元ラインに対応する撮像装置が前記ユーザの視点位置として指定され、前記３次元選択位置と前記３次元設置位置とに基づいて、前記選択位置に存在するオブジェクトに対応する人物に対する前記ユーザの閲覧条件が算出され、前記閲覧条件と前記視点位置の指定回数との関係が算出された場合、前記関係に応じた表示を制御すること、を含む、表示制御方法が提供される。

また、本発明によれば、コンピュータを、ユーザの指定に基づく選択位置に対応する３次元仮想空間における３次元選択位置と前記３次元選択位置を撮像範囲に含む撮像装置の３次元設置位置とに応じた３次元ラインが指定され、前記３次元ラインに対応する撮像装置が前記ユーザの視点位置として指定され、前記３次元選択位置と前記３次元設置位置とに基づいて、前記選択位置に存在するオブジェクトに対応する人物に対する前記ユーザの閲覧条件が算出され、前記閲覧条件と前記視点位置の指定回数との関係が算出された場合、前記関係に応じた表示を制御する表示制御部を備える、表示制御装置として機能させるためのプログラムが提供される。

また、本発明によれば、ユーザの指定に基づく選択位置に対応する３次元仮想空間における３次元選択位置と前記３次元選択位置を撮像範囲に含む撮像装置の３次元設置位置とに応じた３次元ラインが指定され、前記３次元ラインに対応する撮像装置が前記ユーザの視点位置として指定された場合、前記３次元選択位置と前記３次元設置位置とに基づいて、前記選択位置に存在するオブジェクトに対応する人物に対する前記ユーザの閲覧条件を算出し、前記閲覧条件と前記視点位置の指定回数との関係を算出する学習部と、前記関係に応じた表示を制御する表示制御部と、を有する、情報処理システムが提供される。

以上説明したように本発明によれば、遠隔コミュニケーション支援システムにおいて、ユーザが遠隔地の複数カメラ同士の相互位置関係がわからず認知的に混乱する問題を解決しつつ、直感的かつ効率的な操作を行えることによって、発呼するユーザが遠隔地の被呼対象者の状況を容易かつ高度に把握することが可能なシステムのユーザインタフェースの、利用品質が向上する。具体的には、ユーザが指定した遠隔地内の見たい位置に対して前記ユーザが選択できる見る位置の視点候補が複数である場合に、視点の候補数があらかじめ絞り込まれることで選択行為に伴うユーザの認知負荷が低減されたり、学習データの蓄積が増え予測精度が上がれば、ユーザは前記見たい位置を指定するだけでその後の前記見る位置の決定をシステムに任せられるため、操作ステップ数が減り、ユーザの指定入力行為の労力が低減されたりする。

一実施形態に係る情報処理システムの概略的な構成の一例を示す説明図である。 一実施形態に係る端末装置のハードウェア構成の一例を示すブロック図である。 一実施形態に係る端末装置の機能構成の一例を示すブロック図である。 俯瞰モードで表示される表示画面の一例を説明するための説明図である。 近接モードで表示される表示画面の一例を説明するための説明図である。 ユーザにより指定される近接撮像画像内の位置の第１の例を説明するための説明図である。 ユーザにより指定される近接撮像画像内の位置の第２の例を説明するための説明図である。 センタオフィスに対応する３次元仮想空間の第１の例を説明するための説明図である。 図８に示される３次元仮想空間に配置されたオブジェクトの選択の例を説明するための説明図である。 センタオフィスに対応する３次元仮想空間の第２の例を説明するための説明図である。 図１０に示される３次元仮想空間に配置されたオブジェクトの選択の例を説明するための説明図である。 会話モードで表示される表示画面の一例を説明するための説明図である。 表示モードの遷移の一例を説明するための遷移図である。 センタオフィスに対応する３次元仮想空間内におけるカメララインの例を説明するための説明図である。 端末装置の表示画面に表示されるカメララインの一例を説明するための説明図である。 カメラライン上の位置を指定するタッチ入力とそれに対するフィードバック表示のいくつかの例を説明するための説明図である。 図１４に示される３次元仮想空間に配置されたオブジェクトの選択の例を説明するための説明図である。 カメララインが近傍に複数存在する場合の端末装置１００の表示画面の一例を説明するための説明図である。 一実施形態に係る端末装置のソフトウェア構成の一例を示すブロック図である。 一実施形態に係る情報管理サーバのハードウェア構成の一例を示すブロック図である。 一実施形態に係る情報管理サーバの機能構成の一例を示すブロック図である。 一実施形態に係る情報処理の概略的な流れの一例を示すフローチャートである。 一実施形態に係る起動処理の概略的な流れの一例を示すフローチャートである。 図１８に対して変形例１の機能を適用した表示の一例を示す図である。 撮影画像の品質の高低をカメララインの表示形態に対応させて描画した例を示す図である。 端末装置の表示画面に表示される選好予測カメララインの一例を説明するための説明図である。 視点の位置指定データの学習処理に用いられるデータの一例を示す図である。 人物周りの水平面角度分類概念図である。 あるユーザＡの視点位置指定操作履歴における閲覧人物角度の統計データの一例を示す図である。 あるユーザＢの視点位置指定操作履歴における閲覧人物角度の統計データの一例を示す図である。 本実施形態に係る学習および推薦処理の概略的な流れの一例を示すフローチャートである。

以下に添付の図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

以降、＜１．情報処理システムの概略的な構成＞、＜２．端末装置の構成＞、＜３．情報管理サーバの構成＞、＜４．処理の流れ＞という順序で本発明の実施形態を説明する。

＜＜１．情報処理システムの概略的な構成＞＞
まず、図１を参照して、本発明の実施形態に係る情報処理システムの概略的な構成を説明する。図１は、本実施形態に係る情報処理システムの概略的な構成の一例を示す説明図である。図１を参照すると、情報処理システムは、例えば、複数の拠点にわたって存在する。この例では、情報処理システムは、センタオフィス１０とサテライトオフィス２０（又はホームオフィスと２０）にわたって存在する。センタオフィス１０は、比較的大規模なオフィスであり、サテライトオフィス２０（又はホームオフィスと２０）は、比較的小規模なオフィスである。

情報処理システムは、センタオフィス１０において、カメラ１１、マイクロフォン１３、センサ１５、メディア配信サーバ１７、情報管理サーバ２００（情報処理装置）、及びＬＡＮ（Local Area Network）１９を含む。また、情報処理システムは、サテライトオフィス２０（又はホームオフィスと２０）において、端末装置１００（表示制御装置）、ディスプレイ２１、及びＬＡＮ２３を含む。また、情報処理システムは、さらにＰＢＸ（Private Branch eXchange）４０を含む。

（カメラ１１）
カメラ１１は、当該カメラ１１が向いている方向（即ち、撮像方向）の領域を撮像する。センタオフィス１０には、複数のカメラ１１が設置される。そして、設置された各カメラ１１は、それぞれの設置位置からセンタオフィスの一部又は全体を撮像する。このように、情報処理システムでは、様々な位置からセンタオフィスが撮像される。カメラ１１を通じて生成される撮像画像は、静止画像であってもよく、又は動画像（即ち映像）であってもよい。

また、カメラ１１は、例えば、自動で向きを変えることができる。さらに、カメラ１１は、例えば、ズーム機能を有する。当該ズーム機能は、光学ズーム機能であってもよく、又はデジタルズーム機能であってもよい。

また、カメラ１１は、位置を変えることが可能であってもよい。一例として、カメラ１１は、ドリーにより可動であってもよい。即ち、カメラ１１は、レールに沿って可動であってもよい。この場合に、レールに沿って動くためのモータの制御により、カメラ１１が前後に動いてもよい。これにより、１台のカメラ１１であっても、異なる位置から被写体が撮像された撮像画像を生成することが可能になる。

また、カメラ１１が位置を変えることが可能である場合に、上記ズーム機能は、カメラ１１の位置を変えることによるズーム機能であってもよい。一例として、上記ズーム機能は、ドリーによるズーム機能であってもよい。例えば、被写体に向かってカメラ１１を動かすことによりズームインを行い、カメラ１１が被写体から離れる方向にカメラ１１を動かすことによりズームアウトを行ってもよい。なお、ドリーによるズームは、光学ズーム又はデジタルズームのように、精緻なズームである必要はない。例えば、ズームインでは、被写体がより大きく写った撮像画像が生成されればよく、ズームアウトでは、被写体がより小さく写った撮像画像が生成されればよい。

（マイクロフォン１３）
マイクロフォン１３は、当該マイクロフォン１３の周囲の音を集音する。センタオフィス１０には、複数のマイクロフォン１３が設置される。そして、設置された各マイクロフォン１３は、センタオフィス内のそれぞれの設置位置の周囲の音を集音する。このように、情報処理システムでは、センタオフィス１０内の様々な位置での音が集音される。

（センサ１５）
センサ１５は、様々な種類のセンサを含み得る。例えば、センサ１５は、人物が座席にいるか否かを判定する座席センサを含む。当該座席センサは、各座席に設置され、各座席に人物が座っているか否かを判定する。座席センサは、例えば、押圧を検出可能ないずれかのセンサである。

（メディア配信サーバ１７）
メディア配信サーバ１７は、要求に応じて端末装置にメディア（例えば、音声、映像等）を配信する。

（情報管理サーバ２００）
情報管理サーバ２００は、情報処理システムにおいて用いられる様々な情報を管理する。即ち、情報管理サーバ２００は、当該様々な情報を記憶し、適時に当該様々な情報を更新する。

例えば、情報管理サーバ２００は、カメラ１１、マイクロフォン１３及びセンサ１５に関するパラメータを管理する。具体的には、例えば、情報管理サーバ２００は、カメラ１１のパラメータとして、カメラ１１の設置位置、撮像方向（例えば、カメラのレンズと垂直な方向）、ズーム率等の情報を記憶し、更新する。

また、例えば、情報管理サーバ２００は、実空間に対応する３次元仮想空間のデータを管理する。当該３次元仮想空間は、例えば、センタオフィス１０を模した３次元仮想空間である。また、当該３次元仮想空間には、オブジェクトが配置される。例えば、当該オブジェクトは、人物に対応する。そして、当該オブジェクトは、センタオフィス１０の各座席の位置に対応する上記３次元仮想空間内の３次元仮想位置に配置される。即ち、人物が座席に座っている場合には当該人物が存在するであろう位置に対応する３次元仮想位置に、上記オブジェクトが配置される。一例として、当該オブジェクトは、円柱のオブジェクトである。３次元仮想空間については後述する。

（ＬＡＮ１９）
また、ＬＡＮ１９は、センタオフィス１０内の各装置を接続するネットワークである。また、ＬＡＮ１９は、外部ネットワーク３０を介して、センタオフィス１０内の各装置とセンタオフィス１０外の装置とを接続する。当該外部ネットワーク３０は、例えば、インターネットを含む。

（端末装置１００）
端末装置１００は、ユーザにより使用される。例えば、端末装置１００は、電話、メール等のコミュニケーションを行うための機能をユーザに提供する。端末装置１００は、一例としてタブレット端末である。なお、端末装置１００は、タブレット端末の代わりに、スマートフォン、ＰＣ（Personal Computer）、ディスプレイ付き電話機等の、表示機能及び通信機能を有する別の装置であってもよい。

（ディスプレイ２１）
ディスプレイ２１は、いずれかの画面を表示する。例えば、ディスプレイ２１は、カメラ１１を通じて生成された撮像画像を含む画面を表示する。これにより、端末装置１００のユーザを含む多数の人物が、ディスプレイ２１を介してセンタオフィス１０の様子を見ることができる。

また、ディスプレイ２１は、例えば、いずれかの音声も出力する。例えば、ディスプレイ２１は、マイクロフォン１３により集音される音声を出力する。これにより、端末装置１００のユーザを含む多数の人物が、ディスプレイ２１を介してセンタオフィス１０の音を聞くことができる。

（ＬＡＮ２３）
また、ＬＡＮ２３は、サテライトオフィス２０（又はホームオフィス２０）内の各装置を接続するネットワークである。また、ＬＡＮ２３は、外部ネットワーク３０を介して、サテライトオフィス２０内の各装置とサテライトオフィス２０外の装置とを接続する。

（ＰＢＸ４０）
ＰＢＸ４０は、外部ネットワーク３０を介した装置間の通信を可能にする。ＰＢＸ４０は、例えば、Ｈ．３２３又はＳＩＰ（Session Initiation Protocol）に従って動作する。

具体的には、例えば、ＰＢＸ４０は、通信用の識別情報（例えば、電話番号）とＩＰ（Internet Protocol）アドレスとを、互いに対応付けて記憶する。そして、ＰＢＸ４０は、要求に応じて、通信用の識別情報をＩＰアドレスに変換し、当該ＩＰアドレスを要求元に提供する。

なお、ＰＢＸ４０は、ＬＡＮ１９又はＬＡＮ２３に接続されてもよい。

＜＜２．端末装置の構成＞＞
続いて、図２〜図１９を参照して、本実施形態に係る端末装置１００の構成の一例を説明する。

＜２−１．ハードウェア構成＞＞
まず、図２を参照して、本実施形態に係る端末装置１００のハードウェア構成の一例を説明する。図２は、本実施形態に係る端末装置１００のハードウェア構成の一例を示すブロック図である。図２を参照すると、端末装置１００は、ＣＰＵ（Central Processing Unit）８０１、ＲＯＭ（Read Only Memory）８０３、ＲＡＭ（Random Access Memory）８０５、バス８０７、記憶装置８０９、通信インターフェース８１１、カメラ８１３、マイクロフォン８１５、スピーカ８１７及びタッチパネル８２０を備える。

ＣＰＵ８０１は、端末装置１００における様々な処理を実行する。また、ＲＯＭ８０３は、端末装置１００における処理をＣＰＵ８０１に実行させるためのプログラム及びデータを記憶する。また、ＲＡＭ８０５は、ＣＰＵ８０１の処理の実行時に、プログラム及びデータを一時的に記憶する。

バス８０７は、ＣＰＵ８０１、ＲＯＭ８０３及びＲＡＭを相互に接続する。バス８０７には、さらに、記憶装置８０９、通信インターフェース８１１、カメラ８１３、マイクロフォン８１５、スピーカ８１７及びタッチパネル８２０が接続される。バス８０７は、例えば、複数の種類のバスを含む。一例として、バス８０７は、ＣＰＵ８０１、ＲＯＭ８０３及びＲＡＭ８０５を接続する高速バスと、当該高速バスよりも低速の１つ以上の別のバスを含む。

記憶装置８０９は、端末装置１００内で一時的又は恒久的に保存すべきデータを記憶する。記憶装置８０９は、例えば、ハードディスク（Hard Disk）等の磁気記憶装置であってもよく、又は、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）、ＭＲＡＭ（Magnetoresistive Random Access Memory）、ＦｅＲＡＭ（Ferroelectric Random Access Memory）及びＰＲＡＭ（Phase change Random Access Memory）等の不揮発性メモリ（nonvolatile memory）であってもよい。

通信インターフェース８１１は、端末装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）外部装置と通信する。通信インターフェース８１１は、無線通信用のインターフェースであってもよく、この場合に、例えば、通信アンテナ、ＲＦ回路及びその他の通信処理用の回路を含んでもよい。また、通信インターフェース８１１は、有線通信用のインターフェースであってもよく、この場合に、例えば、ＬＡＮ端子、伝送回路及びその他の通信処理用の回路を含んでもよい。

カメラ８１３は、被写体を撮像する。カメラ８１３は、例えば、光学系、撮像素子及び画像処理回路を含む。

マイクロフォン８１５は、周囲の音を集音する。マイクロフォン８１５は、周囲の音を電気信号へ変換し、当該電気信号をデジタルデータに変換する。

スピーカ８１７は、音声を出力する。スピーカ８１７は、デジタルデータを電気信号に変換し、当該電気信号を音声に変換する。

タッチパネル８２０は、タッチ検出面８２１及び表示面８２３を含む。

タッチ検出面８２１は、タッチパネル８２０におけるタッチ位置を検出する。より具体的には、例えば、ユーザが、タッチパネル８２０にタッチすると、タッチ検出面８２１は、当該タッチを感知し、当該タッチの位置に応じた電気信号を生成し、そして当該電気信号をタッチ位置の情報に変換する。タッチ検出面８２１は、例えば、静電容量方式、抵抗膜方式、光学式等の任意のタッチ検出方式に従って形成され得る。

表示面８２３は、端末装置１００からの出力画像（即ち、表示画面）を表示する。表示面８２３は、例えば、液晶、有機ＥＬ（Organic Light-Emitting Diode：ＯＬＥＤ）、ＣＲＴ（Cathode Ray Tube）等を用いて実現され得る。

＜２−２．機能構成＞＞
次に、本実施形態に係る端末装置１００の機能構成の一例を説明する。図３は、本実施形態に係る端末装置１００の機能構成の一例を示すブロック図である。図３を参照すると、端末装置１００は、通信部１１０、入力部１２０、撮像部１３０、集音部１４０、表示部１５０、音声出力部１６０、記憶部１７０及び制御部１８０を備える。

（通信部１１０）
通信部１１０は、他の装置と通信する。例えば、通信部１１０は、ＬＡＮ２３に直接的に接続され、サテライトオフィス２０内の各装置と通信する。また、通信部１１０は、外部ネットワーク３０及びＬＡＮ１９を介して、センタオフィス１０内の各装置と通信する。具体的には、例えば、通信部１１０は、カメラ１１、マイクロフォン１３、センサ１５、メディア配信サーバ１７及び情報管理サーバ２００と通信する。なお、通信部１１０は、例えば、通信インターフェース８１１により実装され得る。

（入力部１２０）
入力部１２０は、端末装置１００のユーザによる入力を受け付ける。そして、入力部１２０は、入力結果を制御部１８０へ提供する。

例えば、入力部１２０は、表示画面においてユーザにより指定される位置を検出する。より具体的には、例えば、入力部１２０は、タッチ検出面８２１により実装され、タッチパネル８２０におけるタッチ位置を検出する。そして、入力部１２０は、検出されたタッチ位置を制御部１８０へ提供する。

（撮像部１３０）
撮像部１３０は、被写体を撮像する。例えば、撮像部１３０は、端末装置１００の正面方向の領域を撮像する。この場合に、撮像部１３０は、端末装置１００のユーザを撮像する。撮像部１３０は、撮像結果（即ち、撮像画像）を制御部１８０に提供する。なお、撮像部１３０は、例えば、カメラ８１３により実装され得る。

（集音部１４０）
集音部１４０は、端末装置１００の周囲の音を集音する。例えば、集音部１４０は、端末装置１００のユーザの声を集音する。集音部１４０は、集音結果（即ち、音声データ）を制御部１８０に提供する。なお、集音部１４０は、例えば、マイクロフォン８１５により実装され得る。

（表示部１５０）
表示部１５０は、端末装置１００からの出力画像（即ち、表示画面）を表示する。表示部１５０は、制御部１８０による制御に応じて表示画面を表示する。なお、表示部１５０は、例えば、表示面８２３により実装され得る。

（音声出力部１６０）
音声出力部１６０は、端末装置１００から音声を出力する。音声出力部１６０は、制御部１８０による制御に応じて音声を出力する。なお、音声出力部１６０は、例えば、スピーカ８１７により実装され得る。

（記憶部１７０）
記憶部１７０は、端末装置１００の動作のためのプログラム及びデータを記憶する。なお、記憶部１７０は、例えば、記憶装置８０９により実装され得る。

例えば、記憶部１７０は、実空間に対応する３次元仮想空間のデータを記憶する。具体的には、例えば、情報管理サーバ２００が、センタオフィス１０に対応する３次元仮想空間のデータを記憶しているので、制御部１８０が、通信部１１０を介して、上記３次元仮想空間のデータを取得する。そして、記憶部１７０は、取得された当該３次元仮想空間のデータを記憶する。

（制御部１８０）
制御部１８０は、端末装置１００の様々な機能を提供する。制御部１８０は、実空間情報提供部１８１、位置取得部１８３、オブジェクト選択部１８５、ＩＤ取得部１８７、電話部１８９、カメラライン制御部１９１、カメラライン選別部１９３及びカメラライン推薦部１９５を含む。なお、制御部１８０は、例えば、ＣＰＵ８０１、ＲＯＭ８０３及びＲＡＭ８０５により実装され得る。

（実空間情報提供部１８１）
実空間情報提供部１８１は、実空間の情報を端末装置１００のユーザに提供する。

例えば、実空間情報提供部１８１は、表示部１５０に、実空間の撮像画像の表示画面を表示させる。より具体的には、例えば、当該撮像画像は、実空間（センタオフィス１０）内にあるカメラ１１を通じて生成される撮像画像である。当該撮像画像は、カメラ１１により生成された撮像画像であってもよく、又は、カメラ１１により生成された撮像画像を加工することにより生成された撮像画像であってもよい。また、上記表示画面は、当該撮像画像を一部又は全体に含む画面である。

実空間情報提供部１８１は、通信部１１０を介して、カメラ１１により生成される撮像画像を取得する。そして、実空間情報提供部１８１は、撮像画像を含む表示画面を生成し、表示部１５０に当該表示画面を表示させる。

また、例えば、上記撮像画像は、実空間内にある複数の撮像装置のうちの選択された１つの撮像装置を通じて生成された撮像画像である。より具体的には、例えば、上記撮像画像は、センタオフィス１０に配置された複数のカメラ１１のうちの選択された１つのカメラ１１を通じて生成された撮像画像である。ユーザがカメラ１１をどのように選択するかに関する具体的な手法は後述する。カメラ１１を選択できるので、ユーザは所望の位置からの撮像画像を見ることができる。そして、後述するように撮像画像の位置を指定する際に、ユーザはより望ましい撮像画像で位置を指定することができる。

また、例えば、上記表示画面は、表示モードに応じた撮像画像を含む。より具体的には、例えば、上記表示画面は、第１の表示モードでは、実空間の第１の領域が撮像された第１の撮像画像を含み、第２の表示モードでは、第１の領域よりも狭い第２の領域が撮像された第２の撮像画像を含む。即ち、実空間情報提供部１８１は、第１の表示モードでは、上記第１の撮像画像を表示部１５０に表示させ、第２の表示モードでは、上記第２の撮像画像を表示部１５０に表示させる。

さらに具体的には、例えば、上記第１の撮像画像は、第１のズーム率に対応する撮像画像である。そして、上記第２の撮像画像は、上記第１のズーム率よりも大きい第２のズーム率に対応する撮像画像である。例えば、実空間情報提供部１８１は、通信部１１０を介して、カメラ１１へのズーム（光学ズーム、デジタルズーム、又は撮像装置の位置の変更によるズーム（例えば、ドリーによるズーム））に関する要求を行うことにより、第１のズーム率に対応する撮像画像、又は第２のズーム率に対応する撮像画像を取得する。または、実空間情報提供部１８１は、カメラ１１により生成された撮像画像に対するデジタルズームにより、第１のズーム率に対応する撮像画像、又は第２のズーム率に対応する撮像画像を生成してもよい。なお、ここでのズーム率は、１．５倍、２倍等の精緻な値である必要はなく、被写体が撮像画像に写る大きさの程度を直接的又は間接的に示すものであればよい。例えば、とりわけカメラ１１の位置の変更によるズーム（例えば、ドリーによるズームイン及びズームアウト）が用いられる場合には、ズーム率は、１．５倍、２倍等の精緻な値ではなく、被写体の大きさの程度を直接的に示すもの（例えば、被写体の概ねの大きさの程度を示すパラメータ、等）、又は、被写体の大きさの程度を間接的に示すもの（例えば、レールにおけるカメラ１１の位置、等）であってもよい。第１のズーム率に対応する撮像画像は、被写体がより小さく写っている撮像画像であり、第１のズーム率よりも大きい第２のズーム率に対応する撮像画像は、被写体がより大きく写っている撮像画像であればよい。

一例として、上記表示画面は、俯瞰モードでは、Ｘ倍のズーム率（例えば、Ｘ＝１）での撮像でカメラ１１により生成された俯瞰撮像画像を含み、近接モードでは、Ｙ倍のズーム率（Ｙ＞Ｘ）での撮像でカメラ１１により生成された近接撮像画像を含む。即ち、俯瞰撮像画像は、センタオフィス１０のより広い領域が撮像された撮像画像であり、近接撮像画像は、センタオフィス１０のより狭い領域が撮像された撮像画像である。以下、この点について図４及び図５を参照して具体例を説明する。

−俯瞰モードで表示される表示画面
図４は、俯瞰モードで表示される表示画面の一例を説明するための説明図である。図４を参照すると、俯瞰モードで表示される表示画面６０が示されている。表示画面６０は、俯瞰撮像画像６１、ボタン画像６３、プレゼンスアイコン６５、吹き出し画像６７及びマップ画像６９を含む。

俯瞰撮像画像６１は、例えば、Ｘ倍のズーム率での撮像でカメラ１１により生成された撮像画像である。一例として、Ｘ＝１である。即ち、俯瞰撮像画像６１は、ズームなしの撮像でカメラ１１により生成された撮像画像である。

また、例えば、ユーザが、俯瞰撮像画像６１の位置を指定すると、実空間情報提供部１８１は、表示モードを俯瞰モードから近接モードに切り替える。より具体的には、例えば、ユーザが俯瞰撮像画像６１の位置をタッチし、俯瞰撮像画像６１に対応するタッチ位置が検出されると、実空間情報提供部１８１は、表示モードを俯瞰モードから近接モードに切り替える。

また、ボタン画像６３は、別のカメラ１１を選択するための画像である。例えば、ユーザが、ボタン画像６３の位置を指定すると、実空間情報提供部１８１は、別のカメラ１１により生成された俯瞰撮像画像を取得し、表示部１５０に当該俯瞰撮像画像を表示させる。より具体的には、例えば、ユーザがボタン画像６３の位置をタッチし、ボタン画像６３に対応するタッチ位置が検出されると、実空間情報提供部１８１は、別のカメラ１１により生成された俯瞰撮像画像を取得し、表示部１５０に当該俯瞰撮像画像を表示させる。例えば、ボタン画像６３Ａの位置がユーザにより指定されると、現在のカメラ１１の左側に位置するカメラ１１が選択される。また、ボタン画像６３Ｂの位置がユーザにより指定されると、現在のカメラ１１の右側に位置するカメラ１１が選択される。そして、実空間情報提供部１８１は、選択されたカメラ１１により生成された俯瞰撮像画像を取得し、表示部１５０に、当該俯瞰撮像画像を表示させる。

また、プレゼンスアイコン６５は、撮像画像６１に写る人物の繁忙度を示すアイコンである。例えば、プレゼンスアイコン６５は、人物の繁忙度に応じて色が変わる。一例として、プレゼンスアイコンは、赤色の場合に繁忙度が高いことを示し、黄色の場合に繁忙度が普通であることを示し、青色の倍に繁忙度が低いことを示す。後述するように、撮像画像６１のうちのどこに人物が写っているはずであるかが分かるので、このようなアイコンを表示することも可能である。

例えばこのように、表示画面６０は、例えば、俯瞰撮像画像６１に写る人物に関連する情報（以下、「人物関連情報」と呼ぶ）を含む。そして、人物関連情報は、例えば、上記人物の状態を示す状態情報を含む。上述したように、当該状態情報は、一例としてプレゼンスアイコン６５である。なお、人物関連情報は、２つ以上の時点における上記人物の状態を示す状態履歴を含んでもよい。一例として、当該状態履歴情報は、撮像画像６１に写る人物の繁忙度の履歴を含んでもよい。即ち、表示画面６０に、人物の繁忙度の履歴が表示されてもよい。実空間情報提供部１８１は、例えば、通信部１１０を介して、情報管理サーバ２００から人物関連情報、又は人物関連情報の表示に必要な情報を取得する。

このような人物関連情報により、ユーザは、人物が置かれている状況をより的確に把握することができる。また、状態情報により、ユーザは、人物にコンタクトしてもよいかをより的確に判断することができる。また、状態履歴により、ユーザは、瞬時のユーザの状態だけではなく、ある期間でのユーザの状態を把握することができるので、ユーザは、人物にコンタクトしてもよいかをさらに的確に判断することができる。

また、吹き出し画像６７は、撮像画像６１に写る人物により提示される文字情報を含む画像である。吹き出し画像６７も、人物関連情報の一例である。

また、マップ画像６９は、センタオフィス１０のマップを示す画像である。マップ画像６９は、さらに、使用しているカメラ１１をアイコンにより示す。なお、とりわけセンタオフィス１０内に１つ又は少数のカメラ１１しか設置されない場合には、マップ画像６９は省略され得る。

−近接モードで表示される表示画面
図５は、近接モードで表示される表示画面の一例を説明するための説明図である。図５を参照すると、近接モードで表示される表示画面７０が示されている。表示画面７０は、近接撮像画像７１、ボタン画像７３及びマップ画像７５を含む。

近接撮像画像７１は、例えば、Ｙ倍のズーム率（Ｙ＞Ｘ）での撮像でカメラ１１により生成された撮像画像である。一例として、Ｙ＝１．５である。即ち、俯瞰撮像画像６１は、１．５倍ズームの撮像でカメラ１１により生成された撮像画像である。

また、ボタン画像７３は、表示モードを近接モードから俯瞰モードに切り替えるための画像である。例えば、ユーザが、ボタン画像７３の位置を指定すると、実空間情報提供部１８１は、表示モードを近接モードから俯瞰モードに切り替える。より具体的には、例えば、ユーザがボタン画像７３の位置をタッチし、ボタン画像７３に対応するタッチ位置が検出されると、実空間情報提供部１８１は、表示モードを近接モードから俯瞰モードに切り替える。

また、マップ画像７５は、俯瞰モードにおけるマップ画像６９と同様に、センタオフィス１０のマップを示す画像である。マップ画像７５は、さらに、使用しているカメラ１１を示す。例えば、近接モードでは、ズームされたことを象徴的に示すために、マップ画像７５の中の使用しているカメラのアイコンが、より前進した位置に表示される。なお、俯瞰モードにおけるマップ画像６９と同様に、とりわけセンタオフィス１０内に１つ又は少数のカメラ１１しか設置されない場合には、マップ画像７５は省略され得る。

なお、近接モードで表示される表示画面７０にも、プレゼンスアイコン、吹き出し画像等の人物関連情報が含まれてもよい。

以上のように表示モードによれば、より広い領域が撮像された撮像画像が表示されることにより、ユーザは実空間の全体的な状況を見ることができ、また特定の人物を容易に見つけることができる。そして、より狭い領域が撮像された撮像画像が表示されることにより、ユーザは特定の人物の位置をより容易に指定することができる。また、表示モードを切り替えるのみなので、ユーザには容易な操作しか求められない。また、より広い領域が撮像された撮像画像とより狭い領域が撮像された撮像画像とが、ズーム率が異なる撮像画像なので、ユーザは、これらの撮像画像間の関係を直感的に容易に把握することができる。よって、ユーザは、表示モードが切り替わったとしても、特定の人物を容易に見つけ、当該特定の人物の位置を指定することができる。

−その他の実空間情報
以上のように、実空間情報提供部１８１は、表示部１５０に実空間の撮像画像の表示画面を表示させることにより、実空間の視覚的な情報を提供する。さらに、実空間情報提供部１８１は、実空間の聴覚的な情報も提供してもよい。即ち、実空間情報提供部１８１は、音声出力部１６０に、実空間での集音により得られた音声データの音声を出力させてもよい。

例えば、実空間情報提供部１８１は、選択されたカメラ１１に近いマイクロフォン１３を選択する。そして、実空間情報提供部１８１は、通信部１１０を介して、マイクロフォン１３から、センタオフィス１０での集音により得られた音声データを取得する。そして、実空間情報提供部１８１は、音声出力部１６０に、取得した音声データの音声を出力させてもよい。

（位置取得部１８３）
位置取得部１８３は、実空間の撮像画像の表示画面においてユーザにより指定される上記撮像画像内の位置を取得する。より具体的には、例えば、入力部１２０が、実空間の撮像画像の表示画面においてユーザにより指定される上記撮像画像内の位置を検出すると、位置取得部１８３は、当該位置を取得する。そして、位置取得部１８３は、当該撮像画像内の位置をオブジェクト選択部１８５に提供する。

一例として、位置取得部１８３は、近接撮像画像７１内のいずれかの位置を取得した場合に、当該位置をオブジェクト選択部１８５に提供する。以下、この点について図６及び図７を参照して具体例を説明する。

図６は、ユーザにより指定される近接撮像画像内の位置の第１の例を説明するための説明図である。図６を参照すると、近接モードで表示される表示画面に含まれる近接撮像画像７１、及びユーザの手３が、示されている。また、近接撮像画像７１に写る人物７７が示されている。そして、ユーザは、手３で人物７７の位置をタッチすることにより、近接撮像画像７１の人物７７の位置を指定している。この場合に、入力部１２０は、近接撮像画像７１の人物７７の上記位置を検出し、位置取得部１８３は、当該位置を取得する。そして、入力部１２０は、取得した当該位置をオブジェクト選択部１８５に提供する。

図７は、ユーザにより指定される近接撮像画像内の位置の第２の例を説明するための説明図である。図７を参照すると、近接撮像画像７１に写る人物７７Ａ及び７７Ｂが示されている。そして、ユーザは、手３で人物７７Ａの位置をタッチすることにより、近接撮像画像７１の人物７７Ａの位置を指定している。この場合に、入力部１２０は、近接撮像画像７１の人物７７Ａの上記位置を検出し、位置取得部１８３は、当該位置を取得する。そして、入力部１２０は、取得した当該位置をオブジェクト選択部１８５に提供する。

（オブジェクト選択部１８５）
オブジェクト選択部１８５は、取得される撮像画像内の位置に基づいて、実空間に対応する３次元仮想空間に配置されたオブジェクトを選択する。例えば、位置取得部１８３が、実空間の撮像画像の表示画面においてユーザにより指定される上記撮像画像内の位置を取得すると、オブジェクト選択部１８５は、当該位置に基づいて、上記実空間に対応する３次元仮想空間に配置されたオブジェクトを選択する。

上記オブジェクトは、上記撮像画像内の上記位置に対応する上記３次元仮想空間内の３次元仮想位置に配置されたオブジェクトである。また、例えば、上記撮像画像は、上記第２のモード（例えば、近接モード）で表示画面に含まれる撮像画像である。

一例として、位置取得部１８３が、カメラ１１により生成された近接撮像画像内の位置を取得すると、オブジェクト選択部１８５は、センタオフィス１０に対応する３次元仮想空間に配置されたオブジェクトのうちの、上記位置に対応するオブジェクトを選択する。なお、オブジェクト選択部１８５は、例えば、センタオフィス１０に対応する３次元仮想空間のデータを記憶部１７０から取得する。

−１つのオブジェクトが配置されている場合の例
以下、図８及び図９を参照して、３次元仮想空間に１つのオブジェクトが配置されている場合の具体例を説明する。

図８は、センタオフィス１０に対応する３次元仮想空間の第１の例を説明するための説明図である。図８を参照すると、センタオフィス１０に対応する３次元仮想空間９０が示されている。また、当該３次元仮想空間９０には、オブジェクト９１が配置されている。当該オブジェクト９１は、人物（例えば、Ａ氏）に対応する。そして、当該オブジェクトは、センタオフィス１０の当該人物（例えば、Ａ氏）の座席の位置に対応する３次元仮想位置に配置される。即ち、上記人物が座席に座っている場合には上記人物が存在するであろう位置に対応する３次元仮想位置に、上記オブジェクト９１が配置される。この例では、オブジェクト９１は、円柱のオブジェクトである。当該円柱のオブジェクトは、半径Ｒ及び高さＨを伴う円柱のオブジェクトである。半径Ｒ及び高さＨは、例えば、予め定められる。なお、３次元仮想空間９０のデータには、各カメラ１１に関連する情報も含まれている。例えば、各カメラ１１に関連する情報は、各カメラ１１の設置位置に対応する３次元仮想位置、撮像方向（例えば、カメラのレンズと垂直な方向）、画角等を含む。

図９は、図８に示される３次元仮想空間に配置されたオブジェクトの選択の例を説明するための説明図である。図９を参照すると、容易な理解のために、３次元仮想空間９０における水平面における位置関係が示されている。具体的には、３次元仮想空間９０に配置されたオブジェクト９１、撮像に用いられるカメラ１１の設置位置に対応する３次元仮想位置（以下、「仮想カメラ位置」と呼ぶ）Ｏ、カメラ１１の撮像方向（例えば、カメラのレンズと垂直な方向）に対応する軸ｙ、及び、軸ｙと直交する軸ｘが、示されている。この例では、容易な理解のために、カメラ１１は、当該カメラ１１の撮像方向が水平面に平行になるように設置されているものとする。

さらに、カメラ１１の画角θも示されている。また、カメラ１１の撮像方向に対応する軸ｙに垂直であり、且つ画角θに対応する幅を有する仮想面９３が示されている。また、仮想面９３は、仮想カメラ位置Ｏから距離Ｉだけ離れている。そして、仮想面９３は、四角形の面であり、撮像画像と同一の縦横比を有する。即ち、仮想面９３は、撮像画像に対応する面である。

オブジェクト選択部１８５は、例えば、図６に示されるようにユーザにより指定される上記撮像画像内の位置を、３次元仮想位置Ａに変換する。そして、オブジェクト選択部１８５は、仮想カメラ位置Ｏと３次元仮想位置Ａとを通る直線に交わるオブジェクトを特定する。この例では、オブジェクト選択部１８５は、オブジェクト９１を特定する。そして、オブジェクト選択部１８５は、オブジェクト９１を選択する。

図９の例では、例えば、仮想面９３のうちの３次元仮想位置Ｂと３次元仮想位置Ｄとの間にある３次元仮想位置に変換される撮像画像内の位置が、撮像画像内でユーザにより指定されると、オブジェクト９１が選択される。なお、このような位置は、概ね、撮像画像においてオブジェクト９１に対応する人物が写っている位置である。

なお、距離Ｉは、仮想カメラ位置Ｏとオブジェクト９１との間に仮想面９３が位置するように決定される。一例として、距離Ｉは、カメラ１１の焦点距離であるが、当然ながらこれに限られない。

また、容易な説明のために、３次元仮想空間９０の水平面に着目してオブジェクトを選択する手法を説明したが、当然ながら、垂直方向（例えば、ｚ軸）を加えたとしても、撮像画像内の位置を３次元仮想位置に変換して当該３次元仮想位置からオブジェクト９１を特定することが可能である。

例えば以上のように、撮像画像内の位置に対応するオブジェクトが選択される。上述した例では、撮像画像内の位置を３次元仮想位置に変換することにより、撮像画像内の位置に対応するオブジェクトが特定されたが、撮像画像内の位置に対応するオブジェクトを特定する手法は、これに限られない。

一例として、オブジェクト選択部１８５は、仮想カメラ位置Ｏを原点としてオブジェクト９１を仮想面９３に射影し、オブジェクト９１の射影範囲を、撮像画像内の範囲に変換してもよい。そして、ユーザにより指定される上記撮像画像内の位置が、上記範囲に含まれる場合に、オブジェクト選択部１８５は、オブジェクト９１を選択してもよい。

また、別の例として、仮想カメラ位置Ｏ、軸ｙ及び画角θを用いて３次元仮想空間９０のレンダリングを行うことにより、レンダリング画像を生成し、当該レンダリング画像のうちのオブジェクト９１が写っている範囲から、オブジェクト９１に対応する撮像画像内の範囲を得てもよい。そして、ユーザにより指定される上記撮像画像内の位置が、上記範囲に含まれる場合に、オブジェクト選択部１８５は、オブジェクト９１を選択してもよい。

−状態を考慮したオブジェクトの選択
また、例えば、３次元仮想空間９０に配置されるオブジェクト９１は、複数の状態のうちのいずれかの状態を示す状態情報に対応する。例えば、オブジェクト９１は、人物に対応する。そして、オブジェクト９１は、当該人物が座席に座っているか否かを示す状態情報（以下、「存否情報」と呼ぶ）に対応する。当該存否情報は、人物が座席に座っている状態、又は人物が座席に座っていない状態を示す。オブジェクト選択部１８５は、例えば、オブジェクト９１に対応する人物が座席に座っているか否かの判定結果を、通信部１１０を介してセンサ１５から取得する。そして、当該判定結果が存否情報となる。

そして、例えば、オブジェクト選択部１８５は、上記３次元仮想空間に配置されたオブジェクトであって、上記複数の状態のうちの所定の状態を示す状態情報に対応する上記オブジェクトを、選択する。例えば、オブジェクト選択部１８５は、上記３次元空間に配置されたオブジェクトであって、人物が座席に座っている状態を示す状態情報に対応するオブジェクトを、選択する。即ち、オブジェクト選択部１８５は、センサ１５により人物が座席に座っていると判定される場合には、当該人物に対応するオブジェクトを選択し得るが、センサ１５により人物が座席に座っていないと判定される場合には、当該人物に対応するオブジェクトを選択しない。

このように、人物の状態に応じてオブジェクトが選択されるので、本来選択されるべきでないオブジェクトが選択されることを回避することができる。例えば、人物がいない場合に当該人物に対応するオブジェクトが選択されてしまうことを、回避することができる。

−２つのオブジェクトが配置されている場合の例
また、３次元仮想空間内に２つ以上のオブジェクトが配置され得る。以下、２つのオブジェクトが配置される具体例を、図１０を参照して説明する。

図１０は、センタオフィス１０に対応する３次元仮想空間の第２の例を説明するための説明図である。図１０を参照すると、センタオフィス１０に対応する３次元仮想空間９０が示されている。また、当該３次元仮想空間９０には、オブジェクト９１Ａ及びオブジェクト９１Ｂが配置されている。オブジェクト９１Ａは、ある人物（例えば、Ａ氏）に対応し、センタオフィス１０の当該ある人物の座席の位置に対応する３次元仮想位置に配置される。また、オブジェクト９１Ｂは、ある人物（例えば、Ｂ氏）に対応し、センタオフィス１０の当該ある人物の座席の位置に対応する３次元仮想位置に配置される。図８の例と同様に、オブジェクト９１は、半径Ｒ及び高さＨを伴う円柱のオブジェクトである。

このように３次元仮想空間内に２つ以上のオブジェクトが配置される場合には、複数のオブジェクトが、ユーザにより指定される撮像画像内の位置に対応し得る。例えば、図１０の例において、オブジェクト９１Ａとオブジェクト９１Ｂの両方が、ユーザにより指定される撮像画像内の位置に対応し得る。一例として、図７に示されるように撮像画像内に２人の人物が写り得るような場合に、ユーザが、撮像画像において当該２人の人物が重なり合う位置を指定すると、当該２人の人物に対応する２つのオブジェクトが、上記位置に対応し得る。

そこで、このような場合（即ち、複数のオブジェクトが、ユーザにより指定される撮像画像の位置に対応する場合）には、オブジェクト選択部１８５は、上記複数のオブジェクトのうちのいずれか１つのオブジェクトを選択する。即ち、オブジェクト選択部１８５は、ユーザにより指定される撮像画像内の位置に対応する３次元仮想空間内の３次元仮想位置にそれぞれ配置された複数のオブジェクトがある場合に、当該複数のオブジェクトのうちのいずれか１つのオブジェクトを選択する。

例えば、上記撮像画像は、実空間内にある撮像装置を通じて生成される。そして、オブジェクト選択部１８５は、上記複数のオブジェクトのうちの、上記撮像装置に対応する３次元仮想空間内の３次元仮想位置により近いオブジェクトを選択する。より具体的には、例えば、撮像画像は、センタオフィス１０内にあるカメラ１１を通じて生成される。そして、オブジェクト選択部１８５は、ユーザにより指定される撮像画像内の位置に対応する複数のオブジェクトがある場合に、カメラ１１の設置位置に対応する３次元仮想位置（即ち、仮想カメラ位置Ｏ）により近いオブジェクトを選択する。以下、この点について図１０及び図１１を参照して具体例を説明する。

図１１は、図１０に示される３次元仮想空間に配置されたオブジェクトの選択の例を説明するための説明図である。図１１を参照すると、容易な理解のために、３次元仮想空間９０における水平面における位置関係が示されている。具体的には、３次元仮想空間９０に配置されたオブジェクト９１Ａ及びオブジェクト９１Ｂが示されている。また、図９と同様に、仮想カメラ位置Ｏ、軸ｙ、軸ｘ、画角θ及び仮想面９３が、示されている。この例でも、図９と同様に、容易な理解のために、カメラ１１は、当該カメラ１１の撮像方向が水平面に平行になるように設置されているものとする。

例えば、図７に示されるようにユーザにより上記撮像画像内の位置が指定される。この場合に、図９を参照して説明した手法に従うと、撮像画像内の上記位置が、３次元仮想位置Ｂ’と３次元仮想位置Ｄとの間にある３次元仮想位置に変換される場合には、オブジェクト９１Ａ及びオブジェクト９１Ｂの両方が、撮像画像内の上記位置に対応するオブジェクトとして特定される。そして、オブジェクト選択部１８５は、オブジェクト９１Ａ及びオブジェクト９１Ｂのうちの、仮想カメラ位置Ｏにより近いオブジェクト９１Ａを選択する。

なお、ユーザにより指定される撮像画像内の位置が、３次元仮想位置Ｂと３次元仮想位置Ｂ’との間にある３次元仮想位置に変換される場合には、オブジェクト９１Ａが、上記撮像画像内の位置に対応するオブジェクトとして特定され、選択される。また、ユーザにより指定される撮像画像内の位置が、３次元仮想位置Ｄと３次元仮想位置Ｄ’との間にある３次元仮想位置に変換される場合には、オブジェクト９１Ｂが、上記撮像画像内の位置に対応するオブジェクトとして特定され、選択される。

このように複数のオブジェクトから１つのオブジェクトが選択されることにより、複数のオブジェクトが選択されてその後の処理でエラー（複数の通信用ＩＤを取得することによるエラー）が発生することを、回避することができる。また、複数のオブジェクトのうちのカメラ１１に対応する仮想カメラ位置に近いオブジェクトが選択されることにより、例えば、撮像画像において人物が重なりあっているような場合でも、手前に写っている人物に対応するオブジェクトが選択される。よって、ユーザが意図した人物に対応するオブジェクトが選択される。

以上のように、オブジェクト選択部１８５は、オブジェクトを選択する。そして、オブジェクト選択部１８５は、選択したオブジェクトの識別情報（以下、「オブジェクトＩＤ」と呼ぶ）をＩＤ取得部１８７に提供する。当該オブジェクトＩＤは、選択されたオブジェクトに対応する人物の識別情報であってもよく、又は、選択されたオブジェクトに付された単なる番号であってもよい。

（ＩＤ取得部１８７）
ＩＤ取得部１８７は、選択される上記オブジェクトに対応する識別情報を取得する。例えば、当該識別情報は、選択される上記オブジェクトに対応する通信用の識別情報（以下、「通信用ＩＤ」と呼ぶ）である。当該通信用ＩＤは、一例として電話番号である。

具体的には、例えば、オブジェクト選択部１８５が、オブジェクトを選択すると、ＩＤ取得部１８７は、選択された当該オブジェクトのオブジェクトＩＤを取得する。そして、オブジェクト選択部１８５は、通信部１１０を介して、オブジェクトＩＤを情報管理サーバ２００へ送信し、オブジェクトＩＤに対応する通信用ＩＤを取得する。当該通信用ＩＤは、選択されたオブジェクトに対応する人物の通信用ＩＤである。

例えば以上のように、ＩＤ取得部１８７は、選択されるオブジェクトに対応する通信用ＩＤを取得する。当該通信用ＩＤは、オブジェクトに対応する人物（即ち、ユーザにより指定された撮像画像の位置に写っている人物）の通信装置の通信用ＩＤである。そして、ＩＤ取得部１８７は、取得した通信用ＩＤを電話部１８９に提供する。

以上のように、ユーザにより撮像画像内の位置が指定されると、当該位置に対応するオブジェクトが選択され、当該オブジェクトに対応する通信用ＩＤが取得される。これにより、ユーザは、直感的な操作で対象の人物にコンタクトすることが可能になる。また、撮像画像において人物がどのように写っているかによらず、当該人物に対応するオブジェクトが選択され、通信用ＩＤが取得されるので、より確実に当該人物にコンタクトすることが可能になる。

（電話部１８９）
電話部１８９は、電話を行うための機能を提供する。例えば、電話部１８９は、ソフトフォンの機能を提供する。

例えば、電話部１８９は、ＩＤ取得部１８７により提供される通信用ＩＤを取得すると、当該通信用ＩＤを用いて電話発信を行う。より具体的には、例えば、電話部１８９は、通信用ＩＤを取得すると、通信部１１０を介して、当該通信用ＩＤをＰＢＸ４０に提供し、ＰＢＸ４０からＩＰアドレスを取得する。そして、電話部１８９は、当該ＩＰアドレスを有する通信装置（即ち、着信先の通信装置）との間で、セッションを確立するための一連のシーケンスを実行する。

このように、電話部１８９は、表示画面においてユーザにより指定された撮像画像内の位置に写る人物への電話のための電話発信を行う。即ち、電話部１８９は、当該人物の通信装置への電話発信を行う。

また、電話の相手先の通信装置からの音声データが、通信部１１０により受信されると、電話部１８９は、音声出力部１６０に、当該音声データの音声を出力させる。また、電話部１８９は、通信部１１０に、集音部１４０により提供される音声データを電話の相手先の通信装置へ送信させる。また、電話部１８９は、例えば、通信部１１０に、撮像部１３０により提供される撮像画像（例えば、端末装置１００のユーザが写っている撮像画像）も電話の相手先の通信装置へ送信させる。

また、電話部１８９は、表示部１５０に、電話時の表示画面を表示させる。例えば、電話時の表示画面を表示する表示モードを、会話モードと呼ぶ。この場合に、電話部１８９は、ＩＤ取得部１８７により提供される通信用ＩＤを取得すると、表示モードを、近接モードから会話モードへ切り替える。以下、会話モードの表示画面について図１２を参照して具体例を説明する。

図１２は、会話モードで表示される表示画面の一例を説明するための説明図である。図１２を参照すると、会話モードで表示される表示画面８０が示されている。表示画面８０は、相手側撮像画像８１、ボタン画像８３及び自分側撮像画像８５を含む。

相手側撮像画像８１は、例えば、電話の相手先の通信装置から取得された撮像画像である。例えば、電話の相手先の通信装置からの撮像画像が、通信部１１０により受信されると、電話部１８９は、当該撮像画像を相手側撮像画像８１として利用する。

また、ボタン画像６３は、電話を終了させるための画像である。例えば、ユーザが、ボタン画像８３の位置を指定すると、電話部１８９は、電話を終了させる。より具体的には、例えば、ユーザがボタン画像８３の位置をタッチし、ボタン画像８３に対応するタッチ位置が検出されると、電話部１８９は、セッションの切断を含む電話終了用のシーケンスを実行する。また、例えば、電話部１８９は、表示モードを会話モードから俯瞰モードに切り替える。

自分側撮像画像８５は、撮像部１３０により提供される撮像画像である。

（その他：表示モードの遷移）
ここでは、俯瞰モード、近接モード及び会話モードの遷移の具体例を図１３を参照して説明する。

図１３は、表示モードの遷移の一例を説明するための遷移図である。図１３を参照すると、例えばソフトウェアの起動時において、カメラ１１、マイクロフォン１３、センサ１５、情報管理サーバ２００等との接続処理が行われると、表示モードは、俯瞰モード３０１になる（ＥＮＴＲＹ）。

俯瞰モード３０１では、俯瞰モード処理が実行される（ＤＯ）。そして、ユーザが、俯瞰撮像画像６１の位置を指定すると、モード変更処理が行われ（ＥＸＩＴ）、表示モードは、俯瞰モード３０１から近接モード３０３に切り替わる。モード変更処理は、カメラ１１のズーム処理を含む（ＥＮＴＲＹ）。

近接モード３０３では、近接モード処理が実行される（ＤＯ）。そして、ユーザが、近接撮像画像７１のうちの人物が写っている位置を指定すると、モード変更処理が行われ（ＥＸＩＴ）、表示モードは、近接モード３０３から会話モード３０５に切り替わる。この場合のモード変更処理は、通話のための処理を含む（ＥＮＴＲＹ）。また、ユーザが、ボタン画像７３の位置を指定すると、モード変更処理が行われ（ＥＸＩＴ）、表示モードは、近接モード３０３から俯瞰モード３０１に切り替わる。この場合のモード変更処理は、上述した接続処理を含む（ＥＮＴＲＹ）。

会話モード３０５では、会話モード処理が実行される（ＤＯ）。また、ユーザが、ボタン画像８３の位置を指定すると、モード変更処理が行われ（ＥＸＩＴ）、表示モードは、会話モード３０５から俯瞰モード３０１に切り替わる。この場合のモード変更処理は、上述した接続処理を含む（ＥＮＴＲＹ）。

（その他：表示画面の別の例）
−表示モードに応じた撮像画像
上述したように、例えば、実空間情報提供部１８１は、第１の表示モード（例えば、俯瞰モード）では、実空間の第１の領域が撮像された第１の撮像画像（例えば、俯瞰撮像画像）を表示部１５０に表示させる。また、実空間情報提供部１８１は、第２の表示モード（例えば、近接モード）では、上記第１の領域よりも狭い第２の領域が撮像された第２の撮像画像（例えば、近接撮像画像）を表示部１５０に表示させる。そして、上述した例では、とりわけ、実空間の第１の領域が撮像された第１の撮像画像は、第１のズーム率に対応する撮像画像であり、上記第１の領域よりも狭い第２の領域が撮像された第２の撮像画像は、上記第１のズーム率よりも大きい第２のズーム率に対応する撮像画像である。しかしながら、上記第１の撮像画像及び上記第２の撮像画像はこれに限られない。

例えば、上記第１の撮像画像は、実空間内にある複数の撮像装置のうちの第１の撮像装置を通じて生成される撮像画像であり、上記第２の撮像画像は、上記複数の撮像装置のうちの第２の撮像装置を通じて生成される撮像画像であってもよい。この場合に、例えば、実空間情報提供部１８１は、俯瞰モードの際には、センタオフィス１０の広い領域を撮像するカメラ１１を選択し、当該カメラ１１により生成された撮像画像を俯瞰撮像画像として取得する。そして、実空間情報提供部１８１は、近接モードの際には、センタオフィス１０のより狭い領域を撮像するカメラ１１（例えば、より前方にあるカメラ）を選択し、当該カメラ１１により生成された撮像画像を近接撮像画像として取得する。

これにより、カメラ１１の配置によっては、より容易に人物の位置を指定しやすくなる。また、カメラ１１にズームを要求しなくてもよい。そのため、例えば、光学ズーム又はドリーによるズームを要求する場合のように、個別の端末装置からの要求が競合し、いずれかの端末装置に待ち状態が生じるようなこともない。また、例えば、デジタルズームを用いる場合のように、処理量が増大するようなこともない。

−より自由な条件での撮像により生成される撮像画像
また、上述した例では、表示モードが切り替えられる例を説明したが、表示画面はこれに限られない。例えば、表示モードの切り替えの代わりに、より自由な条件での撮像により撮像画像が生成され、当該撮像画像を含む表示画面が表示されてもよい。

例えば、実空間の撮像画像は、複数のズーム率のうちの選択されたズーム率に対応する撮像画像であってもよい。この場合に、例えば、実空間情報提供部１８１は、入力部１２０を介してユーザにより指定されるズーム率を、通信部１１０を介してカメラ１１に要求する。その結果、カメラ１１は、ズーム率を要求に従って変更し、変更後のズーム率での撮像により生成された撮像画像を端末装置１００に提供する。そして、実空間情報提供部１８１は、表示部１５０に、提供された撮像画像を含む表示画面を表示させる。そして、ユーザは、当該撮像画像内の位置を指定すると、位置取得部１８３は、当該位置を取得する。そして、位置取得部１８３は、撮像画像内の当該位置をオブジェクト選択部１８５に提供する。

これにより、ユーザは、細かいズーム率を指定して、所望の撮像画像を表示することができる。よって、ユーザは、特定の人物の位置をより指定しやすくなる。

なお、上述したように、ここでのズーム率は、１．５倍、２倍等の精緻な値である必要はなく、被写体が撮像画像に写る大きさの程度を直接的又は間接的に示すものである。例えば、とりわけカメラ１１の位置の変更によるズーム（例えば、ドリーによるズームイン及びズームアウト）が用いられる場合には、ズーム率は、１．５倍、２倍等の精緻な値ではなく、被写体の大きさの程度を直接的に示すもの（例えば、被写体の概ねの大きさの程度を示すパラメータ、等）、又は、被写体の大きさの程度を間接的に示すもの（例えば、レールにおけるカメラ１１の位置、等）であってもよい。

（カメラライン制御部１９１）
カメラライン制御部１９１は、後述するカメララインに関連する各種パラメータの演算処理、カメララインの表示制御、及びカメララインへのユーザ入力の取得を行う。ここで、「カメラライン」とは、本発明の実施形態における造語であり、端末装置１００の表示画面に表示されるユーザインタフェースの表示要素かつ入力要素を示すラインである。

より具体的には、上記したように、位置取得部１８３によってユーザの指定に基づく選択位置が取得されるが、カメララインは、センタオフィス１０に対応する３次元仮想空間９０において当該選択位置に対応する３次元選択位置と当該３次元選択位置を撮像範囲内に含むカメラ１１の３次元設置位置とに応じたライン（以下、「３次元ライン」とも言う）であり得る（図１４を用いて後述する）。なお、以下の説明においては、ユーザの指定に基づく選択位置の例として、ユーザにより指定された位置に対応するオブジェクトの位置を用いるが、ユーザにより指定された位置自体が用いられてもよい。

本実施形態においては、「ライン」の例としてストレートな線を用いて説明するが、「ライン」は、曲がった線であってもよい。また、例えば、３次元選択位置と３次元設置位置とに応じたラインは、選択位置と設置位置とを両端とするライン全体であってもよいし、選択位置と設置位置とを両端とするラインの一部であってもよい。また、以下の説明において、「カメラライン」は、３次元ラインを撮像画像の表示画面の対応する位置に射影したライン（２次元ライン）をも意味し得る。

なお、前述したように、３次元仮想空間９０のデータには、各カメラ１１に関連する情報も含まれている。例えば、各カメラ１１に関連する情報は、各カメラ１１の設置位置に対応する３次元仮想位置、撮像方向（例えば、光軸を含むカメラのレンズと垂直な方向）、画角（または撮像範囲域）等を含む。端末装置１００は、当該情報を利用し、３次元選択位置を撮像範囲内に含むカメラ１１がどれであるかを識別することができる。当該情報は、情報管理サーバ２００に格納されており、端末装置１００が当該情報を必要とする状況が発生した際に通信部１１０を介して適宜当該情報を取得するようにしてよい。

カメララインは、端末装置１００の表示画面上、例えば、図４の俯瞰撮像画像６１上やマップ画像６９上に射影して重畳表示される（図１５を用いて後述する）。端末装置１００のユーザは、表示画面上に表示されたカメララインを見ることで、いま見ている撮像画像を撮像するカメラとは別の角度から３次元選択位置を撮像することが可能なカメラが存在しているか否か、存在している場合は、そのカメラといま見ている撮像画像を撮像するカメラと３次元選択位置とがどのような相対的位置関係にあるのか、を直感的に知ることができる。

図１４は、センタオフィス１０に対応する３次元仮想空間内におけるカメララインの例を説明するための説明図である。

図１４を参照すると、センタオフィス１０に対応する３次元仮想空間９０が示されている。また、当該３次元仮想空間９０には、オブジェクト９１Ａ及びオブジェクト９１Ｂが配置されている。オブジェクト９１Ａは、ある人物（例えば、Ａ氏）に対応し、センタオフィス１０の当該ある人物の座席の位置に対応する３次元仮想位置に配置される。また、オブジェクト９１Ｂは、ある人物（例えば、Ｂ氏）に対応し、センタオフィス１０の当該ある人物の座席の位置に対応する３次元仮想位置に配置される。図８や図９の例と同様に、オブジェクト９１は、半径Ｒ及び高さＨを伴う円柱のオブジェクトである。また、オブジェクト９１Ａおよびオブジェクト９１Ｂそれぞれの３次元重心位置９２Ａおよび９２Ｂを図示している。

さらに、当該３次元仮想空間９０には、仮想カメラ９３Ｃ、仮想カメラ９３Ｄ、仮想カメラ９３Ｅが配置されており、それぞれに対応する仮想カメラ位置（例えば、仮想カメラのレンズの中心位置）９４Ｃ、９４Ｄ、９４Ｅが存在する。そして、オブジェクト９１Ａの３次元重心位置９２Ａと仮想カメラ位置９４Ｃ、９４Ｄ、９４Ｅとをそれぞれ両端とする線分、すなわち、カメラライン９５Ｃ、９５Ｄ、９５Ｅを図示している。また、オブジェクト９１Ｂの３次元重心位置９２Ｂと仮想カメラ位置９４Ｃとを両端とするカメラライン９５Ｆも参考までに図示している。この例では、オブジェクト９１Ｂは仮想カメラ９３Ｃと９３Ｅの撮像範囲内には含まれておらず、仮想カメラ９３Ｄの撮像範囲内にのみ含まれているため、オブジェクト９１Ｂに対するカメララインは１本だけしか存在していない。

図１５は、端末装置１００の表示画面に表示されるカメララインの一例を説明するための説明図である。

図１５を参照すると、俯瞰モードまたは近接モードで表示される表示画面８０が示されている。表示画面８０は、撮像画像８１、マップ画像８４、射影して重畳表示されたカメラライン８７Ｃ、８７Ｄ、８７Ｅ、８６Ｃ、８６Ｄ、８６Ｅ、を含む。なお、撮像画像８１で指定された位置に応じたオブジェクトに対応する人物映像の付近に円環上の印が重畳描画されているが、この印は、指定された位置に応じたオブジェクトが画面上のどれであるかについて操作しているユーザにフィードバック表示された結果である。

撮像画像８１は、俯瞰撮像画像６１または近接撮像画像７１と同類の画像である。また、マップ画像８４は、マップ画像６９またはマップ画像７５と同類の画像である。すなわち、カメララインの表示は、俯瞰モードおよび近接モードのいずれのモードにおいても同様に実現可能である。

カメラライン８７は、ユーザが撮像画像８１内のオブジェクトの画像を指定する操作（例えば、当該オブジェクトの位置をタッチする操作）によって、オブジェクトの画像の近傍に重畳表示される。なお、マップ画像８４上でオブジェクトが指定された場合には、カメラライン８６が重畳表示される。このとき、表示画面８０上に描画されるカメララインは、センタオフィス１０に対応する３次元仮想空間９０内のカメララインが撮像画像８１またはマップ画像８４の２次元平面へ射影されたラインであり、撮像画像８１内に映っているオブジェクトとカメラとを両端とする２次元の線分が描画要素となる。

なお、カメラおよびオブジェクトの少なくともいずれか一方は、必ずしも撮像画像８１の内部に射影されなくてもよい。このとき、３次元ラインのうち撮像画像８１の内部に射影されない部分は、撮像画像８１をはみ出すようにして描画されてもよいし、描画されなくてもよい。ユーザは、３次元ラインのうち撮像画像８１の内部に射影されない部分が描画されなくても、撮像画像８１の内部に描画された線分の伸展先を推測することで、そのカメララインに対応したカメラまたはオブジェクトの位置を大まかに把握することができる。

また、カメラおよびオブジェクトの少なくともいずれか一方は、必ずしも表示画面８０の内部に射影されなくてもよい。このとき、３次元ラインのうち表示画面８０の内部に射影されない部分は、描画されなくてよい。ユーザは、３次元ラインのうち表示画面８０の内部に射影されない部分が描画されなくても、表示画面８０の内部に描画された線分の伸展先を推測することで、そのカメララインに対応したカメラまたはオブジェクトの位置を大まかに把握することができる。

さらに、カメララインは、表示要素だけでなく入力要素でもあり得る。そのため、ユーザは、カメララインの任意の１つをタッチして指定操作することで、指定入力されたカメララインに対応する実空間内のカメラ１１を指定することができる。このとき、撮像画像８１は、当該指定操作に対応して、指定されたカメラ１１により生成された俯瞰撮像画像に切り換わる。これは、実空間情報提供部１８１が、指定されたカメラ１１により生成された俯瞰撮像画像を取得し、表示部１５０に当該俯瞰撮像画像を表示させることによって実現される。

ユーザは、指定したオブジェクトと切り換え先のカメラとの相対的な位置関係をカメララインによってカメラ切り換え操作前に直感的に知ることができる。また、そのカメラライン自身が入力操作のコントローラとして機能することによって、直感的で容易なカメラ切り換え操作の入力方式が実現される。

例えば、端末装置１００にカメラ切り換えボタンが備えられており、当該ボタンを押下すると、カメラ１１がシステムの指定する順番に切り換わっていくような従来のカメラ切り換え操作の入力方式を想定する。係る入力方式を用いた場合には、ユーザはカメラ切り換え後の俯瞰撮像画像を見るまで、どのカメラに切り換わったかを知ることができず、前述した複数カメラ同士の相互位置関係がわからず認知的に混乱してしまう問題（Spatial Discontinuities）が発生しやすい。カメララインを利用した本実施形態に係る入力方式によれば、そのような従来のカメラ切り換え入力方式が有する課題を解決することが可能である。

さらに、カメララインは、上記した利点以外にも操作入力上の利点も備える。例えば、ユーザは、オブジェクトの指定入力後に表示されるカメララインの任意の１つをタッチして指定操作した後、指定したカメラライン上の任意の位置をさらにタッチして指定操作することで、カメラ切り換え後のズーム率を指定入力することができる。

例えば、カメララインの中点のあたりをタッチして指定すれば、カメララインの線分の両端となるオブジェクトとカメラとの中間地点の位置から当該オブジェクトを見るような視点位置指定がなされたものとみなし、指定されたカメララインに対応するカメラに切り換わるだけでなく、ズーム率が２倍の近接撮像画像として撮像画像８１に表示される。また、同様に、カメラライン上でオブジェクト側端点から３分の１程度の位置をタッチして指定すれば、当該カメララインに対応したカメラでズーム率が３倍の近接撮像画像が撮像画像８１に表示される。

なお、上記したように、カメラおよびオブジェクトの少なくともいずれか一方は、必ずしも撮像画像８１の内部に射影されなくてもよい。このとき、カメララインにおけるカメラ側端点およびオブジェクト側端点のうち、撮像画像８１の外部に射影された端点の位置は、ズーム率の算出にそのまま利用されてもよいし、撮像画像８１の端部（例えば、撮像画像におけるカメララインと撮像画像の端部との交点）に補正されてからズーム率の算出に利用されてもよい。

また、カメラおよびオブジェクトの少なくともいずれか一方は、必ずしも表示画面８０の内部に射影されなくてもよい。このとき、カメララインにおけるカメラ側端点およびオブジェクト側端点のうち、表示画面８０の外部に射影された端点の位置は、ズーム率の算出にそのまま利用されてもよいし、表示画面８０の端部（例えば、表示画面８０におけるカメララインと表示画面８０の端部との交点）に補正されてからズーム率の算出に利用されてもよい。

上記のカメララインへの２種類の入力方法、すなわち、複数のカメララインから切り換え先のカメラを選択指定するためのタッチ入力と、選択されたひとつのカメララインに対してズーム率を指定するためのタッチ入力とは、複数回のタッチ入力ではなく、１回のタッチ入力に統合して効率的に行うことも可能である。

例えば、ユーザがまず撮像画像８１内のオブジェクトの画像領域を指で押下すると、そのオブジェクトを撮像できるカメラ１１に対応するカメララインが表示画面８０上に重畳表示される。このとき、ユーザは、表示画面すなわちタッチパネル８２０から指を離さずに、画面上のオブジェクトの位置から所望するカメラライン上の位置に指をドラッグしてから、タッチパネル８２０から指を離すことで、１回のタッチ入力（ドラッグ）で見たい撮像画像を撮像するカメラの指定入力と倍率のシステムへの指定入力とを行うことができる。

オブジェクト指定、切り換え希望先のカメラ指定、及び当該カメラのズーム倍率指定という、従来は３段階の指定入力操作が必要であった入力を、本実施形態に係る方式を導入することによって、このように１回のタッチ入力で行えることは、効率（efficiency）の観点からも、複数カメラ切り換え機能を有する遠隔映像伝送アプリケーションを使用するユーザへの大きなユーザビリティの向上をもたらすものである。

図１６は、カメラライン上の位置を指定するタッチ入力とそれに対するフィードバック表示のいくつかの例を説明するための説明図である。図１６には、表示画面８０に表示されるカメララインとそれへのタッチ入力を行っているユーザの手が示されている。

図１６（ａ）に示される例では、ユーザがカメラライン上の位置をタップやドラッグ入力で指定すると、当該カメラライン上の位置に対応する部分的な領域の色や濃度が変わることによって、ユーザへ指定された入力位置に関するフィードバック情報を返す。

図１６（ｂ）に示される例では、ユーザがカメララインの端点を移動させる入力操作を行うことによって（ユーザがカメララインの長さを変更する入力操作を行うことによって）、端点によりカメラライン上の位置を指定する。この際のタッチ入力方式は、ドラッグが望ましい。なお、カメララインで指定できる最大長をあらかじめ表示しておいても構わない。

図１６（ｃ）に示される例では、ユーザがカメララインの長さを変更する入力操作を行うことによって、カメラライン上の位置を指定する点においては、図１６（ｂ）と同様である。しかし、図１６（ｃ）に示される例では、カメララインの端点をドラッグしてカメララインの長さを調節するのではなく、カメラライン上をプレスアンドホールド（長押し）することで、押している時間の長さに応じて端点が移動される。なお、押している時間の長さに応じて、図１６（ａ）のように部分的な領域の位置が変更されていくフィードバック表示がなされてもよい。

図１７は、図１４に示される３次元仮想空間に配置されたオブジェクトの選択の例を説明するための説明図である。図１７を参照すると、容易な理解のために、３次元仮想空間９０における水平面における位置関係が示されている。具体的には、３次元仮想空間９０に配置されたオブジェクト９１Ａ、現在撮像に用いられているカメラ１１Ａの仮想カメラ位置Ｏ、切り換え先のカメラとなるカメラ１１Ｂに対応する仮想カメラ９３Ｅの仮想カメラ位置９４Ｅ、カメラ１１Ｂのカメラライン９５Ｅが示されている。また、図９と同様に、軸ｙ、軸ｘ、画角θ及び仮想面９３が示されている。この例でも、図９と同様に、容易な理解のために、カメラ１１は、当該カメラ１１の撮像方向が水平面に平行になるように設置されているものとする。

例えば、図７に示されるようにユーザにより上記撮像画像内の位置が指定される。この場合に、図９を参照して説明した手法に従うと、カメラライン制御部１９１は、撮像画像内の上記位置に対応するカメラライン（この例ではカメラライン９５Ｅ）を仮想面９３上のＡ‐Ｅへ射影変換処理し、表示部１５０にカメララインを表示させる。また、ユーザが前記Ａ‐Ｅ領域をタッチ入力した場合、カメラライン制御部１９１は、タッチ指定に対応するカメララインと当該カメラライン上の２次元の指定位置の情報とを、入力部１２０を介して取得し、その２次元の指定位置に対応する３次元仮想位置を変換により求める。

求めた３次元仮想位置は、ユーザの所望する３次元仮想空間９０内のユーザ視点位置に関する情報となり、前述のように、当該ユーザ視点位置に対応したカメラ１１への切り換え処理および当該カメラ１１の倍率指定ズーム処理が行われ、表示部１５０上の撮像画像８１に対応する近接撮像画像の表示や、当該近接撮像画像における新たなカメララインの表示処理が、カメラライン制御部１９１を含む端末装置１００によって行われる。

以上に説明したように、カメラライン制御部１９１は、カメララインに関連する各種パラメータの演算処理、カメララインの表示制御、及びカメララインへのユーザ入力の取得を行うことが可能である。

（カメラライン選別部１９３）
カメラライン選別部１９３は、カメララインが複数存在する場合に（例えば、複数のカメラライン同士が近傍に存在する場合に）、表示画面８０上に描画されたカメララインの指定入力誤りが発生したり、指定入力しにくかったりする問題を解決するために、（近傍にある）複数のカメララインの中から条件に最適なひとつのカメララインに絞り込んでユーザに提示する処理を行う。

図１８は、カメララインが近傍に複数存在する場合の端末装置１００の表示画面の一例を説明するための説明図である。なお、以下では、カメラライン同士が近傍に存在する場合に行われる処理を例として説明するが、複数のカメラライン同士が近傍に存在するか否かを問わず、複数のカメララインが存在する場合に、一律的に同様の処理が行われてもよい。

図１８を参照すると、俯瞰モードまたは近接モードで表示される撮像画像８１が示されている。ユーザにより指定された位置に対応するオブジェクトとそれに対応するカメララインが３つ重畳表示されているが、当該３つのお互いが非常に近い表示位置に存在するため、ユーザはその内の所望のひとつのカメララインを選択してタッチ入力を行うのは困難であり、場合によっては意図しないカメララインを誤って選択入力してしまう恐れがある。また、入力以前に、カメララインが近傍に複数存在すると表示された各カメララインの視認性を損なうという問題もある。カメラライン選別部１９３は上記のような課題を解決する情報処理を行う。

具体的には、カメラライン選別部１９３は、後述するカメラライン評価条件にしたがって近傍に存在する複数のカメラライン間の比較を行い、最も評価の高かったカメララインを最適なカメララインとしてひとつ選別し、そのひとつのカメララインのみを表示画面８０上に表示させる処理を行う。

以下、前記カメラライン評価条件と対応する比較処理の例をいくつか示す。

一つ目のカメラライン評価条件は、ユーザにより指定された位置に対応するオブジェクトとカメラ１１との間の「距離」である。当該距離は、カメララインの全長と同義であり、図１４でいえば、カメラライン９５Ｃ（または９５Ｄ、９５Ｅ）の全長、すなわち、３次元位置９２Ａと９４Ｃ（または９４Ｄ、９５Ｅ）との２点間の距離を演算することにより求められる。比較評価の高低基準としては、例えば、距離の値が大きいカメララインほど評価は高くされるとよい。その理由は、カメラ１１の性能が同じであれば、距離が大きいほど撮像画像８１の視野角が広くなりユーザにより指定された位置・オブジェクトの周囲の状況までより広く把握できる、また、距離が大きいほどユーザが指定できるズーム率の範囲が広くなりユーザが視点決定できる自由度が大きくなる、などユーザによって享受される効果がより優れていると考えられるためである。

二つ目のカメラライン評価条件は、センタオフィス１０に対応する３次元仮想空間９０におけるカメララインと水平面（床面）との成す「角度」である。当該角度は、図１４でいえば、３次元位置９２Ａと９４Ｃ、そして９４Ｃを３次元仮想空間９０の水平面（床面）上に垂直に正射影した点９４Ｃ’の３点９４Ｃ‐９２Ａ‐９４Ｃ’の角度を余弦定理等で演算することにより求められる。比較評価の高低基準としては、例えば、角度の値が小さく０に近いカメララインほど評価は高くされるとよい。その理由は、床の水平面との角度が小さいほど、カメララインの光線も水平に近くなりユーザにより指定された対象人物の見え方が対人的視点で自然になり（他方、高角度で上から撮ると監視カメラ的になる）、ズーム表現もあたかも歩いて近づくかのような自然な演出になる（他方、高角度で上からズームすると空を滑空するような不自然な感覚になる）、などユーザによって享受される効果がより優れていると考えられるためである。

三つ目のカメラライン評価条件は、各カメララインに対応するカメラ１１の「性能」であり、複数のカメラ１１がそれぞれ異なる機種や性質を持っている場合に有効になる。性能とは、例えば、カメラのハードウェア性能であり、比較評価の高低基準例と併せていくつか例を記すと、撮像素子の画素数（多い方が高評価）、撮像素子の面積（大きい方が高評価）、レンズの画角（広い方が高評価）、レンズのＦ値（小さい方が高評価）、シャッタースピード（範囲が広い方が高評価）、最大フレームレート（大きい方が高評価）、最大ＩＳＯ感度（大きい方が高評価）、光学ズーム機構の有無（有る方が高評価）、撮影可能距離（距離範囲が広い方が高評価）等になる。比較評価の高低基準の理由は、高評価のカメラほど高画質の撮像画像をユーザに提供できる可能性が高いと考えられるためである。

また、カメラライン選別部１９３は、カメラライン制御部１９１により求められた複数のカメララインが近傍に存在し前述の選別処理を行うべきか否かの判定を行う。前記近傍に存在しているか否かの判定は、例えば、表示画面８０上に描画された複数のカメララインの表示領域に重複が見られたり、前記複数のカメララインの表示領域間の距離が所定の２次元距離以下であったりした場合に（例えば、前記距離が７ミリメートルや４４ピクセル以下であった場合に）、該当するカメラライン群が近傍位置関係にあり前述の選別処理を行うべきであると判定してもよい。また、３次元仮想空間９０内における複数のカメラライン間の成す角度が所定以下であった場合に（例えば、１０度未満であった場合に）、該当するカメラライン群が近傍位置関係にあり前述の選別処理を行うべきであると判定してもよい。

以上に説明したように、カメラライン選別部１９３は、後述するカメラライン評価条件にしたがって近傍に存在する複数のカメラライン間の比較を行い、最も評価の高かったものを最適なカメララインとしてひとつ選別する処理を行うことが可能である。そして、カメラライン選別部１９３は、そのひとつのカメララインのみを表示画面８０上に表示させる処理を行うことが可能である。

（カメラライン推薦部１９５）
カメラライン推薦部１９５（表示制御部）は、後述する情報管理サーバ２００の視点選好学習部２３１によって、ユーザの指定に基づく選択位置に存在するオブジェクトに対応する人物に対するユーザの閲覧条件が算出され、閲覧条件と視点位置の指定回数との関係が算出された場合、視点選好学習部２３１によって算出された関係に応じた表示を制御する。ここで、閲覧条件は特に限定されない。しかし、後述する例では、閲覧条件が、３次元仮想空間における人物とユーザとの距離、３次元仮想空間における人物に対するユーザの視点位置の角度の少なくともいずれか一方である場合を想定する。視点選好学習部２３１によって算出された関係に応じた表示制御としては、様々な表示制御が想定される。

例えば、カメラライン推薦部１９５は、視点位置の指定回数が最大となる閲覧条件に応じた３次元ラインを選択し（例えば、視点位置の指定回数が最大となる閲覧条件に最も近い３次元ラインを選択し）、選択した３次元ラインに対応する２次元ラインと他の３次元ラインに対応する２次元ラインとが区別可能に視認されるように、選択した３次元ラインに対応する２次元ラインと他の３次元ラインに対応する２次元ラインとのうち少なくとも一方の表示態様を変更する。

より具体的に、カメラライン推薦部１９５は、あるユーザがある位置に存在する人物に対応するオブジェクトを指定した場合に提示される、前記オブジェクトに対応する複数のカメララインの中から、前記ユーザが最も好んで指定するであろうカメラライン（以下「選好予測カメラライン」）を選び、ユーザがその他のカメララインと識別できるような様態の変更を行って端末装置１００の表示画面上に提示する。前記選好予測カメララインの選択は、後述する情報管理サーバ２００の視点選好学習部２３１によって統計処理により予測されてカメラライン推薦部１９５に送信される予測データ（例えば、視点位置の指定回数が最大となる閲覧条件）に基づき行われる。

図２６は、端末装置１００の表示画面に表示される選好予測カメララインの一例を説明するための説明図である。符号８９以外の符号の構成要素については、前述の図１５と同一であるので重複説明を省略する。撮像画像８１またはマップ画像８４上には、それぞれ重畳表示されたカメララインが３個ずつ表示されている。

カメラライン推薦部１９５は、後述する情報管理サーバ２００の視点選好学習部２３１から予測データ（例えば、視点位置の指定回数が最大となる閲覧条件）を受信し、後述する情報管理サーバ２００の視点選好学習部２３１から予測データを受信し、３個のカメララインのうちの１個である８７Ｅ（または８６Ｅ）が前記選好予測カメララインであることを特定する。そして、カメラライン推薦部１９５は、前記選好予測カメララインとその他のカメララインとをユーザが視認識別できるように表示様態の変更処理を行う。

図２６の例では、カメラライン推薦部１９５は選好予測カメララインの近傍にのみ星形の識別記号８９を表示している。カメラライン推薦部１９５が行うその他の様態の変更の例としては、選好予測カメラライン以外のその他のカメララインだけ半透明で表示させたり、その他のカメララインの表示を行わないようにしたりする処理が考えられる。

あるいは、カメラライン推薦部１９５は、ユーザにカメララインを指定操作させるのではなく、視点位置の指定回数が最大となる閲覧条件に応じた３次元ライン（例えば、視点位置の指定回数が最大となる閲覧条件に最も近い条件の３次元ライン）における視点位置を算出し、算出した視点位置に対応する撮像画像が表示されるように自動的に制御してもよい。すなわち、カメラライン推薦部１９５は、ユーザがある位置に存在する人物に対応するオブジェクトを指定した段階で、自動的に選好予測カメララインやそのライン上の位置を視点の位置として確定し、端末装置１００に情報管理サーバ２００と通信させて前記確定された視点の位置からの撮像画像８１を表示画面８０に切り換え表示させてもよい。

＜２−３．ソフトウェア構成＞
次に、本実施形態に係る端末装置１００のソフトウェア構成の一例を説明する。図１９は、本実施形態に係る端末装置１００のソフトウェア構成の一例を示すブロック図である。図１９を参照すると、端末装置１００は、ＯＳ（Operating System）８４０及びアプリケーションソフトウェアを備える。そして、端末装置１００は、アプリケーションソフトウェアとして、ソフトフォン８５１、超臨場感クライアント８５３及び電話発信制御機能８５５を含む。

ＯＳ８４０は、端末装置１００を動作させるための基本的な機能を提供するソフトウェアである。ＯＳ８４０は、各アプリケーションソフトウェアを実行する。

ソフトフォン８５１は、端末装置１００を用いて電話を行うためのアプリケーションソフトウェアである。電話部１８９は、例えば、ソフトフォン８５１により実装され得る。

超臨場感クライアント８５３は、実空間の情報を端末装置１００に提供するためのアプリケーションソフトウェアである。実空間情報提供部１８１は、例えば、超臨場感クライアント８５３により実装され得る。

なお、超臨場感クライアント８５３は、実空間（例えば、センタオフィス１０）にいる人物の状態を示す状態情報を取得し、ＯＳを介してソフトフォン８５１に提供してもよい。そして、ソフトフォン８５１は、当該状態情報に基づいて、電話発信を制御してもよい。

また、電話発信制御機能８５５は、表示画面内の撮像画像に写っている人物の通信装置の通信用ＩＤを取得するアプリケーションソフトウェアである。位置取得部１８３、オブジェクト選択部１８５及びＩＤ取得部１８７は、電話発信制御機能８５５により実装され得る。

なお、電話発信制御機能８５５は、通信用ＩＤを取得すると、ＯＳを介してソフトフォン８５１に提供する。そして、ソフトフォン８５１は、当該通信用ＩＤを用いて、電話発信を行う。

＜＜３．情報管理サーバの構成＞＞
続いて、図２０及び図２１を参照して、本実施形態に係る情報管理サーバ２００の構成の一例を説明する。

＜３−１．ハードウェア構成＞＞
まず、図２０を参照して、本実施形態に係る情報管理サーバ２００のハードウェア構成の一例を説明する。図２０は、本実施形態に係る情報管理サーバ２００のハードウェア構成の一例を示すブロック図である。図２０を参照すると、情報管理サーバ２００は、ＣＰＵ９０１、ＲＯＭ９０３、ＲＡＭ９０５、バス９０７、記憶装置９０９及び通信インターフェース９１１を備える。

ＣＰＵ９０１は、情報管理サーバ２００における様々な処理を実行する。また、ＲＯＭ９０３は、情報管理サーバ２００における処理をＣＰＵ９０１に実行させるためのプログラム及びデータを記憶する。また、ＲＡＭ９０５は、ＣＰＵ９０１の処理の実行時に、プログラム及びデータを一時的に記憶する。

バス９０７は、ＣＰＵ９０１、ＲＯＭ９０３及びＲＡＭを相互に接続する。バス９０７には、さらに、記憶装置９０９及び通信インターフェース９１１が接続される。バス９０７は、例えば、複数の種類のバスを含む。一例として、バス９０７は、ＣＰＵ９０１、ＲＯＭ９０３及びＲＡＭ９０５を接続する高速バスと、当該高速バスよりも低速の１つ以上の別のバスを含む。

記憶装置９０９は、情報管理サーバ２００内で一時的又は恒久的に保存すべきデータを記憶する。記憶装置９０９は、例えば、ハードディスク等の磁気記憶装置であってもよく、又は、ＥＥＰＲＯＭ、フラッシュメモリ、ＭＲＡＭ、ＦｅＲＡＭ及びＰＲＡＭ等の不揮発性メモリであってもよい。

通信インターフェース９１１は、情報管理サーバ２００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）外部装置と通信する。通信インターフェース９１１は、無線通信用のインターフェースであってもよく、この場合に、例えば、通信アンテナ、ＲＦ回路及びその他の通信処理用の回路を含んでもよい。また、通信インターフェース９１１は、有線通信用のインターフェースであってもよく、この場合に、例えば、ＬＡＮ端子、伝送回路及びその他の通信処理用の回路を含んでもよい。

＜３−２．機能構成＞＞
次に、本実施形態に係る情報管理サーバ２００の機能構成の一例を説明する。図２１は、本実施形態に係る情報管理サーバ２００の機能構成の一例を示すブロック図である。図２１を参照すると、情報管理サーバ２００は、通信部２１０、記憶部２２０及び制御部２３０を備える。さらに、制御部２３０は、視点選好学習部２３１を備える。

（通信部２１０）
通信部２１０は、他の装置と通信する。例えば、通信部２１０は、ＬＡＮ１９に直接的に接続され、センタオフィス１０内の各装置と通信する。具体的には、例えば、通信部２１０は、カメラ１１、マイクロフォン１３、センサ１５及びメディア配信サーバ１７と通信する。また、通信部２１０は、外部ネットワーク３０及びＬＡＮ２３を介して、サテライトオフィス２０内の各装置と通信する。具体的には、例えば、通信部２１０は、端末装置１００及びディスプレイ２１と通信する。なお、通信部２１０は、例えば、通信インターフェース９１１により実装され得る。

（記憶部２２０）
記憶部２２０は、情報管理サーバ２００の動作のためのプログラム及びデータを記憶する。

とりわけ本実施形態では、記憶部２２０は、情報処理システムにおいて用いられる様々な情報を記憶する。

第１の例として、記憶部２２０は、カメラ１１、マイクロフォン１３及びセンサ１５に関するパラメータを記憶する。当該パラメータの具体的な内容は、上述したとおりである。

第２の例として、記憶部２２０は、実空間に対応する３次元仮想空間のデータを記憶する。当該３次元仮想空間は、例えば、センタオフィス１０を模した３次元仮想空間である。当該３次元仮想空間の具体的な内容は、上述したとおりである。

第３の例として、記憶部２２０は、人物関連情報を記憶する。当該人物関連情報は、例えば、センタオフィス１０にいる人物の人物関連情報である。当該人物関連情報の具体的な内容は、上述したとおりである。

第４の例として、記憶部２２０は、３次元仮想空間に配置されるオブジェクトのオブジェクトＩＤと通信用ＩＤとを、互いに対応付けて記憶する。当該オブジェクトＩＤ及び通信用ＩＤの具体的な内容は、上述したとおりである。

第５の例として、記憶部２２０は、ユーザ識別情報（ユーザ毎に対応した前記通信用ＩＤでもよい）と紐づけて、各ユーザが指定したオブジェクトと視点の位置の履歴情報を記録する。さらに、記憶部２２０は、各ユーザが指定したオブジェクトに対応する人物の空間内における身体方向の情報も併せて記憶する。前記人物の空間内における身体方向の情報は、前述したセンタオフィス１０を模した３次元仮想空間における各人物の机に対面する方向としてあらかじめ定められてもよい。また、センタオフィス１０内の各人物にたとえばジャイロセンサを取り付けたり、複数のカメラ１１の撮像データから各人物の３次元モデルを生成したり、顔検出処理を利用したりすること等によって、動的に前記身体方向の情報を取得してもよい。

（制御部２３０）
制御部２３０は、情報管理サーバ２００の様々な機能を提供する。

例えば、制御部２３０は、要求に応じて、情報処理システムにおいて用いられる様々な情報を提供する。例えば、制御部２３０は、端末装置１００による要求に応じて、３次元仮想空間のデータ、人物関連情報、オブジェクトＩＤに対応する通信用ＩＤ、並びに、カメラ１１、マイクロフォン１３及びセンサ１５に関するパラメータ等を提供する。

また、例えば、制御部２３０は、情報処理システムにおいて用いられる様々な情報を適宜更新する。制御部２３０は、自動で、又は手動による指示に応じて、当該情報を更新する。

（視点選好学習部２３１）
視点選好学習部２３１（学習部）は、ユーザの指定に基づく選択位置に対応する３次元仮想空間における３次元選択位置と３次元選択位置を撮像範囲に含む撮像装置の３次元設置位置とに応じた３次元ラインがユーザによって指定され、ユーザによって指定された３次元ラインに対応する撮像装置が端末装置１００によってユーザの視点位置として指定された場合、３次元選択位置と３次元設置位置とに基づいて、選択位置に存在するオブジェクトに対応する人物に対するユーザの閲覧条件を算出し、閲覧条件と視点位置の指定回数との関係を算出する。上記したように、閲覧条件は、３次元仮想空間における人物とユーザとの距離（以下、「閲覧距離」とも言う。）、３次元仮想空間における人物に対するユーザの視点位置の角度（以下、「閲覧人物角度」とも言う。）の少なくともいずれか一方であってよい。

例えば、視点選好学習部２３１は、ユーザ毎の視点の位置指定の履歴情報を学習し、あるユーザがある位置に存在するオブジェクトを指定した場合に、前記オブジェクトに対応する人物の空間内における身体方向に対応して、前記ユーザが最も好んで指定するであろう視点の位置を予測する。また、視点選好学習部２３１は、前記予測した視点の位置の情報（例えば、視点位置の指定回数が最大となる閲覧条件）を、通信部２１０を介して、端末装置１００のカメラライン推薦部１９５へ送信する。

以下に、視点選好学習部２３１が行う、視点の位置指定データの学習処理および予測処理について説明する。

まず、図２７に、本実施形態に係る視点の位置指定データの学習処理に用いられるデータの一例を示す。図２７のデータは、たとえば記憶部２２０に記憶されるテーブル形式のデータであって、項目（フィールド）として、ユーザ識別情報、カメラ識別情報、視点位置、オブジェクト識別情報、オブジェクト位置、閲覧距離、人物身体方向角度、閲覧人物角度、等を有している。

ユーザ識別情報は、ある端末装置１００Ａを操作しているユーザの人物の識別情報であり、図２７の１〜３行ではたとえば“Ｔａｒｏ Ｙａｍａｄａ”である。

カメラ識別情報は、前述の複数のカメラ１１を識別するもので、図２７の例ではＡ、Ｂ、Ｃの３台が記憶されている。

視点位置は、実空間または対応する３次元仮想空間における仮想的な視点の３次元位置であり、たとえばＸ、Ｙ、Ｚの３次元の座標情報で表される。視点位置の算出方法は、前述したカメラライン上における視点位置の算出方法と同じで構わない。カメララインは３次元空間上での位置情報を有するため、カメラライン上の１点である仮想的な視点位置もたとえばＸ、Ｙ、Ｚの３次元の座標情報で表すことができる。

オブジェクト識別情報は、前述したオブジェクトＩＤと同じ情報で構わず、図２７の例では“Ｊｉｒｏ Ｓａｔｏｕ”や“Ｓａｂｕｒｏ Ｔａｎａｋａ”である。オブジェクト位置は、前記オブジェクトＩＤに対応するオブジェクトのたとえば３次元重心位置であり、たとえばＸ、Ｙ、Ｚの３次元の座標情報で表される。

閲覧距離は、前記視点位置とオブジェクト位置間の距離であり、図２７の例ではミリメートル単位で表記している。人物身体方向角度は、実世界または対応する３次元仮想空間におけるグローバル座標系の中で、当システムの管理者等によってあらかじめ一意に定められた任意のひとつの基準方向と、前記グローバル座標系の中で各オブジェクトが向けている身体方向と、の２つのベクトル間で成される角度である。身体方向は、たとえば水平面上で人物が向いている方向であり、前記基準方向との間で成される人物身体方向角度をオブジェクト毎に求めることができる。たとえば、図２７の１行目のオブジェクト“Ｊｉｒｏ Ｓａｔｏｕ”の人物身体方向角度は９０°で、３行目のオブジェクト“Ｓａｂｕｒｏ Ｔａｎａｋａ”は２７０°となっているから、両人物は３次元空間の水平面上で１８０°真逆の向きの身体方向の関係であることがわかる。なお、ここでは説明のため、前記身体方向と前記基準方向のベクトルが２次元平面である水平面上に存在する場合の０〜３６０°の角度で例示したが、前記身体方向と前記基準方向のベクトルは ２次元平面ではなく３次元空間上に存在していても構わず、その場合でも２つのベクトル間で人物身体方向角度を同様に求めることができる。

閲覧人物角度は、前記身体方向のベクトルと前記カメラ識別情報に対応するカメラ１１のカメララインのベクトルとが成す角度である。これはすなわち、前記オブジェクトに対応する人物をどの方向から見ているかを示す情報であり、説明のため角度を水平面上の０〜３６０°に話を限定すると、たとえば、図２７の１行目のオブジェクト“Ｊｉｒｏ Ｓａｔｏｕ”に対応する人物は、カメラＡで、身体正面から右回り（または左回り）に４５°の斜め前方の視点から、撮像画像８１を通してユーザに身体の撮影像を閲覧されたことになる。また、たとえば、図２７の２行目のオブジェクト“Ｊｉｒｏ Ｓａｔｏｕ”
に対応する人物は、カメラＢで、身体の背後（１８０°）からユーザに身体の撮影像を閲覧されたことになる。

本実施形態に係る視点の位置指定データの学習処理では、視点選好学習部２３１は、視点位置の指定回数が最大となる閲覧条件を算出する。すなわち、視点選好学習部２３１は、３次元選択位置と３次元設置位置とに基づいて、少なくとも３次元仮想空間における閲覧距離を閲覧条件として算出してもよいし、３次元選択位置と３次元設置位置と人物の身体方向の情報とに基づいて、少なくとも３次元仮想空間における人物に対するユーザの視点位置の閲覧人物角度を閲覧条件として算出してもよい。

閲覧人物角度は、どのようにして算出されてもよい。たとえば、視点選好学習部２３１は、人物に紐づけられた３次元仮想空間に対応する実空間における机の設置方向の情報に基づいて人物の身体方向を取得してもよい（机の設置方向の情報を人物の身体方向としてもよい）。あるいは、視点選好学習部２３１は、撮像装置による撮像画像に対する人物の顔検出処理または人体３次元モデル作成処理に基づいて人物の身体方向を取得してもよい。あるいは、視点選好学習部２３１は、人物の身体に備え付けられたセンサ装置によって検出されたセンサデータ（例えば、加速度センサによって検出された加速度、ジャイロセンサによって検出された角速度など）に基づいて人物の身体方向を取得してもよい。

たとえば、図２７のデータテーブルから、ユーザ識別情報と閲覧人物角度の情報を用い、統計的データ処理を行う。すなわち、ユーザ識別情報毎に、閲覧人物角度の指定操作の履歴回数の分布を求める。

ユーザ識別情報毎に統計処理のデータを分けるのは、視点選好の行動および心理的特性がユーザ毎に異なると考えられるためである。撮像画像８１を通して遠隔地の興味対象人物の様子見を行う時、あるユーザＣは相手の顔が見える身体前方から閲覧したりズームしたりすることを好む一方、別のユーザＤは相手の体の傾きやキーボードやマウスの操作状況が見えやすい身体側方からの閲覧を好み、さらに別のユーザＥは相手の見ているディスプレイ画面の内容を確認できる身体後方からの閲覧を好むかもしれない。このような視点選択の嗜好性（視点選好）はユーザ毎に傾向が分かれると考えられ、統計処理される閲覧人物角度のデータにもその傾向が表れる。閲覧人物角度の統計処理にあたっては、図２８の人物周りの水平面角度分類概念図に示すように、たとえば、−２２°〜２２°の間の値を０度項目、２３°〜６７°の間の値を４５度項目、など一定の角度幅ごとにデータを分類集計して処理を行ってもよい。

図２９に、あるユーザＡの視点位置指定操作履歴における閲覧人物角度の統計データの一例を示す。グラフ横軸は図２８に示した４５°幅の角度分類の閲覧人物角度、縦軸は視点位置指定操作回数を示す。図２９のグラフを見ると、当該ユーザＡは、角度分類１８０度の値（指定回数）が他の角度の値と比べて非常に多く、閲覧人物角度１８０度、すなわち興味対象人物の身体後方から閲覧したりズームしたりする様子見を好む行動および心理的特性を持ったユーザであることがわかる。また、興味対象人物の左方よりも右方側面から閲覧する方をやや好む傾向が見られる。また、図３０に、あるユーザＢの視点位置指定操作履歴における閲覧人物角度の統計データの一例を示す。グラフの横軸および縦軸は図２９と同様である。図３０のグラフを見ると、当該ユーザＢは、角度分類４５度および３１５度の値が他の角度の値と比べて非常に多く、閲覧人物角度４５度または３１５度、すなわち興味対象人物の身体斜め前方から閲覧したりズームしたりする様子見を好む行動および心理的特性を持ったユーザであることがわかる。

図２９、図３０の統計データから、ユーザが興味対象人物のオブジェクトを選択した際、そのオブジェクトに対応する前述のカメララインが複数存在する場合、ユーザＡは興味対象人物のオブジェクトの身体後方側にあるカメララインを選択する確率が最も高く、ユーザＢは興味対象人物のオブジェクトの身体右斜め前方側にあるカメララインを選択する確率が最も高い。このように、視点選好学習部２３１は、各ユーザが最も選択する確率が高いカメララインを、視点位置指定操作履歴データの統計処理により予測することができる。

なお、上記では、閲覧人物角度を説明変数、視点位置指定回数を目的変数として統計処理を行った。すなわち、視点選好学習部２３１が、閲覧人物角度と視点位置指定回数との関係式を算出し、算出した関係式に基づいて視点位置指定回数が最大となる閲覧人物角度を算出する場合を説明した。しかし、説明変数の種類は閲覧人物角度に限られない。たとえば、説明変数を前述の閲覧距離として、視点位置指定回数を目的変数とした統計処理を行っても構わない。すなわち、視点選好学習部２３１は、閲覧距離と視点位置指定回数との関係式を算出し、算出した関係式に基づいて視点位置指定回数が最大となる閲覧距離を算出してもよい。

ユーザ毎に、最も指定される確率が高い閲覧距離の値が予測できることで、前述のズーム率指定操作を自動化し、ユーザの視点変更入力をより簡便なものにすることができる。すなわち、ユーザは前記見たい位置を指定するだけでその後の前記見る位置の決定はシステムに任せられるため、操作ステップが減りユーザの指定入力行為の労力が低減される。

さらに、視点選好学習部２３１は、視点の位置指定に関する複数種類のデータを合わせて用いることで、より高い精度でユーザの視点選択を確率予測できるようになる。たとえば、視点選好学習部２３１は、３次元選択位置と３次元設置位置と人物の身体方向の情報とに基づいて、閲覧距離および閲覧人物角度を閲覧条件として算出し、閲覧距離および閲覧人物角度と視点位置指定回数とを変数として含む回帰式を算出し、算出した回帰式に基づいて、視点位置指定回数が最大となる閲覧距離および閲覧人物角度を算出してもよい。以下では、例として、前述の閲覧人物角度と閲覧距離を説明変数として用いた統計処理による視点の指定位置の予測処理について述べる。

視点選好学習部２３１は、記憶部２２０における前述のユーザ毎の視点の位置指定データを用いて、閲覧人物角度と閲覧距離のデータから視点位置指定回数を予測する回帰式を算出することもできる。説明変数である閲覧人物角度および閲覧距離、目的変数である視点位置指定回数がともに量的データであるため、視点選好学習部２３１は公知の重回帰分析に該当する処理を行うことで前記回帰式を算出できる。さらに、視点選好学習部２３１は、算出した前記回帰式から、閲覧人物角度と閲覧距離の値を任意に変動させ、算出される視点位置指定回数が最大値を取る閲覧人物角度と閲覧距離を予測する。なお、視点選好学習部２３１は、説明変数である閲覧人物角度および閲覧距離の間に多重共線性がみられた場合は、前述の通り閲覧人物角度または閲覧距離のどちらかの単変量データだけを用いた統計処理と予測を行う方式に切り換える動作を行ってもよい。

以上により、視点選好学習部２３１は、ユーザ毎の視点の位置指定の履歴データから閲覧人物角度、閲覧距離、視点位置指定回数のデータを算出し、統計処理を行うことで、目的変数である視点位置指定回数が最大となるような閲覧人物角度または閲覧距離の値を算出して、あるユーザが最も指定しやすい選好条件の視点の位置を予測することができる。

＜＜４．処理の流れ＞＞
続いて、図２２を参照して、本実施形態に係る情報処理の例を説明する。図２２は、本実施形態に係る情報処理の概略的な流れの一例を示すフローチャートである。

ステップＳ４０１で、位置取得部１８３は、実空間の撮像画像の表示画面において当該撮像画像内の位置がユーザにより指定されたかを判定する。より具体的には、例えば、位置取得部１８３は、近接撮像画像内の位置をユーザにより指定されたかを判定する。上記位置が指定されていれば、処理はステップＳ４０３へ進む。そうでなければ、処理はステップＳ４０１を繰り返す。

ステップＳ４０３で、位置取得部１８３は、ユーザにより指定される上記撮像画像内の位置を取得する。

ステップＳ４０５で、オブジェクト選択部１８５は、実空間に対応する３次元仮想空間のデータを記憶部１７０から取得する。

ステップＳ４０７で、取得された上記撮像画像内の上記位置に基づいて、上記３次元仮想空間に配置されたオブジェクトを選択する。

ステップＳ４０９で、カメラライン制御部１９１は、取得された上記位置またはその位置に対応するオブジェクトを撮像範囲に含むカメラ１１の情報を取得する。

ステップＳ４１１で、カメラライン制御部１９１は、取得された上記位置またはその位置に対応するオブジェクトを撮像範囲に含むカメラ１１の情報から、当該カメラ１１に対応するカメララインを構成するパラメータを演算により求める。

ステップＳ４１３で、カメラライン選別部１９３は、カメララインが近傍に複数存在しているか否かを判定する。カメララインが近傍に複数存在していれば、処理はステップＳ４１５へ進む。そうでなければ、処理はステップＳ４１７へ進む。

ステップＳ４１５で、カメラライン選別部１９３は、前述したカメラライン評価条件にしたがって近傍に存在する複数のカメラライン間の比較を行い、最も評価の高かったものを最適なカメララインとしてひとつ選別する。

ステップＳ４１７で、カメラライン制御部１９１は、取得された上記位置またはその位置に対応するオブジェクトに対応するカメララインを、表示画面８０上に表示させる。

ステップＳ４１９で、カメラライン制御部１９１は、カメララインの内のひとつまたはそのカメラライン上の位置がユーザにより指定されたかを判定する。上記カメララインまたは位置が指定されていれば、処理はステップＳ４２３へ進む。そうでなければ、処理はステップＳ４０１を繰り返す。

ステップＳ４２１で、カメラライン制御部１９１は、指定されたカメララインに対応するカメラの撮像画像を取得し、指定されたズーム率で、現在のカメラの撮像画像と表示切り換えを行う形で表示画面８０上に表示させ、処理は終了する。なお、カメラ切り換え後の表示画面上に、対応するカメララインを自動的に再演算し再描画しても構わない。その場合はＳ４０９から処理を再開すればよい。

以上のように、本実施形態に係る情報処理が実行される。さらに、当該情報処理の開始前に行われる起動処理の一例を、図２３を参照して説明する。

図２３は、本実施形態に係る起動処理の概略的な流れの一例を示すフローチャートである。

ステップＳ５０１で、ソフトフォン８５１の起動処理が実行される。これにより、ソフトフォン８５１が起動する。

ステップＳ５０３で、ソフトフォン８５１に関する登録処理が実行される。例えば、ソフトフォン８５１の登録処理の１つとして、ＰＢＸ４０での登録（例えば、ＳＩＰ ＲＥＧＩＳＴＲＡＴＩＯＮ）が行われる。

ステップＳ５０５で、超臨場感クライアントの起動処理が実行される。例えば、超臨場感クライアントにおいて利用されるカメラ１１、マイクロフォン１３、センサ１５、メディア配信サーバ１７、情報管理サーバ２００等が特定される。

ステップＳ５０７で、超臨場感クライアントの俯瞰モード処理が実行される。そして、一連の起動処理は終了する。

図３１は、本実施形態に係る学習および推薦処理の概略的な流れの一例を示すフローチャートである。

ステップＳ６０１で、端末装置１００の位置取得部１８３は、実空間の撮像画像の表示画面において当該撮像画像内の位置がユーザにより指定されたかを判定する。上記位置が指定されていれば、処理はステップＳ６０３へ進む。そうでなければ、処理はステップＳ６０１を繰り返す。

ステップＳ６０３で、端末装置１００の制御部１８０は、取得された前記位置に対応するカメララインを演算により求め、表示画面８０上に表示させる。

ステップＳ６０５で、情報管理サーバ２００の視点選好学習部２３１は、記憶部１７０に記憶された、前記位置を指定したユーザの識別情報に紐づけられた、前述の視点の位置指定データが、前述の統計的な予測処理を十分な予測精度で行える量存在するか否かを判定する。前記視点の位置指定データが十分な量あれば、処理はステップＳ６０７へ進む。そうでなければ、処理はステップＳ６０９へ進む。なお、前記が十分な量とは、たとえば前述の重回帰分析の例では、データ数（サンプル数）が説明変数の数よりも２以上多い必要がある。例として説明変数が閲覧人物角度と閲覧距離の２種であれば、データ数は最低４以上ないと不足しているといえる。その他、たとえば十分な量のデータ数の閾値を２０等、任意の値に設定してもよい。

ステップＳ６０７で、情報管理サーバ２００の視点選好学習部２３１は、前記視点の位置指定データを用いて前述の選好予測カメララインまたは当該カメラライン上の視点を予測処理し、端末装置１００のカメラライン推薦部１９５へその情報を送信する。その情報を受信したカメラライン推薦部１９５は、予測された選好予測カメララインの表示画面８０上の表示様態を前述のように変更する処理を行う。

ステップＳ６０９で、端末装置１００のカメラライン制御部１９１は、（選好予測カメララインを含む）カメララインの内のひとつまたはそのカメラライン上の位置がユーザにより指定されたかを判定する。前記カメララインまたは位置が指定されていれば、処理はステップＳ６１１へ進む。そうでなければ、処理はステップＳ６０１を繰り返す。

ステップＳ６１１で、情報管理サーバ２００の視点選好学習部２３１は、ステップＳ６０９でユーザにより指定された前記カメララインまたは位置の情報を端末装置１００から受信し、記憶部１７０に記憶させる。記憶部１７０には、以前のユーザ毎の視点の位置指定の履歴情報が記録されており、その最後尾に今回の前記情報を加えてもよい。また、記憶のデータ形式は、前述の図２７で説明された視点の位置指定データの形式に沿ったものでもよい。

これで、一連の学習および推薦処理は終了する。

以上、添付図面を参照しながら本発明の好適な実施形態を説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、実空間に対応する３次元仮想空間として、センタオフィスの３次元仮想空間が用意される例を説明したが、本発明はこれに限定されない。例えば、複数の３次元空間が用意されてもよい。一例として、実空間に対応する３次元仮想空間は、複数のオフィスの各々について用意されてもよい。例えば、サテライトオフィス、ホームオフィス、他のセンタオフィス等についての３次元仮想空間も用意されてもよい。この場合に、各オフィスの３次元仮想空間は、各オフィスの大きさに応じた大きさの３次元仮想空間であってもよい。また、端末装置のオブジェクト選択部は、複数の３次元仮想空間のうちの所望の３次元仮想空間のデータを取得してもよい。また、オフィス以外の３次元仮想空間が用意されてもよい。

また、人物が座席に座っている場合に限り当該人物に対応するオブジェクトが選択される例を説明したが、本発明はこれに限定されない。例えば、人物が座席に座っていない場合にもオブジェクトが選択されてもよい。一例として、人物が座席に座っている場合には、当該座席に設置された通信装置の通信用ＩＤが取得され、人物が座席に座っていない場合には、当該人物の携帯端末の通信用ＩＤが取得されてもよい。

また、通信用ＩＤが電話番号である例を説明したが、本発明はこれに限定されない。通信用ＩＤは、電話番号以外のＩＤであってもよい。一例として、通信用ＩＤは、電話番号以外のソフトフォン用ＩＤであってもよい。また、別の例として、通信用ＩＤは、電話以外の通信のためのＩＤであってもよい。例えば、通信用ＩＤは、メールアドレスであってもよく、又はショートメッセージ用のＩＤであってもよい。この場合に、通信用ＩＤを用いて、メールが送信され、又はショートメッセージが送信されてもよい。

また、オブジェクトが選択された場合に当該オブジェクトに対応する通信用ＩＤが取得される例を説明したが、本発明はこれに限定されない。例えば、オブジェクトが選択された場合に当該オブジェクトに対応するいずれかの識別情報が取得されてもよい。一例として、オブジェクトが選択された場合にオブジェクトに対応する人物のいずれかの識別情報が取得されてもよい。そして、例えば、この識別情報から、通信用ＩＤが取得されてもよい。

また、実空間に対応する３次元仮想空間に配置されるオブジェクト（オブジェクト選択部により選択されるオブジェクト）が人物に対応し且つ円柱のオブジェクトである例を説明したが、本発明はこれに限定されない。例えば、オブジェクトは、円柱のオブジェクトではなく、別の形状のオブジェクトであってもよい。また、例えば、オブジェクトは、人物以外のものに対応してもよい。一例として、オブジェクトは、実空間の領域に対応してもよい。具体的には、例えば、オブジェクトは、座席に対応し、当該座席の位置に対応する３次元仮想位置に配置されてもよい。そして、当該座席に設置された通信装置の通信用ＩＤと上記オブジェクトとが対応し、当該オブジェクトが選択されると、当該通信用ＩＤが取得されてもよい。また、オブジェクトは、座席よりも広い領域に対応し、当該領域の範囲に対応する３次元仮想範囲に渡って存在してもよい。そして、当該領域内に設置された通信装置の通信用ＩＤと上記オブジェクトとが対応し、当該オブジェクトが選択されると、当該通信用ＩＤが取得されてもよい。

また、表示画面において撮像画像の位置がユーザによるタッチで指定される例を説明したが、本発明はこれに限定されない。例えば、撮像画像の位置は、タッチパネル以外の入力手段を用いてユーザにより指定されてもよい。例えば、撮像画像の位置は、マウスによるクリックで指定されてもよく、ボタン、キーボード等の別の入力手段を用いて指定されてもよい。

また、カメラにより生成される撮像画像、マイクロフォンにより生成される音声データ、及び、センサによる判定結果が、それぞれ、カメラ、マイクロフォン及びセンサにより、端末装置に直接提供される例を説明したが、本発明はこれに限定されない。例えば、別の装置によりこれらのデータが提供されてもよい。一例として、いずれかのサーバ（例えば、メディア配信サーバ）が、これらのデータを取得し、これらのデータを端末装置に提供してもよい。

また、位置取得部、オブジェクト選択部及びＩＤ取得部等の機能が端末装置により備えられる例を説明したが、本発明はこれに限定されない。例えば、これらの機能は、端末装置以外の装置により備えられてもよい。一例として、これらの機能はいずれかのサーバにより備えられてもよい。

また、実空間の撮像画像の表示画面が端末装置により表示される例を説明したが、本発明はこれに限定されない。例えば、当該表示画面は別の装置により表示されてもよい。一例として、上記表示画面はサテライトオフィスに設置されたディスプレイにより表示されてもよい。そして、ユーザが、当該ディスプレイにおいて、表示画像に含まれる撮像画像の位置を指定してもよい。

また、本明細書の情報処理における処理ステップは、必ずしもフローチャートに記載された順序に沿って時系列に実行されなくてよい。例えば、情報処理における処理ステップは、フローチャートとして記載した順序と異なる順序で実行されても、並列的に実行されてもよい。

また、情報処理装置（例えば、端末装置）に内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭ等のハードウェアに、上記情報処理装置の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させた記憶媒体も提供される。

＜＜５．変形例＞＞
＜５−１．変形例１：カメラライン選別処理実施の通知機能＞
変形例１として、カメラライン選別部１９３は、複数のカメラライン候補から最適なひとつのカメララインを選別し、当該最適なひとつのカメララインだけを表示する場合に、当該最適なひとつのカメララインの周囲に前記複数のカメラライン候補の総数を表示する機能を有していてもよい。図２４に、図１８に対して当変形例１の機能を適用した表示の一例を示す。例えば、カメラライン選別部１９３は、３つのカメララインが近傍に存在すると判定され、最適なひとつのカメララインへの選別処理がなされた場合、図２４に示すように、当該最適なひとつのカメララインの表示画面８０への表示に併せて、「３」という数字を表示画面８０上の当該最適なひとつのカメララインの付近に表示させてもよい。

この機能により、ユーザは表示画面８０上に表示されたカメララインが選別処理がなされたカメララインであるか否かを感覚的に知ることができる（逆に、当通知機能がない場合は、ユーザは各カメララインに選別処理がなされたのか否かを知ることができない）。さらに、前記複数のカメラライン候補の総数の表示部分をタッチすると、前記選別処理が解除され、前記複数のカメラライン候補がすべて表示されるようにモード切り替えができるようにしてもよい。

＜５−２．変形例２：カメラライン評価条件における性能情報の取得管理機能＞
変形例２として、カメラライン選別部１９３は、前述したカメラライン評価条件がカメラ１１の「性能」である場合に、当該性能を評価し、評価の結果得られた性能情報を管理する機能を有していてもよい。例えば、カメラライン選別部１９３は、本実施形態に係るシステムに含まれるすべてのカメラ１１に短時間の試撮影を行わせてその画像を取得し、得られた各画像のデータを自動解析して、各カメラ１１の性能情報を推定してもよい。あるいは、カメラライン選別部１９３は、画像解析処理まで行わなくとも、各カメラ１１の撮影画像に埋め込まれたExif（Exchangeable image file format）のデータから性能に関する情報を取得してもよい。

また、カメラライン選別部１９３は、Ｗｅｂページの自動巡回と情報収集を行うクローラプログラムの機能を有しており、カメラのスペック等、各カメラ１１の性能に関する情報をＷｅｂから収集する機能を有していてもよい。さらに、上記のように取得された性能情報のデータを情報管理サーバ２００と連携して記憶・管理してもよい。この機能により、カメラライン評価条件がカメラ１１の性能である場合に、ユーザが各カメラ１１の性能情報を本実施形態に係るシステムへ手入力し登録する作業負荷が軽減される。

＜５−３．変形例３：カメララインへの画像品質関連情報の付与表示機能＞
変形例３として、カメラライン制御部１９１は、各カメラ１１の撮像画像の品質に応じて、対応するカメララインの表示に変更を加える機能を有していてもよい。例えば、図１５において、撮像画像８１内のカメラライン８７Ｃ、カメラライン８７Ｄ、カメラライン８７Ｅにそれぞれ対応するカメラ１１Ｃの撮影画素数が３２０×２４０ピクセル、カメラ１１Ｄの撮影画素数が１９２０×１２００ピクセル、カメラ１１Ｅの撮影画素数が６４０×４８０ピクセルであった場合に、撮影画像の品質の高低比較は、カメラ１１Ｄ＞カメラ１１Ｅ＞カメラ１１Ｃとなる。

しかし、カメラ切り換え処理が行われる前には、そのような画像品質の差異をユーザは予測できない。そこで、図２５に示すように、撮影画像の品質の高低をカメララインの表示形態に対応させて描画することで、ユーザはカメラ切り換え処理前のカメララインを選択する段階で、切り換え先のカメラから得られる撮影画像の品質を直感的に把握することができ、より高い品質の撮影画像を得られるカメラを選択して切り換え操作を行うことができるようになる。なお、図２５に示した例では、カメララインの太さで撮影画像品質の高低を表現したが、例えば、カメララインの色や表示透過度等で撮影画像品質の高低を表現しても構わない。

＜５−４．変形例４：自由視点映像の映像補間視点における本発明技術適用＞
本実施形態における切り換え対象のカメラとしては、主にハードウェアの実体を有する撮像装置を想定しているが、変形例４として、本実施形態は、自由視点映像技術において生成される任意の映像補間視点に対応する仮想的な撮像視点位置もカメラ１１のひとつとみなしても構わない。これにより、視点切り換えを離散的ではなく連続的に行えるような自由視点映像技術を有する遠隔映像伝送アプリケーションシステムに対しても、本実施形態を適用し得る。

なお、完全な自由視点映像技術においては前記カメララインも任意に生成され得るが、その場合にも、本実施形態のカメラライン選別部１９３による前述の選別処理が有効にされてよい。例えば、当該選別処理を所定の空間範囲ごとに適用し、当該空間範囲に最適なカメララインが求められることで、任意のカメララインが質の高い視点候補に対応するカメララインに絞り込まれ、視点選択操作の可能性が無限にあるケースよりも操作性の高い視点選択入力方法を実現できる可能性がある。

＜５−５．変形例５：各構成の位置＞
上記では、端末装置１００および情報管理サーバ２００それぞれが有する機能ブロックの例を具体的に説明した。しかし、上記した例は、端末装置１００および情報管理サーバ２００それぞれが有する機能ブロックの一例に過ぎない。例えば、上記において、端末装置１００が有するとして説明した機能ブロック（例えば、カメラライン推薦部１９５など）を、端末装置１００の代わりに、情報管理サーバ２００が有してもよいし、上記において、情報管理サーバ２００が有するとして説明した機能ブロック（例えば、視点選好学習部２３１など）を、情報管理サーバ２００の代わりに、端末装置１００が有してもよい。

１１ カメラ
１３ マイクロフォン
１５ センサ
１７ メディア配信サーバ
１９、２３ ＬＡＮ（Local Area Network）
２１ ディスプレイ
３０ 外部ネットワーク
４０ ＰＢＸ（Private Branch eXchange）
６０ 表示画面（俯瞰モード）
６１ 俯瞰撮像画像
６３、７３、８３ ボタン画像
７０ 表示画面（近接モード）
７１ 近接撮像画像
８０ 表示画面（会話モード）
８１ 相手側撮像画像
８５ 自分側撮像画像
９０ ３次元仮想空間
９１ オブジェクト
９３ 仮想面
１００ 端末装置
１８０ 制御部
１８１ 実空間情報提供部
１８３ 位置取得部
１８５ オブジェクト選択部
１８７ ＩＤ取得部
１８９ 電話部
１９１ カメラライン制御部（ライン制御部）
１９３ カメラライン選別部（ライン選別部）
１９５ カメラライン推薦部
２００ 情報管理サーバ
２１０ 通信部
２２０ 記憶部
２３０ 制御部
２３１ 視点選好学習部

Claims (18)

1. ユーザの指定に基づく選択位置に対応する３次元仮想空間における３次元選択位置と前記３次元選択位置を撮像範囲に含む撮像装置の３次元設置位置とに応じた３次元ラインが指定され、前記３次元ラインに対応する撮像装置が前記ユーザの視点位置として指定された場合、前記３次元選択位置と前記３次元設置位置とに基づいて、前記選択位置に存在するオブジェクトに対応する人物に対する前記ユーザの閲覧条件を算出し、前記閲覧条件と前記視点位置の指定回数との関係を算出する学習部を備える、
   情報処理装置。
2. 前記学習部は、前記視点位置の指定回数が最大となる前記閲覧条件を算出する、
   請求項１に記載の情報処理装置。
3. 前記学習部は、前記３次元選択位置と前記３次元設置位置とに基づいて、少なくとも３次元仮想空間における前記人物と前記ユーザとの距離を前記閲覧条件として算出する、
   請求項１に記載の情報処理装置。
4. 前記学習部は、前記距離と前記視点位置の指定回数との関係式を算出し、前記関係式に基づいて、前記視点位置の指定回数が最大となる前記距離を算出する、
   請求項３に記載の情報処理装置。
5. 前記学習部は、前記３次元選択位置と前記３次元設置位置と前記人物の身体方向の情報とに基づいて、少なくとも３次元仮想空間における前記人物に対する前記ユーザの視点位置の角度を前記閲覧条件として算出する、
   請求項１に記載の情報処理装置。
6. 前記学習部は、前記人物に紐づけられた前記３次元仮想空間に対応する実空間における机の設置方向の情報に基づいて前記人物の身体方向を取得する、
   請求項５に記載の情報処理装置。
7. 前記学習部は、前記撮像装置による撮像画像に対する前記人物の顔検出処理または人体３次元モデル作成処理に基づいて前記人物の身体方向を取得する、
   請求項５に記載の情報処理装置。
8. 前記学習部は、前記人物の身体に備え付けられたセンサ装置によって検出されたセンサデータに基づいて前記人物の身体方向を取得する、
   請求項５に記載の情報処理装置。
9. 前記学習部は、前記角度と前記視点位置の指定回数との関係式を算出し、前記関係式に基づいて、前記視点位置の指定回数が最大となる前記角度を算出する、
   請求項５に記載の情報処理装置。
10. 前記学習部は、前記３次元選択位置と前記３次元設置位置と前記人物の身体方向の情報とに基づいて、３次元仮想空間における前記人物と前記ユーザとの距離および前記人物に対する前記ユーザの視点位置の角度を前記閲覧条件として算出し、前記距離および前記角度と前記視点位置の指定回数とを変数として含む回帰式を算出し、前記回帰式に基づいて、前記視点位置の指定回数が最大となる前記距離および前記角度を算出する、
    請求項１に記載の情報処理装置。
11. ユーザの指定に基づく選択位置に対応する３次元仮想空間における３次元選択位置と前記３次元選択位置を撮像範囲に含む撮像装置の３次元設置位置とに応じた３次元ラインが指定され、前記３次元ラインに対応する撮像装置が前記ユーザの視点位置として指定された場合、前記３次元選択位置と前記３次元設置位置とに基づいて、前記選択位置に存在するオブジェクトに対応する人物に対する前記ユーザの閲覧条件を算出し、前記閲覧条件と前記視点位置の指定回数との関係を算出することを含む、
    情報処理方法。
12. コンピュータを、
    ユーザの指定に基づく選択位置に対応する３次元仮想空間における３次元選択位置と前記３次元選択位置を撮像範囲に含む撮像装置の３次元設置位置とに応じた３次元ラインが指定され、前記３次元ラインに対応する撮像装置が前記ユーザの視点位置として指定された場合、前記３次元選択位置と前記３次元設置位置とに基づいて、前記選択位置に存在するオブジェクトに対応する人物に対する前記ユーザの閲覧条件を算出し、前記閲覧条件と前記視点位置の指定回数との関係を算出する学習部を備える、
    情報処理装置として機能させるためのプログラム。
13. ユーザの指定に基づく選択位置に対応する３次元仮想空間における３次元選択位置と前記３次元選択位置を撮像範囲に含む撮像装置の３次元設置位置とに応じた３次元ラインが指定され、前記３次元ラインに対応する撮像装置が前記ユーザの視点位置として指定され、前記３次元選択位置と前記３次元設置位置とに基づいて、前記選択位置に存在するオブジェクトに対応する人物に対する前記ユーザの閲覧条件が算出され、前記閲覧条件と前記視点位置の指定回数との関係が算出された場合、前記関係に応じた表示を制御する表示制御部を備える、
    表示制御装置。
14. 前記表示制御部は、前記視点位置の指定回数が最大となる前記閲覧条件に応じた３次元ラインを選択し、選択した３次元ラインに対応する２次元ラインと他の３次元ラインに対応する２次元ラインとが区別可能に視認されるように、前記選択した３次元ラインに対応する２次元ラインと前記他の３次元ラインに対応する２次元ラインとのうち少なくとも一方の表示態様を変更する、
    請求項１３に記載の表示制御装置。
15. 前記表示制御部は、前記視点位置の指定回数が最大となる前記閲覧条件に応じた３次元ラインにおける視点位置を算出し、算出した前記視点位置に対応する撮像画像が表示されるように制御する、
    請求項１３に記載の表示制御装置。
16. ユーザの指定に基づく選択位置に対応する３次元仮想空間における３次元選択位置と前記３次元選択位置を撮像範囲に含む撮像装置の３次元設置位置とに応じた３次元ラインが指定され、前記３次元ラインに対応する撮像装置が前記ユーザの視点位置として指定され、前記３次元選択位置と前記３次元設置位置とに基づいて、前記選択位置に存在するオブジェクトに対応する人物に対する前記ユーザの閲覧条件が算出され、前記閲覧条件と前記視点位置の指定回数との関係が算出された場合、前記関係に応じた表示を制御すること、
    を含む、表示制御方法。
17. コンピュータを、
    ユーザの指定に基づく選択位置に対応する３次元仮想空間における３次元選択位置と前記３次元選択位置を撮像範囲に含む撮像装置の３次元設置位置とに応じた３次元ラインが指定され、前記３次元ラインに対応する撮像装置が前記ユーザの視点位置として指定され、前記３次元選択位置と前記３次元設置位置とに基づいて、前記選択位置に存在するオブジェクトに対応する人物に対する前記ユーザの閲覧条件が算出され、前記閲覧条件と前記視点位置の指定回数との関係が算出された場合、前記関係に応じた表示を制御する表示制御部を備える、
    表示制御装置として機能させるためのプログラム。
18. ユーザの指定に基づく選択位置に対応する３次元仮想空間における３次元選択位置と前記３次元選択位置を撮像範囲に含む撮像装置の３次元設置位置とに応じた３次元ラインが指定され、前記３次元ラインに対応する撮像装置が前記ユーザの視点位置として指定された場合、前記３次元選択位置と前記３次元設置位置とに基づいて、前記選択位置に存在するオブジェクトに対応する人物に対する前記ユーザの閲覧条件を算出し、前記閲覧条件と前記視点位置の指定回数との関係を算出する学習部と、
    前記関係に応じた表示を制御する表示制御部と、
    を有する、情報処理システム。
    

Images