以下に添付の図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
以降、<1.情報処理システムの概略的な構成>、<2.端末装置の構成>、<3.情報管理サーバの構成>、<4.処理の流れ>という順序で本発明の実施形態を説明する。
<<1.情報処理システムの概略的な構成>>
まず、図1を参照して、本発明の実施形態に係る情報処理システムの概略的な構成を説明する。図1は、本実施形態に係る情報処理システムの概略的な構成の一例を示す説明図である。図1を参照すると、情報処理システムは、例えば、複数の拠点にわたって存在する。この例では、情報処理システムは、センタオフィス10とサテライトオフィス20(又はホームオフィスと20)にわたって存在する。センタオフィス10は、比較的大規模なオフィスであり、サテライトオフィス20(又はホームオフィスと20)は、比較的小規模なオフィスである。
情報処理システムは、センタオフィス10において、カメラ11、マイクロフォン13、センサ15、メディア配信サーバ17、情報管理サーバ200、及びLAN(Local Area Network)19を含む。また、情報処理システムは、サテライトオフィス20(又はホームオフィスと20)において、端末装置100、ディスプレイ21、及びLAN23を含む。また、情報処理システムは、さらにPBX(Private Branch eXchange)40を含む。
(カメラ11)
カメラ11は、当該カメラ11が向いている方向(即ち、撮像方向)の領域を撮像する。センタオフィス10には、複数のカメラ11が設置される。そして、設置された各カメラ11は、それぞれの設置位置からセンタオフィスの一部又は全体を撮像する。このように、情報処理システムでは、様々な位置からセンタオフィスが撮像される。カメラ11を通じて生成される撮像画像は、静止画像であってもよく、又は動画像(即ち映像)であってもよい。
また、カメラ11は、例えば、自動で向きを変えることができる。さらに、カメラ11は、例えば、ズーム機能を有する。当該ズーム機能は、光学ズーム機能であってもよく、又はデジタルズーム機能であってもよい。
また、カメラ11は、位置を変えることが可能であってもよい。一例として、カメラ11は、ドリーにより可動であってもよい。即ち、カメラ11は、レールに沿って可動であってもよい。この場合に、レールに沿って動くためのモータの制御により、カメラ11が前後に動いてもよい。これにより、1台のカメラ11であっても、異なる位置から被写体が撮像された撮像画像を生成することが可能になる。
また、カメラ11が位置を変えることが可能である場合に、上記ズーム機能は、カメラ11の位置を変えることによるズーム機能であってもよい。一例として、上記ズーム機能は、ドリーによるズーム機能であってもよい。例えば、被写体に向かってカメラ11を動かすことによりズームインを行い、カメラ11が被写体から離れる方向にカメラ11を動かすことによりズームアウトを行ってもよい。なお、ドリーによるズームは、光学ズーム又はデジタルズームのように、精緻なズームである必要はない。例えば、ズームインでは、被写体がより大きく写った撮像画像が生成されればよく、ズームアウトでは、被写体がより小さく写った撮像画像が生成されればよい。
(マイクロフォン13)
マイクロフォン13は、当該マイクロフォン13の周囲の音を集音する。センタオフィス10には、複数のマイクロフォン13が設置される。そして、設置された各マイクロフォン13は、センタオフィス内のそれぞれの設置位置の周囲の音を集音する。このように、情報処理システムでは、センタオフィス10内の様々な位置での音が集音される。
(センサ15)
センサ15は、様々な種類のセンサを含み得る。例えば、センサ15は、人物が座席にいるか否かを判定する座席センサを含む。当該座席センサは、各座席に設置され、各座席に人物が座っているか否かを判定する。座席センサは、例えば、押圧を検出可能ないずれかのセンサである。
(メディア配信サーバ17)
メディア配信サーバ17は、要求に応じて端末装置にメディア(例えば、音声、映像等)を配信する。
(情報管理サーバ200)
情報管理サーバ200は、情報処理システムにおいて用いられる様々な情報を管理する。即ち、情報管理サーバ200は、当該様々な情報を記憶し、適時に当該様々な情報を更新する。
例えば、情報管理サーバ200は、カメラ11、マイクロフォン13及びセンサ15に関するパラメータを管理する。具体的には、例えば、情報管理サーバ200は、カメラ11のパラメータとして、カメラ11の設置位置、撮像方向(例えば、カメラのレンズと垂直な方向)、ズーム率等の情報を記憶し、更新する。
また、例えば、情報管理サーバ200は、実空間に対応する3次元仮想空間のデータを管理する。当該3次元仮想空間は、例えば、センタオフィス10を模した3次元仮想空間である。また、当該3次元仮想空間には、オブジェクトが配置される。例えば、当該オブジェクトは、人物に対応する。そして、当該オブジェクトは、センタオフィス10の各座席の位置に対応する上記3次元仮想空間内の3次元仮想位置に配置される。即ち、人物が座席に座っている場合には当該人物が存在するであろう位置に対応する3次元仮想位置に、上記オブジェクトが配置される。一例として、当該オブジェクトは、円柱のオブジェクトである。3次元仮想空間については後述する。
(LAN19)
また、LAN19は、センタオフィス10内の各装置を接続するネットワークである。また、LAN19は、外部ネットワーク30を介して、センタオフィス10内の各装置とセンタオフィス10外の装置とを接続する。当該外部ネットワーク30は、例えば、インターネットを含む。
(端末装置100)
端末装置100は、ユーザにより使用される。例えば、端末装置100は、電話、メール等のコミュニケーションを行うための機能をユーザに提供する。端末装置100は、一例としてタブレット端末である。なお、端末装置100は、タブレット端末の代わりに、スマートフォン、PC(Personal Computer)、ディスプレイ付き電話機等の、表示機能及び通信機能を有する別の装置であってもよい。
(ディスプレイ21)
ディスプレイ21は、いずれかの画面を表示する。例えば、ディスプレイ21は、カメラ11を通じて生成された撮像画像を含む画面を表示する。これにより、端末装置100のユーザを含む多数の人物が、ディスプレイ21を介してセンタオフィス10の様子を見ることができる。
また、ディスプレイ21は、例えば、いずれかの音声も出力する。例えば、ディスプレイ21は、マイクロフォン13により集音される音声を出力する。これにより、端末装置100のユーザを含む多数の人物が、ディスプレイ21を介してセンタオフィス10の音を聞くことができる。
(LAN23)
また、LAN23は、サテライトオフィス20(又はホームオフィス20)内の各装置を接続するネットワークである。また、LAN23は、外部ネットワーク30を介して、サテライトオフィス20内の各装置とサテライトオフィス20外の装置とを接続する。
(PBX40)
PBX40は、外部ネットワーク30を介した装置間の通信を可能にする。PBX40は、例えば、H.323又はSIP(Session Initiation Protocol)に従って動作する。
具体的には、例えば、PBX40は、通信用の識別情報(例えば、電話番号)とIP(Internet Protocol)アドレスとを、互いに対応付けて記憶する。そして、PBX40は、要求に応じて、通信用の識別情報をIPアドレスに変換し、当該IPアドレスを要求元に提供する。
なお、PBX40は、LAN19又はLAN23に接続されてもよい。
<<2.端末装置の構成>>
続いて、図2〜図14を参照して、本実施形態に係る端末装置100の構成の一例を説明する。
<2−1.ハードウェア構成>>
まず、図2を参照して、本実施形態に係る端末装置100のハードウェア構成の一例を説明する。図2は、本実施形態に係る端末装置100のハードウェア構成の一例を示すブロック図である。図2を参照すると、端末装置100は、CPU(Central Processing Unit)801、ROM(Read Only Memory)803、RAM(Random Access Memory)805、バス807、記憶装置809、通信インターフェース811、カメラ813、マイクロフォン815、スピーカ817及びタッチパネル820を備える。
CPU801は、端末装置100における様々な処理を実行する。また、ROM803は、端末装置100における処理をCPU801に実行させるためのプログラム及びデータを記憶する。また、RAM805は、CPU801の処理の実行時に、プログラム及びデータを一時的に記憶する。
バス807は、CPU801、ROM803及びRAMを相互に接続する。バス807には、さらに、記憶装置809、通信インターフェース811、カメラ813、マイクロフォン815、スピーカ817及びタッチパネル820が接続される。バス807は、例えば、複数の種類のバスを含む。一例として、バス807は、CPU801、ROM803及びRAM805を接続する高速バスと、当該高速バスよりも低速の1つ以上の別のバスを含む。
記憶装置809は、端末装置100内で一時的又は恒久的に保存すべきデータを記憶する。記憶装置809は、例えば、ハードディスク(Hard Disk)等の磁気記憶装置であってもよく、又は、EEPROM(Electrically Erasable and Programmable Read Only Memory)、フラッシュメモリ(flash memory)、MRAM(Magnetoresistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)及びPRAM(Phase change Random Access Memory)等の不揮発性メモリ(nonvolatile memory)であってもよい。
通信インターフェース811は、端末装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)外部装置と通信する。通信インターフェース811は、無線通信用のインターフェースであってもよく、この場合に、例えば、通信アンテナ、RF回路及びその他の通信処理用の回路を含んでもよい。また、通信インターフェース811は、有線通信用のインターフェースであってもよく、この場合に、例えば、LAN端子、伝送回路及びその他の通信処理用の回路を含んでもよい。
カメラ813は、被写体を撮像する。カメラ813は、例えば、光学系、撮像素子及び画像処理回路を含む。
マイクロフォン815は、周囲の音を集音する。マイクロフォン815は、周囲の音を電気信号へ変換し、当該電気信号をデジタルデータに変換する。
スピーカ817は、音声を出力する。スピーカ817は、デジタルデータを電気信号に変換し、当該電気信号を音声に変換する。
タッチパネル820は、タッチ検出面821及び表示面823を含む。
タッチ検出面821は、タッチパネル820におけるタッチ位置を検出する。より具体的には、例えば、ユーザが、タッチパネル820にタッチすると、タッチ検出面821は、当該タッチを感知し、当該タッチの位置に応じた電気信号を生成し、そして当該電気信号をタッチ位置の情報に変換する。タッチ検出面821は、例えば、静電容量方式、抵抗膜方式、光学式等の任意のタッチ検出方式に従って形成され得る。
表示面823は、端末装置100からの出力画像(即ち、表示画面)を表示する。表示面823は、例えば、液晶、有機EL(Organic Light-Emitting Diode:OLED)、CRT(Cathode Ray Tube)等を用いて実現され得る。
<2−2.機能構成>>
次に、本実施形態に係る端末装置100の機能構成の一例を説明する。図3は、本実施形態に係る端末装置100の機能構成の一例を示すブロック図である。図3を参照すると、端末装置100は、通信部110、入力部120、撮像部130、集音部140、表示部150、音声出力部160、記憶部170及び制御部180を備える。
(通信部110)
通信部110は、他の装置と通信する。例えば、通信部110は、LAN23に直接的に接続され、サテライトオフィス20内の各装置と通信する。また、通信部110は、外部ネットワーク30及びLAN19を介して、センタオフィス10内の各装置と通信する。具体的には、例えば、通信部110は、カメラ11、マイクロフォン13、センサ15、メディア配信サーバ17及び情報管理サーバ200と通信する。なお、通信部110は、例えば、通信インターフェース811により実装され得る。
(入力部120)
入力部120は、端末装置100のユーザによる入力を受け付ける。そして、入力部120は、入力結果を制御部180へ提供する。
例えば、入力部120は、表示画面においてユーザにより指定される位置を検出する。より具体的には、例えば、入力部120は、タッチ検出面821により実装され、タッチパネル820におけるタッチ位置を検出する。そして、入力部120は、検出されたタッチ位置を制御部820へ提供する。
(撮像部130)
撮像部130は、被写体を撮像する。例えば、撮像部130は、端末装置100の正面方向の領域を撮像する。この場合に、撮像部130は、端末装置100のユーザを撮像する。撮像部130は、撮像結果(即ち、撮像画像)を制御部180に提供する。なお、撮像部130は、例えば、カメラ813により実装され得る。
(集音部140)
集音部140は、端末装置100の周囲の音を集音する。例えば、集音部140は、端末装置100のユーザの声を集音する。集音部140は、集音結果(即ち、音声データ)を制御部180に提供する。なお、集音部140は、例えば、マイクロフォン815により実装され得る。
(表示部150)
表示部150は、端末装置100からの出力画像(即ち、表示画面)を表示する。表示部150は、制御部180による制御に応じて表示画面を表示する。なお、表示部150は、例えば、表示面823により実装され得る。
(音声出力部160)
音声出力部160は、端末装置100から音声を出力する。音声出力部160は、制御部180による制御に応じて音声を出力する。なお、音声出力部160は、例えば、スピーカ817により実装され得る。
(記憶部170)
記憶部170は、端末装置100の動作のためのプログラム及びデータを記憶する。なお、記憶部170は、例えば、記憶装置809により実装され得る。
例えば、記憶部170は、実空間に対応する3次元仮想空間のデータを記憶する。具体的には、例えば、情報管理サーバ200が、センタオフィス10に対応する3次元仮想空間のデータを記憶しているので、制御部180が、通信部110を介して、上記3次元仮想空間のデータを取得する。そして、記憶部170は、取得された当該3次元仮想空間のデータを記憶する。
(制御部180)
制御部180は、端末装置100の様々な機能を提供する。制御部180は、実空間情報提供部181、位置取得部183、オブジェクト選択部185、ID取得部187及び電話部189を含む。なお、制御部180は、例えば、CPU801、ROM803及びRAM805により実装され得る。
(実空間情報提供部181)
実空間情報提供部181は、実空間の情報を端末装置100のユーザに提供する。
例えば、実空間情報提供部181は、表示部150に、実空間の撮像画像の表示画面を表示させる。より具体的には、例えば、当該撮像画像は、実空間(センタオフィス10)内にあるカメラ11を通じて生成される撮像画像である。当該撮像画像は、カメラ11により生成された撮像画像であってもよく、又は、カメラ11により生成された撮像画像を加工することにより生成された撮像画像であってもよい。また、上記表示画面は、当該撮像画像を一部又は全体に含む画面である。
実空間情報提供部181は、通信部110を介して、カメラ11により生成される撮像画像を取得する。そして、実空間情報提供部181は、撮像画像を含む表示画面を生成し、表示部150に当該表示画面を表示させる。
また、例えば、上記撮像画像は、実空間内にある複数の撮像装置のうちの選択された1つの撮像装置を通じて生成された撮像画像である。より具体的には、例えば、上記撮像画像は、センタオフィス10に配置された複数のカメラ11のうちの選択された1つのカメラ11を通じて生成された撮像画像である。ユーザがカメラ11をどのように選択する具体的な手法は後述する。カメラ11を選択できるので、ユーザは所望の位置からの撮像画像を見ることができる。そして、後述するように撮像画像の位置を指定する際に、ユーザはより望ましい撮像画像で位置を指定することができる。
また、例えば、上記表示画面は、表示モードに応じた撮像画像を含む。より具体的には、例えば、上記表示画面は、第1の表示モードでは、実空間の第1の領域が撮像された第1の撮像画像を含み、第2の表示モードでは、第1の領域よりも狭い第2の領域が撮像された第2の撮像画像を含む。即ち、実空間情報提供部181は、第1の表示モードでは、上記第1の撮像画像を表示部150に表示させ、第2の表示モードでは、上記第2の撮像画像を表示部150に表示させる。
さらに具体的には、例えば、上記第1の撮像画像は、第1のズーム率に対応する撮像画像である。そして、上記第2の撮像画像は、上記第1のズーム率よりも大きい第2のズーム率に対応する撮像画像である。例えば、実空間情報提供部181は、通信部110を介して、カメラ11へのズーム(光学ズーム、デジタルズーム、又は撮像装置の位置の変更によるズーム(例えば、ドリーによるズーム))に関する要求を行うことにより、第1のズーム率に対応する撮像画像、又は第2のズーム率に対応する撮像画像を取得する。または、実空間情報提供部181は、カメラ11により生成された撮像画像に対するデジタルズームにより、第1のズーム率に対応する撮像画像、又は第2のズーム率に対応する撮像画像を生成してもよい。なお、ここでのズーム率は、1.5倍、2倍等の精緻な値である必要はなく、被写体が撮像画像に写る大きさの程度を直接的又は間接的に示すものであればよい。例えば、とりわけカメラ11の位置の変更によるズーム(例えば、ドリーによるズームイン及びズームアウト)が用いられる場合には、ズーム率は、1.5倍、2倍等の精緻な値ではなく、被写体の大きさの程度を直接的に示すもの(例えば、被写体の概ねの大きさの程度を示すパラメータ、等)、又は、被写体の大きさの程度を間接的に示すもの(例えば、レールにおけるカメラ11の位置、等)であってもよい。第1のズーム率に対応する撮像画像は、被写体がより小さく写っている撮像画像であり、第1のズーム率よりも大きい第2のズーム率に対応する撮像画像は、被写体がより大きく写っている撮像画像であればよい。
一例として、上記表示画面は、俯瞰モードでは、X倍のズーム率(例えば、X=1)での撮像でカメラ11により生成された俯瞰撮像画像を含み、近接モードでは、Y倍のズーム率(Y>X)での撮像でカメラ11により生成された近接撮像画像を含む。即ち、俯瞰撮像画像は、センタオフィス10のより広い領域が撮像された撮像画像であり、近接撮像画像は、センタオフィス10のより狭い領域が撮像された撮像画像である。以下、この点について図4及び図5を参照して具体例を説明する。
−俯瞰モードで表示される表示画面
図4は、俯瞰モードで表示される表示画面の一例を説明するための説明図である。図4を参照すると、俯瞰モードで表示される表示画面60が示されている。表示画面60は、俯瞰撮像画像61、ボタン画像63、プレゼンスアイコン65、吹き出し画像67及びマップ画像69を含む。
俯瞰撮像画像61は、例えば、X倍のズーム率での撮像でカメラ11により生成された撮像画像である。一例として、X=1である。即ち、俯瞰撮像画像61は、ズームなしの撮像でカメラ11により生成された撮像画像である。
また、例えば、ユーザが、俯瞰撮像画像61の位置を指定すると、実空間情報提供部181は、表示モードを俯瞰モードから近接モードに切り替える。より具体的には、例えば、ユーザが俯瞰撮像画像61の位置をタッチし、俯瞰撮像画像61に対応するタッチ位置が検出されると、実空間情報提供部181は、表示モードを俯瞰モードから近接モードに切り替える。
また、ボタン画像63は、別のカメラ11を選択するための画像である。例えば、ユーザが、ボタン画像63の位置を指定すると、実空間情報提供部181は、別のカメラ11により生成された俯瞰撮像画像を取得し、表示部150に当該俯瞰撮像画像を表示させる。より具体的には、例えば、ユーザがボタン画像63の位置をタッチし、ボタン画像63に対応するタッチ位置が検出されると、実空間情報提供部181は、別のカメラ11により生成された俯瞰撮像画像を取得し、表示部150に当該俯瞰撮像画像を表示させる。例えば、ボタン画像63Aの位置がユーザにより指定されると、現在のカメラ11の左側に位置するカメラ11が選択される。また、ボタン画像63Bの位置がユーザにより指定されると、現在のカメラ11の右側に位置するカメラ11が選択される。そして、実空間情報提供部181は、選択されたカメラ11により生成された俯瞰撮像画像を取得し、表示部150に、当該俯瞰撮像画像を表示させる。
また、プレゼンスアイコン65は、撮像画像61に写る人物の繁忙度を示すアイコンである。例えば、プレゼンスアイコン65は、人物の繁忙度に応じて色が変わる。一例として、プレゼンスアイコンは、赤色の場合に繁忙度が高いことを示し、黄色の場合に繁忙度が普通であることを示し、青色の倍に繁忙度が低いことを示す。後述するように、撮像画像61のうちのどこに人物が写っているはずであるかが分かるので、このようなアイコンを表示することも可能である。
例えばこのように、表示画面60は、例えば、俯瞰撮像画像61に写る人物に関連する情報(以下、「人物関連情報」と呼ぶ)を含む。そして、人物関連情報は、例えば、上記人物の状態を示す状態情報を含む。上述したように、当該状態情報は、一例としてプレゼンスアイコン65である。なお、人物関連情報は、2つ以上の時点における上記人物の状態を示す状態履歴を含んでもよい。一例として、当該状態履歴情報は、撮像画像61に写る人物の繁忙度の履歴を含んでもよい。即ち、表示画面60に、人物の繁忙度の履歴が表示されてもよい。実空間情報提供部181は、例えば、通信部110を介して、情報管理サーバ200から人物関連情報、又は人物関連情報の表示に必要な情報を取得する。
このような人物関連情報により、ユーザは、人物が置かれている状況をより的確に把握することができる。また、状態情報により、ユーザは、人物にコンタクトしてもよいかをより的確に判断することができる。また、状態履歴により、ユーザは、瞬時のユーザの状態だけではなく、ある期間でのユーザの状態を把握することができるので、ユーザは、人物にコンタクトしてもよいかをさらに的確に判断することができる。
また、吹き出し画像67は、撮像画像61に写る人物により提示される文字情報を含む画像である。吹き出し画像67も、人物関連情報の一例である。
また、マップ画像69は、センタオフェス10のマップを示す画像である。マップ画像69は、さらに、使用しているカメラ11をアイコンにより示す。なお、とりわけセンタオフィス10内に1つ又は少数のカメラ11しか設置されない場合には、マップ画像69は省略され得る。
−近接モードで表示される表示画面
図5は、近接モードで表示される表示画面の一例を説明するための説明図である。図5を参照すると、近接モードで表示される表示画面70が示されている。表示画面70は、近接撮像画像71、ボタン画像73及びマップ画像75を含む。
近接撮像画像71は、例えば、Y倍のズーム率(Y>X)での撮像でカメラ11により生成された撮像画像である。一例として、Y=1.5である。即ち、俯瞰撮像画像61は、1.5倍ズームの撮像でカメラ11により生成された撮像画像である。
また、ボタン画像73は、表示モードを近接モードから俯瞰モードに切り替えるための画像である。例えば、ユーザが、ボタン画像73の位置を指定すると、実空間情報提供部181は、表示モードを近接モードから俯瞰モードに切り替える。より具体的には、例えば、ユーザがボタン画像73の位置をタッチし、ボタン画像73に対応するタッチ位置が検出されると、実空間情報提供部181は、表示モードを近接モードから俯瞰モードに切り替える。
また、マップ画像75は、俯瞰モードにおけるマップ画像69と同様に、センタオフェス10のマップを示す画像である。マップ画像75は、さらに、使用しているカメラ11を示す。例えば、近接モードでは、ズームされたことを象徴的に示すために、マップ画像75の中の使用しているカメラのアイコンが、より前進した位置に表示される。なお、俯瞰モードにおけるマップ画像69と同様に、とりわけセンタオフィス10内に1つ又は少数のカメラ11しか設置されない場合には、マップ画像75は省略され得る。
なお、近接モードで表示される表示画面70にも、プレゼンスアイコン、吹き出し画像等の人物関連情報が含まれてもよい。
以上のように表示モードによれば、より広い領域が撮像された撮像画像が表示されることにより、ユーザは実空間の全体的な状況を見ることができ、また特定の人物を容易に見つけることができる。そして、より狭い領域が撮像された撮像画像が表示されることにより、ユーザは特定の人物の位置をより容易に指定することができる。また、表示モードを切り替えるのみなので、ユーザには容易な操作しか求められない。また、より広い領域が撮像された撮像画像とより狭い領域が撮像された撮像画像とが、ズーム率が異なる撮像画像なので、ユーザは、これらの撮像画像間の関係を直感的に容易に把握することができる。よって、ユーザは、表示モードが切り替わったとしても、特定の人物を容易に見つけ、当該特定の人物の位置を指定することができる。
−その他の実空間情報
以上のように、実空間情報提供部181は、表示部150に実空間の撮像画像の表示画面を表示させることにより、実空間の視覚的な情報を提供する。さらに、実空間情報提供部181は、実空間の聴覚的な情報も提供してもよい。即ち、実空間情報提供部181は、音声出力部160に、実空間での集音により得られた音声データの音声を出力させてもよい。
例えば、実空間情報提供部181は、選択されたカメラ11に近いマイクロフォン13を選択する。そして、実空間情報提供部181は、通信部110を介して、マイクロフォン13から、センタオフィス10での集音により得られた音声データを取得する。そして、実空間情報提供部181は、音声出力部160に、取得した音声データの音声を出力させてもよい。
(位置取得部183)
位置取得部183は、実空間の撮像画像の表示画面においてユーザにより指定される上記撮像画像内の位置を取得する。より具体的には、例えば、入力部120が、実空間の撮像画像の表示画面においてユーザにより指定される上記撮像画像内の位置を検出すると、位置取得部183は、当該位置を取得する。そして、位置取得部183は、当該撮像画像内の位置をオブジェクト選択部185に提供する。
一例として、位置取得部183は、近接撮像画像71内のいずれかの位置を取得した場合に、当該位置をオブジェクト選択部185に提供する。以下、この点について図6及び図7を参照して具体例を説明する。
図6は、ユーザにより指定される近接撮像画像内の位置の第1の例を説明するための説明図である。図6を参照すると、近接モードで表示される表示画面に含まれる近接撮像画像71、及びユーザの手3が、示されている。また、近接撮像画像71に写る人物77が示されている。そして、ユーザは、手3で人物77の位置をタッチすることにより、近接撮像画像71の人物77の位置を指定している。この場合に、入力部120は、近接撮像画像71の人物77の上記位置を検出し、位置取得部183は、当該位置を取得する。そして、入力部120は、取得した当該位置をオブジェクト選択部185に提供する。
図7は、ユーザにより指定される近接撮像画像内の位置の第2の例を説明するための説明図である。図7を参照すると、近接撮像画像71に写る人物77A及び77Bが示されている。そして、ユーザは、手3で人物77Aの位置をタッチすることにより、近接撮像画像71の人物77Aの位置を指定している。この場合に、入力部120は、近接撮像画像71の人物77Aの上記位置を検出し、位置取得部183は、当該位置を取得する。そして、入力部120は、取得した当該位置をオブジェクト選択部185に提供する。
(オブジェクト選択部185)
オブジェクト選択部185は、取得される撮像画像内の位置に基づいて、実空間に対応する3次元仮想空間に配置されたオブジェクトを選択する。例えば、位置取得部183が、実空間の撮像画像の表示画面においてユーザにより指定される上記撮像画像内の位置を取得すると、オブジェクト選択部185は、当該位置に基づいて、上記実空間に対応する3次元仮想空間に配置されたオブジェクトを選択する。
上記オブジェクトは、上記撮像画像内の上記位置に対応する上記3次元仮想空間内の3次元仮想位置に配置されたオブジェクトである。また、例えば、上記撮像画像は、上記第2のモード(例えば、近接モード)で表示画面に含まれる撮像画像である。
一例として、位置取得部183が、カメラ11により生成された近接撮像画像内の位置を取得すると、オブジェクト選択部185は、センタオフィス10に対応する3次元仮想空間に配置されたオブジェクトのうちの、上記位置に対応するオブジェクトを選択する。なお、オブジェクト選択部185は、例えば、センタオフィス10に対応する3次元仮想空間のデータを記憶部170から取得する。
−1つのオブジェクトが配置されている場合の例
以下、図8及び図9を参照して、3次元仮想空間に1つのオブジェクトが配置されている場合の具体例を説明する。
図8は、センタオフィス10に対応する3次元仮想空間の第1の例を説明するための説明図である。図8を参照すると、センタオフィス10に対応する3次元仮想空間90が示されている。また、当該3次元仮想空間90には、オブジェクト91が配置されている。当該オブジェクト91は、人物(例えば、A氏)に対応する。そして、当該オブジェクトは、センタオフィス10の当該人物(例えば、A氏)の座席の位置に対応する3次元仮想位置に配置される。即ち、上記人物が座席に座っている場合には上記人物が存在するであろう位置に対応する3次元仮想位置に、上記オブジェクト91が配置される。この例では、オブジェクト91は、円柱のオブジェクトである。当該円柱のオブジェクトは、半径R及び高さHを伴う円柱のオブジェクトである。半径R及び高さHは、例えば、予め定められる。なお、3次元仮想空間90のデータには、各カメラ11に関連する情報も含まれている。例えば、各カメラ11に関連する情報は、各カメラ11の設置位置に対応する3次元仮想位置、撮像方向(例えば、カメラのレンズと垂直な方向)、画角等を含む。
図9は、図8に示される3次元仮想空間に配置されたオブジェクトの選択の例を説明するための説明図である。図9を参照すると、容易な理解のために、3次元仮想空間90における水平面における位置関係が示されている。具体的には、3次元仮想空間90に配置されたオブジェクト91、撮像に用いられるカメラ11の設置位置に対応する3次元仮想位置(以下、「仮想カメラ位置」と呼ぶ)O、カメラ11の撮像方向(例えば、カメラのレンズと垂直な方向)に対応する軸y、及び、軸yと直交する軸xが、示されている。この例では、容易な理解のために、カメラ11は、当該カメラ11の撮像方向が水平面に平行になるように設置されているものとする。
さらに、カメラ11の画角θも示されている。また、カメラ11の撮像方向に対応する軸yに垂直であり、且つ画角θに対応する幅を有する仮想面93が示されている。また、仮想面93は、仮想カメラ位置Oから距離Iだけ離れている。そして、仮想面93は、四角形の面であり、撮像画像と同一の縦横比を有する。即ち、仮想面93は、撮像画像に対応する面である。
オブジェクト選択部185は、例えば、図6に示されるようにユーザにより指定される上記撮像画像内の位置を、3次元仮想位置Aに変換する。そして、オブジェクト選択部185は、仮想カメラ位置Oと3次元仮想位置Aとを通る直線に交わるオブジェクトを特定する。この例では、オブジェクト選択部185は、オブジェクト91を特定する。そして、オブジェクト選択部185は、オブジェクト91を選択する。
図9の例では、例えば、仮想面93のうちの3次元仮想位置Bと3次元仮想位置Dとの間にある3次元仮想位置に変換される撮像画像内の位置が、撮像画像内でユーザにより指定されると、オブジェクト91が選択される。なお、このような位置は、概ね、撮像画像においてオブジェクト91に対応する人物が写っている位置である。
なお、距離Iは、仮想カメラ位置Oとオブジェクト91との間に仮想面93が位置するように決定される。一例として、距離Iは、カメラ11の焦点距離であるが、当然ながらこれに限られない。
また、容易な説明のために、3次元仮想空間90の水平面に着目してオブジェクトを選択する手法を説明したが、当然ながら、垂直方向(例えば、z軸)を加えたとしても、撮像画像内の位置を3次元仮想位置に変換して当該3次元仮想位置からオブジェクト91を特定することが可能である。
例えば以上のように、撮像画像内の位置に対応するオブジェクトが選択される。上述した例では、撮像画像内の位置を3次元仮想位置に変換することにより、撮像画像内の位置に対応するオブジェクトが特定されたが、撮像画像内の位置に対応するオブジェクトを特定する手法は、これに限られない。
一例として、オブジェクト選択部185は、仮想カメラ位置Oを原点としてオブジェクト91を仮想面93に射影し、オブジェクト91の射影範囲を、撮像画像内の範囲に変換してもよい。そして、ユーザにより指定される上記撮像画像内の位置が、上記範囲に含まれる場合に、オブジェクト選択部185は、オブジェクト91を選択してもよい。
また、別の例として、仮想カメラ位置O、軸y及び画角θを用いて3次元仮想空間90のレンダリングを行うことにより、レンダリング画像を生成し、当該レンダリング画像のうちのオブジェクト91が写っている範囲から、オブジェクト91に対応する撮像画像内の範囲を得てもよい。そして、ユーザにより指定される上記撮像画像内の位置が、上記範囲に含まれる場合に、オブジェクト選択部185は、オブジェクト91を選択してもよい。
−状態を考慮したオブジェクトの選択
また、例えば、3次元仮想空間90に配置されるオブジェクト91は、複数の状態のうちのいずれかの状態を示す状態情報に対応する。例えば、オブジェクト91は、人物に対応する。そして、オブジェクト91は、当該人物が座席に座っているか否かを示す状態情報(以下、「存否情報」と呼ぶ)に対応する。当該存否情報は、人物が座席に座っている状態、又は人物が座席に座っていない状態を示す。オブジェクト選択部185は、例えば、オブジェクト91に対応する人物が座席に座っているか否かの判定結果を、通信部110を介してセンサ15から取得する。そして、当該判定結果が存否情報となる。
そして、例えば、オブジェクト選択部185は、上記3次元仮想空間に配置されたオブジェクトであって、上記複数の状態のうちの所定の状態を示す状態情報に対応する上記オブジェクトを、選択する。例えば、オブジェクト選択部185は、上記3次元空間に配置されたオブジェクトであって、人物が座席に座っている状態を示す状態情報に対応するオブジェクトを、選択する。即ち、オブジェクト選択部185は、センサ15により人物が座席に座っていると判定される場合には、当該人物に対応するオブジェクトを選択し得るが、センサ15により人物が座席に座っていないと判定される場合には、当該人物に対応するオブジェクトを選択しない。
このように、人物の状態に応じてオブジェクトが選択されるので、本来選択されるべきでないオブジェクトが選択されることを回避することができる。例えば、人物がいない場合に当該人物に対応するオブジェクトが選択されてしまうことを、回避することができる。
−2つのオブジェクトが配置されている場合の例
また、3次元仮想空間内に2つ以上のオブジェクトが配置され得る。以下、2つのオブジェクトが配置される具体例を、図10を参照して説明する。
図10は、センタオフィス10に対応する3次元仮想空間の第2の例を説明するための説明図である。図10を参照すると、センタオフィス10に対応する3次元仮想空間90が示されている。また、当該3次元仮想空間90には、オブジェクト91A及びオブジェクト91Bが配置されている。オブジェクト91Aは、ある人物(例えば、A氏)に対応し、センタオフィス10の当該ある人物の座席の位置に対応する3次元仮想位置に配置される。また、オブジェクト91Bは、ある人物(例えば、B氏)に対応し、センタオフィス10の当該ある人物の座席の位置に対応する3次元仮想位置に配置される。図8の例と同様に、オブジェクト91は、半径R及び高さHを伴う円柱のオブジェクトである。
このように3次元仮想空間内に2つ以上のオブジェクトが配置される場合には、複数のオブジェクトが、ユーザにより指定される撮像画像内の位置に対応し得る。例えば、図10の例において、オブジェクト91Aとオブジェクト91Bの両方が、ユーザにより指定される撮像画像内の位置に対応し得る。一例として、図7に示されるように撮像画像内に2人の人物が写り得るような場合に、ユーザが、撮像画像において当該2人の人物が重なり合う位置を指定すると、当該2人の人物に対応する2つのオブジェクトが、上記位置に対応し得る。
そこで、このような場合(即ち、複数のオブジェクトが、ユーザにより指定される撮像画像の位置に対応する場合)には、オブジェクト選択部185は、上記複数のオブジェクトのうちのいずれか1つのオブジェクトを選択する。即ち、オブジェクト選択部185は、ユーザにより指定される撮像画像内の位置に対応する3次元仮想空間内の3次元仮想位置にそれぞれ配置された複数のオブジェクトがある場合に、当該複数のオブジェクトのうちのいずれか1つのオブジェクトを選択する。
例えば、上記撮像画像は、実空間内にある撮像装置を通じて生成される。そして、オブジェクト選択部185は、上記複数のオブジェクトのうちの、上記撮像装置に対応する3次元仮想空間内の3次元仮想位置により近いオブジェクトを選択する。より具体的には、例えば、撮像画像は、センタオフィス10内にあるカメラ11を通じて生成される。そして、オブジェクト選択部185は、ユーザにより指定される撮像画像内の位置に対応する複数のオブジェクトがある場合に、カメラ11の設置位置に対応する3次元仮想位置(即ち、仮想カメラ位置O)により近いオブジェクトを選択する。以下、この点について図10及び図11を参照して具体例を説明する。
図11は、図10に示される3次元仮想空間に配置されたオブジェクトの選択の例を説明するための説明図である。図11を参照すると、容易な理解のために、3次元仮想空間90における水平面における位置関係が示されている。具体的には、3次元仮想空間90に配置されたオブジェクト91A及びオブジェクト91Bが示されている。また、図9と同様に、仮想カメラ位置O、軸y、軸x、画角θ及び仮想面93が、示されている。この例でも、図9と同様に、容易な理解のために、カメラ11は、当該カメラ11の撮像方向が水平面に並行になるように設置されているものとする。
例えば、図7に示されるようにユーザにより上記撮像画像内の位置が指定される。この場合に、図9を参照して説明した手法に従うと、撮像画像内の上記位置が、3次元仮想位置B’と3次元仮想位置Dとの間にある3次元仮想位置に変換される場合には、オブジェクト91A及びオブジェクト91Bの両方が、撮像画像内の上記位置に対応するオブジェクトとして特定される。そして、オブジェクト選択部185は、オブジェクト91A及びオブジェクト91Bのうちの、仮想カメラ位置Oにより近いオブジェクト91Aを選択する。
なお、ユーザにより指定される撮像画像内の位置が、3次元仮想位置Bと3次元仮想位置B’との間にある3次元仮想位置に変換される場合には、オブジェクト91Aが、上記撮像画像内の位置に対応するオブジェクトとして特定され、選択される。また、ユーザにより指定される撮像画像内の位置が、3次元仮想位置Dと3次元仮想位置D’との間にある3次元仮想位置に変換される場合には、オブジェクト91Bが、上記撮像画像内の位置に対応するオブジェクトとして特定され、選択される。
このように複数のオブジェクトから1つのオブジェクトが選択されることにより、複数のオブジェクトが選択されてその後の処理でエラー(複数の通信用IDを取得することによるエラー)が発生することを、回避することができる。また、複数のオブジェクトのうちのカメラ11に対応する仮想カメラ位置に近いオブジェクトが選択されることにより、例えば、撮像画像において人物が重なりあっているような場合でも、手前に写っている人物に対応するオブジェクトが選択される。よって、ユーザが意図した人物に対応するオブジェクトが選択される。
以上のように、オブジェクト選択部185は、オブジェクトを選択する。そして、オブジェクト選択部185は、選択したオブジェクトの識別情報(以下、「オブジェクトID」と呼ぶ)をID取得部187に提供する。当該オブジェクトIDは、選択されたオブジェクトに対応する人物の識別情報であってもよく、又は、選択されたオブジェクトに付された単なる番号であってもよい。
(ID取得部187)
ID取得部187は、選択される上記オブジェクトに対応する識別情報を取得する。例えば、当該識別情報は、選択される上記オブジェクトに対応する通信用の識別情報(以下、「通信用ID」と呼ぶ)である。当該通信用IDは、一例として電話番号である。
具体的には、例えば、オブジェクト選択部185が、オブジェクトを選択すると、ID取得部187は、選択された当該オブジェクトのオブジェクトIDを取得する。そして、オブジェクト選択部185は、通信部110を介して、オブジェクトIDを情報管理サーバ200へ送信し、オブジェクトIDに対応する通信用IDを取得する。当該通信用IDは、選択されたオブジェクトに対応する人物の通信用IDである。
例えば以上のように、ID取得部187は、選択されるオブジェクトに対応する通信用IDを取得する。当該通信用IDは、オブジェクトに対応する人物(即ち、ユーザにより指定された撮像画像の位置に写っている人物)の通信装置の通信用IDである。そして、ID取得部187は、取得した通信用IDを電話部189に提供する。
以上のように、ユーザにより撮像画像内の位置が指定されると、当該位置に対応するオブジェクトが選択され、当該オブジェクトに対応する通信用IDが取得される。これにより、ユーザは、直感的な操作で対象の人物にコンタクトすることが可能になる。また、撮像画像において人物がどのように写っているかによらず、当該人物に対応するオブジェクトが選択され、通信用IDが取得されるので、より確実に当該人物にコンタクトすることが可能になる。
(電話部189)
電話部189は、電話を行うための機能を提供する。例えば、電話部189は、ソフトフォンの機能を提供する。
例えば、電話部189は、ID取得部187により提供される通信用IDを取得すると、当該通信用IDを用いて電話発信を行う。より具体的には、例えば、電話部189は、通信用IDを取得すると、通信部110を介して、当該通信用IDをPBX40に提供し、PBX40からIPアドレスを取得する。そして、電話部189は、当該IPアドレスを有する通信装置(即ち、着信先の通信装置)との間で、セッションを確立するための一連のシーケンスを実行する。
このように、電話部189は、表示画面においてユーザにより指定された撮像画像内の位置に写る人物への電話のための電話発信を行う。即ち、電話部189は、当該人物の通信装置への電話発信を行う。
また、電話の相手先の通信装置からの音声データが、通信部110により受信されると、電話部189は、音声出力部160に、当該音声データの音声を出力させる。また、電話部189は、通信部110に、集音部140により提供される音声データを電話の相手先の通信装置へ送信させる。また、電話部189は、例えば、通信部110に、撮像部130により提供される撮像画像(例えば、端末装置100のユーザが写っている撮像画像)も電話の相手先の通信装置へ送信させる。
また、電話部189は、表示部150に、電話時の表示画面を表示させる。例えば、電話時の表示画面を表示する表示モードを、会話モードと呼ぶ。この場合に、電話部189は、ID取得部187により提供される通信用IDを取得すると、表示モードを、近接モードから会話モードへ切り替える。以下、会話モードの表示画面について図12を参照して具体例を説明する。
図12は、会話モードで表示される表示画面の一例を説明するための説明図である。図12を参照すると、会話モードで表示される表示画面80が示されている。表示画面60は、相手側撮像画像81、ボタン画像83及び自分側撮像画像85を含む。
相手側撮像画像81は、例えば、電話の相手先の通信装置から取得された撮像画像である。例えば、電話の相手先の通信装置からの撮像画像が、通信部110により受信されると、電話部189は、当該撮像画像を相手側撮像画像81として利用する。
また、ボタン画像63は、電話を終了させるための画像である。例えば、ユーザが、ボタン画像83の位置を指定すると、電話部189は、電話を終了させる。より具体的には、例えば、ユーザがボタン画像83の位置をタッチし、ボタン画像83に対応するタッチ位置が検出されると、電話部189は、セッションの切断を含む電話終了用のシーケンスを実行する。また、例えば、電話部189は、表示モードを会話モードから俯瞰モードに切り替える。
自分側撮像画像85は、撮像部130により提供される撮像画像である。
(その他:表示モードの遷移)
ここでは、俯瞰モード、近接モード及び会話モードの遷移の具体例を図13を参照して説明する。
図13は、表示モードの遷移の一例を説明するための遷移図である。図13を参照すると、例えばソフトウェアの起動時において、カメラ11、マイクロフォン13、センサ15、情報管理サーバ200等との接続処理が行われると、表示モードは、俯瞰モード301になる(ENTRY)。
俯瞰モード301では、俯瞰モード処理が実行される(DO)。そして、ユーザが、俯瞰撮像画像61の位置を指定すると、モード変更処理が行われ(EXIT)、表示モードは、俯瞰モード301から近接モード303に切り替わる。モード変更処理は、カメラ11のズーム処理を含む(ENTRY)。
近接モード303では、近接モード処理が実行される(DO)。そして、ユーザが、近接撮像画像71のうちの人物が写っている位置を指定すると、モード変更処理が行われ(EXIT)、表示モードは、近接モード303から会話モード305に切り替わる。この場合のモード変更処理は、通話のための処理を含む(ENTRY)。また、ユーザが、ボタン画像73の位置を指定すると、モード変更処理が行われ(EXIT)、表示モードは、近接モード303から俯瞰モード301に切り替わる。この場合のモード変更処理は、上述した接続処理を含む(ENTRY)。
会話モード305では、会話モード処理が実行される(DO)。また、ユーザが、ボタン画像83の位置を指定すると、モード変更処理が行われ(EXIT)、表示モードは、会話モード305から俯瞰モード301に切り替わる。この場合のモード変更処理は、上述した接続処理を含む(ENTRY)。
(その他:表示画面の別の例)
−表示モードに応じた撮像画像
上述したように、例えば、実空間情報提供部181は、第1の表示モード(例えば、俯瞰モード)では、実空間の第1の領域が撮像された第1の撮像画像(例えば、俯瞰撮像画像)を表示部150に表示させる。また、実空間情報提供部181は、第2の表示モード(例えば、近接モード)では、上記第1の領域よりも狭い第2の領域が撮像された第2の撮像画像(例えば、近接撮像画像)を表示部150に表示させる。そして、上述した例では、とりわけ、実空間の第1の領域が撮像された第1の撮像画像は、第1のズーム率に対応する撮像画像であり、上記第1の領域よりも狭い第2の領域が撮像された第2の撮像画像は、上記第1のズーム率よりも大きい第2のズーム率に対応する撮像画像である。しかしながら、上記第1の撮像画像及び上記第2の撮像画像はこれに限られない。
例えば、上記第1の撮像画像は、実空間内にある複数の撮像装置のうちの第1の撮像装置を通じて生成される撮像画像であり、上記第2の撮像画像は、上記複数の撮像装置のうちの第2の撮像装置を通じて生成される撮像画像であってもよい。この場合に、例えば、実空間情報提供部181は、俯瞰モードの際には、センタオフィス10の広い領域を撮像するカメラ11を選択し、当該カメラ11により生成された撮像画像を俯瞰撮像画像として取得する。そして、実空間情報提供部181は、近接モードの際には、センタオフィス10のより狭い領域を撮像するカメラ11(例えば、より前方にあるカメラ)を選択し、当該カメラ11により生成された撮像画像を近接撮像画像として取得する。
これにより、カメラ11の配置によっては、より容易に人物の位置を指定しやすくなる。また、カメラ11にズームを要求しなくてもよい。そのため、例えば、光学ズーム又はドリーによるズームを要求する場合のように、個別の端末装置からの要求が競合し、いずれかの端末装置に待ち状態が生じるようなこともない。また、例えば、デジタルズームを用いる場合のように、処理量が増大するようなこともない。
−より自由な条件での撮像により生成される撮像画像
また、上述した例では、表示モードが切り替えられる例を説明したが、表示画面はこれに限られない。例えば、表示モードの切り替えの代わりに、より自由な条件での撮像により撮像画像が生成され、当該撮像画像を含む表示画面が表示されてもよい。
例えば、実空間の撮像画像は、複数のズーム率のうちの選択されたズーム率に対応する撮像画像であってもよい。この場合に、例えば、実空間情報提供部181は、入力部120を介してユーザにより指定されるズーム率を、通信部120を介してカメラ11に要求する。その結果、カメラ11は、ズーム率を要求に従って変更し、変更後のズーム率での撮像により生成された撮像画像を端末装置100に提供する。そして、実空間情報提供部181は、表示部150に、提供された撮像画像を含む表示画面を表示させる。そして、ユーザは、当該撮像画像内の位置を指定すると、位置取得部183は、当該位置を取得する。そして、位置取得部183は、撮像画像内の当該位置をオブジェクト選択部185に提供する。
これにより、ユーザは、細かいズーム率を指定して、所望の撮像画像を表示することができる。よって、ユーザは、特定の人物の位置をより指定しやすくなる。
なお、上述したように、ここでのズーム率は、1.5倍、2倍等の精緻な値である必要はなく、被写体が撮像画像に写る大きさの程度を直接的又は間接的に示すものである。例えば、とりわけカメラ11の位置の変更によるズーム(例えば、ドリーによるズームイン及びズームアウト)が用いられる場合には、ズーム率は、1.5倍、2倍等の精緻な値ではなく、被写体の大きさの程度を直接的に示すもの(例えば、被写体の概ねの大きさの程度を示すパラメータ、等)、又は、被写体の大きさの程度を間接的に示すもの(例えば、レールにおけるカメラ11の位置、等)であってもよい。
<2−3.ソフトウェア構成>
次に、本実施形態に係る端末装置100のソフトウェア構成の一例を説明する。図14は、本実施形態に係る端末装置100のソフトウェア構成の一例を示すブロック図である。図14を参照すると、端末装置100は、OS(Operating System)840及びアプリケーションソフトウェアを備える。そして、端末装置100は、アプリケーションソフトウェアとして、ソフトフォン851、超臨場感クライアント853及び電話発信制御機能855を含む。
OS840は、端末装置100を動作させるための基本的な機能を提供するソフトウェアである。OS840は、各アプリケーションソフトウェアを実行する。
ソフトフォン851は、端末装置100を用いて電話を行うためのアプリケーションソフトウェアである。電話部189は、例えば、ソフトフォン851により実装され得る。
超臨場感クライアント853は、実空間の情報を端末装置100に提供するためのアプリケーションソフトウェアである。実空間情報提供部181は、例えば、超臨場感クライアント853により実装され得る。
なお、超臨場感クライアント853は、実空間(例えば、センタオフィス10)にいる人物の状態を示す状態情報を取得し、OSを介してソフトフォン851に提供してもよい。そして、ソフトフォン851は、当該状態情報に基づいて、電話発信を制御してもよい。
また、電話発信制御機能855は、表示画面内の撮像画像に写っている人物の通信装置の通信用IDを取得するアプリケーションソフトウェアである。位置取得部183、オブジェクト選択部185及びID取得部187は、電話発信制御機能855により実装され得る。
なお、電話発信制御機能855は、通信用IDを取得すると、OSを介してソフトフォン851に提供する。そして、ソフトフォン851は、当該通信用IDを用いて、電話発信を行う。
<<3.情報管理サーバの構成>>
続いて、図15及び図16を参照して、本実施形態に係る情報管理サーバ200の構成の一例を説明する。
<3−1.ハードウェア構成>>
まず、図15を参照して、本実施形態に係る情報管理サーバ200のハードウェア構成の一例を説明する。図15は、本実施形態に係る情報管理サーバ200のハードウェア構成の一例を示すブロック図である。図15を参照すると、情報管理サーバ200は、CPU901、ROM903、RAM905、バス907、記憶装置909及び通信インターフェース911を備える。
CPU901は、情報管理サーバ200における様々な処理を実行する。また、ROM903は、情報管理サーバ200における処理をCPU901に実行させるためのプログラム及びデータを記憶する。また、RAM905は、CPU901の処理の実行時に、プログラム及びデータを一時的に記憶する。
バス907は、CPU901、ROM903及びRAMを相互に接続する。バス907には、さらに、記憶装置909及び通信インターフェース911が接続される。バス907は、例えば、複数の種類のバスを含む。一例として、バス907は、CPU901、ROM903及びRAM905を接続する高速バスと、当該高速バスよりも低速の1つ以上の別のバスを含む。
記憶装置909は、情報管理サーバ200内で一時的又は恒久的に保存すべきデータを記憶する。記憶装置909は、例えば、ハードディスク等の磁気記憶装置であってもよく、又は、EEPROM、フラッシュメモリ、MRAM、FeRAM及びPRAM等の不揮発性メモリであってもよい。
通信インターフェース911は、情報管理サーバ200が備える通信手段であり、ネットワークを介して(あるいは、直接的に)外部装置と通信する。通信インターフェース911は、無線通信用のインターフェースであってもよく、この場合に、例えば、通信アンテナ、RF回路及びその他の通信処理用の回路を含んでもよい。また、通信インターフェース911は、有線通信用のインターフェースであってもよく、この場合に、例えば、LAN端子、伝送回路及びその他の通信処理用の回路を含んでもよい。
<3−2.機能構成>>
次に、本実施形態に係る情報管理サーバ200の機能構成の一例を説明する。図16は、本実施形態に係る情報管理サーバ200の機能構成の一例を示すブロック図である。図16を参照すると、情報管理サーバ200は、通信部210、記憶部220及び制御部230を備える。
(通信部210)
通信部210は、他の装置と通信する。例えば、通信部210は、LAN19に直接的に接続され、センタオフィス10内の各装置と通信する。具体的には、例えば、通信部210は、カメラ11、マイクロフォン13、センサ15及びメディア配信サーバ17と通信する。また、通信部210は、外部ネットワーク30及びLAN23を介して、サテライトオフィス20内の各装置と通信する。具体的には、例えば、通信部210は、端末装置100及びディスプレイ21と通信する。なお、通信部210は、例えば、通信インターフェース911により実装され得る。
(記憶部220)
記憶部220は、情報管理サーバ200の動作のためのプログラム及びデータを記憶する。
とりわけ本実施形態では、記憶部220は、情報処理システムにおいて用いられる様々な情報を記憶する。
第1の例として、記憶部220は、カメラ11、マイクロフォン13及びセンサ15に関するパラメータを記憶する。当該パラメータの具体的な内容は、上述したとおりである。
第2の例として、記憶部220は、実空間に対応する3次元仮想空間のデータを記憶する。当該3次元仮想空間は、例えば、センタオフィス10を模した3次元仮想空間である。当該3次元仮想空間の具体的な内容は、上述したとおりである。
第3の例として、記憶部220は、人物関連情報を記憶する。当該人物関連情報は、例えば、センタオフィス10にいる人物の人物関連情報である。当該人物関連情報の具体的な内容は、上述したとおりである。
第4の例として、記憶部220は、3次元仮想空間に配置されるオブジェクトのオブジェクトIDと通信用IDとを、互いに対応付けて記憶する。当該オブジェクトID及び通信用IDの具体的な内容は、上述したとおりである。
(制御部230)
制御部230は、情報管理サーバ200の様々な機能を提供する。
例えば、制御部230は、要求に応じて、情報処理システムにおいて用いられる様々な情報を提供する。例えば、制御部230は、端末装置100による要求に応じて、3次元仮想空間のデータ、人物関連情報、オブジェクトIDに対応する通信用ID、並びに、カメラ11、マイクロフォン13及びセンサ15に関するパラメータ等を提供する。
また、例えば、制御部230は、情報処理システムにおいて用いられる様々な情報を適宜更新する。制御部230は、自動で、又は手動による指示に応じて、当該情報を更新する。
<<4.処理の流れ>>
続いて、図17を参照して、本実施形態に係る情報処理の例を説明する。図17は、本実施形態に係る情報処理の概略的な流れの一例を示すフローチャートである。
ステップS401で、位置取得部183は、実空間の撮像画像の表示画面において当該撮像画像内の位置がユーザにより指定されたかを判定する。より具体的には、例えば、位置取得部183は、近接撮像画像内の位置をユーザにより指定されたかを判定する。上記位置が指定されていれば、処理はステップS403へ進む。そうでなければ、処理はステップS401を繰り返す。
ステップS403で、位置取得部183は、ユーザにより指定される上記撮像画像内の位置を取得する。
ステップS405で、オブジェクト選択部185は、実空間に対応する3次元仮想空間のデータを記憶部170から取得する。
ステップS407で、取得された上記撮像画像内の上記位置に基づいて、上記3次元仮想空間に配置されたオブジェクトを選択する。
ステップS409で、ID取得部187は、選択された上記オブジェクトに対応する通信用IDを着信側の通信用IDとして取得する。
ステップS411で、ID取得部187は、発信側の通信用ID(即ち、端末装置100の通信用ID)を取得する。
ステップS413で、電話部189は、着信側の通信用IDを用いて電話発信を行う。その後、電話部189は、電話のための様々な処理を実行し、処理は終了する。
以上のように、本実施形態に係る情報処理が実行される。さらに、当該情報処理の開始前に行われる起動処理の一例を、図18を参照して説明する。
図18は、本実施形態に係る起動処理の概略的な流れの一例を示すフローチャートである。
ステップS501で、ソフトフォン851の起動処理が実行される。これにより、ソフトフォン851が起動する。
ステップS503で、ソフトフォン851に関する登録処理が実行される。例えば、ソフトフォン851の登録処理の1つとして、PBX40での登録(例えば、SIP REGISTRATION)が行われる。
ステップS505で、超臨場感クライアントの起動処理が実行される。例えば、超臨場感クライアントにおいて利用されるカメラ11、マイクロフォン13、センサ15、メディア配信サーバ17、情報管理サーバ200等が特定される。
ステップS507で、超臨場感クライアントの俯瞰モード処理が実行される。そして、一連の起動処理は終了する。
以上、添付図面を参照しながら本発明の好適な実施形態を説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、実空間に対応する3次元仮想空間として、センタオフィスの3次元仮想空間が用意される例を説明したが、本発明はこれに限定されない。例えば、複数の3次元空間が用意されてもよい。一例として、実空間に対応する3次元仮想空間は、複数のオフィスの各々について用意されてもよい。例えば、サテライトオフィス、ホームオフィス、他のセンタオフィス等についての3次元仮想空間も用意されてもよい。この場合に、各オフィスの3次元仮想空間は、各オフィスの大きさに応じた大きさの3次元仮想空間であってもよい。また、端末装置のオブジェクト選択部は、複数の3次元仮想空間のうちの所望の3次元仮想空間のデータを取得してもよい。また、オフィス以外の3次元仮想空間が用意されてもよい。
また、人物が座席に座っている場合に限り当該人物に対応するオブジェクトが選択される例を説明したが、本発明はこれに限定されない。例えば、人物が座席に座っていない場合にもオブジェクトが選択されてもよい。一例として、人物が座席に座っている場合には、当該座席に設置された通信装置の通信用IDが取得され、人物が座席に座っていない場合には、当該人物の携帯端末の通信用IDが取得されてもよい。
また、通信用IDが電話番号である例を説明したが、本発明はこれに限定されない。通信用IDは、電話番号以外のIDであってもよい。一例として、通信用IDは、電話番号以外のソフトフォン用IDであってもよい。また、別の例として、通信用IDは、電話以外の通信のためのIDであってもよい。例えば、通信用IDは、メールアドレスであってもよく、又はショートメッセージ用のIDであってもよい。この場合に、通信用IDを用いて、メールが送信され、又はショートメッセージが送信されてもよい。
また、オブジェクトが選択された場合に当該オブジェクトに対応する通信用IDが取得される例を説明したが、本発明はこれに限定されない。例えば、オブジェクトが選択された場合に当該オブジェクトに対応するいずれかの識別情報が取得されてもよい。一例として、オブジェクトが選択された場合にオブジェクトに対応する人物のいずれかの識別情報が取得されてもよい。そして、例えば、この識別情報から、通信用IDが取得されてもよい。
また、実空間に対応する3次元仮想空間に配置されるオブジェクト(オブジェクト選択部により選択されるオブジェクト)が人物に対応し且つ円柱のオブジェクトである例を説明したが、本発明はこれに限定されない。例えば、オブジェクトは、円柱のオブジェクトではなく、別の形状のオブジェクトであってもよい。また、例えば、オブジェクトは、人物以外のものに対応してもよい。一例として、オブジェクトは、実空間の領域に対応してもよい。具体的には、例えば、オブジェクトは、座席に対応し、当該座席の位置に対応する3次元仮想位置に配置されてもよい。そして、当該座席に設置された通信装置の通信用IDと上記オブジェクトとが対応し、当該オブジェクトが選択されると、当該通信用IDが取得されてもよい。また、オブジェクトは、座席よりも広い領域に対応し、当該領域の範囲に対応する3次元仮想範囲に渡って存在してもよい。そして、当該領域内に設置された通信装置の通信用IDと上記オブジェクトとが対応し、当該オブジェクトが選択されると、当該通信用IDが取得されてもよい。
また、表示画面において撮像画像の位置がユーザによるタッチで指定される例を説明したが、本発明はこれに限定されない。例えば、撮像画像の位置は、タッチパネル以外の入力手段を用いてユーザにより指定されてもよい。例えば、撮像画像の位置は、マウスによるクリックで指定されてもよく、ボタン、キーボード等の別の入力手段を用いて指定されてもよい。
また、カメラにより生成される撮像画像、マイクロフォンにより生成される音声データ、及び、センサによる判定結果が、それぞれ、カメラ、マイクロフォン及びセンサにより、端末装置に直接提供される例を説明したが、本発明はこれに限定されない。例えば、別の装置によりこれらのデータが提供されてもよい。一例として、いずれかのサーバ(例えば、メディア配信サーバ)が、これらのデータを取得し、これらのデータを端末装置に提供してもよい。
また、位置取得部、オブジェクト選択部及びID取得部等の機能が端末装置により備えられる例を説明したが、本発明はこれに限定されない。例えば、これらの機能は、端末装置以外の装置により備えられてもよい。一例として、これらの機能はいずれかのサーバにより備えられてもよい。
また、実空間の撮像画像の表示画面が端末装置により表示される例を説明したが、本発明はこれに限定されない。例えば、当該表示画面は別の装置により表示されてもよい。一例として、上記表示画面はサテライトオフィスに設置されたディスプレイにより表示されてもよい。そして、ユーザが、当該ディスプレイにおいて、表示画像に含まれる撮像画像の位置を指定してもよい。
また、本明細書の情報処理における処理ステップは、必ずしもフローチャートに記載された順序に沿って時系列に実行されなくてよい。例えば、情報処理における処理ステップは、フローチャートとして記載した順序と異なる順序で実行されても、並列的に実行されてもよい。
また、情報処理装置(例えば、端末装置)に内蔵されるCPU、ROM及びRAM等のハードウェアに、上記情報処理装置の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させた記憶媒体も提供される。