以下に添付の図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
以降、<<1.情報処理システムの概略的な構成>>、<<2.端末装置の構成>>、<<3.処理の流れ>>、<<4.変形例>>という順序で本発明の実施形態を説明する。
<<1.情報処理システムの概略的な構成>>
まず、図1を参照して、本発明の実施形態に係る情報処理システムの概略的な構成を説明する。図1は、本実施形態に係る情報処理システムの概略的な構成の一例を示す説明図である。図1を参照すると、情報処理システムは、例えば、複数の拠点にわたって存在する。この例では、情報処理システムは、センタオフィス10とサテライトオフィス20(又はホームオフィス20)にわたって存在する。センタオフィス10は、比較的大規模なオフィスであり、サテライトオフィス20(又はホームオフィス20)は、比較的小規模なオフィスである。
情報処理システムは、センタオフィス10において、カメラ11、マイクロフォン13、センサ15、メディア配信サーバ17、情報管理サーバ18、及びLAN(Local Area Network)19を含む。また、情報処理システムは、サテライトオフィス20(又はホームオフィス20)において、端末装置100、ディスプレイ21、及びLAN23を含む。また、情報処理システムは、さらにPBX(Private Branch eXchange)40を含む。
(カメラ11)
カメラ11は、当該カメラ11が向いている方向(即ち、撮像方向)にある被写体を撮像する。センタオフィス10には、複数のカメラ11が設置される。そして、設置された各カメラ11は、それぞれの設置位置からセンタオフィスの一部又は全体を撮像する。このように、情報処理システムでは、様々な位置からセンタオフィスが撮像される。カメラ11を通じて生成される撮像画像は、静止画像であってもよく、又は動画像(即ち映像)であってもよい。
また、カメラ11は、例えば、自動で向きを変えることができる。さらに、カメラ11は、例えば、ズーム機能を有する。当該ズーム機能は、光学ズーム機能であってもよく、又はデジタルズーム機能であってもよい。
また、カメラ11は、位置を変えることが可能であってもよい。一例として、カメラ11は、ドリーにより可動であってもよい。即ち、カメラ11は、レールに沿って可動であってもよい。この場合に、レールに沿って動くためのモータの制御により、カメラ11が前後に動いてもよい。これにより、1台のカメラ 11であっても、異なる位置から被写体が撮像された撮像画像を生成することが可能になる。
また、カメラ11が位置を変えることが可能である場合に、上記ズーム機能は、カメラ11の位置を変えることによるズーム機能であってもよい。一例として、上記ズーム機能は、ドリーによるズーム機能であってもよい。例えば、被写体に向かってカメラ11を動かすことによりズームインを行い、カメラ11が被写体から離れる方向にカメラ11を動かすことによりズームアウトを行ってもよい。なお、ドリーによるズームは、光学ズーム又はデジタルズームのように、精緻なズームである必要はない。例えば、ズームインでは、被写体がより大きく写った撮像画像が生成されればよく、ズームアウトでは、被写体がより小さく写った撮像画像が生成されればよい。
(マイクロフォン13)
マイクロフォン13は、当該マイクロフォン13の周囲の音を集音する。センタオフィス10には、複数のマイクロフォン13が設置される。そして、設置された各マイクロフォン13は、センタオフィス内のそれぞれの設置位置の周囲の音を集音する。このように、情報処理システムでは、センタオフィス10内の様々な位置での音が集音される。
(センサ15)
センサ15は、様々な種類のセンサを含み得る。例えば、センサ15は、人物が座席にいるか否かを判定する座席センサを含む。当該座席センサは、各座席に設置され、各座席に人物が座っているか否かを判定する。座席センサは、例えば、押圧を検出可能ないずれかのセンサである。
(メディア配信サーバ17)
メディア配信サーバ17は、要求に応じて端末装置100にメディア(例えば、音声、撮像画像、等)を配信する。例えば、メディア配信サーバ17は、カメラ11から撮像画像を取得し、マイクロフォン13から音声を取得し、これらのメディアを端末装置100に配信する。
(情報管理サーバ18)
情報管理サーバ18は、情報処理システムにおいて用いられる様々な情報を管理する。即ち、情報管理サーバ18は、当該様々な情報を記憶し、適時に当該様々な情報を更新する。
例えば、情報管理サーバ18は、カメラ11、マイクロフォン13及びセンサ15に関するパラメータを管理する。具体的には、例えば、情報管理サーバ18は、カメラ11のパラメータとして、カメラ11の設置位置、撮像方向(例えば、カメラのレンズと垂直な方向)、ズーム率等の情報を記憶し、更新する。
(LAN19)
また、LAN19は、センタオフィス10内の各装置を接続するネットワークである。また、LAN19は、外部ネットワーク30を介して、センタオフィス10内の各装置とセンタオフィス10外の装置とを接続する。当該外部ネットワーク30は、例えば、インターネットを含む。
(端末装置100)
端末装置100は、ユーザにより使用される。例えば、端末装置100は、電話、メール等のコミュニケーションを行うための機能をユーザに提供する。また、端末装置100は、様々な種類の装置として実装され得る。以下、この点について図2を参照して具体例を説明する。
図2は、本実施形態に係る端末装置の具体例を説明するための説明図である。図2を参照すると、一例として、端末装置100Aは、タブレット端末である。また、別の例として、端末装置100Bは、スマートフォンである。また、さらに別の例として、端末装置100Cは、ディスプレイ付き電話機である。例えば、当該電話機には、ソフトフォンが備えられる。なお、端末装置100の具体例はこれらの例に限られない。一例として、端末装置100は、PC(Personal Computer)であってもよい。
(ディスプレイ21)
ディスプレイ21は、いずれかの画面を表示する。例えば、ディスプレイ21は、カメラ11を通じて生成された撮像画像を含む画面を表示する。これにより、端末装置100のユーザを含む多数の人物が、ディスプレイ21を介してセンタオフィス10の様子を見ることができる。
また、ディスプレイ21は、例えば、いずれかの音声も出力する。例えば、ディスプレイ21は、マイクロフォン13により集音される音声を出力する。これにより、端末装置100のユーザを含む多数の人物が、ディスプレイ21を介してセンタオフィス10の音を聞くことができる。
(LAN23)
また、LAN23は、サテライトオフィス20(又はホームオフィス20)内の各装置を接続するネットワークである。また、LAN23は、外部ネットワーク30を介して、サテライトオフィス20内の各装置とサテライトオフィス20外の装置とを接続する。
(PBX40)
PBX40は、外部ネットワーク30を介した装置間の通信を可能にする。PBX40は、例えば、H.323又はSIP(Session Initiation Protocol)に従って動作する。
具体的には、例えば、PBX40は、通信用の識別情報(例えば、電話番号)とIP(Internet Protocol)アドレスとを、互いに対応付けて記憶する。そして、PBX40は、要求に応じて、通信用の識別情報をIPアドレスに変換し、当該IPアドレスを要求元に提供する。
なお、PBX40は、LAN19又はLAN23に接続されてもよい。
<<2.端末装置の構成>>
続いて、図3〜図25を参照して、本実施形態に係る端末装置100の構成の一例を説明する。
<2.1.ハードウェア構成>
まず、図3を参照して、本実施形態に係る端末装置100のハードウェア構成の一例を説明する。図3は、本実施形態に係る端末装置100のハードウェア構成の一例を示すブロック図である。図3を参照すると、端末装置100は、CPU(Central Processing Unit)801、ROM(Read Only Memory)803、RAM(Random Access Memory)805、バス807、記憶装置809、通信インターフェース811、カメラ813、マイクロフォン815、スピーカ817及びタッチパネル820を備える。
CPU801は、端末装置100における様々な処理を実行する。また、ROM803は、端末装置100における処理をCPU801に実行させるためのプログラム及びデータを記憶する。また、RAM805は、CPU801の処理の実行時に、プログラム及びデータを一時的に記憶する。
バス807は、CPU801、ROM803及びRAMを相互に接続する。バス807には、さらに、記憶装置809、通信インターフェース811、カメラ813、マイクロフォン815、スピーカ817及びタッチパネル820が接続される。バス807は、例えば、複数の種類のバスを含む。一例として、バス807は、CPU801、ROM803及びRAM805を接続する高速バスと、当該高速バスよりも低速の1つ以上の別のバスを含む。
記憶装置809は、端末装置100内で一時的又は恒久的に保存すべきデータを記憶する。記憶装置809は、例えば、ハードディスク(Hard Disk)等の磁気記憶装置であってもよく、又は、EEPROM(Electrically Erasable and Programmable Read Only Memory)、フラッシュメモリ(flash memory)、MRAM(Magnetoresistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)及びPRAM(Phase change Random Access Memory)等の不揮発性メモリ(nonvolatile memory)であってもよい。
通信インターフェース811は、端末装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)外部装置と通信する。通信インターフェース811は、無線通信用のインターフェースであってもよく、この場合に、例えば、通信アンテナ、RF回路及びその他の通信処理用の回路を含んでもよい。また、通信インターフェース811は、有線通信用のインターフェースであってもよく、この場合に、例えば、LAN端子、伝送回路及びその他の通信処理用の回路を含んでもよい。
カメラ813は、被写体を撮像する。カメラ813は、例えば、光学系、撮像素子及び画像処理回路を含む。
マイクロフォン815は、周囲の音を集音する。マイクロフォン815は、周囲の音を電気信号へ変換し、当該電気信号をデジタルデータに変換する。
スピーカ817は、音声を出力する。スピーカ817は、デジタルデータを電気信号に変換し、当該電気信号を音声に変換する。
タッチパネル820は、タッチ検出面821及び表示面823を含む。
タッチ検出面821は、タッチパネル820におけるタッチ位置を検出する。より具体的には、例えば、ユーザが、タッチパネル820にタッチすると、タッチ検出面821は、当該タッチを感知し、当該タッチの位置に応じた電気信号を生成し、そして当該電気信号をタッチ位置の情報に変換する。タッチ検出面821は、例えば、静電容量方式、抵抗膜方式、光学式等の任意のタッチ検出方式に従って形成され得る。
表示面823は、端末装置100からの出力画像(即ち、表示画面)を表示する。表示面823は、例えば、液晶、有機EL(Organic Light-Emitting Diode:OLED)、CRT(Cathode Ray Tube)等を用いて実現され得る。
<2.2.機能構成>
次に、図4〜図18を参照して、本実施形態に係る端末装置100の機能構成の一例を説明する。図4は、本実施形態に係る端末装置100の機能構成の一例を示すブロック図である。図4を参照すると、端末装置100は、通信部110、入力部120、撮像部130、集音部140、表示部150、音声出力部160、記憶部170及び制御部180を備える。
(通信部110)
通信部110は、他の装置と通信する。例えば、通信部110は、LAN23に直接的に接続され、サテライトオフィス20内の各装置と通信する。また、通信部110は、外部ネットワーク30及びLAN19を介して、センタオフィス10内の各装置と通信する。具体的には、例えば、通信部110は、カメラ11、マイクロフォン13、センサ15、メディア配信サーバ17及び情報管理サーバ200と通信する。なお、通信部110は、例えば、通信インターフェース811により実装され得る。
(入力部120)
入力部120は、端末装置100のユーザによる入力を受け付ける。そして、入力部120は、入力結果を制御部180へ提供する。
例えば、入力部120は、表示画面においてユーザにより指定される位置を検出する。より具体的には、例えば、入力部120は、タッチパネル820のタッチ検出面821により実装され、タッチパネル820におけるタッチ位置を検出する。そして、入力部120は、検出されたタッチ位置を制御部180へ提供する。
(撮像部130)
撮像部130は、被写体を撮像する。例えば、撮像部130は、端末装置100の正面方向の領域を撮像する。この場合に、撮像部130は、端末装置100のユーザを撮像する。撮像部130は、撮像結果(即ち、撮像画像)を制御部180に提供する。なお、撮像部130は、例えば、カメラ813により実装され得る。
(集音部140)
集音部140は、端末装置100の周囲の音を集音する。例えば、集音部140は、端末装置100のユーザの声を集音する。集音部140は、集音結果(即ち、音声データ)を制御部180に提供する。なお、集音部140は、例えば、マイクロフォン815により実装され得る。
(表示部150)
表示部150は、端末装置100からの出力画像(即ち、表示画面)を表示する。表示部150は、制御部180による制御に応じて表示画面を表示する。なお、表示部150は、例えば、タッチパネル820の表示面823により実装され得る。
(音声出力部160)
音声出力部160は、端末装置100から音声等を出力する。音声出力部160は、制御部180による制御に応じて音声を出力する。なお、音声出力部160は、例えば、スピーカ817により実装され得る。
(記憶部170)
記憶部170は、端末装置100の動作のためのプログラム及びデータを記憶する。なお、記憶部170は、例えば、記憶装置809により実装され得る。
(制御部180)
制御部180は、端末装置100の様々な機能を提供する。制御部180は、位置取得部181、オブジェクト選択部183、表示制御部185、通信用ID取得部187及び電話部189を含む。なお、制御部180は、例えば、CPU801、ROM803及びRAM805により実装され得る。
(位置取得部181)
位置取得部181は、表示画面においてユーザにより指定される位置を取得する。
具体的には、例えば、上記表示画面は、表示装置により表示される画面であり、当該表示装置は、例えば表示部150である。そして、入力部120が、当該表示画面においてユーザにより指定される位置を検出すると、位置取得部181は、当該位置を取得する。
−撮像画像内の位置の取得
とりわけ本実施形態では、位置取得部181は、実空間の撮像画像を含む表示画面においてユーザにより指定される上記撮像画像内の位置を取得する。
例えば、上記表示画面は、表示部150により表示される表示画面である。また、例えば、上記撮像画像は、実空間(センタオフィス10)内にあるカメラ11を通じて生成される撮像画像である。当該撮像画像は、カメラ11により生成された撮像画像であってもよく、又は、カメラ11により生成された撮像画像を加工することにより生成された撮像画像であってもよい。また、上記表示画面は、当該撮像画像を一部又は全体に含む画面である。
また、例えば、位置取得部181は、上記表示画面においてユーザにより指定される上記撮像画像内の1つの位置を取得する。即ち、1つの位置がユーザにより指定される。
より具体的には、例えば、入力部120が、実空間の撮像画像の表示画面においてユーザにより指定される上記撮像画像内の1つの位置を検出すると、位置取得部181は、当該1つの位置を取得する。以下、図5を参照して、このような撮像画像内の位置の取得の具体例を説明する。
図5は、表示画面に含まれる撮像画像内の位置の取得の例を説明するための説明図である。図5を参照すると、表示部150により表示される表示画面60が示されている。また、表示画面60は、実空間(センタオフィス10)内にあるいずれかのカメラ11を通じて生成される撮像画像61を含む。例えば、入力部120が、表示画面60においてユーザにより指定される撮像画像61内の1つの位置71を検出する。そして、位置取得部181は、位置71を取得する。なお、ここでは説明のために図5において位置71が明示されているが、位置71が表示画面60において実際に表示されているわけではないということに留意すべきである。
また、表示画面60は、別のカメラ11を選択するためのボタン画像63A及びボタン画像63Bをさらに含む。例えば、ユーザが、ボタン画像63の位置を指定すると、表示画面60には、別のカメラ11を通じて生成される撮像画像61が表示される。
以上のように、位置取得部181は、ユーザにより指定される撮像画像内の位置を取得する。そして、位置取得部181は、撮像画像内の位置をオブジェクト選択部183に提供する。
なお、例えば、上記表示装置(例えば、表示部150)は、タッチパネルの表示面である。そして、撮像画像内の位置は、タッチパネルにおけるユーザのタッチにより指定される。
(オブジェクト選択部183)
オブジェクト選択部183は、取得される上記撮像画像内の位置に基づいて、当該撮像画像のいずれかの位置にそれぞれ対応する複数のオブジェクトの中から、1つ以上のオブジェクトを選択する。
−オブジェクトが対応する撮像画像内の位置
上述したとおり、複数のオブジェクトが、撮像画像のいずれかの位置にそれぞれ対応する。例えば、当該複数のオブジェクトの各々は、人物(又は人物に関する情報)であり、当該人物が写る撮像画像内の位置に対応する。以下、この点について図6を参照して具体例を説明する。
図6は、複数のオブジェクト(人物)がそれぞれ対応する位置の例を説明するための説明図である。図6を参照すると、図5と同様に、表示画面60、撮像画像61及びボタン画像63が示されている。そして、4つのオブジェクト(人物)は、それぞれ、人物が写る撮像画像61内の位置73(具体的には、位置73A〜73D)に対応する。
以上のように、オブジェクトが撮像画像内の位置に対応する。以下、オブジェクト(人物)がどのように撮像画像内の位置に対応するかを具体的に説明する。
−−第1の例
第1の例として、オブジェクトは、撮像画像内の所定の位置に対応する。
具体的には、例えば、カメラ11ごとに(又はカメラ11の設定ごとに)、実空間(センタオフィス10)のどの範囲が撮像されるかが決まる。即ち、カメラ11ごとの撮像画像において、実空間(センタオフィス10)がどのように写るかが決まる。そのため、例えば、撮像画像内に写ると想定される人物(オブジェクト)が、当該撮像画像内で当該人物が写ると想定される所定の位置に対応する。具体的には、例えば、撮像画像内に自席が写る人物(オブジェクト)が、撮像画像内における当該人物の自席付近の所定の位置に対応する。
なお、第1の例では、オブジェクトが対応する撮像画像内の所定の位置は、例えば、情報管理サーバ18において記憶される。具体的には、例えば、カメラ11ごとに(又はカメラ11の設定ごとに)、カメラ11を通じて生成される撮像画像内の位置と、当該位置に対応するオブジェクトの情報とが記憶される。また、端末装置100は、情報管理サーバ18から上記所定の位置を取得する。
また、撮像画像内の上記所定の位置は、人物(オブジェクト)が実際にいる場合には存在し、人物が実際にはいない場合には存在しなくてもよい。即ち、人物(オブジェクト)の存否に応じて、上記所定の位置が存在し、又は存在しなくてもよい。一例として、センサ15により人物が座席にいると判定される場合に、上記所定の位置が存在し、そうでなければ、上記所定の位置が存在しなくてもよい。
−−第2の例
また、第2の例として、実空間に対応する3次元仮想空間が用意され、オブジェクト(人物、又は人物に関する情報)に対応する仮想物体が上記3次元仮想空間内に配置される。そして、オブジェクトは、当該オブジェクトに対応する仮想物体の(3次元仮想空間内の)配置位置に対応する、撮像画像内の位置に対応する。
具体的には、例えば、実空間におけるカメラ11の配置位置は、3次元仮想空間におけるいずれかの仮想位置に対応する。そして、当該仮想位置に基づくレンダリングにより生成される画像は、カメラ11を通じて生成される撮像画像に対応する。そのため、3次元仮想空間内の上記仮想物体の配置位置が、撮像画像内のいずれかの位置に対応する。そして、例えば、仮想物体が対応する人物(オブジェクト)が、当該仮想物体の配置位置に対応する、撮像画像内の位置に対応する。
なお、第2の例では、オブジェクトが対応する撮像画像内の位置は、例えば、情報管理サーバ18において算出される。具体的には、例えば、情報管理サーバ18は、端末装置100からの要求に応じて、3次元仮想空間を用いて、オブジェクトが対応する仮想物体の配置位置から、オブジェクトが対応する撮像画像内の位置を算出する。そして、算出された当該位置が、端末装置100に提供される。
また、仮想物体の配置位置は、当該仮想物体が対応する人物(オブジェクト)の実際の位置に応じて変化してもよい。この場合に、例えば、当該人物(オブジェクト)の実際の位置は、いずれかのセンサにより検出され、提供されてもよい。そして、提供される当該実際の位置に基づいて、3次元仮想空間における仮想物体の配置位置が変化してもよい。
また、上記3次元仮想空間内に配置される仮想物体は、人物(オブジェクト)が実際にいる場合には存在し、人物が実際にはいない場合には存在しなくてもよい。即ち、人物(オブジェクト)の存否に応じて、上記仮想物体が存在し、又は存在しなくてもよい。一例として、センサ15により人物が座席にいると判定される場合に、上記仮想物体が存在し、そうでなければ、上記仮想物体が存在しなくてもよい。
−−第3の例
また、上記手法の第3の例は、オブジェクト(人物)は、撮像画像内で当該オブジェクト(人物)が認識された位置に対応する。
具体的には、例えば、撮像画像から人物の顔が認識される。そして、当該人物(オブジェクト)が、認識された顔の位置に対応する。
なお、第3の例では、オブジェクトが対応する撮像画像内の位置は、例えば、情報管理サーバ18において算出される。具体的には、例えば、情報管理サーバ18は、端末装置100からの要求に応じて、撮像画像から人物の顔を認識する。さらに、情報管理サーバ18は、顔が認識された撮像画像内の位置を、当該人物(オブジェクト)に対応する撮像画像内の位置として取得する。そして、取得された当該位置が、端末装置100に提供される。
−オブジェクトの選択の手法
−−第1のケース
第1に、例えば、撮像画像内の1つの位置がユーザにより指定され、取得され、撮像画像内の当該1つの位置が、上記複数のオブジェクトのうちのいずれかのオブジェクトが対応する位置と合致する。この場合に、オブジェクト選択部183は、上記撮像画像内の取得される上記位置と合致する位置に対応するオブジェクトを選択する。以下、この点について、図7を参照して具体例を説明する。
図7は、いずれかのオブジェクトが対応する位置とユーザにより指定される位置とが合致する場合に選択されるオブジェクトの例を説明するための説明図である。図7を参照すると、表示画面60と、表示画面に含まれる撮像画像61とが示されている。図7では、より分かりやすい説明のために、撮像画像61の具体的な画像は示されず、撮像画像内の取得される位置71(即ち、ユーザにより指定される位置)と、オブジェクトが対応する位置73とが示されている。この例では、例えば、撮像画像61内の取得される位置71は、オブジェクトが対応する位置73Bと合致する。よって、オブジェクト選択部183は、位置73Bに対応するオブジェクトを選択する。
例えば以上のように、ユーザにより指定される位置と合致する位置に対応する1つのオブジェクトが選択される。
−−第2のケース
第2に、例えば、とりわけ本実施形態では、オブジェクト選択部183は、上記複数のオブジェクトの中から、上記撮像画像内の取得される位置(即ち、ユーザにより指定される位置)に対応する領域内にある位置に対応する1つ以上のオブジェクトを選択する。即ち、選択される上記1つ以上のオブジェクトは、上記複数のオブジェクトのうちの、取得される上記位置に対応する領域内にある位置に対応するオブジェクトである。
例えば、撮像画像内の1つの位置がユーザにより指定され、取得され、撮像画像内の当該1つの位置が、上記複数のオブジェクトのうちのいずれかのオブジェクトが対応するどの位置とも合致しない。この場合に、オブジェクト選択部183は、上記複数のオブジェクトの中から、取得される上記1つの位置に対応する領域内にある位置に対応する1つ以上のオブジェクトを選択する。即ち、選択される上記1つ以上のオブジェクトは、上記複数のオブジェクトのうちの、取得される上記1つの位置に対応する領域内にある位置に対応するオブジェクトである。
例えば、オブジェクト選択部183は、上記複数のオブジェクトの中から、上記撮像画像内の取得される上記位置を含む所定の形状の領域内にある位置に対応するオブジェクトを選択する。即ち、選択される上記1つ以上のオブジェクトは、上記複数のオブジェクトのうちの、取得される上記1つの位置を含む所定の形状の領域内にある位置に対応するオブジェクトである。以下、図8を参照して、当該領域の具体例を説明し、図9を参照して、選択されるオブジェクトの具体例を説明する。
図8は、オブジェクトを選択するための領域の例を説明するための説明図である。図8を参照すると、撮像画像内の取得される位置71(即ち、ユーザにより指定される位置)と、位置71を含む所定の形状の領域75とが、示されている。例えば、第1の例として、領域75Aは、位置71を中心とする円の領域である。また、第2の例として、領域75Bは、位置71を中心とする矩形(一例として、正方形)の領域である。ユーザにより位置71が指定されると、このような領域75(例えば、領域75A又は領域75B)内にある位置に対応するオブジェクトが選択される。
図9は、いずれかのオブジェクトが対応するどの位置にもユーザにより指定される位置が合致しない場合に選択されるオブジェクトの例を説明するための説明図である。図9を参照すると、表示画面60と、表示画面に含まれる撮像画像61とが示されている。図9でも、図7と同様に、より分かりやすい説明のために、撮像画像61の具体的な画像は示されず、撮像画像61内の取得される位置71(即ち、ユーザにより指定される位置)と、オブジェクトが対応する位置73とが示されている。この例では、撮像画像内の取得される位置71は、いずれかのオブジェクトが対応するどの位置とも合致しない。すなわち、位置71は、いずれの位置73とも合致しない。そこで、オブジェクト選択部183は、撮像画像61内の取得される位置71を含む所定の形状の領域75A(位置71を中心とする円の領域75A)内にある位置73A及び位置73Bに対応するオブジェクトを選択する。
例えば以上のように、ユーザにより指定される位置を含む所定の形状の領域内にある位置に対応する1つ以上のオブジェクトが選択される。図9に示されるように、2つ以上のオブジェクトが選択されてもよく、又は1つのオブジェクトが選択されてもよい。
−−第3のケース
なお、例えば、上記複数のオブジェクトが対応するいずれの位置も、撮像画像内の取得される上記位置(即ち、ユーザにより指定される位置)に対応する領域内にない場合もある。この場合に、オブジェクト選択部183は、いずれのオブジェクトも選択しない。以下、この点について、図10を参照して具体例を説明する。
図10は、ユーザにより撮像画像内の位置が指定されてもいずれのオブジェクトも選択されないケースの一例を説明するための説明図である。図10を参照すると、表示画面60と、表示画面に含まれる撮像画像61とが示されている。図10でも、図7及び図9と同様に、より分かりやすい説明のために、撮像画像61の具体的な画像は示されず、撮像画像61内の取得される位置71(即ち、ユーザにより指定される位置)と、オブジェクトが対応する位置73とが示されている。この例では、撮像画像内の取得される位置71は、いずれかのオブジェクトが対応するどの位置とも合致しない。即ち、位置71は、いずれの位置73とも合致しない。また、上記複数のオブジェクトが対応するいずれの位置も、位置71を中心とする領域75A内にない。このような場合に、オブジェクト選択部183は、いずれのオブジェクトも選択しない。
以上のように、オブジェクト選択部183は、オブジェクトを選択する。なお、オブジェクト選択部183についての他の動作については、以下の表示制御部185についての説明の後に説明する。
(表示制御部185)
表示制御部185は、表示装置による表示を制御する。当該表示装置は、例えば、表示部150である。
−撮像画像を含む表示画面の表示制御
例えば、表示制御部185は、表示部150に、実空間の撮像画像を含む表示画面を表示させる。
例えば、上述したように、当該撮像画像は、実空間(センタオフィス10)内にあるカメラ11を通じて生成される撮像画像である。当該撮像画像は、カメラ11により生成された撮像画像であってもよく、又は、カメラ11により生成された撮像画像を加工することにより生成された撮像画像であってもよい。また、上記表示画面は、当該撮像画像を一部又は全体に含む画面である。例えば、図5及び図6に示される表示画面60のような表示画面が、表示部150により表示される。
具体的な処理として、例えば、表示制御部185は、通信部110を介して、カメラ11により生成される撮像画像を取得する。そして、表示制御部185は、撮像画像を含む表示画面を生成し、表示部150に当該表示画面を表示させる。
また、例えば、上記撮像画像は、実空間(センタオフィス10)内にある複数のカメラ11のうちの選択された1つのカメラ11を通じて生成された撮像画像である。なお、上述したように、例えば、図5に示されるボタン画像63A又は画像63Bの位置をユーザが指定することにより、別のカメラ11が選択される。このようにカメラ11を選択できるので、ユーザは所望の位置からの撮像画像を見ることができる。
−撮像画像内の位置をユーザが指定した後の表示画面
−−第1のケース:1つのオブジェクトが選択されるケース
第1に、例えば、ユーザが撮像画像内の位置を指定すると、上記複数のオブジェクトの中から、1つのオブジェクトが選択される。この場合に、当該1つのオブジェクトに関する情報が表示される。即ち、表示制御部185は、複数のオブジェクトの中から1つのオブジェクトが選択される場合に、表示部150に、当該1つのオブジェクトに関する情報を表示させる。
例えば、上記1つのオブジェクトに関する情報は、当該1つのオブジェクトが対応する撮像画像内の位置を含む撮像画像内の部分領域の画像である。即ち、表示制御部185は、表示部150に、選択された1つのオブジェクトが対応する撮像画像内の位置を含む撮像画像内の部分領域の画像である。例えば、このような部分領域は、人物(オブジェクト)が写る領域である。また、例えば、当該部分領域の画像は、当該部分領域が拡大された拡大画像である。以下、この点について、図11を参照して具体例を説明する。
図11は、1つのオブジェクトが選択される場合に表示される表示画面の一例を説明するための説明図である。図11を参照すると、表示画面80が示されている。この表示画面80は、図5及び図7に示されるように、表示画面60においてユーザにより撮像画像61内の位置71が指定された場合(即ち、位置73Bに対応するオブジェクトが選択された場合)に表示される表示画面である。そのため、表示画面80には、位置73Bを含む撮像画像61内の部分領域の画像81が含まれる。当該部分領域は、人物(オブジェクト)が写る領域である。また、画像81は、上記部分領域が拡大された拡大画像である。以上のように、表示制御部185は、表示部150に、選択された1つのオブジェクトが対応する位置を含む部分領域の拡大画像を表示させる。
なお、図11を参照すると、表示画面80は、ボタン画像83をさらに含む。ボタン画像83は、元の表示画面への切換えをユーザが指定するための画像である。例えば、ユーザが、ボタン画像83の位置を指定すると、再び、図5に示されるような表示画面60が表示部150により表示される。
−−第2のケース:2つ以上のオブジェクトが選択されるケース
第2に、例えば、ユーザが撮像画像内の位置を指定すると、上記複数のオブジェクトの中から2つ以上のオブジェクトが選択される。とりわけ本実施形態では、この場合に、表示制御部185は、表示部150に、上記2つ以上のオブジェクトの各々に関する情報を表示させる。
例えば、上記2つ以上のオブジェクトは、第1のオブジェクト及び第2のオブジェクトを含む。そして、上記2つ以上のオブジェクトの各々に関する上記情報は、上記第1のオブジェクトが対応する上記撮像画像内の位置を含む上記撮像画像内の第1の部分領域の画像、及び、上記第2のオブジェクトが対応する上記撮像画像内の位置を含む上記撮像画像内の第2の部分領域の画像を含む。即ち、表示制御部185は、表示部150に、上記第1のオブジェクトが対応する位置を含む撮像画像内の第1の部分領域の画像と、上記第2のオブジェクトが対応する位置を含む撮像画像内の第2の部分領域の画像とを表示させる。例えば、第1の部分領域は、第1の人物(第1のオブジェクト)が写る領域であり、第2の部分領域は、第2の人物(第2のオブジェクト)が写る領域である。
また、例えば、表示制御部185は、表示部150に、上記第1の部分領域の上記画像及び上記第2の部分領域の上記画像を並列に表示させる。
また、例えば、上記第1の部分領域の上記像は、上記1の部分領域が拡大された拡大画像である。また、上記第2の部分領域の上記画像は、上記第2の部分領域が拡大された拡大画像である。以下、図12を参照して、2つ以上のオブジェクトが選択される場合に表示される表示画面の具体例を説明する。
図12は、2つ以上のオブジェクトが選択される場合に表示される表示画面の一例を説明するための説明図である。図12を参照すると、表示画面80が示されている。この表示画面80は、図5に示されるような表示画面60において、図9に示されるようにユーザにより撮像画像61内の位置71が指定された場合(即ち、位置73A及び位置73Bに対応するオブジェクトが選択された場合)に表示される表示画面である。そのため、表示画面80には、位置73Aを含む撮像画像61内の部分領域の画像85Aと、位置73Bを含む撮像画像61内の部分領域の画像85Bとが含まれる。各部分領域の画像85は、人物(オブジェクト)が写る領域である。また、画像85Aは、位置73Aを含む部分領域が拡大された画像であり、画像85Bは、位置73Bを含む部分領域が拡大された画像である。また、画像85A及び画像85Bは並列に表示される。以上のように、表示制御部185は、表示部150に、選択されたオブジェクトが対応する位置を含む部分領域の拡大画像を表示させる。
−−−部分領域の画像を含む表示画面の生成プロセス
ここで、図12に示されるような画像85A及び画像85Bを含む表示画面80の生成プロセスの例を、図13〜図15を参照して説明する。
図13、図14A、図14B及び図15は、第1の部分領域の画像85A及び第2の部分領域の画像85Bを含む表示画面80の生成プロセスの一例を説明するための説明図である。
まず、図13を参照すると、撮像画像61が示されている。この撮像画像61は、図5に示されるものと同様である。例えば、図9に示されるように、ユーザにより撮像画像61内の71が指定される。そして、位置73Aに対応する第1のオブジェクトと、位置73Bに対応する第2のオブジェクトとが選択される。すると、位置73A及び位置73Bを含む部分領域に対する拡大処理(ズーム処理)が行われ、当該部分領域の拡大画像86が生成される。
次に、図14Aを参照すると、拡大画像86のうちの、位置73Aを中心とする部分領域が切りだされる。これにより、切りだされた当該部分領域の画像85Aが生成される。同様に、図14Bを参照すると、拡大画像86のうちの、位置73Bを中心とする部分領域が切りだされる。これにより、切りだされた当該部分領域の画像85Bが生成される。
そして、図15を参照すると、画像85A及び画像85Bが、表示画面80に並列に組み込まれる。即ち、画像85A及び画像85Bが並列に配置された表示画面80が生成される。
例えば以上のように、図12に示されるような画像85A及び画像85Bを含む表示画面80が生成される。
−−−操作促進標識の表示
さらに、表示制御部185は、表示部150に、上記2つ以上のオブジェクトの中から1つのオブジェクトをユーザにより指定させるための標識(オブジェクト指定促進標識)を表示させてもよい。以下、この点について図16を参照して具体例を説明する。
図16は、オブジェクト指定促進標識の一例を説明するための説明図である。図16を参照すると、図12と同様に、表示画面80、画像85A及び画像85Bが示されている。そして、さらに、画像85Aに対応するオブジェクト、又は画像85Bに対応するオブジェクトを指定するための、オブジェクト指定促進標識87A及び87Bが表示される。
−−第3のケース:いずれのオブジェクトも選択されないケース
第3に、例えば、ユーザが撮像画像内の位置を指定しても、いずれのオブジェクトも選択されない。この場合に、表示制御部185は、表示部150に、上記撮像画像内の位置をユーザに指定させるための標識(以下、「位置指定促進標識」と呼ぶ)を表示画面に表示させる。以下、この点について図17を参照して具体例を説明する。
図17は、位置指定促進標識の一例を説明するための説明図である。図17を参照すると、図5と同様に、表示画面60及び撮像画像61が示されている。そして、例えば図10に示されるようにユーザにより撮像画像内の位置が指定され、その結果、いずれのオブジェクトも選択されない。この場合に、表示制御部185は、表示部150に、「再度タッチして下さい」という文字情報を含む位置指定促進標識65を表示させる。
このような再指定促進標識65により、ユーザは、撮像画像内の位置を再度指定する必要があることに気付くことができる。そのため、ユーザにとっての利便性が高まる。
−電話時の表示画面
例えば、表示制御部185は、電話時において、表示部150に、通話用の表示画面を表示させる。この点については、電話部189に関連して後に説明する。
(オブジェクト選択部183(続き))
ここで、オブジェクト選択部183の動作を再び説明する。
−−第1のケース:1つのオブジェクトが選択されるケース
上述したように、1つのオブジェクトが選択される場合には、例えば図11に示されるように、当該1つのオブジェクトが対応する位置を含む部分領域の画像81が表示される。このような場合に、オブジェクト選択部183は、上記1つのオブジェクトがユーザにより指定されると、当該1つのオブジェクトを選択する。
一例として、ユーザは、画像81のうちのいずれかの位置をタッチすることにより、上記1つのオブジェクトを指定する。
−−第2のケース:2つ以上のオブジェクトが選択されるケース
上述したように、2つ以上のオブジェクトが選択される場合には、例えば図12に示されるように、各オブジェクトが対応する位置を含む部分領域の画像85が表示される。このような場合に、とりわけ本実施形態では、オブジェクト選択部183は、上記2つ以上のオブジェクトの中から、ユーザにより指定される1つのオブジェクトを選択する。
一例として、ユーザは、画像85Aのうちのいずれかの位置をタッチすることにより、画像85Aに対応する1つのオブジェクトを指定する。また、ユーザは、画像85Bのうちのいずれかの位置をタッチすることにより、画像85Bに対応する1つのオブジェクトを指定する。
(通信用ID取得部187)
通信用ID取得部187は、通信用の識別情報(以下、「通信用ID」と呼ぶ)を取得する。
−オブジェクトに対応する通信用IDの取得
上述したように、一例として、選択された1つのオブジェクトに関する情報(例えば、図11に示される画像81)が表示され、当該1つのオブジェクトが、ユーザにより指定され、選択される。また、別の例として、選択された2つ以上のオブジェクトに関する情報(例えば、図12に示される画像85A及び画像85B)が表示され、当該2つ以上のオブジェクトの中から、ユーザにより指定される1つのオブジェクトが選択される。これらの例のように、1つのオブジェクトが選択されると、当該1つのオブジェクトに対応する通信用IDが取得される。即ち、通信用ID取得部187は、1つのオブジェクトが選択されると、当該1つのオブジェクトに対応する通信用IDを取得する。
具体的には、例えば、オブジェクト選択部185が、1つのオブジェクトを選択すると、通信用ID取得部187は、選択された当該1つのオブジェクトのオブジェクトIDを取得する。そして、通信用ID取得部187は、当該オブジェクトIDに対応する通信用IDを取得する。
なお、上記オブジェクトID及び上記通信用IDは、例えば、情報管理サーバにより、各オブジェクトに対応する撮像画像内の位置とともに端末装置100に提供され、記憶部170に記憶される。そして、1つのオブジェクトを選択すると、当該1つのオブジェクトのオブジェクトIDが記憶部170から取得され、通信用ID取得部187に提供される。そして、通信用ID取得部187は、提供されたオブジェクトIDに対応する通信用IDを記憶部170から取得する。
−通信用IDの種類
−−第1の例:専用網の通信用ID
例えば、上記通信用IDは、専用網における通信のための識別情報である。これにより、専用網において所望の人物にコンタクトすることが可能になる。
一例として、上記通信用IDは、専用網における電話のための電話番号である。
上記専用網は、内線電話網を含んでもよく、又は無線LAN通信網を含んでもよい。また、専用網は、VPN(Virtual Private Network)で接続された2つ以上の無線LAN通信網を含んでもよい。
−−第2の例:公衆網の通信用ID
なお、上記通信用IDは、公衆網を介して通信するための識別情報であってもよい。これにより、公衆網を介して所望の人物にコンタクトすることが可能になる。
一例として、上記通信用IDは、公衆網における電話のための電話番号であってもよい。
例えば、上記公衆網は、移動体通信網を含んでもよい。これにより、移動体通信網を介して所望の人物にコンタクトすることが可能になる。例えば、携帯電話端末へのコンタクトが可能になる。また、上記公衆網は、インターネット、又は公衆交換回線網(Public Switched Telephone Network:PSTN)を含んでもよい。
また、通信用ID取得部187は、特番(特殊用途の番号)を付加しつつ通信用IDを取得してもよい。この場合、通信用ID取得部187は、オブジェクトIDに対応する通信用IDを記憶部170から取得するとき、通信用IDに特番を付加し取得する。具体的には、例えば、通信用ID取得部187は、オブジェクトIDに対応する通信用IDとして電話番号「yyyy」を記憶部170から取得するとき、電話番号「yyyy」に特番「xx」を付加し、通信用IDとして電話番号「xx−yyyy」を取得する。
また、通信用ID取得部187は、通信用IDの取得の際、特番を付加するか否かの判断及び付加する特番の決定をする通信用ID調整手段を有してもよい。この通信用ID調整手段は、通信用ID取得部187が、オブジェクトIDに対応する通信用IDを記憶部170から取得するとき、取得する通信用IDについて、外部の通信制御手段(当該通信用IDに基づき通信の制御おこなう手段(例えばPBX40等))に問合せし、特番を付加するか否かの判断及び付加する特番の決定をする。ここで、通信用ID調整手段における問合せ処理は、通信用ID調整手段が、PBX40(PBX40のDB(呼制御にために用いるデータのデータベース(局データ)))に接続することである。なお、通信用ID調整手段は、PBX40が対応するH.323又はSIPに対応し、PBX40に接続する。また、通信用ID調整手段における特番を付加するか否かの判断の処理は、通信用ID調整手段が、通信用ID取得部187が取得する通信用IDがPBX40において内線相互接続、局線発信接続又は専用線発信接続のいずれに該当するか確認し、局線発信接続又は専用線発信接続に該当する場合に特番を付加すると判断することである。他方、通信用ID調整手段は、内線相互接続に該当すると確認できると特番を付加しないと判断する。また、通信用ID調整手段における付加する特番の決定の処理は、特番を付加するか否かの判断の処理にて局線発信接続に該当し特番を付加すると判断された場合に局線発信特番「0」を付加する特番と決定し、特番を付加するか否かの判断の処理にて専用線発信接続に該当し特番を付加すると判断された場合に専用線発信特番「1」を付加する特番と決定することである。
(電話部189)
電話部189は、電話を行うための機能を提供する。例えば、電話部189は、ソフトフォンの機能を提供する。
−電話発信
例えば、電話部189は、通信用ID取得部187から通信用IDを取得すると、当該通信用IDを用いて電話発信を行う。より具体的には、例えば、電話部189は、通信用IDを取得すると、通信部110を介して、当該通信用IDをPBX40に提供し、PBX40からIPアドレスを取得する。そして、電話部189は、当該IPアドレスを有する通信装置(即ち、着信先の通信装置)との間で、セッションを確立するための一連のシーケンスを実行する。
このように、電話部189は、表示画面において選択された人物(オブジェクト)への電話のための電話発信を行う。即ち、電話部189は、当該人物の通信装置への電話発信を行う。
−音声データ及び映像データの通信
また、電話の相手先の通信装置からの音声データが、通信部110により受信されると、電話部189は、音声出力部160に、当該音声データの音声を出力させる。また、電話部189は、通信部110に、集音部140により提供される音声データを電話の相手先の通信装置へ送信させる。また、電話部189は、例えば、通信部110に、撮像部130により提供される撮像画像(例えば、端末装置100のユーザが写っている撮像画像)も電話の相手先の通信装置へ送信させる。
−通話用の表示画面
また、このような電話時において、表示制御部185は、通話用の表示画面を表示させる。以下、通話用の表示画面について図18を参照して具体例を説明する。
図18は、通話用の表示画面の一例を説明するための説明図である。図18を参照すると、会通話用の表示画面90が示されている。表示画面90は、相手側撮像画像91、ボタン画像93及び自分側撮像画像95を含む。
相手側撮像画像91は、例えば、電話の相手先の通信装置から取得された撮像画像である。例えば、電話の相手先の通信装置からの撮像画像が、通信部110により受信されると、電話部189は、当該撮像画像を相手側撮像画像91として利用する。
また、ボタン画像93は、電話を終了させるための画像である。例えば、ユーザが、ボタン画像93の位置を指定すると、電話部189は、電話を終了させる。より具体的には、例えば、ユーザがボタン画像93の位置をタッチし、ボタン画像93に対応するタッチ位置が検出されると、電話部189は、セッションの切断を含む電話終了用のシーケンスを実行する。また、例えば、電話部189は、表示モードを会話モードから俯瞰モードに切り替える。
自分側撮像画像95は、撮像部130により提供される撮像画像である。
(作用効果)
以上、本実施形態に係る端末装置100の機能構成の例を説明した。以上のように、空間の撮像画像を含む表示画面においてユーザにより指定される当該上記撮像画像内の位置に基づいて、当該撮像画像のいずれかの位置にそれぞれ対応する複数のオブジェクトの中から、1つ以上のオブジェクトが選択される。そして、複数のオブジェクトの中から2つ以上のオブジェクトが選択される場合に、上記2つ以上のオブジェクトの各々に関する情報が表示される。さらに、上記2つ以上のオブジェクトの中から、ユーザにより指定される1つのオブジェクトが選択される。そして、当該1つのオブジェクトが選択されると、当該1つのオブジェクトに対応する通信用IDが取得される。
これにより、直感的な操作でより容易に所望の人物にコンタクトすることを可能にすることが可能となる。
より具体的には、例えば、ユーザは、表示画面の撮像画像において1人の人物(オブジェクト)をピンポイントで指定できなかったとしても、2人以上の人物(2つ以上のオブジェクト)が選択され、当該2人以上の人物に関する情報が表示される。そして、ユーザは、改めて表示された人物に関する情報から、1人の人物(1つのオブジェクト)をピンポイントで選択することができる。そのため、例えば、表示画面自体が小さい場合、表示画面に写っている人物が小さい場合等であっても、最終的に、1人の人物を選択することができる。また、2人以上の人物のうちのいずれの人物を指定しているのか不明な際に1人の人物が自動的に選択されるのではなく、2人以上の人物が選択されるので、誤った1人のみが選択されることが回避される。即ち、より容易に所望の人物を選択することが可能になる。
また、選択された人物に対応する通信用ID(例えば、電話番号)が取得される。そのため、選択した人物にコンタクトすることが可能になる。
即ち、表示画面において人物を指定するという直感的な操作で、表示画面においてピンポイントで人物を指定することが困難な場合であってもより容易に、所望の人物にコンタクトすることが可能になる。
また、具体的には、表示制御部185に関連して上述したように、例えば、選択される2つ以上のオブジェクトは、第1のオブジェクト及び第2のオブジェクトを含む。そして、当該第1のオブジェクトが対応する位置を含む上記撮像画像内の第1の部分領域の画像、及び、上記第2のオブジェクトが対応する位置を含む上記撮像画像内の第2の部分領域の画像が、表示される。
このように人物(オブジェクト)に対応する位置を含む部分領域の画像が表示されることで、2人以上の人物の中から所望の人物をより直感的に指定することが可能になる。即ち、顔、髪型、後ろ姿、姿勢のような見た目の確認という直感的な確認により所望の人物を指定することが可能になる。そのため、ユーザにとっての利便性が高まる。例えば、より素早く、及び/又はより負担なく、人物を指定することが可能になり得る。
また、表示制御部185に関連して上述したように、例えば、第1の部分領域の画像及び第2の部分領域の画像が、並列に表示される。
これにより、2人以上の人物をより容易に比べることが可能になる。そのため、ユーザにとっての利便性が高まる。例えば、より素早く、及び/又はより負担なく、人物を指定することが可能になり得る。
また、表示制御部185に関連して上述したように、例えば、上記第1の部分領域の上記画像は、上記第1の部分領域が拡大された拡大画像であり、上記第2の部分領域の上記画像は、上記第2の部分領域が拡大された拡大画像である。
これにより、2人以上の人物の各々をより容易に確認することが可能になる。そのため、ユーザにとっての利便性が高まる。例えば、より素早く、及び/又はより負担なく、人物を指定することが可能になり得る。
また、オブジェクト選択部183に関連して上述したように、例えば、上記複数のオブジェクトのうちの、ユーザにより指定される位置に対応する領域内にある位置に対応するオブジェクトが、選択される。
これにより、ピンポイントで人物(オブジェクト)に対応する位置を指定しなくても、当該人物が選択され得る。そのため、ユーザによる指定をより容易にすることが可能になる。
また、オブジェクト選択部183に関連して上述したように、例えば、表示画面においてユーザにより指定される1つの位置を含む所定の形状の領域内にある位置に対応する人物(オブジェクト)が選択される。
これにより、ユーザが指定した位置の近傍の位置に対応する人物(オブジェクト)が選択される。そのため、選択されるオブジェクトの中に、ユーザが指定しようとする人物(即ち、所望の人物)が含まれる可能性が高くなる。
また、オブジェクト選択部183に関連して上述したように、例えば、上記複数のオブジェクトが対応するいずれの位置も、ユーザにより指定される位置に対応する上記領域内にない場合には、いずれのオブジェクトも選択されない。また、表示制御部185に関連して上述したように、いずれのオブジェクトも選択されない場合に、上記撮像画像内の位置をユーザに指定させるための標識(即ち、位置指定促進標識)が表示される。
これにより、いずれの人物(オブジェクト)も選択されなかったことを、ユーザに知らせることができる。そのため、ユーザがより素早く人物を再度指定することが可能になる。
また、位置取得部181に関連して上述したように、例えば、上記撮像画像内の位置は、タッチパネルにおけるユーザのタッチにより指定される。
これにより、表示画面において人物(オブジェクト)の近傍の位置にタッチするという直感的な操作で、容易に人物(オブジェクト)を選択することが可能になる。
<2.3.ソフトウェア構成>
次に、図19を参照して、本実施形態に係る端末装置100のソフトウェア構成の一例を説明する。図19は、本実施形態に係る端末装置100のソフトウェア構成の一例を示すブロック図である。図19を参照すると、端末装置100は、OS(Operating System)840及びアプリケーションソフトウェアを備える。そして、端末装置100は、アプリケーションソフトウェアとして、ソフトフォン851、超臨場感クライアント853及び電話発信制御機能855を含む。
OS840は、端末装置100を動作させるための基本的な機能を提供するソフトウェアである。OS840は、各アプリケーションソフトウェアを実行する。
ソフトフォン851は、端末装置100を用いて電話を行うためのアプリケーションソフトウェアである。超臨場感クライアント853は、実空間の情報を端末装置100に提供するためのアプリケーションソフトウェアである。また、電話発信制御機能855は、オブジェクト(人物)に対応する通信用IDを取得するアプリケーションソフトウェアである。
例えば、電話発信制御機能855は、通信用IDを取得すると、OSを介してソフトフォン851に提供する。そして、ソフトフォン851は、当該通信用IDを用いて、電話発信を行う。
また、例えば、超臨場感クライアント853は、実空間(例えば、センタオフィス10)にいる人物の状態を示す状態情報を取得し、OSを介してソフトフォン851に提供してもよい。そして、ソフトフォン851は、当該状態情報に基づいて、電話発信を制御してもよい。
なお、位置取得部181、オブジェクト選択部183及び通信用ID取得部187は、電話発信制御機能855により実装され得る。また、電話部189は、例えば、ソフトフォン851により実装され得る。また、表示制御部185は、ソフトフォン851、超臨場感クライアント853及び電話発信制御機能855により実装され得る。
また、電話発信制御機能855は、超臨場感クライアント853の中に組み込まれてもよい。
<2.4.画面遷移>
次に、図20〜図25を参照して、上述したようなオブジェクトの選択及び通信用IDの取得のための表示画面(例えば、図5に示される表示画面60)が表示されるまでの画面遷移の例を説明する。
図20は、メニュー画面の例を説明するための説明図である。図20を参照すると、メニュー画面1000が示されている。メニュー画面には、各ソフトウェアを起動するためのアイコンが含まれる。例えば、メニュー画面1000は、ソフトフォン851のアイコン1010、超臨場感クライアント853のアイコン1020及び電話帳のアイコン1030を含む。例えば、ユーザがアイコン1010を指定すると、ソフトフォン851が起動する。また、ユーザがアイコン1020を指定すると、超臨場感クライアント853が起動する。また、ユーザがアイコン1030を指定すると、電話帳が起動する。
図21は、画面に表示されるソフトフォンのユーザインターフェースの例である。図21を参照すると、ソフトフォン用のユーザインターフェース1110が示されている。ユーザがアイコン1010を指定し、ソフトフォン851が起動すると、このようにユーザインターフェース1110が表示される。ユーザは、ユーザインターフェース1110を介した操作により、電話の発着信を行うことができる。
図22は、超臨場感クライアントの表示画面の例を説明するための説明図である。図22を参照すると、図5と同様に、超臨場クライアントの表示画面60が示されている。ユーザがアイコン1020を指定し、超臨場感クライアント853が起動すると、このように表示画面60が表示される。なお、超臨場感クライアント853が起動した段階では、初期設定に基づいてカメラ11が選択され、当該カメラ11を通じて生成された撮像画像61を含む表示画面60が表示される。その後、ボタン画像63の指定等によって、別のカメラ11が選択され得る。
図23は、電話帳の表示画面の例を説明するための説明図である。図23を参照すると、電話帳の表示画面1130が示されている。ユーザがアイコン1030を指定し、電話帳が起動すると、このように表示画面1130が表示される。表示画面1130には、連絡先1131A〜1131Dが含まれる。ボタン画像1133A〜1133Cも含まれる。
例えば、ユーザが、「荒川」に対応する連絡先1131Aのうちのボタン画像1133A以外の位置を指定すると、OS840が、ソフトフォン851を起動し、ソフトフォン851に、「荒川」に対応する電話番号「2200」と発信の指示とを提供する。すると、ソフトフォン851が、「荒川」に対応する電話番号「2200」への電話発信を行う。
また、ユーザが、「アレックス」に対応する連絡先1131Bのうちのボタン画像1133B以外の位置を指定すると、OS840が、ソフトフォン851を起動し、ソフトフォン851に、「アレックス」に対応する電話番号「2010」と発信の指示とを提供する。すると、ソフトフォン851が、「アレックス」に対応する電話番号「2010」への電話発信を行う。
また、ユーザが、ボタン画像1133Bの位置を指定すると、OS840が、超臨場感クライアント853を起動し、超臨場感クライアント853に、「アレックス」に関する情報(例えば、ID、プレゼンス情報、等)を提供する。すると、超臨場感クライアント853が、「アレックス」に関する情報(例えば、ID、プレゼンス情報、等)を情報管理サーバ18に提供する。その後、情報管理サーバ18は、「アレックス」に関するプレゼンス情報に基づいて、カメラ11を選択する。当該プレゼンス情報に対応する複数のカメラ11がある場合には、いずれかの代表的なカメラ(以下、「代表カメラ」と呼ぶ)が選択される。そして、超臨場感クライアント853は、選択されたカメラ11を通じて生成される撮像画像を取得する。なお、上記プレゼンス情報は、例えば、人物の位置を示す情報(例えば、会議室、ワークスペース、等)である。例えば、当該プレゼンス情報は、PBX40に提供され、PBX40から取得される。
図24は、代表カメラの例を説明するための説明図である。図24を参照すると、会議室1210及びワークスペース1220の各々において配置されるカメラ11が示されている。例えば、プレゼンス情報が「会議室」である場合の代表カメラとして、カメラ11Cが予め定められる。また、例えば、プレゼンス情報が「ワークスペース」である場合の代表カメラとして、カメラ11Dが予め定められる。このように、例えば、会議室又はワークスペースの中の広い範囲を撮像可能なカメラ11が、代表カメラとして予め定められる。
なお、プレゼンス情報は、電話帳において表示されてもよい。図25は、プレゼンス情報を含む電話帳の表示画面の例を説明するための説明図である。図25を参照すると、電話帳の表示画面1130が示されている。この例では、連絡先1131A及び連絡先1131Dの各々は、プレゼンス情報を含む。例えば、連絡先1131Aは、「荒川」のプレゼンス情報として「会議室」を含む。また、連絡先1131Bは、「アレックス」のプレゼンス情報として「ワークスペース」を含む。
<<3.処理の流れ>>
次に、図26及び図27を参照して、本実施形態に係る情報処理の例を説明する。
(端末装置における情報処理の例)
図26は、本実施形態に係る端末装置100における情報処理の一例を説明するための説明図である。
ステップS301で、表示制御部185は、表示部150に、実空間(センタオフィス10)の撮像画像を含む表示画面を表示させる。
ステップS303で、位置取得部181は、上記表示画面においてユーザにより上記撮像画像内の位置が指定されたかを判定する。当該位置が指定された場合には、処理はステップS305へ進む。そうでなければ、処理はステップS301を繰り返す。
ステップS305で、位置取得部181は、ユーザにより指定された上記撮像画像内の位置(即ち、ユーザにより指定された撮像画像内の位置)を取得する。
ステップS307で、オブジェクト選択部183は、取得された上記撮像画像内の位置(即ち、ユーザにより指定された撮像画像内の位置)に基づいて、当該撮像画像のいずれかの位置にそれぞれ対応する複数のオブジェクトの中から、1つ以上のオブジェクトを選択する。
ステップS309で、表示制御部185は、1つ以上のオブジェクトが選択されたかを判定する。1つ以上のオブジェクトが選択されていれば、処理はステップS313へ進む。そうでなければ、処理はステップS311へ進む。
ステップS311で、表示制御部185は、表示部150に、上記撮像画像内の位置をユーザに指定させるための標識(即ち、位置指定促進標識)を上記表示画面に表示させる。
ステップS313で、表示制御部185は、2つ以上のオブジェクトが選択されたかを判定する。2つ以上のオブジェクトが選択されていれば、処理はステップS315へ進む。そうでなければ、処理はステップS323へ進む。
ステップS315で、表示制御部185は、表示部150に、2つ以上のオブジェクトの各々が対応する位置を含む部分領域の拡大画像を表示させる。
ステップS317で、元の表示画面への切換えがユーザにより指定されたかが判定される。より具体的には、例えば、図12に示されるボタン画像83の位置がユーザにより指定されたかが判定される。当該切換えが指定された場合には、処理はステップS301へ戻る。そうでなければ、処理はステップ319へ進む。
ステップS319で、部分領域の拡大画像を含む表示画面を介していずれかのオブジェクトがユーザにより指定されたかが判定される。いずれかのオブジェクトが指定されていれば、処理はステップS321へ進む。そうでなければ、処理はステップS315へ戻る。
ステップS321で、オブジェクト選択部183は、上記2つ以上のオブジェクトの中から、ユーザにより指定される1つのオブジェクトを選択する。そして、処理はステップS331へ進む。
ステップS323で、表示制御部185は、表示部150に、1つのオブジェクトが対応する位置を含む部分領域の拡大画像を表示させる。
ステップS325で、元の表示画面への切換えがユーザにより指定されたかが判定される。より具体的には、例えば、図11に示されるボタン画像83の位置がユーザにより指定されたかが判定される。当該切換えが指定された場合には、処理はステップS301へ戻る。そうでなければ、処理はステップ327へ進む。
ステップS327で、部分領域の拡大画像を含む表示画面を介していずれかのオブジェクトがユーザにより指定されたかが判定される。いずれかのオブジェクトが指定されていれば、処理はステップS329へ進む。そうでなければ、処理はステップS323へ戻る。
ステップS329で、オブジェクト選択部183は、上記1つのオブジェクトを選択する。そして、処理はステップS331へ進む。
ステップS331で、通信用ID取得部187は、選択された1つのオブジェクトに対応する通信用IDを取得する。
ステップS333で、電話部189は、取得された通信用IDを用いて電話発信を行う。そして、処理は終了する。
(撮像画像の取得までの情報処理の例)
図27は、プレゼンス情報に従った撮像画像の提供及び取得のための情報処理の一例を説明するための説明図である。
ステップS401で、端末装置100は、自装置のユーザに関するプレゼンス情報をPBX40に提供する。
ステップS403で、端末装置100は、所望の人物(オブジェクト)に対応する通信用IDをPBX40に提供する。すると、ステップS404で、PBX40は、当該所望の人物(オブジェクト)に関するプレゼンス情報を端末装置100に提供する。
ステップS407で、端末装置100は、上記所望の人物(オブジェクト)に関するプレゼンス情報を情報管理サーバ18に提供する。すると、ステップS409で、情報管理サーバ18は、当該プレゼンス情報に基づいてカメラ11を選択し、選択されたカメラ11に関する情報(カメラ情報)を端末装置100に提供する。
ステップS411で、端末装置100は、カメラ情報をメディア配信サーバ17に提供する。すると、ステップS413で、メディア配信サーバ17は、カメラ情報から選択されたカメラ11を認識し、選択されたカメラ11を通じて生成される撮像画像を端末装置100に提供する。
<<4.変形例>>
続いて、図28〜図32を参照して、本実施形態の変形例を説明する。
<4.1.第1の変形例>
まず、図28を参照して、本実施形態の第1の変形例を説明する。上述した本実施形態の例では、撮像画像を含む表示画面において1つの位置がユーザにより指定され、当該1つの位置を含む所定の形状の領域内にある位置に対応するオブジェクトが選択される。一方、本実施形態の第1の変形例では、撮像画像を含む表示画面において2つ以上の位置がユーザにより指定され、当該2つ以上の位置に基づき形成される領域内にある位置に対応するオブジェクトが選択される。
(位置取得部181)
−撮像画像内の位置の取得
位置取得部181は、実空間の撮像画像を含む表示画面においてユーザにより指定される上記撮像画像内の位置を取得する。
とりわけ本実施形態の第1の変形例では、位置取得部181は、上記表示画面においてユーザにより指定される上記撮像画像内の2つ以上の位置を取得する。即ち、2つ以上の位置がユーザにより指定される。
より具体的には、例えば、入力部120が、実空間の撮像画像の表示画面においてユーザにより指定される上記撮像画像内の2つ以上の位置を検出すると、位置取得部181は、当該2つ以上の位置を取得する。以下、図28を参照して、このような撮像画像内の位置の取得の具体例を説明する。
図28は、第1の変形例に従った、表示画面に含まれる撮像画像内の位置の取得の例を説明するための説明図である。図28を参照すると、表示部150により表示される表示画面60が示されている。また、表示画面60は、実空間(センタオフィス10)内にあるいずれかのカメラ11を通じて生成される撮像画像61を含む。例えば、入力部120が、表示画面60においてユーザにより指定される撮像画像61内の2つ以上の位置を含む位置集合77を検出する。例えば、位置集合77は、ある領域を形成する位置の集合である。そして、位置取得部181は、2つ以上の位置を含む位置集合77を取得する。なお、ここでは説明のために図28において位置集合77が明示されているが、位置集合77が表示画面60において実際に表示されているわけではないということに留意すべきである。
(オブジェクト選択部183)
−オブジェクトの選択の手法
選択される1つ以上のオブジェクトは、上記複数のオブジェクトのうちの、取得される上記2つ以上の位置に基づき形成される領域内にある位置に対応するオブジェクトである。即ち、オブジェクト選択部183は、上記複数のオブジェクトのうちの、取得される上記2つ以上の位置に基づき形成される領域内にある位置に対応するオブジェクトを選択する。
より具体的には、例えば、図28を再び参照すると、上記2つ以上の位置に基づき形成される領域は、図28に示されるような位置集合77により囲われる領域である。例えば、位置集合77は、表示画面60(撮像画像61内)においてユーザにより指定される2つ以上の位置であり、入力部120により検出され、位置取得部181により取得される。一例として、位置集合77は、ユーザによるドラッグ(スワイプ)(指を画面につけ、画面上を移動させ、画面から離す操作であって、指をつけた位置と離した位置、及び/又は移動させた指の軌道に対応する2つ以上の位置を指定する操作)に応じて検出される位置の集合である。そして、位置集合77により囲われる領域内の位置に対応するオブジェクトが、オブジェクト選択部183により選択される。
なお、上記2つ以上の位置に基づき形成される領域は、ユーザによるドラッグに応じて検出される位置(位置集合77)に囲われる領域に限られない。当該領域は、ユーザによるタップ(1本以上の指を画面につけ、画面から離す操作であって、指の位置で位置を指定する操作)、ピンチアウト(2本以上の指を画面につけ、当該2本以上の指の間隔を広げ、当該2本以上の指を離す操作であって、指を離したときの2本以上の指の位置で2つ以上の位置を指定する操作)、及びピンチイン(2本以上の指を画面につけ、当該2本以上の指の間隔を狭め、当該2本以上の指を離す操作であって、指を離したときの2本以上の指の位置で2つ以上の位置を指定する操作)等のいずれかの(タッチ)操作手法に対応する領域であってもよい。一例として、上記2つ以上の位置に基づき形成される上記領域は、ピンチアウト又はピンチインに応じて検出される位置(例えば、指を離したときの2本以上の指の位置)を含む図形(円、矩形、等)により囲われる領域であってもよい。
また、所定の期間(例えば、2秒間)に、位置取得部181により取得される位置(入力部120により検出される位置)が、用いられてもよい。そして、当該所定の期間に取得される位置により形成される領域内にある位置に対応するオブジェクトが選択されてもよい。一例として、上記領域は、上記所定の期間における複数の操作(例えば、ドラック、ピンチアウト及び/又はピンチイン、等)に対応する領域であってもよい。具体例を挙げると、表示画面60(撮像画像61内)において、ユーザが、2本の指で1回タップし、1回目のタップと相違する位置で1本の指で1回タップし、さらに2本の指でピンチアウトする。この場合に、1回目のタップ(ユーザによる位置の指定の開始)を契機に、所定の検出期間内の操作(2回のタップとピンチアウト)に対応する領域が形成される。このようにすることで、ユーザは、多様な操作の組合せでオブジェクトを選択することができるようになる。
また、制御部180は、ユーザにより指定される位置から、タップ、ドラッグ、ピンチアウト及びピンチイン等のいずかの(タッチ)操作手法を認識する操作認識部を有してもよい。また、この操作認識部は、端末装置100の状態(タッチ検出面821、表示面823及び撮像画像61等のサイズ、並びに/又は、アプリケーションソフトウェア)に応じて、対応する操作手法(例えば、タップ、ドラッグ、ピンチアウト及びピンチインのいずれかまたはそれらの組み合わせ)を決定してもよい。
第1の例として、端末装置100における撮像画像61が所定のサイズ(例えば所定Cm、所定inch及び所定解像度)以上の場合、操作認識部は、対応する操作手法をタップ、ドラッグ、ピンチアウト及びピンチインと決定してもよい。他方、端末装置100における撮像画像61が所定のサイズ以下の場合、操作認識部は、対応する操作方法をタップ及びドラッグと決定してもよい。
第2の例として、端末装置100における表示面823とタッチ検出面821との比率(表示面823の大きさ(サイズ)を100%としたときのタッチ検出面821の大きさ(サイズ))が70%以上の場合、操作認識部は、対応する操作方法をタップ、ドラッグ、ピンチアウト及びピンチインと決定してもよい。他方、端末装置100における表示面823とタッチ検出面821との比率が70%以下の場合、操作認識部は、対応する操作手法をタップと決定してもよい。
第3の例として、端末装置100においてアプリケーションソフトウェアAAA(図19に示されていないアプリケーションソフトウェア)が起動されている場合、操作認識部は、対応する操作方法をタップ及びドラッグと決定してもよい。他方、端末装置100においてアプリケーションソフトウェアBBB(図19に示されていないアプリケーションソフトウェア)が起動されている場合、操作認識部は、対応する操作方法をピンチアウト及びピンチインと決定してもよい。
さらに、対応する操作手法が決定されるとともに、対応する操作手法に係る情報が撮像画像61に重畳して表示されてもよい。具体的には、例えば、操作認識部が、対応する操作方法をドラッグと決定すると、撮像画像61内(の例えば4隅のいずれか)にドラッグを示すアイコン等の情報が、重畳表示されてもよい。これにより、ユーザは、多様なタッチに対応するタッチパネルにおいて、適切なタッチにより位置(位置集合77)の指定ができるようになる。
以上、本実施形態の第1の変形例を説明した。本実施形態の第1の変形例によれば、ユーザは、より直感的な操作でオブジェクトを選択することが可能になる。即ち、より直感的な操作で所望の人物にコンタクトすることが可能になる。
<4.2.第2の変形例>
次に、本実施形態の第2の変形例を説明する。上述した本実施形態の例では、ユーザが撮像画像内の位置を指定すると、複数のオブジェクトの中から2つ以上のオブジェクトが選択される。そして、選択されたオブジェクトが対応する位置を含む部分領域が拡大された拡大画像(即ち、オブジェクトごとの拡大画像)が表示される。とりわけ、本実施形態の第2の変形例では、部分領域ごとの拡大率で拡大された拡大画像が表示される。
(表示制御部185)
−撮像画像内の位置をユーザが指定した後の表示画面
−−第2のケース:2つ以上のオブジェクトが選択されるケース
例えば、ユーザが撮像画像内の位置を指定すると、上記複数のオブジェクトの中から2つ以上のオブジェクトが選択される。そして、表示制御部185は、表示部150に、上記第1のオブジェクトが対応する位置を含む撮像画像内の第1の部分領域の画像と、上記第2のオブジェクトが対応する位置を含む撮像画像内の第2の部分領域の画像とを表示させる。
例えば、上記第1の部分領域の上記像は、上記1の部分領域が拡大された拡大画像である。また、上記第2の部分領域の上記画像は、上記第2の部分領域が拡大された拡大画像である。
とりわけ本実施形態の第2の変形例では、上記第1部分領域の上記画像は、上記第1の部分領域が第1の拡大率で拡大された拡大画像である。また、上記第2部分領域の上記画像は、上記第2の部分領域が第2の拡大率で拡大された拡大画像である。即ち、オブジェクトごとに、別々の拡大率の拡大画像が表示される。
以上、本実施形態の第2の変形例を説明した。本実施形態の第2の変形例によれば、撮像画像に写る人物によって、当該撮像画像内における大きさが異なる場合であっても、ユーザはコンタクト先の人物を容易に識別することが可能になる。
<4.3.第3の変形例>
次に、図29〜図31を参照して、本実施形態の第3の変形例を説明する。上述した本実施形態の例では、ユーザが撮像画像内の位置を指定すると、複数のオブジェクトの中から2つ以上のオブジェクトが選択される。そして、選択されたオブジェクトが対応する位置を含む部分領域の画像が表示される。とりわけ、本実施形態の第3の変形例では、上記部分領域の画像と当該画像以外の領域との間の境界を示す境界標識が表示される。
(表示制御部185)
−撮像画像内の位置をユーザが指定した後の表示画面
−−第2のケース:2つ以上のオブジェクトが選択されるケース
例えば、ユーザが撮像画像内の位置を指定すると、上記複数のオブジェクトの中から2つ以上のオブジェクトが選択される。そして、表示制御部185は、表示部150に、上記第1のオブジェクトが対応する位置を含む撮像画像内の第1の部分領域の画像と、上記第2のオブジェクトが対応する位置を含む撮像画像内の第2の部分領域の画像とを表示させる。
とりわけ本実施形態の第3の変形例では、表示制御部185は、表示部150に、上記第1の部分領域の上記画像と上記画像以外の領域との間の境界を示す第1の境界標識と、上記第2の部分領域の上記画像と当該画像以外の領域との間の境界を示す第2の境界標識とを表示させる。以下、この点について、図29及び図30を参照して具体例を説明する。
図29は、2つ以上のオブジェクトが選択される場合に第3の変形例に従って表示される表示画面の第1の例を説明するための説明図である。図29を参照すると、図12の例と同様に、表示画面80には、部分領域の画像85Aと、部分領域の画像85Bとが含まれる。そして、表示画面80には、画像85Aとそれ以外の領域との間の境界を示す境界標識88Aと、画像85Bとそれ以外の領域との間の境界を示す境界標識88Bとが含まれる。この例では、境界標識88Aは、画像85Aの内部に表示され、境界標識88Bは、画像85Bの内部に表示される。
図30は、2つ以上のオブジェクトが選択される場合に第3の変形例に従って表示される表示画面の第2の例を説明するための説明図である。図30を参照すると、図12の例と同様に、表示画面80には、部分領域の画像85Aと、部分領域の画像85Bとが含まれる。そして、表示画面80には、画像85Aとそれ以外の領域との間の境界を示す境界標識89Aと、画像85Bとそれ以外の領域との間の境界を示す境界標識89Bとが含まれる。この例では、境界標識89Aは、画像85Aの外部に表示され、境界標識89Bは、画像85Bの外部に表示される。
なお、上記第1の境界標識は、上記第1のオブジェクトに関する情報を含み、上記第2の境界標識は、上記第2のオブジェクトに関する情報を含んでもよい。より具体的には、例えば、上記第1のオブジェクトに関する上記情報は、上記第1のオブジェクトを識別するための第1の識別情報を含み、上記第2のオブジェクトに関する上記情報は、上記第2のオブジェクトを識別するための第2の識別情報を含んでもよい。以下、この点について図31を参照して具体例を説明する。
図31は、境界標識に含まれるオブジェクトに関する情報の例を説明するための説明図である。図31を参照すると、図29と同様に、表示画面80、部分領域の画像85A、部分領域の画像85B、境界標識88A及び境界標識88Bが示されている。例えば、図31に示されるように、境界標識88A及び境界標識88Bには、人物(オブジェクト)の識別情報である名前(高橋、荒川)が含まれる。
以上、本実施形態の第3の変形例を説明した。本実施形態の第3の変形例によれば、境界標識が表示される。これにより、部分領域の画像の中心を際立たせることが可能になる。即ち、ユーザは、各画像に対応するオブジェクト(例えば、人物)を認識しやすくなる。
また、境界領域がオブジェクト(例えば、人物)に関する情報を含むことで、ユーザは、各画像に対応するオブジェクト(例えば、人物)をさらに認識しやすくなる。さらに、上記情報がオブジェクト(例えば、人物)の識別情報であることで、ユーザは、各画像に対応するオブジェクト(例えば、人物)を確実に認識することが可能になる。
<4.4.第4の変形例>
次に、図32を参照して、本実施形態の第4の変形例を説明する。上述した本実施形態の例では、上記複数のオブジェクトの中から1つ以上のオブジェクトが選択されると、選択された当該1つ以上のオブジェクトの各々に関する情報が表示される。そして、当該情報として、選択されたオブジェクトが対応する位置を含む部分領域の画像が表示される。一方、本実施形態の第4の変形例では、選択された上記1つ以上のオブジェクトの各々に関する情報として、当該1つ以上のオブジェクトの各々を識別するための識別情報が表示される。
(表示制御部185)
−撮像画像内の位置をユーザが指定した後の表示画面
−−第2のケース:2つ以上のオブジェクトが選択されるケース
例えば、ユーザが撮像画像内の位置を指定すると、上記複数のオブジェクトの中から2つ以上のオブジェクトが選択される。とりわけ本実施形態では、この場合に、表示制御部185は、表示部150に、上記2つ以上のオブジェクトの各々に関する情報を表示させる。
とりわけ本実施形態の第4の変形例では、上記2つ以上のオブジェクトの各々に関する上記情報は、当該2つ以上のオブジェクトの各々を識別するための識別情報を含む。以下、この点について図32を参照して具体例を説明する。
図32は、2つ以上のオブジェクトが選択される場合に第4の変形例に従って表示される表示画面の一例を説明するための説明図である。図32を参照すると、図32を参照すると、表示画面60が示されている。また、表示画面60には、実空間の撮像画像61が含まれる。そして、表示画面60には、選択された2人の人物(2つのオブジェクト)の各々を識別するための識別情報99A及び識別情報99Bも含まれる。この例では、識別情報99A及び識別情報99Bは、人物(オブジェクト)の識別情報である名前(高橋、荒川)である。一例として、ユーザは、このような識別情報99A及び識別情報99Bのうちの一方の識別情報のいずれかの位置を指定することにより、当該一方の識別情報に対応する人物(オブジェクト)を指定する。そして、ユーザにより指定された1人の人物(1つのオブジェクト)が選択される。
以上、本実施形態の第4の変形例を説明した。本実施形態の第4の変形例によれば、簡単な表示処理によってより容易に所望の人物にコンタクトすることが可能になる。
以上、添付図面を参照しながら本発明の好適な実施形態を説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、2つ以上のオブジェクトが選択されるケースとして、2つのオブジェクトが選択される例を説明したが、本発明はこれに限定されない。3つ以上のオブジェクトが選択され、選択された当該3つ以上のオブジェクトに関する情報が表示されてもよい。
また、2つ以上のオブジェクトが選択される例を説明した。即ち、選択されるオブジェクトの数に制限がない例を説明したが、本発明はこれに限定されない。例えば、選択されるオブジェクトの個数に上限が設けられてもよい。一例として、最大で2つのオブジェクトが選択されてもよい。これにより、3つ以上のオブジェクトが選択される場合よりも、より素早く容易にオブジェクトを指定することが可能になる。また、別の例として、最大で3つのオブジェクトが選択されてもよい。人間が3つ以下の物事をより容易に処理し、記憶することができることを考慮すると、これにより、より多くのオブジェクトに関する情報を表示しつつも、より素早く容易にオブジェクトを指定することが可能になる。
また、通信用IDが電話番号である例を説明したが、本発明はこれに限定されない。通信用IDは、電話番号以外のIDであってもよい。一例として、通信用IDは、電話番号以外のソフトフォン用IDであってもよい。また、別の例として、通信用IDは、電話以外の通信のためのIDであってもよい。例えば、通信用IDは、メールアドレスであってもよく、又はショートメッセージ用のIDであってもよい。この場合に、通信用IDを用いて、メールが送信され、又はショートメッセージが送信されてもよい。
また、表示画面において撮像画像の位置がユーザによるタッチで指定される例を説明したが、本発明はこれに限定されない。例えば、撮像画像の位置は、タッチパネル以外の入力手段を用いてユーザにより指定されてもよい。例えば、撮像画像の位置は、マウスによるクリックで指定されてもよく、ボタン、キーボード等の別の入力手段を用いて指定されてもよい。
また、撮像画像のいずれかの位置に対応するオブジェクトが人物(又は人物に関する情報)である例を説明したが、本発明はこれに限定されない。例えば、オブジェクトは、通信装置(又は通信装置に関する情報)であってもよい。一例として、当該通信装置は電話機であってもよい。
また、カメラにより生成される撮像画像、マイクロフォンにより生成される音声データ、及び、センサによる判定結果が、メディア配信サーバを介して提供される例を説明したが、本発明はこれに限定されない。一例として、これらのデータは、メディア配信サーバの代わりに別の装置を介して提供されてもよい。また、別の例として、これらのデータは、カメラ、マイクロフォン及びセンサにより、端末装置に直接提供されてもよい。
また、位置取得部、オブジェクト選択部、表示制御部、通信用ID取得部及び電話部が端末装置により備えられる例を説明したが、本発明はこれに限定されない。例えば、これらの機能は、端末装置以外の装置により備えられてもよい。一例として、これらの機能はいずれかのサーバにより備えられてもよい。
また、位置取得部、オブジェクト選択部、表示制御部、通信用ID取得部及び電話部が同一の装置(端末装置)に備えられる例を説明したが、本発明はこれに限定されない。位置取得部、オブジェクト選択部及び表示制御部と、通信用ID取得部及び電話部とが、別々の装置により備えられてもよい。一例として、位置取得部、オブジェクト選択部及び表示制御部が、いずれかのサーバ、又は、サテライトオフィスに設置されたディスプレイにより備えられ、通信用ID取得部及び電話部が端末装置により備えられてもよい。
また、実空間の撮像画像の表示画面が端末装置により表示される例を説明したが、本発明はこれに限定されない。例えば、当該表示画面は別の装置により表示されてもよい。一例として、上記表示画面はサテライトオフィスに設置されたディスプレイにより表示されてもよい。そして、ユーザが、当該ディスプレイにおいて、表示画像に含まれる撮像画像の位置を指定してもよい。
また、本明細書の情報処理における処理ステップは、必ずしもフローチャートに記載された順序に沿って時系列に実行されなくてよい。例えば、情報処理における処理ステップは、フローチャートとして記載した順序と異なる順序で実行されても、並列的に実行されてもよい。
また、情報処理装置(例えば、端末装置)に内蔵されるCPU、ROM及びRAM等のハードウェアに、上記情報処理装置の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させた記憶媒体も提供される。