JPWO2017187807A1 - 情報処理端末装置 - Google Patents

Abstract

不動産の物件の撮像画像を送信する情報処理端末装置を提供する。映像再生装置は、トラッキング点を示すアノテーション情報を、映像提供装置に送信する。映像提供装置側では、アノテーション情報の空間的トラッキングが可能であれば、映像提供装置の現在の撮像映像上にアノテーション情報をオーバーレイ表示する。一方、アノテーション情報の空間的トラッキングが不可能な場合には映像再生装置から送信されたアノテーション情報付きの映像を、そのまま映像提供装置の表示部５１０に表示して、時間的及び空間的なラグを保証する。

Description

本明細書で開示する技術は、撮像画像を送信する情報処理端末装置に係り、例えば、不動産の物件の撮像画像を送信する情報処理端末装置に関する。

マンションや戸建てなど不動産の購入や賃貸契約の際には、現地に赴いて、物件の内部見学（内見）を行なうのが一般的である。しかしながら、顧客が内見を希望する物件が一箇所に集中しているとは限らず、１日に３〜４件程度の物件しか回ることができず、非効率である。

例えば、不動産物件の３次元形状データを格納する第１のデータベースと、不動産物件の内装情報を３次元形状データとして格納する第２のデータベースとをインターネットを介して閲覧可能に配置すると共に、第１及び第２のデータベースから読み出された３次元形状データに基づいて不動産物件の内部を仮想空間として表示する不動産物件販売支援システムについて提案がなされている（例えば、特許文献１を参照のこと）。このシステムによれば、住空間の３次元形状データと住空間の内装情報の３次元形状データに基づく住空間の内部を仮想空間として物件の購入者に表示することができる。

特開２００１−１９５４９１号公報

本明細書で開示する技術の目的は、撮像画像を送信する情報処理端末装置を提供することにある。

本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第１の側面は、
撮像部と、
前記撮像部により撮像された画像を送信する送信部と、
外部機器から所定の信号を受信する受信部と、
表示部と、
制御部と、
を具備し、
前記制御部は、前記所定の信号に含まれる情報と前記撮像部で現在撮像している画像との時間的又は空間的な差分に基づいて、前記情報を前記表示部に表示させる、
情報処理端末装置である。

本明細書で開示する技術の第２の側面によれば、第１の側面に係る情報処理端末装置の前記受信部は、前記外部機器で特定された対象物に対する付加情報を受信し、前記制御部は、前記時間的又は空間的な差分に基づいて前記付加情報の表示を制御するように構成されている。ここで、前記付加情報は、例えば、前記外部機器において入力されるアノテーション情報を含む。

本明細書で開示する技術の第３の側面によれば、第２の側面に係る情報処理端末装置の前記制御部は、前記対象物が前記撮像部で現在撮像している画像内でトラッキング可能か否かに基づいて、前記時間的又は空間的な差分に基づいて前記付加情報の表示を制御するように構成されている。

本明細書で開示する技術の第４の側面によれば、第２の側面に係る情報処理端末装置の前記制御部は、トラッキング可能な前記対象物を前記撮像部で現在撮像している画像上の位置に変換して、変換後の対象物に前記付加情報を表示させるように構成されている。

本明細書で開示する技術の第５の側面によれば、第２の側面に係る情報処理端末装置の前記制御部は、前記撮像部で現在撮像している画像内でトラッキング不可能な前記対象物に対する付加情報を、前記対象物が表示されている時点の映像を使って表示させるように構成されている。

本明細書で開示する技術によれば、撮像画像を送信する情報処理端末装置を提供することができる。

なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、映像を視聴する映像視聴システム１００の構成例を模式的に示した図である。 図２は、映像を視聴する映像視聴システム２００の構成例を模式的に示した図である。 図３は、映像を視聴する映像視聴システム３００の構成例を模式的に示した図である。 図４は、映像を視聴する映像視聴システム４００の構成例を模式的に示した図である。 図５は、映像提供装置として機能することができる情報処理装置５００の機能的構成を模式的に示した図である。 図６は、映像再生装置として機能することができる情報処理装置６００の機能的構成を模式的に示した図である。 図７は、アーカイブ映像を視聴する仕組みを説明するための図である。 図８は、映像視聴システム１００を不動産物件の内見に適用した例を示した図である。 図９は、映像視聴システム１００を不動産物件の内見に適用した例を示した図である。 図１０は、不動産の現地での映像提供装置の移動経路を例示した図である。 図１１は、映像再生装置側で時間的及び空間的にラグのある映像に対して指示された情報を映像提供装置に通知するための処理手順を示したフローチャートである。 図１２は、ユーザーのトラッキング点にアノテーション情報１２０１が付された映像を例示した図である。 図１３は、映像提供装置の現在の映像上に、映像再生装置で付されたアノテーション情報を表示している例を示した図である。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

Ａ．システム概要
Ａ−１．システム構成
図１には、映像を視聴する映像視聴システム１００の構成例を模式的に示している。映像視聴システム１００は、映像を提供する１台の映像提供装置１０１と、映像を再生する１台の映像再生装置１０２からなり、１対１のネットワーク・トポロジーを構成している。映像提供装置１０１と映像再生装置１０２間は、例えば無線又は有線のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、あるいはインターネットなどの広域ネットワークを介して相互接続されている。

映像提供装置１０１は、例えば不動産の物件（現地）にいるユーザー（物件の内見者、若しくは不動産会社の営業マンなど）が操作する情報端末である。あるいは、映像提供装置１０１は、現地に設置された定点カメラや、現地で自律動作するロボットに搭載されたカメラでもよい。また、映像再生装置１０２は、現地には赴かず、現地から離間した場所（例えば、不動産会社の店舗や自宅など）で物件の情報を閲覧するユーザー（例えば、不動産の購入又は賃貸の契約を検討している顧客）が操作する情報端末などである。

映像提供装置１０１は、映像提供装置１０１の設置場所を視点位置とする映像（例えば、不動産物件の現地に居る営業マンの視点映像）を撮像する撮像部を備え、その撮像映像を映像再生装置１０２に送信する。例えば、撮像部を１台の全天周カメラで構成してもよい。但し、全天周映像といっても、３６０度である必要はなく、一部の視野が欠けていてもよい（以下、同様）。

また、映像提供装置１０１は、マイクのような音声入力部をさらに備え、全天周映像の撮像現場の音声を集音された音声を映像と多重化して映像再生装置１０２に送信するようにしてもよい。例えば、不動産物件の現地に居る営業マンが、物件の立地条件や間取りなどを説明する音声を集音して、映像再生装置１０２に送信するようにしてもよい。

また、映像提供装置１０１は、表示部を備えていてもよい。表示部（若しくは、映像提供装置１０１自体）は、例えば透過型のヘッド・マウント・ディスプレイとして構成される。現地に居るユーザーは、このヘッド・マウント・ディスプレイを頭部に装着し、ヘッド・マウント・ディスプレイにシースルー表示される映像を適宜参照しながら、現地の撮影や物件の説明を行なう。

一方の映像再生装置１０２は、映像提供装置１０１から受信した映像を表示する表示部を備えている。映像再生装置１０２（若しくは、その表示部）は、例えばユーザーが頭部に装着して映像を視聴するヘッド・マウント・ディスプレイとして構成される。例えば、映像再生装置１０２は、映像提供装置１０１で撮像される全天周映像（不動産物件の室内を撮像した映像）から所定の画角を切り出して表示する。あるいは、映像再生装置１０２は、ドーム型ディスプレイとして構成され、映像提供装置１０１の設置場所で撮像される全天周映像をすべて表示するようにしてもよい。ドーム型ディスプレイの詳細に関しては、例えば、本出願人に既に譲渡されている特願２０１５−２４５７１０号明細書を参照されたい。あるいは、映像再生装置１０２は、通常の（若しくは大画面の）モニター・ディスプレイでもよい。

また、映像再生装置１０２は、スピーカーやヘッドホンなどの音声出力部を備え、映像提供装置１０１から映像と多重して送信された音声（例えば、不動産物件の現地に居る営業マンが、物件の立地条件や間取りなどを説明する音声）を、映像と併せて再生出力するようにしてもよい。

また、映像再生装置１０２は、マイクのような音声入力部をさらに備え、ユーザーからの音声指示を入力するようにしてもよい。例えば、映像再生装置１０２のユーザーは、「ベランダの眺望が観たい」、「リビングを見せて」といった音声による指示を入力することができ、このような指示が映像提供装置１０１に送信される。

映像提供装置１０１と映像再生装置１０２間で直接通信するようにしてもよいが、以降の説明では配信サーバー１０３が介在するものとする。映像提供装置１０１は現地で撮像した全天周映像を配信サーバー１０３に一旦送信する。配信サーバー１０３は、全天周映像、若しくは、全天周映像から切り出した所定の画角分の映像を、映像再生装置１０２に送信する。また、配信サーバー１０３は、映像提供装置１０１から受信する映像のアーカイブも行なう。

図１に示した映像視聴システム１００は、１台の映像提供装置１０１と１台の映像再生装置１０２で１対１のネットワーク・トポロジーを構成している。例えば、特定の物件に設置された１台の映像提供装置１０１で撮像された映像を、不動産の店舗に設置された１台の映像再生装置１０２の間で視聴するという実施態様に相当する。顧客は、現地に赴かなくても多数の物件のリアル映像を実感に近い形で視聴できるので、効率的な内見を実現することができるとともに、顧客満足度が向上する。

これに対し、図２〜図４には、全天周映像を視聴する映像視聴システム１００の変形例を示している。図２に示す映像視聴システム２００は、１台の映像提供装置２０１と複数台（Ｎ台）の映像再生装置２０２−１、２０２−２、…、２０２−Ｎで１対Ｎのネットワーク・トポロジーを構成しており、１台の映像提供装置２０１で撮像される全天周映像（同一の視点位置において同じ視線方向で撮像した同じ映像）を各映像再生装置２０２−１、２０２−２、…、２０２−Ｎで同時に視聴するようになっている。例えば、特定の物件に設置された１台の映像提供装置２０１で撮像された物件の映像を、不動産の店舗に設置された（若しくは、不動産会社の複数の支店にそれぞれ設置された）複数台の映像再生装置２０２−１、２０２−２、…、２０２−Ｎで視聴するという実施態様に相当する。１つの物件のリアル映像を複数の顧客が共有して視聴することができるので、不動産会社にとって効率的な内見を実現することができる。

また、図３に示す映像視聴システム３００は、複数台（Ｎ台）の映像提供装置３０１−１、３０１−２、…、３０１−Ｎと１台の映像再生装置３０２でＮ対１のネットワーク・トポロジーを構成しており、１台の映像再生装置３０２が、それぞれ異なる場所に設置された映像提供装置３０１−１、３０１−２、…、３０１−Ｎのうちいずれかから選択的に映像を受信し表示するようになっている。映像再生装置３０２は、映像の送信元を映像提供装置３０１−１、３０１−２、…、３０１−Ｎの中で動的に切り替えられるものとする。映像の送信元となる映像提供装置３０１を切り替えると、映像再生装置３０２で再生される（視聴できる）映像の視点位置が切り替わる（選択した映像提供装置３０１の設置場所に、視点位置が瞬間的に移動する）。また、映像再生装置３０２は、選択した映像提供装置３０１に対して視線方向の切り替えを指示できるものとする。例えば、不動産の店舗に設置された１台の映像再生装置３０２が、複数の物件にそれぞれ設置された複数台の映像提供装置３０１−１、３０１−２、…、３０１−Ｎからの映像を切り替えながら視聴するという実施態様に相当する。あるいは、１つの不動産物件の部屋毎に設置された複数台の映像提供装置３０１−１、３０１−２、…、３０１−Ｎの映像を、映像再生装置３０２で切り替えながら視聴するという実施態様も想定される。顧客は、各物件を移動して回らなくても一挙に各物件のリアル映像を実感に近い形で視聴できるので、効率的な内見を実現することができるとともに、顧客満足度が向上する。

また、図４に示す映像視聴システム４００は、複数台（Ｎ台）の映像提供装置４０１−１、４０１−２、…、４０１−Ｎと複数台（Ｎ台）の映像再生装置４０２−１、４０２−２、…、４０２−ＮでＮ対Ｎのネットワーク・トポロジーを構成している。Ｎ対Ｎのネットワーク・トポロジーは、図１に示した１対１のネットワーク、図２に示した１対Ｎのネットワーク、並びに図３に示したＮ対１のネットワークを含むことができる。例えば、不動産の店舗に設置された（若しくは、不動産会社の複数の支店にそれぞれ設置された）複数台の映像再生装置４０２−１、４０２−２、…、４０２−Ｎの各々が、複数の物件にそれぞれ設置された複数台の映像提供装置４０１−１、４０１−２、…、４０１−Ｎからの映像を切り替えながら視聴するという実施態様に相当する。各顧客は、各物件を移動して回らなくても一挙に各物件のリアル映像を実感に近い形視聴できるので、効率的な内見を実現することができるとともに、顧客満足度が向上する。

映像提供装置から全天周映像を提供するのに対し、映像再生装置側では全天周ではなくいずれかの視線方向の映像を視聴する場合、映像再生装置で視聴している視線方向を「視聴覚データ」と定義して、例えば配信サーバーで視聴覚データを集中管理するようにしてもよい。また、図２や図４に示したような、１台の映像提供装置からの全天周映像を複数台の映像再生装置で視聴する場合には、各映像再生装置の視聴覚データを共有し互いに利用し合うようにしてもよい。また、配信サーバーからアーカイブ映像を配信する際に、過去の視聴覚データの集計結果を利用するようにしてもよい。

Ｂ．装置構成
Ｂ−１．映像提供装置の構成
図５には、映像視聴システム１００〜４００において映像提供装置として機能することができる情報処理装置５００の機能的構成を模式的に示している。図示の情報処理装置５００は、撮像部５０１と、映像符号化部５０３と、音声入力部５０４と、音声符号化部５０５と、多重化部（ＭＵＸ）５０６と、通信部５０７と、映像復号部５０８と、画像処理部５０９と、表示部５１０と、音声復号部５１１と、音声出力部５１２と、制御部５１３を備えている。以下、各部５０１〜５１３について説明する。

撮像部５０１は、１眼カメラ（広角カメラや魚眼カメラを含む）、２眼のステレオカメラ、多眼の全天周カメラなどで構成される。ステレオカメラを用いれば、映像に奥行き感を付与することができる。撮像部５０１は、情報処理装置５００を設置した場所を視点位置として、周囲を撮像する。映像符号化部５０３は、撮像部５０１が撮像した映像信号の符号化処理を行なう。

音声入力部５０４は、例えば小型マイクやステレオマイクなどで構成され、撮像部５０１と併せて配設することで、全天周映像の撮像現場の音声を集音することができる。ステレオマイクを用いれば、再生側（すなわち、映像再生装置）では、集音時の音を立体的に再構成することができる。音声符号化部５０５は、音声入力部５０４で入力した音声信号を符号化処理する。

多重化部５０６は、映像符号化部５０３及び音声符号化部５０５でそれぞれ符号化された符号化映像信号と符号化音声信号を多重化して、配信サーバー経由で映像再生装置へ伝送するための信号フォーマット（パケット）に成形する。

表示部５１０（若しくは、映像提供装置５００全体）は、例えば透過型のヘッド・マウント・ディスプレイとして構成される。あるいは、表示部５１０（若しくは、映像提供装置５００全体）は、スマートフォンやタブレットなどの（カメラ付きの）携帯情報端末として構成される。表示部５１０は、現地で物件を撮像するユーザーの視界に映像を重畳表示する。映像復号部５０８は、例えば配信サーバーから受信するアーカイブ映像を復号処理する。画像処理部５０９は、撮像部５０１で撮像された画像や、映像復号部５０８で復号された映像の画像認識などの処理を行ない、表示部５１０で表示する映像を生成する。表示部５１０では、ユーザーに対して、例えば移動先や移動経路などの案内情報を表示する。また、表示部５１０は、映像再生装置のユーザーからのコメントや、不動産の物件に関して付加される情報（間取りや建具、設備に関する質問や感想、物件に関する属性情報）など、さまざまなアノテーション情報を表示することができる。

音声復号部５１１は、例えば映像再生装置から受信した符号化音声信号の復号処理を行なう。音声出力部５１２は、復号されたベースバンドの音声信号を音声出力する。例えば、映像再生装置のユーザーからの、「ベランダの眺望が観たい」、「リビングを見せて」といった音声による指示が、現地で音声出力される。

通信部５０７は、映像や音声の伝送を始めとして、映像再生装置との相互通信を行なう。但し、映像再生装置との通信には配信サーバー（前述）が介在するものとする。通信部５０７は、例えば無線又は有線のＬＡＮ、あるいはインターネットなどの広域ネットワークを媒介として、映像再生装置や配信サーバー、その他の外部装置との相互通信を行なうものとする。

制御部５１３は、上記の各部５０１〜５１２の動作を統括的にコントロールする。例えば、制御部５１３は、映像の送信先となる映像再生装置（若しくは、視聴グループ）とのリアルタイム・コミュニケーションを実現するための処理や、表示部５１０にてユーザー（現地で物件の撮影を行なう物）に表示する映像の処理を行なう。また、制御部５１３は、映像の送信先となる映像再生装置（若しくは、視聴グループ）の属性情報に応じて提供する情報の範囲を制限するために、撮像動作や音声入力動作のオン／オフ、撮影映像に対するモザイクやマスク処理、入力音声の変調処理などを行なわせる。

Ｂ−２．映像再生装置の構成
図６には、映像視聴システム１００〜４００において映像再生装置として機能することができる情報処理装置６００の機能的構成を模式的に示している。図示の情報処理装置６００は、通信部６０１と、分離部（ＤＥＭＵＸ）６０２と、音声復号部６０３と、音声出力部６０４と、映像復号部６０５と、表示部６０６と、集音部６０７と、音声符号化部６０８と、センサー部６０９と、制御部６１０と、外部機器インターフェース６１１を備えている。以下、各部６０１〜６１１について説明する。

通信部６０１は、映像や音声の伝送を始めとして、映像提供装置との相互通信を行なう。また、必要に応じて、通信部６０１を介して配信サーバー（前述）との通信が行なわれる。通信部６０１は、例えば無線又は有線のＬＡＮ、あるいはインターネットなどの広域ネットワークを媒介として、映像提供装置や配信サーバー、その他の外部装置との相互通信を行なうものとする。

例えば、映像を見たい場所（例えば、内見したい不動産の物件）に設置された映像提供装置に対して、通信部６０１から映像や音声の送信開始要求を送信する。そして、映像提供装置から、所定の信号フォーマット（パケット）に成形された伝送信号を、通信部６０１で受信する。また、ある映像提供装置から受信した映像を表示中（すなわち、ユーザーが視聴中）に、その視点位置で異なる視線方向を見たくなったときには、通信部６０１から視線方向の変更要求を送信する。また、他の映像提供装置からの映像に切り替えたいときには、映像や音声を受信中の映像提供装置に対して通信部６０１から送信停止要求を送信するとともに、移動先の映像提供装置に送信開始要求を通信部６０１から送信する。

分離部６０２は、映像提供装置から多重化伝送された信号を符号化映像信号と符号化音声信号に分離して、それぞれ音声復号部６０３と映像復号部６０５に分配する。

音声復号部６０３は、符号化音声信号を復号してベースバンドの音声信号を生成して、音声出力部６０４から音声出力する。音声出力部６０４は、モノラル、ステレオ、多チャンネルのスピーカーなどで構成される。

映像復号部６０５は、符号化映像信号を復号してベースバンドの映像信号を生成して、送信元の映像提供装置で撮像された映像を表示部６０６に表示する。表示部６０６（若しくは、情報処理装置６００本体）は、例えばヘッド・マウント・ディスプレイ、ドーム型ディスプレイ、あるいは大画面（若しくは、通常の）モニター・ディスプレイで構成される。

集音部６０７は、例えば小型マイクやステレオマイクなどで構成され、ユーザーの音声などを集音する。音声符号化部６０８は、集音部６０７で入力した音声信号を符号化処理して、制御部６１０に出力する。ユーザーの音声は、表示部６０６に表示された映像に対する感想や感嘆もあれば、制御部６１０（若しくは、映像再生装置）に対する音声指示（例えば、全天周映像の視線方向の変更など）の場合もある。

映像再生装置のユーザーは、例えば、内見したい不動産の物件の映像を表示部６０６で視聴しながら、「ベランダの眺望が観たい」、「リビングを見せて」といった音声による指示を出すことができる。このようなユーザーの音声は、集音部６０７で集音され、音声符号化部６０８で符号化された後、通信部６０１から映像提供装置に送信される。

制御部６１０は、映像提供装置から受信した映像及び音声の出力を制御する。また、制御部６１０は、表示部６０６の画面へのＵＩやＯＳＤ（Ｏｎ−Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）などの表示の制御や、ＵＩやＯＳＤに対してユーザー（視聴者）が行なった操作の処理を行なう。

センサー部６０９は、ユーザー（表示部６０６の画面に表示された映像を視聴する視聴者）の視線方向、頭部位置、又は姿勢を計測する。センサー部６０９は、例えば、ジャイロ・センサーと加速度センサーと地磁気センサーなど複数のセンサー素子を組み合わせて構成される（３軸ジャイロ・センサー、３軸加速度センサー、３軸地磁気センサーの合計９軸を検出可能なセンサーなど）。センサー部６０９は、情報処理装置６００本体（ヘッド・マウント・ディスプレイなど）と一体であってもよいし、本体に外付けされるアクセサリー部品などであってもよい。

センサー部６０９で検出されるユーザーの視線方向、頭部位置、又は姿勢などの動作（あるいは、頭部だけでなく、胴体や手足を使ったジェスチャー動作）は、表示部６０９に表示されたＵＩやＯＳＤに対する操作の場合や、全天周映像のうち表示部６０９に表示すべき画角の指示を意味する場合がある。例えば、ユーザーの水平並びに垂直方向の首振り（右又は左を向く、見上げる、見下ろすなど）は、全天周映像における視線方向の変更指示として扱うことができる。また、ユーザーが胴体を前方や後方に傾ける動作を、現在の視線方向でのカメラのズーム操作として扱うようにしてもよい（前方に傾ければズームアップ、後方に傾ければズームダウン）。そして、センサー部６０９の検出結果は、制御部６１０に出力される。

制御部６１０は、センサー部６０９で検出されるユーザーの視線方向、頭部の水平並びに垂直方向の首振り（右又は左を向く、見上げる、見下ろすなど）、あるいは姿勢の変化に基づいて、受信中の全天周映像を見る視線方向の変更の指示を、通信部６０１を介して送信する。また、制御部６１０は、集音部６０７で集音されたユーザーの音声指示を、音声のまま、あるいはテキスト情報やコマンド情報に変換して、通信部６０１を介して映像提供装置に送信する。

また、制御部６１０は、ユーザーの視線方向、頭部、姿勢の動作（あるいは、頭部だけでなく、胴体や手足を使ったジェスチャー動作）が画面上のＵＩやＯＳＤに対する操作であった場合には、この操作に応じて表示部６０６の表示映像に対する処理を実施する。

外部機器インターフェース（ＩＦ）６１１は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ）などのインターフェース規格に則って、情報処理装置６００に外部機器を接続する。例えば、情報処理装置６００は、キーボードやマウス、タッチパネル、ジョイステック、ゲーム用コントローラーなどの周知の入力デバイス（いずれも図示しない）を外部機器インターフェース６１１に接続することができる。表示部６０６の画面上のＵＩやＯＳＤに対する入力操作や、全天周映像の撮像位置の移動や視線変更切り替えのための指示のために、この種の入力デバイスを利用するようにしてもよい。

Ｃ．アーカイブ映像の視聴
上記Ａ項では、映像提供装置でリアルタイムに撮像されたリアル映像を映像再生装置で視聴する仕組みについて言及した。これに対し、映像提供装置で撮像した映像を外部装置（配信サーバー）に一旦記録し、映像再生装置側ではアーカイブ映像を外部装置から視聴するという実施態様もある。

アーカイブ映像を視聴する理由はさまざまである。例えば、顧客が昼間は忙しく日が暮れてからしか不動産会社の店舗に行くことができないために、あらかじめ昼間に撮像しておいた物件のアーカイブ映像を視聴して内見を行なう場合、逆に昼間に物件のリアル映像を視聴している顧客が夜の物件の眺望を見たくなった場合など、視聴時とは異なる時間帯の物件を確認したい場合である。さらには、雨天など視聴時とは異なる天候など異なる撮像環境で撮像した物件の映像を視聴したい場合もある。付言すれば、時間帯は同じであるが他の季節の物件の様子を確認したい場合もある。あるいは、人気物件などで、特定の映像提供装置に対して多数の映像再生装置からのアクセスが集中し、伝送帯域の制限のためすべての映像再生装置にリアル映像を伝送できない場合なども挙げられる。

図７には、映像再生装置に対しては、映像提供装置からリアルタイム映像を直接送信するのではなく、外部装置に録画されたアーカイブ映像を配信する仕組みを示している。

ここで言う外部装置は、例えば、映像提供装置とは物理的に独立して設置された、映像を記録する記録サーバーである。映像再生装置側で指定された時刻若しくは時間帯の定員外として追い出された映像再生装置への映像配信を記録サーバーに委ねることによって、映像提供装置の負荷を分散することができる。また、定員外として追い出された映像再生装置は、映像提供装置の設置場所（視点位置）で撮像される映像をライブで視聴することはできないが、時間の遅延を許容する限りにおいて追体験することができる。

各映像提供装置で撮像されるリアル映像は、記録サーバーにも送信される。記録サーバーでは、受信した映像を、送信元の映像提供装置を識別する情報、又は、撮像した視点位置（映像提供装置が設置された物件や物件内の部屋）や撮像した時間帯や撮像した環境などを特定できる情報と紐付けして記録しておく。映像再生装置から、時間帯や季節、天候などの撮像環境の切り替えを指示する送信開始要求が送られてくると、映像提供装置からのリアル映像送信から、外部装置に録画されたアーカイブ映像の送信に切り替える。

Ｄ．不動産の内見
図８には、映像視聴システム１００を不動産物件の内見に適用した例を示している。参照番号８０１は、不動産の物件（現地）にいるユーザー（物件の内見者、若しくは不動産会社の営業マンなど）であり、映像提供装置（前述）を所持若しくは装備している。一方、参照番号８０２は、現地には赴かず、現地から離間した場所（例えば、不動産会社の店舗や自宅など）で物件の情報を閲覧するユーザーであり、映像再生装置（前述）を用いて、映像提供装置が撮像する物件の映像を視聴している。

図９中の参照番号９０１で示すように、ユーザー８０１は物件内を歩き回りながら、物件の立地条件や間取り、設備などの説明をしたり、感想を述べたりし、さらにはドアを開けて別の部屋を見て回る。他方のユーザー８０２は、現地に赴かなくても物件のリアル映像を実感に近い形で視聴できるので、効率的な内見を実現することができる。すなわち、映像視聴システム１００を不動産の内見に適用すると、顧客満足度が向上する。

Ｅ．時間的及び空間的なラグを伴うリアルタイム・コミュニケーション
物件で内見を行なう（若しくは、内見に同行する）ユーザー８０１が撮像する映像を、ユーザー８０２側でリアルタイムに視聴できることが好ましい。しかしながら、現実には、映像提供装置で映像を符号化して配信サーバーに送信し、映像再生装置が配信サーバーから映像を受信し復号して表示出力するまでの間には、数秒〜数十秒（例えば、４０秒程度）のタイムラグ（すなわち、時間的な差分）がある。このため、映像提供装置で撮像する映像及び音声と、映像再生装置側で視聴する映像及び音声の間には、時間的及び空間的なラグ（差分）が生じてしまう。また、映像提供装置で撮像する映像及び音声と、映像再生装置で受信映像に対して付加されたアノテーション情報の間にも、時間的及び空間的なラグが生じてしまう。

時間的なラグは、映像再生装置側で視聴する映像にタイムラグがあることに他ならない。視聴する映像は、厳密にはリアルタイムではなく数秒〜数十秒前に撮像された映像である。音声についても同様にタイムラグがある。すなわち、現地での、物件の立地条件や間取り、設備などの説明、物件の感想などのユーザー８０１の音声を、映像再生装置側では数秒〜数十秒後に聴くことになる。また、映像再生装置で物件の映像を視聴しているユーザー８０２が、「ベランダの眺望が観たい」、「リビングを見せて」といった音声による指示を行なったとしても、映像提供装置で物件を撮像しているユーザー８０１にとっては、数秒〜数十秒前の映像に対する指示になってしまう。

また、空間的なラグは、映像提供装置が映像を撮像してから映像再生装置で映像を表示出力する数秒〜数十秒のタイムラグの間にユーザー８０１が図９に示したように動き回ることに起因して生じる。映像再生装置側では、映像提供装置が数秒〜数十秒前に撮像した映像を視聴することになり、映像提供装置の現在の場所で撮像している映像と一致しないことが空間的なラグである。例えば、ユーザー８０２が「ベランダの眺望が観たい」、「リビングを見せて」といった音声による指示を行なったとしても、ユーザー８０１にとっては数秒〜数十秒前に居た場所に対する指示であり、現在の場所では理解できない場合がある。例えば、「このドアを見て」のように代名詞を含むような音声指示の場合、ユーザー８０１が数秒〜数十秒後には既に他の部屋に移動していると、ユーザー８０２が指示したのとは異なるドアになってしまう。

このように、映像提供装置と映像再生装置間のリアルタイム・コミュニケーションには、時間的及び空間的なラグがある。このため、ユーザー８０１は、ユーザー８０２からの音声などによる指示を受けたとしても、指示内容を正しく理解できない場合がある。

例えば、現地の物件では、図１０中の参照番号１００１で示すような経路を辿って映像提供装置が撮像した映像が、配信サーバー経由で映像再生装置に送られ、映像再生装置では、４０秒の時間差のために時間的及び空間的にラグのある映像が表示されるものとする。ある時刻Ｔでは、現地では参照番号１００２で示す場所まで映像提供装置が移動している一方、映像再生装置側では、Ｔよりも４０秒だけ遡った時刻に通過した場所１００３で撮像された映像が表示されている。

時刻Ｔに映像再生装置のユーザーが観た映像に対して問い掛けたとしても（例えば、映像に写っている調度品（キッチンや建具など）など物件の詳細な情報に関する質問を送信したとしても）、映像提供装置側のユーザーは既に場所１００３を通過して現在は場所１００２まで移動しているので、何を質問されているのか分からない場合がある。特に、「これ」、「それ」といった代名詞を使って問い掛けられると、聞き手は理解し辛い。

そこで、以下では、時間的及び空間的にラグのある映像に対して指示がされた場合に、映像提供装置のユーザーに何が指示されたかを的確に通知して、映像提供装置のユーザーと映像再生装置のユーザー間におけるリアルタイム・コミュニケーションの実現を支援する技術について説明する。

図１１には、映像再生装置側で時間的及び空間的にラグのある映像に対して指示された情報を映像提供装置に通知するための処理手順をフローチャートの形式で示している。但し、この処理手順は、映像提供装置側では、映像再生装置のユーザーからのコメントやアノテーション情報を表示部５１０で確認することができることを前提とする。

まず、映像再生装置側では、ユーザーが表示部６０６に映されている何らかの物体をトラッキングしていると（ステップＳ１１０１のＹｅｓ）、そのトラッキング点を特定する（ステップＳ１１０２）。

ユーザーがマウスのポインターやタッチパネルなどのユーザー・インターフェースを用いてトラッキング点を指示している場合には、容易に対象物を特定することができる。また、「このドアを見て」のようにユーザーが音声でトラッキングしている物体を指示した場合には、例えばＵＩ処理及び制御部６０９において、入力音声の言語解析結果と、表示部６０６の表示映像の画像認識結果に基づいて、トラッキング点（例えば「このドアを見て」とはどのドアを指しているのか）を特定する。

そして、映像再生装置は、トラッキング点に対して付加されたアノテーション情報を、映像提供装置に送信する（ステップＳ１１０３）。アノテーション情報は、映像再生装置の表示部６０６にも表示される。図１２には、ユーザーのトラッキング点にアノテーション情報１２０１が付された映像を例示している。映像再生装置は、アノテーション情報が付された映像を、映像提供装置に送信するようにしてもよい。

一方、映像提供装置側では、トラッキング点が、現在の映像提供装置のユーザーの視界内にあるか、言い換えればアノテーション情報の空間的トラッキングを試み（ステップＳ１１０４）、空間的トラッキングが可能かどうかをチェックする（ステップＳ１１０５）。

ステップＳ１１０４では、例えば、映像再生装置から受信したアノテーション情報付きの映像と、撮像部５０１で撮像している映像（若しくは、映像提供装置のユーザーの視界の映像）との画像マッチングを行ない、現在の映像においてアノテーション情報が付された被写体を見つけ出すことで、トラッキング点を特定するようにしてもよい。あるいは、タイムラグ量が分かる場合には（例えば、映像再生装置で表示されるのが４０秒前の映像であることが分かる場合）、映像提供装置のタイムラグだけ前の時刻の位置におけるトラッキング点を、映像提供装置の現在位置におけるトラッキング点に変換するようにしてもよい。

映像再生装置側でアノテーション情報が付加されたトラッキング点を、撮像部５０１で現在撮像している画像内でトラッキングすること、すなわち、空間的トラッキングが可能であれば（ステップＳ１１０５のＹｅｓ）、そのトラッキング点を現在の撮像映像上の対応する位置に変換する。そして、映像提供装置の現在の撮像映像上のトラッキング点にアノテーション情報をオーバーレイ表示する（ステップＳ１１０６）。

図１３には、映像提供装置の現在の撮像映像上に、映像再生装置で付されたアノテーション情報１３０１を表示している例を示している。図示のように、時間的及び空間的なラグをキャンセルして、アノテーション情報１３０１が表示されている。

一方、映像再生装置側でアノテーション情報が付加されたトラッキング点を、撮像部５０１で現在撮像している画像内でトラッキングすること、すなわち、空間的トラッキングが不可能な場合には（ステップＳ１１０５のＮｏ）、アノテーション情報が付加されたときの過去の映像を使って、映像提供装置の表示部５１０でアノテーション情報を表示するようにして、時間的及び空間的なラグを保証する（ステップＳ１１０７）。

例えば、映像提供装置（のユーザー）が既に別の部屋に移動しており、現在いる空間内でアノテーション情報をトラッキングすることはできない。現在いる部屋ではないが、送信されたアノテーション情報付きの映像を見ることで、映像提供装置のユーザーは、映像再生装置側で何が指示されたかを理解することができる。

本明細書で開示する技術によれば、例えば不動産の物件を撮像した映像送信を好適に制御することができる。また、本明細書で開示する技術によれば、例えば不動産の物件を撮像したリアルタイム映像又はアーカイブ映像を好適に視聴することができ、物件の遠隔地からでも現実感のある内見を実現することができる。

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、本明細書で開示する技術を不動産物件の内見システムに適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。本明細書で開示する技術は、さまざまな産業分野における映像伝送に適用することができる。例えば、外科手術などの医療現場、土木作業などの建築現場、飛行機やヘリコプターの操縦、自動車の運転者のナビゲーション、スポーツのインストラクションやコーチングなど、さまざまな産業分野の作業支援、介護支援、人材派遣の用途に活用することができる。また、本明細書で開示する技術を、コンサートやスポーツの観戦、ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ）に利用することもできる。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）撮像部と、
前記撮像部により撮像された画像を送信する送信部と、
外部機器から所定の信号を受信する受信部と、
表示部と、
制御部と、
を具備し、
前記制御部は、前記所定の信号に含まれる情報と前記撮像部で現在撮像している画像との時間的又は空間的な差分に基づいて、前記情報を前記表示部に表示させる、
情報処理端末装置。
（２）前記受信部は、前記外部機器で特定された対象物に対する付加情報を受信し、
前記制御部は、前記時間的又は空間的な差分に基づいて前記付加情報の表示を制御する、
上記（１）に記載の情報処理端末装置。
（３）前記制御部は、前記対象物が前記撮像部で現在撮像している画像内でトラッキング可能か否かに基づいて、前記時間的又は空間的な差分に基づいて前記付加情報の表示を制御する、
上記（２）に記載の情報処理端末装置。
（４）前記制御部は、トラッキング可能な前記対象物を前記撮像部で現在撮像している画像上の位置に変換して、変換後の対象物に前記付加情報を表示させる、
上記（２）に記載の情報処理端末装置。
（５）前記制御部は、前記撮像部で現在撮像している画像内でトラッキング不可能な前記対象物に対する付加情報を、前記対象物が表示されている時点の映像を使って表示させる、
上記（２）に記載の情報処理端末装置。
（６）前記付加情報は、前記外部機器において入力されるアノテーション情報を含む、
上記（２）に記載の情報処理端末装置。

１００…映像視聴システム
１０１…映像提供装置、１０２…映像再生装置
２００…映像視聴システム
２０１…映像提供装置、２０２…映像再生装置
３００…映像視聴システム
３０１…映像提供装置、３０２…映像再生装置
４００…映像視聴システム
４０１…映像提供装置、４０２…映像再生装置
５００…情報処理装置（映像提供装置）
５０１…撮像部、５０３…映像符号化部
５０４…音声入力部、５０５…音声符号化部
５０６…多重化部、５０７…通信部、５０８…映像復号部
５０９…画像処理部、５１０…表示部、５１１…音声復号部
５１２…音声出力部、５１３…制御部
６００…情報処理装置（映像再生装置）
６０１…通信部、６０２…分離部（ＤＥＭＵＸ）
６０３…音声復号部、６０４…音声出力部
６０５…映像復号部、６０６…表示部
６０７…集音部、６０８…音声符号化部、６０９…センサー部
６１０…制御部、６１１…外部機器インターフェース

Claims (6)

1. 撮像部と、
   前記撮像部により撮像された画像を送信する送信部と、
   外部機器から所定の信号を受信する受信部と、
   表示部と、
   制御部と、
   を具備し、
   前記制御部は、前記所定の信号に含まれる情報と前記撮像部で現在撮像している画像との時間的又は空間的な差分に基づいて、前記情報を前記表示部に表示させる、
   情報処理端末装置。
2. 前記受信部は、前記外部機器で特定された対象物に対する付加情報を受信し、
   前記制御部は、前記時間的又は空間的な差分に基づいて前記付加情報の表示を制御する、
   請求項１に記載の情報処理端末装置。
3. 前記制御部は、前記対象物が前記撮像部で現在撮像している画像内でトラッキング可能か否かに基づいて、前記時間的又は空間的な差分に基づいて前記付加情報の表示を制御する、
   請求項２に記載の情報処理端末装置。
4. 前記制御部は、トラッキング可能な前記対象物を前記撮像部で現在撮像している画像上の位置に変換して、変換後の対象物に前記付加情報を表示させる、
   請求項２に記載の情報処理端末装置。
5. 前記制御部は、前記撮像部で現在撮像している画像内でトラッキング不可能な前記対象物に対する付加情報を、前記対象物が表示されている時点の映像を使って表示させる、
   請求項２に記載の情報処理端末装置。
6. 前記付加情報は、前記外部機器において入力されるアノテーション情報を含む、
   請求項２に記載の情報処理端末装置。