JP6360703B2 - 状況把握用ユニット - Google Patents

Description

本発明は、ユーザが離れた場所に居る相手の状況を把握するために用いる状況把握用ユニットに係り、特に、相手の映像及び音声を再現する方法とは異なる方法にて相手の状況を把握することが可能な状況把握用ユニットに関する。

離れた場所に居る者の在宅状況や健康状態を監視する上で、テレビ会議等に用いられている通信技術が有効である。すなわち、当該通信技術によれば、互いの映像を見ながら会話することが可能となり、会話を行っている各当事者（会話者）は、相手の表情や様子を確認し、これにより、当該相手に関する異常の有無を判断することが可能となる。

一方、被監視者となる者（すなわち、会話の相手）については、プライバシー等の問題から自分の姿を見られたくないケースも生じ得る。このため、互いに遠隔地に居る者同士が会話するための通信技術については、近年、被監視者のプライバシーを保護する技術が求められており、その一例としては特許文献１乃至４に記載の技術が挙げられる。

特許文献１には、テレビ会議システムにおいて居眠りをしている者を検出した場合、一次的に映像及び音声の送信を止めて保留状態とし、居眠りをしていた者が覚醒したことを判断した際に保留状態を解除することが記載されている。かかる技術によれば、居眠り時の映像を見られないようにすることで、居眠りをしていた者のプライバシーを保護することが可能となる。

同様に、特許文献２乃至４にも、テレビ会議やテレビ電話において会話者（若しくは会話相手）のプライバシーを保護する技術が開示されている。具体的に説明すると、特許文献２には、画像表示用の表示画面中、指定された領域に表示される画像を静止画像とすることが開示されている。特許文献３及び４には、自身の映像と予め記録していた画像とを合成することで服装、髪型、背景等を実際の物と異ならせて通信相手に送信することが開示されている。

特開２０１２−１００１８５号公報 特開２０１２−２２７６２４号公報 特開２００１−１６５６４号公報 特開２００１−３０９３２５号公報

しかしながら、プライバシー保護を過度に重視してしまうと、会話相手の状況を的確に把握することが困難になる虞がある。例えば、特許文献１に示すように映像や音声を保留状態にすると、保留中の映像や音声が確認できないため、保留状態にある期間中に異常が起きたとしても、当該異常が発見され難くなる。また、特許文献２のように、表示画面中の一定領域に表示される画像を静止画像とすると、会話相手自身の様子やその周辺の雰囲気を正確に把握することが困難となる。同様に、特許文献３や４のように実際の映像に他の映像（予め登録されていた映像）を合成して送信すると、会話相手や周辺環境の画像が意図的に変更されるため、会話相手の様子やその周辺の雰囲気が正確に把握され難くなってしまう。

会話相手の様子やその周辺の雰囲気を把握することは、会話相手との会話をスムーズに進めるにあたり重要となる。かかる意味で、特許文献１乃至４に開示の技術では、互いに遠隔地に居る者同士が行う会話の円滑化を十分に行い得ない可能性がある。そこで、本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、離れた場所にいる相手のプライバシーに配慮しつつ、当該相手の状況を的確に把握することが可能な状況把握用ユニットを提供することである。

前記課題は、本発明の状況把握用ユニットによれば、ユーザが離れた場所に居る相手の状況を把握するために用いる状況把握用ユニットであって、（Ａ）前記ユーザが認識可能であり前記相手の映像及び音声を再現する動作とは異なる演出動作を、行う演出装置と、（Ｂ）該演出装置を制御して前記演出動作を行わせるとともに、前記相手が用いる相手側端末と通信する制御装置と、を有し、（Ｃ）該制御装置は、（ｃ１）前記相手の存否、前記相手を含む映像、前記相手が居る空間内で集音した音及び前記相手の行動に伴って生じる振動のうちの少なくとも一つを示すデータを、前記相手側端末との通信を通じて取得するデータ取得処理と、（ｃ２）該データ取得処理において取得した前記データから、前記相手の位置、前記相手の様子及び前記相手が居る空間の雰囲気のうちの少なくとも一つの事項に関する内容を特定する内容特定処理と、（ｃ３）該内容特定処理において特定された前記内容に応じた演出態様にて前記演出動作を前記演出装置に行わせる演出要求処理と、を実行し、前記制御装置は、前記データ取得処理において、前記相手が居る空間内で集音した音を示す音データを取得し、前記内容特定処理において、前記音データが示す音の音量及び音質のうちの少なくとも一方を特定し、前記制御装置は、前記データ取得処理において、前記相手の位置を示す位置データを前記音データとともに取得し、前記内容特定処理において、前記音データが示す音の音量及び音質のうちの少なくとも一方を特定するとともに、前記相手が居る空間内の基準位置に対する前記相手の位置を特定することにより解決される。

上記のように構成された本発明の状況把握用ユニットでは、演出装置が、相手の映像及び音声を再現する動作とは異なる演出動作を行うことになっている。また、演出装置は、相手の位置や様子、相手が居る空間の雰囲気、相手が発する音声、及び相手の行動に伴って生じる振動のうちの少なくとも一つに関する内容を特定し、その特定結果に応じた演出態様にて演出動作を行う。これにより、相手の映像及び音声を再現しなくとも、演出動作を通じて相手の状況を把握することが可能となる。この結果、相手のプライバシーを保護しつつ、相手の状況を的確に把握することが可能となり、以て、相手との会話を良好に円滑化することが可能となる。

上記の構成によれば、相手が居る空間内で集音した音の音量や音質を特定し、その特定結果に応じた演出態様にて演出装置に演出動作を行わせる。ここで、相手が居る空間内で集音した音の音量や音質は、当該相手の様子やその周辺の雰囲気を把握する上で有効な情報となる。したがって、相手が居る空間内で集音した音の音量や音質に応じた演出態様にて演出動作が行われることで、ユーザは、相手の状況をより的確に把握することが可能となる。

上記の構成によれば、相手が居る空間内で集音した音の音量や音質とともに、当該空間におけるユーザの位置を特定し、その特定結果に応じた演出態様にて演出動作が行われるようになる。この結果、ユーザは、相手が居る現在の位置及び状況を把握することが可能となる。

また、上記の状況把握用ユニットにおいて、前記演出装置は、表示画面にパターン画像を表示する前記演出動作を実行し、前記制御装置は、前記演出要求処理を実行する際、前記パターン画像の表示態様を前記演出態様とし、前記内容特定処理において特定された前記内容に応じた前記表示態様にて前記パターン画像が表示されるように前記演出動作を前記演出装置に行わせると、益々好適である。
上記の構成によれば、演出動作としてパターン画像の表示動作が行われ、また、当該表示動作におけるパターン画像の表示態様は、相手の様子やその周辺の雰囲気に応じた態様となる。この結果、ユーザは、パターン画像を用いた視覚的な演出を通じて、相手の状況を的確に把握することが可能となる。

また、上記の状況把握用ユニットにおいて、前記内容特定処理において特定された前記内容が変化した際、前記制御装置は、前記演出要求処理において、前記内容の変化に連動して前記表示態様を切り替え、切り替え後の前記表示態様にて前記パターン画像が表示されるように前記演出動作を前記演出装置に行わせると、尚一層好適である。
上記の構成によれば、相手の様子やその周辺の雰囲気が変化した際、当該変化に連動してパターン画像の表示態様が切り替わるようになっている。これにより、相手の状況が変化した場合、ユーザは当該変化に気付くことが可能となる。

また、上記の状況把握用ユニットにおいて、前記相手の映像及び音声のうちの少なくとも一方を再現する再現動作を行う再現装置と、該再現装置に前記再現動作を行わせるために前記ユーザが行う操作を受け付ける操作受け付け機器と、を更に有し、前記制御装置は、前記操作受け付け機器が前記操作を受け付けた際に前記再現装置を制御して前記再現動作を行わせる再現要求処理をさらに実行し、前記操作受け付け機器は、前記演出装置が前記演出動作を行っている状態にあるときに前記操作を受け付けると、より好適である。
上記の構成によれば、再現動作の実施前には演出動作が実施され、また、演出動作中に再現動作開始用のユーザ操作が行われることを条件として再現動作が開始されるようになる。このように演出動作を経てから再現動作が開始することで、演出動作を経ず不意に再現動作が開始されるような事態を回避し、以て、相手のプライバシーをより効果的に保護することが可能となる。

また、上記の状況把握用ユニットにおいて、前記演出装置と前記再現装置とが共通の装置となっていると、一段と好適である。
上記の構成によれば、演出装置と再現装置とが共通の装置となっているので、状況把握用ユニットを構成する装置／機器の台数が増加するのを抑制することが可能となる。この結果、再現装置を備える状況把握用ユニットの構成をシンプル化することが可能となる。

本発明の状況把握用ユニットによれば、相手の映像及び音声を再現しなくとも相手の状況を把握することが可能となる。つまり、本発明の状況把握用ユニットを用いることで、相手のプライバシーを保護しつつ、相手の状況を的確に把握することが可能となる。そして、相手側の状況を把握することにより、当該状況を踏まえて相手と会話することが可能となり、以て、円滑な会話（コミュニケーション）が実現されるようになる。以上のように本発明の状況把握ユニットは、互いに離れた場所に居る者同士が良好に会話を行う際のツールとして有効に活用され得るものである。

本発明の状況把握用ユニットの使用例についての説明図である。 本発明の一実施形態に係る状況把握用ユニットの構成を示すブロック図である。 本発明の一実施形態に係る制御装置の機能の一覧図である。 対話用通信フローの流れを示す図である。 状況特定処理の手順を示す図である。 相手の位置を特定する方法についての説明図である。 相手が居る空間の雰囲気等を特定する方法についての説明図である。 相手の表情を特定する方法についての説明図である。 相手の歩行振動を特定する方法についての説明図である。 演出要求処理の手順を示す図である（その１）。 演出要求処理の手順を示す図である（その２）。 パターン画像の表示態様に関する説明図である。 顔の表情と再生するＢＧＭとの対応関係を示す図である。

以下、本発明の一実施形態（以下、本実施形態）について図面を参照しながら説明する。
＜＜本実施形態に係る状況把握用ユニットの概要＞＞
先ず、本実施形態に係る状況把握用ユニットについて概説する。
本実施形態に係る状況把握用ユニットは、そのユーザが離れた場所に居る相手の状況を把握するために用いられる。また、本実施形態に係る状況把握用ユニットは、その構成の大部分がテレビ会議システム等で利用されている対話用通信ユニットと共通している。このため、本実施形態に係る状況把握用ユニットは、図１に示すようにユーザが離れた場所にいる相手の顔を見ながら対話をする目的で用いられる。

具体的に説明すると、ユーザと相手（以下、両者の一方を対話者と、他方を対話相手とも言う）は、それぞれ本実施形態に係る状況把握用ユニットを保有している。より詳細に説明すると、本実施形態に係る状況把握用ユニットは、対話者及び対話相手の各々の自宅に備え付けられている。そして、対話者は、自宅中、状況把握用ユニットを構成するデバイスが設置された部屋（以下、対話実施部屋）にて対話相手と対話するために、本実施形態に係る状況把握用ユニットを用いる。

なお、状況把握用ユニットを用いた対話については、対話者の自宅にて行われるケースに限られず、自宅以外の建物（例えば、対話者が利用している施設やビル）にて行われることとしてもよい。

＜＜状況把握用ユニットの基本構成＞＞
本実施形態に係る状況把握用ユニットの基本構成について図１及び２を参照しながら説明する。本実施形態に係る状況把握用ユニット（以下、本ユニット）１００は、前述したようにユーザ及び相手の双方のそれぞれによって保有されており、その機器構成については図２に示すように共通している。したがって、以下では、一方の対話者が保有する本ユニット１００（具体的には、ユーザ側の本ユニット１００）を例に挙げて、その構成を説明することとする。

本ユニット１００は、図１に示すように、ユーザの映像／音声を取得する入力デバイスとしてのカメラ２及びマイク３、並びに、相手の映像／音声を再現する出力デバイスとしてのディスプレイ機器４及びスピーカ５を備えている。これらのデバイスは、ユーザの自宅の対話実施部屋内に設置されている。

カメラ２は、公知の撮像レコーダによって構成されており、その撮像エリアについては対話実施部屋内に設定されている。そして、撮像エリア内にユーザが居るとき、カメラ２は、ユーザの全身像とその周辺空間を撮像する。マイク３は、公知の集音マイクによって構成されており、ユーザが対話実施部屋内に在室している間に、同部屋内において、ユーザ及びその周辺から発せられる音声（音）を集音する。なお、本実施形態では、図１に示すように、カメラ２の両脇に１個ずつ、計２個のマイク３が設置されている。このようにマイク３が左右２箇所に設置されていることで、音声を発しているユーザの位置、すなわち、音像の位置を各マイク３が集音した音（具体的には、音の波形の位相差）から特定することが可能となる。なお、マイク３の設置数や設置箇所については特に限定されるものではなく、任意に設定することが可能である。

ディスプレイ機器４は、相手の映像を再現（表示）する再現装置に相当する。本実施形態に係るディスプレイ機器４は、図１に示すように矩形状の外形形状を有しており、その前面には映像表示用の表示画面が形成されている。この表示画面は、相手の全身像及びその周辺環境の映像を表示することが可能なサイズとなっている。なお、本実施形態においてディスプレイ機器４は、図１に示すように対話実施部屋内の壁際に配置されている。ただし、ディスプレイ機器４の配置位置については特に限定されるものではなく、任意の位置に配置することが可能である。

また、ディスプレイ機器４はタッチパネル４ａを搭載している。このタッチパネル４ａは、上記の表示画面を構成するとともに、操作受け付け機器としてユーザが行う操作（具体的には、タッチ操作）を受け付ける。なお、操作受け付け機器についてはタッチパネル４ａに限定されるものではなく、キーボードやマウス等をはじめとする通常の入力機器を操作受け付け機器として用いることとしてもよい。

スピーカ５は、相手やその周辺の音声を再現（再生）する再現装置に相当する。本実施形態で用いられているスピーカ５は、一般的なスピーカと同様の構成となっており、また、図１に示すようにディスプレイ機器４の両脇に１個ずつ、計２個のスピーカ５が設置されている。このようにスピーカ５が左右２カ所に設置されていることで、ユーザ側で音像の位置を調整することが可能となる。つまり、各スピーカ５から発する音の位相や振幅等を各スピーカ５別に制御することにより、ユーザが知覚する音像の位置を調整することが可能となる。そして、音像の位置が調整可能となる結果、ディスプレイ機器４に表示される相手が居る方角から音声が聞こえてくるような視聴覚的効果が得られるようになる。なお、スピーカ５の設置数や設置箇所については特に限定されるものではなく、任意に設定することが可能である。

本実施形態では、上述の機器の他に、入力デバイスとしての振動センサ６と、出力デバイスとしての振動デバイス７と、が本ユニット１００の構成機器として更に設けられている。

振動センサ６は、公知の加速度センサによって構成されており、対話実施部屋の床に設置されており、ユーザが当該床の上を歩行した際に発する振動（以下、歩行振動）を検知する。また、本実施形態において振動センサ６は、図１に示すようにディスプレイ機器４の前方位置に複数配置され、厳密にはセンサ間に間隔を設けた状態で左右２箇所に設置されている。このように振動センサ６が左右２箇所に設置されていることで、歩行振動の発生源であるユーザの位置を、各振動センサ６が検知した歩行振動（具体的には、歩行振動の波形の位相差）の検知結果から特定することが可能となる。なお、振動センサ６の設置数や設置箇所については特に限定されるものではなく、任意に設定することが可能である。

振動デバイス７は、相手の歩行振動を再現する装置であり、対話実施部屋の床を構成する床材の裏面に当接させる形で設けられている。また、振動デバイス７は、機械的動作によって床に振動を付与するアクチュエータによって構成されている。そして、振動デバイス７は、ディスプレイ機器４に表示される映像と同期する形で上記の床に対して振動を付与する。これにより、ディスプレイ機器４に表示される相手の映像（具体的には歩行動作を行っている相手の映像）に連動する形で床面が振動するようになる。このよう相手の歩行動作に伴う振動がユーザ側で再現可能となることで、ユーザは、あたかも同じ空間で相手と対話しているような感覚（すなわち、臨場感）を感じるようになる。

また、本実施形態において振動デバイス７は、ディスプレイ機器４から前方へ幾分離間した位置に複数配置されており、厳密にはデバイス間に間隔を設けた状態で左右２箇所に設置されている。このように振動デバイス７が左右２箇所に設置されていることで、ユーザ側で再現する相手の歩行振動の発生位置を調整することが可能となる。つまり、各振動デバイス７から発する振動の位相や振幅等を各振動デバイス７別に制御することで、ユーザが知覚する歩行振動の発生位置を調整することが可能となる。そして、歩行振動の発生位置が調整可能となる結果、ディスプレイ機器４に表示される相手の立ち位置から歩行振動が伝わってくるような効果が得られるようになり、対話の臨場感が更に向上する。なお、振動デバイス７の設置数や設置箇所については特に限定されるものではなく、任意に設定することが可能である。また、振動デバイス７については、アクチュエータに限られず、床面を好適に振動させる機器であれば他の機器、例えば、振動スピーカであってもよい。

本ユニット１００は、以上までに説明してきた各デバイスを備えているとともに、図２に示すようにホームサーバ１を更に備えている。このホームサーバ１は、いわゆるホームゲートウェイであり、ＣＰＵ、ＲＡＭやＲＯＭからなるメモリ、ハードディスクドライブ、及び通信用インタフェースを有する。また、ホームサーバ１のメモリには、各種プログラムやデータが格納されている。

そして、メモリに格納されたプログラムがＣＰＵによって読み取られて実行されることにより、ホームサーバ１は、ユーザが相手と対話するための一連の処理を実行し、各々の処理において上述したデバイスのうち、対応するデバイスを制御する。つまり、ホームサーバ１は、制御装置として機能し、各デバイスと通信可能に接続されている。

また、ホームサーバ１は、相手が対話用通信を行うために用いる相手側端末、具体的には相手側のホームサーバ（以下、相手側サーバ）と通信し、当該相手側サーバとの間でデータの送受信を行う。すなわち、ホームサーバ１は、インターネット等の外部通信ネットワークを介して相手側サーバと通信可能に接続されている。そして、ホームサーバ１は、相手側サーバとの通信を通じて、相手の映像を示す映像データや相手の自宅の対話実施部屋で集音された音を示す音声データを取得する。また、ホームサーバ１は、ユーザの映像を示す映像データやユーザ宅の対話実施部屋で集音された音を示す音声データを、相手側サーバに向けて送信する。

なお、本実施形態では、ユーザのホームサーバ１や相手側サーバから送信される映像データは、音声データが重畳した状態のデータ、具体的には動画ファイルデータの形式で送信されることになっている。かかる動画ファイルデータに格納された映像や音声を再現するに際しては、当該動画ファイルデータから映像データ及び音声データを抽出し、抽出された各データを展開することになる。

また、ホームサーバ１が相手側サーバから受信するデータの中には、相手の歩行動作によって生じた歩行振動に関するデータが含まれている。このデータは、歩行振動の振幅や位相等を示すデータであって、以下、振動データと言う。同様に、ホームサーバ１が相手側サーバに向けて送信するデータには、ユーザの歩行動作によって生じた歩行振動に関する振動データが含まれている。

ところで、本実施形態に係るホームサーバ１は、ユーザが対話実施部屋に入室することをトリガー（開始条件）として、対話用通信に係る一連の処理を開始する。より具体的に説明すると、本ユニット１００は、図２に示すように、人感センサ８を構成機器として更に有する。この人感センサ８は、その検知エリア内におけるヒトの存在を検知するものであり、ユーザ宅の対話実施部屋の所定箇所、例えば天井に取り付けられている。つまり、対話実施部屋の室内空間は、人感センサ８の検知エリアとして設定されている。そして、検知エリアとしての室内空間内にユーザが居ると、人感センサ８がユーザを検知し、その検知結果を示す電気的信号をホームサーバ１に対して出力する。また、ユーザが対話実施部屋に在室している期間中、人感センサ８は上記の電気的信号を出力し続ける。

一方、ホームサーバ１は、人感センサ８から出力された電気的信号を受信すると、カメラ２、マイク３及び振動センサ６を作動させ、各々のデバイスからの入力信号を受信する。すなわち、ホームサーバ１は、人感センサ８からの出力信号の受信を契機として、ユーザ及びその周辺空間の映像をカメラ２に撮像させ、対話実施部屋内で発生した音をマイク３に集音させ、ユーザの歩行動作に伴う振動（歩行振動）を振動センサ６に検知させる。

また、ホームサーバ１は、人感センサ８からの出力信号を受信すると、相手側サーバとの通信を開始する。この際、相手がその自宅の対話実施部屋に在室していれば、相手側サーバから動画ファイルデータや振動データが送信されるようになる。一方で、ホームサーバ１は、相手側サーバから送信されてくる動画ファイルデータや振動データを受信するようになる。

＜＜ホームサーバの機能＞＞
次に、本実施形態に係るホームサーバ１に搭載された機能について図３を参照しながら説明する。ホームサーバ１は、ユーザが相手と対話するための一連の処理を実行する。換言すると、ホームサーバ１には、対話用の通信を実施するにあたり必要な各処理を順次実行する機能が搭載されている。具体的には、図３に示すように、「在室認識機能」、「データ受信機能」、「データ生成機能」、「データ送信機能」、「再現要求機能」及び「再現条件設定機能」が搭載されている。

在室認識機能とは、ユーザが対話実施部屋内に在室している間に人感センサ８が出力する電気的信号を受信し、ユーザが対話実施部屋に在室していることを認識する機能である。そして、在室認識機能によって対話実施部屋内におけるユーザの存在が確認された上で、後述する他の機能が発揮されるようになっている。

データ受信機能とは、インターネットを経由して相手側サーバから動画ファイルデータや振動データを受信する機能である。すなわち、ホームサーバ１は、ユーザが相手と対話するための処理として、相手側サーバと通信して動画ファイルデータや振動データを取得するデータ取得処理を実行する。なお、本実施形態に係るホームサーバ１は、データ取得処理を実行する前段階で相手側サーバに対して在室情報の提供を要求する。在室情報とは、相手の存否、分かり易くは、相手がその自宅の対話実施部屋内に在室しているか否かについての情報である。ホームサーバ１は、在室情報を示すデータを相手側サーバから受信すると、当該在室情報から相手が対話実施部屋内に在室していることを確認し、その上でデータ取得処理を実行する。

データ生成機能は、カメラ２が撮影した映像を示す映像信号から映像データを生成し、マイク３が集音した音を示す音声信号から音声データを生成する機能である。さらに、データ生成機能によれば、生成された映像データに音声データを重畳することで動画ファイルデータが生成される。

データ送信機能は、データ生成機能によって生成された動画ファイルデータや、振動センサ６から取得した振動データ（厳密には、取得した振動データに相当するデータとしてホームサーバ１が生成したデータ）を相手側サーバに向けて送信する機能である。

再現要求機能とは、再現装置であるディスプレイ機器４やスピーカ５を制御し、これらのデバイスに相手の映像や音声を再現する再現動作を行わせる機能である。すなわち、ホームサーバ１は、ユーザが相手と対話するための処理として再現要求処理を実行する。この再現要求処理では、先ず、相手側サーバから受信した動画ファイルデータから映像データ及び音声データを抽出する。その後、抽出された映像データ及び音声データを展開してから、各データが示す映像や音声を再現させるための要求を生成し、生成した当該要求をディスプレイ機器４及びスピーカ５に対して出力する。ディスプレイ機器４及びスピーカ５は、ホームサーバ１からの要求を受け付けると、当該要求に従って再現動作を行うようになる。

さらに、本実施形態では、再現要求機能に、振動デバイス７を制御して相手の歩行振動を再現する再現動作を行わせる機能が含まれている。すなわち、ホームサーバ１は、相手の歩行振動を再現する再現動作を振動デバイス７に行わせる処理（再現要求処理）を実行する。この処理では、先ず、相手側サーバから受信した振動データを展開して、相手の歩行振動を再現させる要求を生成し、生成した当該要求を振動デバイス７に対して出力する。振動デバイス７は、ホームサーバ１からの要求を受け付けると、当該要求に従って再現動作、すなわち振動付与動作を行うようになる。

再現条件設定機能は、ディスプレイ機器４、スピーカ５及び振動デバイス７の各々に再現動作を行わせる際の条件を設定する機能である。この機能により設定された再現条件は、再現要求処理の際に生成される要求に組み込まれるようになっている。

再現条件の設定に関して言うと、相手側サーバから受信したデータ（具体的には、動画ファイルデータや振動データ）に基づいて再現条件が設定されることになっている。より詳細に説明すると、前述したように、ユーザの自宅の対話実施部屋にはスピーカ５が左右２箇所に設けられており、スピーカ５毎に再現条件（具体的には、発生音の音量や位相等）が設定されることになっている。一方で、相手側の自宅の対話実施部屋にはマイク３が左右２箇所に設けられており、各マイク３が集音した音の音量や位相を示す音声データが動画ファイルデータの形式で相手側サーバから送信される。そして、ホームサーバ１は、相手側サーバから受信した上記の音声データに基づいて音像の位置を特定すると、その特定結果に応じてスピーカ５毎の再現条件を設定する。

また、ユーザの自宅の対話実施部屋には振動デバイス７が左右２箇所に設けられており、振動デバイス７毎に再現条件（具体的には、発生振動の振幅や位相等）が設定されることになっている。一方で、相手側の自宅の対話実施部屋には振動センサ６が左右２箇所に設けられており、各振動センサ６が検知した歩行振動の振幅や位相を示す振動データが相手側サーバから送信される。そして、ホームサーバ１は、相手側サーバから受信した上記の振動データに基づいて歩行振動の発生位置を特定すると、その特定結果に応じて振動デバイス７毎の再現条件を設定する。

以上までに説明した機能により、ホームサーバ１は、相手側サーバとの間で対話用の通信を実施する。この結果、ユーザは、ディスプレイ機器４の表示画面にて相手の全身像や周辺空間の映像を見ながら、マイク３及びスピーカ５を通じて相手と会話（対話）をすることが可能となる。

ところで、発明が解決しようとする課題の項で説明したように、対話用の通信を行う際には相手のプライバシーに配慮する必要がある。例えば、人感センサ８からの出力信号を受信した際に、直ちに相手の映像や音声を再現してしまうと、当該相手が自分の姿や声をユーザに伝えたくないと考えていたとしても、その意に反して映像や音声が再現されることになってしまう。

一方、プライバシー保護を過度に重視してしまうと、相手の状況、具体的には相手の様子やその周辺の雰囲気を的確に把握することが困難になる虞がある。また、相手の状況を正確に把握することは、当該相手との対話（コミュニケーション）をスムーズに行う上で重要となる。

そのため、本実施形態では、対話用の通信に係る一連の処理において相手の映像や音声を再現する前段階で、相手の状況を把握するための処理を実行することとし、かかる処理を実行する機能（以下、状況把握用機能とも言う）がホームサーバ１に搭載されている。かかる状況把握用機能は、状況把握用ユニットの構成機器としてホームサーバ１が本来的に備える機能であり、本実施形態を特徴付けるものである。

具体的に説明すると、本実施形態では、相手の映像や音声を再現する動作とは異なる演出動作が、相手の映像や音声を再現する工程の前段階で実施される。かかる演出動作は、ユーザがその五感によって認識することが可能なものであり、相手の状況を把握する目的で行われる。なお、本実施形態では、相手の映像に代わる画像の表示動作、相手の音声に代わる音や曲の再生動作、振動を付与する動作等が演出動作として行われる。ただし、演出動作の内容については、上記の内容に限定されるものではない。演出動作については、ユーザが当該動作を認識することで相手の状況を把握することが可能なものになっていればよく、例えば、臭いを発する動作、あるいは照明装置やエアコンの運転状態を切り替える動作を行うこととしてもよい。

また、演出動作は、上述したディスプレイ機器４、スピーカ５及び振動デバイス７によって行われる。すなわち、本実施形態では、再現装置としてのディスプレイ機器４、スピーカ５及び振動デバイス７が、演出動作を行う演出装置としても機能する。換言すると、本実施形態では、演出装置と再現装置とが共通の装置となっている。これにより、演出装置と再現装置をそれぞれ個別に用意する構成に比して、本ユニット１００の構成がよりシンプル化するようになる。

演出動作について概説すると、相手の状況に関する内容を特定し、その特定結果に応じた演出態様にて行われる。ここで、「相手の状況」とは、相手の位置、相手の様子及び相手が居る空間の雰囲気を含む概念である。

また、「相手の位置」とは、相手の自宅の対話実施部屋内における基準位置、例えばディスプレイ機器４の配置位置に対する相手の相対位置のことである。分かり易く言うと、対話実施部屋に居る相手とディスプレイ機器４との間の距離、及び、ディスプレイ機器４から見たときの相手が居る方角のことである。

また、「相手の様子」とは、相手の表情、感情、姿勢、動作の有無と当該動作の内容、活動度合い、覚醒度、体温等で表される健康状態、異常の有無と当該異常の内容、その他相手の現状に関する事項のことである。なお、本実施形態では、上述した「様子」の該当事項のうち、相手の表情及び感情を特定することとする。ただし、これに限定されるものではなく、表情や感情以外の事項を特定することとしてもよい。

また、「相手が居る空間の雰囲気」とは、相手が居る空間、すなわち、対話実施部屋における賑わい度合い（分かり易くは、同部屋内の音量）、対話実施部屋に在室しているヒトの人数、温湿度や照明度等によって表される対話実施室内の環境、その他対話実施部屋の現状に関する事項のことである。なお、本実施形態では、上述した「雰囲気」の該当事項のうち、対話実施部屋における賑わい度合いを特定することとする。ただし、これに限定されるものではなく、賑わい度合い以外の事項を特定することとしてもよい。

以上のように本実施形態に係るホームサーバ１は、演出動作の実施にあたり、相手の状況を特定する。このとき、ホームサーバ１は、相手側サーバから取得した動画ファイルデータや振動データから相手の状況を特定する。換言すると、ホームサーバ１は、相手の状況を特定する上で必要となるデータとして、動画ファイルデータや振動データを相手側サーバから受信する。かかる意味で、相手側サーバから動画ファイルデータや振動データを受信する処理は、相手の状況に関するデータを取得するデータ取得処理に該当すると言える。

そして、ホームサーバ１は、相手側サーバから取得したデータから相手の状況に関する内容を特定する処理（内容特定処理）を実行する。つまり、本実施形態に係るホームサーバ１には、相手側サーバから取得したデータから相手の状況に関する内容を特定する機能が搭載されている。かかる機能について図３を参照しながら説明すると、相手の位置を特定する「位置特定機能」と、相手の表情を特定する「表情特定機能」と、相手の感情及び対話実施部屋内の賑わい度合いを特定する「雰囲気等特定機能」と、相手の歩行振動に関する内容を特定する「歩行振動特定機能」とが搭載されている。なお、上述した各特定事項を特定する方法については、後に詳しく説明する。

相手の状況を特定した後、ホームサーバ１は、特定結果に応じた演出態様にて演出動作をディスプレイ機器４、スピーカ５及び振動デバイス７に行わせる演出要求処理を実行する。すなわち、本実施形態に係るホームサーバ１には、演出装置であるディスプレイ機器４、スピーカ５及び振動デバイス７を制御し、これらのデバイスに演出動作を行わせる演出要求機能が搭載されている。

なお、本実施形態では、実施可能な演出動作が複数種類用意されており、ユーザは、複数の演出動作の中から実際に実施する演出動作を事前に指定することとなっている。ホームサーバ１は、演出要求処理において、ユーザが指定した演出動作（以下、指定演出動作）を特定し、当該指定演出動作を行わせるための要求を生成し、指定演出動作を行うデバイスに対して上記の要求を出力する。ホームサーバ１からの要求の出力先であるデバイスは、当該要求を受け付けると、所定の演出態様にて演出動作を行うようになる。

演出態様については、ホームサーバ１が演出要求処理の前段階で特定した相手の状況に応じて設定する。すなわち、本実施形態に係るホームサーバ１には、特定した相手の状況に応じて演出態様を設定する演出態様設定機能が搭載されている。なお、演出態様の設定内容については、演出要求処理において生成される要求中に組み込まれる。

以上までに説明した状況把握用機能により、ホームサーバ１は、相手の映像や音声を再生する前に、ディスプレイ機器４、スピーカ５及び振動デバイス７に対応する演出動作（厳密には、指定演出動作）を行わせる。この演出動作を通じて、ユーザは、相手の状況を把握することが可能となり、その上で当該相手と会話（対話）マイク３及びスピーカ５を通じて相手と会話（対話）をすることが可能となる。

＜＜対話用通信フローについて＞＞
次に、上述した演出動作の実施要求を含めて、ホームサーバ１が実行する対話用の通信に係る一連の処理（以下、対話用通信フロー）について説明する。対話用通信フローは、図４に図示した流れに従って進み、同図に示すように、先ず、ホームサーバ１が人感センサ８からの出力信号を受信するところから始まる（Ｓ００１）。すなわち、対話用通信フローは、ユーザが対話実施部屋に入室したことを人感センサ８が検知し、その検知結果を示す電気的信号が人感センサ８から出力されて同信号をホームサーバ１が受信したときに開始される。

その後、ホームサーバ１は、相手側サーバに在室情報の配信を要求し（Ｓ００２）、かかる要求を受け付けた相手側サーバが在室情報を配信すると、インターネット経由で当該在室情報を入手する（Ｓ００３）。そして、ホームサーバ１は、入手した在室情報から相手が対話実施部屋に在室していることを確認すると（Ｓ００４でＹｅｓ）、相手側サーバと通信して、相手の映像や音声等を示す動画ファイルデータを受信する（Ｓ００５）。また、相手が対話実施部屋内で歩行している場合には、それに伴って発生する歩行振動の振幅や位相を示す振動データを更に受信する。

相手側サーバからデータを受信すると、ホームサーバ１は、直ちに相手の映像や音声を再現せず、先ず、受信したデータから相手の状況を特定する処理を実行する（Ｓ００６）。この状況特定処理は、図５に示す手順に従って進行し、具体的には、相手の位置を特定する工程（Ｓ０２１）、相手の雰囲気等を特定する工程（Ｓ０２２）、相手の表情を特定する工程（Ｓ０２３）、相手の歩行振動を特定する工程（Ｓ０２４）が順に行われる。なお、各工程Ｓ０２１、Ｓ０２２、Ｓ０２３、Ｓ０２４が行われる順番については、特に制限されず、自由に設定することが可能である。

以下、各工程Ｓ０２１、Ｓ０２２、Ｓ０２３、Ｓ０２４の内容について説明する。
相手の位置を特定する工程Ｓ０２１では、相手側サーバから受信した動画ファイルデータ、厳密には、同データから抽出した音声データから相手の位置を特定する。より具体的に説明すると、抽出した音声データを解析すると、相手が居る対話実施部屋内に設置された左右２つのマイク３の各々について、当該マイク３が集音した音の振幅や位相を特定することが可能となる。

そして、ホームサーバ１は、各マイク３別に特定した音の振幅や位相に基づいて、相手の位置を特定する。ここで、相手の位置とは、各マイク３が集音した音の振幅や位相についてのマイク間のずれから割り出した音像の位置のことである。より分かり易く説明すると、ホームサーバ１は、図６に示すように、ディスプレイ機器４と相手との間の距離（図６中、記号ｄにて示す距離）、及び、ディスプレイ機器４から見たときの相手が居る方角（例えば、ディスプレイ機器４から見て左右いずれに位置するか）を特定する。

なお、相手の位置を特定する方法については、上述の方法以外の方法も考えられ、例えば、相手側サーバから受信した動画ファイルデータ、厳密には、同データから抽出した映像データに対して画像処理技術（具体的には、画像中の所定部位について位置を特定する技術）を適用することで、相手の位置を特定することとしてもよい。

また、相手の位置として、基準位置（本実施形態では、ディスプレイ機器４の配置位置）からの距離ｄを特定する場合には、距離算出機能を有する人感センサ８を用いることとしてもよい。かかる人感センサ８を用いれば、対話実施部屋内に居る相手を検知した際、同時に、基準位置と相手との間の距離ｄが算出されるので、当該算出結果から相手の位置を特定することとしてもよい。

相手の雰囲気等を特定する工程Ｓ０２２では、相手側サーバから受信した動画ファイルデータ、厳密には、同データから抽出した音声データから相手の感情、及び、対話実施部屋の賑わい度合いを特定する。より具体的に説明すると、音声データを解析することにより、当該音声データが示す音の音質及び音量について、それぞれを定量化した情報（音質情報及び音量情報）が得られる。そして、図７に示すように、音質情報からは相手の感情が特定され、音量情報からは賑わい度合いが特定される。

より詳しく説明すると、音質情報とは、音声データに対してスペクトル解析を適用することで取得される情報であり、具体的には、第１フォルマント周波数及び第２フォルマント周波数を示す情報である。そして、第１フォルマント周波数と第２フォルマント周波数とを座標軸の値に設定し、当該座標軸によって規定される座標空間（以下、音声空間）において上記の音質情報に相当する座標を算出する。さらに、上記音声空間を公知の感情空間に写像したときに、算出した上記の座標と対応する座標（すなわち、感情空間における座標）を、相手の感情を示す値として特定する。

また、音量情報は、音声データが示す音の振幅の大きさ及び変化を捉えることで取得される情報である。そして、音量情報が示す音の振幅の大きさや変化を所定の演算式に代入することで得られる値を、対話実施部屋の賑わい度合い（雰囲気）として特定する。

相手の表情を特定する工程Ｓ０２３では、相手側サーバから受信した動画ファイルデータから映像データを抽出した上で、図８に示すように、当該映像データが示す映像中、相手の顔の画像を抽出する。そして、抽出した顔画像に対して公知の画像処理技術（具体的には、顔画像から表情を識別する技術）を適用することで、相手の感情を特定する。

相手の歩行振動を特定する工程Ｓ０２４では、図９に図示した歩行振動の発生位置（換言すると、相手が居る位置）を、相手側サーバから受信した振動データから特定する。より具体的に説明すると、上記の振動データを解析し、相手が居る対話実施部屋に設置された左右２つの振動センサ６の各々について、当該振動センサ６が検知した歩行振動の振幅及び位相を特定する。そして、各振動センサ６が検知した振動の振幅や位相についてのセンサ間のずれから、歩行振動の発生位置を特定する。

以上の手順により相手の状況（位置、感情、雰囲気、表情及び歩行振動）を特定すると、その後、ホームサーバ１が演出要求処理を実行する（Ｓ００７）。この演出要求処理は、図１０Ａ及び１０Ｂに示す手順に従って進行し、具体的には、実際に実施させる演出動作を選別するところから始まる（Ｓ０３１）。より詳しく説明すると、ホームサーバ１のメモリには、実際に実施させる演出動作としてユーザが事前に指定した演出動作（すなわち、指定演出動作）を示すデータが記憶されている。ホームサーバ１は、メモリから当該データを読み出して指定演出動作を特定する。これにより、複数の演出動作のうち、実際に実施させる演出動作が選別されるようになる。

ところで、本実施形態では、４種類の演出動作が用意されている。第１の演出動作は、図１１に図示の波紋状のパターン画像Ｐをディスプレイ機器４の表示画面に表示するパターン画像表示動作である。かかる波紋状のパターン画像Ｐを表示するためのプログラムは、ホームサーバ１のメモリに記憶されている。パターン画像表示動作を実行させる際には、ホームサーバ１のＣＰＵが上記のプログラムを読み出して実行する。これにより、パターン画像Ｐを表示するためのデータ（以下、パターン画像データ）が生成され、その後、ディスプレイ機器４に伝送される。このパターン画像データがディスプレイ機器４にて展開されると、その表示画面にパターン画像Ｐが表示されるようになる。さらに、本実施形態では、波紋のように放射状に広がる動きを示すパターン画像Ｐが表示される。

演出動作の種類について再び説明すると、第２の演出動作は、スピーカ５からＢＧＭを再生するＢＧＭ再生動作である。再生するＢＧＭについては複数の候補が有り、各候補のデータがホームサーバ１のハードディスクドライブに保存されている。

第３の演出動作は、ユーザが居る対話実施部屋の床を振動デバイス７によって振動させる振動付与動作である。第４の演出動作は、相手側サーバから取得した音声データに対してノイズ加工を施し、加工後のデータが示す音（すなわち、ノイズ加工音）をスピーカ５から再生する加工音再生動作である。

演出要求処理の流れに戻ると、演出動作の選別工程Ｓ０３１においてパターン画像表示動作が選定された場合（Ｓ０３２でＹｅｓ）、ホームサーバ１は、パターン画像Ｐの表示形態を設定する演出態様設定処理を実行する。かかる処理において、ホームサーバ１は、状況特定処理Ｓ００６における特定結果に応じた表示形態を設定する。

具体的に説明すると、先ず、パターン画像Ｐの表示態様として、表示画面における表示位置及び表示サイズを、状況特定処理Ｓ００６において特定した相手の位置に応じて決定（設定）する（Ｓ０３３）。より詳しく説明すると、表示位置については、図１１に示すように、基準位置から見たときの相手が居る方角に基づき設定される。例えば、相手が基準位置よりも左側に位置すると特定された場合には、図１１の左図に示すように、パターン画像Ｐを表示画面の左側に表示することとしている。反対に、相手が基準位置よりも右側に位置すると特定された場合には、図１１の右図に示すように、パターン画像Ｐを表示画面の右側に位置することとしている。

また、表示サイズについては、図１１に示すように、基準位置と相手との間の距離ｄに基づき設定される。例えば、距離ｄが比較的長いとき、換言すると、基準位置から比較的遠い位置に相手が位置すると特定された場合には、図１１の左図に示すように、表示サイズを小サイズに設定する。反対に、距離ｄが比較的短いとき、換言すると、基準位置から比較的近い位置に相手が位置すると特定された場合には、図１１の右図に示すように、表示サイズを大サイズに設定する。

次に、パターン画像Ｐの表示態様として、パターン画像Ｐの彩色を、状況特定処理Ｓ００６において特定した相手の感情に応じて設定する（Ｓ０３４）。より詳しく説明すると、前述したように、相手の感情は、感情空間における一座標として特定される。そして、感情空間における座標を色相環中の一点に変換する公知の演算式を適用することで、感情空間における一座標として表現された相手の感情、に対応する彩色が設定される。

次に、パターン画像Ｐの表示態様として、波紋のように広がるパターン画像Ｐの動きの速さ（以下、広がり速度）を、状況特定処理Ｓ００６において特定した雰囲気、具体的には、対話実施部屋の賑わい度合いに応じて設定する（Ｓ０３５）。より詳しく説明すると、賑わい度合いを示す値から広がり速度を算出する式が予め用意されており、状況特定処理Ｓ００６において特定した賑わい度合いの値を上記の式に代入することにより、広がり速度が設定される。

以上の手順によって設定された表示態様にてパターン画像Ｐを表示画面に表示することで、相手の映像を表示することなく、相手の位置や感情並びに対話実施部屋の賑わい度合いを間接的に報知することが可能となる。すなわち、パターン画像Ｐは、対話実施室における相手の存在感や相手の周囲の雰囲気を伝達するための標識として表示される。

演出動作の選別工程Ｓ０３１においてＢＧＭ再生動作が選定された場合（Ｓ０３６でＹｅｓ）、ホームサーバ１は、再生するＢＧＭの種類を設定する演出態様設定処理を実行する。かかる処理において、ホームサーバ１は、状況特定処理Ｓ００６における特定結果に応じたＢＧＭを選定する。具体的に説明すると、図１２に示すような顔の表情と再生するＢＧＭの対応関係を示すテーブルデータが、ホームサーバ１のメモリに記憶されている。ホームサーバ１は、当該テーブルデータを参照し、状況特定処理Ｓ００６において特定した相手の表情と対応するＢＧＭを、再生対象のＢＧＭとして選定する。以上の手順によって再生対象のＢＧＭが選定される結果、例えば、特定した相手の表情が笑い顔であったときには、再生対象のＢＧＭとして、アップテンポな曲調のＢＧＭや賑やかな曲調のＢＧＭを選定することになる。一方、特定した相手の表情が泣き顔であったときには、再生対象のＢＧＭとして、スローテンポな曲調のＢＧＭや静かな曲調のＢＧＭを選定することになる。

演出動作の選別工程Ｓ０３１において振動付与動作が選定された場合（Ｓ０３８でＹｅｓ）、ホームサーバ１は、対話実施部屋において左右２箇所に設けられた振動デバイス７の各々の出力条件（振動発生条件）を設定する演出態様設定処理を実行する。かかる処理において、ホームサーバ１は、状況特定処理Ｓ００６における特定結果に応じた出力条件を設定する（Ｓ０３９）。具体的に説明すると、ユーザ側の対話実施部屋の床のうち、状況特定処理Ｓ００６において特定した歩行振動の発生位置と対応する位置を振動させるよう、各振動デバイス７の振動発生条件（例えば、発生振動の振幅や位相）を設定する。そして、設定された振動発生条件に従って各振動デバイス７に振動を発生させることで、ユーザ側の対話実施部屋の床において相手の歩行振動が再現されるようになる。

演出動作の選別工程Ｓ０３１において加工音再生動作が選定された場合（Ｓ０４０でＹｅｓ）、ホームサーバ１は、ノイズ加工音の音声データを生成するとともに（Ｓ０４１）、当該ノイズ加工音をスピーカ５に再生させる際の音発生条件を設定する演出態様設定処理を実行する。ノイズ加工音の音声データについては、相手側サーバから取得した音声データ（厳密には動画ファイルデータから抽出した音声データ）に対してノイズ加工を施すことにより生成される。一方、音発生条件を設定する演出態様設定処理において、ホームサーバ１は、状況特定処理Ｓ００６における特定結果に応じた音発生条件を設定する（Ｓ０４２）。具体的に説明すると、状況特定処理Ｓ００６において特定した相手の位置とノイズ加工音に関する音像の位置とが一致するように、各スピーカ５の音発生条件（例えば、発生音の音量や位相）を設定する。そして、設定された音発生条件に従って各スピーカ５にノイズ加工音を発生させることで、当該ノイズ加工音に関する音像の位置がディスプレイ機器４の表示画面中の所定位置（具体的には、仮に相手の映像を表示画面に表示した際の相手の表示位置）となるようにノイズ加工音が再生されるようになる。

以上までに説明してきた手順により各演出動作の演出態様が設定された後、ホームサーバ１は、設定された演出態様にて演出動作を実施させる要求を生成し、当該要求を対応するデバイスに対して出力する（Ｓ０４３）。具体的に説明すると、パターン画像表示動作を実施させる要求については、ディスプレイ機器４に対して出力し、ＢＧＭ再生動作を実施させる要求については、各スピーカ５に対して出力し、振動付与動作を実施させる要求については、各振動デバイス７に対して出力し、加工音再生動作を実施させる要求については、各スピーカに対して出力する。

そして、演出動作を実施させる要求を受信したデバイスは、当該要求に従い、設定された演出態様に従って演出動作を行うようになる。ユーザは、実施される演出動作を認識することで、相手の状況（具体的には、対話実施部屋における在室状況、感情、表情及び対話実施部屋内の雰囲気等）を簡易的に把握することが可能となる。このように相手の状況を把握しておけば、その後にディスプレイ機器４の表示画面にて相手の顔を見ながら当該相手と対話をする際のきっかけ、分かり易くは会話の糸口を掴むことができ、以て、円滑なコミュニケーションが実現されるようになる。

対話用通信フローの流れに戻ると、演出要求処理の実行後、ホームサーバ１は、相手側サーバから受信した動画ファイルデータや振動データに基づいて特定した相手の状況が変化するか否かを、上記ファイルを解析することで判定する（Ｓ００８）。判定の結果、相手の状況が変化する場合には（Ｓ００８でＹｅｓ）、ホームサーバ１は、状況特定処理Ｓ００６及び演出要求処理Ｓ００７を上述した手順にて繰り返す。つまり、本実施形態では、特定された相手の状況が変化した際、当該状況の変化に連動して演出態様を切り替え、切り替え後の演出態様にて演出動作をディスプレイ機器４、スピーカ５及び振動デバイス７に行わせることとしている。

具体的に説明すると、例えば、演出動作としてパターン画像表示動作が行われている間に相手の位置や感情が変化した場合、ホームサーバ１は、変化後の位置及び感情を特定した上で、変化後の位置及び感情に応じてパターン画像Ｐの表示態様を再設定する（切り替える）。そして、ホームサーバ１は、演出要求処理を再実行し、切り替え後の表示態様にてパターン画像Ｐが表示されるようにパターン画像表示動作を行わせるための要求を生成し、当該要求をディスプレイ機器４に対して出力する。

以上のように、本実施形態では、相手の様子やその周辺の雰囲気が変化した際、当該変化に連動して演出動作の演出態様が切り替わるようになっている。これにより、相手の状況が変化した場合、ユーザは、当該変化に気付くことが可能となる。

また、ホームサーバ１は、演出動作が行われている間に再現動作開始用のユーザ操作が行われたか否かを判定する（Ｓ００９）。ここで、再現動作開始用のユーザ操作とは、ディスプレイ機器４やスピーカ５に相手の映像や音声を再現させるためにユーザが行う操作のことであり、本実施形態では、タッチパネル４ａをタッチする操作が該当する。

そして、再現動作開始用のユーザ操作が行われた場合、すなわち、タッチパネル４ａがタッチ操作を受け付けると、ホームサーバ１は、タッチパネル４ａからの出力信号を受信することで上記のユーザ操作を認識する。その後、ホームサーバ１は、ディスプレイ機器４やスピーカ５に再現動作を行わせる再現要求処理を実行する（Ｓ０１０）。再現要求処理において、ホームサーバ１は、相手側サーバから受信した映像データが示す映像を表示画面に表示させる要求を生成し、当該要求をディスプレイ機器４に対して出力する。また、同処理において、ホームサーバ１は、相手側サーバから受信した音声データが示す音声を再生させる要求を生成し、当該要求を各スピーカ５に対して出力する。

再現要求処理が実行されると、ディスプレイ機器４及び各スピーカ５が、再現動作を実施させる要求を受信し、当該要求に従って再現動作が実行されるようになる。これにより、それまで行われていた演出動作が終了し、ディスプレイ機器４の表示画面に相手の映像が表示され、スピーカ５から相手の音声が再生されるようになる。

以上のように本実施形態では、再現動作の実施前には演出動作が実施され、また、演出動作中に再現動作開始用のユーザ操作が行われることを条件として再現動作が開始されるようになる。換言すると、相手の映像や音声を再現する再現動作は、対話用通信フローが開始されても直ちに開始されず、再現動作開始用のユーザ操作を受け付けるまで保留される。この結果、不意に再現動作が開始されるような事態を回避し、以て、相手のプライバシーをより効果的に保護することが可能となる。

また、相手のプライバシーを保護する観点では、再現動作開始用のユーザ操作を受け付けた後、さらに、再現動作開始に関して相手の承認を得たときに再現動作を開始することが、より望ましい。具体的に説明すると、例えば、相手が承認操作として相手側のタッチパネル４ａをタッチしたときに、相手側サーバが当該タッチ操作を検知して当該検知結果を示すデータを送信し、同データをユーザ側のホームサーバ１が受信した時点で再現動作を開始するとよい。

なお、演出動作のうち、振動付与動作については、再現動作開始用のユーザ操作を受け付けた後、再現動作の一つとして引き続き行われることとなっている。そして、ユーザ若しくは相手のいずれかが対話実施部屋から退出して人感センサ８がヒトを検知しなくなると（Ｓ０１１）、ユーザ側のホームサーバ１及び相手側サーバが通信を終了する。かかる時点で対話用通信フローが終了する。

＜＜その他の実施形態＞＞
上記の実施形態では、本発明の状況把握用ユニットについて、一例を挙げて説明した。ただし、上記の実施形態は、本発明の理解を容易にするための一例に過ぎず、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは勿論である。

また、上記の実施形態では、再現動作を実施する前工程として演出動作を実施することとした。すなわち、上記の実施形態では、演出動作後に再現動作を行うことを前提としているが、これに限定されるものではない。再現動作の実施を前提とせずに演出動作のみを実施することとしてもよい。つまり、相手の映像や音声を再現することなく相手の様子やその周辺空間の雰囲気を簡易的に確認する目的のために本発明の状況把握用ユニットを用いることとしてもよい。

また、上記の実施形態では、相手の状況を把握する上で相手の位置、相手の様子及び相手が居る空間の雰囲気のすべてを特定することとしたが、これに限定されるものではなく、上記の項目のうちの少なくとも一つを特定すればよい。

また、上記の実施形態では、ユーザと相手とが一人ずつとなったケースを例に挙げて説明したが、相手については複数人であってもよい。さらに、相手については、特定人又は不特定人のいずれであってもよい。特に、相手が不特定人である場合、本発明の状況把握用ユニットにより当該不特定人の状況を把握すれば、防犯・セキュリティ上の効果が期待されるようになる。

また、上記の実施形態の中で説明した各工程の手順（例えば、相手の状況に関する項目を特定する工程Ｓ０２１〜Ｓ０２４の手順）については、あくまでも一例を示したにすぎず、当該各工程を実施する目的が達成される限りにおいては、他の手順を採用することとしてもよい。

１ ホームサーバ（制御装置）
２ カメラ
３ マイク
４ ディスプレイ機器（演出装置、再現装置）
４ａ タッチパネル（操作受け付け機器）
５ スピーカ（演出装置、再現装置）
６ 振動センサ
７ 振動デバイス（演出装置）
８ 人感センサ
１００ 本ユニット（状況把握用ユニット）
Ｐ パターン画像

Claims (5)

1. ユーザが離れた場所に居る相手の状況を把握するために用いる状況把握用ユニットであって、
   前記ユーザが認識可能であり前記相手の映像及び音声を再現する動作とは異なる演出動作を、行う演出装置と、
   該演出装置を制御して前記演出動作を行わせるとともに、前記相手が用いる相手側端末と通信する制御装置と、を有し、
   該制御装置は、
   前記相手の存否、前記相手を含む映像、前記相手が居る空間内で集音した音及び前記相手の行動に伴って生じる振動のうちの少なくとも一つを示すデータを、前記相手側端末との通信を通じて取得するデータ取得処理と、
   該データ取得処理において取得した前記データから、前記相手の位置、前記相手の様子及び前記相手が居る空間の雰囲気のうちの少なくとも一つの事項に関する内容を特定する内容特定処理と、
   該内容特定処理において特定された前記内容に応じた演出態様にて前記演出動作を前記演出装置に行わせる演出要求処理と、を実行し、
   前記制御装置は、前記データ取得処理において、前記相手が居る空間内で集音した音を示す音データを取得し、前記内容特定処理において、前記音データが示す音の音量及び音質のうちの少なくとも一方を特定し、
   前記制御装置は、前記データ取得処理において、前記相手の位置を示す位置データを前記音データとともに取得し、前記内容特定処理において、前記音データが示す音の音量及び音質のうちの少なくとも一方を特定するとともに、前記相手が居る空間内の基準位置に対する前記相手の位置を特定することを特徴とする状況把握用ユニット。
2. 前記演出装置は、表示画面にパターン画像を表示する前記演出動作を実行し、
   前記制御装置は、前記演出要求処理を実行する際、前記パターン画像の表示態様を前記演出態様とし、前記内容特定処理において特定された前記内容に応じた前記表示態様にて前記パターン画像が表示されるように前記演出動作を前記演出装置に行わせることを特徴とする請求項１に記載の状況把握用ユニット。
3. 前記内容特定処理において特定された前記内容が変化した際、前記制御装置は、前記演出要求処理において、前記内容の変化に連動して前記表示態様を切り替え、切り替え後の前記表示態様にて前記パターン画像が表示されるように前記演出動作を前記演出装置に行わせることを特徴とする請求項２に記載の状況把握用ユニット。
4. 前記相手の映像及び音声のうちの少なくとも一方を再現する再現動作を行う再現装置と、
   該再現装置に前記再現動作を行わせるために前記ユーザが行う操作を受け付ける操作受け付け機器と、を更に有し、
   前記制御装置は、前記操作受け付け機器が前記操作を受け付けた際に前記再現装置を制御して前記再現動作を行わせる再現要求処理をさらに実行し、
   前記操作受け付け機器は、前記演出装置が前記演出動作を行っている状態にあるときに前記操作を受け付けることを特徴とする請求項１乃至３のいずれか一項に記載の状況把握用ユニット。
5. 前記演出装置と前記再現装置とが共通の装置となっていることを特徴とする請求項４に記載の状況把握用ユニット。

Images