JP7067481B2

JP7067481B2 - 情報処理装置、情報処理方法、プログラム、およびコミュニケーションシステム

Info

Publication number: JP7067481B2
Application number: JP2018546254A
Authority: JP
Inventors: 仕豪温; 充勝股
Original assignee: Sony Corp; Sony Group Corp
Current assignee: Sony Corp; Sony Group Corp
Priority date: 2016-10-20
Filing date: 2017-10-06
Publication date: 2022-05-16
Anticipated expiration: 2037-10-06
Also published as: US20190253664A1; CN109845246B; WO2018074263A1; CN109845246A; JPWO2018074263A1; US10574939B2

Description

本開示は、情報処理装置、情報処理方法、プログラム、およびコミュニケーションシステムに関し、特に、より円滑なコミュニケーションを行うことができるようにした情報処理装置、情報処理方法、プログラム、およびコミュニケーションシステムに関する。

一般的に、映像コンテンツは、撮影時のカメラワークによって視点位置および視線方向が決定されており、視聴者は、視点位置および視線方向が制限された映像を視聴することになる。従って、そのような映像コンテンツを視聴している視聴者は、映像が過去の時点において撮影されたものであると容易に気付くことができる。即ち、映像コンテンツの視点位置および視線方向が制限されていることより、視聴者は、自由に動いて見回すことができる現実空間との相違を見分けることができる。

一方、近年、ＶＲ（Virtual Reality）技術が進化しており、自由に視点位置および視線方向を変更することができる映像コンテンツが作成されている。このような映像コンテンツにより再現されるＶＲ空間では、視聴者は、自由に動いて見回すことができ、ＶＲ空間と現実世界とのギャップが大幅に狭められていることに満足することができる。

また、特許文献１には、コミュニケーションを図りたい人物を選別するためのデータを提示し、そのデータに基づいて該当すると判断された人物とのコミュニケーションを可能とするコミュニケーションシステムが開示されている。

特開２００２－２１５９４２号公報

ところで、ＶＲ技術のさらなる進歩に伴って、視聴者がＶＲ空間を現実空間のように知覚することができるようになると予測される。そのため、視聴者が、ＶＲ空間内において仮想的に存在する人々を、そこに実在する現実的な人々であると誤認してしまい、ＶＲ空間内の仮想的な人物に対して話しかけるようなことも発生すると想定される。しかしながら、視聴者の話しかけに対してＶＲ空間内の仮想的な人物が応答することができないのは当然であり、自由に視点位置および視線方向を変更することができる映像コンテンツを介してコミュニケーションを図るための工夫が求められている。

本開示は、このような状況に鑑みてなされたものであり、より円滑なコミュニケーションを行うことができるようにするものである。

本開示の第１の側面の情報処理装置は、視聴者が映像を視聴しているときに、その映像に映されていると認識された人物の現在の状況を示す情報として、前記人物を監視することにより決定され、前記人物がコミュニケーションに応答できるか否かを示す情報を少なくとも含む現状情報を通信により取得する現状情報通信部と、前記現状情報通信部が取得した前記現状情報を、前記映像を視聴している視聴者に提示する現状情報提示部と、前記視聴者が前記人物に対するコミュニケーションを図ろうとして声かけを行ったときに、前記視聴者が視聴中の前記映像の内容を把握可能な情報および再生時刻を示す情報を視聴情報として取得する取得部とを備え、前記現状情報通信部は、前記取得部が取得した前記視聴情報を前記人物側の情報処理装置に送信する。

本開示の第１の側面の情報処理方法またはプログラムは、視聴者が映像を視聴しているときに、その映像に映されていると認識された人物の現在の状況を示す情報として、前記人物を監視することにより決定され、前記人物がコミュニケーションに応答できるか否かを示す情報を少なくとも含む現状情報を通信により取得し、取得した前記現状情報を、前記映像を視聴している視聴者に提示し、前記視聴者が前記人物に対するコミュニケーションを図ろうとして声かけを行ったときに、前記視聴者が視聴中の前記映像の内容を把握可能な情報および再生時刻を示す情報を視聴情報として取得し、前記視聴情報を前記人物側の情報処理装置に送信するステップを含む。

本開示の第１の側面においては、聴者が映像を視聴しているときに、その映像に映されていると認識された人物の現在の状況を示す情報として、人物を監視することにより決定され、人物がコミュニケーションに応答できるか否かを示す情報を少なくとも含む現状情報が通信により取得され、その現状情報が、映像を視聴している視聴者に提示され、視聴者が人物に対するコミュニケーションを図ろうとして声かけを行ったときに、視聴者が視聴中の映像の内容を把握可能な情報および再生時刻を示す情報が視聴情報として取得され、視聴情報が人物側の情報処理装置に送信される。

本開示の第２の側面の情報処理装置は、ユーザが映されている映像を視聴している視聴者が、前記ユーザとコミュニケーションを図ろうとして声かけを行ったことに応じて送信されてくる前記視聴者の視聴情報として、前記映像の内容を把握可能な情報および再生時刻を示す情報を取得する現状情報通信部と、前記現状情報通信部が取得した前記視聴情報を前記ユーザに提示する現状情報提示部とを備える。

本開示の第２の側面の情報処理方法またはプログラムは、ユーザが映されている映像を視聴している視聴者が、前記ユーザとコミュニケーションを図ろうとして声かけを行ったことに応じて送信されてくる前記視聴者の視聴情報として、前記映像の内容を把握可能な情報および再生時刻を示す情報を取得し、取得した前記視聴情報を前記ユーザに提示するステップを含む。

本開示の第２の側面においては、ユーザが映されている映像を視聴している視聴者が、ユーザとコミュニケーションを図ろうとして声かけを行ったことに応じて送信されてくる視聴者の視聴情報として、映像の内容を把握可能な情報および再生時刻を示す情報が取得され、その視聴情報がユーザに提示される。

本開示の第３の側面のコミュニケーションシステムは、視聴者が映像を視聴しているときに、その映像に映されていると認識された人物の現在の状況を示す情報として、前記人物を監視することにより決定され、前記人物がコミュニケーションに応答できるか否かを示す情報を少なくとも含む現状情報を通信により取得する現状情報通信部と、前記現状情報通信部が取得した前記現状情報を、前記映像を視聴している視聴者に提示する現状情報提示部と、前記視聴者が前記人物に対するコミュニケーションを図ろうとして声かけを行ったときに、前記視聴者が視聴中の前記映像の内容を把握可能な情報および再生時刻を示す情報を視聴情報として取得する取得部とを有し、前記現状情報通信部は、前記取得部が取得した前記視聴情報を前記人物側の情報処理装置に送信する前記視聴者側の情報処理装置と、ユーザが映されている映像を視聴している視聴者が、前記ユーザとコミュニケーションを図ろうとして声かけを行ったことに応じて送信されてくる前記視聴者の視聴情報として、前記映像の内容を把握可能な情報および再生時刻を示す情報を取得する現状情報通信部と、前記現状情報通信部が取得した前記視聴情報を前記ユーザに提示する現状情報提示部とを有する前記人物側の情報処理装置とを備える。

本開示の第３の側面においては、聴者が映像を視聴しているときに、その映像に映されていると認識された人物の現在の状況を示す情報として、人物を監視することにより決定され、人物がコミュニケーションに応答できるか否かを示す情報を少なくとも含む現状情報が通信により取得され、その現状情報が、映像を視聴している視聴者に提示され、視聴者が人物に対するコミュニケーションを図ろうとして声かけを行ったときに、視聴者が視聴中の映像の内容を把握可能な情報および再生時刻を示す情報が視聴情報として取得され、視聴情報が人物側の情報処理装置に送信される。一方、ユーザが映されている映像を視聴している視聴者が、ユーザとコミュニケーションを図ろうとして声かけを行ったことに応じて送信されてくる視聴者の視聴情報として、映像の内容を把握可能な情報および再生時刻を示す情報が取得され、その視聴情報がユーザに提示される。

本開示の第１乃至第３の側面によれば、より円滑なコミュニケーションを行うことができる。

本技術を適用したコミュニケーションシステムの一実施の形態の構成例を示すブロック図である。通信相手の現状情報に基づく処理の一例を説明する図である。通信相手の現状情報に基づく処理の他の例を説明する図である。視聴者側のコミュニケーション処理を説明するフローチャートである。通信相手側のコミュニケーション処理を説明するフローチャートである。本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

＜コミュニケーションシステムの構成例＞

図１は、本技術を適用したコミュニケーションシステムの一実施の形態の構成例を示すブロック図である。

図１に示されているコミュニケーションシステム１１は、２台の情報処理装置１２Ａおよび情報処理装置１２Ｂが通信を行うように構成されており、情報処理装置１２ＡのユーザＡと情報処理装置１２ＢのユーザＢとの間でコミュニケーションが行われる。なお、コミュニケーションシステム１１は、２台以上の情報処理装置１２が通信を行うような構成としてもよい。

また、コミュニケーションシステム１１では、後述するように、情報処理装置１２Ａにおいて映像が再生され、その映像を視聴する情報処理装置１２ＡのユーザＡを視聴者とも称する。また、情報処理装置１２Ａにおいて再生される映像に映されている人物であって、情報処理装置１２ＡのユーザＡから通信を求められる相手となる情報処理装置１２ＢのユーザＢを通信相手とも称する。

情報処理装置１２Ａには、音声入力部１３Ａ、撮影部１４Ａ、出力部１５Ａ、操作部１６Ａ、および通信部１７Ａが接続されており、情報処理装置１２Ａは、コミュニケーション処理部２１Ａおよび再生処理部２２を備えて構成される。

音声入力部１３Ａは、例えば、音声を入力するマイクロホンにより構成され、情報処理装置１２ＡのユーザＡが発話する音声を、情報処理装置１２Ａに入力する。

撮影部１４Ａは、例えば、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどを用いた撮影装置により構成され、情報処理装置１２ＡのユーザＡを撮影して得られる映像を、情報処理装置１２Ａに入力する。

出力部１５Ａは、例えば、映像を表示するディスプレイや、音声を出力するスピーカなどにより構成され、情報処理装置１２Ａにおいて再生される映像および音声を出力して、情報処理装置１２ＡのユーザＡに視聴させる。また、出力部１５Ａは、情報処理装置１２Ａおよび情報処理装置１２Ｂが通信を行うことにより、情報処理装置１２Ｂから送信されるユーザＢの映像および音声を出力する。

操作部１６Ａは、例えば、各種のボタンやタッチパネルなどにより構成され、情報処理装置１２ＡのユーザＡによる操作に応じた操作信号を、情報処理装置１２Ａに入力する。

通信部１７Ａは、例えば、インターネットなどのネットワークを介して、データ通信や、音声および映像による通信（いわゆるビデオ通話）などを行うための通信モジュールにより構成され、情報処理装置１２Ａと情報処理装置１２Ｂとの間の通信を行う。

コミュニケーション処理部２１Ａは、現状情報取得部３１Ａ、現状情報通信部３２Ａ、現状情報処理部３３Ａ、現状情報提示部３４Ａ、映像音声通信制御部３５Ａ、映像音声取得部３６Ａ、および映像音声通信部３７Ａを備えて構成される。例えば、コミュニケーション処理部２１Ａは、情報処理装置１２Ｂと通信を行ってユーザＡがユーザＢとコミュニケーションを図ろうとする際に、そのコミュニケーションがスムーズに行われるように支援するアシスタントシステムとして機能する。

現状情報取得部３１Ａは、再生処理部２２により再生される映像を情報処理装置１２ＡのユーザＡが視聴しているときに、ユーザＡの現状情報を取得して、現状情報通信部３２Ａに供給する。例えば、現状情報取得部３１Ａは、ユーザＡが視聴している映像の内容を示す情報や、映像の再生時刻を示す情報などを、ユーザＡの現状情報として取得する。さらに、現状情報取得部３１Ａは、例えば、ユーザＡが、自由視点タイムシフト映像により再現されるＶＲ空間の中にいるとき、映像の再生時刻や、ユーザＡの視点位置および視線方向などの視聴状況を示す情報を、ユーザＡの現状情報として取得する。

現状情報通信部３２Ａは、ユーザＡが視聴している映像に映されていると認識された人物を通信相手として、その人物の現在の状況を表す現状情報を取得する。例えば、情報処理装置１２ＢのユーザＢが映像に映されている場合、現状情報通信部３２Ａは、情報処理装置１２Ｂの現状情報通信部３２Ｂと通信することにより通信相手となるユーザＢの現状情報を取得し、現状情報処理部３３Ａに供給する。また、現状情報通信部３２Ａは、ユーザＡがユーザＢとコミュニケーションを図ろうとしたとき、現状情報取得部３１Ａから供給されるユーザＡの現状情報を、情報処理装置１２Ｂの現状情報通信部３２Ｂに送信する。

現状情報処理部３３Ａは、現状情報通信部３２Ａから供給されるユーザＢの現状情報に基づいて、例えば、ユーザＢがユーザＡとのコミュニケーションに応答できるか否かを判定する処理を行い、その判定結果を現状情報提示部３４Ａに供給する。また、現状情報処理部３３Ａは、ユーザＢがユーザＡとのコミュニケーションに応答できると判定した場合には、その判定結果を映像音声通信制御部３５Ａに通知する。

現状情報提示部３４Ａは、現状情報処理部３３Ａから供給される判定結果を、即ち、ユーザＢがユーザＡとのコミュニケーションに応答できるか否かを、ユーザＡに提示する。例えば、現状情報提示部３４Ａは、ユーザＢの現状情報に基づく判定結果について、出力部１５Ａのディスプレイにメッセージを表示したり、出力部１５Ａのスピーカから音声を出力したりすることで、ユーザＡに提示することができる。なお、現状情報提示部３４Ａは、現状情報通信部３２Ａが取得したユーザＢの現状情報そのものを、ユーザＡに提示してもよい。

映像音声通信制御部３５Ａは、ユーザＢがユーザＡとのコミュニケーションに応答できるという判定結果が現状情報処理部３３Ａから供給されると、映像音声通信部３７Ａに対して情報処理装置１２Ｂと通信を行うように制御する。

映像音声取得部３６Ａは、音声入力部１３Ａから入力されるユーザＡの音声、および、撮影部１４Ａから入力されるユーザＡの映像を取得して、映像音声通信部３７Ａに供給する。

映像音声通信部３７Ａは、通信部１７Ａを介して、情報処理装置１２Ｂの映像音声通信部３７Ｂとの間で、映像および音声による通信を行うことができる。例えば、映像音声通信部３７Ａは、映像音声通信制御部３５Ａによる制御に従って、映像音声取得部３６Ａから供給されるユーザＡの音声および映像を映像音声通信部３７Ｂに送信する。そして、映像音声通信部３７Ａは、映像音声通信部３７Ｂから送信されてくるユーザＢの音声および映像を受信して、出力部１５Ａから出力させる。

再生処理部２２は、映像記録部４１、映像再生制御入力部４２、および映像再生制御部４３を備えて構成される。例えば、再生処理部２２は、３６０°の無指向性を有し、視点位置および視線方向を自由に変更することができるとともに、再生時刻を自由に移動させることができる映像である自由視点タイムシフト映像を再生する処理を行って、ユーザＡに視聴させる。即ち、自由視点タイムシフト映像は、全天球を撮影可能な撮影装置により撮影された動画像からなる全天球動画像コンテンツであり、全天球の動画像に対して視点を自由に変更させることが可能な映像である。なお、視線方向だけが変更可能な映像であってもよい。

映像記録部４１は、ハードディスク装置や光学ディスクに対して、自由視点タイムシフト映像を記録することができる。また、映像記録部４１は、再生中の自由視点タイムシフト映像について、映像の再生時刻や、視点位置および視線方向などの視聴状況を記録することができる。

映像再生制御入力部４２は、ユーザＡが操作部１６Ａに対する操作を行って、所望の自由視点タイムシフト映像を選択して再生を指示すると、ユーザＡにより選択された自由視点タイムシフト映像の再生を行うように映像再生制御部４３に対する制御を行う。また、出力部１５Ａとして、ユーザＡの頭部に装着可能なヘッドマウントディスプレイを用いる場合、映像再生制御入力部４２は、ユーザＡの視線方向と相関性を有する頭部の位置や向きなどの姿勢を追跡して取得する。そして、映像再生制御入力部４２は、ユーザＡの頭部の姿勢を示す情報を映像再生制御部４３に供給して、ユーザＡの視線に合わせて、自由視点タイムシフト映像の視線方向を変更させる。

例えば、情報処理装置１２Ａでは、慣性を計測するIMU（Inertial Measurement Unit）を、出力部１５Ａとして用いられるヘッドマウントディスプレイに組み込むことにより、ユーザＡの頭部の姿勢を把握することができる。または、情報処理装置１２Ａでは、ユーザＡを撮影する撮影部１４Ａから入力される映像を画像解析することにより、ユーザＡの頭部の姿勢を把握することができる。さらに、情報処理装置１２Ａでは、ヘッドマウントディスプレイやユーザＡの頭部などにマーカまたは特徴点を付けて、それらの位置を追跡することにより、ユーザＡの頭部の姿勢を把握することができる。また、IMUと撮影部１４Ａとを組み合わせて使用してもよい。

映像再生制御部４３は、ユーザＡによる選択に従った自由視点タイムシフト映像を映像記録部４１から読み出して再生する制御を行い、再生した映像を出力部１５Ａのディスプレイに表示させる。さらに、映像再生制御部４３は、映像再生制御入力部４２から供給されるユーザＡの頭部の姿勢を示す情報に従って、映像の一部をトリミングして出力部１５Ａに供給することで、ユーザＡの視線に合わせた視線方向の映像を表示させることができる。

なお、情報処理装置１２Ｂには、情報処理装置１２Ａと同様に、音声入力部１３Ｂ、撮影部１４Ｂ、出力部１５Ｂ、操作部１６Ｂ、および通信部１７Ｂが接続されている。また、情報処理装置１２Ｂは、コミュニケーション処理部２１Ａと同じ構成のコミュニケーション処理部２１Ｂを備えて構成されており、コミュニケーション処理部２１Ｂにおいて行われる処理については、後述する。

以上のようにコミュニケーションシステム１１は構成されており、映像に映されているユーザＢの現状情報を取得してユーザＡに提示することで、ユーザＡは、実際のユーザＢの状態を把握した上で、ユーザＢに対するコミュニケーションを図ることができる。また、コミュニケーションシステム１１では、ユーザＡの現状情報を取得してユーザＢに提示して、ユーザＢがユーザＡの視聴状況を把握した後に、ユーザＡからユーザＢへのコミュニケーションを開始することができる。従って、コミュニケーションシステム１１を利用することで、ユーザＡおよびユーザＢは、より円滑なコミュニケーションを行うことができる。

ここで、コミュニケーション処理部２１Ａにおいて行われる処理について、さらに説明する。

上述したように、現状情報取得部３１Ａ、現状情報通信部３２Ａ、現状情報処理部３３Ａ、および、現状情報提示部３４Ａは、再生処理部２２により再生される映像に映されているユーザＢの現状情報を、ユーザＡに提示するための処理を実行する。また、映像音声通信制御部３５Ａ、映像音声取得部３６Ａ、および映像音声通信部３７Ａは、ユーザＡおよびユーザＢを映像および音声により接続してコミュニケーションを行わせる処理を実行する。

例えば、現状情報処理部３３Ａは、ユーザＡが話しかける準備ができているか否か、および、ユーザＢが通話可能であるか否かに基づいて、ユーザＡに対する提示を現状情報提示部３４Ａに行わせるように制御する処理を行う。

即ち、現状情報処理部３３Ａは、ユーザＡが話しかける準備ができており、かつ、ユーザＢが通話可能である場合には、ユーザＢが通信可能であることをユーザＡに提示するように現状情報提示部３４Ａに対する制御を行う。また、現状情報処理部３３Ａは、ユーザＡが話しかける準備ができており、かつ、ユーザＢが通話可能でない場合には、ユーザＢが通信可能でないことをユーザＡに提示するように現状情報提示部３４Ａに対する制御を行う。一方、現状情報処理部３３Ａは、ユーザＡが話しかける準備ができていない場合には、ユーザＢが通話可能であるか否かに関わらず、ユーザＡが不必要な情報によって煩わされることを回避するために、ユーザＡに対する提示を行わないように現状情報提示部３４Ａに対する制御を行う。

このように、現状情報処理部３３Ａは、現状情報通信部３２Ａから供給されるユーザＡおよびユーザＢの現状情報に基づいて、様々な判断を行うことができる。さらに、現状情報処理部３３Ａは、ユーザＡが話しかける準備ができているか否か、および、ユーザＢが通話可能であるか否かだけでなく、ユーザＢの現状情報をユーザＡに提示する仕方について容易に拡張することができる。また、ユーザＡの現状情報をユーザＢに提示する仕方についても同様である。

その他、例えば、情報処理装置１２Ｂの現状情報取得部３１Ｂとしてモーションセンサを利用して、ユーザＢの動きを監視してもよい。この場合、しばらくの間、ユーザＢの動きを検出することができなければ、ユーザＢは寝ていると推測される。その結果、現状情報処理部３３Ａは、例えば、映像に映されているユーザＢの頭の周りに、寝ていることを示すマーク「Ｚｚｚ・・・」を表示させることで、ユーザＢが寝ていることをユーザＡに提示するように現状情報提示部３４Ａに対する制御を行う。

このように、現状情報処理部３３Ａは、ユーザＢが通話可能であるか否かを、ユーザＢが映されている映像に重畳して表示させることで、ユーザＡに認識させることができる。その一例として、上述したように、寝ていることを示すマーク「Ｚｚｚ・・・」を表示することが説明されている。同様に、その他の多くの表示方法により、映像に映されているＶＲ空間内の様々な人々の現状情報を、視聴者であるユーザＡに提示することができる。

また、映像音声通信制御部３５Ａは、現状情報通信部３２Ａから供給されるユーザＡまたはユーザＢの現状情報を、ユーザＡおよびユーザＢを接続するのに適切であるかどうかを決定するのに使用することができる。例えば、映像音声通信制御部３５Ａは、現状情報通信部３２Ａから取得した現状情報に従ってユーザＢが通話可能である場合、ユーザＡの音声情報または映像情報の情報処理装置１２Ｂへの送信を開始するように映像音声通信部３７Ａに対する制御を行う。そして、この場合、映像音声通信部３７Ａは、情報処理装置１２Ｂの映像音声通信部３７Ｂから送信されてくるユーザＢの音声情報または映像情報の受信を開始する。

なお、映像音声通信部３７Ａが情報処理装置１２Ｂに送信するユーザＡの音声情報または映像情報は、映像音声取得部３６Ａにより取得される。例えば、映像音声取得部３６Ａは、いわゆるウェブカメラとして構成される音声入力部１３Ａおよび撮影部１４Ａにより、ユーザＡの音声および映像を同時に取得することができる。また、映像音声通信部３７Ａにより受信されたユーザＢの音声情報または映像情報は、例えば、いわゆるテレビセットとして構成される出力部１５Ａに供給される。これにより、ユーザＡは、ユーザＢの映像および音声を視聴することができ、ユーザＡおよびユーザＢは、互いにコミュニケーションを図ることができる。

このような処理が、コミュニケーション処理部２１Ａを構成する各ブロックにより行われる。

同様に、コミュニケーション処理部２１Ｂにおいて行われる処理について説明する。

現状情報取得部３１Ｂ、現状情報通信部３２Ｂ、現状情報処理部３３Ｂ、および、現状情報提示部３４Ｂは、ユーザＡの現状情報を、ユーザＢに提示するための処理を実行する。また、映像音声通信制御部３５Ｂ、映像音声取得部３６Ｂ、および映像音声通信部３７Ｂは、映像音声通信制御部３５Ａ、映像音声取得部３６Ａ、および映像音声通信部３７Ａと同様に、ユーザＡおよびユーザＢを映像および音声により接続してコミュニケーションを行わせる処理を実行する。

現状情報取得部３１Ｂは、例えば、ユーザＢに対して通信可能であるかどうかを確認することで、ユーザＢの現状情報を取得することができる。または、現状情報取得部３１Ｂは、例えば、ユーザＢを監視することにより、ユーザＢが通信可能であるかどうかを決定し、ユーザＢの現状情報を取得することができる。

現状情報通信部３２Ｂは、コミュニケーション処理部２１Ａの現状情報通信部３２Ａと通信を行って、視聴者であるユーザＡの現状情報を受信するとともに、現状情報取得部３１Ｂから供給されるユーザＢの現状情報を送信する。例えば、現状情報通信部３２Ｂが受信するユーザＡの現状情報としては、ユーザＡが視聴している自由視点タイムシフト映像の再生時刻、並びに、自由視点タイムシフト映像により再現されるＶＲ空間内におけるユーザＡの視点位置および視線方向を使用することができる。

また、本実施の形態では、ＶＲ空間内にいるユーザＡの現状情報（映像の再生時刻、ユーザＡの視点位置および視線方向）に基づいて、現状情報処理部３３Ｂは、ユーザＡのＶＲ空間の視聴状況をユーザＢが理解するのに有用な提示を行うように現状情報提示部３４Ｂに対する制御を行う。例えば、現状情報提示部３４Ｂが、ユーザＢに提示するユーザＡの現状情報としては、ユーザＡがユーザＢに対する声かけを行う前に視聴していた３０秒の映像を使用することができる。

なお、ユーザＡの現状情報としては多数の様々な種類があり、ユーザＡに何が起こっているのかをユーザＢが理解するのに役立つものをユーザＡの現状情報として使用することで、ユーザＢが、ユーザＡの状況を早急に把握するのに有益であると考えられる。例えば、ユーザＡの現状情報として、ユーザＡが映像を見ているときに発話した発話内容や、映像を見ているユーザＡの顔の表情から推測される感情などを使用することができる。

現状情報通信部３２Ｂにより受信されたユーザＡの現状情報、および、現状情報処理部３３Ｂにより行われる処理について、以下の具体例を参照して説明する。

例えば、ユーザＡの現状情報が、ユーザＡの感情が「怒り」であり、ユーザＡの発話内容が「これはひどい」であり、ユーザＡが視聴している映像が「先週のユーザＢによるピアノの練習」である場合について説明する。この場合、現状情報処理部３３Ｂは、第１の例として、「ユーザＡは、あなたの先週のピアノの練習を見て怒りながら「これはひどい」と言いました」というメッセージを生成する処理を行うことができる。または、現状情報処理部３３Ｂは、第２の例として、ユーザＡが声かけを行う前に見た３０秒の映像を表示させるとともに、ユーザＡの発話を録音した音声「これはひどい」を出力させる処理を行うことができる。

従って、ユーザＢは、例えば、現状情報処理部３３Ｂが生成したメッセージを見ることにより、ユーザＡの状況を容易に理解することができる。また、このメッセージは、ユーザＢが、ユーザＡの声かけに応じて会話を行うための準備をするのに役立つものとなる。

ところで、現状情報提示部３４Ｂの構成は、現状情報処理部３３Ｂが行う処理によって異なるものとなる。例えば、現状情報処理部３３Ｂが映像を表示するように処理を行う場合には、現状情報提示部３４Ｂは、出力部１５Ｂのディスプレイに映像を表示することができるように構成される。また、現状情報処理部３３Ｂが音声を出力するように処理を行う場合には、現状情報提示部３４Ｂは、出力部１５Ｂのスピーカから音声を出力することができるように構成される。

また、映像音声通信制御部３５Ｂは、現状情報通信部３２Ｂから供給されるユーザＡまたはユーザＢの現状情報を、ユーザＡおよびユーザＢを接続するのに適切であるかどうかを決定するのに使用することができる。例えば、映像音声通信制御部３５Ｂは、ユーザＡとの通話が可能であるかをユーザＢに質問するという簡易的な方法によって、ユーザＡおよびユーザＢを接続するか否かを決定することができる。

そして、映像音声通信制御部３５Ｂは、ユーザＢがユーザＡと通話可能である場合、ユーザＢの音声情報または映像情報の情報処理装置１２Ａへの送信を開始するように映像音声通信部３７Ｂに対する制御を行う。そして、この場合、映像音声通信部３７Ｂは、情報処理装置１２Ａの映像音声通信部３７Ａから送信されてくるユーザＡの音声情報または映像情報の受信を開始する。

なお、映像音声通信部３７Ｂが情報処理装置１２Ａに送信するユーザＢの音声情報または映像情報は、映像音声取得部３６Ｂにより取得される。例えば、映像音声取得部３６Ｂは、いわゆるウェブカメラとして構成される音声入力部１３Ｂおよび撮影部１４Ｂにより、ユーザＢの音声および映像を同時に取得することができる。また、映像音声通信部３７Ｂにより受信されたユーザＡの音声情報または映像情報は、例えば、いわゆるテレビセットとして構成される出力部１５Ｂに供給される。これにより、ユーザＢは、ユーザＡの映像および音声を視聴することができ、ユーザＡおよびユーザＢは、互いにコミュニケーションを図ることができる。

＜現状情報に基づく処理＞

図２および図３を参照して、コミュニケーションシステム１１において、通信相手および視聴者それぞれの現状情報に基づいて行われる処理の例について説明する。

例えば、図２には、情報処理装置１２ＡのユーザＡが、情報処理装置１２ＢのユーザＢが映されている映像を視聴し、その映像中のユーザＢに対して「今、ちょっといいかな」という声かけを行う状況が示されている。このとき、ユーザＡが視聴している映像のユーザＢは、過去に撮影されたものであり、現状のユーザＢは寝ている状況であって応答できないことがあると想定される。

そこで、コミュニケーション処理部２１Ａにより機能が提供されるアシスタントシステムＳは、ユーザＡの声かけに対して、ユーザＢの現状情報に基づいて「寝ているからダメ」というメッセージを提示することができる。

このように、コミュニケーションシステム１１を利用することで、映像に映っているユーザＢの現状がユーザＡとのコミュニケーションを図ることができるか否かを判定して、その判定結果をユーザＡに提示することができる。これにより、コミュニケーションシステム１１は、寝ているユーザＢを呼び起こして機嫌を損ねるような状況を回避することができる。また、ユーザＡも、ユーザＢが応答できない理由を認識することができるので、後日、ユーザＢと円滑なコミュニケーションを行うことができる。

また、図３には、図２と同様に、情報処理装置１２ＡのユーザＡが、情報処理装置１２ＢのユーザＢが映されている映像を視聴し、その映像中のユーザＢに対して「このアイデアいいですね」という声かけを行う状況が示されている。このとき、ユーザＢは、ユーザＡが視聴している映像について何も把握してないと、「いきなり何の話なの！」と応答することが想定される。

そこで、コミュニケーション処理部２１Ａにより機能が提供されるアシスタントシステムＳは、ユーザＡの声かけに対して、ユーザＡの現状情報として「昨日の特許ブレストの録画を見ているよ。アイデアがいいって」というメッセージを予めユーザＢに提示させる。これにより、ユーザＢは、ユーザＡが視聴している映像の内容を事前に把握することができ、ユーザＡの声かけに対してスムーズに返答することができる。

このように、コミュニケーションシステム１１を利用することで、映像に映っているユーザＢに対して、ユーザＡが、どのような内容のコミュニケーションを取ろうとしているかを予め提示することができる。これにより、コミュニケーションシステム１１は、ユーザＢが突然のコミュニケーションに驚くような状況を回避することができるので、ユーザＡおよびユーザＢは、より円滑なコミュニケーションを行うことができる。

＜コミュニケーション処理＞

図４は、情報処理装置１２Ａにおいて実行されるコミュニケーション処理を説明するフローチャートである。

例えば、ユーザＡが操作部１６Ａに対する操作を行って、所望の自由視点タイムシフト映像を選択して、その再生を指示すると処理が開始される。

ステップＳ１１において、映像再生制御入力部４２は、ユーザＡにより選択された自由視点タイムシフト映像の再生を行うように映像再生制御部４３に対する制御を行う。これに従って、映像再生制御部４３は、映像記録部４１に記録されている自由視点タイムシフト映像を読み出し、自由視点タイムシフト映像を再生して出力部１５Ａから出力する。これにより、ユーザＡは、自由視点タイムシフト映像により再現されるＶＲ空間内で、仮想的に、その映像が記録された時点におけるユーザＢと一緒にいる状態となる。

ステップＳ１２において、現状情報通信部３２Ａは、ユーザＡが視聴している映像に映されているユーザＢを通信相手とし、情報処理装置１２Ｂの現状情報通信部３２Ｂと通信を行って、現時点における実際のユーザＢの現状情報を取得する。そして、現状情報提示部３４Ａは、現状情報通信部３２Ａが取得したユーザＢの現状情報を、ユーザＡに提示する。

ステップＳ１３において、現状情報処理部３３Ａは、音声入力部１３Ｂから入力される音声に基づいて、ユーザＡにより、再生中の自由視点タイムシフト映像に映されている通信相手であるユーザＢに対する声かけが行われたか否かを判定する。

ステップＳ１３において、現状情報処理部３３Ａが、ユーザＡによりユーザＢに対する声かけが行われていないと判定した場合、処理はステップＳ１１に戻り、以下、同様の処理が繰り返して行われる。

一方、ステップＳ１３において、現状情報処理部３３Ａが、ユーザＡによりユーザＢに対する声かけが行われたと判定した場合、処理はステップＳ１４に進む。このとき、ユーザＡは、ステップＳ１２で提示されたユーザＢの現状情報を把握したうえで、ユーザＢに対する声かけを行っている。

ステップＳ１４において、映像音声通信部３７Ａは、ユーザＡおよびユーザＢのコミュニケーションを図るため、情報処理装置１２Ｂの映像音声通信部３７Ｂに対する映像および音声による通信を接続するための接続処理を行う。

ステップＳ１５において、現状情報取得部３１Ａは、視聴者であるユーザＡの現状情報を取得して、現状情報通信部３２Ａに供給する。そして、現状情報通信部３２Ａは、現状情報取得部３１Ａから供給されたユーザＡの現状情報を、情報処理装置１２Ｂの現状情報通信部３２Ｂに送信する。

ステップＳ１６において、現状情報処理部３３Ａは、通信相手である情報処理装置１２ＢのユーザＢからの通信許可が得られたか否かを判定する。例えば、後述する図５のＳ２３において、ユーザＡとの通信を行うと判定されるのに伴って、通信を許可することを示す情報が情報処理装置１２Ｂから送信されてくると、現状情報処理部３３Ａは、通信許可が得られたと判定する。

ステップＳ１６において、現状情報処理部３３Ａが、通信相手である情報処理装置１２ＢのユーザＢからの通信許可が得られたと判定した場合、処理はステップＳ１７に進む。

ステップＳ１７において、現状情報処理部３３Ａは通信許可が得られたことを映像音声通信制御部３５Ａに通知し、映像音声通信制御部３５Ａは、映像音声通信部３７Ａに対して情報処理装置１２Ｂと通信を行うように制御する。これに従い、映像音声通信部３７Ａは、映像音声通信部３７Ｂとの間で映像および音声による通信を行い、視聴者であるユーザＡは、視聴中の映像に映されているユーザＢを通信相手として、コミュニケーションを行うことができる。

ステップＳ１７の処理後、または、ステップＳ１６で通信相手である情報処理装置１２ＢのユーザＢからの通信許可が得られなかったと判定された場合、処理はステップＳ１１に戻り、以下、同様の処理が繰り返して行われる。

図５は、情報処理装置１２Ｂにおいて実行されるコミュニケーション処理を説明するフローチャートである。

ステップＳ２１において、映像音声通信部３７Ｂは、視聴者であるユーザＡから通信の接続処理が行われたか否かを判定し、通信の接続処理が行われたと判定されるまで処理を待機する。例えば、視聴者であるユーザＡによる声かけに従って、上述の図４のステップＳ１４において、映像音声通信部３７Ａが、映像および音声による通信を接続するための接続処理を行うと、映像音声通信部３７Ｂは、通信の接続処理が行われたと判定し、処理はステップＳ２２に進む。

ステップＳ２２において、現状情報通信部３２Ａは、上述の図４のステップＳ１５において現状情報通信部３２Ａから送信されてくるユーザＡの現状情報を取得する。そして、現状情報提示部３４Ｂは、現状情報通信部３２Ｂが取得したユーザＡの現状情報を、ユーザＢに提示する。

ステップＳ２３において、現状情報処理部３３Ｂは、視聴者であるユーザＡとの通信を行うか否かを判定する。例えば、ユーザＢが、操作部１６Ｂに対して通信を許可する操作を行ったときには、現状情報処理部３３Ｂは、視聴者との通信を行うと判定する。一方、例えば、ユーザＢが寝ている場合など、ユーザＢによる操作が行われないときには、現状情報処理部３３Ｂは、視聴者との通信を行わない判定する。

ステップＳ２３において、現状情報処理部３３Ｂが、視聴者であるユーザＡとの通信を行うと判定した場合、通信を許可することを示す情報が情報処理装置１２Ａに送信され、処理はステップＳ２４に進む。

ステップＳ２４において、映像音声通信制御部３５Ｂは、映像音声通信部３７Ｂに対して情報処理装置１２Ａと通信を行うように制御する。これに従い、映像音声通信部３７Ｂは、映像音声通信部３７Ａとの間で映像および音声による通信を行い、映像に映されているユーザＢは、その映像の視聴者であるユーザＡとコミュニケーションを行うことができる。

ステップＳ２４の処理後、または、ステップＳ２３で視聴者であるユーザＡとの通信を行わないと判定された場合、処理はステップＳ２１に戻り、以下、同様の処理が繰り返して行われる。

以上のように、情報処理装置１２Ａおよび情報処理装置１２Ｂがコミュニケーション処理を行うことにより、ユーザＡおよびユーザＢは、互いの現状情報を確認した後に、映像および音声による通信を行うことができる。これにより、ユーザＡおよびユーザＢは、より円滑なコミュニケーションを行うことができる。

なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。

また、上述した一連の処理（情報処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。

図６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、本技術は以下のような構成も取ることができる。
（１）
再生中の映像に映されている人物を通信相手として、前記通信相手の現在の状況を示す現状情報を通信により取得する現状情報通信部と、
前記現状情報通信部が取得した前記通信相手の現状情報を、前記映像を視聴している視聴者に提示する現状情報提示部と
を備える情報処理装置。
（２）
前記映像は、自由視点タイムシフト映像である
上記（１）に記載の情報処理装置。
（３）
前記現状情報通信部が取得した前記通信相手の現状情報に基づいて、前記通信相手が前記視聴者とのコミュニケーションに応答できるか否かを判定する処理を行って、その判定結果を前記通信相手の現状情報として前記視聴者に提示させる現状情報処理部
をさらに備える上記（１）または（２）に記載の情報処理装置。
（４）
前記視聴者が前記通信相手に対するコミュニケーションを図ろうとしたときに、前記視聴者の現在の状況を示す現状情報を取得する現状情報取得部
をさらに備え、
前記現状情報通信部は、前記現状情報取得部が取得した前記視聴者の現状情報を前記通信相手側の情報処理装置に送信する
上記（１）から（３）までのいずれかに記載の情報処理装置。
（５）
前記映像は、前記視聴者により視点位置および視線方向を自由に変更することができるとともに、前記視聴者により再生時刻を自由に移動することができる自由視点タイムシフト映像であり、
前記視聴者の現状情報として、前記自由視点タイムシフト映像の視聴状況を示す情報が用いられる
上記（４）に記載の情報処理装置。
（６）
前記通信相手との間で、映像および音声による通信を行う映像音声通信部
をさらに備える
上記（１）から（５）までのいずれかに記載の情報処理装置。
（７）
再生中の映像に映されている人物を通信相手として、前記通信相手の現在の状況を示す現状情報を通信により取得し、
取得した前記通信相手の現状情報を、前記映像を視聴している視聴者に提示する
ステップを含む情報処理方法。
（８）
再生中の映像に映されている人物を通信相手として、前記通信相手の現在の状況を示す現状情報を通信により取得し、
取得した前記通信相手の現状情報を、前記映像を視聴している視聴者に提示する
ステップを含む情報処理をコンピュータに実行させるプログラム。
（９）
ユーザが映されている映像を視聴している視聴者が、前記ユーザを通信相手としてコミュニケーションを図ろうとしたことに応じて送信されてくる前記視聴者の現在の状況を示す現状情報を取得する現状情報通信部と、
前記現状情報通信部が取得した前記視聴者の現状情報を前記ユーザに提示する現状情報提示部と
を備える情報処理装置。
（１０）
前記ユーザの現在の状況を示す現状情報を取得する現状情報取得部
をさらに備え、
前記現状情報通信部は、前記現状情報取得部が取得した前記ユーザの現状情報を前記視聴者側の情報処理装置に送信する
上記（９）に記載の情報処理装置。
（１１）
前記ユーザが前記視聴者と通話可能であるか否かの判定結果に従って、前記視聴者との間で、映像および音声による通信を行う映像音声通信部
をさらに備える上記（９）または（１０）に記載の情報処理装置。
（１２）
ユーザが映されている映像を視聴している視聴者が、前記ユーザを通信相手としてコミュニケーションを図ろうとしたことに応じて送信されてくる前記視聴者の現在の状況を示す現状情報を取得し、
取得した前記視聴者の現状情報を前記ユーザに提示する
ステップを含む情報処理方法。
（１３）
ユーザが映されている映像を視聴している視聴者が、前記ユーザを通信相手としてコミュニケーションを図ろうとしたことに応じて送信されてくる前記視聴者の現在の状況を示す現状情報を取得し、
取得した前記視聴者の現状情報を前記ユーザに提示する
ステップを含む情報処理をコンピュータに実行させるプログラム。
（１４）
再生中の映像に映されている人物を通信相手として、前記通信相手の現在の状況を示す現状情報を通信により取得する現状情報通信部と、
前記現状情報通信部が取得した前記通信相手の現状情報を、前記映像を視聴している視聴者に提示する現状情報提示部と
を有する前記視聴者側の情報処理装置と、
ユーザが映されている映像を視聴している視聴者が、前記ユーザを通信相手としてコミュニケーションを図ろうとしたことに応じて送信されてくる前記視聴者の現在の状況を示す現状情報を取得する現状情報通信部と、
前記現状情報通信部が取得した前記視聴者の現状情報を前記ユーザに提示する現状情報提示部と
を有する前記通信相手側の情報処理装置と
を備えるコミュニケーションシステム。

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

１１コミュニケーションシステム，１２情報処理装置，１３音声入力部，１４撮影部，１５出力部，１６操作部，１７通信部，２１コミュニケーション処理部，２２再生処理部，３１現状情報取得部，３２現状情報通信部，３３現状情報処理部，３４現状情報提示部，３５映像音声通信制御部，３６映像音声取得部，３７映像音声通信部，４１映像記録部，４２映像再生制御入力部，４３映像再生制御部

Claims

視聴者が映像を視聴しているときに、その映像に映されていると認識された人物の現在の状況を示す情報として、前記人物を監視することにより決定され、前記人物がコミュニケーションに応答できるか否かを示す情報を少なくとも含む現状情報を通信により取得する現状情報通信部と、
前記現状情報通信部が取得した前記現状情報を、前記映像を視聴している視聴者に提示する現状情報提示部と、
前記視聴者が前記人物に対するコミュニケーションを図ろうとして声かけを行ったときに、前記視聴者が視聴中の前記映像の内容を把握可能な情報および再生時刻を示す情報を視聴情報として取得する取得部と
を備え、
前記現状情報通信部は、前記取得部が取得した前記視聴情報を前記人物側の情報処理装置に送信する
情報処理装置。
前記映像は、自由視点タイムシフト映像である
請求項１に記載の情報処理装置。
前記現状情報通信部が取得した前記現状情報に基づいて、前記人物が前記視聴者とのコミュニケーションに応答できるか否かを判定する処理を行って、その判定結果を前記視聴者に提示させる現状情報処理部
をさらに備える請求項１に記載の情報処理装置。
前記映像は、前記視聴者により視点位置および視線方向を自由に変更することができるとともに、前記視聴者により再生時刻を自由に移動することができる自由視点タイムシフト映像であり、
前記視聴情報として、前記自由視点タイムシフト映像における視点位置および視線方向を示す情報がさらに用いられる
請求項１に記載の情報処理装置。
前記人物との間で、映像および音声による通信を行う映像音声通信部
をさらに備える請求項１に記載の情報処理装置。
視聴者が映像を視聴しているときに、その映像に映されていると認識された人物の現在の状況を示す情報として、前記人物を監視することにより決定され、前記人物がコミュニケーションに応答できるか否かを示す情報を少なくとも含む現状情報を通信により取得し、
取得した前記現状情報を、前記映像を視聴している視聴者に提示し、
前記視聴者が前記人物に対するコミュニケーションを図ろうとして声かけを行ったときに、前記視聴者が視聴中の前記映像の内容を把握可能な情報および再生時刻を示す情報を視聴情報として取得し、
前記視聴情報を前記人物側の情報処理装置に送信する
ステップを含む情報処理方法。
視聴者が映像を視聴しているときに、その映像に映されていると認識された人物の現在の状況を示す情報として、前記人物を監視することにより決定され、前記人物がコミュニケーションに応答できるか否かを示す情報を少なくとも含む現状情報を通信により取得し、
取得した前記現状情報を、前記映像を視聴している視聴者に提示し、
前記視聴者が前記人物に対するコミュニケーションを図ろうとして声かけを行ったときに、前記視聴者が視聴中の前記映像の内容を把握可能な情報および再生時刻を示す情報を視聴情報として取得し、
前記視聴情報を前記人物側の情報処理装置に送信する
ステップを含む情報処理をコンピュータに実行させるプログラム。
ユーザが映されている映像を視聴している視聴者が、前記ユーザとコミュニケーションを図ろうとして声かけを行ったことに応じて送信されてくる前記視聴者の視聴情報として、前記映像の内容を把握可能な情報および再生時刻を示す情報を取得する現状情報通信部と、
前記現状情報通信部が取得した前記視聴情報を前記ユーザに提示する現状情報提示部と
を備える情報処理装置。
前記ユーザの現在の状況を示す情報として、前記ユーザを監視することにより決定され、前記ユーザがコミュニケーションに応答できるか否かを示す情報を少なくとも含む現状情報を取得する取得部
をさらに備え、
前記現状情報通信部は、前記取得部が取得した前記ユーザの現状情報を前記視聴者側の情報処理装置に送信する
請求項８に記載の情報処理装置。
前記ユーザが前記視聴者と通話を許可する操作を行うのに従って、前記視聴者との間で、映像および音声による通信を行う映像音声通信部
をさらに備える請求項８に記載の情報処理装置。
ユーザが映されている映像を視聴している視聴者が、前記ユーザとコミュニケーションを図ろうとして声かけを行ったことに応じて送信されてくる前記視聴者の視聴情報として、前記映像の内容を把握可能な情報および再生時刻を示す情報を取得し、
取得した前記視聴情報を前記ユーザに提示する
ステップを含む情報処理方法。
ユーザが映されている映像を視聴している視聴者が、前記ユーザとコミュニケーションを図ろうとして声かけを行ったことに応じて送信されてくる前記視聴者の視聴情報として、前記映像の内容を把握可能な情報および再生時刻を示す情報を取得し、
取得した前記視聴情報を前記ユーザに提示する
ステップを含む情報処理をコンピュータに実行させるプログラム。
視聴者が映像を視聴しているときに、その映像に映されていると認識された人物の現在の状況を示す情報として、前記人物を監視することにより決定され、前記人物がコミュニケーションに応答できるか否かを示す情報を少なくとも含む現状情報を通信により取得する現状情報通信部と、
前記現状情報通信部が取得した前記現状情報を、前記映像を視聴している視聴者に提示する現状情報提示部と、
前記視聴者が前記人物に対するコミュニケーションを図ろうとして声かけを行ったときに、前記視聴者が視聴中の前記映像の内容を把握可能な情報および再生時刻を示す情報を視聴情報として取得する取得部と
を有し、
前記現状情報通信部は、前記取得部が取得した前記視聴情報を前記人物側の情報処理装置に送信する
前記視聴者側の情報処理装置と、
ユーザが映されている映像を視聴している視聴者が、前記ユーザとコミュニケーションを図ろうとして声かけを行ったことに応じて送信されてくる前記視聴者の視聴情報として、前記映像の内容を把握可能な情報および再生時刻を示す情報を取得する現状情報通信部と、
前記現状情報通信部が取得した前記視聴情報を前記ユーザに提示する現状情報提示部と
を有する前記人物側の情報処理装置と
を備えるコミュニケーションシステム。