JP7163908B2 - 情報処理装置、情報処理方法、および記録媒体 - Google Patents

情報処理装置、情報処理方法、および記録媒体 Download PDF

Info

Publication number
JP7163908B2
JP7163908B2 JP2019513233A JP2019513233A JP7163908B2 JP 7163908 B2 JP7163908 B2 JP 7163908B2 JP 2019513233 A JP2019513233 A JP 2019513233A JP 2019513233 A JP2019513233 A JP 2019513233A JP 7163908 B2 JP7163908 B2 JP 7163908B2
Authority
JP
Japan
Prior art keywords
information
user
adjustment parameter
users
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019513233A
Other languages
English (en)
Other versions
JPWO2018193687A1 (ja
Inventor
祐介 阪井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018193687A1 publication Critical patent/JPWO2018193687A1/ja
Application granted granted Critical
Publication of JP7163908B2 publication Critical patent/JP7163908B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/157Conference systems defining a virtual conference space and using avatars or agents

Description

本開示は、情報処理装置、情報処理方法、および記録媒体に関する。
近年、通信技術の発達により、遠隔地で映像を介して会話を行うテレビ電話会議システムが提案されている。具体的には、例えば表示装置、カメラ、マイク、およびスピーカが各空間に設けられ、ある空間で撮影された映像および収音された音声データが、リアルタイムで、他の空間に設置された表示装置およびスピーカから出力される。
このような双方向通信技術に関し、例えば下記特許文献1では、ユーザの状態情報に基づいて、自分と通信相手の通信に対する要求の度合いを判断し、相互に不都合のない快適なコミュニケーションを行う技術が提案されている。
特許第4645355号公報
しかし、上記特許文献1に記載の技術では、各地点の接続要求度に応じて情報開示レベルを調整しながら空間同士を接続可能なものの、各地点の情報開示レベルを均一に調整するものに過ぎなかった。ユーザ間で見たい/見たくない/見せたい/見せたくない情報が異なり得ることを考慮すれば、均一な調整は好ましいものではない。
そこで、本開示では、非対称性を許容しながら空間同士を接続することで、より快適なコミュニケーションを実現することが可能な仕組みを提供する。
本開示によれば、通信する複数のユーザの各々に関する空間情報の公開設定に基づいて、前記空間情報の調整パラメータを前記複数のユーザ間での双方向の公開に関し非対称に決定する決定部と、前記調整パラメータに基づいて加工された通信相手のユーザに関する前記空間情報、及び前記調整パラメータの決定理由を示す情報を含む出力情報を、前記ユーザへ出力する出力制御部と、を備える情報処理装置が提供される。
また、本開示によれば、通信する複数のユーザの各々に関する空間情報の公開設定に基づいて、前記空間情報の調整パラメータを前記複数のユーザ間での双方向の公開に関し非対称に決定することと、前記調整パラメータに基づいて加工された通信相手のユーザに関する前記空間情報、及び前記調整パラメータの決定理由を示す情報を含む出力情報を、出力装置により前記ユーザへ出力することと、を含む情報処理方法が提供される。
また、本開示によれば、コンピュータを、通信する複数のユーザの各々に関する空間情報の公開設定に基づいて、前記空間情報の調整パラメータを前記複数のユーザ間での双方向の公開に関し非対称に決定する決定部と、前記調整パラメータに基づいて加工された通信相手のユーザに関する前記空間情報、及び前記調整パラメータの決定理由を示す情報を含む出力情報を、前記ユーザへ出力する出力制御部と、として機能させるためのプログラムを記録した記録媒体が提供される。
以上説明したように本開示によれば、非対称性を許容しながら空間同士を接続することで、より快適なコミュニケーションを実現することが可能な仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本実施形態に係るコミュニケーションシステムの全体構成を示す図である。 本実施形態に係るコミュニケーションシステムにおいて送受信される情報チャンネルの一例を示す図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る調整パラメータの決定処理の一例を説明するための図である。 本実施形態に係るコミュニケーションシステムにおいて実行される空間接続処理の流れの一例を示すシーケンス図である。 本実施形態に係る情報処理装置において実行される調整パラメータ決定処理の流れの一例を示すフローチャートである。 本実施形態に係る出力情報の一例を説明するための図である。 本実施形態に係る調整パラメータ決定ステータスの第1の表示例を説明するための図である。 本実施形態に係る調整パラメータ決定ステータスの第2の表示例を説明するための図である。 本実施形態に係る調整パラメータ決定ステータスの第3の表示例を説明するための図である。 本実施形態に係る空間映像情報の第1の表示例を説明するための図である。 本実施形態に係る空間映像情報の第2の表示例を説明するための図である。 本実施形態に係る空間映像情報の第3の表示例を説明するための図である。 本実施形態に係る空間映像情報の第4の表示例を説明するための図である。 本実施形態に係る空間映像情報の第6の表示例を説明するための図である。 本実施形態に係る空間映像情報の第7の表示例を説明するための図である。 本実施形態に係る空間映像情報の第8の表示例を説明するための図である。 本実施形態に係る空間映像情報の第9の表示例を説明するための図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の要素を、必要に応じて情報処理装置10A、10B及び10Cのように区別する。ただし、実質的に同一の機能構成を有する複数の要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、情報処理装置10A、10B及び10Cを特に区別する必要が無い場合には、単に情報処理装置10と称する。
なお、説明は以下の順序で行うものとする。
1.はじめに
1.1.概要
1.2.関連技術
2.情報処理装置の構成
3.動作処理
4.出力情報の具体例
5.切り替え処理
6.ハードウェア構成例
7.まとめ
<<1.はじめに>>
<1.1.概要>
本開示の一実施形態に係るコミュニケーションシステム1の概要について図1及び図2を参照して説明する。
図1は、本実施形態に係るコミュニケーションシステム1の全体構成を示す図である。図1に示すように、本実施形態に係るコミュニケーションシステム1では、情報処理装置10A、10B、10Cがネットワーク20を介して接続されている。各情報処理装置10A、10B、10Cは、地点A、地点B、地点Cにそれぞれ配置され、各地点の空間を映像・音声・その他の情報チャンネルによって接続し、あたかも各空間がつながっているように感じさせることができる。例えば親と子供が離れて暮らしている際に、互いのリビング空間が窓やドアに相当する表示装置を介してつながっているように見せることを可能とする。互いのリビング空間が接続する場合、ユーザは、相手空間の様子(例えば、子供の様子や親の様子等)を大まかに把握しながら生活することができる。
コミュニケーションシステム1は、各空間で空間情報(例えば、映像及び音声等)を常時送受信し合うことで空間同士を常時接続する。常時接続サービスにより、遠隔地にある空間/ユーザ同士を、高臨場感で接続することが可能となる。しかしその一方で、空間/ユーザ同士での状況の差異や心理状態のずれ(騒音レベルの差、緊張感の差、場のムードの差、プライバシー感の差、接続要求(みたい、みせたい)の差)に起因する不快感が生じ得る。そこで、コミュニケーションシステム1は、接続されるユーザ双方の、見せたい/見せたくない/見たい/見たくないといった接続要求を送受信し合う情報に反映する。とりわけ、本実施形態では、送受信し合う情報を非対称にすることを許容するので、双方にとって心地よいつながり感を提供することが可能である。ここで、つながり感とは、空間がつながっているような感覚であり、安心感や互いの存在感として言い換えることも可能である。なお、コミュニケーションシステム1は、2地点間を接続することも可能であるし、3地点以上の多地点接続を行ってもよい。
情報処理装置10A~10Cは、双方向通信の同期処理、空間情報の送受信処理及び出力処理等を行う。これらの処理の少なくとも一部は、処理サーバ30で行われてもよい。また、図1に示す例ではコミュニケーションシステム1が処理サーバ30を含む構成となっているが、本開示はこれに限定されず、処理サーバ30を含まない構成としてもよい。
図2は、本実施形態に係るコミュニケーションシステム1において送受信される情報チャンネルの一例を示す図である。図2に示すように、地点AにいるユーザAと地点BにいるユーザB1及びB2とが、映像、音声、環境データ、テキスト、触覚、及び匂い等の複数の情報チャンネルを介して接続されている。そのため、ユーザAとユーザB1及びB2とは、互いの地点の映像、音声、環境データ、テキスト、触覚、及び匂い等を把握し、つながり感を得ることが可能である。
<1.2.関連技術>
(1)呼び出し方式
本方式は、発呼側が着呼側を呼び出す方式である。本方式は、電話、インターネット電話、又はテレビ会議システム等で採用される。着呼側の事前の承認を受けてから呼び出す場合も、本方式に含む。
本方式は、発呼側の都合によって発呼ができるため、着呼側にとっては必ずしも通話を開始可能又は希望している状況でなくとも強制的に通話を促されるといった、不快感や使いにくさを生じさせていた。逆に、発呼側にとっても、相手に配慮して発呼を躊躇うこともあった。
このような不便さを防止又は軽減する対策として、振動又はLEDの点灯を用いた通知により、着信を無音化又は静音化することが行われている。しかし、これらの対策では、必ず着呼させる、即ち着呼をユーザに気付かせる効果が低下していた。他にも、着呼側が電源をOFFにする、又は留守録モードにする等の対策も考えられるものの、やはり通話要求に応答できない、という点では十分ではない。
また、他の対策として、ユーザ同士で会議中又は離席中等のステータスを事前に開示し共有することで、双方が通話可能なタイミングで発呼する手法がある。しかし、この手法によれば、自身のステータスを常時入力する手間がかかったり、またその手間のためにステータスの更新頻度が低下したりしていた。また、スケジュール情報又はユーザが使用する端末の機器情報等に基づいてステータスが自動で更新される場合にも、ステータスが正しいのか、本当に通話が可能なのか、といった疑念が生じかねず、信憑性や正確さには欠けていた。
(2)監視カメラ方式
本方式は、監視者が監視対象者(即ち、被監視者)を一方的に監視する方式である。本方式は、例えば介護対象となる高齢者、幼児又はペットとその保護者、従業員と雇い主のように、関係性に非対称性があるユーザ/空間同士を接続する際に採用される。
本方式では、例外もあり得るが、監視対象者から監視者へ情報が一方的に送信される。この場合、監視対象者は、非常に大きなプライバシー侵害感を覚え、精神的負荷がかかる。また、監視者にとっても、倫理的義務感が課せられる。そのため、対等な関係性を有する、又は対応な関係性を持ちたい間柄では、本方式は採用されない。
(3)常時テキスト接続方式
本方式は、ユーザ間でテキストメッセージを常時送受信する方式である。
SMS(short message service)等のメッセージングアプリケーションでは、相互にテキスト入力情報や画像を送り合うことで、呼び出し方式や監視カメラ方式では提供困難だった、ユーザ同士が常時つながっている感覚(即ち、つながり感)を提供可能である。しかしながら、本方式は、あくまでユーザが能動的に入力した情報が送受信されるのみであった。そのため、入力された情報が、実際にユーザが置かれている状況やユーザの状態と異なる場合があった。また、ユーザの無意識の行動等のユーザが意識しない情報は入力されないのでそもそもやり取りされず、提供可能なつながり感は表層的なものに留まっていた。
(4)つながり感調整方式
本方式は、上記特許文献1に開示された方式であり、各地点の接続要求度に応じて、情報開示レベル(即ち、プライバシー開示レベル)を調整する方式である。しかしながら、本方式では、各地点の情報開示レベルを均一に調整するものに過ぎなかった。
<<2.情報処理装置の構成>>
図3は、本実施形態に係る情報処理装置10の構成の一例を示すブロック図である。図3に示すように、情報処理装置10は、入力部110、出力部120、通信部130、記憶部140及び制御部150を含む。
以下では、情報処理装置10が入出力を担当する地点、空間及びユーザ並びにこれらに対応する情報に、「第1」というインデックスを付す場合がある。また、情報処理装置10の通信相手のひとつ又は複数の情報処理装置10が入出力を担当する地点、空間及びユーザ並びにこれらに対応する情報に、「第2」というインデックスを付す場合がある。例えば、情報処理装置10は、第1のユーザがいる第1の空間において取得された第1の空間情報を、通信相手の情報処理装置10に(換言すると、第2のユーザに/第2の空間に/第2の地点に)送信する。また、情報処理装置10は、第2のユーザがいる第2の空間において取得された第2の空間情報を、通信相手の情報処理装置10から受信して、第1のユーザへ出力する。また、情報処理装置10Aに関しては、ユーザAが第1のユーザであり、他のユーザが第2のユーザである。なお、第2のユーザは、複数であってもよく、詳しくは、ひとつの第2の地点に複数の第2のユーザがいてもよいし、複数の第2の地点に複数の第2のユーザが分散していてもよい。
(1)入力部110
入力部110は、空間情報を入力する機能を有する。具体的には、入力部110は、第1のユーザに関する第1の空間情報を入力する。入力部110により入力される第1の空間情報としては、例えば、第1のユーザの/第1のユーザがいる又は第1のユーザに関連付けられた空間(居室等。不在でもよい)の映像、音声、環境データ、テキスト、触覚、及び匂いといった情報が含まれる。具体的には、空間情報は、空間の明るさ、温度、湿度、環境音、空間の広さ、及び情報処理装置10の状態等の、空間の状態を示す情報を含み得る。また、空間情報は、第1のユーザの位置、第1のユーザと出力情報の表示領域との距離、第1のユーザの動き、第1のユーザの注視点、同一空間にいる第1のユーザの人数及び構成、並びに第1のユーザの姿勢等の、第1のユーザの状態を示す情報を含む。
例えば入力部110は、カメラ、マイク(マイクロフォンの略称)、およびセンサにより実現される。カメラは、複数であってもよく、空間内(例えばリビング)を撮像し、撮像画像を取得する。また、マイクは、複数であってもよく、空間内の音声や、空間周辺(例えば隣の部屋、廊下、家の外等)の環境音を集音し、音声データを取得する。また、センサは、空間内や空間周辺の各種情報を検知する機能を有し、例えば、温度センサ、湿度センサ、照度センサ、匂いセンサ、人感センサ、およびドア開閉センサ等が想定される。
(2)出力部120
出力部120は、出力制御部155による制御に基づいて、各デバイスを用いて出力情報を出力する。例えば出力部120は、ディスプレイ又はプロジェクタ等の表示装置、スピーカ等の音声出力装置、及びLEDランプ又はインジゲータ等の通知装置を含み、表示出力、音声出力、及び通知出力を行う。表示装置は、出力制御部155により生成された空間画像情報を表示する。また、音声出力装置は、出力制御部155により生成された空間音声情報を出力する。
(3)通信部130
通信部130は、情報処理装置10と他の装置との情報の送受信を行う。例えば、通信部130は、第2のユーザ、即ち通信相手の情報処理装置10との間で空間情報の送受信を行う。
(4)記憶部140
記憶部140は、情報処理装置10による動作のための情報を一時的に又は恒久的に記憶する。例えば、記憶部140は、空間情報及び接続要求設定を記憶する。
(5)制御部150
制御部150は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置10内の動作全般を制御する。制御部150は、設定部151、決定部153及び出力制御部155を含む。なお、制御部150は、これら以外の構成要素も含み得る。即ち、制御部150は、これらの構成要素による動作以外の動作も行い得る。以下、これらの構成要素について詳しく説明する。
(6)設定部151
設定部151は、接続要求設定を設定する機能を有する。接続要求設定とは、空間の接続に関する設定情報である。接続要求設定は、接続要求レベル、プライバシー設定、通信量抑制設定、及び個別設定等を含む。接続要求レベルとは、空間の接続度合いをレベル(即ち、数字)で規定する設定情報である。プライバシー設定とは、見せたい/見せたくない/見たい/見たくない情報の設定である。通信量抑制設定とは、通信量を抑制するための設定である。個別設定とは、ユーザの趣味趣向を出力情報に反映させるための設定である。
とりわけ、設定部151は、第1のユーザに関する第1の接続要求設定を設定する。例えば、第1の接続要求設定は、第1のユーザに関する第1の空間情報の第2のユーザへの公開(即ち、送信/伝送)に関する、第1の公開設定を含む。第1の公開設定により、第1のユーザは、例えば第1の空間情報の少なくとも一部をフィルタリングして(例えば、選択的に)第2のユーザへ送信することが可能となる。また、第1の接続要求設定は、第2のユーザに関する第2の空間情報の第1のユーザへの出力に関する、第1の出力設定を含む。第1の出力設定により、第1のユーザは、第2のユーザから受信された第2の空間情報の少なくとも一部をフィルタリングして(例えば、選択的に)第1のユーザへ出力することが可能となる。
設定部151は、第1のユーザからの音声入力等の意識的な指示に基づいて、接続要求設定を設定してもよい。他にも、設定部151は、第1の空間又は第1のユーザの状態に基づいて自動的に接続要求設定を設定してもよい。例えば、設定部151は、第1の空間が散らかっている又は電気が消えている等の所定の状態にある場合に、接続要求レベルを低く再設定してもよい。また、設定部151は、表示された出力情報に第1のユーザが近づいた場合に接続要求レベルを高く再設定し、遠のいた場合に接続要求レベルを低く再設定してもよい。また、設定部151は、第1のユーザが着替える等の所定の行動を行った場合に、接続要求レベルを低く再設定してもよい。このような自動的な設定により、ユーザのプライバシーを守り、接続の継続性を担保することが可能となる。
設定部151は、接続要求設定を、通信相手の情報処理装置10との間で共有する。例えば、設定部151は、第1の接続要求設定を通信相手の情報処理装置10に送信し、通信相手の情報処理装置10から第2の接続要求設定を受信する。なお、第2の接続要求設定は、第2のユーザに関する第2の空間情報の第1のユーザへの公開に関する第2の公開設定、及び第1のユーザに関する第1の空間情報の第2のユーザへの出力に関する第2の出力設定を含む。
(7)決定部153
決定部153は、通信する複数のユーザの接続要求設定に基づいて、各々のユーザに関する空間情報の加工に関する調整パラメータを決定する機能を有する。即ち、決定部153は、第1の接続要求設定及び第2の接続要求設定に基づいて、第1の空間情報の加工及び第2の空間情報の加工に関する調整パラメータを決定する機能を有する。ここでの加工は、情報処理装置10における第1の空間情報の加工及び第2に空間情報の加工、並びに通信相手の情報処理装置10における第1の空間情報の加工及び第2に空間情報の加工を指す。
詳しくは、決定部153は、通信する複数のユーザに関する空間情報の公開設定に基づいて、公開に関する調整パラメータを決定する。即ち、決定部153は、第1のユーザに関する第1の空間情報の第2のユーザへの公開に関する第1の公開設定、及び第2のユーザに関する第2の空間情報の第1のユーザへの公開に関する第2の公開設定に基づいて、公開に関する調整パラメータを決定する。より簡易には、決定部153は、第1のユーザが第2のユーザに見せたい空間情報が公開されるように、また、第2のユーザが第1のユーザに見せたい空間情報が公開されるように、公開に関する調整パラメータを決定する。公開に関する調整パラメータとは、入力された空間情報のうち公開することが許容される情報チャネル及び情報量、送信前に適用すべき画像処理、並びに送信する際に適用すべき送信処理等を示す情報である。
また、決定部153は、通信する複数のユーザに関する空間情報の出力設定に基づいて、出力に関する調整パラメータを決定する。即ち、決定部153は、第2のユーザに関する第2の空間情報の第1のユーザへの出力に関する第1の出力設定、及び第1のユーザに関する第1の空間情報の第2のユーザへの出力に関する第2の出力設定に基づいて、出力に関する調整パラメータを決定する。より簡易には、決定部153は、受信された第2のユーザの空間情報のうち第1のユーザが見たい空間情報が出力されるように、また、受信された第1のユーザの空間情報のうち第2のユーザが見たい空間情報が出力されるように出力に関する調整パラメータを決定する。出力に関する調整パラメータとは、通信相手から受信された空間情報のうち出力することが許容される情報チャネル及び情報量、出力前に適用すべき画像処理、並びに受信する際に適用すべき受信処理等を示す情報である。
ここで、決定部153は、調整パラメータを非対称に決定可能である。より具体的には、決定部153は、通信する複数のユーザの各々に関する空間情報の公開設定に基づいて、空間情報の調整パラメータを複数のユーザ間での双方向の公開に関し非対称に決定可能である。また、決定部153は、通信する複数のユーザの各々に関する空間情報の出力設定に基づいて、空間情報の調整パラメータを複数のユーザ間での双方向の出力に関し非対称に決定可能である。つまり、決定部153は、情報処理装置10における加工のための調整パラメータと通信相手の情報処理装置10における加工のための調整パラメータとを、非対称に、即ち異ならせて決定することができる。例えば、決定部153は、通信相手から第2の空間情報のすべてが公開される場合であっても、第1の空間情報の一部のみを通信相手に公開するよう決定する。非対称性が許容されることで、個々のユーザの事情や考え方に合わせてプライバシーを適切に守ることが可能となり、これにより心地よいつながり感をユーザに与えることが可能となる。ただし、上述した監視カメラ方式のように、非対称性が過ぎる場合には、双方に心地よいつがなり感を提供することが困難になるため、非対称性は所定の範囲内に収められることが望ましい。
ここで、加工の際の情報量の削減量が小さい調整パラメータを、換言すると加工量が少ない調整パラメータを、接続性が高い調整パラメータである、とも称する。また、加工の際の情報量の削減量が大きい調整パラメータを、換言すると加工量が大きい調整パラメータを、接続性が低い調整パラメータである、とも称する。
なお、決定部153による決定は、通信相手の情報処理装置10と協働で行われてもよい。また、決定部153は、調整パラメータのうち、情報処理装置10において適用される調整パラメータのみを決定してもよく、通信相手の情報処理装置10において適用される調整パラメータは、通信相手の情報処理装置10により決定されてもよい。
調整パラメータの具体的な決定処理について、以下に詳しく説明する。
・接続要求レベルの適用
例えば、接続要求レベルと決定すべき調整パラメータとは、1対1で対応付けられていてもよく、決定部153は、かかる対応表を参照して調整パラメータを決定してもよい。
・調整マップの適用
決定部153は、第1の接続要求レベル及び第2の接続要求レベルに差がある場合、差を埋めるように接続要求レベルの補正を行ってもよい。接続要求レベルの補正も、調整パラメータの決定に含まれる処理である。もちろん、調整マップを用いた補正は行われなくてもよい。例えば、決定部153は、第1の接続要求レベル及び第2の接続要求レベルの各々を、平均値若しくは中央値に補正してもよいし、最も高い接続要求レベル又は最も低い接続要求レベルに補正してもよい。補正には、調整マップが適用され得る。その一例を、図4を参照して説明する。
図4は、本実施形態に係る調整パラメータの決定処理の一例を説明するための図である。図4では、ユーザAとユーザBとの通信に関する接続要求レベルの補正のための調整マップが示されている。横軸は、ユーザBとの通信に対するユーザAの接続要求レベルを3段階(閉鎖的(closed)、開放的(open)、積極的(active))で表している。また、縦軸は、ユーザAとの通信に対するユーザBの接続要求レベルを3段階(閉鎖的(closed)、開放的(open)、積極的(active))で表している。図4に示した調整マップによれば、ユーザAとユーザBの接続要求レベルが共に積極的(active)であれば、接続要求レベルは積極的(active)に補正される(即ち、補正されない)。また、ユーザAとユーザBの接続要求レベルの少なくとも一方が閉鎖的(closed)であれば、接続要求レベルは閉鎖的(closed)に補正される(即ち、閉鎖的(closed)ではない一方の接続要求レベルが、閉鎖的(closed)に補正される)。また、これら以外の場合、接続要求レベルは開放的(open)に補正される。
なお、上記図4に示した調整マップは、最も低い接続要求レベルに補正するためのマップである、と言える。決定部153は、最も高い接続要求レベルに補正するマップ等の、図4に示した調整マップ以外の調整マップを適用してもよい。
・プライバシー設定の適用
決定部153は、プライバシー設定に基づいて、調整パラメータを決定してもよい。プライバシー設定の一例を、下記の表1に示す。
Figure 0007163908000001
表1は、ユーザAの他のユーザに対するプライバシー設定の一例が示されている。プライバシー設定は、通信相手ごとに設定されてもよい。
「モード」は、設定モードの名前である。具体的な設定は、他の項目において定義される。「モード」は、適用すべき調整マップを指定する情報であってもよい。例えば、開放優先であれば、決定部153は、複数の接続要求レベルのうち、最も高い接続要求レベルに補正する調整マップを適用する。また、プライバシー保護優先であれば、決定部153は、複数の接続要求レベルのうち、最も低い接続要求レベルに補正する調整マップを適用する。また、バランス優先であれば、決定部153は、複数の接続要求レベルのうち、平均値又は中央値の接続要求レベルに補正する調整マップを適用する。
「自分から相手」とは、第1のユーザから第2のユーザへの第1の空間情報の公開に関する設定である。また、「相手から自分」とは、第2のユーザから第1のユーザへの第2の空間情報の公開に関する設定である。映像OK/映像ぼかしとは、映像をそのまま又はぼかして(若しくはぼかしを強くして)公開されることを指す。音声OK/ミュート/小さくとは、音声をそのまま/ミュートして/小さくして公開されることを指す。
「非対称許容」とは、調整パラメータの非対称性を許容するか否かの設定である。表1に示すように、非対称性が許容される場合、「自分から相手」へ公開される情報と、「相手から自分」へ公開される情報とが一致しない。
このように、プライバシー考慮モードの設定が反映されることで、例えば空間情報を等しく公開し合ったり、プライバシーの管理制限の強い空間との接続では空間情報をぼかして公開したりする等の調整が可能となる。
・通信量抑制設定の適用
情報処理装置10は、通信量抑制設定に基づいて、調整パラメータを決定してもよい。通信量抑制設定の一例を、下記の表2に示す。
Figure 0007163908000002
表2は、ユーザAの他のユーザに対する通信量抑制設定の一例が示されている。通信量抑制設定は、通信相手ごとに設定されてもよい。
「モード」とは、設定モードの名前である。具体的な設定は、他の項目において定義される。例えば、抑制量大であれば通信量が大きく抑制される。具体的には、圧縮率及び間欠率が大きく、中程度の遅延を許容した送信/受信処理が行われる。例えば、抑制量小であれば通信量が小さく抑制される。具体的には、圧縮率及び間欠率が小さく、小程度の遅延を許容した送信/受信処理が行われる。例えば、抑制量中程度であれば、通信量が中程度に抑制される。具体的には、圧縮率が大きく間欠率が小さく、中程度の遅延を許容した送信/受信処理が行われる。なお、間欠率とは、映像のフレームレート又は音声のサンプリングレート等を落とす率である。
例えば、ネットワークにおけるデータ量(即ち、トラフィック)又はデータコストが変動した場合を想定する。その場合、決定部153は、変動の影響を大きく受けると想定されるユーザAとユーザBとの通信に関しては圧縮率を上げて空間情報の品質を落としながら通信量を削減し、伝送遅延も大きくなることを許容する調整パラメータを決定する。一方で、決定部153は、専用の通信帯域等が想定されるユーザAとユーザCとの通信に関しては、通信量の抑制量を小さくする調整パラメータを決定する。
また、通信帯域又は品質によって、所定のつながり感を提供できない場合には、その旨がユーザに通知される。例えば、通信量の制限により、接続性を上げて接続することが困難な場合、図11に示すドーム状の囲い表示303が通知されてもよい。
なお、常時接続サービスは、ビデオチャット等のスポット的な接続サービスと比較して、常時、広帯域、且つ多地点で利用され得るので、通信トラフィック及びネットワーク負荷が増大し得る。このことは、回線品質の低下又は通信制限が課される結果につながり、ひいては常時接続サービスの品質が低下する。そのため、通信量抑制設定を適用することは、通信量を抑制する直接的な効果のみならず、常時接続サービス自体の品質を維持する効果もある。
・個別設定の適用
情報処理装置10は、個別設定に基づいて、調整パラメータを決定してもよい。個別設定とは、第1のユーザの趣味趣向に基づく設定である。個別設定は、通信相手ごとに設定されてもよい。
個別設定が適用されることにより、例えば、図11に示す仮想的な三次元空間の背景として、ゲームの街並み、森の中、街中、宇宙、海底等々、様々なシーンを設定することが可能となる。また、個別設定が適用されることにより、例えば図13を参照して説明するように、特定の第2のユーザを非表示にすることができる。
(8)出力制御部155
出力制御部155は、通信部130による第2のユーザへの情報の公開を制御し、出力部120による第1のユーザへの情報の出力を制御する機能を有する。
・公開制御
出力制御部155は、決定された調整パラメータに基づいて第1の空間情報を加工し、加工された第1の空間情報を第2のユーザへ、即ち通信相手の情報処理装置10へ送信するよう通信部130を制御する。詳しくは、出力制御部155は、公開に関する調整パラメータに従い、第1の空間情報から公開することが許容された情報チャネル及び情報量を抽出し、適用すべき画像処理を適用し、適用すべき送信処理を適用する。その際、出力制御部155は、調整パラメータに基づいて、映像サイズ、フレームレート、音声フォーマット等のモジュール別の設定データを生成し、かかる設定データに基づいて加工を行ってもよい。
・出力制御
出力制御部155は、出力情報を生成して第1のユーザへ出力するよう出力部120を制御する。
出力制御部155は、第2のユーザから、即ち通信相手の情報処理装置10から受信された第2の空間情報を、決定された調整パラメータに基づいて加工することで、出力情報を生成する。詳しくは、出力制御部155は、出力に関する調整パラメータに従い、適用すべき受信処理を適用して第2の空間情報を受信し、第2の空間情報から出力することが許容された情報チャネル及び情報量を抽出し、適用すべき画像処理を適用する。その際、出力制御部155は、調整パラメータに基づいて、映像サイズ、フレームレート、音声フォーマット等のモジュール別の設定データを生成し、かかる設定データに基づいて加工を行ってもよい。
出力情報は、少なくとも映像である空間映像情報及び音声である空間音声情報を含む。例えば、出力制御部155は、加工された第2の空間情報に含まれる映像に基づいて、空間映像情報を生成する。出力制御部155は、加工された第2の空間情報に含まれる音声に基づいて、空間音声情報を生成する。例えば、空間映像情報には、第2のユーザの様子が含まれ、空間音声情報も第2のユーザの音声が含まれる。空間音声情報に含まれる第2のユーザの音声は、空間映像情報に含まれる第2のユーザの位置に応じて定位されていることが望ましい。
また、第2のユーザが複数いる場合、即ち複数の第2の空間との間で多地点接続が行われる場合、出力制御部155は、2地点間の接続を時分割で切り替えてもよいし、多地点の情報を並列的に出力してもよい。
もちろん、出力制御部155は、映像や音声以外にも、テキストや環境データ等に基づいて出力情報を生成してもよい。
<<3.動作処理>>
以下、図5及び図6を参照して、本実施形態に係る動作処理を説明する。
図5は、本実施形態に係るコミュニケーションシステム1において実行される空間接続処理の流れの一例を示すシーケンス図である。図5に示すように、本シーケンスには、情報処理装置10A及び情報処理装置10Bが関与する。
まず、情報処理装置10Aは、ユーザBへの接続要求を送信する(ステップS102A)。情報処理装置10Bが、ユーザAからの接続要求を受諾すると、情報処理装置10Aと情報処理装置10Bとのセッションが開始される(ステップS102B)。
次いで、情報処理装置10Aは、ユーザBとの接続要求設定を設定して情報処理装置10Bと共有する(ステップS104A)。また、情報処理装置10Bは、ユーザAとの接続要求設定を設定して情報処理装置10Aと共有する(ステップS104B)。
そして、情報処理装置10A及び情報処理装置10Bは、各々が設定した接続要求設定に基づいて調整パラメータを決定する(ステップS106)。
次に、情報処理装置10A及び情報処理装置10Bは、決定された調整パラメータに基づいて送信する空間情報を加工して、互いに相手へ送信する(ステップS108A、S108B)。
次いで、情報処理装置10Aは、決定された調整パラメータに基づいて、情報処理装置10Bから受信した空間情報を加工して出力情報を生成する(ステップS110A)。また、情報処理装置10Bは、決定された調整パラメータに基づいて、情報処理装置10Aから受信した空間情報を加工して出力情報を生成する(ステップS110B)。
そして、情報処理装置10A及び情報処理装置10Bは、各々が生成した出力情報を出力する(ステップS112A、S112B)。
情報処理装置10A及び情報処理装置10Bは、セッションが切断されるまで(ステップS114A/NO、S114B/NO)、上記説明した処理を繰り返す。詳しくは、互いの接続要求設定のいずれかに変更があるまで(ステップS116A/NO、又はS116B/NO)、情報処理装置10A及び情報処理装置10Bは、ステップS108A~S114A及びS108B~S114Bに係る処理を繰り返す。互いの接続要求設定の少なくともいずれか一方に変更があった場合には(ステップS116A/YES、又はS116B/YES)、情報処理装置10A及び情報処理装置10Bは、ステップS104A、S104B及びS106に係る処理も行う。
セッションが切断される場合(ステップS114A/YES、S114B/YES)、例えば、情報処理装置10Aは、ユーザBへの切断要求を送信する(ステップS118A)。情報処理装置10Bが、ユーザAとの切断を受諾すると、情報処理装置10Aと情報処理装置10Bとのセッションが切断される(ステップS118B)。
以上、コミュニケーションシステム1において実行される空間接続処理の全体的な流れの一例を説明した。続いて、図6を参照して、上記ステップS106における調整パラメータ決定処理について詳しく説明する。
図6は、本実施形態に係る情報処理装置10(10A及び10B)において実行される調整パラメータ決定処理の流れの一例を示すフローチャートである。図6に示すように、まず、情報処理装置10は、調整マップ、プライバシー設定、通信量抑制設定、及び個別設定を取得する(ステップS202、S204、S206、S208)。そして、情報処理装置10は、取得した調整マップ、プライバシー設定、通信量抑制設定、及び個別設定といった各種設定に基づいて、調整パラメータを決定する(ステップS210)。次いで、情報処理装置10は、決定された調整パラメータに基づいて、モジュール別の設定情報を生成する(ステップS212)。
<<4.出力情報の具体例>>
以下、図7~図18を参照しながら、出力情報の具体例を説明する。
(1)出力情報の概要
図7は、本実施形態に係る出力情報の一例を説明するための図である。図7では、ユーザAがいる空間において、出力情報200が表示されている。出力情報200は、通信先のユーザB1及びB2を含む空間映像情報210を含んでいる。なお、空間映像情報のアスペクト比は任意である。
また、出力情報200は、調整パラメータに基づいて加工されユーザBへ送信されるユーザAの空間情報、より簡易には通信先において表示されるユーザAを含む空間映像情報を示すプレビュー画面220を含む。プレビュー画面220が表示されることで、ユーザAは、自分の情報がどのように通信相手に公開されているのかを確認することが可能となる。よって、例えばユーザAは、自身が設定した接続要求設定が反映されており、過度に情報が公開されていないことを確認し、安心することが可能となる。
また、出力情報200は、調整パラメータ決定ステータス230を含む。調整パラメータ決定ステータス230は、調整パラメータの決定理由を示す情報である。調整パラメータ決定ステータス230は、通信する複数のユーザの公開設定を示す情報を含む。詳しくは、調整パラメータ決定ステータス230は、第1の接続要求設定を示す情報231を含む。第1の接続要求レベルを示す情報231は、例えばユーザAの接続要求レベルを3段階(1:閉鎖的(closed)、2:開放的(open)、3:積極的(active))で示す情報であり、本図に示された例ではレベル1である。また、調整パラメータ決定ステータス230は、第2の接続要求設定を示す情報232を含む。第2の接続要求設定を示す情報232は、例えばユーザB1及びB2の接続要求レベルを3段階(1:閉鎖的(closed)、2:開放的(open)、3:積極的(active))で示す情報であり、本図に示された例ではレベル3である。また、調整パラメータ決定ステータス230は、決定された調整パラメータを示す情報233を含む。本図では、決定された調整パラメータを示す情報233として、接続要求レベルの補正結果が示されており、接続要求レベル1に補正されたことが示されている。このような、調整パラメータの決定理由を示す情報が表示されることで、ユーザAは、自身の接続要求設定が反映されていることを確認し、調整結果に納得感及び安心感を持つことが可能となる。
他にも、調整パラメータ決定ステータスは、多様な情報を含み得る。例えば、調整パラメータ決定ステータスは、公開している/公開していない情報チャネルのリストを含んでいてもよい。また、調整パラメータ決定ステータスは、接続要求レベル以外の、プライバシー設定、通信量抑制設定、及び個別設定に関する適用状況を示す情報を含んでいてもよい。
(2)調整パラメータ決定ステータスのバリエーション
調整パラメータ決定ステータスは、図7に示した以外にも多様な表現がなされ得る。その一例を、図8~図10を参照して説明する。
・第1の表示例(グラフ表現)
図8は、本実施形態に係る調整パラメータ決定ステータスの第1の表示例を説明するための図である。本図では、調整パラメータ決定ステータス240は、通信する複数のユーザの公開設定を示す情報(即ち、第1の接続要求設定を示す情報、及び第2の接続要求設定を示す情報)、及び決定された調整パラメータを示す情報を、グラフ表現した情報である。第1の接続要求設定を示す情報241によれば、ユーザAの接続要求レベルは3である。第2の接続要求設定を示す情報242及び243によれば、ユーザB及びCの接続要求レベルは1及び2である。補正後の接続要求レベルを示す情報244によれば、ユーザA、B及びCの接続要求レベルの各々が1に補正されたことが示されている。また、この補正に関し補正量を示す情報245及び246が表示されている。
・第2の表示例(2次元平面表現)
図9は、本実施形態に係る調整パラメータ決定ステータスの第2の表示例を説明するための図である。本図では、調整パラメータ決定ステータス250は、通信する複数のユーザの公開設定を示す情報(即ち、第1の接続要求設定を示す情報、及び第2の接続要求設定を示す情報)、及び決定された調整パラメータを示す情報を、2次元平面にマッピングした情報である。本図では、第1のユーザであるユーザAは原点に配置され、第2のユーザであるユーザB、C及びDが、決定された調整パラメータに対応する位置に配置されている。接続要求設定を示す情報としては、接続要求レベルが各々のユーザを起点とする矢印の長さとして表現されており、矢印が長いほど接続要求レベルが低い。そして、2次元平面上のユーザ間の距離は、補正後の接続要求レベルを示している。
例えば、ユーザAからユーザBへの矢印251は、ユーザAからユーザBへの接続要求レベルが3であることを示しており、ユーザBからユーザAへの矢印252は、ユーザBからユーザAへの接続要求レベルが1であることを示している。そして、ユーザBの配置によれば、ユーザAとユーザBと間の通信に関し接続要求レベルが1に補正されたことを示している。
また、ユーザAからユーザCへの矢印253は、ユーザAからユーザCへの接続要求レベルが3であることを示しており、ユーザCからユーザAへの矢印254は、ユーザCからユーザAへの接続要求レベルが1であることを示している。そして、ユーザCの配置によれば、ユーザAとユーザCと間の通信に関し接続要求レベルが1に補正されたことを示している。
また、ユーザAからユーザDへの矢印255は、ユーザAからユーザDへの接続要求レベルが3であることを示しており、ユーザDからユーザAへの矢印256は、ユーザDからユーザAへの接続要求レベルが2であることを示している。そして、ユーザDの配置によれば、ユーザAとユーザDと間の通信に関し接続要求レベルが2に補正されたことを示している。
なお、この二次元平面における第2のユーザ同士の相対的位置関係は、第2のユーザ同士の調整パラメータ(又は接続要求設定)に対応していてもよい。例えば、この二次元平面において互いに距離が近い第2のユーザは、接続性が高い調整パラメータを用いて接続されていてもよい。また、第2のユーザは、二次元平面における互いの距離に応じて、グループ257及び258のようにグループ化されていてもよい。例えば、ひとつのグループに含まれる複数の第2のユーザは、図17を参照して後述する表示例において、ユーザAから見てひとつの視界に収まる。
・第3の表示例(フィルタ表現)
図10は、本実施形態に係る調整パラメータ決定ステータスの第3の表示例を説明するための図である。本図では、調整パラメータ決定ステータス260は、通信する複数のユーザの公開設定を示す情報(即ち、第1の接続要求設定を示す情報、及び第2の接続要求設定を示す情報)、及び決定された調整パラメータを項目ごとに列挙した情報を含む。詳しくは、調整パラメータ決定ステータス260は、ユーザA及びユーザBの接続要求レベルを示す情報261A及び261Bを含む。また、調整パラメータ決定ステータス260は、ユーザA及びユーザBの接続要求レベルの各々に対応する映像、音声及びテキスト等の項目ごとの調整パラメータを示す情報262A及び262B、及びこれらに基づいて補正された調整パラメータを示す情報263を含む。補正された調整パラメータを示す情報263によれば、ユーザA及びユーザBの空間情報は、映像の40%、音声の65%、及びテキストの70%が、互いに公開される。
(3)空間映像情報のバリエーション
空間映像情報は、図7に示した以外にも多様な表現がなされ得る。その一例を、図11~図18を参照して説明する。なお、下記に説明する表示例は、適宜組み合わせて用いられてよい。
・第1の表示例
図11は、本実施形態に係る空間映像情報の第1の表示例を説明するための図である。図11に示した空間映像情報300は、仮想的な三次元空間内に第2のユーザの映像302が配置された映像である。この空間映像情報300では、ユーザBの映像302が、調整パラメータに応じた奥行き方向の距離にある仮想的な家オブジェクトの中に配置されている。例えば、接続性が高い調整パラメータが決定された場合にはユーザBの映像302が近い距離に配置され、接続性が低い調整パラメータが決定された場合にはユーザBの映像302が遠い距離に配置される。遠くに配置されている場合、ユーザAは、ユーザBを遠くに感じるので、プライバシーが守られていると感じ、安心することが可能である。また、情報処理装置10は、ユーザBの映像302を遠くの距離に配置することで、表示サイズを小さくし、通信量を抑制することが可能である。また、空間映像情報300では、ユーザBの映像302が、ドーム状の囲い表示303で覆われており、これ以上近づくことができないこと(即ち、接続性を高められないこと)を明示的に表現している。また、情報処理装置10は、この三次元空間において、通信元または通信先からの情報をリアルタイムで反映したり、指定されたオブジェクト(仮想物体)を配置したりしてもよい。また、三次元空間の背景等のシーンも自動またはユーザによる設定により様々に適用され得る。例えば森の中、街中、宇宙、海底等々、様々なシーンの設定が可能である。
・第2の表示例
図12は、本実施形態に係る空間映像情報の第2の表示例を説明するための図である。図12に示した空間映像情報310は、調整パラメータに応じて第2のユーザの映像を時間積分した映像である。接続性が高いほど積分区間が短く、接続性が低いほど積分区間が長い。そのため、接続性が低いほど、動く物体はぼやけて又は消えて表示される。本図においては、静止しているユーザB1は明確に表示され、歩いているユーザB2はぼやけて表示されている。積分区間が長いほど、映像のフレームレートを下げることができ、通信量がより抑制される。積分区間の長さは、個別設定により柔軟に設定可能である。
・第3の表示例
図13は、本実施形態に係る空間映像情報の第3の表示例を説明するための図である。図13に示した空間映像情報320は、調整パラメータに応じて特定の第2のユーザが消された映像であり、地点BにいるユーザB1、ユーザB2及びユーザB3のうち、ユーザB1が消されている。例えば、ユーザAは母であり、ユーザB1はユーザAの息子の妻であり、ユーザB2及びユーザB2はユーザAの孫である。この場合、ユーザAは、ユーザB1を消すよう個別設定しておくことで、仲の悪いユーザB1のいない空間映像情報の提供を受けて、心地よくつながり感を得ることが可能である。ただし、このような非対称な表示は、双方のユーザにとって、誰がその場にいるのか、という認識にずれが生じ、不適切な発言が出てトラブルになる可能性がある。そこで、空間映像情報320においては、個別設定により調整パラメータが非対称に決定されたことを示す情報321が表示されている。これにより、認識のずれに基づく不適切な発言を防止することが可能である。また、ユーザB1に関する映像を消してから送信するよう調整パラメータを決定することで、通信量を抑制することが可能である。
・第4の表示例
図14は、本実施形態に係る空間映像情報の第4の表示例を説明するための図である。図14に示した空間映像情報330は、調整パラメータに応じて、第2のユーザの映像の少なくとも一部を仮想的な物体で遮蔽し、第2のユーザの映像をぼかした映像である。例えば、接続性が低いほど大きな面積が遮蔽(隠ぺい)され、第2のユーザが強くぼかされる。なお、ぼかし表現は、例えば、輪郭をあいまいにする、モザイク処理を適用する、又は解像度を下げる処理により実現される。このような遮蔽及びぼかし表現により、ユーザのプライバシーは守られる。遮蔽される領域に対応するデータの送信は不要であるし、解像度を低める等により送信するデータ量が削減されるので、通信量が抑制される。また、第2のユーザの映像をぼかす表現として、例えば映像の輝度を落とす(電灯を落として暗くするエフェクト)表現も可能である。本図についてより詳しく説明すると、空間映像情報330では、出窓のような仮想的な中間領域を挟んでユーザBがぼやけて表示されている。ここで、空間映像情報330では、ユーザA側に仮想的なカーテンのオブジェクト331Aが表示され、ユーザB側に仮想的なカーテンのオブジェクト331Bが表示されている。ユーザAは、カーテンのオブジェクト331Aを開け閉めして、遮蔽範囲を調節することが可能である。同様に、ユーザBは、カーテンのオブジェクト331Bを開け閉めして、遮蔽範囲を調節することが可能である。即ち、各々のユーザは、カーテンを開け閉めする操作を行うことで、接続性(例えば、公開設定)を容易に調節することが可能である。さらに、各々のユーザは、相手の接続性をカーテンのかかり方に基づいて容易に認識することが可能である。空間映像情報332は、ユーザAの接続性が高く、ユーザBの接続性が低い場合に表示されるものであり、カーテンのオブジェクト331Aが開け放たれており、カーテンのオブジェクト331Bが閉め切られている。一方で、空間映像情報333では、ユーザAの接続性が低く、ユーザBの接続性が高い場合に表示されるものであり、カーテンのオブジェクト331Aが閉め切られており、カーテンのオブジェクト331Bが開け放たれている。このような表現により、各々のユーザは、カーテンを閉めることで見せたくない映像を非公開としつつ見たくない映像を遮蔽することが可能となり、カーテンを開けることで見せたい映像を公開しつつ見たい映像を見ることが可能となる。また、各々のユーザは、通信相手のユーザにぼかし表現を適用することで、通信相手のユーザの存在感を薄くして、見られていないという安心感を得ることが可能となる。
・第5の表示例
空間映像情報は、第2のユーザを模した仮想的な人間オブジェクトを含む映像であってもよい。換言すると、空間映像情報に、第2のユーザそのものの映像が含まれておらずとも、例えば、第2のユーザに対応する人間の3DCG(Three-dimensional computer graphics)が第2のユーザと同様の状態や動作を再現する映像が、空間映像情報として第1のユーザに提供されてもよい。ユーザの状態や動作の再現は、例えば生体情報のセンシングやモーションキャプチャ技術により得られた情報を、デプスセンサ等により取得され予め受信されたユーザの3Dモデル情報に組み合わせることで行われ得る。これにより、映像をそのまま送信する場合と比較して、通信量を抑制することが可能である。また、調整パラメータの接続性に応じて、例えば顔や表情を似せるか否か、及び動作を似せるか否か等の第2のユーザを模す度合いが調整されてもよい。
以下では、多地点接続における表示例を設営する。
・第6の表示例
図15は、本実施形態に係る空間映像情報の第6の表示例を説明するための図である。図15に示した空間映像情報340は、調整パラメータに応じた大きさで表示される複数の第2のユーザの映像を含む映像である。例えば、接続性が高いユーザの映像ほど大きく表示され、接続性が低いユーザの映像ほど小さく表示される。空間映像情報340によれば、最も接続性が高いユーザBの映像341が最も大きく表示され、2番目に接続性が高いユーザCの映像342が2番目に大きく表示され、3番目に接続性が高いユーザDの映像343が3番目に大きく表示され、最も接続性が低いユーザEの映像344が最も小さく表示されている。なお、ユーザEからの音声はミュートされている。このように、多地点の映像を並列的に、且つ調整パラメータに応じた大きさで出力することで、心地よいつながり感を並列的に提供することが可能となる。
・第7の表示例
図16は、本実施形態に係る空間映像情報の第7の表示例を説明するための図である。図16に示した空間映像情報350は、調整パラメータに応じた大きさで表示される複数の第2のユーザの映像を含む映像である。例えば、接続性が高いユーザの映像ほど大きく表示され、接続性が低いユーザの映像ほど小さく表示される。とりわけ、本図では、縦方向いっぱいの長さを有する複数の第2のユーザの映像が横方向に並べて表示される。個々の第2のユーザの映像は、顔又は映像中央を軸に切り出され、横方向に圧縮された映像である。空間映像情報350によれば、最も接続性が高いユーザBの映像351が最も大きく表示され、2番目に接続性が高いユーザCの映像352が2番目に大きく表示され、3番目に接続性が高いユーザDの映像353が3番目に大きく表示され、最も接続性が低いユーザEの映像354が最も小さく表示されている。なお、ユーザEからの音声はミュートされている。このように、多地点の映像を並列的に、且つ調整パラメータに応じた大きさで出力することで、心地よいつながり感を並列的に提供することが可能となる。
・第8の表示例
図17は、本実施形態に係る空間映像情報の第8の表示例を説明するための図である。図17に示した空間映像情報360は、仮想的な三次元空間内に、複数の第2のユーザの映像302が、調整パラメータに応じた奥行き方向の距離に配置された映像である。最も接続性が高いユーザBの映像361は、仮想的な三次元空間においてユーザBに対応する人間の3DCGがたき火にあたっている様子として表現されている。このような表現により、ユーザAは、よりユーザBに親近感を覚え、心地よいつながり感を得ることが可能である。その他のユーザC、D及びEの映像362、363及び364は、接続性に応じた距離にある仮想的な家オブジェクトの中に配置されている。このように、第8の表示例は、第1の表示例を多地点接続に拡張しつつ、第5の表示例を組み合わせたものである。
ここで、各ユーザB、C、D、E間の距離は、お互いの接続性に対応していてもよい。換言すると、仮想的な三次元空間に配置された複数の第2のユーザの映像間の距離は、第2のユーザ間の調整パラメータに応じた距離であってもよい。この場合、互いに接続性が高いグループの映像がユーザAから見て固まって表示されることになる。そのため、互いに接続性が高いグループがユーザAから見てひとつの視界に(即ち、一画面内に)収まるように映像が配置される。そして、ユーザAを中心として仮想的な三次元空間を横方向に回転させると、他の互いに接続性が高いグループの映像がユーザAから見てひとつの視界に収まってもよい。
・第9の表示例
図18は、本実施形態に係る空間映像情報の第9の表示例を説明するための図である。
図18に示した空間映像情報370は、仮想的な三次元空間内に第2のユーザの映像が調整パラメータに応じた奥行き方向の距離に配置された映像と、所定の条件を満たす第2のユーザの映像とを並べた映像である。最も接続性が高いユーザBの映像371は、縦方向いっぱいの長さを有し、他のユーザの映像を配置した仮想的な三次元空間の映像372と並べて表示される。一方で、仮想的な三次元空間の映像372においては、ユーザC、D及びEの映像373、374及び375が、接続性に応じた距離にある家オブジェクトの中に配置されている。このように、第9の表示例は、第1の表示例と第7の表示例の組み合わせである。
<<5.切り替え処理>>
上記説明したように、コミュニケーションシステム1による空間接続処理により、遠隔地にいるユーザ同士が、あたかも同じ空間にいるかのように、自然で身体的な感覚や方法でお互いの存在や状態を感じ取り、伝え合うことが可能となる。
お互いの存在や状態の明確さ/曖昧さは、接続要求設定の再設定及びそれに伴う調整パラメータの更新により随時調整される。例えば、第1のユーザが、第2のユーザ(より詳しくは、表示された第2のユーザの空間映像情報)から1~2mといった近距離に近づくと、接続要求レベルが高く再設定され、接続性の高い調整パラメータに更新される。すると、第1のユーザは、あたかも第2のユーザが目の前にいるかのうように、詳細な表情や身体的状態や動作、周辺の物体や環境を認知しながらコミュニケーションをとることが可能となる。一方で、第1のユーザが、第2のユーザから4~5mといった遠距離に遠のくと、接続要求レベルが低く再設定され、接続性の低い調整パラメータに更新される。すると、第1のユーザは、あたかも第2のユーザが遠くにいるかのように、曖昧に存在することだけが感じ取れるような緩いつながり感を得ることが可能となる。
このような、調整パラメータの更新に伴う出力情報の切り替えは、シームレス(即ち、連続的に)に行われることが望ましい。接続性が急に低下するような切り替えが行われると、通信相手のユーザに不快感や不安を与えかねないためである。
そこで、情報処理装置10は、複数のユーザの公開設定の少なくともいずれかに変更があった場合(例えば、第1の接続要求設定又は第2の接続要求設定に変更があった場合)、調整パラメータを逐次的に更新する。即ち、情報処理装置10は、変更前の接続要求設定に基づいて決定された調整パラメータから、変更後の接続要求設定に対応する調整パラメータまで、段階的に時間をかけて変更する。例えば、ユーザが服を着替える場合、着替え開始時に接続要求レベルが下がり、着替え終了時に接続要求レベルが上がると考えられる。このような場合、情報処理装置10は、ユーザの着替えシーンを削除しつつ、ユーザの服を着替え前の服から着替え後の服に逐次的に変化させる空間情報を生成して公開する。他にも、情報処理装置10は、切り替え前後の映像をフェードで繋ぐ等の画像処理を行ってもよい。このような処理により、出力情報を連続的に自然に切り替えることが可能となる。連続的で自然な切り替えにより、接続された空間同士が実際には遠隔地にあることをユーザに感じさせず、且つあたかも隣接する空間であるかのように錯覚させることが可能となる。
接続要求設定の切り替えが、ユーザの動作等の無意識的な指示に基づいて行われることも、自然な切り替えの実現に寄与する。例えば、第1のユーザが第2のユーザに近づくだけで空間の接続性が高まるといった、実空間と同様の現象が再現可能である。
また、調整パラメータの更新は、未来予測に応じて行われてもよい。例えば、朝日や夕日、又はユーザが出勤する等の予測可能な事象に応じて、予め調整パラメータが更新されてもよい。
<<6.ハードウェア構成例>>
最後に、図19を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図19は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図19に示す情報処理装置900は、例えば、図3に示した情報処理装置10を実現し得る。本実施形態に係る情報処理装置10による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
図19に示すように、情報処理装置900は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903及びホストバス904aを備える。また、情報処理装置900は、ブリッジ904、外部バス904b、インタフェース905、入力装置906、出力装置907、ストレージ装置908、ドライブ909、接続ポート911及び通信装置913を備える。情報処理装置900は、CPU901に代えて、又はこれとともに、電気回路、DSP若しくはASIC等の処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。CPU901は、例えば、図3に示す制御部150を形成し得る。
CPU901、ROM902及びRAM903は、CPUバスなどを含むホストバス904aにより相互に接続されている。ホストバス904aは、ブリッジ904を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス904bに接続されている。なお、必ずしもホストバス904a、ブリッジ904および外部バス904bを分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
入力装置906は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置906は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。さらに、入力装置906は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などを含んでいてもよい。情報処理装置900のユーザは、この入力装置906を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。
他にも、入力装置906は、ユーザに関する情報を検知する装置により形成され得る。例えば、入力装置906は、画像センサ(例えば、カメラ)、深度センサ(例えば、ステレオカメラ)、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサを含み得る。また、入力装置906は、情報処理装置900の姿勢、移動速度等、情報処理装置900自身の状態に関する情報や、情報処理装置900の周辺の明るさや騒音等、情報処理装置900の周辺環境に関する情報を取得してもよい。また、入力装置906は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して装置の緯度、経度及び高度を含む位置情報を測定するGNSSモジュールを含んでもよい。また、位置情報に関しては、入力装置906は、Wi-Fi(登録商標)、携帯電話・PHS・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。入力装置906は、例えば、図3に示す入力部110を形成し得る。
出力装置907は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置、レーザープロジェクタ、LEDプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置907は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置900が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置907は、例えば、図3に示す出力部120を形成し得る。
ストレージ装置908は、情報処理装置900の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置908は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置908は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置908は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置908は、例えば、図3に示す記憶部140を形成し得る。
ドライブ909は、記憶媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ909は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM903に出力する。また、ドライブ909は、リムーバブル記憶媒体に情報を書き込むこともできる。
接続ポート911は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)などによりデータ伝送可能な外部機器との接続口である。
通信装置913は、例えば、ネットワーク920に接続するための通信デバイス等で形成された通信インタフェースである。通信装置913は、例えば、有線若しくは無線LAN(Local Area Network)、LTE(Long Term Evolution)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置913は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置913は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。通信装置913は、例えば、図3に示す通信部130を形成し得右。
なお、ネットワーク920は、ネットワーク920に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク920は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク920は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。
以上、本実施形態に係る情報処理装置900の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置900の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
<<7.まとめ>>
以上、図1~図19を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、情報処理装置10は、通信する複数のユーザの各々に関する空間情報の公開設定に基づいて、空間情報の調整パラメータを複数のユーザ間での双方向の公開に関し非対称に決定する。そして、情報処理装置10は、調整パラメータに基づいて加工された通信相手のユーザに関する前記空間情報、及び調整パラメータの決定理由を示す情報を含む出力情報を、ユーザへ出力する。調整パラメータが非対称に決定されることで、接続されるユーザ双方の、見せたい/見せたくない/見たい/見たくないといった要望に沿った空間接続サービスを提供することが可能となり、双方に心地よいつながり感を提供することが可能となる。さらには、調整パラメータの決定理由を示す情報が出力されることで、ユーザは、自身の要望が反映されていることを確認し、調整結果に納得感及び安心感を持つことが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、出力情報がディスプレイ又はプロジェクタ等の表示装置により出力される例を説明したが、本技術は係る例に限定されない。例えば、情報処理端末に設けられた表示部により出力情報が表示されてもよいし、透過型または非透過型のHMD(Head Mounted Display)の表示部により出力情報が表示されてもよい。
また、上記実施形態では、情報処理装置10により空間接続サービス提供のための各種処理が行われるものとして説明したが、本技術はかかる例に限定されない。例えば、空間接続サービス提供のための各種処理の一部又は全部が、処理サーバ30において行われてもよい。例えば、設定部151、決定部153又は出力制御部155の一部又は全部が、処理サーバ30に含まれていてもよい。
また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
通信する複数のユーザの各々に関する空間情報の公開設定に基づいて、前記空間情報の調整パラメータを前記複数のユーザ間での双方向の公開に関し非対称に決定する決定部と、
前記調整パラメータに基づいて加工された通信相手のユーザに関する前記空間情報、及び前記調整パラメータの決定理由を示す情報を含む出力情報を、前記ユーザへ出力する出力制御部と、
を備える情報処理装置。
(2)
前記調整パラメータの決定理由を示す情報は、前記複数のユーザの公開設定を示す情報、及び決定された前記調整パラメータを示す情報を含む、前記(1)に記載の情報処理装置。
(3)
前記調整パラメータの決定理由を示す情報は、前記複数のユーザの公開設定を示す情報、及び前記調整パラメータを示す情報をグラフ表現した情報である、前記(2)に記載の情報処理装置。
(4)
前記調整パラメータの決定理由を示す情報は、前記複数のユーザの公開設定を示す情報、及び前記調整パラメータを示す情報を2次元平面にマッピングした情報である、前記(2)に記載の情報処理装置。
(5)
前記調整パラメータの決定理由を示す情報は、前記複数のユーザの公開設定を示す情報、及び前記調整パラメータを項目ごとに列挙した情報を含む、前記(2)に記載の情報処理装置。
(6)
前記出力情報は、前記調整パラメータが非対称に決定されたことを示す情報を含む、前記(1)~(5)のいずれか一項に記載の情報処理装置。
(7)
前記出力制御部は、前記調整パラメータに基づいて加工され前記通信相手のユーザへ送信される前記ユーザに関する空間情報を前記ユーザに出力する、前記(1)~(6)のいずれか一項に記載の情報処理装置。
(8)
前記出力制御部は、前記複数のユーザの公開設定の少なくともいずれかに変更があった場合、前記調整パラメータを逐次的に更新する、前記(1)~(7)のいずれか一項に記載の情報処理装置。
(9)
前記出力情報は、仮想的な三次元空間内で前記調整パラメータに応じた奥行き方向の距離に前記通信相手のユーザの映像が配置された映像を含む、前記(1)~(8)のいずれか一項に記載の情報処理装置。
(10)
前記仮想的な三次元空間に配置された複数の前記通信相手のユーザの映像間の距離は、前記通信相手のユーザ間の前記調整パラメータに応じた距離である、前記(9)に記載の情報処理装置。
(11)
前記出力情報は、前記調整パラメータに応じて前記通信相手のユーザの映像を時間積分した映像を含む、前記(1)~(10)のいずれか一項に記載の情報処理装置。
(12)
前記出力情報は、前記調整パラメータに応じて特定の前記通信相手のユーザが消された映像を含む、前記(1)~(11)のいずれか一項に記載の情報処理装置。
(13)
前記出力情報は、前記調整パラメータに応じて前記通信相手のユーザの映像の一部を仮想的な物体で遮蔽した映像を含む、前記(1)~(12)のいずれか一項に記載の情報処理装置。
(14)
前記出力情報は、前記調整パラメータに応じて前記通信相手のユーザをぼかした映像を含む、前記(1)~(13)のいずれか一項に記載の情報処理装置。
(15)
前記出力情報は、前記通信相手のユーザを模した仮想的な人間オブジェクトを含む映像を含む、前記(1)~(14)のいずれか一項に記載の情報処理装置。
(16)
前記出力情報は、前記調整パラメータに応じた大きさで表示される複数の前記通信相手のユーザの映像を含む、前記(1)~(15)のいずれか一項に記載の情報処理装置。
(17)
前記決定部は、通信する複数のユーザの各々に関する空間情報の出力設定に基づいて、前記調整パラメータを決定する、前記(1)~(16)のいずれか一項に記載の情報処理装置。
(18)
通信する複数のユーザの各々に関する空間情報の公開設定に基づいて、前記空間情報の調整パラメータを前記複数のユーザ間での双方向の公開に関し非対称に決定することと、
前記調整パラメータに基づいて加工された通信相手のユーザに関する前記空間情報、及び前記調整パラメータの決定理由を示す情報を含む出力情報を、出力装置により前記ユーザへ出力することと、
を含む情報処理方法。
(19)
コンピュータを、
通信する複数のユーザの各々に関する空間情報の公開設定に基づいて、前記空間情報の調整パラメータを前記複数のユーザ間での双方向の公開に関し非対称に決定する決定部と、
前記調整パラメータに基づいて加工された通信相手のユーザに関する前記空間情報、及び前記調整パラメータの決定理由を示す情報を含む出力情報を、前記ユーザへ出力する出力制御部と、
として機能させるためのプログラムを記録した記録媒体。
1 コミュニケーションシステム
10 情報処理装置
20 ネットワーク
30 処理サーバ
110 入力部
120 出力部
130 通信部
140 記憶部
150 制御部
151 設定部
153 決定部
155 出力制御部

Claims (19)

  1. 通信する複数のユーザの各々に関する空間情報の公開設定に基づいて、前記空間情報の調整パラメータを前記複数のユーザ間での双方向の公開に関し非対称に決定する決定部と、
    前記調整パラメータに基づいて加工された通信相手のユーザに関する前記空間情報、及び前記調整パラメータの決定理由を示す情報を含む出力情報を、前記ユーザへ出力する出力制御部と、
    を備え
    前記調整パラメータの決定理由を示す情報は、前記複数のユーザの公開設定を示す情報、及び決定された前記調整パラメータを示す情報を含む、情報処理装置。
  2. 前記調整パラメータの決定理由を示す情報は、前記複数のユーザの公開設定を示す情報、及び前記調整パラメータを示す情報をグラフ表現した情報である、請求項に記載の情報処理装置。
  3. 前記調整パラメータの決定理由を示す情報は、前記複数のユーザの公開設定を示す情報、及び前記調整パラメータを示す情報を2次元平面にマッピングした情報である、請求項に記載の情報処理装置。
  4. 前記調整パラメータの決定理由を示す情報は、前記複数のユーザの公開設定を示す情報、及び前記調整パラメータを項目ごとに列挙した情報を含む、請求項に記載の情報処理装置。
  5. 通信する複数のユーザの各々に関する空間情報の公開設定に基づいて、前記空間情報の調整パラメータを前記複数のユーザ間での双方向の公開に関し非対称に決定する決定部と、
    前記調整パラメータに基づいて加工された通信相手のユーザに関する前記空間情報、及び前記調整パラメータの決定理由を示す情報を含む出力情報を、前記ユーザへ出力する出力制御部と、
    を備え、
    前記出力情報は、前記調整パラメータが非対称に決定されたことを示す情報を含む、情報処理装置。
  6. 前記出力制御部は、前記調整パラメータに基づいて加工され前記通信相手のユーザへ送信される前記ユーザに関する空間情報を前記ユーザに出力する、請求項1から5のいずれか一項に記載の情報処理装置。
  7. 前記出力制御部は、前記複数のユーザの公開設定の少なくともいずれかに変更があった場合、前記調整パラメータを逐次的に更新する、請求項1から6のいずれか一項に記載の情報処理装置。
  8. 前記出力情報は、仮想的な三次元空間内で前記調整パラメータに応じた奥行き方向の距離に前記通信相手のユーザの映像が配置された映像を含む、請求項1から7のいずれか一項に記載の情報処理装置。
  9. 前記仮想的な三次元空間に配置された複数の前記通信相手のユーザの映像間の距離は、前記通信相手のユーザ間の前記調整パラメータに応じた距離である、請求項に記載の情報処理装置。
  10. 前記出力情報は、前記調整パラメータに応じて前記通信相手のユーザの映像を時間積分した映像を含む、請求項1から9のいずれか一項に記載の情報処理装置。
  11. 前記出力情報は、前記調整パラメータに応じて特定の前記通信相手のユーザが消された映像を含む、請求項1から10のいずれか一項に記載の情報処理装置。
  12. 前記出力情報は、前記調整パラメータに応じて前記通信相手のユーザの映像の一部を仮想的な物体で遮蔽した映像を含む、請求項1から11のいずれか一項に記載の情報処理装置。
  13. 前記出力情報は、前記調整パラメータに応じて前記通信相手のユーザをぼかした映像を含む、請求項1から12のいずれか一項に記載の情報処理装置。
  14. 前記出力情報は、前記通信相手のユーザを模した仮想的な人間オブジェクトを含む映像を含む、請求項1から13のいずれか一項に記載の情報処理装置。
  15. 前記出力情報は、前記調整パラメータに応じた大きさで表示される複数の前記通信相手のユーザの映像を含む、請求項1から14のいずれか一項に記載の情報処理装置。
  16. 通信する複数のユーザの各々に関する空間情報の公開設定に基づいて、前記空間情報の調整パラメータを前記複数のユーザ間での双方向の公開に関し非対称に決定することと、
    前記調整パラメータに基づいて加工された通信相手のユーザに関する前記空間情報、及び前記調整パラメータの決定理由を示す情報を含む出力情報を、出力装置により前記ユーザへ出力することと、
    を含み、
    前記調整パラメータの決定理由を示す情報は、前記複数のユーザの公開設定を示す情報、及び決定された前記調整パラメータを示す情報を含む、情報処理方法。
  17. 通信する複数のユーザの各々に関する空間情報の公開設定に基づいて、前記空間情報の調整パラメータを前記複数のユーザ間での双方向の公開に関し非対称に決定することと、
    前記調整パラメータに基づいて加工された通信相手のユーザに関する前記空間情報、及び前記調整パラメータの決定理由を示す情報を含む出力情報を、出力装置により前記ユーザへ出力することと、
    を含み、
    前記出力情報は、前記調整パラメータが非対称に決定されたことを示す情報を含む、情報処理方法。
  18. コンピュータを、
    通信する複数のユーザの各々に関する空間情報の公開設定に基づいて、前記空間情報の調整パラメータを前記複数のユーザ間での双方向の公開に関し非対称に決定する決定部と、
    前記調整パラメータに基づいて加工された通信相手のユーザに関する前記空間情報、及び前記調整パラメータの決定理由を示す情報を含む出力情報を、前記ユーザへ出力する出力制御部と、
    として機能させるためのプログラムを記録した
    前記調整パラメータの決定理由を示す情報は、前記複数のユーザの公開設定を示す情報、及び決定された前記調整パラメータを示す情報を含む、記録媒体。
  19. コンピュータを、
    通信する複数のユーザの各々に関する空間情報の公開設定に基づいて、前記空間情報の調整パラメータを前記複数のユーザ間での双方向の公開に関し非対称に決定する決定部と、
    前記調整パラメータに基づいて加工された通信相手のユーザに関する前記空間情報、及び前記調整パラメータの決定理由を示す情報を含む出力情報を、前記ユーザへ出力する出力制御部と、
    として機能させるためのプログラムを記録した
    前記出力情報は、前記調整パラメータが非対称に決定されたことを示す情報を含む、記録媒体。
JP2019513233A 2017-04-18 2018-02-02 情報処理装置、情報処理方法、および記録媒体 Active JP7163908B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017082062 2017-04-18
JP2017082062 2017-04-18
PCT/JP2018/003673 WO2018193687A1 (ja) 2017-04-18 2018-02-02 情報処理装置、情報処理方法、および記録媒体

Publications (2)

Publication Number Publication Date
JPWO2018193687A1 JPWO2018193687A1 (ja) 2020-02-27
JP7163908B2 true JP7163908B2 (ja) 2022-11-01

Family

ID=63857039

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019513233A Active JP7163908B2 (ja) 2017-04-18 2018-02-02 情報処理装置、情報処理方法、および記録媒体

Country Status (5)

Country Link
US (1) US10834361B2 (ja)
EP (1) EP3614271A4 (ja)
JP (1) JP7163908B2 (ja)
CN (1) CN110494850B (ja)
WO (1) WO2018193687A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020116060A1 (ja) * 2018-12-05 2021-10-14 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
US20220191428A1 (en) * 2019-04-17 2022-06-16 Sony Group Corporation Information processing apparatus, information processing method, and program
US11557093B1 (en) * 2019-09-10 2023-01-17 Meta Platforms Technologies, Llc Using social connections to define graphical representations of users in an artificial reality setting
JP7358919B2 (ja) 2019-11-07 2023-10-11 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2022003498A (ja) * 2020-06-23 2022-01-11 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、方法、プログラム及び情報処理システム
US20210406542A1 (en) * 2020-06-30 2021-12-30 Ilteris Canberk Augmented reality eyewear with mood sharing
JP7334686B2 (ja) * 2020-07-03 2023-08-29 トヨタ自動車株式会社 制御装置、プログラム、及び制御システム
US11538214B2 (en) * 2020-11-09 2022-12-27 Meta Platforms Technologies, Llc Systems and methods for displaying stereoscopic rendered image data captured from multiple perspectives
WO2023095531A1 (ja) * 2021-11-25 2023-06-01 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006140747A (ja) 2004-11-11 2006-06-01 Nippon Telegr & Teleph Corp <Ntt> 映像コミュニケーション装置および映像コミュニケーション装置の制御方法
US20100080374A1 (en) 2008-09-29 2010-04-01 Avaya Inc. Method and apparatus for identifying and eliminating the source of background noise in multi-party teleconferences
US20140368604A1 (en) 2011-06-07 2014-12-18 Paul Lalonde Automated privacy adjustments to video conferencing streams
JP2015012369A (ja) 2013-06-27 2015-01-19 沖電気工業株式会社 情報処理システム、情報処理装置、及びプログラム
WO2016072118A1 (ja) 2014-11-07 2016-05-12 ソニー株式会社 情報処理システム、記憶媒体、および制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7564476B1 (en) * 2005-05-13 2009-07-21 Avaya Inc. Prevent video calls based on appearance
JP4645355B2 (ja) 2005-08-11 2011-03-09 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8253770B2 (en) * 2007-05-31 2012-08-28 Eastman Kodak Company Residential video communication system
US8537196B2 (en) * 2008-10-06 2013-09-17 Microsoft Corporation Multi-device capture and spatial browsing of conferences
US8667402B2 (en) * 2010-03-10 2014-03-04 Onset Vi, L.P. Visualizing communications within a social setting
US8963987B2 (en) * 2010-05-27 2015-02-24 Microsoft Corporation Non-linguistic signal detection and feedback
US20180032997A1 (en) * 2012-10-09 2018-02-01 George A. Gordon System, method, and computer program product for determining whether to prompt an action by a platform in connection with a mobile device
KR101491963B1 (ko) * 2014-10-30 2015-02-09 권오형 모바일 단말의 아웃 포커싱 영상 통화 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006140747A (ja) 2004-11-11 2006-06-01 Nippon Telegr & Teleph Corp <Ntt> 映像コミュニケーション装置および映像コミュニケーション装置の制御方法
US20100080374A1 (en) 2008-09-29 2010-04-01 Avaya Inc. Method and apparatus for identifying and eliminating the source of background noise in multi-party teleconferences
US20140368604A1 (en) 2011-06-07 2014-12-18 Paul Lalonde Automated privacy adjustments to video conferencing streams
JP2015012369A (ja) 2013-06-27 2015-01-19 沖電気工業株式会社 情報処理システム、情報処理装置、及びプログラム
WO2016072118A1 (ja) 2014-11-07 2016-05-12 ソニー株式会社 情報処理システム、記憶媒体、および制御方法

Also Published As

Publication number Publication date
JPWO2018193687A1 (ja) 2020-02-27
WO2018193687A1 (ja) 2018-10-25
CN110494850A (zh) 2019-11-22
EP3614271A1 (en) 2020-02-26
US20200195889A1 (en) 2020-06-18
CN110494850B (zh) 2023-09-12
US10834361B2 (en) 2020-11-10
EP3614271A4 (en) 2020-04-15

Similar Documents

Publication Publication Date Title
JP7163908B2 (ja) 情報処理装置、情報処理方法、および記録媒体
US10952006B1 (en) Adjusting relative left-right sound to provide sense of an avatar&#39;s position in a virtual space, and applications thereof
US20220124284A1 (en) Web- based videoconference virtual environment with navigable avatars, and applications thereof
US10776070B2 (en) Information processing device, control method, and program
US11076128B1 (en) Determining video stream quality based on relative position in a virtual space, and applications thereof
US20230128659A1 (en) Three-Dimensional Modeling Inside a Virtual Video Conferencing Environment with a Navigable Avatar, and Applications Thereof
US11743430B2 (en) Providing awareness of who can hear audio in a virtual conference, and applications thereof
US11361497B2 (en) Information processing device and information processing method
US11343471B2 (en) Information processing device and information processing method for communication using three-dimensional space
US11030879B2 (en) Environment-aware monitoring systems, methods, and computer program products for immersive environments
KR20220160699A (ko) 내비게이션 가능한 아바타들이 있는 웹 기반 화상 회의 가상 환경 및 그 응용들
US9350909B2 (en) Remotely controlled crowd-sourced media capture
US20240031759A1 (en) Information processing device, information processing method, and information processing system
EP2216975A1 (en) Telecommunication device
US20160316054A1 (en) Communication device, method, and program
JP2006339869A (ja) 映像信号と音響信号の統合装置
US20240031531A1 (en) Two-dimensional view of a presentation in a three-dimensional videoconferencing environment
WO2020158440A1 (ja) 情報処理装置、情報処理方法、及びプログラムを記載した記録媒体
EP4309361A1 (en) Securing private audio in a virtual conference, and applications thereof
WO2011158493A1 (ja) 音声通信システム、音声通信方法及び音声通信機器
WO2020148978A1 (ja) 情報処理装置及び情報処理方法
KR20220157436A (ko) 원격 단말들을 위한 원격회의 및 텔레프레즌스에서 뷰포트 공유할 때 멀미를 진정시키기 위한 기법
JP2022032697A (ja) 情報処理装置およびプログラム
JP2011039924A (ja) 外出先の身代りシステム及び擬似体験システム
JPWO2019198542A1 (ja) 多方向通信装置、多方向通信方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221003

R151 Written notification of patent or utility model registration

Ref document number: 7163908

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151