JP6798502B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP6798502B2
JP6798502B2 JP2017554945A JP2017554945A JP6798502B2 JP 6798502 B2 JP6798502 B2 JP 6798502B2 JP 2017554945 A JP2017554945 A JP 2017554945A JP 2017554945 A JP2017554945 A JP 2017554945A JP 6798502 B2 JP6798502 B2 JP 6798502B2
Authority
JP
Japan
Prior art keywords
space
communication
communication destination
distance
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017554945A
Other languages
English (en)
Other versions
JPWO2017098772A1 (ja
Inventor
祐介 阪井
祐介 阪井
厚史 泉原
厚史 泉原
大輔 三木
大輔 三木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017098772A1 publication Critical patent/JPWO2017098772A1/ja
Application granted granted Critical
Publication of JP6798502B2 publication Critical patent/JP6798502B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324—Details of processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、通信技術の発達により、複数人の参加者がいる２つの場所間で会話を行うTV電話会議システムが提案されている。具体的には、例えば表示装置、カメラ、マイク、およびスピーカが各場所に設けられ、一方の場所で撮影された映像および収音された音声データが、リアルタイムで、他方の場所に設置された表示装置およびスピーカから出力される。
このような双方向通信技術に関し、例えば下記特許文献１では、通信相手とコンテンツを共有して通話を行う際に、ユーザのプライバシーの侵害を防止しつつ、コンテンツデータが示すコンテンツを選択的に共有させることができるシステムが提案されている。
また、下記特許文献２では、ユーザの状態情報に基づいて、自分と通信相手の通信に対する要求の度合いを判断し、相互に不都合のない快適なコミュニケーションを行うようにすることができることが提案されている。これにより、相手が状態情報を見逃して呼び出しを行ったり、また、相手が強制的に呼び出しを行う等、ユーザにとって不都合な呼び出しを受けることを回避することができる。
特許第５７０７８２４号公報 特許第４６４５３５５号公報
しかしながら、上述した特許文献１では、通信相手とコンテンツを選択的に共有することは可能であるが、通信相手との距離や間合いといった空間同士の距離については考慮されていない。
また、上述した特許文献２においても、空間同士をつなげるタイミング（すなわち呼び出しタイミング）について善処されているが、空間同士の距離については何ら言及されていない。
そこで、本開示では、通信相手とのつながりに仮想的な３次元空間を用いて、当該空間内の距離を聴覚的に演出し、より快適なコミュニケーションを実現することが可能な情報処理装置、制御方法、およびプログラムを提案する。
本開示によれば、通信先からデータを受信する受信部と、仮想の３次元空間上に配置された前記通信先と通信元との離隔距離に応じて、前記通信先の空間の音声データを音源種別毎に異なる出力値で前記通信元の空間の音声出力部から再生するよう制御する再生制御部と、を備える、情報処理装置を提案する。
本開示によれば、プロセッサが、通信先からデータを受信することと、仮想の３次元空間上に配置された前記通信先と通信元との離隔距離に応じて、前記通信先の空間の音声データを音源種別毎に異なる出力値で前記通信元の空間の音声出力部から再生するよう制御することと、を含む、情報処理方法を提案する。
本開示によれば、コンピュータを、通信先からデータを受信する受信部と、仮想の３次元空間上に配置された前記通信先と通信元との離隔距離に応じて、前記通信先の空間の音声データを音源種別毎に異なる出力値で前記通信元の空間の音声出力部から再生するよう制御する再生制御部と、として機能させるための、プログラムを提案する。
以上説明したように本開示によれば、通信相手とのつながりに仮想的な３次元空間を用いて、当該空間内の距離を聴覚的に演出し、より快適なコミュニケーションを実現することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態によるテレプレゼンスシステムの概要について示す図である。 本実施形態による通信制御装置の構成の一例を示すブロック図である。 本実施形態による３次元空間上の空間同士の距離について説明する図である。 本実施形態による３次元空間上の空間同士の距離について説明する図である。 本実施形態によるユーザのつながり要求レベルの算出式の一例を示す図である。 本実施形態による最適なつながり度合いの算出式の一例を示す図である。 本実施形態による３次元空間上の空間同士の距離に応じた音量制御を説明する図である。 本実施形態による空間距離ゼロの際の表示例および音響制御を説明するための図である。 本実施形態による空間距離Ｄ１の際の表示例および音響制御を説明するための図である。 本実施形態による空間距離Ｄ２の際の表示例および音響制御を説明するための図である。 本実施形態による通信制御処理を示すシーケンス図である。 本実施形態による通信制御処理を示すシーケンス図である。 本実施形態による音源分離処理を示すフローチャートである。 本実施形態による音源再生処理を示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理装置の概要
２．通信制御装置の構成
３．空間情報の出力例
４．動作処理
４−１．通信制御処理
４−２．音源分離処理
４−３．音源再生処理
５．まとめ
＜＜１．本開示の一実施形態による情報処理装置の概要＞＞
本開示の一実施形態によるテレプレゼンスシステム１の概要について図１を参照して説明する。本実施形態によるテレプレゼンスシステム１は、離れた空間同士を映像・音声・その他の情報チャンネルによって接続し、あたかもその場所がつながって相手が存在しているように感じさせることを可能とする。例えば親と子供が離れて暮らしている際に、互いのリビング空間が窓やドアを介してつながっているように見せることを可能とする。互いのリビング空間が接続されると、ユーザは、相手空間の様子（子供の様子、親の様子等）を大まかに把握しながら生活することができる。
ここで、一般的なビデオチャット技術では、映像音声チャネルによる遠隔コミュニケーション時に、映像の表示/非表示や音声のON/OFF(ミュート)といった、０か１かの切替えはできるものの、つながり度合いの細かな調整はできなかった。そのため、常に高臨場感でつながりたくはないが、相手の様子を感じていたいといったユーザのニーズに応えられていなかった。また、接続状態の切替えはユーザが手動で行う必要があり、操作コストの面でも利用頻度の向上を妨げていた。
また、テレプレゼンス通信装置において、つながり度合いを段階的に調整できる事例として、例えば相手のリビング映像にブラー処理(ぼかし)やマスク処理(遮蔽)等の２次元平面的なフィルター処理をかける方式も考えられるが、音響的には、奥行きや方向などの距離感が表現できていなかった。
そこで、本実施形態では、空間のつながりに仮想の３次元空間を用いて、接続する空間同士の距離を制御することで、より快適なコミュニケーションの実現や、ユーザにとって心地よいつながり度合いの提供を可能とする。空間同士の距離は、３次元空間的な音響空間の再現により聴覚的に演出することができる。本実施形態によるテレプレゼンスシステム１は、仮想の３次元空間座標内に音声データを音源種別毎に配置して再生、若しくは空間に関連付けられた音声データを再生することで、聴覚的にユーザ側と相手側の空間同士の「間合い」（本明細書では「距離」とも称す）を感じさせることを可能とする。例えば、仮想の３次元空間内において相手側のリビング空間が近付いてくると、向こう側の室内の細かな物音や相手ユーザの声が聞こえてきて、そのまま自然な会話が可能となる。一方、相手側のリビング空間が離れていくと、物音や声は次第に音量が下がり、代わりに相手側のリビング空間との間の空間（本明細書では「中庭空間」と称す）の環境音として任意の音声データの音量が大きくなる。これにより、ユーザに心地よい聴覚的な間合いを感じさせることができる。
また、空間同士の距離は、視覚的にも感じさせることが可能である。例えば通信先の映像（ここでは、リビング空間の映像）を仮想的な３次元空間内に配置した画像を表示することで、相手が任意の距離に離れて存在しているような感覚を感じさせることができる。
また、空間同士の距離は、ユーザ状態等に応じて自動的かつ連続的に最適化することで、ユーザ操作の手間を省くことが可能となる。
このような本実施形態によるテレプレゼンスシステム１は、図１に示すように、通信制御装置１０Ａ、１０Ｂ、１０Ｃと、処理サーバ３０を含み、これらはネットワーク２０を介して接続されている。
通信制御装置１０Ａ、１０Ｂ、１０Ｃは、それぞれ、入力部を有し、ユーザＡ、ユーザＢ、ユーザＣが居る空間の情報を取得して他の通信制御装置１０または処理サーバ３０に送信する。また、通信制御装置１０Ａ、１０Ｂ、１０Ｃは、それぞれ出力部を有し、他の通信制御装置１０または処理サーバ３０から受信した情報を出力する。なお図１に示す例では３つの通信制御装置１０を示しているが、本実施形態はこれに限定されない。
処理サーバ３０は、通信制御装置１０Ａ〜１０Ｃのいずれか２以上の装置間における双方向通信の同期処理や、双方からのつながり要求レベルに基づく離隔距離の算出・制御等を行う。なお、同期処理、離隔距離の算出・制御等を、各通信制御装置１０Ａ、１０Ｂ、１０Ｃで行うようにして、テレプレゼンスシステム１を処理サーバ３０を含まない構成としてもよい。
＜＜２．通信制御装置の構成＞＞
続いて、本実施形態による通信制御装置１０の構成について図２を参照して説明する。図２は、本実施形態による通信制御装置１０の構成の一例を示すブロック図である。
図２に示すように、通信制御装置１０は、入力部１０１、空間情報処理部１０２、状態判定部１０３、空間距離制御部１０４、操作Ｉ／Ｆ（インタフェース）１０５、３Ｄ中庭空間生成部１０６、通信部１０７、空間情報生成部１０８、出力部１０９、記憶部１１０、送信情報生成部１１１、音源判別用ＤＢ（データベース）１１２、および音声ＤＢ１１３を有する。
入力部１０１は、空間情報を入力する機能を有する。例えば入力部１０１は、カメラ１０１１、マイク（マイクロホンの略称）１０１２、およびセンサ１０１３により実現される。カメラ１０１１は、複数であってもよく、空間内（例えばリビング）を撮像し、撮像画像を取得する。また、マイク１０１２は、複数であってもよく、空間内の音声や、空間周辺（例えば隣の部屋、廊下、家の外等）の環境音を集音し、音声データを取得する。また、センサ１０１３は、空間内や空間周辺の各種情報を検知する機能を有し、例えば、温度センサ、湿度センサ、照度センサ、人感センサ、ドア開閉センサ等が想定される。
空間情報処理部１０２は、入力部１０１から様々な空間情報を取得し、状態判定部１０３により状態判定の素材として用いることができるようデータを準備し、出力する。データの準備とは、例えばノイズ処理、画像解析、物体認識、音声解析等である。さらに、空間情報処理部１０２は、取得した空間情報に基づいて、ユーザ認識を行う。ユーザ認識とは、その空間に居るユーザの個人識別、ユーザの位置（部屋のどこに居るか等）、姿勢（立っているか、座っているか、寝ているか等）、感情（楽しんでいるか、悲しんでいるか等）、行動（夕飯の準備をしている、テレビを見ている、本を読んでいる等）、繁忙度（忙しそうに動き回っているか等）の認識が想定される。また、空間情報処理部１０２は、取得した空間情報に基づいて、環境認識を行う。環境認識とは、その空間の現在の時間帯（朝方、昼、夕方、深夜）、明るさ（部屋の明るさ、窓からの光）、温度、音響（空間内で収音された音）、地域（その空間が存在する場所）、整頓度（部屋の片づけ具合）等の認識が想定される。
空間情報処理部１０２による音声解析についてさらに説明する。本実施形態による空間情報処理部１０２は、音響空間（音像）再現のための音源分離、および音響生成による音声データベース作成を行う。例えば空間情報処理部１０２は、ユーザ側空間（例えばリビング空間）の内外に設けられたマイク１０１２（例えばアレイマイク）が収音した音声データから、音源別に音声データを分離する。音源別の音声データとは、例えばユーザ毎の発話音声データ、足音データ、物体毎の物音データ（家具の動く音、蛇口の音、食器類の金属音等）、環境音データ（屋外の環境音など）等が想定される。また、空間情報処理部１０２は、音源分離と共に、分離した音声データの音源位置（到来方向等）を解析する。音源判別は、例えば音声の到来方向、距離、音の周波数や特徴と、音源判別用ＤＢ１１２に格納されている音声データや、カメラ１０１１により撮像された撮像画像に基づいて行われ得る。また、空間情報処理部１０２は、音源分離した音声データを、発話者や事象と紐付けて音声ＤＢ１１３に格納し、データベースを作成し得る。音声ＤＢ１１３に格納される音声データは、リアルタイムに取得した音声データに限らず、例えば音響生成アルゴリズム等を用いて生成された音声データであってもよい。また、音声ＤＢ１１３には、ガンマイクによって収音された室内の特徴的な音（例えば家具の動く音、玄関ドアの開閉音、階段の昇降音、掛け時計のチャイム等）が予め登録されていてもよい。
空間情報処理部１０２は、マイク１０１２により収音された音声データ、および音源分離した音声データを送信情報生成部１１１、および状態判定部１０３に出力する。また、空間情報処理部１０２は、マイク１０１２により収音された音声データを、予め音声ＤＢ１１３に登録されている音声データに差し替えて、送信情報生成部１１１、および状態判定部１０３に出力してもよい。さらに、空間情報処理部１０２は、カメラ１０１１、マイク１０１２、またはセンサ１０１３により検知した室内での事象（例えばＩｏＴ対応機器におけるＯＮ／ＯＦＦ動作や状態変化、階段の上り下り、ドアの開閉等）に紐付けられた音声データを音声ＤＢ１１３から抽出または所定の音響生成アルゴリズムにより生成し、送信情報生成部１１１および状態判定部１０３に出力してもよい。
状態判定部１０３は、空間情報処理部１０２により取得され、出力された情報に基づいて、空間の状態やユーザの状態（すなわち、通信元の空間のコンテキスト）を判定する。例えば状態判定部１０３は、空間情報処理部１０２によるユーザ認識結果および環境認識結果に基づいて、空間の状態やユーザの状態を判定する。なお、通信元の空間のコンテキストには、ユーザの状態、ユーザが居る実空間の状態、時間、季節、天候、場所、または相手ユーザとの関係性が含まれ得る。
空間距離制御部１０４は、接続された空間同士の３次元空間上の距離（奥行きの離隔距離）を制御する機能を有する。本実施形態では、３次元空間上の適切な距離に、通信先の空間から取得した情報を配置し、つながりに奥行きを見せることで、心地よいつながり状態を実現する。ここで図３Ａおよび図３Ｂを参照して、本実施形態による３次元空間上の空間同士の距離について説明する。図３Ａおよび図３Ｂに示す例では、３次元空間上において、通信元のディスプレイ１０９１Ａに表示される窓枠４０を基準として、相手空間画像４１が奥行き方向の所定距離に配置される場合について説明する。
図３Ａ上段では、相手空間画像４１が、３次元空間上で窓枠４０に対して距離ゼロに配置されている場合の配置例４００ａを示す。この場合、窓枠４０いっぱいに相手空間画像４１が表示され、ユーザは、相手の空間が一つの窓を介してすぐ目の前にあるように感じることができる。図３Ａ下段では、相手空間画像４１が、窓枠４０から少し離れた距離に配置されている場合の配置例４００ｂを示す。この場合、窓枠４０から多少奥方向に、相手空間画像４１が表示され、ユーザは、相手の空間が少し離れた位置にあるため、心理的抵抗が距離ゼロの場合よりも下がる。次いで、図３Ｂ上段では、相手空間画像４１が、さらに離れた距離に配置されている場合の配置例４００ｃを示す。この場合、ユーザは、相手の空間が離れた位置にあるため、心理的抵抗が図３Ａ下段に示す距離の場合よりも下がる。続いて、図３Ｂ下段では、相手空間画像４１が、図３Ｂ上段の配置例４００ｃよりもさらに離れた距離に配置されている場合の配置例４００ｄを示す。この場合、ユーザは、相手の空間がさらに離れた位置にあるため、心理的抵抗が図３Ｂ上段に示す距離の場合よりも下がる。
かかる相手空間との距離は、例えばユーザのつながり要求レベルと通信先ユーザのつながり要求レベルとに基づいて調整される。まず、ユーザのつながり要求レベルは、例えば空間距離制御部１０４により、状態判定部１０３から出力された判定結果（通信元の空間のコンテキスト）に基づいて算出される。ここで、図４に、ユーザのつながり要求レベルの算出式の一例を示す。図４の式１に示すように、つながり要求レベルは、ユーザ要素（ユーザの状態）と環境要素（空間の状態）を掛け合わせて算出され得る。例えばユーザが母親で、洗顔中であって、通信先空間の様子を見たいという状態であって、また、空間内は騒がしく、掃除前の時間帯で、晴天といった空間状態である場合に、つながり要求レベルの強弱が０〜１００の数値で算出される。なお本実施形態では、図４に示すように、つながり要求レベルとして、「間合い」と「明快度」を算出することも可能である。「間合い」とは、すなわち３次元空間上の離隔距離であって、繋がっている相手との適切な距離を保つよう出力することで、心地よい接続状態を実現することができる。「明快度」とは、通信先空間の映像の見え具合である。本実施形態では、ぼかしたり遮蔽したりすることで、相手の映像が鮮明に見えないようにすることが可能であって、この際の見え具合を「明快度」と称す。
通信先ユーザのつながり要求レベルは、通信部１０７を介して、通信先の通信制御装置１０から送信される。
そして、空間距離制御部１０４は、算出したユーザのつながり要求レベルと、受信した通信先ユーザのつながり要求レベルとに基づいて、最適なつながり度合いを算出する。ここで、図５に、最適なつながり度合いの算出式の一例を示す。図５の式２に示すように、例えばユーザＡとユーザＢのつながり度合いを算出する場合、ユーザＡのつながり要求レベルと、ユーザＢのつながり要求レベルとを掛け合わせて、最適なつながり度合いを算出する。本実施形態では、最適なつながり度合いが強い程、空間同士の距離は短く、また、映像も鮮明に見えるため、高臨場感で接続し、最適なつながり度合いが低い程、空間同士の距離は長く、また、映像が鮮明に見えないため、低臨場感で接続する。なお、ここでは一例として「つながり度合い」が「間合い」と「明快度」の両方を含むものとして算出式の説明を行ったが、本実施形態はこれに限定されず、「つながり度合い」が「間合い」のみを含むものとして、算出してもよい。
操作Ｉ／Ｆ（インタフェース）１０５は、ユーザからの操作入力を受け付け、空間距離制御部１０４や３Ｄ中庭空間生成部１０６へ出力する。これにより、例えば、ユーザが任意に「ユーザのつながり要求レベル」を設定したり、次に説明する空間のシーンを設定したりすることが可能となる。また、３次元空間に配置された各種オブジェクトに対するユーザからの操作入力も可能となる。
３Ｄ中庭空間生成部１０６は、空間距離制御部１０４により設定された通信相手との距離に応じて３次元空間に配置された通信先の空間の映像と、通信元ユーザ側である手前側との間の３Ｄ空間を、「３Ｄ中庭空間」と称し、かかる空間の生成を行う。「３Ｄ中庭空間」には、通信元または通信先からの情報が反映され、また、指定されたオブジェクトが配置されたりすることも可能である。これにより、通信相手の空間と、仮想の中庭を通じてつながっているような画面を表示することが可能となる。また、中庭空間に、通信相手のユーザ状態や空間状態、相手空間の周辺情報等を反映させることで、間接的に相手の状態を認識することが可能となる。
送信情報生成部１１１は、通信部１０７を介して通信先へ送信するデータ量を調整することが可能である。本実施形態では、通信元と通信先の３次元空間内での距離に応じて、通信先で再生される音声データの出力値が制御されるため、例えば通信先で再生されない音声データは送信しないようにすることで、通信コストを削減し、また、ユーザのプライバシーも保護することができる。具体的には、例えば空間距離制御部１０４により設定された最適なつながり度合いに応じた距離が長く、通信元と通信先が３次元空間で遠く離れている場合、通信先で表示される映像は小さく、また、室内の音声データは再生されないため、送信情報生成部１１１は、低解像度の映像を生成して通信部１０７へ出力し、音声データの通信部１０７への出力は停止する。
また、送信情報生成部１１１は、空間内の事象に対応する音声データを通信相手側が有する場合、事象を示すデータのみを通信部１０７へ出力して通信先へ送信させることも可能である。
通信部１０７は、ネットワーク２０を介して他の通信制御装置１０や処理サーバ３０と接続し、データの送受信を行う。例えば通信部１０７は、空間情報処理部１０２から出力された空間情報、空間距離制御部１０４から出力された空間距離、３Ｄ中庭空間生成部１０６から出力された３Ｄ中庭空間の情報を通信先の通信制御装置１０または処理サーバ３０へ送信する。また、通信部１０７は、通信先の通信制御装置１０または処理サーバ３０から受信した空間情報、空間距離、３Ｄ中庭空間の情報等を受信する。本実施形態では、通信元および通信先において、表示される３Ｄ中庭空間および３次元空間上の距離が同期され得る。また、通信部１０７は、処理サーバ３０がネットワーク上の関連サービスサーバから取得した情報（天候情報、ニュース、スケジュール情報等）、またはネットワーク上の関連サービスサーバから当該情報を直接、受信することも可能である。
空間情報生成部１０８は、３Ｄ中庭空間生成部１０６により生成された３Ｄ中庭空間と、通信部１０７を介して受信した通信先の空間の映像に基づいて、空間情報を生成し、出力部１０９に送出する。例えば空間情報生成部１０８は、３Ｄ中庭空間生成部１０６により生成された３Ｄ中庭空間に、通信部１０７を介して受信した通信先の空間の映像を合成した空間画像情報を生成し、ディスプレイ１０９１で表示するよう制御する。
また、空間情報生成部１０８は、空間距離に応じた音響空間（音像）再現のための空間音響情報を生成し、スピーカ１０９２で再生するよう制御する。例えば、空間情報生成部１０８は、３Ｄ中庭空間生成部１０６により生成された３Ｄ中庭空間に対応する中庭環境音と、通信部１０７を介して受信した通信先の空間における室内音声、室内物音のそれぞれの音量を、３次元空間内における通信元空間および通信先空間の距離Ｄに応じて設定する。ここで、図６を参照して本実施形態による３次元空間上の空間同士の距離に応じた音量制御について説明する。
図６に示す例では、空間Ａと空間Ｂとの距離がＤ１の場合、室内音声、室内物音の音量が大きく、中庭環境音の音量が小さい。距離Ｄが長く（遠く）なる程、室内音声、室内物音の音量が小さく、中庭環境音の音量が大きくなる。また、室内物音は、距離Ｄが短い（近い）場合は室内音声より小さい音量であるが、図６に示すように、一定距離離れた時点からは室内音声よりも大きい音量となる。図６に示す音量グラフは一例であるが、本実施形態では、このように、３次元空間的な音響処理として、仮想空間内の距離に応じて再生する音声（音量）を変化させることで、聴覚的に空間距離を感じさせ、心地よいつながりを実現することが可能となる。
また、空間情報生成部１０８は、音源別音声データの音像定位処理を併せて行うことで、より効果的に、３次元音響空間を再現することが可能となる。
出力部１０９は、空間情報生成部１０８により生成された空間情報を、通信元のユーザに提示する機能を有する。例えば出力部１０９は、ディスプレイ１０９１、スピーカ１０９２、またはインジケータ１０９３により実現される。
ここで、本実施形態によるスピーカ１０９２の構成例について説明する。本実施形態では、音響空間の再現において、モノラル、ステレオ、5.1chサラウンド等のスピーカ構成を用いて、バーチャル音源定位技術等によって音声を提示することができる。また、スピーカーアレイを用いた波面合成スピーカ等を用いることで、通信相手のリビング空間内の相手ユーザの音や物音を正確に音像定位し、また、平面波により基準面（例えばディスプレイ１０９１が設置されている壁）全面から環境音を再生することも可能となる。
また、本実施形態では、ステレオスピーカ等により実現される音像定位可能なスピーカと、基準面全面から定位のない平面的な音声を提示できる平面スピーカ等を組み合わせた構成としてもよい。
記憶部１１０は、通信部１０７を介して送受信されるデータを記憶する。また、図２に示す例では、通信部１０７に接続しているが、本実施形態はこれに限定されず、通信制御装置１０に含まれる各構成の記憶領域として用いられ得る。
＜＜３．空間情報の出力例＞＞
上述したように、本実施形態では、相手空間画像４１が、３次元空間上において、通信元と通信先の両者のつながり要求レベルに基づいたつながり度合いに応じた距離（離隔距離）に配置され、音声も距離に応じて変化する。ここで、離隔距離がゼロの場合から徐々に広がる場合（図６に示す距離Ｄ１、距離Ｄ２）における通信元のディスプレイ１０９１Ａおよびスピーカ１０９２での出力例について図７〜図９を参照して説明する。
図７は、本実施形態による空間距離ゼロの際の出力例を示す図である。図７に示すように、ユーザＡが居る空間の壁面に設置されたディスプレイ１０９１Ａには、窓枠４０が表示され、窓枠４０の内側いっぱいに相手空間画像４１が表示されている。相手空間画像４１は例えば相手ユーザＢの居るリビングの撮像画像である。かかる映像は、例えば相手空間で撮影されたリアルタイム映像である。また、図７に示すように、ディスプレイ１０９１Ａの周辺には、カメラ１０１１が設置されている。
さらに、図７に示すように、ディスプレイ１０９１Ａの両側にはステレオスピーカ１０９２−１Ａが設置され、また、ディスプレイ１０９１Ａが設置されている壁全体には平面スピーカ１０９２−２Ａが設置されている。本実施形態では、空間距離ゼロの場合、通信先の室内音声６０や室内物音６１が、ディスプレイ１０９１Ａに映る窓枠４０を介してすぐ目の前から聞こえるよう音像定位、音量制御され、ステレオスピーカ１０９２−１Ａから再生される。
なお図示しないが、ディスプレイ１０９１Ａの周辺にはマイク１０１２も設置され得る。
図８は、本実施形態による空間距離Ｄ１の際の表示例を示す図である。図８に示すように、相手空間画像４１が窓枠４０から離れて奥に表示されることで、ユーザは、視覚的に相手との距離を感じることができ、すぐ目の前に存在を感じるよりも、快適なつながり具合となる場合がある。相手空間画像４１は、例えば３次元空間上において、仮想的な建築物５１の窓部分に合成されている。また、相手空間画像４１との間には、３Ｄ中庭空間Ｓ１が存在し、ユーザＡは、３Ｄ中庭空間Ｓ１を介して、相手空間とつながっていると感じることができる。かかる空間距離と３Ｄ中庭空間は、相手空間でも同期され、相手側のディスプレイにおいても、同じ空間距離にこちら側の映像がリアルタイムで表示され、その間に３Ｄ中庭空間が同様に表示されている。
また、図８に示す例では、通信先の室内音声６２や室内物音６３が、ディスプレイ１０９１Ａに映る窓枠４０から離れて奥に表示されている相手空間画像４１との距離に応じた音量および音像位置に定位され、ステレオスピーカ１０９２−１Ａから再生される。さらに、３Ｄ中庭空間Ｓ１に対応する中庭音声６４、６５が、平面スピーカ１０９２−２Ａにより壁全体から再生される。これにより、ユーザは聴覚的にも相手との距離を感じることができ、すぐ目の前に存在を感じるよりも、快適なつながり具合となる場合がある。
図９は、本実施形態による空間距離Ｄ２の際の表示例を示す図である。空間距離Ｄ２は空間距離Ｄ１よりさらに奥行き方向に長いため、図９に示すように、相手空間画像４１が窓枠４０からさらに離れた場所に表示され、ユーザは、視覚的に相手との距離をさらに感じることとなる。また、音響に関しては、中庭音声６６、６７が、図８に示す場合よりも大きな音量で平面スピーカ１０９２−２Ａにより壁全体から再生される一方、相手空間の室内音声や室内物音は再生されないため、ユーザは聴覚的にも図８に示す場合よりもさらに相手との距離を感じることができる。
以上説明した図７〜図９では、森の中にある向かいのログハウスに通信相手のユーザが住んでいるといったシーンが適用されているが、本実施形態はこれに限定されず、様々なシーンが適用され得る。また、シーン選択は、通信元ユーザや通信先ユーザにより行われてもよいし、システム側で自動的に決定されてもよい。
＜＜４．動作処理＞＞
次に、本実施形態による動作処理について図１０〜図１３を参照して具体的に説明する。
＜４−１．通信制御処理＞
図１０および図１１は、本実施形態による通信制御処理を示すシーケンス図である。ここでは、一例として、通信制御装置１０Ａが通信元（空間Ａ）、通信制御装置１０Ｂが通信先（空間Ｂ）であって、処理サーバ３０を介してデータの送受信が行われている場合について説明する。
図１０に示すように、まず、通信制御装置１０Ａは、接続先の呼び出しを通信制御装置１０Ｂに対して行い（ステップＳ１０３）、通信制御装置１０Ｂから接続許可を受信すると（ステップＳ１０６）、セッションを確立する（ステップＳ１０９）。
次に、通信制御装置１０Ａは、空間情報処理部１０２により空間情報を取得し（ステップＳ１１２）、状態判定部１０３により、ユーザＡの状態および空間Ａの状態を判別する（ステップＳ１１５）。
次いで、通信制御装置１０Ａは、空間情報や、状態情報を、通信部１０７から通信制御装置１０Ｂへ送信する（ステップＳ１１８）。
一方、通信制御装置１０Ｂ側でも、同様に空間情報の取得（ステップＳ１２１）、ユーザＢの状態・空間Ｂの状態判別を行い（ステップＳ１２４）、各種情報を通信制御装置１０Ａへ送信する（ステップＳ１２７）。
次に、通信制御装置１０Ａは、空間距離制御部１０４により、ユーザＡのつながり要求レベルを算出し（ステップＳ１３０）、処理サーバ３０へ送信する（ステップＳ１３３）。ユーザＡのつながり要求レベルは、ユーザＡにより任意に入力されたものであってもよいし、ユーザ状態や空間状態の判別結果に基づいて算出されてもよい。
次いで、通信制御装置１０Ｂ側でも同様に、空間距離制御部１０４により、ユーザＢのつながり要求レベルを算出し（ステップＳ１３６）、処理サーバ３０へ送信する（ステップＳ１３９）。
続いて、処理サーバ３０は、ユーザＡのつながり要求レベルおよびユーザＢのつながり要求レベルに基づいて、距離調整を行う（ステップＳ１４２）。すなわち、処理サーバ３０は、ユーザＡのつながり要求レベルおよびユーザＢのつながり要求レベルに基づいて、最適なつながり度合いを算出する。つながり度合いの算出は、図５を参照して上述した式２により行われ得る。
次に、処理サーバ３０は、算出した距離を、通信制御装置１０Ａ、１０Ｂにそれぞれ送信する（ステップＳ１４５、Ｓ１４８）。
次いで、通信制御装置１０Ａ、１０Ｂでは、空間距離制御部１０４により、空間距離の最適制御を行う（ステップＳ１５１、Ｓ１５４）。具体的には、空間距離制御部１０４は、処理サーバ３０から送信された距離を、空間距離として設定する。
次に、処理サーバ３０は、通信制御装置１０Ａ、１０Ｂにそれぞれシーン情報を送信する（ステップＳ１５７、Ｓ１６３）。送信されるシーン情報は、ユーザＡまたはユーザＢにより選択されたシーンの情報であってもよいし、処理サーバ３０が自動的に決定したシーンの情報であってもよい。
次いで、通信制御装置１０Ａは、３Ｄ中庭空間生成部１０６により、処理サーバ３０から送信されたシーン情報、上記ステップＳ１２７で受信した空間情報、状態判別情報を用いて、３Ｄ中庭空間の生成を行う（ステップＳ１６０）。また、３Ｄ中庭空間生成部１０６は、関連情報（気象情報、相手空間内の照度、調理器の状態、相手ユーザのスケジュール情報、行動履歴等）が送信された場合（ステップＳ１６９）、当該関連情報も３Ｄ中庭空間に反映させる（ステップＳ１７２）。
一方、通信制御装置１０Ｂ側でも、同様に、３Ｄ中庭空間の生成（ステップＳ１６６）、受信した関連情報の３Ｄ中庭空間への反映（ステップＳ１７５、Ｓ１７８）。
次に、通信制御装置１０Ａは、空間情報生成部１０８により生成された、３Ｄ中庭空間と相手空間画像（空間Ｂの映像）と、音響情報（空間Ｂの音声、物音や、３Ｄ中庭空間に対応する中庭音声）を含む空間情報を、出力部（ディスプレイ、スピーカ）からそれぞれ提示する（ステップＳ１８１）。一方、通信制御装置１０Ｂ側でも同様に、３Ｄ中庭空間と相手空間画像（空間Ａの映像）と、音響情報（空間Ａの音声、物音や、３Ｄ中庭空間に対応する中庭音声）を含む空間情報を、出力部（ディスプレイ、スピーカ）からそれぞれ提示する（ステップＳ１８４）。
上述した３Ｄ中庭空間および互いの相手空間画像は、処理サーバ３０により同期され、互いのディスプレイにおいて、同じタイミング、同じ距離感で表示され得る。また、３Ｄ中庭空間に対応する中庭音声も、互いのスピーカにおいて、同じタイミング、同じ距離感で再生され得る。
続いて、通信制御装置１０Ａは、何らかの情報更新があった場合（ステップＳ１８７／Ｙｅｓ）、ステップＳ１１２からの処理を繰り返す。また、通信制御装置１０Ｂも、何らかの情報更新があった場合（ステップＳ１９０／Ｙｅｓ）、ステップＳ１２１からの処理を繰り返す。
そして、通信制御装置１０Ａは、接続終了が指示されると（ステップＳ１９３／Ｙｅｓ）、通信制御装置１０Ｂに対して接続終了の確認を行い（ステップＳ１９６）、通信制御装置１０Ｂから接続終了の許可を受信すると（ステップＳ１９９）、セッションを切断する（ステップＳ２０２）。
以上、本実施形態による通信制御処理について説明した。なお、ここでは一例として処理サーバ３０により同期処理や、最適なつながり度合いの算出、シーン情報の送信等を行っているが、本実施形態はこれに限定されず、これらの処理を通信制御装置１０で行うことも可能である。
＜４−２．音源分離処理＞
次に、マイク１０１２により収音した音声の音源分離処理について図１２を参照して説明する。図１２は、本実施形態による音源分離処理のフローチャートを示す図である。
図１２に示すように、まず、通信制御装置１０の空間情報処理部１０２は、空間内の収音データを取得し（ステップＳ２０３）、音源分離および判別を行う（ステップＳ２０６）。具体的には、空間情報処理部１０２は、音源分離した音声データの到来方向、音量、特徴、および音源位置の判別を行う。この際、空間情報処理部１０２は、音源判別用ＤＢ１１２を参照し得る。
次に、空間情報処理部１０２は、音源位置と音声データを紐付けて音声ＤＢ１１３へ登録する（ステップＳ２０６）。音声ＤＢ１１３は、通信相手と共有するようにしてもよい。
次いで、空間情報処理部１０２は、音源分離した音声データを判別結果と共に、相手ユーザ側（通信先）へ通信部１０７を介して送信する（ステップＳ２１２）。
＜４−３．音源再生処理＞
続いて、スピーカ１０９２による音源再生処理について図１３を参照して説明する。図１３は、本実施形態による音源再生処理のフローチャートを示す図である。
図１３に示すように、まず、通信制御装置１０の空間情報生成部１０８は、空間情報の生成を行う（ステップＳ３０３）。空間情報の生成は、通信先から受信した空間情報や、通信先ユーザと共有する音声ＤＢ１１３から抽出した通信先空間における事象に紐付けられた音声データに基づいて行われる。
次に、空間情報生成部１０８は、出力部１０９に対して、空間情報の提示指示を行う（ステップＳ３０６）。
次いで、出力部１０９は、再生する音源群の属性（音量、音源位置、効果（指向性有無等））と、対応するスピーカを確認する（ステップＳ３０９）。
次に、出力部１０９は、対応するスピーカの種類がステレオである場合は（ステップＳ３１２／ステレオ）、ステレオスピーカに対応する所定の属性で音声データを出力する（ステップＳ３１８）。一方、出力部１０９は、対応するスピーカの種類が平面である場合は（ステップＳ３１２／平面）、平面スピーカに対応する所定の属性で音声データを出力する（ステップＳ３１５）。
＜＜５．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、通信相手とのつながりに仮想的な３次元空間を用いて、当該空間内の距離を聴覚的に演出し、より快適なコミュニケーションを実現することを可能とする。
また、通信元の空間に設置されたディスプレイを窓（またはドア）に見立てて、３次元空間上の所定の距離離れた場所に、通信相手の空間の映像を配置する空間画像を表示することで、通信相手との距離を視覚的に表現することもできる。なお、壁面に設置されるディスプレイの縦横比は、実際の窓やドアで用いられている寸法に合わせて実現されてもよい。また、ディスプレイをドアに見立てる場合、ディスプレイの下辺が床面付近に位置するように配置することで、よりリアルに、ドアの向こうの空間の存在を表現することができる。
また、３次元空間上に配置される通信相手の空間の映像の表示領域の縦横比を、ディスプレイの縦横比と同じにするよう制御してもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した通信制御装置１０、または処理サーバ３０に内蔵されるＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）等のハードウェアに、通信制御装置１０、または処理サーバ３０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
（１）
通信先からデータを受信する受信部と、
仮想の３次元空間上に配置された前記通信先と通信元との離隔距離に応じて、前記通信先の空間の音声データを音源種別毎に異なる出力値で前記通信元の空間の音声出力部から再生するよう制御する再生制御部と、
を備える、情報処理装置。
（２）
前記情報処理装置は、
前記３次元空間上の前記通信元と前記通信先との仮想的な離隔距離を制御する距離制御部をさらに備え、
前記距離制御部は、前記通信元からのつながり要求レベルと前記通信先からのつながり要求レベルに基づいて調整されたつながり度合いに応じて、前記離隔距離を制御する、前記（１）に記載の情報処理装置。
（３）
前記つながり要求レベルは、空間情報に基づいて判定されたユーザのコンテキストに応じて算出される、前記（２）に記載の情報処理装置。
（４）
前記通信先の空間の音声データは、前記受信部により前記通信先から受信した音声データ、または前記受信部により前記通信先から受信したデータに基づいて所定のデータベースから抽出した音声データである、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記再生制御部は、前記３次元空間上に配置された前記通信元の空間に対して前記通信先の空間が近い程、前記通信先の空間の発話音声データおよび物体音データを大きく、また、前記通信先の空間の環境音を小さく制御し、前記通信先の空間が遠い程、発話音声データおよび物体音データを小さく、また、環境音を大きく制御する、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記再生制御部は、前記音声データのうち、発話音声データおよび物体音データは対応する音像位置で再生するよう音像定位制御を行い、環境音は前記通信元の空間の基準面全体から再生するよう制御する、前記（５）に記載の情報処理装置。
（７）
前記情報処理装置は、
前記通信元の空間から取得した音声データの音源分離を行う音源分離部と、
前記音源分離した音声データを含む、前記通信元の空間から取得したデータを、前記通信先へ送信する送信部と、をさらに備える、前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記情報処理装置は、
前記通信先の空間に対応する画像を、前記３次元空間上において前記離隔距離に対応する所定位置に配置した空間画像情報を生成する生成部と、
前記生成された空間画像情報を前記通信元の空間の表示部に表示するよう制御する表示制御部と、をさらに備える、前記（１）〜（７）のいずれか１項に記載の情報処理装置。
（９）
プロセッサが、
通信先からデータを受信することと、
仮想の３次元空間上に配置された前記通信先と通信元との離隔距離に応じて、前記通信先の空間の音声データを音源種別毎に異なる出力値で前記通信元の空間の音声出力部から再生するよう制御することと、
を含む、情報処理方法。
（１０）
コンピュータを、
通信先からデータを受信する受信部と、
仮想の３次元空間上に配置された前記通信先と通信元との離隔距離に応じて、前記通信先の空間の音声データを音源種別毎に異なる出力値で前記通信元の空間の音声出力部から再生するよう制御する再生制御部と、
として機能させるための、プログラム。
１ テレプレゼンスシステム
１０（１０Ａ〜１０Ｃ） 通信制御装置
２０ ネットワーク
３０ 処理サーバ
４０ 窓枠
４１ 相手空間画像
１００ 通信制御装置
１０１ 入力部
１０１１ カメラ
１０１２ マイク
１０１３ センサ
１０２ 空間情報処理部
１０３ 状態判定部
１０４ 空間距離制御部
１０５ 操作Ｉ／Ｆ
１０６ 中庭空間生成部
１０７ 通信部
１０８ 空間情報生成部
１０９ 出力部
１０９１ ディスプレイ
１０９２ スピーカ
１０９３ インジケータ
１１０ 記憶部
１１１ 送信情報生成部
１１２ 音源判別用ＤＢ
１１３ 音声ＤＢ１１３

Claims (9)

  1. 通信先からデータを受信する受信部と、
    仮想の３次元空間上に配置された前記通信先と通信元との離隔距離に応じて、前記通信先の空間の音声データを音源種別毎に異なる出力値で前記通信元の空間の音声出力部から再生するよう制御する再生制御部と、
    前記通信元からのつながり要求レベルと前記通信先からのつながり要求レベルに基づいて調整されたつながり度合いに応じて、前記３次元空間上の前記通信元と前記通信先との仮想的な離隔距離を制御する距離制御部と、
    を備える、情報処理装置。
  2. 前記つながり要求レベルは、空間情報に基づいて判定されたユーザのコンテキストに応じて算出される、請求項１に記載の情報処理装置。
  3. 前記通信先の空間の音声データは、前記受信部により前記通信先から受信した音声データ、または前記受信部により前記通信先から受信したデータに基づいて所定のデータベースから抽出した音声データである、請求項１または２に記載の情報処理装置。
  4. 前記再生制御部は、前記３次元空間上に配置された前記通信元の空間に対して前記通信先の空間が近い程、前記通信先の空間の発話音声データおよび物体音データを大きく、また、前記通信先の空間の環境音を小さく制御し、前記通信先の空間が遠い程、発話音声データおよび物体音データを小さく、また、環境音を大きく制御する、請求項１乃至請求項３の何れか１項に記載の情報処理装置。
  5. 前記再生制御部は、前記音声データのうち、発話音声データおよび物体音データは対応する音像位置で再生するよう音像定位制御を行い、環境音は前記通信元の空間の基準面全体から再生するよう制御する、請求項４に記載の情報処理装置。
  6. 前記情報処理装置は、
    前記通信元の空間から取得した音声データの音源分離を行う音源分離部と、
    前記音源分離した音声データを含む、前記通信元の空間から取得したデータを、前記通信先へ送信する送信部と、をさらに備える、請求項１乃至請求項５の何れか１項に記載の情報処理装置。
  7. 前記情報処理装置は、
    前記通信先の空間に対応する画像を、前記３次元空間上において前記離隔距離に対応する所定位置に配置した空間画像情報を生成する生成部と、
    前記生成された空間画像情報を前記通信元の空間の表示部に表示するよう制御する表示制御部と、をさらに備える、請求項１乃至請求項６の何れか１項に記載の情報処理装置。
  8. プロセッサが、
    通信先からデータを受信することと、
    仮想の３次元空間上に配置された前記通信先と通信元との離隔距離に応じて、前記通信先の空間の音声データを音源種別毎に異なる出力値で前記通信元の空間の音声出力部から再生するよう制御することと、
    前記通信元からのつながり要求レベルと前記通信先からのつながり要求レベルに基づいて調整されたつながり度合いに応じて、前記３次元空間上の前記通信元と前記通信先との仮想的な離隔距離を制御することと、
    を含む、情報処理方法。
  9. コンピュータを、
    通信先からデータを受信する受信部と、
    仮想の３次元空間上に配置された前記通信先と通信元との離隔距離に応じて、前記通信先の空間の音声データを音源種別毎に異なる出力値で前記通信元の空間の音声出力部から再生するよう制御する再生制御部と、
    前記通信元からのつながり要求レベルと前記通信先からのつながり要求レベルに基づいて調整されたつながり度合いに応じて、前記３次元空間上の前記通信元と前記通信先との仮想的な離隔距離を制御する距離制御部と、
    として機能させるための、プログラム。
JP2017554945A 2015-12-11 2016-09-20 情報処理装置、情報処理方法、およびプログラム Active JP6798502B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015242438 2015-12-11
JP2015242438 2015-12-11
PCT/JP2016/077745 WO2017098772A1 (ja) 2015-12-11 2016-09-20 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2017098772A1 JPWO2017098772A1 (ja) 2018-09-27
JP6798502B2 true JP6798502B2 (ja) 2020-12-09

Family

ID=59013002

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017554945A Active JP6798502B2 (ja) 2015-12-11 2016-09-20 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (2) US10511807B2 (ja)
EP (1) EP3389260A4 (ja)
JP (1) JP6798502B2 (ja)
CN (1) CN108886599B (ja)
WO (1) WO2017098772A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10511807B2 (en) * 2015-12-11 2019-12-17 Sony Corporation Information processing apparatus, information processing method, and program
JP6859807B2 (ja) * 2017-03-31 2021-04-14 日本電気株式会社 情報処理装置、情報処理方法および情報処理プログラム
WO2019026678A1 (ja) * 2017-08-02 2019-02-07 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム
WO2019225100A1 (ja) * 2018-05-23 2019-11-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6526879B1 (ja) * 2018-06-25 2019-06-05 株式会社バーチャルキャスト データ送信装置、およびプログラム
WO2020031453A1 (ja) * 2018-08-10 2020-02-13 ソニー株式会社 情報処理装置及び情報処理方法、並びに映像音声出力システム
WO2020031696A1 (ja) * 2018-08-10 2020-02-13 ソニー株式会社 情報処理装置及び情報処理方法、並びに映像音声出力システム
US11335357B2 (en) * 2018-08-14 2022-05-17 Bose Corporation Playback enhancement in audio systems
JP7177631B2 (ja) 2018-08-24 2022-11-24 本田技研工業株式会社 音響シーン再構成装置、音響シーン再構成方法、およびプログラム
US11826648B2 (en) * 2019-01-30 2023-11-28 Sony Group Corporation Information processing apparatus, information processing method, and recording medium on which a program is written
US11979545B2 (en) 2019-02-07 2024-05-07 Sony Group Corporation Information processing apparatus and information processing method
US11240058B2 (en) * 2019-03-29 2022-02-01 Qualcomm Incorporated System and method to view occupant status and manage devices of building
CN110267166B (zh) * 2019-07-16 2021-08-03 上海艺瓣文化传播有限公司 一种基于双耳效应的虚拟声场实时交互系统
US12052528B2 (en) 2019-11-29 2024-07-30 Sony Group Corporation Telepresence system
JP7400554B2 (ja) * 2020-03-06 2023-12-19 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
JP7316974B2 (ja) * 2020-04-01 2023-07-28 Kddi株式会社 特定の音響信号を抑圧した環境音を送信する収音装置、システム、プログラム及び方法
JP7403392B2 (ja) * 2020-06-11 2023-12-22 Kddi株式会社 複数のマイクによって収音した環境音信号を再生装置へ送信する収音装置、システム、プログラム及び方法
US20230360315A1 (en) * 2020-09-14 2023-11-09 NWR Corporation Systems and Methods for Teleconferencing Virtual Environments
US11750745B2 (en) 2020-11-18 2023-09-05 Kelly Properties, Llc Processing and distribution of audio signals in a multi-party conferencing environment
JP2023053670A (ja) * 2021-10-01 2023-04-13 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7012630B2 (en) * 1996-02-08 2006-03-14 Verizon Services Corp. Spatial sound conference system and apparatus
JP3797751B2 (ja) * 1996-11-27 2006-07-19 富士通株式会社 マイクロホンシステム
US6737957B1 (en) * 2000-02-16 2004-05-18 Verance Corporation Remote control signaling using audio watermarks
US7319992B2 (en) * 2000-09-25 2008-01-15 The Mission Corporation Method and apparatus for delivering a virtual reality environment
AUPR647501A0 (en) * 2001-07-19 2001-08-09 Vast Audio Pty Ltd Recording a three dimensional auditory scene and reproducing it for the individual listener
JP2004056161A (ja) * 2002-05-28 2004-02-19 Matsushita Electric Works Ltd マルチメディア通信システム
US7491123B2 (en) * 2004-07-29 2009-02-17 Nintendo Co., Ltd. Video game voice chat with amplitude-based virtual ranging
JP3863165B2 (ja) * 2005-03-04 2006-12-27 株式会社コナミデジタルエンタテインメント 音声出力装置、音声出力方法、ならびに、プログラム
JP4741261B2 (ja) * 2005-03-11 2011-08-03 株式会社日立製作所 ビデオ会議システム、プログラムおよび会議端末
JP2006343447A (ja) 2005-06-08 2006-12-21 Konami Digital Entertainment:Kk 仮想空間共有システム及び仮想空間共有システムの制御方法
JP4645355B2 (ja) 2005-08-11 2011-03-09 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2008067203A (ja) 2006-09-08 2008-03-21 Toshiba Corp 映像合成装置、方法およびプログラム
CN101690150A (zh) * 2007-04-14 2010-03-31 缪斯科姆有限公司 基于虚拟现实的电话会议
JP4997022B2 (ja) 2007-08-15 2012-08-08 ヤフー株式会社 仮想空間提供サーバ及びシステム
US9258337B2 (en) * 2008-03-18 2016-02-09 Avaya Inc. Inclusion of web content in a virtual environment
CN102647944B (zh) * 2009-10-09 2016-07-06 奥克兰联合服务有限公司 耳鸣治疗系统和方法
JP5707824B2 (ja) 2010-09-29 2015-04-30 ソニー株式会社 制御装置、および制御方法
US8913758B2 (en) * 2010-10-18 2014-12-16 Avaya Inc. System and method for spatial noise suppression based on phase information
US8693713B2 (en) * 2010-12-17 2014-04-08 Microsoft Corporation Virtual audio environment for multidimensional conferencing
HUE058229T2 (hu) * 2011-07-01 2022-07-28 Dolby Laboratories Licensing Corp Berendezés és eljárás hangobjektumok renderelésére
DE102011119642A1 (de) * 2011-11-28 2013-05-29 Shure Europe GmbH Vorrichtung und Verfahren zur Raumklangsimulation
AU2014241011B2 (en) * 2013-03-28 2016-01-28 Dolby International Ab Rendering of audio objects with apparent size to arbitrary loudspeaker layouts
CA2925906A1 (en) * 2013-10-01 2015-04-09 Aaron DISHNO Three-dimensional (3d) browsing
JP6553052B2 (ja) * 2014-01-03 2019-07-31 ハーマン インターナショナル インダストリーズ インコーポレイテッド ジェスチャ相互作用式の装着可能な空間オーディオシステム
US9253439B2 (en) * 2014-02-24 2016-02-02 Cellco Partnership Managing complex video call scenarios in volte calls
EP3378240B1 (en) * 2015-11-20 2019-12-11 Dolby Laboratories Licensing Corporation System and method for rendering an audio program
US10511807B2 (en) * 2015-12-11 2019-12-17 Sony Corporation Information processing apparatus, information processing method, and program

Also Published As

Publication number Publication date
EP3389260A4 (en) 2018-11-21
US20180352193A1 (en) 2018-12-06
WO2017098772A1 (ja) 2017-06-15
US10834359B2 (en) 2020-11-10
CN108886599A (zh) 2018-11-23
US20200077048A1 (en) 2020-03-05
EP3389260A1 (en) 2018-10-17
JPWO2017098772A1 (ja) 2018-09-27
US10511807B2 (en) 2019-12-17
CN108886599B (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
JP6798502B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6958360B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US11640275B2 (en) Devices with enhanced audio
US10111002B1 (en) Dynamic audio optimization
JP7020411B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2010529738A (ja) 居宅用動画通信システム
WO2020063675A1 (zh) 一种智能音箱及智能音箱使用的方法
TWI842055B (zh) 可動態調整目標聆聽點並消除環境物件干擾的音響系統
Hendrikse et al. Development of Virtual Reality scenes for clinical use with hearing device fine-tuning
US20200275055A1 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190829

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201102

R151 Written notification of patent or utility model registration

Ref document number: 6798502

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151