JPWO2018198790A1 - コミュニケーション装置、コミュニケーション方法、プログラム、およびテレプレゼンスシステム - Google Patents

コミュニケーション装置、コミュニケーション方法、プログラム、およびテレプレゼンスシステム Download PDF

Info

Publication number
JPWO2018198790A1
JPWO2018198790A1 JP2019514368A JP2019514368A JPWO2018198790A1 JP WO2018198790 A1 JPWO2018198790 A1 JP WO2018198790A1 JP 2019514368 A JP2019514368 A JP 2019514368A JP 2019514368 A JP2019514368 A JP 2019514368A JP WO2018198790 A1 JPWO2018198790 A1 JP WO2018198790A1
Authority
JP
Japan
Prior art keywords
sound
space
communication device
setting
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019514368A
Other languages
English (en)
Other versions
JP7052792B2 (ja
Inventor
成志 見山
成志 見山
芳宏 真鍋
芳宏 真鍋
隆一 難波
隆一 難波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018198790A1 publication Critical patent/JPWO2018198790A1/ja
Application granted granted Critical
Publication of JP7052792B2 publication Critical patent/JP7052792B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/50—Tuning indicators; Automatic tuning control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403—Linear arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/005—Audio distribution systems for home, i.e. multi-room use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/21—Direction finding using differential microphone array [DMA]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Telephonic Communication Services (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本開示は、より円滑にコミュニケーションを図ることができるようにするコミュニケーション装置、コミュニケーション方法、プログラム、およびテレプレゼンスシステムに関する。音加工部は、映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、音を加工する。例えば、音加工部は、入力部により入力された音に対する加工を行い、音加工部により加工された音と、入力部により入力されたままの音との両方が送信される。また、音加工部は、相手側のコミュニケーション装置から送信されてくる音を受信する受信部が受信した音に対する加工を行って、出力部から出力させる。本技術は、例えば、テレプレゼンスシステムに適用できる。

Description

本開示は、コミュニケーション装置、コミュニケーション方法、プログラム、およびテレプレゼンスシステムに関し、特に、より円滑にコミュニケーションを図ることができるようにしたコミュニケーション装置、コミュニケーション方法、プログラム、およびテレプレゼンスシステムに関する。
従来、映像および音声を利用したコミュニケーションシステムを使用して、遠隔地に居るユーザどうしがお互いに顔を見ながら会話し、より親密なコミュニケーションを図ることが可能となっている。
例えば、パーソナルコンピュータやタブレット型の端末など通信装置を利用した既存のビデオチャットでは、互いに通信装置のディスプレイに向かい合って会話をするというように利用される。また、近年、遠隔地に居るユーザどうしが、実際に対面しているかのように臨場感のあるコミュニケーションを図ることができるテレプレゼンスシステムの利用が提案されている。
例えば、特許文献１には、映像中の発話者から発話されているように音像方向を定位することで、映像と音像方向とが一致するような実在感のあるテレビ会議装置が開示されている。
特開２０１２−２４８９８６号公報
ところで、上述のテレプレゼンスシステムを利用することによって、それぞれのユーザは、相手側の空間が仮想的な窓を介して隣接しているような感覚で、相手の存在を自然に感じられるような自然体のコミュニケーションを図ることができる。このように、あたかも隣接する空間に相手が存在しているかのようなテレプレゼンスシステムにおいて、コミュニケーションを阻害するような音まで伝達してしまうと、コミュニケーションを円滑に行うことが困難になってしまうことも想定される。
本開示は、このような状況に鑑みてなされたものであり、より円滑にコミュニケーションを図ることができるようにするものである。
本開示の一側面のコミュニケーション装置は、映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、前記音を加工する音加工部を備える。
本開示の一側面のコミュニケーション方法またはプログラムは、映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、前記音を加工するステップを含む。
本開示の一側面のテレプレゼンスシステムは、映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、前記音を加工する音加工部を備える。
本開示の一側面においては、映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、音が加工される。
本開示の一側面によれば、より円滑にコミュニケーションを図ることができる。
テレプレゼンスシステムの概略を説明する図である。 コミュニケーション装置の外観的な構成例を示す図である。 本技術を適用したテレプレゼンスシステムの一実施の形態の構成例を示すブロック図である。 自空間の設定画面の第１の表示例を示す図である。 自空間の設定画面の第２の表示例を示す図である。 自空間の設定画面の第３の表示例を示す図である。 自空間の設定画面の第４の表示例を示す図である。 他空間の設定画面の第１の表示例を示す図である。 他空間の設定画面の第２の表示例を示す図である。 設定情報の一例を示す図である。 自空間の音を加工して送信する処理を説明するフローチャートである。 他空間の音を出力する処理を説明するフローチャートである。 他空間の音情報を設定する処理を説明するフローチャートである。 音情報を記憶する処理を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
＜テレプレゼンスシステムの概略＞
まず、図１を参照して、テレプレゼンスシステムの概略について説明する。
図１に示すテレプレゼンスシステム１１において、ユーザＵ−１が居る空間Ｓ−１に配置されるコミュニケーション装置１２−１と、ユーザＵ−２が居る空間Ｓ−２に配置されるコミュニケーション装置１２−２とは、互いに映像および音声を送受信する。これにより、ユーザＵ−１およびユーザＵ−２は、テレプレゼンスシステム１１によって空間Ｓ−１と空間Ｓ−２とが互いに隣接しているかのような感覚でコミュニケーションを図ることができる。
例えば、コミュニケーション装置１２−１は、コミュニケーション装置１２−２により撮影された空間Ｓ−２の映像を表示するとともに、コミュニケーション装置１２−２により収音された空間Ｓ−２の音声を出力する。これにより、例えば、図１の右下に示すように、ユーザＵ−１は、コミュニケーション装置１２−１の向こう側に相対してコミュニケーション装置１２−２があるような配置で、空間Ｓ−１に対して、点線で示すように空間Ｓ−２が仮想的に重なっているように感じることができる。
同様に、コミュニケーション装置１２−２は、コミュニケーション装置１２−１により撮影された空間Ｓ−１の映像を表示するとともに、コミュニケーション装置１２−１により収音された空間Ｓ−１の音声を出力する。これにより、例えば、図１の左下に示すように、ユーザＵ−２は、コミュニケーション装置１２−２の向こう側に相対してコミュニケーション装置１２−１があるような配置で、空間Ｓ−２に対して、点線で示すように空間Ｓ−１が仮想的に重なっているように感じることができる。
従って、テレプレゼンスシステム１１によって、例えば、ユーザＵ−１は、コミュニケーション装置１２−１および１２−２を介して、あたかも隣接した空間にユーザＵ−２が存在するように、ユーザＵ−２と自然体でコミュニケーションを図ることができる。同様に、ユーザＵ２にとっても、隣接した空間にＵ−１が居るかのように自然体でコミュニケーションを図ることができる。
即ち、テレプレゼンスシステム１１では、自分の生活空間の中に、相手の生活空間が重なるような感覚で、お互いの存在を感じながら、積極的にコミュニケーションを図ろうと意識することなく、より円滑にコミュニケーションを図ることができる。
ところで、このようなテレプレゼンスシステム１１を利用するユーザによっては、コミュニケーションを阻害するような音に対する制御を行いたいと思うことがあると想定される。
具体的には、ユーザＵ−１が、コミュニケーション装置１２−１を配置してあるリビングＬの音はコミュニケーションの相手側に伝えてもよいが、よりプライベートなベッドルームＢの音は伝えたくないというように、音に対する制御を行いたいと思うことがあると想定される。また、ユーザＵ−２が、キッチンＫの音（例えば、水道水の流れる音や食器を重ねるときの音など）を快く思わず、その音の出力を抑制したいというように、音に対する制御を行いたいと思うことがあると想定される。
そこで、テレプレゼンスシステム１１は、特定の音に対する制御をユーザが任意に行うことができるように構成することができる。即ち、ユーザは、自身の居る空間（以下、適宜、自空間とも称する）の音のうち、特定の音のみが相手側に伝達される（または、特定の音のみが伝達されない）ように制御を行うことができる。また、ユーザは、コミュニケーションを図る相手側の空間（以下、適宜、他空間とも称する）の音のうち、特定の音のみが出力される（または、特定の音のみが出力されない）ように制御を行うことができる。
これにより、テレプレゼンスシステム１１は、コミュニケーションを阻害するような音による弊害の発生を回避して、ユーザが互いに、より円滑なコミュニケーションを図ることができるようにすることができる。
なお、テレプレゼンスシステム１１で用いられるコミュニケーション装置１２−１およびコミュニケーション装置１２−２は、それぞれ共通する構成とすることができ、それらを互いに区別する必要がない場合、以下、コミュニケーション装置１２と称する。
＜コミュニケーション装置の構成例＞
図２は、コミュニケーション装置１２の外観的な構成例を示す図である。
図２に示すように、コミュニケーション装置１２は、２つのマイクロフォン１３Ｌおよび１３Ｒ、カメラ１４、２つのスピーカ１５Ｌおよび１５Ｒ、ディスプレイ１６、操作信号入力部１７、並びに、制御装置１８を備えて構成される。
マイクロフォン１３Ｌおよび１３Ｒは、コミュニケーション装置１２が配置されている自空間の音を集音する。そして、マイクロフォン１３Ｌおよび１３Ｒにより集音された音を表す音響信号が、相手側のコミュニケーション装置１２に送信される。
カメラ１４は、コミュニケーション装置１２の前方の自空間を撮影する。そして、カメラ１４により撮影された映像を表す映像信号が、相手側のコミュニケーション装置１２に送信される。
スピーカ１５Ｌおよび１５Ｒは、相手側のコミュニケーション装置１２から送信されてくる音響信号を再生した音、即ち、相手側のコミュニケーション装置１２が配置されている他空間の音を出力する。
ディスプレイ１６は、相手側のコミュニケーション装置１２から送信されてくる映像信号を再生した映像、即ち、他空間におけるコミュニケーション装置１２の前方が撮影された映像を表示する。また、ディスプレイ１６は、特定の音に対する制御を行うための設定に利用される設定画面を表示することができる。
操作信号入力部１７は、例えば、ユーザの手元で操作されるリモートコントローラから送信される操作信号を、コミュニケーション装置１２に入力する。例えば、ユーザは、リモートコントローラを利用して、ディスプレイ１６に表示される設定画面により、特定の音に対する制御を行うための設定を行うことができ、操作信号入力部１７は、その設定を行う際の操作信号の入力を行う。
制御装置１８は、コミュニケーション装置１２を構成する各部に対する制御を行って、コミュニケーション装置１２によるコミュニケーションが、より円滑に行われるような制御を行う。
このように構成されるコミュニケーション装置１２は、自空間の映像および音を送信するとともに、他空間の映像を表示し、他空間の音を出力することができる。このとき、コミュニケーション装置１２では、他空間の等身大の映像がディスプレイ１６に表示され、他空間における音源の位置に応じた方向から聞こえるようにスピーカ１５Ｌおよび１５Ｒから音が出力される。これにより、コミュニケーション装置１２を利用して、ディスプレイ１６を仮想的な窓として自空間および他空間が隣接しているかのように、互いのユーザの存在を自然に感じるようなコミュニケーションを図ることができる。
なお、コミュニケーション装置１２の外観的な構成は、図２に示すような構成例に限定されることなく、様々な形態を採用することができる。
次に、図３を参照して、コミュニケーション装置１２の機能的な構成について説明する。図３には、コミュニケーション装置１２−１および１２−２により構成されるテレプレゼンスシステム１１の一実施の形態の構成例が示されている。
図３に示すように、コミュニケーション装置１２は、入力装置２１、送信装置２２、受信装置２３、出力装置２４、および音加工処理部２５を備えて構成される。
入力装置２１は、例えば、図２のマイクロフォン１３Ｌおよび１３Ｒや、カメラ１４、操作信号入力部１７などを有して構成され、コミュニケーション装置１２への各種の信号の入力を行う。即ち、入力装置２１は、マイクロフォン１３Ｌおよび１３Ｒによって収音された自空間の音を表す音響信号を音加工処理部２５の自空間音加工部３１へ入力したり、カメラ１４により撮影された自空間の映像を表す映像信号を送信装置２２へ入力したりする。また、入力装置２１は、後述する図４乃至図９に示すような設定画面を利用した音情報の設定を行う際に、図示しないリモートコントローラに対するユーザの操作に応じて操作信号入力部１７に入力される操作信号を、音加工処理部２５の自空間音情報設定判定部３２または他空間音情報設定判定部３５へ入力する。
また、入力装置２１は、コミュニケーション装置１２に組み込まれるマイクロフォン１３Ｌおよび１３Ｒに加えて、例えば、図１のキッチンＫやベッドルームＢなどのようにコミュニケーション装置１２が配置される空間Ｓ−１の各部屋に、それぞれ単独に設置されるマイクロフォン（図示せず）も有して構成することができる。この場合、それらの部屋に配置されたマイクロフォンとコミュニケーション装置１２とは無線または有線により接続することができる。
なお、入力装置２１は、例えば、複数のマイクロフォンがアレイ状に配置されたマイクロフォンアレイ（図示せず）や、カメラ１４により撮影される被写体までの距離を測定するデプスセンサ（図示せず）などを有して構成してもよい。
送信装置２２は、入力装置２１から音加工処理部２５に入力された音響信号に対して音加工処理部２５において音加工処理が施された音響信号を、例えば、インターネットなどのネットワークを介して、相手側のコミュニケーション装置１２に送信する。また、送信装置２２は、音加工処理部２５において音加工処理が施されていない音響信号、即ち、入力装置２１に入力されたままの音響信号を、相手側のコミュニケーション装置１２に送信することができる。さらに、送信装置２２は、図２のカメラ１４により撮影された映像を表す映像信号を送信したり、特定の音に対する制御を行うためにユーザにより設定された音情報を送信したりすることができる。
受信装置２３は、図示しないネットワークを介して、相手側のコミュニケーション装置１２から送信されてくる音響信号を受信して、音加工処理部２５に供給する。また、受信装置２３は、相手側のコミュニケーション装置１２から送信されてくる映像信号を受信して出力装置２４に供給したり、相手側のユーザにより設定された音情報を受信して音加工処理部２５の自空間音情報記憶部３３に記憶させたりする。
出力装置２４は、例えば、図２のスピーカ１５Ｌおよび１５Ｒやディスプレイ１６などを有して構成され、スピーカ１５Ｌおよび１５Ｒから他空間の音を出力し、ディスプレイ１６に他空間の映像を表示する。即ち、出力装置２４は、受信装置２３が受信した音響信号に対して音加工処理部２５において音加工処理が施された音響信号を再生した音を、スピーカ１５Ｌおよび１５Ｒから出力する。
また、出力装置２４は、コミュニケーション装置１２に組み込まれるスピーカ１５Ｌおよび１５Ｒに加えて、例えば、図１のキッチンＫやベッドルームＢなどのようにコミュニケーション装置１２が配置される各部屋に、それぞれ単独に設置されるスピーカ（図示せず）も有して構成することができる。この場合、それらの部屋に配置されたスピーカとコミュニケーション装置１２とは無線または有線により接続することができる。さらに、出力装置２４は、ディスプレイ１６の他、プロジェクタ（図示せず）により映像を表示してもよい。
音加工処理部２５は、入力装置２１により入力される音響信号に対して、自空間の特定の音に対するユーザによる制御に従った音加工処理を施し、送信装置２２を介して送信する。また、音加工処理部２５は、受信装置２３から供給される音響信号に対して、他空間の特定の音に対するユーザによる制御に従った音加工処理を施し、出力装置２４により出力させる。
図３に示すように、音加工処理部２５は、自空間音加工部３１、自空間音情報設定判定部３２、自空間音情報記憶部３３、他空間音加工部３４、他空間音情報設定判定部３５、および、他空間音情報記憶部３６を備えて構成される。
自空間音加工部３１は、自空間音情報記憶部３３に記憶されている自空間の音情報（自空間の特定の音に対する設定）に従って、自空間の音に対する音加工、即ち、入力装置２１により入力される音響信号に対する音加工処理を行う。
自空間音情報設定判定部３２は、自空間音情報記憶部３３に記憶されている自空間の音情報に対する設定を行う際に、ユーザによる設定が可能（許容範囲内）であるか否かを判定し、設定可能である場合には、その設定を行う。例えば、自空間音情報設定判定部３２は、音の位置測定ができないぐらいの細かい設定が行われた場合、即ち、ユーザによる指定が許容される範囲内でない場合、設定可能ではないと判定して、エラーを提示する。
自空間音情報記憶部３３は、自空間の音に対するユーザによる制御に従って、自空間の音に対して設定される各種の設定項目からなる音情報を記憶する。
他空間音加工部３４は、他空間音情報記憶部３６に記憶されている他空間の音情報（他空間の特定の音に対する設定）に従って、他空間の音に対する音加工、即ち、受信装置２３から供給される音響信号に対する音加工処理を行う。
他空間音情報設定判定部３５は、他空間音情報記憶部３６に記憶されている他空間の音情報に対する設定を行う際に、ユーザによる設定が可能（許容範囲内）であるか否かを判定し、設定可能である場合には、その設定を行う。例えば、他空間音情報設定判定部３５は、音の位置測定ができないぐらいの細かい設定が行われた場合、即ち、ユーザによる指定が許容される範囲内でない場合、設定可能ではないと判定して、エラーを提示する。
他空間音情報記憶部３６は、他空間の音に対するユーザによる制御に従って、他空間の音に対して設定される各種の設定項目からなる音情報を記憶する。
＜設定画面＞
図４乃至図９を参照して、コミュニケーション装置１２において自空間または他空間の音響を設定するのに用いられる設定画面について説明する。なお、以下では、図１に示した空間Ｓ−１を自空間とし、空間Ｓ−２を他空間として説明を行う。
図４には、自空間の音に対する制御を行うための設定画面の第１の表示例が示されている。
図４に示すように、自空間の設定画面５１−１は、自空間である空間Ｓ−１における部屋の間取り図を表示し、その間取りにおけるコミュニケーション装置１２−１を中心として任意の方向および幅で音量を制御することができる。
図４には、コミュニケーション装置１２−１に対してリビングＬがある方向および幅の音量は通常に設定され、コミュニケーション装置１２−１に対してキッチンＫがある方向および幅の音量は消音に設定され、それ以外の方向および幅の音量は控えめに設定されている例が示されている。即ち、ユーザは、コミュニケーション装置１２−１を中心としてキッチンＫ側の音に対して消音を設定して、キッチンＫ側の音が相手側に伝達されないようにすることができる。
このように音量を調節する設定の他、コミュニケーション装置１２では、コミュニケーション装置１２に対する任意の方向および幅で、例えば、音程を（例えば、音程が高い食器音を低い音に）変更する設定や、音色を変更する設定を行うことができる。または、コミュニケーション装置１２では、音圧や周波数などが変更されるような設定を行うことができる。また、ユーザによる音に対する方向および幅の指定が、例えば、コミュニケーション装置１２による制御が可能な許容範囲内でない場合には、エラーを提示して再設定を促すことや、許容範囲の限界の方向および幅での制御が行われる。
図５には、自空間の音に対する制御を行うための設定画面の第２の表示例が示されている。
図５に示すように、自空間の設定画面５１−２は、自空間である空間Ｓ−１における部屋の間取り図を表示し、その間取りにおけるコミュニケーション装置１２−１を中心として４５度ごとに音量を制御することができる。
図５には、コミュニケーション装置１２−１を中心として４５度ごとに、音量を表すメモリが表示されており、それらのメモリにおいてハッチングが施されている大きさで、音量が設定されている例が示されている。図５においても、図４と同様に、キッチンＫ側の音に対して消音が設定され、キッチンＫ側の音が相手側に伝達されないようにすることができる。
図６には、自空間の音に対する制御を行うための設定画面の第３の表示例が示されている。
図６に示すように、自空間の設定画面５１−３は、自空間である空間Ｓ−１における部屋の間取り図を表示し、その間取りにおいて個別にマイクロフォンが設置されている箇所に、それらのマイクロフォンが集音する音の音量を制御することができる。
図６には、キッチンＫに設置されているマイクロフォンの音量が１に設定され、ベッドルームＢに設置されているマイクロフォンの音量が５に設定されている例が示されている。このように、ユーザは、自空間の見取り図内のどの位置に、どの向きで、どのような性能のマイクロフォンを設置したかを入力し、それらのマイクロフォンが集音する音が他空間に伝達される際の音量を設定することができる。
このように、コミュニケーション装置１２では、マイクロフォンが設置されている部屋ごとに、各部屋の音に対する制御を行うことができ、自空間の設定画面５１−３により、その設定を認識することができる。
図７には、自空間の音に対する制御を行うための設定画面の第４の表示例が示されている。
図７に示すように、自空間の設定画面５１−４は、自空間である空間Ｓ−１における部屋の間取り図を表示し、その間取りにおいて、他空間側で音像が定位する位置を制御することができる。
図７には、コミュニケーション装置１２−１に対してキッチンＫ側の音を、キッチンＫの反対側に定位するように音像の定位位置を変更する設定が行われる例が示されている。
このように、コミュニケーション装置１２では、自空間の音が、他空間で定位する位置を制御することができる。同様に、コミュニケーション装置１２では、他空間の音が、自空間で定位する位置を制御するようにしてもよい。
図８には、他空間の音に対する制御を行うための設定画面の第１の表示例が示されている。
図８に示すように、他空間の設定画面６１−１は、他空間である空間Ｓ−２における部屋の間取り図を表示し、ユーザＵ−１がコミュニケーション装置１２−１に向かっている状態で、どこを向いていて、どの範囲が見えているかが示されている。
そして、ユーザＵ−１は、他空間の設定画面６１−１において自身の向きやコミュニケーション装置１２−１を介して見える範囲を認識し、空間Ｓ−２の間取り図に対して、図４乃至図７を参照して説明したのと同様に、他空間の音に対する制御を行うことができる。
なお、ユーザＵ−１が、他空間である空間Ｓ−２を把握し易くする必要があり、例えば、図８に示すような平面的な間取りではなく、立体的な間取りを表示するようにしてもよい。
図９には、他空間の音に対する制御を行うための設定画面の第２の表示例が示されている。
図９では、ユーザＳ−２が、他空間である空間Ｓ−１に対する音の設定を行う他空間の設定画面６１−２が示されている。図９に示すように、他空間の設定画面６１−２上で、ユーザＳ−２の向きを切り替えることができ、ユーザＳ−２は、他空間の設定画面６１−２Ａと他空間の設定画面６１−２Ｂとで、認識し易い方を選択することができる。即ち、他空間の設定画面６１−２Ｂのように、ヘディングアップの提示を行うことができる。
なお、設定画面５１−１乃至５１−４、および、設定画面６１−１乃至６１−２で表示される部屋の間取り図は、ユーザが手動でコミュニケーション装置１２に入力することができる。例えば、ユーザは、タブレット端末を利用して、タッチ操作により手書きで間取り図を入力したり、間取り図が描かれた紙などを撮影して画像認識を利用して間取り図を読み込ませたりすることができる。
また、図１０には、図４乃至図９を参照して説明した設定画面を使用して設定される設定情報の一例が示されている。
図１０には、コミュニケーション装置１２の正面を９０度としたときの各方位の音量、音程、音色、および定位位置を設定する例が示されている。
例えば、コミュニケーション装置１２に対して４５度の方位の音量のレベルを５に設定し、その音程を200Ｈｚ低下させるように設定することができる。また、コミュニケーション装置１２に対して２２５度の方位の音量のレベルを８に設定し、その定位位置がコミュニケーション装置１２に対して４５度の方位となるように設定することができる。この他、設定情報により、自空間音加工部３１または他空間音加工部３４による音の加工の有無を設定することができ、音に対する制御を行うか否かをユーザの意思で決定することができる。
＜音設定処理＞
図１１乃至図１４のフローチャートを参照して、図１のテレプレゼンスシステム１１において行われる音制御処理について説明する。
図１１には、自空間の音を加工して送信する処理を説明するフローチャートが示されている。
ステップＳ１１において、複数のマイクロフォン１３により収音された音を表す音響信号が入力装置２１から自空間音加工部３１および送信装置２２に入力される。そして、自空間音加工部３１は、それらの音を解析することによって、入力された音の方位や、音量、音程、音色などを特定することができる。
ステップＳ１２において、自空間音加工部３１は、自空間音情報記憶部３３に記憶されている音情報に基づいて、ステップＳ１１で入力された音響信号に対する加工を行って、送信装置２２に供給する。
ステップＳ１３において、送信装置２２は、ステップＳ１２で自空間音加工部３１から供給された加工された音響信号と、ステップＳ１１で入力装置２１から入力されたままの音響信号との両方を送信する。
図１２には、他空間の音を出力する処理を説明するフローチャートが示されている。
ステップＳ２１において、受信装置２３は、図１１のステップＳ１３で送信された音響信号を受信して、他空間音加工部３４に供給する。
ステップＳ２２において、他空間音加工部３４は、他空間音情報記憶部３６に記憶されている音情報に基づいて、ステップＳ２１で入力された音響信号に対する加工を行う。なお、自空間側で消音された音など、他空間側で加工することができない音に対しては、ステップＳ２２での処理はスキップされる。
ステップＳ２３において、他空間音加工部３４は、ステップＳ２２で加工された音響信号に基づいて、複数のスピーカ１５の構成に合わせて音を統合する。
ステップＳ２４において、出力装置２４は、ステップＳ２３で統合された音をスピーカ１５から出力させる。
図１３には、他空間の音情報を設定する処理を説明するフローチャートが示されている。
ステップＳ３１において、ユーザによる操作に従って、自空間音情報設定判定部３２は、出力装置２４に他空間の設定画面を表示する。
ステップＳ３２において、ユーザが音情報の設定項目（音量、音程、音色、および定位位置）を指定すると、他空間音情報設定判定部３５は、その設定項目を取得する。
ステップＳ３３において、他空間音情報設定判定部３５は、ステップＳ３２で取得した設定項目が設定可能な項目であるか否かを判定し、設定可能な項目でないと判定した場合には、処理はステップＳ３２に戻って、エラーを提示して再度、ユーザによる指定が行われる。
一方、ステップＳ３３において、他空間音情報設定判定部３５が、設定可能な項目であると判定した場合、処理はステップＳ３４に進む。ステップＳ３４において、ユーザが設定項目に対する設定内容（例えば、音量のレベルや定位位置の方向など）指定すると、他空間音情報設定判定部３５は、その設定内容を取得する。
ステップＳ３５において、他空間音情報設定判定部３５は、ステップＳ３４で取得した設定内容が許容範囲内であるか否かを判定し、許容範囲内でないと判定した場合には、処理はステップＳ３４に戻って、エラーを提示して再度、ユーザによる指定が行われる。
一方、ステップＳ３５において、他空間音情報設定判定部３５が、許容範囲内であると判定した場合、処理はステップＳ３６に進む。ステップＳ３６において、他空間音情報設定判定部３５は、その設定内容で他空間音情報記憶部３６に記憶されている音情報を更新する。
ステップＳ３７において、他空間音情報設定判定部３５は、ステップＳ３６で更新した音情報を相手側に送信するか否かを判定し、送信すると判定した場合、ステップＳ３８において送信装置２２により音情報を送信した後、処理は終了される。一方、ステップＳ３７において、送信しないと判定された場合、ステップＳ３８はスキップして処理は終了される。なお、自空間音情報設定判定部３２も、他空間音情報設定判定部３５と同様に、自空間の音情報を設定する処理を行って、自空間音情報記憶部３３に記憶されている音情報を更新することができる。
図１４には、音情報を記憶する処理を説明するフローチャートが示されている。
ステップＳ４１において、受信装置２３は、図１３のステップＳ３８で送信された音情報を受信する。
ステップＳ４２において、受信装置２３は、ステップＳ４１で受信した音情報を自空間音情報記憶部３３に供給して記憶させて、処理は終了される。
なお、この場合、自空間音情報記憶部３３には、自身側のユーザにより設定された情報と、相手側のユーザにより設定された情報との２種類の上方が記憶される。従って、どちらの情報を優先させるかを示す優先度合いを設定したり、システムによって優先度を予め設定しておいてもよい。
なお、テレプレゼンスシステム１１では、音に対する加工を、コミュニケーション装置１２−１とコミュニケーション装置１２−２とのどちらでも行うようにすることができる。例えば、図３において破線の矢印で示すように、他空間音加工部３４−２で加工された音が、送信装置２２−２によりコミュニケーション装置１２−１へ送信され、出力されるようにすることができる。これにより、音の加工内容によっては、通信帯域を節約することができ、例えば、音量が０に設定されている方向の音は送信しないようにすることができる。また、このとき、相手がどのような加工設定をしているかを、自空間側で表示するようにしてもよい。
また、コミュニケーション装置１２では、例えば、音量を消音に設定した範囲から、音量を通常に設定した範囲（例えば、図４のキッチンＫからリビングＬ）へ移動した際に、急に音が聞こえるようになることに対する違和感を抑制するためにフェードインを行うことができる。つまり、音量を消音に設定した範囲から、音量を通常に設定した範囲に向かって徐々に音量が増加するように音を制御することができる。これにより、例えば、掃除機を使用しながら、音量を消音に設定した範囲から、音量を通常に設定した範囲に移動したときに、急激に大きな掃除機音が聞こえ出さないようにすることができる。
また、逆に、コミュニケーション装置１２では、フェードアウトするように、音量を通常に設定した範囲から、音量を消音に設定した範囲に向かって徐々に音量が低下するように音を制御してもよい。
＜コンピュータのハードウエアの構成例＞
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、単一のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
また、上述した一連の処理（コミュニケーション方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロフォンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、前記音を加工する音加工部
を備えるコミュニケーション装置。
（２）
前記音を入力する入力部と、
相手側のコミュニケーション装置に対する送信を行う送信部と
をさらに備え、
前記音加工部は、前記入力部により入力された音に対する加工を行い、
前記送信部は、前記音加工部により加工された音と、前記入力部により入力されたままの音との両方を送信する
上記（１）に記載のコミュニケーション装置。
（３）
相手側のコミュニケーション装置から送信されてくる音を受信する受信部と、
前記音を出力する出力部と
をさらに備え、
前記音加工部は、前記受信部が受信した音に対する加工を行って、前記出力部から出力させる
上記（１）または（２）に記載のコミュニケーション装置。
（４）
前記音加工部は、音量の調節、音色の変更、音程の変更、および音像の定位位置の変更のうち、少なくとも１つの加工を行う
上記（１）から（３）までのいずれかに記載のコミュニケーション装置。
（５）
前記音加工部による加工の有無を設定可能である
上記（１）から（４）までのいずれかに記載のコミュニケーション装置。
（６）
前記音に対する制御を行うための設定画面を表示する表示部
をさらに備え、
前記設定画面には、映像および音声によるコミュニケーションを行う部屋の間取りが表示され、加工を行う対象とする音の方向および幅がユーザにより設定される
上記（１）から（５）までのいずれかに記載のコミュニケーション装置。
（７）
ユーザによる音に対する設定が許容範囲内であるか否かを判定する判定部
をさらに備える上記（６）に記載のコミュニケーション装置。
（８）
映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、前記音を加工する
ステップを含むコミュニケーション方法。
（９）
映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、前記音を加工する
ステップを含む処理をコンピュータに実行させるプログラム。
（１０）
映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、前記音を加工する音加工部
を備えるテレプレゼンスシステム。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
１１ プレゼンスシステム， １２ コミュニケーション装置， １３ マイクロフォン， １４ カメラ， １５ スピーカ， １６ ディスプレイ， １７ 操作信号入力部， １８ 制御装置， ２１ 入力装置， ２２ 送信装置， ２３ 受信装置， ２４ 出力装置， ２５ 音加工処理部， ３１ 自空間音加工部， ３２ 自空間音情報設定判定部， ３３ 自空間音情報記憶部， ３４ 他空間音加工部， ３５ 他空間音情報設定判定部， ３６ 他空間音情報記憶部

Claims (10)

  1. 映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、前記音を加工する音加工部
    を備えるコミュニケーション装置。
  2. 前記音を入力する入力部と、
    相手側のコミュニケーション装置に対する送信を行う送信部と
    をさらに備え、
    前記音加工部は、前記入力部により入力された音に対する加工を行い、
    前記送信部は、前記音加工部により加工された音と、前記入力部により入力されたままの音との両方を送信する
    請求項１に記載のコミュニケーション装置。
  3. 相手側のコミュニケーション装置から送信されてくる音を受信する受信部と、
    前記音を出力する出力部と
    をさらに備え、
    前記音加工部は、前記受信部が受信した音に対する加工を行って、前記出力部から出力させる
    請求項１に記載のコミュニケーション装置。
  4. 前記音加工部は、音量の調節、音色の変更、音程の変更、および音像の定位位置の変更のうち、少なくとも１つの加工を行う
    請求項１に記載のコミュニケーション装置。
  5. 前記音加工部による加工の有無を設定可能である
    請求項１に記載のコミュニケーション装置。
  6. 前記音に対する制御を行うための設定画面を表示する表示部
    をさらに備え、
    前記設定画面には、映像および音声によるコミュニケーションを行う部屋の間取りが表示され、加工を行う対象とする音の方向および幅がユーザにより設定される
    請求項１に記載のコミュニケーション装置。
  7. ユーザによる音に対する設定が許容範囲内であるか否かを判定する判定部
    をさらに備える請求項６に記載のコミュニケーション装置。
  8. 映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、前記音を加工する
    ステップを含むコミュニケーション方法。
  9. 映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、前記音を加工する
    ステップを含む処理をコンピュータに実行させるプログラム。
  10. 映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、前記音を加工する音加工部
    を備えるテレプレゼンスシステム。
JP2019514368A 2017-04-26 2018-04-12 コミュニケーション装置、コミュニケーション方法、プログラム、およびテレプレゼンスシステム Active JP7052792B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017087428 2017-04-26
JP2017087428 2017-04-26
PCT/JP2018/015353 WO2018198790A1 (ja) 2017-04-26 2018-04-12 コミュニケーション装置、コミュニケーション方法、プログラム、およびテレプレゼンスシステム

Publications (2)

Publication Number Publication Date
JPWO2018198790A1 true JPWO2018198790A1 (ja) 2020-03-05
JP7052792B2 JP7052792B2 (ja) 2022-04-12

Family

ID=63918299

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019514368A Active JP7052792B2 (ja) 2017-04-26 2018-04-12 コミュニケーション装置、コミュニケーション方法、プログラム、およびテレプレゼンスシステム

Country Status (3)

Country Link
US (1) US10979803B2 (ja)
JP (1) JP7052792B2 (ja)
WO (1) WO2018198790A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7253183B2 (ja) * 2019-02-18 2023-04-06 株式会社東海理化電機製作所 制御装置およびプログラム
JP7358919B2 (ja) 2019-11-07 2023-10-11 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001036881A (ja) * 1999-07-16 2001-02-09 Canon Inc 音声伝送システム及び音声再生装置
JP2005086363A (ja) * 2003-09-05 2005-03-31 Sony Corp 通話装置
WO2009119288A1 (ja) * 2008-03-25 2009-10-01 コニカミノルタホールディングス株式会社 コミュニケーションシステム及びコミュニケーションプログラム
JP2011035524A (ja) * 2009-07-30 2011-02-17 Oki Electric Industry Co Ltd 情報処理システム、情報処理装置、及び情報処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020140804A1 (en) * 2001-03-30 2002-10-03 Koninklijke Philips Electronics N.V. Method and apparatus for audio/image speaker detection and locator
US7843486B1 (en) * 2006-04-10 2010-11-30 Avaya Inc. Selective muting for conference call participants
JP5912294B2 (ja) 2011-05-26 2016-04-27 シャープ株式会社 テレビ会議装置
US20160135737A1 (en) * 2014-11-17 2016-05-19 Elwha Llc Determining treatment compliance using speech patterns captured during use of a communication system
CN106297809A (zh) * 2015-05-29 2017-01-04 杜比实验室特许公司 基于远端用户控制的音频信号处理
EP3313101B1 (en) * 2016-10-21 2020-07-22 Nokia Technologies Oy Distributed spatial audio mixing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001036881A (ja) * 1999-07-16 2001-02-09 Canon Inc 音声伝送システム及び音声再生装置
JP2005086363A (ja) * 2003-09-05 2005-03-31 Sony Corp 通話装置
WO2009119288A1 (ja) * 2008-03-25 2009-10-01 コニカミノルタホールディングス株式会社 コミュニケーションシステム及びコミュニケーションプログラム
JP2011035524A (ja) * 2009-07-30 2011-02-17 Oki Electric Industry Co Ltd 情報処理システム、情報処理装置、及び情報処理方法

Also Published As

Publication number Publication date
US20200092639A1 (en) 2020-03-19
WO2018198790A1 (ja) 2018-11-01
US10979803B2 (en) 2021-04-13
JP7052792B2 (ja) 2022-04-12

Similar Documents

Publication Publication Date Title
US11640275B2 (en) Devices with enhanced audio
US8711201B2 (en) Controlling a video window position relative to a video camera position
US20150264502A1 (en) Audio Signal Processing Device, Position Information Acquisition Device, and Audio Signal Processing System
CN111492342B (zh) 音频场景处理
US20230021918A1 (en) Systems, devices, and methods of manipulating audio data based on microphone orientation
JPWO2018198790A1 (ja) コミュニケーション装置、コミュニケーション方法、プログラム、およびテレプレゼンスシステム
KR20210022579A (ko) 정보 처리 장치 및 정보 처리 방법, 그리고 정보 처리 시스템
US20040184617A1 (en) Information apparatus, system for controlling acoustic equipment and method of controlling acoustic equipment
JP2956125B2 (ja) 音源情報制御装置
JP7472091B2 (ja) オンライン通話管理装置及びオンライン通話管理プログラム
JP2006094315A (ja) 立体音響再生システム
JP2006270425A (ja) 音声出力方法、音声出力プログラム、及び情報処理装置
JP2007158619A (ja) 操作装置、システム、及び、操作方法
US20210382672A1 (en) Systems, devices, and methods of manipulating audio data based on display orientation
JP2023155921A (ja) 情報処理装置、情報処理端末、情報処理方法、およびプログラム
JPH08125760A (ja) 情報処理装置
WO2022113288A1 (ja) ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法
WO2022113394A1 (ja) ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法
US20220303149A1 (en) Conferencing session facilitation systems and methods using virtual assistant systems and artificial intelligence algorithms
JP2024008112A (ja) 音声処理システム、音声処理方法、及び音声処理プログラム
JP2022143165A (ja) 再生装置、再生システムおよび再生方法
JP2023043497A (ja) リモート会議システム
JP2006119875A (ja) プレゼンテーションシステムおよびプレゼンテーションプログラム、並びにプレゼンテーション方法、プロジェクタ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220314

R151 Written notification of patent or utility model registration

Ref document number: 7052792

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151