JP5602688B2

JP5602688B2 - Sound image localization control system, communication server, multipoint connection device, and sound image localization control method

Info

Publication number: JP5602688B2
Application number: JP2011148304A
Authority: JP
Inventors: 啓之佐藤; 裕也南; 春乃片岡; 道夫下村; 大地並河
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2011-07-04
Filing date: 2011-07-04
Publication date: 2014-10-08
Anticipated expiration: 2031-07-04
Also published as: JP2013017027A

Description

本発明は、本発明は、音声会議やテレビ会議（ビデオ会議）を多地点で利用する場合に、利用者端末が出力させる音声の音像定位を適応的に制御する音像定位制御システム、コミュニケーション用サーバ、多地点接続装置、及び音像定位制御方法に関するものである。 The present invention relates to a sound image localization control system and a communication server for adaptively controlling the sound image localization of a voice output by a user terminal when a voice conference or a video conference (video conference) is used at multiple points. The present invention relates to a multipoint connection device and a sound image localization control method.

従来、３拠点以上で多地点接続装置（ＭＣＵ：Multipoint Control Unit）を用いて音声会議やテレビ会議を行う場合、各拠点の音声を同じ音像定位で他の拠点で再生する方法、一拠点からの音声のみを他の拠点で再生する方法、無音状態から有音状態を感知した拠点に発言権を与える方法などがあった。また、音像定位を利用した臨場感を生じさせる技術も知られている（例えば、特許文献１参照）。また、インターネット回線を利用し、複数の利用者が参加可能であり、資料共有機能等を備えるｗｅｂ会議システムも知られている（例えば、非特許文献１参照）。 Conventionally, when performing audio conferences and video conferences using multipoint control units (MCUs) at three or more sites, a method for reproducing the audio from each site at other sites with the same sound image localization, There were a method of reproducing only sound at another site, a method of giving a right to speak to a site that sensed a sound state from a silent state. There is also known a technique for producing a sense of presence using sound image localization (see, for example, Patent Document 1). There is also a web conference system that uses an Internet line and allows a plurality of users to participate and has a document sharing function or the like (for example, see Non-Patent Document 1).

特開平１−２８０９８２号公報Japanese Patent Laid-Open No. 1-280982

“meeting plaza”［online］、ＮＴＴアイティ株式会社、［２０１１年６月２２日検索］、インターネット〈URL:http://www.meetingplaza.com/index-j.html〉“Meeting plaza” [online], NTT IT Corporation, [searched on June 22, 2011], Internet <URL: http://www.meetingplaza.com/index-j.html>

しかし、一部又は全員が拠点を別にして行う在宅勤務や遠隔学習では、できるだけ職場と同じように、話し合いたい人には近づいてその人とだけ会話できる一方で、職場の他のメンバー間の会話も聞くことができることが望ましい。ところが、既存の多地点接続装置を用いた場合は、職場や他の在宅勤務者の通話が常に同じ音量で聞こえる、職場の音声だけが聞こえ他の在宅勤務者の声が聞こえない、発言があった拠点のみの音声が聞こえる、といった課題があった。また、仮想空間において、音像定位を用いる臨場感再現技術では、利用者は自らの仮想空間上の位置を操作し、学習や業務上コミュニケーションが必要な人物の近くに赴く必要があった。 However, in telecommuting and remote learning, where some or all of them are separated from each other, as much as possible in the workplace, you can approach and talk to the person you want to talk to, but not between other members of the workplace. It is desirable to be able to listen to conversations. However, when using an existing multipoint connection device, calls from the office and other telecommuters can always be heard at the same volume, only the voice of the workplace can be heard, and other telecommuters cannot be heard. There was a problem that the sound of only the base was heard. In addition, in the realistic reproduction technology using sound image localization in a virtual space, the user has to operate his / her position in the virtual space and go close to a person who needs learning or business communication.

本発明の目的は、上記問題を解決するため、利用者間のコミュニケーション量に基づいて利用者間の関係性の強さ（コミュニケーションの重要度）を判断し、自動的に音像定位を変化させることにある。 In order to solve the above-described problem, an object of the present invention is to determine the strength of the relationship between users (the importance of communication) based on the amount of communication between users and automatically change the sound image localization. It is in.

上記課題を解決するため、本発明に係る音像定位制御システムは、利用者端末と、コミュニケーション用サーバと、多地点接続装置とを備え、利用者端末が出力させる音声の音像定位を適応的に制御する音像定位制御システムであって、前記利用者端末は、データファイル又はインスタントメッセージ、該データファイル又はインスタントメッセージの送信元利用者端末の識別子、及び該データファイル又はインスタントメッセージの送信先利用者端末の識別子を前記コミュニケーション用サーバに送信するコミュニケーション部と、音声データを前記多地点接続装置に送信する音声送信部と、前記多地点接続装置から受信した音像定位処理された音声データに基づきサラウンド音声を再生する音声再生部と、を備え、前記コミュニケーション用サーバは、前記利用者端末から受信した前記送信元利用者端末の識別子及び前記送信先利用者端末の識別子のうちの２つの識別子である第１利用者端末識別子及び第２利用者端末識別子の各順列に、重みを対応付けたテーブルである関係グラフを記憶する手段と、前記第１利用者端末識別子及び第２利用者端末識別子を前記関係グラフに格納し、第１利用者端末識別子を有する利用者端末と第２利用者端末識別子を有する利用者端末との間で前記データファイル又はインスタントメッセージのやり取りが発生した場合には、該第１利用者端末識別子及び第２利用者端末識別子に対応付けられた重みにデータファイル用又はインスタントメッセージ用の加算値を加える関係グラフ管理部と、を備え、前記多地点接続装置は、前記音声送信部から前記音声データを受信する音声受信部と、前記コミュニケーション用サーバから前記関係グラフの重みを受信し、該重みが大きいほど前方、且つ該重みが小さいほど後方となるように適応的に音像定位を決定する音像定位管理部と、前記音声受信部にて受信した音声データに対し、前記音像定位管理部により決定された音像定位に基づいて音像定位処理を施し、音像定位処理された音声データを、当該多地点接続装置に接続された利用者端末の前記音声再生部に送信する音像定位処理部と、を備えることを特徴とする。 In order to solve the above-described problems, a sound image localization control system according to the present invention includes a user terminal, a communication server, and a multipoint connection device, and adaptively controls sound image localization of sound output from the user terminal. The user terminal includes a data file or an instant message, an identifier of a user terminal of the data file or instant message, and a destination user terminal of the data file or instant message. Surround sound is played back based on the communication unit that transmits the identifier to the communication server, the audio transmission unit that transmits the audio data to the multipoint connection device, and the audio data that has been subjected to the sound image localization process received from the multipoint connection device. An audio playback unit that performs communication. The server for the first user terminal identifier and the second user terminal identifier that are two identifiers of the identifier of the transmission source user terminal and the identifier of the transmission destination user terminal received from the user terminal Means for storing a relation graph , which is a table in which weights are associated with each permutation , and storing the first user terminal identifier and the second user terminal identifier in the relation graph, and having a first user terminal identifier When the data file or instant message is exchanged between the user terminal and the user terminal having the second user terminal identifier, it corresponds to the first user terminal identifier and the second user terminal identifier. A relational graph management unit that adds an added value for a data file or an instant message to the assigned weight, and the multipoint connection device includes the voice transmission unit A voice receiving unit for receiving al the audio data, receive a weight of the relationship graph from the communication server, forward the more heavy body is large, and the adaptively sound image localization so that the rear as heavy body is small The sound image localization management unit to be determined and the sound data received by the sound receiving unit are subjected to sound image localization processing based on the sound image localization determined by the sound image localization management unit, and the sound data subjected to sound image localization processing are A sound image localization processing unit that transmits to the sound reproduction unit of the user terminal connected to the multipoint connection device.

また、上記課題を解決するため、本発明に係るコミュニケーション用サーバは、利用者端末と、コミュニケーション用サーバと、多地点接続装置とを備える音像定位制御システムにおけるコミュニケーション用サーバであって、前記利用者端末から受信した、データファイル又はインスタントメッセージの送信元利用者端末の識別子及び送信先利用者端末の識別子のうちの２つの識別子である第１利用者端末識別子及び第２利用者端末識別子と、該第１利用者端末識別子及び第２利用者端末識別子の順列に、重みを対応付けたテーブルである関係グラフを記憶する手段と、前記第１利用者端末識別子を有する利用者端末と前記第２利用者端末識別子を有する利用者端末との間で前記データファイル又はインスタントメッセージのやり取りが発生した場合には、該第１利用者端末識別子及び第２利用者端末識別子に対応付けられた重みに所定の加算値を加える関係グラフ管理部と、を備え、前記関係グラフ管理部は、前記多地点接続装置に前記関係グラフの重みを送信し、該重みが大きいほど前方、且つ該重みが小さいほど後方となるように適応的に音像定位を決定させることを特徴とする。 In order to solve the above problem, a communication server according to the present invention is a communication server in a sound image localization control system including a user terminal, a communication server, and a multipoint connection device, and the user A first user terminal identifier and a second user terminal identifier, which are two identifiers of the identifier of the transmission source user terminal and the identifier of the transmission destination user terminal of the data file or instant message received from the terminal; Means for storing a relation graph which is a table in which weights are associated with permutations of a first user terminal identifier and a second user terminal identifier; a user terminal having the first user terminal identifier; and the second usage The data file or instant message is exchanged with a user terminal having a user terminal identifier. When is provided with a first user terminal identifier and the second user terminal to the weight associated with the identifier added predetermined addition value relationship graph management unit, wherein the relationship graph manager, said multi sending the weight of the relationship graph in point connection device, and wherein the Rukoto adaptively determined sound image localization so that the rear as front as heavy body is large, and heavy body is small.

また、上記課題を解決するため、本発明に係る多地点接続装置は、利用者端末と、コミュニケーション用サーバと、多地点接続装置とを備える音像定位制御システムにおける多地点接続装置であって、前記コミュニケーション用サーバは、前記利用者端末から受信したデータファイル又はインスタントメッセージの送信元利用者端末の識別子及び送信先利用者端末の識別子のうちの２つの識別子である第１利用者端末識別子及び第２利用者端末識別子の順列に、重みを対応付けたテーブルである関係グラフを記憶しており、前記利用者端末から音声データを受信する音声受信部と、前記コミュニケーション用サーバから前記関係グラフの重みを受信し、該重みが大きいほど前方、且つ該重みが小さいほど後方となるように適応的に音像定位を決定する音像定位管理部と、前記音声受信部にて受信した音声データに対し、前記音像定位管理部により決定された音像定位に基づいて音像定位処理を施し、音像定位処理された音声データを、当該多地点接続装置に接続された利用者端末に送信する音像定位処理部と、を備えることを特徴とする。 In order to solve the above problems, the multipoint control unit according to the present invention, a user terminal, a multipoint control unit by the sound image localization control system comprising a communication server and a multipoint control unit, wherein The communication server includes a first user terminal identifier and a second identifier that are two identifiers of an identifier of a transmission source user terminal and an identifier of a transmission destination user terminal of the data file or instant message received from the user terminal. a permutation of the user terminal identifier, stores the relationship graph is a table that associates weight, a voice receiving unit for receiving the user terminal or rales voice data, the relationship graph from the communication server receiving a weight, forward the more heavy body is large, and the adaptively sound image localization so that the rear as heavy body is small The sound image localization management unit to be determined and the sound data received by the sound receiving unit are subjected to sound image localization processing based on the sound image localization determined by the sound image localization management unit, and the sound data subjected to sound image localization processing are And a sound image localization processing unit that transmits to a user terminal connected to the multipoint connection device.

また、上記課題を解決するため、本発明に係る音像定位制御方法は、利用者端末と、コミュニケーション用サーバと、多地点接続装置とを備える音像定位制御システムにて、利用者端末が出力させる音声の音像定位を適応的に制御する音像定位制御方法であって、前記利用者端末により、データファイル又はインスタントメッセージ、該データファイル又はインスタントメッセージの送信元利用者端末の識別子、及び該データファイル又はインスタントメッセージの送信先利用者端末の識別子を前記コミュニケーション用サーバに送信するステップと、前記コミュニケーション用サーバにより、前記利用者端末から受信した前記送信元利用者端末の識別子及び前記送信先利用者端末の識別子のうちの２つの識別子である第１利用者端末識別子及び第２利用者端末識別子の各順列に、重みを対応付けた関係グラフを記憶するステップと、前記コミュニケーション用サーバにより、前記第１利用者端末識別子及び第２利用者端末識別子を前記関係グラフに格納し、第１利用者端末識別子を有する利用者端末と第２利用者端末識別子を有する利用者端末との間で前記データファイル又はインスタントメッセージのやり取りが発生した場合には、該第１利用者端末識別子及び第２利用者端末識別子に対応付けられた重みにデータファイル又はインスタントメッセージ用の加算値を加えるステップと、前記利用者端末により、音声データを前記多地点接続装置に送信するステップと、前記多地点接続装置により、前記音声データを受信する音声受信ステップと、前記多地点接続装置により、前記コミュニケーション用サーバから前記関係グラフの重みを受信し、該重みが大きいほど前方、且つ該重みが小さいほど後方となるように適応的に音像定位を決定する音像定位管理ステップと、前記多地点接続装置により、前記音声受信ステップにて受信した音声データに対し、前記音像定位管理ステップにより決定された音像定位に基づいて音像定位処理を施し、音像定位処理された音声データを、当該多地点接続装置に接続された利用者端末に送信するステップと、前記利用者端末により、前記多地点接続装置から受信した前記音像定位処理された音声データに基づきサラウンド音声を再生するステップと、を含むことを特徴とする。 In order to solve the above problems, a sound image localization control method according to the present invention is a sound output by a user terminal in a sound image localization control system including a user terminal, a communication server, and a multipoint connection device. A sound image localization control method for adaptively controlling sound image localization of a data file, comprising: a data file or an instant message, an identifier of a user terminal of the data file or the instant message, and the data file or instant Transmitting an identifier of a message transmission destination user terminal to the communication server; and an identifier of the transmission source user terminal and an identifier of the transmission destination user terminal received from the user terminal by the communication server The first user terminal identifier which is two identifiers Beauty each permutation of the second user terminal identifier, storing a relationship graph that associates weight, by the communication server, the first user terminal identifier and the second user terminal identifier to the relationship graph When the data file or instant message is exchanged between the user terminal stored and the user terminal having the first user terminal identifier and the user terminal having the second user terminal identifier, the first user Adding an additional value for a data file or instant message to the weight associated with the terminal identifier and the second user terminal identifier, and transmitting voice data to the multipoint connection device by the user terminal; by the multipoint control unit, the audio receiving step of receiving the audio data, by the multipoint control unit, before Receiving the weight of the relationship graph from the communication server, forward the more heavy body is large, and a sound image localization management step of determining the adaptive sound image localization so that the rear as heavy body is small, the multipoint control unit Thus, the sound data received in the sound reception step is subjected to sound image localization processing based on the sound image localization determined in the sound image localization management step , and the sound data subjected to the sound image localization processing is sent to the multipoint connection device. Transmitting to a connected user terminal; and replaying surround sound based on the sound data subjected to the sound image localization process received from the multipoint connection device by the user terminal. To do.

本発明によれば、ある利用者に対する他の利用者の音像定位及び音量を、利用者間のコミュニケーション量に応じて自動的に変化させることができ、在宅勤務や遠隔学習において、あたかも同一の場所で一緒に働いたり、学習したりしているかの様な仮想的な空間を構築することができるようになる。具体的には、利用者間のコミュニケーション量に基づき、関係性の強い相手については音像定位を前方（正面）として音量を上げることにより聞き取りやすくすることができ、関係性の弱い相手については音像定位を左右や後方として音量を下げることで、ある程度は会話の内容を把握することができるようになる。これらの音像定位の変化により、利用者にとって重要な会話は聞き取りやすく、そうでない会話はそれなりに聞くことができるようになる。 According to the present invention, the sound image localization and volume of another user with respect to a certain user can be automatically changed according to the amount of communication between the users. You will be able to build a virtual space as if you are working or learning together. Specifically, based on the amount of communication between users, it can be easier to hear for the other party who has a strong relationship by increasing the volume with the sound image localization in front (front), and the other person who has a weak relationship By lowering the volume with left and right or back, you can grasp the content of the conversation to some extent. These sound image localization changes make it easy to hear conversations that are important to the user, while listening to conversations that are not.

本発明による第１の実施形態の音像定位システムの構成を示すブロック図である。It is a block diagram which shows the structure of the sound image localization system of 1st Embodiment by this invention. 本発明による第１の実施形態の音像定位システムにおける音像定位の第１の例を示す図である。It is a figure which shows the 1st example of the sound image localization in the sound image localization system of 1st Embodiment by this invention. 本発明による第１の実施形態の音像定位システムにおける音像定位の第１の変化例を示す図である。It is a figure which shows the 1st example of a change of the sound image localization in the sound image localization system of 1st Embodiment by this invention. 本発明による第１の実施形態の音像定位システムにおける音像定位の決定動作を示すフローチャートである。It is a flowchart which shows the determination operation | movement of the sound image localization in the sound image localization system of 1st Embodiment by this invention. 本発明による第１の実施形態の音像定位システムにおける音像定位の第２の例を示す図である。It is a figure which shows the 2nd example of the sound image localization in the sound image localization system of 1st Embodiment by this invention. 本発明による第２の実施形態の音像定位システムにおける音像定位の第２の変化例を示す図である。It is a figure which shows the 2nd example of a change of the sound image localization in the sound image localization system of 2nd Embodiment by this invention. 本発明による第１の実施形態の音像定位システムの主要な動作を示すフローチャートである。It is a flowchart which shows the main operation | movement of the sound image localization system of 1st Embodiment by this invention. 本発明の概略を説明する図である。It is a figure explaining the outline of the present invention. 本発明による第２の実施形態の音像定位システムの構成を示すブロック図である。It is a block diagram which shows the structure of the sound image localization system of 2nd Embodiment by this invention. 本発明による第３の実施形態の音像定位システムの構成を示すブロック図である。It is a block diagram which shows the structure of the sound image localization system of 3rd Embodiment by this invention.

本発明では、利用者間の情報のやりとりの頻度や種類などから、利用者間の関係性の強さ（コミュニケーションの重要度）を関係グラフの重みとして導出し、導出した利用者間の関係性の強さに応じてリアルタイムでサラウンドの音像定位を変化させ、利用者にとって関係性の強い人（重要な人）の音声は目の前方に設置されたスピーカで大きな音で出力し、利用者にとって比較的関係性の弱い人の音声は後方や左右に設置されたスピーカから小さな音で出力する。これにより、図８に示すように、本人と関係性の強いｃさんは前方の近い位置に存在し、本人と関係性が弱くなるほど、本人の左側、右側、後方などの遠い位置に存在するかのような仮想的な環境を構築する。なお、本発明は、資料共有機能やインスタントメッセージ表示機能等を有する遠隔コラボレーション用アプリケーション（非特許文献２参照）を利用可能である。 In the present invention, the strength of the relationship (importance of communication) between users is derived as the weight of the relationship graph from the frequency and type of information exchange between users, and the relationship between the derived users The surround sound image localization is changed in real time according to the intensity of the sound, and the sound of the person (important person) who is strongly related to the user is output with a loud sound from the speaker installed in front of the eyes. The voice of a relatively weak person is output with a small sound from speakers installed at the rear and left and right. As a result, as shown in FIG. 8, Mr. c, who has a strong relationship with the person, is present at a position closer to the front, and the closer the person is, the more distant the person is on the left side, the right side, the rear, etc. To build a virtual environment. The present invention can use a remote collaboration application (see Non-Patent Document 2) having a material sharing function, an instant message display function, and the like.

以下、本発明の実施形態について、図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

（第１の実施形態）
図１は、第１の実施形態の音像定位システムの構成を示すブロック図である。図１に示すように、音像定位システム１は、コミュニケーション用サーバ１０と、利用者端末２０と、多地点接続装置３０とを備える。コミュニケーション用サーバ１０は、資料共有管理部１１と、インスタントメッセージ管理部１２と、関係グラフ１３と、関係グラフ管理部１４とを備える。利用者端末２０は、コミュニケーション部２１と、音声送信部２２と、音声再生部２３とを備え、利用者端末２０には、周辺機器（ディスプレイ、キーボード、マウスなど）２４とマイク２５と、サラウンドスピーカー２６とが接続される。多地点接続装置３０は、音声受信部３１と、音像定位処理部３３と、音像定位管理部３２とを備える。なお、複数の利用者端末２０をコミュニケーション用サーバ１０及び多地点接続装置３０に接続可能であり、図１では代表して１つの利用者端末２０の構成を示している。 (First embodiment)
FIG. 1 is a block diagram showing the configuration of the sound image localization system of the first embodiment. As shown in FIG. 1, the sound image localization system 1 includes a communication server 10, a user terminal 20, and a multipoint connection device 30. The communication server 10 includes a material sharing management unit 11, an instant message management unit 12, a relationship graph 13, and a relationship graph management unit 14. The user terminal 20 includes a communication unit 21, an audio transmission unit 22, and an audio reproduction unit 23. The user terminal 20 includes peripheral devices (display, keyboard, mouse, etc.) 24, a microphone 25, and a surround speaker. 26 is connected. The multipoint connection device 30 includes an audio receiving unit 31, a sound image localization processing unit 33, and a sound image localization management unit 32. A plurality of user terminals 20 can be connected to the communication server 10 and the multipoint connection device 30. FIG. 1 shows the configuration of one user terminal 20 as a representative.

［利用者端末の構成］
コミュニケーション部２１は、利用者の指示に従い、データファイル、該データファイルの送信元利用者端末（当該利用者端末２０）の識別子、及び利用者が指定した該データファイルの送信先利用者端末の識別子をコミュニケーション用サーバ１０の資料共有管理部１１に送信する。データファイルは、送信先利用者端末からアクセスできる任意の資料である。なお、利用者端末の識別子に利用者のユーザ名を含めてもよい。 [User terminal configuration]
In accordance with a user instruction, the communication unit 21 transmits a data file, an identifier of a transmission source user terminal (the user terminal 20) of the data file, and an identifier of a transmission destination user terminal of the data file specified by the user Is transmitted to the material sharing management unit 11 of the communication server 10. A data file is any material that can be accessed from a destination user terminal. Note that the user name of the user may be included in the identifier of the user terminal.

コミュニケーション部２１は、コミュニケーション用サーバ１０の資料共有管理部１１からデータファイル及び送信元利用者端末の識別子を受信すると、受信したデータファイルについて当該データファイルを取り扱う既存のアプリケーション・ソフトウェアを介して周辺機器（ディスプレイ）２４に表示させる。さらに、送信元利用者端末の識別子に基づく利用者への通知、例えば、「利用者端末a@ntt.co.jpからの資料を表示します。」や「○○さんからの資料です。」といったメッセージを周辺機器（ディスプレイ）２４に表示させることにより、利用者にどの端末（又は利用者）から送信されたデータファイルかを示すことができる。 When the communication unit 21 receives the data file and the identifier of the transmission source user terminal from the material sharing management unit 11 of the communication server 10, the communication unit 21 transmits the received data file to the peripheral device via the existing application software that handles the data file. (Display) 24 is displayed. In addition, notifications to users based on the identifier of the sender user terminal, for example, “Display material from user terminal a@ntt.co.jp” or “Material from Mr. XX”. By displaying such a message on the peripheral device (display) 24, it is possible to indicate to the user from which terminal (or user) the data file is transmitted.

また、コミュニケーション部２１は、利用者の指示に従い、インスタントメッセージ（ＩＭ：Instant Messaging）、該インスタントメッセージの送信元利用者端末の識別子、及び利用者が指定した該インスタントメッセージの送信先利用者端末の識別子をインスタントメッセージ管理部１２に送信する。 Further, the communication unit 21, in accordance with the user's instruction, instant message (IM: Instant Messaging), the identifier of the user terminal that is the source of the instant message, and the destination user terminal of the instant message that is specified by the user The identifier is transmitted to the instant message management unit 12.

コミュニケーション部２１は、コミュニケーション用サーバ１０のインスタントメッセージ管理部１２からインスタントメッセージ及び送信元利用者端末の識別子を受信すると、受信したインスタントメッセージを周辺機器（ディスプレイ）２４に表示させる。さらに、送信元利用者端末の識別子を周辺機器（ディスプレイ）２４に表示させることにより、利用者にどの端末（又は利用者）から送信されたインスタントメッセージかを示すことができる。 When receiving the instant message and the identifier of the transmission source user terminal from the instant message management unit 12 of the communication server 10, the communication unit 21 displays the received instant message on the peripheral device (display) 24. Further, by displaying the identifier of the transmission source user terminal on the peripheral device (display) 24, it is possible to indicate to the user from which terminal (or user) the instant message is transmitted.

なお、コミュニケーション部２１は、資料共有機能、インスタントメッセージ機能を持つ、既存の遠隔コラボレーション用アプリケーションのクライアント部分により実現可能である。 The communication unit 21 can be realized by a client part of an existing remote collaboration application having a material sharing function and an instant message function.

音声送信部２２は、マイク２５から入力される音声を符号化し、符号化した音声データを送信元利用者端末の識別子とともに、多地点接続装置３０の音声受信部３１に送信する。音声の符号化には、既存技術である、ＰＣＭ、ＡＤ−ＰＣＭ、ＬＤ−ＣＥＬＰ等を利用する。 The voice transmission unit 22 encodes the voice input from the microphone 25 and transmits the encoded voice data to the voice reception unit 31 of the multipoint connection device 30 together with the identifier of the transmission source user terminal. For encoding speech, existing technologies such as PCM, AD-PCM, and LD-CELP are used.

音声再生部２３は、多地点接続装置３０の音像定位処理部３３から受信した音像定位処理された音声データに基づき、利用者が音像定位を感じられるように、複数のサラウンドスピーカー２６を介してサラウンド音声を再生する。なお、サラウンドスピーカー２６は、サラウンド機能付きヘッドフォンを含むものとする。 The sound reproducing unit 23 surrounds the sound through the plurality of surround speakers 26 so that the user can feel the sound image localization based on the sound data subjected to the sound image localization process received from the sound image localization processing unit 33 of the multipoint connection device 30. Play audio. The surround speaker 26 includes headphones with a surround function.

［コミュニケーション用サーバの構成］
資料共有管理部１１は、利用者端末２０のコミュニケーション部２１から、送信元利用者端末の識別子、送信先利用者端末の識別子、及びデータファイルを受信する。資料共有管理部１１は、データファイルを受信すると、受信したデータファイル、及び送信元利用者端末の識別子（受信した際の送信元）を、送信先利用者端末の識別子を有する利用者端末に送信する。そして、資料共有管理部１１は、データファイルを利用者端末２０に送信すると、送信元利用者端末の識別子、送信先利用者端末の識別子、及び現在時刻を関係グラフ管理部１４に出力する。 [Configuration of communication server]
The material sharing management unit 11 receives the identifier of the transmission source user terminal, the identifier of the transmission destination user terminal, and the data file from the communication unit 21 of the user terminal 20. When receiving the data file, the material sharing management unit 11 transmits the received data file and the identifier of the transmission source user terminal (the transmission source when received) to the user terminal having the identifier of the transmission destination user terminal. To do. Then, when the data sharing management unit 11 transmits the data file to the user terminal 20, it outputs the identifier of the transmission source user terminal, the identifier of the transmission destination user terminal, and the current time to the relation graph management unit 14.

なお、資料共有管理部１１は、既存の遠隔コラボレーション用アプリケーションのサーバ部分（資料共有機能部分）により実現可能である。 The material sharing management unit 11 can be realized by a server portion (material sharing function portion) of an existing remote collaboration application.

インスタントメッセージ管理部１２は、利用者端末２０のコミュニケーション部２１から、インスタントメッセージ、送信元利用者端末の識別子、及び送信先利用者端末の識別子を受信する。インスタントメッセージ管理部１２は、インスタントメッセージを受信すると、インスタントメッセージ、及び送信元利用者端末の識別子（受信した際の送信元）を、送信先利用者端末の識別子を有する利用者端末２０のコミュニケーション部２１に送信する。そして、インスタントメッセージ管理部１２は、インスタントメッセージを利用者端末２０に送信すると、送信元利用者端末の識別子、送信先利用者端末の識別子、及び現在時刻を関係グラフ管理部１４に送信する。 The instant message management unit 12 receives the instant message, the identifier of the transmission source user terminal, and the identifier of the transmission destination user terminal from the communication unit 21 of the user terminal 20. When receiving the instant message, the instant message management unit 12 uses the instant message and the identifier of the transmission source user terminal (the transmission source when received) as the communication unit of the user terminal 20 having the identifier of the transmission destination user terminal. To 21. When the instant message management unit 12 transmits the instant message to the user terminal 20, the instant message management unit 12 transmits the identifier of the transmission source user terminal, the identifier of the transmission destination user terminal, and the current time to the relation graph management unit 14.

なお、インスタントメッセージ管理部１２は、既存の遠隔コラボレーション用アプリケーションのサーバ部分（インスタントメッセージ管理機能部分）により実現可能である。 The instant message management unit 12 can be realized by a server part (instant message management function part) of an existing remote collaboration application.

関係グラフ１３は、第１利用者端末識別子及び第２利用者端末識別子の各順列に、重み及び音像定位を対応付けたテーブルである。ここで、第１利用者端末識別子、第２利用者端末識別子とは、関係グラフ管理部１４が資料共有管理部１１、及びインスタントメッセージ管理部１２から受信した送信元利用者端末の識別子及び送信先利用者端末の識別子のうちの２つの識別子を表すものであり、関係グラフ１３では２つの識別子の各順列について、重み及び音像定位が対応付けられる。なお、本発明では、無向グラフ、すなわち両者の間の重み付けは１つだけであるとしている。例えば、利用者端末Ｘ→利用者端末Ｙの重み付けを５０、利用者端末Ｙ→利用者端末Ｘの重み付けを１００のように２つあるとはせず、利用者端末Ｘ，Ｙの重み付けは７５の１つであるとしている。ゆえに、第１利用者端末識別子、第２利用者端末識別子を用いて２つの重み付けを１つにしている。 The relationship graph 13 is a table in which weights and sound image localization are associated with each permutation of the first user terminal identifier and the second user terminal identifier. Here, the first user terminal identifier and the second user terminal identifier are the identifier and destination of the transmission source user terminal received by the relation graph management unit 14 from the material sharing management unit 11 and the instant message management unit 12. This represents two identifiers of user terminal identifiers, and in the relation graph 13, weights and sound image localization are associated with each permutation of the two identifiers. In the present invention, it is assumed that there is only one undirected graph, that is, a weight between the two. For example, the weighting of the user terminal X → user terminal Y is 50, the weighting of the user terminal Y → user terminal X is not 100, and the weighting of the user terminals X, Y is 75. One of them. Therefore, the two weights are made one by using the first user terminal identifier and the second user terminal identifier.

重みの初期値は、所定の一定値としてもよいし、公知のＸ．５００等に代表されるディレクトリシステムなどの木構造に基づきその距離を重みに変換した値や、公知のソーシャルグラフを用いて、当該利用者端末の識別子同士のグラフの重さとしてもよい。重みの初期値を所定の一定値としない場合には、関係グラフ１３に重みの初期値も格納する。音像定位は、後述するように現在の重みの値に応じて変化するものである。表１に、重みの初期値も含む場合の関係グラフ１３の例を示す。以下の説明では、重みが初期値を指す場合には「重みの初期値」と記し、現在の重みを指す場合には単に「重み」と記して両者を区別する。重みは、後述する音像定位管理及び音像定位処理に関係し、利用者間の直近のコミュニケーション量を示す指標として用いられる。 The initial value of the weight may be a predetermined constant value or a known X. A value obtained by converting the distance into a weight based on a tree structure such as a directory system represented by 500 or the like, or a known social graph may be used as the weight of the graph of the identifiers of the user terminals. When the initial value of the weight is not a predetermined constant value, the initial value of the weight is also stored in the relationship graph 13. The sound image localization changes according to the current weight value, as will be described later. Table 1 shows an example of the relationship graph 13 when the initial value of the weight is also included. In the following description, when the weight indicates an initial value, it is described as “initial value of weight”, and when it indicates the current weight, it is simply described as “weight” to distinguish them. The weight is related to sound image localization management and sound image localization processing, which will be described later, and is used as an index indicating the most recent communication amount between users.

関係グラフ管理部１４は、資料共有管理部１１から、送信元利用者端末の識別子、送信先利用者端末の識別子、及び現在時刻を受信し、受信した送信元利用者端末の識別子及び送信先利用者端末の識別子のうちの２つの順列のうち、関係グラフ１３に未登録のものについては、第１利用者端末識別子、第２利用者端末識別子として、関係グラフ１３に格納する。 The relation graph management unit 14 receives the identifier of the transmission source user terminal, the identifier of the transmission destination user terminal, and the current time from the document sharing management unit 11, and receives the identifier of the transmission source user terminal and the transmission destination usage. Of the two permutations of the user terminal identifiers, those not registered in the relationship graph 13 are stored in the relationship graph 13 as the first user terminal identifier and the second user terminal identifier.

関係グラフ管理部１４は、データファイルのやり取りが発生した場合は利用者間の関係性が強いと判断し、関係グラフ１３の重みに資料共有用（データファイル用）の加算値を加える。例えば、第１利用者端末識別子を有する利用者端末２０と第２利用者端末識別子を有する利用者端末２０との間でデータファイルのやり取りが発生した場合には、１回のやり取りにつき、重みに３０を加算する。 When the exchange of data files occurs, the relation graph management unit 14 determines that the relation between users is strong, and adds the addition value for data sharing (for data files) to the weight of the relation graph 13. For example, when a data file exchange occurs between the user terminal 20 having the first user terminal identifier and the user terminal 20 having the second user terminal identifier, the weight is increased per exchange. Add 30.

また、関係グラフ管理部１４は、インスタントメッセージ管理部１２から、送信元利用者端末の識別子、送信先利用者端末の識別子、及び現在時刻を受信し、受信した利用者端末の識別子の２つの順列のうち、関係グラフ１３に未登録のものについては、第１利用者端末識別子、第２利用者端末識別子として、関係グラフ１３に格納する。 Further, the relation graph management unit 14 receives the identifier of the transmission source user terminal, the identifier of the transmission destination user terminal, and the current time from the instant message management unit 12, and receives two permutations of the received identifier of the user terminal. Among them, those not registered in the relationship graph 13 are stored in the relationship graph 13 as the first user terminal identifier and the second user terminal identifier.

関係グラフ管理部１４は、インスタントメッセージのやり取りが発生した場合は利用者間の関係性が強いと判断し、関係グラフ１３の重みにインスタントメッセージ用の加算値を加える。例えば、第１利用者端末識別子を有する利用者端末２０と第２利用者端末識別子を有する利用者端末２０の間でインスタントメッセージのやり取りが発生した場合には、１回のやり取りにつき、重みに１０を加算する。 When the instant message exchange occurs, the relationship graph management unit 14 determines that the relationship between the users is strong, and adds the added value for the instant message to the weight of the relationship graph 13. For example, when an instant message is exchanged between the user terminal 20 having the first user terminal identifier and the user terminal 20 having the second user terminal identifier, the weight is 10 per exchange. Is added.

また、関係グラフ管理部１４は、所定の時間（例えば、３０分）ごとに、関係グラフ１３における全重みについて、所定の減算値を減ずる。ただし、重みの初期値を下回らないものとする。例えば、１日経過するごとに、重みを２減じ、重みの初期値に達した場合には減算を行わないようにする。なお、データファイル用の加算値、インスタントメッセージ用の加算値、及び減算値は、実験等により適宜最適な値を設定することができる。 Further, the relationship graph management unit 14 decreases a predetermined subtraction value for all weights in the relationship graph 13 every predetermined time (for example, 30 minutes). However, it shall not be lower than the initial value of the weight. For example, every time one day elapses, the weight is decremented by 2, and the subtraction is not performed when the initial value of the weight is reached. Note that the addition value for the data file, the addition value for the instant message, and the subtraction value can be appropriately set as appropriate through experiments or the like.

関係グラフ管理部１４は、関係グラフ１３の重みに変更が生じた場合、すなわち重みに加算値を加えるか減算値を減じた場合には、その変更が生じた重みに対応付けられた第１利用者端末識別子及び第２利用者端末識別子を、多地点接続装置３０の音像定位管理部３２に送信する。 When a change occurs in the weight of the relation graph 13, that is, when an addition value is added to the weight or a subtraction value is reduced, the relationship graph management unit 14 uses the first usage associated with the weight that caused the change. The user terminal identifier and the second user terminal identifier are transmitted to the sound image localization management unit 32 of the multipoint connection device 30.

［多地点接続装置の構成］
音声受信部３１は、利用者端末２０の音声送信部２２から音声データ及び送信元利用者端末の識別子を受信し、受信した音声データ及び送信元利用者端末の識別子を音像定位処理部３３に出力する。 [Configuration of multipoint connection device]
The audio receiving unit 31 receives the audio data and the identifier of the transmission source user terminal from the audio transmission unit 22 of the user terminal 20, and outputs the received audio data and the identifier of the transmission source user terminal to the sound image localization processing unit 33. To do.

音像定位管理部３２は、関係グラフ１３の重みの大きさに応じて適応的に音像定位を決定する。具体的には、音像定位管理部３２は、コミュニケーション用サーバ１０の関係グラフ管理部１４から、関係グラフ１３の変更が生じた重みに対応付けられた第１利用者端末識別子及び第２利用者端末識別子を受信する。そして、関係グラフ１３を参照して受信した第１利用者端末識別子及び第２利用者端末識別子に対応付けられた音像定位を取得し、重みに基づいて適応的に音像定位を決定する。音像定位管理部３２は、決定した音像定位を示す音像定位情報を音像定位処理部３３に出力する。また、音像定位管理部３２は、決定した音像定位が関係グラフ１３から取得した音像定位から変更があった場合には、関係グラフ１３の音像定位を、決定した音像定位に更新する。 The sound image localization management unit 32 adaptively determines the sound image localization according to the weight of the relationship graph 13. Specifically, the sound image localization management unit 32 receives the first user terminal identifier and the second user terminal associated with the weight at which the change of the relationship graph 13 has occurred from the relationship graph management unit 14 of the communication server 10. Receive an identifier. Then, the sound image localization associated with the first user terminal identifier and the second user terminal identifier received with reference to the relationship graph 13 is acquired, and the sound image localization is adaptively determined based on the weight. The sound image localization management unit 32 outputs sound image localization information indicating the determined sound image localization to the sound image localization processing unit 33. Further, when the determined sound image localization is changed from the sound image localization acquired from the relationship graph 13, the sound image localization management unit 32 updates the sound image localization of the relationship graph 13 to the determined sound image localization.

音像定位管理部３２は、例えば図２に示すように、利用者の位置に対して後方の位置Ａ、左側の位置Ｂ、前方の位置Ｃ、右側の位置Ｄのいずれかに音像定位させる。図３は、音像定位の変化を示す図である。音像定位管理部３２は、重みｗを第１閾値ｗ₁及び第２閾値ｗ₂と比較することにより音像定位を決定する。例えば、第１利用者端末識別子及び第２利用者端末識別子における音像定位が位置Ａであった場合、重みｗが第１閾値ｗ₁を超えていたときには、音像定位を位置Ｂに変更する。 For example, as shown in FIG. 2, the sound image localization management unit 32 localizes the sound image to any one of a rear position A, a left position B, a front position C, and a right position D with respect to the user's position. FIG. 3 is a diagram showing changes in sound image localization. The sound image localization management unit 32 determines the sound image localization by comparing the weight w with the first threshold value w ₁ and the second threshold value w ₂ . For example, when the sound image localization in the first user terminal identifier and the second user terminal identifier is the position A, the sound image localization is changed to the position B when the weight w exceeds the first threshold value w ₁ .

図４は、音像定位管理部３２の音像定位の決定動作の一例を示すフローチャートである。まず、音像定位管理部３２は、関係グラフ１３から取得した音像定位が位置Ａ〜位置Ｄのいずれかであるかを判定する（ステップＳ１０１〜ステップＳ１０３）。音像定位管理部３２は、ステップＳ１０１にて音像定位が位置Ａであると判定した場合には、重みｗが第１閾値ｗ₁を超えるか否かを判定する（ステップＳ１０４）。音像定位管理部３２は、ステップＳ１０４にて重みｗが第１閾値ｗ₁を超えると判定した場合には音像定位を位置Ａから位置Ｂに変更し（ステップＳ１０５）、ステップＳ１０４にて重みｗが第１閾値ｗ₁以下であると判定した場合には音像定位を位置Ａのまま維持する。 FIG. 4 is a flowchart showing an example of the sound image localization determination operation of the sound image localization manager 32. First, the sound image localization management unit 32 determines whether the sound image localization acquired from the relationship graph 13 is any one of positions A to D (steps S101 to S103). Sound image localization management unit 32, when the sound image localization is determined to be a position A at step S101, determines whether the weight w is greater than the first threshold value w ₁ (step S104). Sound image localization management unit 32 is changed to position B the sound image localization from position A when the weight w in step S104 is determined to exceed the first threshold value w ₁ (step S105), the weight w is at step S104 When it is determined that it is equal to or less than the first threshold value w ₁ , the sound image localization is maintained at the position A.

音像定位管理部３２は、ステップＳ１０２にて音像定位が位置Ｂであると判定した場合には、重みｗが第２閾値ｗ₂を超えるか否かを判定し（ステップＳ１０６）、ステップＳ１０６にて重みｗが第２閾値ｗ₂を超えると判定した場合には音像定位を位置Ｂから位置Ｃに変更し（ステップＳ１０７）、ステップＳ１０６にて重みｗが第２閾値ｗ₂以下であると判定した場合には音像定位を位置Ｂのまま維持する。 Sound image localization management unit 32, when the sound image localization is determined to be a position B at step S102, it determines whether the weight w is greater than the second threshold value w ₂ (step S106), in step S106 If it is determined that the weight w exceeds the second threshold w ₂ , the sound image localization is changed from the position B to the position C (step S107), and it is determined in step S106 that the weight w is equal to or less than the second threshold w ₂ . In this case, the sound image localization is maintained at the position B.

音像定位管理部３２は、ステップＳ１０３にて音像定位が位置Ｃであると判定した場合には、重みｗが第２閾値ｗ₂以下であるか否かを判定し（ステップＳ１０８）、ステップＳ１０８にて重みｗが第２閾値ｗ₂以下であると判定した場合には音像定位を位置Ｃから位置Ｄに変更し（ステップＳ１０９）、ステップＳ１０８にて重みｗが第２閾値ｗ₂を超えると判定した場合には音像定位を位置Ｃのまま維持する。 If the sound image localization management unit 32 determines that the sound image localization is at the position C in step S103, the sound image localization management unit 32 determines whether the weight w is equal to or less than the second threshold value w ₂ (step S108). If it is determined that the weight w is equal to or smaller than the second threshold w ₂ , the sound image localization is changed from the position C to the position D (step S109), and it is determined in step S108 that the weight w exceeds the second threshold w _2. In this case, the sound image localization is maintained at the position C.

音像定位管理部３２は、ステップＳ１０４にて音像定位が位置Ｄであると判定した場合には、重みｗが第１閾値ｗ₁以下であるか否かを判定し（ステップＳ１１０）、ステップＳ１１０にて重みｗが第１閾値ｗ₁以下であると判定した場合には音像定位を位置Ｄから位置Ａに変更し（ステップＳ１１１）、ステップＳ１１０にて重みｗが第１閾値ｗ₁を超えると判定した場合には音像定位を位置Ｄのまま維持する。 Sound image localization management unit 32, when the sound image localization is determined to be a position D at step S104, it determines whether the weight w is equal to the first threshold value w ₁ below (step S110), the step S110 If it is determined that the weight w is equal to or less than the first threshold value w ₁ , the sound image localization is changed from the position D to the position A (step S111), and it is determined in step S110 that the weight w exceeds the first threshold value w _1. In this case, the sound image localization is maintained at the position D.

なお、図４に示す例では、重みｗの値により音像定位を右回り方向のみに移動させているが、左回り方向のみに移動させてもよいのは勿論であり、また、重みｗが第１閾値ｗ₁以下の場合には位置Ａに、重みｗが第１閾値ｗ₁を超え、且つ第２閾値ｗ₂以下である場合には位置Ｂ又は位置Ｄに、重みｗが第２閾値ｗ₂を超える場合には位置Ｃとするようにしてもよい。 In the example shown in FIG. 4, the sound image localization is moved only in the clockwise direction by the value of the weight w. However, it is needless to say that the sound image localization may be moved only in the counterclockwise direction. If the threshold value is less than or equal to 1 threshold value w ₁ , the position is A, and if the weight w is greater than the first threshold value w ₁ and is less than or equal to the second threshold value w ₂ , the position is B or D and the weight w is the second threshold value w If it exceeds ₂ , the position C may be set.

また、図２〜図４では、音像定位させる位置が位置Ａ〜位置Ｄの４種類の場合を例に説明したが、音像定位させる位置は２種類以上であればよい。例えば、図５に示すように、音像定位させる位置を６種類（位置Ａ〜位置Ｆ）としてもよく、音像定位の変化を例を図６に示す。この場合、音像定位管理部３２は、重みｗを第１閾値ｗ₁、第２閾値ｗ₂、及び第３閾値ｗ₃と比較することにより、位置Ａ〜位置Ｆのいずれかに音像定位することができる。 Moreover, although FIGS. 2-4 demonstrated the case where the position to which sound image localization was carried out was four types of position A-position D, the position to make sound image localization should just be two or more types. For example, as shown in FIG. 5, six positions (positions A to F) may be used for sound image localization, and examples of changes in sound image localization are shown in FIG. 6. In this case, the sound image localization management unit 32 compares the weight w with the first threshold value w ₁ , the second threshold value w ₂ , and the third threshold value w ₃ to localize the sound image to any one of the positions A to F. Can do.

音像定位処理部３３は、音声受信部３１から取得した音声データに対し、音像定位管理部３２により決定された音像定位に基づいて音像定位処理を施し、音像定位処理された音声データを、多地点接続装置３０に接続され会議に参加している利用者端末２０の音声再生部２３に送信する。 The sound image localization processing unit 33 performs sound image localization processing on the sound data acquired from the sound receiving unit 31 based on the sound image localization determined by the sound image localization management unit 32, and the sound data subjected to sound image localization processing is It transmits to the audio | voice reproduction | regeneration part 23 of the user terminal 20 connected to the connection apparatus 30 and participating in the meeting.

ここで、音像定位処理とは、既存のサラウンド技術を用い、１つの単一音源である音声データに対し、あたかも図２に示す様な聴覚効果を起こしていると視聴者が判断されるように、音声データを加工し出力する処理のことをいう。例えば、１つのマイク２５から取得した音声を、５．１チャンネルなどの多チャンネルのサラウンドプロセッサを介して、前後左右の希望する場所に音像定位させる。また、音声データに対して音像定位処理を施すとは、音像定位ごとに所定の減衰値を設定し、音量がＣ＞Ｂ、又はＣ＞Ａなどとなるように音声データに基づき音像定位処理を施すことである。なお、所定の減衰値については、一番コミュニケーション量が多い位置Ｃからの音声が最も聴きやすく、位置Ａからの音声は注意して聞けばその内容がかろうじて分かる程度の音量となるように、実験等により適宜最適な値を設定することができる。この値は主観的に定めてもよい。 Here, the sound image localization processing uses an existing surround technology so that the viewer can determine that an audio effect as shown in FIG. 2 is caused to audio data that is one single sound source. This is the process of processing and outputting audio data. For example, sound acquired from one microphone 25 is localized in desired positions on the front, rear, left and right via a multi-channel surround processor such as 5.1 channel. Also, performing sound image localization processing on audio data means setting a predetermined attenuation value for each sound image localization and performing sound image localization processing based on the sound data so that the volume is C> B or C> A. It is to apply. For the predetermined attenuation value, an experiment was made so that the sound from the position C with the most communication amount is most easily heard and the sound from the position A is barely understandable if listened carefully. An optimal value can be set as appropriate according to the above. This value may be determined subjectively.

［音像定位システムの動作］
次に、音像定位システム１の動作について説明する。図７は、本発明による第１の実施形態の音像定位システム１の主要な動作を示すフローチャートである。ここでは、利用者端末２０−１が利用者端末２０−２に対してデータファイル及びインスタントメッセージを送信するものとする。すなわち、データファイル及びインスタントメッセージのやり取りについては、利用者端末２０−１が送信元の利用者端末となり、利用者端末２０−２が送信先の利用者端末となる。 [Operation of sound localization system]
Next, the operation of the sound image localization system 1 will be described. FIG. 7 is a flowchart showing main operations of the sound image localization system 1 according to the first embodiment of the present invention. Here, it is assumed that the user terminal 20-1 transmits a data file and an instant message to the user terminal 20-2. That is, for the exchange of the data file and the instant message, the user terminal 20-1 is a transmission source user terminal, and the user terminal 20-2 is a transmission destination user terminal.

ステップＳ２０１では、利用者端末２０−１は、コミュニケーション部２１により、データファイル、送信元利用者端末の識別子（利用者端末２０−１の識別子）、及び送信先利用者端末の識別子（利用者端末２０−２の識別子）をコミュニケーション用サーバ１０に送信する。ステップＳ２０２では、コミュニケーション用サーバ１０は、資料共有管理部１１により、利用者端末２０−１から受信したデータファイル、及び送信元利用者端末の識別子（利用者端末２０−１の識別子）を、送信先利用者端末の識別子を有する利用者端末２０−２に送信する。ステップＳ２０３では、利用者端末２０−２は、コミュニケーション用サーバ１０から受信したデータファイルを周辺機器（ディスプレイ）２４に表示させる。 In step S201, the user terminal 20-1 causes the communication unit 21 to use the data file, the identifier of the transmission source user terminal (identifier of the user terminal 20-1), and the identifier of the transmission destination user terminal (user terminal). 20-2) is transmitted to the communication server 10. In step S202, the communication server 10 transmits the data file received from the user terminal 20-1 and the identifier of the transmission source user terminal (identifier of the user terminal 20-1) by the document sharing management unit 11. It transmits to the user terminal 20-2 which has the identifier of a previous user terminal. In step S 203, the user terminal 20-2 causes the peripheral device (display) 24 to display the data file received from the communication server 10.

ステップＳ２０４では、利用者端末２０−１は、コミュニケーション部２１により、インスタントメッセージ、送信元利用者端末の識別子（利用者端末２０−１の識別子）、及び送信先利用者端末の識別子（利用者端末２０−２の識別子）をコミュニケーション用サーバ１０に送信する。ステップＳ２０５では、コミュニケーション用サーバ１０は、資料共有管理部１１により、利用者端末２０−１から受信したデータファイル、及び送信元利用者端末の識別子（利用者端末２０−１の識別子）を、送信先利用者端末の識別子を有する利用者端末２０−２に送信する。ステップＳ２０６では、利用者端末２０−２は、コミュニケーション用サーバ１０から受信したインスタントメッセージを周辺機器（ディスプレイ）２４に表示させる。 In step S204, the user terminal 20-1 uses the communication unit 21 to send an instant message, an identifier of the transmission source user terminal (identifier of the user terminal 20-1), and an identifier of the transmission destination user terminal (user terminal). 20-2) is transmitted to the communication server 10. In step S205, the communication server 10 transmits the data file received from the user terminal 20-1 and the identifier of the transmission source user terminal (identifier of the user terminal 20-1) by the material sharing management unit 11. It transmits to the user terminal 20-2 which has the identifier of a previous user terminal. In step S 206, the user terminal 20-2 displays the instant message received from the communication server 10 on the peripheral device (display) 24.

ステップＳ２０７では、コミュニケーション用サーバ１０は、関係グラフ管理部１４により、関係グラフ１３を管理する。 In step S 207, the communication server 10 manages the relationship graph 13 by using the relationship graph management unit 14.

ステップＳ２０８では、利用者端末２０−１は、音声送信部２２により、音声データ及び送信元利用者端末の識別子（利用者端末２０−１の識別子）を、多地点接続装置３０に送信する。ステップＳ２０９では、利用者端末２０−２は、音声送信部２２により、音声データ及び送信元利用者端末の識別子（利用者端末２０−２の識別子）を、多地点接続装置３０に送信する。 In step S 208, the user terminal 20-1 transmits the voice data and the identifier of the transmission source user terminal (identifier of the user terminal 20-1) to the multipoint connection device 30 by the voice transmission unit 22. In step S 209, the user terminal 20-2 transmits the voice data and the identifier of the transmission source user terminal (identifier of the user terminal 20-2) to the multipoint connection device 30 by the voice transmission unit 22.

ステップＳ２１０では、コミュニケーション用サーバ１０は、関係グラフ管理部１４により、関係グラフ１３の重みに変更が生じた場合には、その変更が生じた重みに対応付けられた第１利用者端末識別子及び第２利用者端末識別子を、多地点接続装置３０に送信する。図７に示す例では、利用者端末２０−１と利用者端末２０−２との間のデータファイル及びインスタントメッセージのやり取りにより両者の重みに変更が生じているため、利用者端末２０−１の識別子及び利用者端末２０−２の識別子を多地点接続装置３０に送信する。 In step S210, when a change occurs in the weight of the relationship graph 13 by the relationship graph management unit 14, the communication server 10 determines the first user terminal identifier associated with the changed weight and the first user terminal identifier. 2 The user terminal identifier is transmitted to the multipoint connection device 30. In the example shown in FIG. 7, since the weights of both are changed by the exchange of the data file and the instant message between the user terminal 20-1 and the user terminal 20-2, The identifier and the identifier of the user terminal 20-2 are transmitted to the multipoint connection device 30.

ステップＳ２１１では、多地点接続装置３０は、音像定位管理部３２により音像定位を決定し、音像定位処理部３３により音像定位処理を行う。ステップＳ２１２では、多地点接続装置３０は、音像定位処理部３３により、音像定位処理された音声データを利用者端末２０−１の音声再生部２３に送信する。ステップＳ２１３では、多地点接続装置３０は、音像定位処理部３３により、音像定位処理された音声データを利用者端末２０−２の音声再生部２３に送信する。ステップＳ２１４では、利用者端末２０−１は、音声再生部２３により音声を再生する。ステップＳ２１５では、利用者端末２０−２は、音声再生部２３により音声を再生する。 In step S 211, the multipoint connection device 30 determines sound image localization by the sound image localization management unit 32 and performs sound image localization processing by the sound image localization processing unit 33. In step S212, the multipoint connection device 30 transmits the sound data subjected to the sound image localization processing by the sound image localization processing unit 33 to the sound reproduction unit 23 of the user terminal 20-1. In step S213, the multipoint connection device 30 transmits the sound data subjected to the sound image localization process by the sound image localization processing unit 33 to the sound reproduction unit 23 of the user terminal 20-2. In step S 214, the user terminal 20-1 reproduces sound by the sound reproduction unit 23. In step S 215, the user terminal 20-2 reproduces sound by the sound reproduction unit 23.

第１の実施形態の音像定位システム１によれば、コミュニケーション用サーバ１０が第１利用者端末識別子及び第２利用者端末識別子の各順列に、重み及び音像定位を対応付けたテーブルである関係グラフ１３を備え、関係グラフ管理部１４により関係グラフ１３を管理し重みを制御し、多地点接続装置３０が音像定位管理部３２により関係グラフ１３の重みの大きさに応じて適応的に音像定位を決定し、音像定位処理部３３により音像定位管理部３２にて決定された音像定位に基づいて音像定位処理を施すことにより、仮想空間上における、ある利用者に対する他の利用者に対する音像定位及び音量を、直近の資料共有数又はインスタントメッセージ数に応じて自動的に変化させることができるようになる。 According to the sound image localization system 1 of the first embodiment, the communication server 10 is a table in which weights and sound image localization are associated with each permutation of the first user terminal identifier and the second user terminal identifier. 13, the relationship graph management unit 14 manages the relationship graph 13 to control the weight, and the multipoint connection device 30 adaptively performs sound image localization according to the weight of the relationship graph 13 by the sound image localization management unit 32. The sound image localization processing unit 33 performs sound image localization processing on the basis of the sound image localization determined by the sound image localization management unit 32 by the sound image localization processing unit 33, so that sound image localization and sound volume for another user in a virtual space are performed. Can be automatically changed according to the latest number of shared materials or the number of instant messages.

（第２の実施形態）
次に、本発明による第２の実施形態の音像定位システムについて説明する。図９は、第２の実施形態の音像定位システムの構成を示すブロック図である。第２の実施形態の音像定位システム２は、第１の実施形態の音像定位システム１（図１参照）と比較して、コミュニケーション用サーバ１０が更にチャット管理部１５を備える点で相違する。第２の実施形態の音像定位システム２では、資料共有、インスタントメッセージに加えて、チャットでのコミュニケーションを関係グラフ１３の重みの調整に使用する。なお、第１の実施形態と同じ構成要素には同一の参照番号を付して説明を省略する。 (Second Embodiment)
Next, a sound image localization system according to a second embodiment of the present invention will be described. FIG. 9 is a block diagram illustrating a configuration of a sound image localization system according to the second embodiment. The sound image localization system 2 according to the second embodiment is different from the sound image localization system 1 according to the first embodiment (see FIG. 1) in that the communication server 10 further includes a chat management unit 15. In the sound image localization system 2 of the second embodiment, chat communication is used for adjusting the weight of the relational graph 13 in addition to material sharing and instant messaging. In addition, the same reference number is attached | subjected to the same component as 1st Embodiment, and description is abbreviate | omitted.

コミュニケーション部２１は、利用者の指示に従い、チャットメッセージを送信元利用者端末の識別子、及び利用者が指定したチャットメッセージの送信先であるチャットルームの識別子を、コミュニケーション用サーバ１０のチャット管理部１５に送信する。なお、チャットルームの識別子にチャットルームの名称を含めてもよい。 In accordance with the user's instruction, the communication unit 21 uses the chat message identifier of the transmission source user terminal and the chat room identifier that is the transmission destination of the chat message designated by the user as the chat management unit 15 of the communication server 10. Send to. The chat room identifier may be included in the chat room identifier.

コミュニケーション部２１は、チャット管理部１５からチャットメッセージ、送信元利用者端末の識別子、及びチャットルームの識別子を受信すると、受信したチャットメッセージ、送信元利用者端末の識別子、及び送信先のチャットルームの識別子を周辺機器（ディスプレイ）２４に表示させる。 When the communication unit 21 receives the chat message, the identifier of the transmission source user terminal, and the identifier of the chat room from the chat management unit 15, the communication unit 21 receives the chat message, the identifier of the transmission source user terminal, and the destination chat room. The identifier is displayed on the peripheral device (display) 24.

チャット管理部１５は、利用者端末２０のコミュニケーション部２１から、チャットメッセージ、送信元利用者端末の識別子、及び送信先のチャットルームの識別子を受信する。チャット管理部１５は、チャットメッセージを受信すると、チャットメッセージ、送信元利用者端末の識別子（受信した際の送信元）、及びチャットルームの識別子を、受信したチャットルームの識別子が示すチャットルームに接続している全ての利用者端末２０のコミュニケーション部２１に送信する。そして、チャット管理部１５は、チャットメッセージを利用者端末２０に送信すると、関係グラフ管理部１４に対し、送信元利用者端末の識別子、送信先利用者端末の識別子、チャットルームの識別子、及び現在時刻を関係グラフ管理部１４に送信する。 The chat management unit 15 receives the chat message, the identifier of the transmission source user terminal, and the identifier of the chat room of the transmission destination from the communication unit 21 of the user terminal 20. When receiving the chat message, the chat management unit 15 connects the chat message, the identifier of the transmission source user terminal (the transmission source at the time of reception), and the chat room identifier to the chat room indicated by the identifier of the received chat room. It transmits to the communication part 21 of all the user terminals 20 currently doing. And if the chat management part 15 transmits a chat message to the user terminal 20, with respect to the relationship graph management part 14, the identifier of a transmission source user terminal, the identifier of a transmission destination user terminal, the identifier of a chat room, and the present The time is transmitted to the relation graph management unit 14.

なお、チャット管理部１５は、遠隔コラボレーション用アプリケーションのサーバ部分（チャット管理機能部分）により実現可能である。 The chat management unit 15 can be realized by the server part (chat management function part) of the remote collaboration application.

関係グラフ管理部１４は、チャット管理部１５から受信した送信元利用者端末の識別子、チャットルームの識別子、及び現在時刻（受信時刻）を、チャット受信履歴に格納する。チャット受信履歴は、チャットルームの識別子、チャットメッセージの送信元利用者端末の識別子、及び受信時刻を対応付けたテーブルである。表２に、チャット受信履歴の例を示す。 The relationship graph management unit 14 stores the identifier of the transmission source user terminal, the identifier of the chat room, and the current time (reception time) received from the chat management unit 15 in the chat reception history. The chat reception history is a table in which an identifier of a chat room, an identifier of a user terminal that transmits a chat message, and a reception time are associated with each other. Table 2 shows an example of the chat reception history.

関係グラフ管理部１４は、チャット受信履歴から、チャットルームの識別子が同一であり、且つ、チャットメッセージの受信時刻の差が所定の時間（同一話題と想定される時間）内である送信元利用者端末の識別子を参照し、そのうちの２つの識別子の順列を第１利用者端末識別子及び第２利用者端末識別子とし、関係グラフ１３に未登録のものについて格納する。なお、関係グラフ管理部１４は、チャット受信履歴のデータうち、所定の時間（チャット受信履歴保存期間）が過ぎたものを削除する。 From the chat reception history, the relationship graph management unit 14 has the same chat room identifier, and a sender user whose chat message reception time is within a predetermined time (a time that is assumed to be the same topic). The terminal identifiers are referred to, and the permutation of the two identifiers is used as the first user terminal identifier and the second user terminal identifier, and those not registered in the relation graph 13 are stored. The relation graph management unit 14 deletes data in the chat reception history that has passed a predetermined time (chat reception history storage period).

また、チャットは、相手を特定してチャットメッセージの書き込みを行うものではないが、関係グラフ管理部１４は、同一のチャットルームに所定の時間内にチャットメッセージの書き込みを行った利用者は利用者間の関係性が強いと判断し、関係グラフ１３の重みに、チャット用の加算値を加える。例えば、第１利用者端末識別子を有する利用者端末２０と第２利用者端末識別子を有する利用者端末２０との間で、所定の時間内に同一のチャットルームでチャットメッセージの書き込みが発生した場合には、所定の時間内のチャットのやり取りにつき、重みに５を加算する。なお、所定の時間、チャット用の加算値は、実験等により適宜最適な値を設定することができる。 In addition, chat does not specify a partner and writes a chat message, but the relationship graph management unit 14 is a user who has written a chat message in the same chat room within a predetermined time. It is determined that the relationship is strong, and the added value for chat is added to the weight of the relationship graph 13. For example, when a chat message is written in the same chat room within a predetermined time between the user terminal 20 having the first user terminal identifier and the user terminal 20 having the second user terminal identifier. In this case, 5 is added to the weight per chat exchange within a predetermined time. It should be noted that an optimum value for the chat for a predetermined time can be set as appropriate by an experiment or the like.

第２の実施形態の音像定位システム２によれば、仮想空間上における、ある利用者に対する他の利用者に対する音像定位及び音量を、直近の資料共有数、インスタントメッセージ数に加え、所定時間内のチャットの書き込み数に応じて自動的に変化させることができるようになる。 According to the sound image localization system 2 of the second embodiment, the sound image localization and volume for other users in a virtual space are added to the most recent number of materials shared and the number of instant messages, and within a predetermined time. It can be changed automatically according to the number of chat writings.

（第３の実施形態）
次に、本発明による第３の実施形態の音像定位システムについて説明する。図１０は、第３の実施形態の音像定位システムの構成を示すブロック図である。第３の実施形態の音像定位システム３は、第２の実施形態の音像定位システム２（図９参照）と比較して、関係グラフ管理部１４が、音声を送信している利用者端末の識別子を音声受信部３１から取得して管理する点が相違する。なお、第２の実施形態と同じ構成要素には同一の参照番号を付して説明を省略する。 (Third embodiment)
Next, a sound image localization system according to a third embodiment of the present invention will be described. FIG. 10 is a block diagram illustrating a configuration of a sound image localization system according to the third embodiment. Compared to the sound image localization system 2 (see FIG. 9) of the second embodiment, the sound image localization system 3 of the third embodiment is an identifier of the user terminal that the relation graph management unit 14 is transmitting voice. Is obtained from the voice receiving unit 31 and managed. In addition, the same reference number is attached | subjected to the same component as 2nd Embodiment, and description is abbreviate | omitted.

音声受信部３１は、利用者端末２０の音声送信部２２から、所定の閾値を超える音声レベルで所定の閾値を超える時間の音声データを受信した場合、音声データの送信元利用者端末の識別子、及び現在時刻をコミュニケーション用サーバ１０の関係グラフ管理部１４に送信する。なお、音声レベルが所定の閾値を超えるか否かの判定は、当該音声が発話か雑音かを判別するために行われるものであり、例えば無音検知技術を利用でき、閾値は実験等により利用者の発話があると認められる最低の音声レベルをとする。また、音声時間が所定の閾値を超えるか否かの判定は、当該音声が返事等の短い発話か雑音かを判別するために行われるものであり、例えば発話検知を利用でき、閾値は実験等により利用者の発話があると認められる最低の音声時間をとする。 When the voice reception unit 31 receives voice data from the voice transmission unit 22 of the user terminal 20 at a voice level exceeding a predetermined threshold and a time exceeding the predetermined threshold, the identifier of the user terminal of the voice data transmission source, The current time is transmitted to the relation graph management unit 14 of the communication server 10. Note that whether or not the voice level exceeds a predetermined threshold is determined in order to determine whether the voice is speech or noise. For example, a silence detection technique can be used, and the threshold is determined by an experiment or the like. The lowest audio level that is recognized as having the utterance of. The determination of whether or not the voice time exceeds a predetermined threshold is performed to determine whether the voice is a short utterance such as a reply or noise, and for example, utterance detection can be used. The minimum voice time allowed for the user's utterance.

関係グラフ管理部１４は、多地点接続装置３０の音声受信部３１から受信した、送信元利用者端末の識別子を、受信時刻（現在時刻）とともに音声受信履歴に格納する。表３に、音声受信履歴の例を示す。 The relationship graph management unit 14 stores the identifier of the transmission source user terminal received from the voice reception unit 31 of the multipoint connection device 30 in the voice reception history together with the reception time (current time). Table 3 shows an example of the voice reception history.

関係グラフ管理部１４は、音声受信履歴から、音声データの受信時刻の差が所定の時間（同一会話と想定される時間）内である送信元利用者端末の識別子を参照し、そのうちの２つの識別子の順列を第１利用者端末識別子及び第２利用者端末識別子とし、関係グラフ１３に未登録のものについて格納する。なお、関係グラフ管理部１４は、音声受信履歴のデータうち、所定の時間（音声受信履歴保存期間）が過ぎたものを削除する。 The relationship graph management unit 14 refers to the identifier of the transmission source user terminal whose difference in the reception time of the audio data is within a predetermined time (the time assumed to be the same conversation) from the audio reception history, and two of them The permutation of identifiers is a first user terminal identifier and a second user terminal identifier, and those not registered in the relation graph 13 are stored. The relation graph management unit 14 deletes data in the voice reception history that has passed a predetermined time (voice reception history storage period).

また、音声通話は相手を特定して行うものではないが、関係グラフ管理部１４は、所定の時間内に会議に参加している利用者は利用者間の関係性が強いと判断し、関係グラフ１３の重みに、音声通話用の加算値を加える。例えば、第１利用者端末識別子を有する利用者端末２０と第２利用者端末識別子を有する利用者端末２０の間で、所定の時間内に音声通話が発生した場合には、所定の時間内の音声通話のやり取りにつき、重みに５を加算する。なお、所定の時間、音声通話の加算値は、実験等により適宜最適な値を設定することができる。 In addition, although the voice call is not performed by specifying the other party, the relationship graph management unit 14 determines that the users who participate in the conference within a predetermined time have a strong relationship between the users, and the relationship An added value for voice call is added to the weight of the graph 13. For example, if a voice call occurs within a predetermined time between the user terminal 20 having the first user terminal identifier and the user terminal 20 having the second user terminal identifier, Add 5 to the weight for each voice call exchange. It should be noted that the optimum value for the predetermined time and voice call can be set to an optimum value as appropriate through experiments or the like.

第３の実施形態の音像定位システム３によれば、仮想空間上における、ある利用者に対する他の利用者に対する音像定位及び音量を、直近の資料共有数、インスタントメッセージ数、チャットのメッセージ数に加え、音声通話の発話数に応じて自動的に変化させることができるようになる。 According to the sound image localization system 3 of the third embodiment, the sound image localization and volume for other users in a virtual space are added to the number of the most recent material sharing, the number of instant messages, and the number of chat messages. It becomes possible to change automatically according to the number of voice calls.

上述の各実施形態は、個々に代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、上述の各実施形態では、音像定位システムはデータファイル及びインスタントメッセージの双方を送受信可能なものとして説明したが、コミュニケーション用サーバ１０は資料共有管理部１１及びインスタントメッセージ管理部１２のいずれか一方のみを備え、データファイル及びインスタントメッセージのいずれか一方のみの送受信を可能とするものであってもよい。 Each of the above embodiments has been described as a representative example, but it will be apparent to those skilled in the art that many changes and substitutions can be made within the spirit and scope of the invention. Therefore, the present invention should not be construed as being limited by the above-described embodiments, and various modifications and changes can be made without departing from the scope of the claims. For example, in each of the embodiments described above, the sound image localization system has been described as being capable of transmitting and receiving both data files and instant messages. However, the communication server 10 is one of the material sharing management unit 11 and the instant message management unit 12. Only one of the data file and the instant message can be transmitted / received.

１，２，３音像定位システム
１０コミュニケーション用サーバ
１１資料共有管理部
１２インスタントメッセージ管理部
１３関係グラフ
１４関係グラフ管理部
１５チャット管理部
２０利用者端末
２１コミュニケーション部
２２音声送信部
２３音声再生部
２４周辺機器
２５マイク
２６サラウンドスピーカー
３０多地点接続装置
３１音声受信部
３２音像定位管理部
３３音像定位処理部 1, 2, 3 Sound image localization system 10 Communication server 11 Data sharing management unit 12 Instant message management unit 13 Relationship graph 14 Relationship graph management unit 15 Chat management unit 20 User terminal 21 Communication unit 22 Voice transmission unit 23 Voice playback unit 24 Peripheral device 25 Microphone 26 Surround speaker 30 Multipoint connection device 31 Audio receiving unit 32 Sound image localization management unit 33 Sound image localization processing unit

Claims

A sound image localization control system comprising a user terminal, a communication server, and a multipoint connection device, and adaptively controlling sound image localization of sound output by the user terminal,
The user terminal is
A communication unit for transmitting a data file or instant message, an identifier of a user terminal of the data file or instant message, and an identifier of a user terminal of the destination of the data file or instant message to the communication server;
An audio transmission unit for transmitting audio data to the multipoint connection device;
An audio reproduction unit that reproduces surround sound based on the sound data subjected to sound image localization processing received from the multipoint connection device, and
The communication server is:
In each permutation of the first user terminal identifier and the second user terminal identifier, which are two identifiers of the identifier of the transmission source user terminal and the identifier of the transmission destination user terminal received from the user terminal, Means for storing a relation graph which is a table in which weights are associated;
The first user terminal identifier and the second user terminal identifier are stored in the relationship graph, and between the user terminal having the first user terminal identifier and the user terminal having the second user terminal identifier When a data file or instant message is exchanged, relational graph management that adds an added value for the data file or instant message to the weights associated with the first user terminal identifier and the second user terminal identifier And comprising
The multipoint connection device is:
A voice receiver for receiving the voice data from the voice transmitter;
A sound image localization management unit that receives the weight of the relation graph from the communication server , and adaptively determines a sound image localization so that the weight is larger and the weight is smaller and the weight is smaller and the rear is smaller .
The sound data received by the sound receiving unit is subjected to sound image localization processing based on the sound image localization determined by the sound image localization management unit, and the sound data subjected to the sound image localization processing is connected to the multipoint connection device. A sound image localization control system comprising: a sound image localization processing unit that transmits to the voice reproduction unit of the user terminal.

The communication unit transmits a chat message, an identifier of a user terminal of the chat message transmission source, and an identifier of a chat room to which the chat message is transmitted to the communication server,
The relationship graph management unit includes two identifiers of the chat message transmission source user terminals that have the same chat room identifier and whose chat message reception time difference is within a predetermined time. A permutation of identifiers is stored in the relation graph as a first user terminal identifier and a second user terminal identifier, and a user terminal having a first user terminal identifier and a user terminal having a second user terminal identifier; If the chat message is transmitted to the same chat room within a predetermined time, the weights associated with the first user terminal identifier and the second user terminal identifier The sound image localization control system according to claim 1, wherein the added value is added.

When the voice reception unit receives voice data from the voice transmission unit, the voice reception unit transmits an identifier of a transmission source user terminal of the voice data to the relation graph management unit,
The relationship graph management unit uses a first user terminal identifier and a first permutation of two identifiers among identifiers of a source user terminal of the voice data whose difference in reception time of the voice data is within a predetermined time. 2 and stored in the relation graph as a user terminal identifier, and the audio data within a predetermined time between the user terminal having the first user terminal identifier and the user terminal having the second user terminal identifier. The transmission value is added to the weight associated with the first user terminal identifier and the second user terminal identifier when the transmission occurs. The sound image localization control system described in 1.

A communication server in a sound image localization control system comprising a user terminal, a communication server, and a multipoint connection device,
The first user terminal identifier and the second user terminal identifier which are two identifiers of the identifier of the transmission source user terminal and the identifier of the transmission destination user terminal of the data file or instant message received from the user terminal. Means for storing a relation graph which is a table in which weights are associated with each permutation ;
When the data file or the instant message is exchanged between the user terminal having the first user terminal identifier and the user terminal having the second user terminal identifier, the first user terminal A relation graph management unit that adds a predetermined added value to the weight associated with the identifier and the second user terminal identifier ,
The relationship graph management unit, the transmit weights of the relationship graph in the multipoint control unit, forward the more heavy body is large, to and determined adaptively sound image localization so that the rear as heavy body is smaller Rukoto A server for communication.

A multipoint connection device in a sound image localization control system comprising a user terminal, a communication server, and a multipoint connection device,
The communication server includes a first user terminal identifier that is two identifiers of an identifier of a transmission source user terminal and an identifier of a transmission destination user terminal of a data file or instant message received from the user terminal, and a first user terminal identifier. 2 stores a relation graph that is a table in which weights are associated with permutations of user terminal identifiers;
A voice receiving unit for receiving the user terminal or rales voice data,
A sound image localization management unit that receives the weight of the relation graph from the communication server, and adaptively determines a sound image localization so that the weight is larger and the weight is smaller and the weight is smaller and the rear is smaller .
The sound data received by the sound receiving unit is subjected to sound image localization processing based on the sound image localization determined by the sound image localization management unit, and the sound data subjected to the sound image localization processing is connected to the multipoint connection device. A sound image localization processing unit to be transmitted to the user terminal,
A multipoint connection device comprising:

In a sound image localization control system comprising a user terminal, a communication server, and a multipoint connection device, a sound image localization control method for adaptively controlling the sound image localization of the sound output by the user terminal,
The user terminal transmits a data file or instant message, an identifier of the user terminal of the data file or instant message, and an identifier of the user terminal of the destination of the data file or instant message to the communication server. Steps,
A first user terminal identifier and a second user terminal which are two identifiers of the identifier of the transmission source user terminal and the identifier of the transmission destination user terminal received from the user terminal by the communication server Storing a relation graph in which weights are associated with each permutation of identifiers;
The communication server stores the first user terminal identifier and the second user terminal identifier in the relation graph, and a user terminal having the first user terminal identifier and a user having the second user terminal identifier. When the data file or the instant message is exchanged with the terminal, the added value for the data file or the instant message is added to the weight associated with the first user terminal identifier and the second user terminal identifier. A step of adding
Transmitting voice data to the multipoint connection device by the user terminal;
A voice receiving step of receiving the voice data by the multipoint connection device;
Sound image localization management in which the multipoint connection device receives the weight of the relation graph from the communication server and adaptively determines sound image localization so that the weight is larger and the weight is smaller and the weight is smaller and the rear is smaller. Steps,
The multipoint connection device performs sound image localization processing based on the sound image localization determined in the sound image localization management step for the audio data received in the sound reception step, and the sound data subjected to the sound image localization processing is Transmitting to a user terminal connected to the multipoint connection device;
Reproducing surround sound based on the sound image localization processed sound data received from the multipoint connection device by the user terminal;
A sound image localization control method comprising: