JP7143874B2 - Information processing device, information processing method and program - Google Patents

Information processing device, information processing method and program Download PDF

Info

Publication number
JP7143874B2
JP7143874B2 JP2020172415A JP2020172415A JP7143874B2 JP 7143874 B2 JP7143874 B2 JP 7143874B2 JP 2020172415 A JP2020172415 A JP 2020172415A JP 2020172415 A JP2020172415 A JP 2020172415A JP 7143874 B2 JP7143874 B2 JP 7143874B2
Authority
JP
Japan
Prior art keywords
user
information
communication method
communication
virtual space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020172415A
Other languages
Japanese (ja)
Other versions
JP2022002387A (en
Inventor
ジョン・セーヒョン
博和 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OVICE, INC.
Original Assignee
OVICE, INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OVICE, INC. filed Critical OVICE, INC.
Priority to KR1020227010795A priority Critical patent/KR20230015870A/en
Priority to PCT/JP2021/016458 priority patent/WO2021235173A1/en
Priority to EP21809303.7A priority patent/EP4141764A1/en
Priority to EP21808741.9A priority patent/EP4134890A1/en
Priority to AU2021274233A priority patent/AU2021274233A1/en
Priority to CA3152654A priority patent/CA3152654A1/en
Priority to AU2021276760A priority patent/AU2021276760A1/en
Priority to IL293437A priority patent/IL293437A/en
Priority to US17/761,081 priority patent/US11871152B2/en
Priority to CN202180006018.0A priority patent/CN115485705A/en
Priority to KR1020227010796A priority patent/KR20230015302A/en
Priority to IL293438A priority patent/IL293438A/en
Priority to CA3152507A priority patent/CA3152507A1/en
Priority to CN202180006019.5A priority patent/CN115486057A/en
Priority to US17/761,095 priority patent/US20220345325A1/en
Priority to PCT/JP2021/016457 priority patent/WO2021235172A1/en
Publication of JP2022002387A publication Critical patent/JP2022002387A/en
Application granted granted Critical
Publication of JP7143874B2 publication Critical patent/JP7143874B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。 The present invention relates to an information processing device, an information processing method, and a program.

従来より、いわゆるWEB会議など、ネットワークを介して音声や動画像を参加者が共有する技術が存在する。しかし、このようなWEB会議においては、軽微な通信の遅延などであっても、円滑なコミュニケーションが妨げられることも多い。そのため、多くの場合、通信状況の維持や通信方式の選択が課題とされている。
そして、例えば、クライアントから取得されたノイズの音量に応じて通信方式を選択可能な技術が提案されている(例えば、特許文献1を参照)。
Conventionally, there are technologies such as so-called WEB conferences, in which participants share voices and moving images via a network. However, in such a web conference, even a slight delay in communication often hinders smooth communication. Therefore, in many cases, maintenance of communication status and selection of a communication method are issues.
For example, a technology has been proposed that allows selection of a communication method according to the volume of noise acquired from a client (see, for example, Patent Document 1).

特開2019-117998号公報JP 2019-117998 A

しかし、上述の特許文献1に記載の従来技術のみでは、あくまでもノイズの音量に応じた通信方法を選択できるに過ぎず、会話の種別や性質に合わせて、通信方式を選択できるわけではない。さらに言えば、上述の特許文献1に言う通信方式とは、単にノイズなどが生じた場合にテキスト文章での意思疎通を行うなどの代替手段を提供しているに過ぎず、十分な通信方式を選択できていると言うことは困難である。 However, only with the prior art disclosed in Patent Document 1, it is only possible to select a communication method according to the volume of noise, and it is not possible to select a communication method according to the type and nature of conversation. Furthermore, the communication method mentioned in Patent Document 1 mentioned above merely provides an alternative means such as communication by text sentences when noise or the like occurs, and a sufficient communication method is provided. It is difficult to say that we have a choice.

本発明は、このような状況に鑑みてなされたものであり、ユーザ同士のコミュニケーション手段において、より利便性が高く、利用しやすいコミュニケーション手段を提供することを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a more convenient and easy-to-use communication means for communication between users.

上記目的を達成するため、本発明の一態様の情報処理装置は、
仮想空間を用いた第1ユーザおよび第2ユーザのコミュニケーションに利用し得るコミュニケーションシステムにかかる情報処理装置であって、
前記第1ユーザおよび前記第2ユーザの前記仮想空間における位置に関する情報を、位置情報として取得する位置情報取得手段と、
前記第1ユーザまたは前記第2ユーザの前記仮想空間における指示操作または入力に関する情報を、入力情報として取得する入力情報取得手段と、
取得された前記位置情報または前記入力情報の少なくとも一方に基づいて、前記コミュニケーションを実現する通信方式を決定する通信方式決定手段と、
を備える。
In order to achieve the above object, an information processing device according to one aspect of the present invention includes:
An information processing apparatus for a communication system that can be used for communication between a first user and a second user using a virtual space,
a positional information obtaining means for obtaining, as positional information, information relating to the positions of the first user and the second user in the virtual space;
input information acquiring means for acquiring, as input information, information relating to the instruction operation or input in the virtual space of the first user or the second user;
communication method determination means for determining a communication method for realizing the communication based on at least one of the acquired position information and the input information;
Prepare.

本発明によれば、ユーザ同士のコミュニケーション手段において、より利便性が高く、利用しやすいコミュニケーション手段を提供することができる。 According to the present invention, it is possible to provide a more convenient and easy-to-use communication means for communication between users.

本発明の一実施形態にかかる情報処理システムの構成の一例を示すブロック図である。1 is a block diagram showing an example of the configuration of an information processing system according to one embodiment of the present invention; FIG. 図1の情報処理システムのうちサーバのハードウェア構成の一例を示す図である。2 is a diagram illustrating an example of a hardware configuration of a server in the information processing system of FIG. 1; FIG. 図2のサーバおよび図1のユーザ端末の機能的構成のうち、通信方式決定処理を実行するための機能的構成の一例を示す機能ブロック図である。FIG. 3 is a functional block diagram showing an example of a functional configuration for executing a communication method determination process among the functional configurations of the server of FIG. 2 and the user terminal of FIG. 1; 本発明の一実施形態にかかる情報処理システムに関係する従来技術の概要を説明する図である。BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a diagram illustrating an overview of conventional technology related to an information processing system according to an embodiment of the present invention; 図3のユーザ端末を介してユーザに表示される画像の一例を示す図である。4 is a diagram showing an example of an image displayed to a user via the user terminal of FIG. 3; FIG. 図3のユーザ端末を介してユーザに表示される画像の一例を示す図であり、図5の例とは異なる例を示す図である。6 is a diagram showing an example of an image displayed to a user via the user terminal of FIG. 3, and showing an example different from the example of FIG. 5. FIG. 図3の機能的構成を有するサーバの処理のうち、通信方式決定処理の流れの一例を説明するフローチャートである。4 is a flowchart illustrating an example of the flow of communication method determination processing among the processing of the server having the functional configuration of FIG. 3;

以下、本発明の実施形態について、図面を用いて説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings.

ここで、図1の説明をするに先立ち、本発明の一実施形態にかかる情報処理システム(以下、「本システム」と呼ぶ)の適用対象となるサービスについて簡単に説明する。なお、以下、本システムの適用対象となるサービスを本サービスと呼ぶ。
本サービスは、仮想空間などを利用したコミュニケーションサービス(以下、「WEB会議サービス」と呼ぶ)において、仮想空間に関する所定の基準に基づいて、適切な通信方式などを決定する通信方式の決定サービスである。
具体的に例えば、本サービスは、仮想空間内の状況などに基づいて、その状況に適したコミュニケーションの方法および通信方式を決定し、その方法によりコミュニケーションを実現することができる。
Here, before describing FIG. 1, services to which an information processing system according to an embodiment of the present invention (hereinafter referred to as "this system") is applied will be briefly described. A service to which this system is applied is hereinafter referred to as this service.
This service is a communication method determination service that determines an appropriate communication method based on a predetermined standard regarding virtual space in a communication service that uses virtual space (hereinafter referred to as "WEB conference service"). .
Specifically, for example, this service can determine a communication method and communication system suitable for the situation based on the situation in the virtual space, and realize communication by that method.

ここで、本サービスにかかるサーバは、以下に示す第1の通信方式または第2の通信方式のうちから、適切な通信方式を決定する。
第1の通信方式とは、他のサーバを経由して情報の送受信を行う方法である。この第1の通信方式は、サーバからユーザに対して情報が送受信されるため、多人数で通信を行う場合であっても通信量の増大を抑えることができる。一方、第1の通信方式は、サーバを経由するため遅延などが発生する可能性がある。さらに、第1の通信方式は、サービス提供者にサーバ管理コストが発生する。
Here, the server related to this service determines an appropriate communication method from among the first communication method and the second communication method shown below.
A first communication method is a method of transmitting and receiving information via another server. In this first communication method, since information is transmitted and received from the server to the user, it is possible to suppress an increase in the amount of communication even when a large number of people communicate. On the other hand, the first communication method may cause a delay or the like because it goes through the server. Furthermore, the first communication method incurs server management costs for the service provider.

第2の通信方式とは、他のサーバなどを経由せずユーザ同士がP2P(Peer to Peer)などの方式により直接通信を行うことで、情報の送受信を行う方法である。第2の通信方式は、典型的に例えば、オープンソースとして提供されているWebRTC(Web Real Time Communication)などが採用されてもよい。
この第2の通信方式は、特に少人数での通信を行う場合に、経由するサーバがないため、遅延が少なく安定的な通信が可能である。また、第2の通信方式は、ユーザが直接通信を行うため、サービスの提供者のサーバ管理コストを軽減することができる。一方、第2の通信方式は、多人数で通信を行う場合、ユーザの端末に負荷がかかり、全体の通信量も増大する。
以上をまとめると、本サービスは、仮想空間内の状況に応じて適切なコミュニケーションの方法および通信の方式を選択し、最適なコミュニケーションの機会を提供することができる。これにより、本サービスの提供を受けるユーザは、仮想空間を利用した多種多様なコミュニケーションを行うことができるだけでなく、情報の遅延や欠落が少ない状況で快適にそれぞれのコミュニケーションを実現することができる。
The second communication method is a method of transmitting and receiving information by directly communicating between users by a method such as P2P (Peer to Peer) without going through another server. As the second communication method, typically, for example, WebRTC (Web Real Time Communication) provided as open source may be adopted.
This second communication method, especially when communicating with a small number of people, is capable of stable communication with little delay because there is no server to go through. Further, in the second communication method, since the user communicates directly, the server management cost of the service provider can be reduced. On the other hand, in the case of the second communication method, when a large number of people communicate with each other, a load is applied to the terminals of the users and the total amount of communication increases.
To summarize the above, this service can select the appropriate communication method and communication method according to the situation in the virtual space, and provide the optimum opportunity for communication. As a result, users who receive this service will not only be able to engage in a wide variety of communications using virtual space, but will also be able to comfortably communicate with each other with little delay or loss of information.

続いて、図1を参照しながら、本システムの構成について説明する。
図1は、本発明の一実施形態にかかる情報処理システムの構成の一例を示すブロック図である。
Next, the configuration of this system will be described with reference to FIG.
FIG. 1 is a block diagram showing an example of the configuration of an information processing system according to one embodiment of the present invention.

図1に示す通り、本システムは、サーバ1と、ユーザ端末2-1乃至2-n(nは1以上の任意の整数値)とを含み構成される。サーバ1と、ユーザ端末2-1乃至2-nとは、インターネット等のネットワークNを介して相互に接続されている。なお、ネットワークNは、必ずしも必須の構成要素ではなく、例えば、Bluetooth(登録商標)、Wi-Fi、LAN(Local Area Network)などが利用されてもよい。
また、以降の説明においてユーザ端末2-1乃至2-nのそれぞれを個々に区別する必要がない場合、これらをまとめて「ユーザ端末2」と呼ぶ。
As shown in FIG. 1, this system includes a server 1 and user terminals 2-1 to 2-n (n is an arbitrary integer value of 1 or more). The server 1 and user terminals 2-1 to 2-n are interconnected via a network N such as the Internet. Note that the network N is not necessarily an essential component, and for example, Bluetooth (registered trademark), Wi-Fi, LAN (Local Area Network), etc. may be used.
Further, in the following description, when it is not necessary to distinguish between the user terminals 2-1 to 2-n individually, they are collectively referred to as "user terminals 2".

サーバ1は、例えば、本サービスの提供者などにより管理される情報処理装置である。サーバ1は、ユーザ端末2のそれぞれと、ネットワークNを介して適宜通信をしながら、後述する各種処理を実行する The server 1 is, for example, an information processing device managed by a provider of this service. The server 1 communicates with each of the user terminals 2 via the network N, and executes various processes to be described later.

ユーザ端末2は、例えば、本サービスの提供を希望するユーザにより操作される情報処理端末である。なお、ユーザ端末2は、例えば、汎用的なスマートフォン、タブレット、もしくはパーソナルコンピュータなどで構成される。 The user terminal 2 is, for example, an information processing terminal operated by a user who wishes to receive this service. Note that the user terminal 2 is configured by, for example, a general-purpose smart phone, tablet, or personal computer.

図2は、図1の情報処理システムのうちサーバのハードウェア構成の一例を示すブロック図である。 FIG. 2 is a block diagram showing an example of a hardware configuration of a server in the information processing system of FIG. 1. As shown in FIG.

サーバ1は、制御部11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、出力部16と、入力部17と、記憶部18と、通信部19と、ドライブ20とを備えている。 The server 1 includes a control unit 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a bus 14, an input/output interface 15, an output unit 16, an input unit 17, and a storage unit 18. , a communication unit 19 and a drive 20 .

制御部11は、CPUやGPUおよび半導体メモリを含むマイクロコンピュータ等で構成され、ROM12に記録されているプログラム、または記憶部18からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、制御部11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The control unit 11 is composed of a microcomputer or the like including a CPU, GPU, and semiconductor memory, and executes various processes according to programs recorded in the ROM 12 or programs loaded from the storage unit 18 to the RAM 13 .
The RAM 13 also stores data necessary for the control unit 11 to execute various processes.

制御部11、ROM12およびRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、出力部16、入力部17、記憶部18、通信部19およびドライブ20が接続されている。 Control unit 11 , ROM 12 and RAM 13 are interconnected via bus 14 . An input/output interface 15 is also connected to this bus 14 . An output unit 16 , an input unit 17 , a storage unit 18 , a communication unit 19 and a drive 20 are connected to the input/output interface 15 .

出力部16は、ディスプレイやスピーカ等で構成され、各種情報を画像や音声として出力する。
入力部17は、キーボードやマウス等で構成され、各種情報を入力する。
記憶部18は、ハードディスクやDRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部19は、インターネットを含むネットワークNを介して他の装置(例えば図1のユーザ端末2)との間で通信を行う。
The output unit 16 includes a display, a speaker, and the like, and outputs various information as images and sounds.
The input unit 17 is composed of a keyboard, a mouse, etc., and inputs various kinds of information.
The storage unit 18 is composed of a hard disk, a DRAM (Dynamic Random Access Memory), or the like, and stores various data.
The communication unit 19 communicates with another device (for example, the user terminal 2 in FIG. 1) via a network N including the Internet.

ドライブ20は、必要に応じて設けられる。ドライブ20には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ20によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部18にインストールされる。また、リムーバブルメディア31は、記憶部18に記憶されている各種データも、記憶部18と同様に記憶することができる。 A drive 20 is provided as required. A removable medium 31 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is mounted in the drive 20 as appropriate. A program read from the removable medium 31 by the drive 20 is installed in the storage unit 18 as necessary. The removable medium 31 can also store various data stored in the storage unit 18 in the same manner as the storage unit 18 .

ここで、ユーザ端末2のハードウェア構成は、サーバ1のハードウェア構成と基本的に同様とすることができので、ここでは説明を省略する。
このようなサーバ1およびユーザ端末2を含む、本システムを構成する各種ハードウェアとソフトウェアとの協同により、本システムにおける各種処理の実行が可能となる。
Here, the hardware configuration of the user terminal 2 can be basically the same as the hardware configuration of the server 1, so the explanation is omitted here.
Various types of processing in the system can be executed by cooperation of various hardware and software that constitute the system, including the server 1 and the user terminal 2 .

図3は、図2のサーバおよび図1のユーザ端末の機能的構成のうち、通信方式決定処理を実行するための機能的構成の一例を示す機能ブロック図である。
ここで、上述の通り、ユーザ端末2-1乃至2-nは、音声情報の送信および受信(コミュニケーション)を希望するn人のユーザの夫々により使用される。そのため、ユーザ端末2-1乃至2-nの何れもが、上述の図3に示す機能的構成を有するが、説明の便宜上、情報の送信を希望するユーザ(以下、「発信者」と呼ぶ)の使用するユーザ端末2-Eについては、各機能ブロックの符号の最後に「E」を付し、情報の受信を希望するユーザ(以下、「受信者」と呼ぶ)が使用するユーザ端末2-Fについては各機能ブロックの最後に「F」を付している。また、図3の例において、点線は、機能ブロック自体は有するが、当該機能ブロックは機能しないことを意味している。すなわち、図3の例において、ユーザ端末2-Eは音声情報の送信にのみ利用されるため、出力情報管理部223-Eは機能しない。
FIG. 3 is a functional block diagram showing an example of a functional configuration for executing a communication method determination process among the functional configurations of the server of FIG. 2 and the user terminal of FIG.
Here, as described above, the user terminals 2-1 to 2-n are used by n users who wish to transmit and receive (communicate) voice information. Therefore, each of the user terminals 2-1 to 2-n has the functional configuration shown in FIG. For the user terminal 2-E used by the user terminal 2- As for F, "F" is attached to the end of each functional block. In addition, in the example of FIG. 3, the dotted line means that the functional block itself does not function, although the functional block itself is provided. That is, in the example of FIG. 3, since the user terminal 2-E is used only for transmitting voice information, the output information management section 223-E does not function.

図3に示すように、サーバ1の制御部11は、各種プログラム等を実行することにより、送信音声情報取得部60と、仮想空間管理部61と、オブジェクト会話管理部62と、通常会話管理部63と、通信方式決定部64と、出力情報生成部65として機能する。
サーバ1の送信音声情報取得部60は、ユーザ端末2-Eから送信されてくる発信者が送信を希望する音声に関する情報(以下、「送信音声情報」と呼ぶ)を、通信部19を介して取得する。
As shown in FIG. 3, the control unit 11 of the server 1 executes various programs and the like to obtain a transmission voice information acquisition unit 60, a virtual space management unit 61, an object conversation management unit 62, and a normal conversation management unit. 63 , a communication method determination unit 64 , and an output information generation unit 65 .
The transmission voice information acquisition unit 60 of the server 1 receives information (hereinafter referred to as “transmission voice information”) related to the voice that the caller wishes to transmit, which is transmitted from the user terminal 2-E, via the communication unit 19. get.

仮想空間管理部61は、図示せぬDBなどに格納されている画像情報などに基づいて、ユーザの夫々に提示し得る仮想空間を生成し、生成した仮想空間に関する情報(以下、「仮想空間情報」と呼ぶ)を、ユーザ端末2-Eおよびユーザ端末2-Fのそれぞれに送信する。なお、ユーザ端末2-Eおよび2-Fのそれぞれで取得された仮想空間情報は、図示せぬ表示部を介して、ユーザのそれぞれに提示される。 The virtual space management unit 61 generates a virtual space that can be presented to each user based on image information stored in a database (not shown) or the like, and information about the generated virtual space (hereinafter referred to as “virtual space information”). ”) is transmitted to each of the user terminals 2-E and 2-F. The virtual space information acquired by each of the user terminals 2-E and 2-F is presented to each user via a display unit (not shown).

ここで、仮想空間情報を提示されたユーザのそれぞれは、仮想空間内の状況やコミュニケーションの目的などに応じて、自身に対応するアイコンを仮想空間内の任意の位置に配置することができる。そして、このようにして配置された各アイコンの仮想空間内の位置情報(「アイコン位置情報」と呼ぶ)は、ユーザ端末2-Eおよび2-Fのそれぞれからサーバ1へと送信される。
そこで、仮想空間管理部61の位置情報管理部80は、ユーザ端末2-Eおよび2-Fのそれぞれから送信されてきた、各アイコンのアイコン位置情報を、通信部19を介して取得する。仮想空間管理部61は、取得したアイコン位置情報に基づいて、各アイコンの仮想空間内の位置を特定する。
なお、各アイコンの仮想空間内の位置と各種コミュニケーションとの関係については、図4などを参照しながら後述する。
Here, each of the users presented with the virtual space information can place an icon corresponding to the user at an arbitrary position in the virtual space according to the situation in the virtual space, the purpose of communication, and the like. The positional information of each icon arranged in this manner in the virtual space (referred to as “icon positional information”) is transmitted to the server 1 from each of the user terminals 2-E and 2-F.
Therefore, the position information management section 80 of the virtual space management section 61 acquires, via the communication section 19, the icon position information of each icon transmitted from each of the user terminals 2-E and 2-F. The virtual space management unit 61 identifies the position of each icon in the virtual space based on the acquired icon position information.
Note that the relationship between the position of each icon in the virtual space and various types of communication will be described later with reference to FIG. 4 and the like.

オブジェクト会話管理部62は、ユーザのそれぞれの仮想空間における指示操作または入力に関する情報(以下、「指示操作情報」と呼ぶ)を取得する。
すなわち、オブジェクト会話管理部62は、ユーザ端末2のそれぞれから送信されてくるユーザが所定のオブジェクトに対してクリック操作を行ったか否かなどを含む指示操作情報を、通信部19を介して取得する。
そして、オブジェクト会話管理部62は、取得した指示操作情報に基づいて、オブジェクトに対する指示操作がなされているか否かを判断する。
ここで、オブジェクトとは、本サービスおよび上述のWEB会議サービスにおいて、例えば、ノートパソコンやプロジェクターなどを模してデザインされたアイコンである。本実施形態においてオブジェクトは、仮想空間内の所定の位置に静的に配置され、例えば、本システムにおけるモードの切り替えや通信方式の決定などに利用される。なお、オブジェクトの詳細については、図5などを参照しながら、後述する。
また、オブジェクト会話管理部62は、後述する通信方式決定部64でコミュニケーションの方式が「オブジェクト会話モード」に決定された場合、対象となるユーザのそれぞれに対して、オブジェクト会話モードおよび第1の通信方式に関する各種処理を実行する。
The object conversation management unit 62 acquires information (hereinafter referred to as “instruction operation information”) regarding the instruction operation or input in each virtual space of the user.
That is, the object conversation management unit 62 acquires, via the communication unit 19, instruction operation information transmitted from each of the user terminals 2 and including whether or not the user has performed a click operation on a predetermined object. .
Then, the object conversation management unit 62 determines whether or not an instruction operation is performed on the object based on the acquired instruction operation information.
Here, an object is an icon designed to imitate a notebook computer, a projector, or the like, for example, in this service and the above-described WEB conference service. In this embodiment, an object is statically arranged at a predetermined position in the virtual space, and is used, for example, for mode switching and communication method determination in this system. Details of the object will be described later with reference to FIG. 5 and the like.
Further, when the communication method determination unit 64 (to be described later) determines the communication method to be the "object conversation mode", the object conversation management unit 62 selects the object conversation mode and the first communication mode for each of the target users. Executes various processing related to the method.

通常会話管理部63は、後述する通信方式決定部64でコミュニケーションの方式が「通常会話モード」に決定された場合、対象となるユーザのそれぞれに対して、通常会話モードおよび第2の通信方式に関する各種処理を実行する。
距離算出部90は、位置情報管理部80で取得されたアイコン位置情報に基づいて、仮想空間内における各アイコンの距離を算出する。なお、各アイコンの距離は、後述する出力情報生成部65において、出力情報が生成される際の補正(音声の大きさなど)の条件として利用される。
When the communication method determination unit 64, which will be described later, determines the communication method to be the “normal conversation mode”, the normal conversation management unit 63 instructs each of the target users about the normal conversation mode and the second communication method. Executes various processing.
The distance calculator 90 calculates the distance of each icon in the virtual space based on the icon position information acquired by the position information manager 80 . Note that the distance between each icon is used as a condition for correction (sound volume, etc.) when output information is generated in the output information generation unit 65, which will be described later.

通信方式決定部64は、位置情報管理部80で取得されたアイコン位置情報およびオブジェクト会話管理部62で取得されたオブジェクト指示操作情報に基づいて、ユーザに提供されるコミュニケーションの方式および当該コミュニケーションを実現する通信方式を決定する。 The communication method determination unit 64 implements a method of communication provided to the user and the communication based on the icon position information acquired by the position information management unit 80 and the object pointing operation information acquired by the object conversation management unit 62. Decide which communication method to use.

具体的に例えば、通信方式決定部64は、対象となるユーザに提供されるコミュニケーションの方式として、「オブジェクト会話モード」または「通常会話モード」のいずれかのモードを決定する。
オブジェクト会話モードとは、例えば、オブジェクトを介して接続されたアイコンに対応するユーザを、一律に取り扱い会話を実現するモードである。具体的に例えば、サーバ1は、仮想空間内に設置されたオブジェクトに対して指示操作を行ったユーザを通信の対象として特定し、対応するユーザ端末2のそれぞれを第1の通信方式により接続する。
これに対して、通常会話モードとは、ユーザに対応するアイコンのそれぞれの距離に応じて、出力する音声の音量などを変更する会話を実現するモードである。具体的に例えば、サーバ1は、上述の指示操作を行わず、かつ仮想空間内で近接した位置に配置されたアイコンに対応するユーザを通信の対象として特定し、対応するユーザ端末2のそれぞれを第2の通信方式により接続する。なお、オブジェクト会話モードおよび通常会話モードの詳細については、図4乃至6の図面を参照しながら、それぞれ説明する。
Specifically, for example, the communication method determination unit 64 determines either the “object conversation mode” or the “normal conversation mode” as the communication method provided to the target user.
The object conversation mode is, for example, a mode in which users corresponding to icons connected via objects are uniformly treated and conversations are realized. Specifically, for example, the server 1 identifies, as a communication target, a user who has performed an instruction operation on an object installed in the virtual space, and connects each of the corresponding user terminals 2 by the first communication method. .
On the other hand, the normal conversation mode is a mode in which conversation is realized by changing the volume of the output voice according to the distances of the icons corresponding to the user. Specifically, for example, the server 1 identifies, as a communication target, a user corresponding to an icon arranged in a close position in the virtual space without performing the above instruction operation, and each of the corresponding user terminals 2 is identified. Connect using the second communication method. Details of the object conversation mode and the normal conversation mode will be described with reference to FIGS. 4 to 6, respectively.

出力情報生成部65は、送信音声情報取得部60で取得された送信音声情報などに基づいて、ユーザ端末2の夫々で出力する情報(以下、「出力情報」と呼ぶ)を生成する。また、出力情報生成部65は、生成した出力情報の夫々を、ユーザ端末2の夫々へ送信する。 The output information generation unit 65 generates information (hereinafter referred to as “output information”) to be output by each of the user terminals 2 based on the transmission voice information acquired by the transmission voice information acquisition unit 60 and the like. In addition, the output information generation unit 65 transmits each generated output information to each of the user terminals 2 .

続いて、ユーザ端末2-Eの機能的構成の一例について説明する。
図3に示すように、ユーザ端末2-Eの制御部200-Eは、各種プログラム等を実行することにより、仮想空間管理部220-Eと、操作情報管理部221-Eと、送信音声情報管理部222-Eと、出力情報管理部223-Eとして機能する。
ユーザ端末2-Eの仮想空間管理部220-Eは、サーバ1から送信されてきた仮想空間情報を、通信部203-Eを介して取得する。また、仮想空間管理部220-Eは、取得した仮想空間情報を出力部201-Eに表示する。
Next, an example of the functional configuration of the user terminal 2-E will be explained.
As shown in FIG. 3, the control unit 200-E of the user terminal 2-E executes various programs and the like to create a virtual space management unit 220-E, an operation information management unit 221-E, a transmission voice information It functions as a management section 222-E and an output information management section 223-E.
The virtual space management unit 220-E of the user terminal 2-E acquires the virtual space information transmitted from the server 1 via the communication unit 203-E. Also, the virtual space management unit 220-E displays the acquired virtual space information on the output unit 201-E.

操作情報管理部221-Eは、出力部201-Eを介して仮想空間情報を提示されたユーザによる指示操作または入力操作に関する指示操作情報を受け付ける。また、操作情報管理部221-Eは、受け付けた指示操作情報を、サーバ1へ送信する。 The operation information management unit 221-E receives instruction operation information related to an instruction operation or an input operation by the user to whom the virtual space information is presented via the output unit 201-E. Further, the operation information management unit 221 -E transmits the received instruction operation information to the server 1 .

送信音声情報管理部222-Eは、ユーザ(発信者)が送信を希望する音声に関する情報(以下、「送信側音声情報」と呼ぶ)を取得する。送信音声情報管理部222-Eは、取得した送信側音声情報を、サーバ1へ送信する。 The transmission voice information management unit 222-E acquires information (hereinafter referred to as “transmission side voice information”) regarding voice that the user (originator) desires to transmit. The transmission voice information management unit 222 -E transmits the acquired transmission side voice information to the server 1 .

ここで、上述の通り、ユーザ端末2-Eおよび2-Fは、原則として同様の機能的構成を有することができるが、ユーザ端末2-Eにおいて、出力情報管理部223-Eは機能しない。一方で、ユーザ端末2-Fにおいては、送信音声情報管理部222-Fは機能しないが、出力情報管理部223-Fは機能する。
そこで、ユーザ端末2-Fの機能的構成について、必要な部分のみを説明する。出力情報管理部223-Fは、サーバ1から送信されてきた出力情報を、通信部203-Fを介して取得する。また、出力情報管理部223-Fは、取得した出力情報を出力部201-Fを介して出力する。
Here, as described above, in principle, the user terminals 2-E and 2-F can have the same functional configuration, but the output information manager 223-E does not function in the user terminal 2-E. On the other hand, in the user terminal 2-F, the transmission voice information management section 222-F does not function, but the output information management section 223-F functions.
Therefore, only necessary parts of the functional configuration of the user terminal 2-F will be described. The output information management unit 223-F acquires the output information transmitted from the server 1 via the communication unit 203-F. Also, the output information management unit 223-F outputs the acquired output information via the output unit 201-F.

続いて、図4を参照しながら、本サービスと関係するWEB会議サービスの一例について説明する。図4は、本発明の一実施形態にかかる情報処理システムと関係する従来技術の概要を説明する図である。
図4には、現実世界の会議室を模した仮想空間(以下、「オフィス空間」と呼ぶ)が表示されている。そして、図4の例では、ユーザの夫々に対応するアイコンA乃至Dがオフィス空間の所定の位置に表示されている。
上述のWEB会議サービスでは、例えば、オフィス空間におけるアイコンの距離に応じて、出力される音声の音量などが調整される。
そして、図4の例では、アイコンAとアイコンBは互いに近い位置に配置されているのに対して、アイコンAとアイコンCは比較的離れた位置にアイコンが配置されている。アイコンAとアイコンDは、さらに離れた位置にアイコンが配置されている。
そのため、上述のWEB会議サービスでは、例えば「A」のアイコン対応するユーザにより入力された音声は、「B」のアイコンに対応するユーザのユーザ端末2では大きく出力され、「C」のアイコンに対応するユーザのユーザ端末2では小さく出力される。
なお、図4における点線は、例えば「A」のアイコンに対応するユーザの音声の可聴域を示している。そのため、アイコン「D」に対応するユーザのユーザ端末2では、「A」に対応するユーザの音声は出力されない。
Next, an example of a web conference service related to this service will be described with reference to FIG. FIG. 4 is a diagram illustrating an overview of conventional technology related to an information processing system according to an embodiment of the present invention.
In FIG. 4, a virtual space (hereinafter referred to as "office space") imitating a conference room in the real world is displayed. In the example of FIG. 4, icons A to D corresponding to each user are displayed at predetermined positions in the office space.
In the above-described web conference service, for example, the volume of output audio is adjusted according to the distance between icons in the office space.
In the example of FIG. 4, the icons A and B are arranged close to each other, whereas the icons A and C are arranged relatively apart from each other. The icon A and the icon D are arranged at further separated positions.
Therefore, in the above-described WEB conference service, for example, the voice input by the user corresponding to the "A" icon is output in a large size at the user terminal 2 of the user corresponding to the "B" icon, and the voice corresponding to the "C" icon is output. The user terminal 2 of the user who does the output is small.
Note that the dotted line in FIG. 4 indicates, for example, the audible range of the user's voice corresponding to the "A" icon. Therefore, the user terminal 2 of the user corresponding to icon "D" does not output the voice of the user corresponding to "A".

ここで、上述のWEB会議サービスにおいて、ユーザの夫々は、例えば、アイコンをドラッグする操作などにより、自身に対応するアイコンをオフィス空間内で自由に移動させることができる。
そのため、例えば、ユーザは、他のユーザとの会話を希望するのであれば会話を希望するユーザの近くにアイコンを配置して、会話を行うことができる。他方、例えば、ユーザが仕事に集中したい場合であれば、敢えて他のユーザと遠い距離(可聴域外)にアイコンを配置することで、他のユーザの音声が出力されないように設定してもよい。
すなわち、上述のWEB会議サービスにおいて、ユーザの夫々は、仮想空間内で自身に対応するアイコンを任意の場所に配置することにより、仮想空間内に配置されたアイコンの位置(位置関係)に応じて、あたかも現実世界でのコミュニケーションと同様に、多種多様なコミュニケーションの態様を実現することができる。
そして、本サービスは、このような仮想空間を利用したWEB会議サービスにおいて、仮想空間内の状況などに応じて、最適なコミュニケーションの方式および通信方法を提案するものである。
Here, in the above-described WEB conference service, each user can freely move the icon corresponding to the user within the office space by, for example, dragging the icon.
Therefore, for example, if a user wishes to have a conversation with another user, the user can place an icon near the user who wishes to have the conversation and have a conversation with the user. On the other hand, for example, if the user wants to concentrate on his/her work, the icon may be intentionally placed far away from other users (out of the audible range) so that the voices of other users are not output.
That is, in the above-mentioned WEB conference service, each user arranges an icon corresponding to himself in an arbitrary place in the virtual space, and according to the position (positional relationship) of the icon arranged in the virtual space, , it is possible to realize a wide variety of forms of communication, just like communication in the real world.
This service proposes the optimum communication system and communication method according to the situation in the virtual space in the WEB conference service using such a virtual space.

続いて、図5を参照しながら本サービスにおけるオブジェクト会話モードについて詳細に説明する。
図5は、図3のユーザ端末を介してユーザに表示される画像の一例を示す図である。
Next, the object conversation mode in this service will be described in detail with reference to FIG.
5 is a diagram showing an example of an image displayed to the user via the user terminal of FIG. 3. FIG.

図5を見ると、アイコンT1乃至T3の夫々は、仮想空間内に設置されたオブジェクトPと矢印を介して関連付けされている。図5の例では、アイコンT1乃至T3の夫々に対応するユーザの夫々は、オブジェクトPを利用したオブジェクト会話モードでの会話を希望しており、事前にそれぞれのユーザによりオブジェクトPへの指示操作が行われている状況である。
そのため、サーバ1の通信方式決定部64は、アイコンT1乃至T3に対応するユーザを対象として、オブジェクト会話モードにより会話を行うことを決定する。オブジェクト会話モードにおいて、全てのユーザはそれぞれのアイコンの位置に関係することなく、会話を行うことができる。そのため、任意の発信者(例えば、アイコンT1に対応するユーザ)により入力された音声は、夫々のアイコンの距離に関係なく、他のユーザ(例えば、アイコンT2およびT3に対応するユーザ)のユーザ端末2において、入力された音量の同じ程度の大きさでそのまま出力される。
Looking at FIG. 5, each of the icons T1 to T3 is associated with an object P placed in the virtual space via an arrow. In the example of FIG. 5, each user corresponding to each of the icons T1 to T3 wishes to have a conversation in the object conversation mode using the object P. This is the situation that is being done.
Therefore, the communication method determination unit 64 of the server 1 determines to have conversations in the object conversation mode with the users corresponding to the icons T1 to T3. In object conversation mode, all users can have a conversation regardless of the position of their icons. Therefore, voice input by an arbitrary caller (eg, the user corresponding to icon T1) can be transmitted to the user terminals of other users (eg, users corresponding to icons T2 and T3) regardless of the distance between the respective icons. 2, the sound is output as it is at the same level as the input sound volume.

これに対して、図6の例では、アイコンT4乃至T6の夫々は、仮想空間内のオブジェクトに対して、特に関連付けられてはいない。このような場合、サーバ1の通信方式決定部64は、アイコンT4乃至T6に対応するユーザを対象として、通常モードにより会話を行うことを決定する。
具体的に図6の例において、アイコンT4およびT5は仮想空間内で近接して配置されているのに対して、アイコンT6は他のアイコンとは離れた位置に配置されている。ここで、図6の例では、アイコンT4に対応するユーザが発信者であり、図中に表示された点線は会話の可聴域を示している。そのため、図6の例では、アイコンT4に対応するユーザにより入力された音声情報は、アイコンT6に対応するユーザのユーザ端末2では出力されない。
In contrast, in the example of FIG. 6, each of the icons T4 to T6 is not particularly associated with an object within the virtual space. In such a case, the communication method determination unit 64 of the server 1 determines that the conversation will be conducted in the normal mode with the users corresponding to the icons T4 to T6.
Specifically, in the example of FIG. 6, the icons T4 and T5 are arranged close to each other in the virtual space, while the icon T6 is arranged at a position distant from the other icons. Here, in the example of FIG. 6, the user corresponding to the icon T4 is the caller, and the dotted line displayed in the figure indicates the audible range of conversation. Therefore, in the example of FIG. 6, the voice information input by the user corresponding to icon T4 is not output from the user terminal 2 of the user corresponding to icon T6.

ここで重要な点の一つは、オブジェクト会話モードは、アイコン同士の距離によらず会話が可能であることから、比較的多人数で会話する状況が想定される。これに対して、通常会話モードは、仮想空間内の近接した領域に配置されたアイコンに対応するユーザのみで会話が行われるため、比較的少人数での会話が想定される。このような考え方に基づいて、通信方式決定部64は、オブジェクト会話モードの場合には第1の通信方式を採用し、通常会話モードの場合には第2の通信方式を採用する。
つまり、通信方式決定部64は、仮想空間を利用したコミュニケーションシステムなどにおいて、その仮想空間の状況から想定されるシチュエーションに対して、ふさわしい会話の方法やそれに伴う通信方式を提案する。これにより、本サービスは、情報の遅延や欠落を効率的に低減しつつ、ユーザの希望(仮想空間における操作など)に応じたコミュニケーションを実現することが可能となる。
One of the important points here is that in the object conversation mode, conversation is possible regardless of the distance between icons, so it is assumed that a relatively large number of people will have a conversation. On the other hand, in the normal conversation mode, only users corresponding to icons arranged in close proximity in the virtual space have conversations, so conversations with a relatively small number of people are assumed. Based on this way of thinking, the communication system determination unit 64 adopts the first communication system in the case of the object conversation mode, and adopts the second communication system in the case of the normal conversation mode.
In other words, in a communication system using a virtual space, the communication method determination unit 64 proposes a suitable conversation method and accompanying communication method for a situation assumed from the situation of the virtual space. This makes it possible for this service to efficiently reduce delays and omissions of information and realize communication according to the user's wishes (operations in virtual space, etc.).

図7は、図3の機能的構成を有するサーバの処理のうち、通信方式決定処理の流れの一例を説明するフローチャートである。
ステップS1において、仮想空間管理部61は、図示せぬDBなどに格納されている画像情報などに基づいて、ユーザの夫々に提示し得る仮想空間を生成し、生成した仮想空間情報を、ユーザ端末2-Eおよびユーザ端末2-Fの夫々に送信する。
FIG. 7 is a flowchart for explaining an example of the flow of communication method determination processing among the processing of the server having the functional configuration of FIG.
In step S1, the virtual space management unit 61 generates a virtual space that can be presented to each user based on image information stored in a database (not shown) or the like, and sends the generated virtual space information to the user terminal. 2-E and user terminal 2-F.

ステップS2において、位置情報管理部80は、ユーザ端末2の夫々から送信されてきたアイコン位置情報を取得する。
また、ステップS2において、仮想空間管理部61は、取得したアイコン位置情報に基づいて、各ユーザに対応するアイコンの仮想空間内における位置を特定する。
In step S<b>2 , the position information management unit 80 acquires icon position information transmitted from each of the user terminals 2 .
In step S2, the virtual space management unit 61 identifies the position of the icon corresponding to each user in the virtual space based on the acquired icon position information.

ステップS3において、オブジェクト会話管理部62は、ユーザ端末2の夫々から送信されてくる指示操作情報を取得する。 In step S<b>3 , the object conversation management unit 62 acquires instruction operation information transmitted from each of the user terminals 2 .

ステップS4において、オブジェクト会話管理部62は、ステップS3で取得した指示操作情報に基づいて、ユーザにより所定のオブジェクトに対する指示操作がなされてたか否かを判断する。
ここで、オブジェクト会話管理部62は、ユーザにより所定のオブジェクトに対する指示操作がなされたと判断した場合、ステップS4においてYESと判断されて、処理はステップS5へ進む。
これに対して、オブジェクト会話管理部62は、ユーザにより所定のオブジェクトに対する指示操作がなされていないと判断された場合、ステップS4においてNOであると判断されて、処理はステップS7へ進む。
In step S4, the object conversation management unit 62 determines whether or not the user has performed an instruction operation on a predetermined object based on the instruction operation information acquired in step S3.
Here, when the object conversation management unit 62 determines that the user has performed an instruction operation on a predetermined object, it is determined YES in step S4, and the process proceeds to step S5.
On the other hand, if the object conversation management unit 62 determines that the user has not performed an instruction operation on the predetermined object, it determines NO in step S4, and the process proceeds to step S7.

ステップS5において、オブジェクト会話管理部62は、対象となるユーザ端末2が会話を遮断する設定(以下、「ミュート設定」と呼ぶ)がされているか否かを判断する。
ここで、オブジェクト会話管理部62は、ミュート設定がされていないと判断した場合、ステップS5においてYESと判断され、処理はステップS6に進む。
これに対して、オブジェクト会話管理部62は、ミュート設定がされていると判断した場合、ステップS5において処理はステップS11へ進む。
In step S5, the object conversation management unit 62 determines whether or not the target user terminal 2 is set to block the conversation (hereinafter referred to as "mute setting").
Here, when the object conversation management unit 62 determines that the mute setting is not set, it is determined as YES in step S5, and the process proceeds to step S6.
On the other hand, when the object conversation management unit 62 determines that mute is set, the process proceeds to step S11 in step S5.

ステップS6において、通信方式決定部64は、ステップS4でオブジェクト指示操作がなされたと判断され、ステップS5でミュート設定がなされていないと判断された場合、第1の通信方式を利用したオブジェクト会話モードでの会話を実行することを決定する。このようにしてステップS6の処理が終了すると処理はステップS2へ戻される。
なお、オブジェクト会話モードおよび第1の通信方式に関する各種処理は、オブジェクト会話管理部62により実行されてもよい。
In step S6, if it is determined that an object pointing operation has been performed in step S4, and if it is determined in step S5 that mute setting has not been performed, the communication method determination unit 64 selects the object conversation mode using the first communication method. decide to carry out the conversation. When the process of step S6 is thus completed, the process returns to step S2.
Various processes related to the object conversation mode and the first communication method may be executed by the object conversation manager 62 .

ステップS7において、距離算出部90は、ステップS2において特定された各ユーザに対応するアイコンの仮想空間内における位置に基づいて、それぞれのアイコンの距離を算出する。 In step S7, the distance calculation unit 90 calculates the distance of each icon based on the position in the virtual space of the icon corresponding to each user identified in step S2.

ステップS8において、通常会話管理部63は、ステップS7で算出されたアイコン間の距離の夫々が、所定の距離以内(例えば、可聴域内)であるか否かを判断する。
ここで、通常会話管理部63は、アイコン間の距離の夫々が、所定の距離以内と判断した場合、ステップS8においてYESと判断され、処理はステップS9へ進む。
これに対して、通常会話管理部63は、アイコン間の距離の夫々が、所定の距離以内ではないと判断した場合、ステップS8においてNOと判断されて、処理はステップS11へ進む。
In step S8, the normal conversation manager 63 determines whether the distances between the icons calculated in step S7 are within a predetermined distance (for example, within the audible range).
Here, when the normal conversation management section 63 determines that the distances between the icons are within the predetermined distance, it is determined YES in step S8, and the process proceeds to step S9.
On the other hand, when the normal conversation management unit 63 determines that the distances between the icons are not within the predetermined distance, it is determined NO in step S8, and the process proceeds to step S11.

ステップS9において、通常会話管理部63は、対象となるユーザ端末2にミュート設定がされているか否かを判断する。
ここで、通常会話管理部63は、ミュート設定がされていないと判断した場合、ステップS9においてYESと判断されて、処理はステップS10に進む。
これに対して、通常会話管理部63は、ミュート設定がされていると判断した場合、ステップS9においてNOと判断されて、処理はステップS11に進む。
In step S9, the normal conversation management unit 63 determines whether or not the target user terminal 2 is set to mute.
Here, when the normal conversation management unit 63 determines that the mute setting is not set, it is determined as YES in step S9, and the process proceeds to step S10.
On the other hand, when the normal conversation management unit 63 determines that the mute setting has been made, NO is determined in step S9, and the process proceeds to step S11.

ステップS10において、通信方式決定部64は、ステップS8でアイコン間の距離の夫々が所定の距離以内と判断され、ステップS9でミュート設定がなされていないと判断された場合、第2の通信方式を利用した通常会話モードでの会話を実行することを決定する。このようにしてステップS10の処理が終了すると処理はステップS2へ戻される。
なお、第2の通信方式および通常会話モードに関する各種処理は、通常会話管理部63により実行されてもよい。
In step S10, the communication method determination unit 64 selects the second communication method when it is determined in step S8 that the distances between the icons are within the predetermined distance, and when it is determined in step S9 that mute is not set. Decide to carry out the conversation in the normal conversation mode used. When the process of step S10 is thus completed, the process returns to step S2.
Various processes related to the second communication method and the normal conversation mode may be executed by the normal conversation manager 63 .

ステップS11において、通信方式決定部64は、各ステップにおいて上述の各種条件が満たされていないと判断された場合、各ユーザ端末2の夫々について通信を行わない旨を決定する。このようにしてステップS11の処理が終了すると処理はステップS2へ戻される。 In step S11, the communication method determination unit 64 determines not to communicate with each user terminal 2 when it is determined in each step that the various conditions described above are not satisfied. When the process of step S11 is thus completed, the process returns to step S2.

以上本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。 Although one embodiment of the present invention has been described above, the present invention is not limited to the above-described embodiment, and modifications, improvements, etc. within the scope of achieving the object of the present invention are included in the present invention. be.

また例えば、上述の実施形態において、コミュニケーションは会話であり、送受信する情報の対象は音声であるものとして説明したが、特にこれに限定されない。
すなわち、コミュニケーションは、会話以外のあらゆるコミュニケーションの手段で良いし、また、送受信する情報も音声だけでなく、テキスト情報、画像情報などの各種各様の情報であってもよい。
Further, for example, in the above-described embodiments, communication is conversation and the object of information to be transmitted and received is voice, but the present invention is not particularly limited to this.
That is, communication may be any means of communication other than conversation, and information to be transmitted and received may be not only voice but also various information such as text information and image information.

また例えば、上述の実施形態(特に図6に示す実施形態)において、説明を省略したが、上述の各種アイコンに視野(向き)の概念を採用してもよい。
具体的に例えば、図6の例では、アイコンT4およびT5の付近には、三角の小さなアイコン(以下、「視野アイコン」と呼ぶ)が表示されている。これらの視野アイコンは、それぞれのアイコンT4およびT5の「視野(向き)」を示している。図6の例では、視野アイコンは互いのアイコンの方向を向いており、例えば、現実世界で言うところの、互いのユーザが注目し、向かい合って話をしている状況と考えることができる。このような場合、例えば、それぞれのアイコンに対応するユーザ端末2の夫々では、互いに大きな音声が出力されてもよい。逆に、互いのアイコンが互いに向き合っていない場合には夫々のユーザ端末2において、小さな音声が出力されてもよい。
Further, for example, although the description is omitted in the above-described embodiment (especially the embodiment shown in FIG. 6), the concept of field of view (orientation) may be adopted for the various icons described above.
Specifically, for example, in the example of FIG. 6, small triangular icons (hereinafter referred to as "field-of-view icons") are displayed near the icons T4 and T5. These field of view icons indicate the "field of view (orientation)" of the respective icons T4 and T5. In the example of FIG. 6, the field-of-view icons face each other's icons, and can be considered, for example, as in the real world, where users are looking at each other and talking to each other. In such a case, for example, each user terminal 2 corresponding to each icon may output a loud sound to each other. Conversely, when the icons do not face each other, each user terminal 2 may output a soft sound.

また例えば、上述の実施形態(特に図5に示す実施形態)では、簡易的な説明のみを行ったが、オブジェクトの概念について補足的に説明する。
オブジェクトは、例えば、仮想空間内の任意の位置に固定して配置され、全てのユーザに共通したコンテンツの利用を促すことに利用される。すなわち、オブジェクトは、上述の実施形態(特に図5に示す実施形態)のように指示操作(クリックなど)を行ったユーザに共通して会話を実現させることに利用できるだけでなく、例えば、動画像の再生や各種ゲーム(将棋、オセロ、人狼ゲームなど)への参加、動画像の共有(カメラ画像やPC画像など)、広告の再生など、あらゆる内容のコンテンツを共有し得るオブジェクトであってもよい。
ここで、このようなオブジェクトの使用には、自身が使用して楽しむ要素の他、他者とのインタラクティブを実現するという意味合いを含んでいる。すなわち、例えば、オブジェクトとして一人でプレイすることを前提とするゲームを採用する場合には、自身が楽しむことを主たる目的とする。これに対して、他者とプレイすることを前提とするゲームや画面の共有などを行う場合には、他者とのインタラクティブを実現することを主たる目的とする。
これにより、サービスの提供を受けたユーザの夫々は、さらに現実世界に近い多様なコミュニケーションを実現することができる。
Also, for example, in the above-described embodiment (particularly, the embodiment shown in FIG. 5), only a simple explanation was given, but the concept of the object will be supplementarily explained.
Objects are, for example, fixedly placed at arbitrary positions in the virtual space and used to encourage all users to use common content. That is, the object can be used not only for realizing a common conversation among users who have performed an instruction operation (such as clicking) as in the above-described embodiment (especially the embodiment shown in FIG. 5), but also for example, moving image , participation in various games (Shogi, Othello, Werewolf game, etc.), sharing video images (camera images, PC images, etc.), playing advertisements, etc. good.
Here, the use of such an object includes the element of using and enjoying by oneself, as well as the meaning of realizing interaction with others. That is, for example, when adopting a game that is assumed to be played by one person as an object, the main purpose is to have fun. On the other hand, in the case of games or screen sharing that are premised on playing with others, the main purpose is to realize interaction with others.
As a result, each of the users who have received the service can realize various communications that are closer to the real world.

さらに言えば、オブジェクトは、設定されるコンテンツの内容などに応じて、動的オブジェクトまたは静的オブジェクトを含むことができる。
すなわち、動的オブジェクトとは、テレビやプロジェクターなど、設定されたコンテンツの内容が頻繁に変更され得るオブジェクトであってもよい。他方、静的オブジェクトとは、大型の看板や案内板など、設定されたコンテンツの内容が変更されることが少ないオブジェクトであってもよい。これにより、サービスの提供を受けたユーザの夫々は、さらに現実世界に近い多様なコミュニケーションを実現することができる。
Furthermore, objects can include dynamic objects or static objects, depending on, for example, what content is set.
In other words, the dynamic object may be an object such as a television or a projector whose set contents can be changed frequently. On the other hand, the static object may be an object such as a large signboard or information board, whose set contents are rarely changed. As a result, each of the users who have received the service can realize various communications that are closer to the real world.

また例えば、上述の実施形態において、WEB会議サービスは、仮想空間内の距離に応じて、出力する音声などの調整や各種コミュニケーションの方法などを決定するものとして説明したが、特にこれに限定されない。
すなわち、本システムと関連性の高いWEB会議サービスは、必ずしも仮想空間内の距離に基づく処理が実行される必要はないし、各ユーザに対応したアイコンなどが使用される必要もなく本サービスの提供者など任意である。
Also, for example, in the above-described embodiment, the web conference service is described as adjusting output audio and determining various communication methods according to the distance in the virtual space, but the present invention is not particularly limited to this.
In other words, the WEB conference service, which is highly relevant to this system, does not necessarily need to be processed based on the distance in the virtual space, nor does it need to use icons corresponding to each user. etc. is optional.

また例えば、上述の実施形態において、サーバ1の通信方式決定部64は、オブジェクトに対する指示操作の有無に基づいて、会話(コミュニケーション)の方法および通信方式を決定したが、特にこれに限定されない。
通信方式決定部64は、仮想空間内の状況についての任意の基準に基づいて、会話(コミュニケーション)の方法および通信方式を決定してもよい。例えば、通信方式決定部64は、仮想空間(または表示空間など)に表示されるIDの順番、グループの種別などに応じて、会話(コミュニケーション)の方法および通信方式を決定してもよい。
Further, for example, in the above-described embodiment, the communication method determining unit 64 of the server 1 determines the method of conversation (communication) and the communication method based on whether or not an instruction operation is performed on an object, but the present invention is not particularly limited to this.
The communication method determination unit 64 may determine the conversation (communication) method and communication method based on any criteria regarding the situation in the virtual space. For example, the communication method determination unit 64 may determine the conversation (communication) method and communication method according to the order of IDs displayed in the virtual space (or display space, etc.), the type of group, and the like.

また例えば、本サービスおよびWEB会議サービスにおいて、AR(Augmented Reality)、VR(Virtual Reality)など、仮想空間に関連する工学的な手法が応用されてもよい。 Also, for example, in the present service and the web conference service, engineering techniques related to virtual space, such as AR (Augmented Reality) and VR (Virtual Reality), may be applied.

また例えば、本サービスおよびWEB会議サービスにおいて、上述の実施形態で示すアイコンの他、図示はしないが、メガフォン、マイク、ドア(出入口)等を示すアイコンが任意の位置に配置されてもよい。
具体的に例えば、メガフォンは、会議室に入室しているユーザ以外の全てのユーザに音声を届かせる必要があるときに利用するアイコンである。また、マイクは、自身が発する音声のミュートのONとOFFとを切り替えるときに利用するアイコンである。また、ドアは、オフィス空間を退室してロビー(図示せず)に移動する際に利用するアイコンである。
Further, for example, in the present service and the web conference service, in addition to the icons shown in the above-described embodiments, although not shown, icons representing megaphones, microphones, doors (entrances), etc. may be arranged at arbitrary positions.
Specifically, for example, a megaphone is an icon that is used when it is necessary to deliver voice to all users other than users who are entering the conference room. Also, the microphone is an icon that is used when switching the muting of the voice emitted by itself between ON and OFF. A door is an icon used when leaving the office space and moving to a lobby (not shown).

また例えば、上述のWEB会議サービスまたは本システムに関連するサービスにおいて、仮想空間としてオフィス空間が採用されているが、特にこれに限定されない。他のあらゆる仮想空間が採用されてもよい。具体的には例えば、イベント会場、パーティールーム、レストラン、お見合い会場など各種各様の仮想空間が採用されてもよい。
ここで、本サービスの適用対象となる仮想空間としてイベント会場を採用する場合の詳細について補足する。一般的にイベント会場では、多数のユーザが任意の行動を行うため、多種多様なコミュニケーションがリアルタイムで発生する。本サービスでは、直感的に認識可能なUIのみにより、このような現実世界においてリアルタイムに発生し得る多種多様なコミュニケーションをリアルタイムで再現することが可能になる。
Also, for example, in the above-described WEB conference service or services related to this system, an office space is adopted as a virtual space, but it is not particularly limited to this. Any other virtual space may be employed. Specifically, for example, various virtual spaces such as event halls, party rooms, restaurants, and meeting halls may be employed.
Here, supplementary details will be provided when an event venue is adopted as the virtual space to which this service is applied. In general, at an event site, many users perform arbitrary actions, so a wide variety of communications occur in real time. With this service, it is possible to reproduce in real time such a wide variety of communications that can occur in real time in the real world, using only an intuitively recognizable UI.

また例えば、図1に示すシステム構成、および図2に示すサーバ1のハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。 Also, for example, the system configuration shown in FIG. 1 and the hardware configuration of the server 1 shown in FIG. 2 are merely examples for achieving the object of the present invention, and are not particularly limited.

また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。 Also, for example, the series of processes described above can be executed by hardware or by software.

また例えば、本システムを構成する各種ハードウェア(サーバ1およびユーザ端末2)の数や使用者は任意であるし、他のハードウェア等を含み構成されてもよい。さらに言えば、上述の各種ハードウェアには、同一のコンピュータ等が採用されてもよい。 Further, for example, the number and users of various types of hardware (server 1 and user terminal 2) that make up this system are arbitrary, and the system may be configured including other hardware. Furthermore, the same computer or the like may be employed for the various types of hardware described above.

また例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
即ち、例えば、上述の実施形態における各種ハードウェア(サーバ1およびユーザ端末2)には、任意のコンピュータ、任意のスマートフォン等の携帯端末等が自由に採用されてもよい。さらに言えば、各種入力部や各種出力部等の種別や内容についても任意の組み合わせが採用されてもよい。
さらに言えば、上述の各種ハードウェアは、コンピュータ等の採用は任意であり、特に限定されない。
Further, for example, when a series of processes is executed by software, a program constituting the software is installed in a computer or the like from a network or a recording medium.
The computer may be a computer built into dedicated hardware.
Also, the computer may be a computer capable of executing various functions by installing various programs, such as a server, a general-purpose smart phone, or a personal computer.
That is, for example, any computer, any mobile terminal such as a smart phone, or the like may be freely adopted as the various hardware (the server 1 and the user terminal 2) in the above-described embodiments. Furthermore, any combination of types and contents of various input units and various output units may be employed.
Furthermore, the various hardware described above may be a computer or the like, and is not particularly limited.

また例えば、このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に提供される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。 Further, for example, a recording medium containing such a program is not only constituted by a removable medium (not shown) that is provided separately from the device main body in order to provide the program to the user, but also is pre-installed in the device main body. It consists of a recording medium, etc. provided to the user in the

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理を含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
さらに言えば、図7に示すフローチャートにおいて、通信は受信側と送信側は別途処理されてもよく、記載された全てのまたは一部の処理は、例えば、受信側または送信側のみで通信されてもよい。
In this specification, the steps of writing a program recorded on a recording medium are not only processes that are performed chronologically in that order, but also processes that are not necessarily chronologically processed, and that are performed in parallel or individually. It contains the processing to be performed.
Further, in this specification, the term "system" means an overall device composed of a plurality of devices, a plurality of means, or the like.
Further, in the flow chart shown in FIG. 7, communications may be processed separately on the receiving side and the transmitting side, and all or some of the processes described may, for example, be communicated only on the receiving side or on the transmitting side. good too.

以上をまとめると、本発明が適用される情報処理システムは、次のような構成を有する各種各様の実施形態を取ることができる。
即ち、本発明が適用される情報処理装置は、
仮想空間を用いた第1ユーザおよび第2ユーザのコミュニケーションに利用し得るコミュニケーションシステムにかかる情報処理装置であって、
前記第1ユーザおよび前記第2ユーザの前記仮想空間における位置に関する情報を、位置情報として取得する位置情報取得手段(例えば、位置情報管理部80)と、
前記第1ユーザまたは前記第2ユーザの前記仮想空間における指示操作または入力に関する情報を、入力情報として取得する入力情報取得手段(例えば、送信音声情報取得部60)と、
取得された前記位置情報または前記入力情報の少なくとも一方に基づいて、前記コミュニケーションを実現する通信方式を決定する通信方式決定手段(例えば、通信方式決定部64)と、
を備える。
In summary, the information processing system to which the present invention is applied can take various embodiments having the following configurations.
That is, the information processing apparatus to which the present invention is applied is
An information processing apparatus for a communication system that can be used for communication between a first user and a second user using a virtual space,
a positional information acquiring means (for example, a positional information management unit 80) for acquiring, as positional information, information relating to the positions of the first user and the second user in the virtual space;
input information acquisition means (e.g., transmission voice information acquisition unit 60) that acquires, as input information, information relating to the instruction operation or input in the virtual space of the first user or the second user;
communication method determination means (for example, a communication method determination unit 64) that determines a communication method for realizing the communication based on at least one of the acquired position information and the input information;
Prepare.

さらに、
前記通信方式は、
経由するサーバを含み構成される第1通信方式と、
経由するサーバを含まずに構成される第2通信方式と、
を少なくとも含み、
前記通信方式決定手段は、前記第1通信方式または前記第2通信方式の少なくともいずれかを含む通信方式を決定することができる。
moreover,
The communication method is
a first communication method including a server to be passed through;
a second communication method configured without including a server to go through;
including at least
The communication method determining means can determine a communication method including at least one of the first communication method and the second communication method.

さらに、
前記入力情報取得手段は、前記第1ユーザまたは前記第2ユーザによる仮想空間内に配置された所定のオブジェクトに対する指示操作に関する情報を含むことができる。
moreover,
The input information acquisition means can include information about an instruction operation by the first user or the second user on a predetermined object placed in the virtual space.

さらに、
前記通信方式決定手段は、前記コミュニケーションの実施に想定される前記ユーザまたは前記第2ユーザの人数を考慮して、前記通信方式を決定することができる。
moreover,
The communication method determination means can determine the communication method in consideration of the number of the users or the second users who are assumed to perform the communication.

1 サーバ
11 制御部
60 送信音声情報取得部
61 仮想空間管理部
62 オブジェクト会話管理部
63 通常会話管理部
64 通信方式決定部
65 出力情報生成部
80 位置情報管理部
90 距離算出部
2-1乃至2-n ユーザ端末
200-1乃至200-n 制御部
220-1乃至220-n 仮想空間管理部
221-1乃至221-n 操作情報管理部
222-1乃至222-n 送信音声情報管理部
223-1乃至223-n 出力情報管理部
1 server 11 control unit 60 transmission voice information acquisition unit 61 virtual space management unit 62 object conversation management unit 63 normal conversation management unit 64 communication method determination unit 65 output information generation unit 80 position information management unit 90 distance calculation unit 2-1 to 2 -n User terminals 200-1 to 200-n Control units 220-1 to 220-n Virtual space management units 221-1 to 221-n Operation information management units 222-1 to 222-n Transmission voice information management units 223-1 thru|or 223-n output information management part

Claims (6)

仮想空間を用いた第1ユーザおよび第2ユーザのコミュニケーションに利用し得るコミュニケーションシステムにかかる情報処理装置であって、
前記第1ユーザおよび前記第2ユーザの前記仮想空間における位置に関する情報を、位置情報として取得する位置情報取得手段と、
前記第1ユーザまたは前記第2ユーザの前記仮想空間における指示操作または入力に関する情報を、入力情報として取得する入力情報取得手段と、
取得された前記位置情報または前記入力情報の少なくとも一方に基づいて、前記コミュニケーションを実現する通信方式を決定する通信方式決定手段と、
を備える情報処理装置。
An information processing apparatus for a communication system that can be used for communication between a first user and a second user using a virtual space,
a positional information obtaining means for obtaining, as positional information, information relating to the positions of the first user and the second user in the virtual space;
input information acquiring means for acquiring, as input information, information relating to the instruction operation or input in the virtual space of the first user or the second user;
communication method determination means for determining a communication method for realizing the communication based on at least one of the acquired position information and the input information;
Information processing device.
前記通信方式は、
経由するサーバを含み構成される第1通信方式と、
経由するサーバを含まずに構成される第2通信方式と、
を少なくとも含み、
前記通信方式決定手段は、前記第1通信方式または前記第2通信方式の少なくともいずれかを含む通信方式を決定する、
請求項1に記載の情報処理装置。
The communication method is
a first communication method including a server to be passed through;
a second communication method configured without including a server to go through;
including at least
The communication method determining means determines a communication method including at least one of the first communication method and the second communication method.
The information processing device according to claim 1 .
前記入力情報取得手段は、前記第1ユーザまたは前記第2ユーザによる仮想空間内に配置された所定のオブジェクトに対する指示操作に関する情報を含む、
請求項1または2に記載の情報処理装置。
The input information acquisition means includes information about an instruction operation by the first user or the second user on a predetermined object placed in the virtual space,
The information processing apparatus according to claim 1 or 2.
前記通信方式決定手段は、前記コミュニケーションの実施に想定される前記第1ユーザまたは前記第2ユーザの人数を考慮して、前記通信方式を決定する、
請求項1乃至3のうちいずれか1項に記載の情報処理装置。
The communication method determination means determines the communication method in consideration of the number of the first users or the second users assumed to implement the communication.
The information processing apparatus according to any one of claims 1 to 3.
仮想空間を用いた第1ユーザおよび第2ユーザのコミュニケーションに利用し得るコミュニケーションシステムの通信方式にかかるコンピュータが実行する情報処理方法であって、
前記第1ユーザおよび前記第2ユーザの前記仮想空間における位置情報を取得する位置情報取得ステップと、
前記第1ユーザまたは前記第2ユーザの前記仮想空間における指示操作または入力に関する情報を、入力情報として取得する入力情報取得ステップと、
取得された前記位置情報または前記入力情報の少なくとも一方に基づいて、前記コミュニケーションを実現する通信方式を決定する通信方式決定ステップと、
を含む情報処理方法。
An information processing method executed by a computer according to a communication method of a communication system that can be used for communication between a first user and a second user using a virtual space,
a position information obtaining step of obtaining position information of the first user and the second user in the virtual space;
an input information obtaining step of obtaining , as input information, information relating to an instruction operation or input in the virtual space by the first user or the second user;
a communication method determination step of determining a communication method for realizing the communication based on at least one of the acquired position information and the input information;
Information processing method including.
仮想空間を用いた第1ユーザおよび第2ユーザのコミュニケーションに利用し得るコミュニケーションシステムの通信方式にかかるコンピュータに、
前記第1ユーザおよび前記第2ユーザの前記仮想空間における位置情報を取得する位置情報取得ステップと、
前記第1ユーザまたは前記第2ユーザの前記仮想空間における指示操作または入力に関する情報を、入力情報として取得する入力情報取得ステップと、
取得された前記位置情報または前記入力情報の少なくとも一方に基づいて、前記コミュニケーションを実現する通信方式を決定する通信方式決定ステップと、
を含む処理を実行させるプログラム。



A computer according to a communication method of a communication system that can be used for communication between a first user and a second user using virtual space,
a position information obtaining step of obtaining position information of the first user and the second user in the virtual space;
an input information obtaining step of obtaining , as input information, information relating to an instruction operation or input in the virtual space by the first user or the second user;
a communication method determination step of determining a communication method for realizing the communication based on at least one of the acquired position information and the input information;
A program that executes a process including



JP2020172415A 2020-05-19 2020-10-13 Information processing device, information processing method and program Active JP7143874B2 (en)

Priority Applications (16)

Application Number Priority Date Filing Date Title
IL293438A IL293438A (en) 2020-05-19 2021-04-23 Information processing apparatus, information processing method, and program
KR1020227010796A KR20230015302A (en) 2020-05-19 2021-04-23 Information processing device, information processing method and program
CA3152507A CA3152507A1 (en) 2020-05-19 2021-04-23 Information processing system, information processing apparatus, and program
PCT/JP2021/016458 WO2021235173A1 (en) 2020-05-19 2021-04-23 Information processing device, information processing method, and program
CA3152654A CA3152654A1 (en) 2020-05-19 2021-04-23 Information processing apparatus, information processing method, and program
AU2021276760A AU2021276760A1 (en) 2020-05-19 2021-04-23 Information processing system, information processing apparatus, and program
IL293437A IL293437A (en) 2020-05-19 2021-04-23 Information processing system, information processing apparatus, and program
US17/761,081 US11871152B2 (en) 2020-05-19 2021-04-23 Information processing system, information processing apparatus, and program
KR1020227010795A KR20230015870A (en) 2020-05-19 2021-04-23 Information processing systems, information processing devices and programs
EP21809303.7A EP4141764A1 (en) 2020-05-19 2021-04-23 Information processing system, information processing device, and program
AU2021274233A AU2021274233A1 (en) 2020-05-19 2021-04-23 Information processing apparatus, information processing method, and program
EP21808741.9A EP4134890A1 (en) 2020-05-19 2021-04-23 Information processing device, information processing method, and program
CN202180006019.5A CN115486057A (en) 2020-05-19 2021-04-23 Information processing system, information processing apparatus, and program
US17/761,095 US20220345325A1 (en) 2020-05-19 2021-04-23 Information processing apparatus, information processing method, and program
PCT/JP2021/016457 WO2021235172A1 (en) 2020-05-19 2021-04-23 Information processing system, information processing device, and program
CN202180006018.0A CN115485705A (en) 2020-05-19 2021-04-23 Information processing apparatus, information processing method, and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020087176 2020-05-19
JP2020087176 2020-05-19
JP2020110871 2020-06-26
JP2020110871 2020-06-26

Publications (2)

Publication Number Publication Date
JP2022002387A JP2022002387A (en) 2022-01-06
JP7143874B2 true JP7143874B2 (en) 2022-09-29

Family

ID=79244537

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020172415A Active JP7143874B2 (en) 2020-05-19 2020-10-13 Information processing device, information processing method and program

Country Status (1)

Country Link
JP (1) JP7143874B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023180343A (en) 2022-06-09 2023-12-21 キヤノン株式会社 Virtual space management system and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281468A (en) 2001-03-19 2002-09-27 Ricoh Co Ltd Electronic conference system
JP2010074245A (en) 2008-09-16 2010-04-02 Nippon Telegr & Teleph Corp <Ntt> Method, apparatus and program for controlling speech connection and recording medium therefor
JP2016057714A (en) 2014-09-05 2016-04-21 村田機械株式会社 Electronic conference system
JP2017135460A (en) 2016-01-25 2017-08-03 ブラザー工業株式会社 Communication method, communication program, and server

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281468A (en) 2001-03-19 2002-09-27 Ricoh Co Ltd Electronic conference system
JP2010074245A (en) 2008-09-16 2010-04-02 Nippon Telegr & Teleph Corp <Ntt> Method, apparatus and program for controlling speech connection and recording medium therefor
JP2016057714A (en) 2014-09-05 2016-04-21 村田機械株式会社 Electronic conference system
JP2017135460A (en) 2016-01-25 2017-08-03 ブラザー工業株式会社 Communication method, communication program, and server

Also Published As

Publication number Publication date
JP2022002387A (en) 2022-01-06

Similar Documents

Publication Publication Date Title
US12010156B1 (en) System and method of enabling a non-host, participant-initiated breakout session in a videoconferencing system, and displaying breakout session participants in a participant-initiated breakout session view
US11575531B2 (en) Dynamic virtual environment
US20080252637A1 (en) Virtual reality-based teleconferencing
US20110115876A1 (en) Determining a Videoconference Layout Based on Numbers of Participants
CN101690150A (en) virtual reality-based teleconferencing
US11700353B2 (en) Integration of remote audio into a performance venue
US20170187884A1 (en) Controlling output volume levels
WO2021257868A1 (en) Video chat with spatial interaction and eye contact recognition
JP7143874B2 (en) Information processing device, information processing method and program
TW201141226A (en) Virtual conversing method
JP7160263B2 (en) Information processing system, information processing device and program
US11825026B1 (en) Spatial audio virtualization for conference call applications
JP7232846B2 (en) VOICE CHAT DEVICE, VOICE CHAT METHOD AND PROGRAM
WO2021235173A1 (en) Information processing device, information processing method, and program
JP2023058977A (en) Information processing device and program
WO2024089887A1 (en) Information presentation device, information presentation method, and information presentation program
US20230262169A1 (en) Core Sound Manager
Nassani et al. Implementation of Attention-Based Spatial Audio for 360° Environments
US20240129432A1 (en) Systems and methods for enabling a smart search and the sharing of results during a conference
WO2011158493A1 (en) Voice communication system, voice communication method and voice communication device
JP2022179354A (en) Information processing apparatus and program
JP2023001650A (en) Information processing system, information processing apparatus, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210506

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220829

R150 Certificate of patent or registration of utility model

Ref document number: 7143874

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150