WO2022149385A1 - コミュニケーションシステム - Google Patents

コミュニケーションシステム Download PDF

Info

Publication number
WO2022149385A1
WO2022149385A1 PCT/JP2021/044616 JP2021044616W WO2022149385A1 WO 2022149385 A1 WO2022149385 A1 WO 2022149385A1 JP 2021044616 W JP2021044616 W JP 2021044616W WO 2022149385 A1 WO2022149385 A1 WO 2022149385A1
Authority
WO
WIPO (PCT)
Prior art keywords
communication
full
voice data
duplex
utterance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/044616
Other languages
English (en)
French (fr)
Inventor
篤 掛村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Digital Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Digital Solutions Corp filed Critical Toshiba Corp
Priority to US18/259,303 priority Critical patent/US20240056279A1/en
Publication of WO2022149385A1 publication Critical patent/WO2022149385A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/14—Two-way operation using the same type of signal, i.e. duplex
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/30—Resource management for broadcast services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/40—Connection management for selective distribution or broadcast
    • H04W76/45—Connection management for selective distribution or broadcast for Push-to-Talk [PTT] or Push-to-Talk over cellular [PoC] services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/4061—Push-to services, e.g. push-to-talk or push-to-video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • H04W4/08—User group management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • H04W4/10—Push-to-Talk [PTT] or Push-On-Call services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/40—Connection management for selective distribution or broadcast

Definitions

  • An embodiment of the present invention relates to a full-duplex communication technique for group calls by a plurality of users.
  • the transceiver is a radio device having both a radio wave transmission function and a reception function, and one user can make a call (one-way or two-way information transmission) with a plurality of users. Examples of the use of transceivers can be seen at construction sites, event venues, facilities such as hotels and inns. In addition, taxi radio can be mentioned as an example of using a transceiver.
  • the purpose is to provide a communication system that can reduce the network line load and processing load and smoothly perform full-duplex transmission of group calls.
  • the communication system of the embodiment includes a mobile communication terminal carried by each of a plurality of users in the communication group, and a communication server that broadcasts utterance voice data received from the mobile communication terminal to each mobile communication terminal in the communication group. , Have.
  • the mobile communication terminal establishes a reception channel for spoken voice data transmitted from the communication server to execute the group call communication mode, and is being established when the talk button is pressed during the group call communication mode.
  • a storage unit that stores a limit number of simultaneous connections by full-duplex communication in a communication group, and a full-duplex call log including the number of users who are simultaneously connected and the number of simultaneous-connected users, the full-duplex call log, and the above. It has a limited full-duplex communication control unit that performs limited full-duplex communication control that does not allow the establishment of the transmission channel based on the maximum number of simultaneous connections.
  • A restriction full-duplex communication control
  • B restriction full-duplex communication control
  • FIG. 1 is a network configuration diagram of a communication system.
  • the communication system provides an information transmission support function using a group call communication mode centering on a communication management device (hereinafter referred to as a management device) 100.
  • a management device hereinafter referred to as a management device 100.
  • a user terminal (mobile communication terminal) 500 carried by each of a plurality of users is connected by wireless communication, and the voice of the user is broadcast to each user terminal 500 in the communication group.
  • the range in which the voice of one user is broadcast to a plurality of other user terminals 500 is set as a communication group, and each user terminal 500 of the target user is registered.
  • the user terminal 500 is, for example, a portable mobile terminal (mobile terminal) such as a multifunctional mobile phone such as a smartphone, a PDA (Personal Digital Assistant), or a tablet terminal.
  • the user terminal 500 has a communication function, a calculation function, and an input function, and is connected to the management device 100 by wireless communication through an IP (Internet protocol) network or a mobile communication network (Mobile communication network) to perform data communication.
  • IP Internet protocol
  • Mobile communication network Mobile communication network
  • the communication system of the present embodiment provides, for example, an information transmission environment for recognition sharing and communication by having a plurality of users interact with each other. It is also possible to provide an information transmission environment that enables hands-free dialogue, for example, in various communication systems between users, such as multiple employees who manage facilities collaborate and communicate with each other. It can support information transmission.
  • Group calls in which a plurality of users participate include a call by half-duplex communication (half-duplex call) and a call by full-duplex (FULL DUPLEX) communication (full-duplex call).
  • Half-duplex communication is also called a transceiver communication method, and full-duplex communication is also called bidirectional communication.
  • Full-duplex communication is a communication method in which two data flow paths are prepared and data in different directions can flow at the same time. In other words, it is a communication method that allows multiple users to talk and listen to each other at the same time. You can also hear the utterances.
  • full-duplex communication uses a lot of bandwidth, so there is a problem of network load due to an increase in traffic volume. Further, as the number of participating users increases, the processing load for transmitting and receiving the spoken voice increases, and there is also a problem of server load. To solve such problems, a technique has been proposed to introduce a mechanism for limiting the number of users who can participate in utterances in full-duplex communication on the server side.
  • the server side that manages the distribution of spoken voice to multiple users limits the users who can participate in full-duplex communication, the server processing load will increase. That is, it is necessary to centrally control the permission / non-permission of utterances for each of a plurality of user terminals.
  • the server centrally controls the permission / non-permission of utterances, there are problems such as delays in utterances and omission of the beginning of speech.
  • the user terminal must inquire to the server whether or not the utterance can be spoken before transmitting the utterance voice to the server. Therefore, even if you want to speak, you cannot speak until the permission of the server is given, or even if you speak, you cannot send to the server. Therefore, a delay occurs in the utterance timing, and it is difficult to provide a smooth group call.
  • the user tends to start talking immediately.
  • the user tends to start talking immediately.
  • the voice data that is not included and lacks the utterance content at the beginning of the talk will be transmitted to other users.
  • the user terminal 500 controls the full-duplex communication environment based on the limit. As a result, the network line load and the processing load can be reduced, and a smooth group call including full-duplex communication can be realized.
  • the management device 100 in the group call communication mode, the management device 100 establishes a reception channel for utterance voice data transmitted from the management device 100 with each user terminal 500. As a result, the utterance voice of one user can be delivered to and heard by a plurality of other users.
  • a transmission channel for transmitting utterance voice data to the management device 100 is formed with the user terminal 500 in addition to the reception channel being established.
  • a full-duplex communication environment is constructed in which the transmission of the utterance voice data of the user and the reception of the utterance voice data in the communication group are simultaneously performed in both directions for each user terminal 500.
  • user A and user B press the utterance button, a full-duplex communication environment for these two users is constructed, and the other users speak in full-duplex communication. Just listen (receive).
  • FIG. 2 is a block diagram of each of the management device 100 and the user terminal 500.
  • the management device 100 includes a control device 110, a storage device 120, and a communication device 130.
  • the communication device 130 manages communication connection and data communication control with each of a plurality of user terminals 500.
  • the communication device 130 performs broadcast distribution communication control for simultaneously transmitting speech voice data by one user to each of a plurality of user terminals 500 in correspondence with the group call function. Further, a transmission channel is established with the user terminal 500 of the user who speaks, and an environment for receiving the spoken voice data is constructed while maintaining the reception channel with the user terminal 500.
  • the control device 110 includes a user management unit 111, a communication control unit 112, and a group call control unit 112A.
  • the storage device 120 includes user information 121, group information 122, and a maximum number of simultaneous connections 123.
  • the user terminal 500 includes a communication / call unit 510, a communication app control unit 520, a restricted full-duplex call control unit 521, a microphone 530, a speaker 540, a display input unit 550 such as a touch panel, and a storage unit 560.
  • the speaker 540 is actually composed of earphones, headphones (wired or wireless), or the like.
  • FIG. 3 is a diagram showing an example of various information
  • user information 121 is user registration information for using this communication system.
  • the user management unit 111 controls so that a user ID, a user name, an attribute, and a group can be set through a predetermined management screen. Further, the user management unit 111 has a login history to the communication system in each user terminal 500, a logged-in user ID, and identification information of the user terminal 500 (MAC address unique to the user terminal 500, individual identification information, etc.). Manage the correspondence list and.
  • the group information 122 is group identification information divided into communication groups. Transmission / reception and broadcast distribution of transmitted information are controlled for each communication group ID, and information is controlled so as not to be mixed between different communication groups.
  • the communication group registered in the group information 122 can be associated with each user.
  • the user management unit 111 of the present embodiment provides a function of controlling registration of each of a plurality of users and setting a communication group for making a group call.
  • the grouping can be arbitrarily set according to the place and purpose of introducing the communication system of this embodiment.
  • the facility can be divided into a plurality of departments and managed according to the facility or the like.
  • bell persons cargo carrying
  • concierge hotel
  • housekeeping cleaning
  • communication is not necessary in terms of roles.
  • a food caterer and a bell person can be divided into groups because they do not need to communicate directly.
  • communication is not necessary geographically. For example, when the A branch, the B branch, etc. are geographically separated and it is not necessary to communicate frequently, the groups can be divided.
  • the maximum number of simultaneous connections 123 is the setting information of the limited full-duplex communication control, and defines the number of people who can participate in the full-duplex call.
  • the maximum number of simultaneous connections 123 may be input / set from a predetermined setting screen provided by the communication control unit 112, for example, by an administrator in the communication group operating the user terminal 500 and logging in with administrator privileges. can. Further, the operation manager of this system can input and set the management device 100 from a predetermined management screen.
  • the communication control unit 112 of the management device 100 includes the group call control unit 112A.
  • the group call control unit 112A functions as a first control unit.
  • the first control unit establishes a first channel with each user terminal 500 in the community group participating in the group call communication mode, and is a transmission path of utterance voice data (a reception channel from the viewpoint of the user terminal 500). To form. Further, the receiving channel of the utterance voice data accompanying the utterance action (pressing of the utterance button) on the user terminal 500 side is established, and the reception path (the transmission channel from the viewpoint of the user terminal 500) is formed.
  • the group call control unit 112A performs broadcast distribution control of the utterance voice data received from one user terminal 500 to each of the other plurality of user terminals 500. At this time, the group call control unit 112A can also transmit its own utterance voice data to the uttered user terminal 500.
  • the user terminal 500 of the user who has spoken determines whether or not it is his / her own spoken voice data, and if it is his / her own spoken voice data, discards it without performing voice reproduction, and the spoken voice other than himself / herself. It can be configured to play audio when it is data.
  • the utterance voice data received from the user terminal 500 can be configured to include information for identifying the user, for example, the identification information of the user terminal 500 or the user ID.
  • the group call control unit 112A transmits the received utterance voice data to each user terminal 500 in the communication group, the group call control unit 112A can control to broadcast the utterance voice data including the user identification information.
  • the management device 100 of the present embodiment only uniformly broadcasts the spoken voice data received from the user terminal 500 to each user terminal 500 in the communication group, selects the user to be delivered, and speaks for each user. It is possible to build a simple control system without performing control such as accepting voice data. Therefore, as described above, the group call control unit 112A of the present embodiment is configured so that the utterance voice data of the speaker is also transmitted to the user terminal 500 of the speaker, and the voice reproduction is performed on the user terminal 500 side. Controls whether or not it is possible.
  • FIG. 4 is an explanatory diagram of the restricted full-duplex communication control of the present embodiment. As shown in FIG. 4, the maximum number of simultaneous connections is first set, and the maximum number of simultaneous connections is registered in each user terminal 500 in the communication group.
  • the communication app control unit 520 of the user terminal 500 establishes a reception channel for utterance voice data transmitted from the management device 100 with the management device 100, executes the group call communication mode, and is in the group call communication mode.
  • a transmission channel for transmitting utterance voice data to the management device 100 is established from the user terminal 500 separately from the reception channel being established, and the transmission of one's own utterance voice data and within the communication group. It controls the reception of the spoken voice data in both directions at the same time.
  • each user terminal 500 of the users A to E establishes a reception channel for receiving the utterance voice data with the management device 100 when the group call communication mode is executed. Then, when the user A presses the utterance button to make an utterance, the user terminal 500 of the user A establishes a transmission channel for transmitting the utterance voice data separately from the established reception channel with the management device 100, and makes an utterance. The voice data is transmitted to the management device 100. The utterance voice data of the user A is distributed from the management device 100 to each of the users B to E.
  • the utterance voice data includes the user identification information in each user terminal 500
  • the utterance users participating in the restricted full-duplex communication are counted by the reception of the utterance voice data as a trigger.
  • the maximum number of simultaneous connections if it is less than the maximum number of simultaneous connections, one can speak, and if the number of participants exceeds the maximum number of simultaneous connections, the number of participants is restricted.
  • FIG. 4 shows a state in which user A, user B, and user C each press an utterance button to speak.
  • the maximum number of simultaneous connections is set to 3
  • the user terminal 500 of the user D speaks by the user D due to the limitation of the maximum number of simultaneous connections.
  • the count number of the utterance user is "3"
  • the count number of the utterance user is "3"
  • the upper limit number "3" is exceeded.
  • the user terminal 500 of the user D can control not to establish a transmission channel with the management device 100 even when the utterance button is pressed, and can output a predetermined message by voice. For example, it is possible to output a voice message such as "Three people are speaking. Please wait until someone finishes speaking.”
  • the limit full-duplex call control unit 521 of the user terminal 500 stores the limit number of simultaneous connections by full-duplex communication in the communication group and the full-duplex call log including the number of users who are simultaneously connected and the number of users who are simultaneously connected.
  • the full-duplex call log is updated based on the utterance voice data stored in the unit 560 and received from the management device 100, and the establishment of the transmission channel is not permitted based on the full-duplex call log and the maximum number of simultaneous connections. Allowable limits Perform full-duplex communication control.
  • FIG. 5 is a diagram showing a processing flow of this communication system (including restricted full-duplex call control processing (A)).
  • the management device 100 receives (S101) the setting (input) of the upper limit number of simultaneous connections for each communication group, and stores it in the storage device 120.
  • Each user activates the communication application control unit 520 in the user terminal 500, and the communication application control unit 520 performs connection processing with the management device 100. Then, he / she enters his / her user ID and password from the predetermined login screen to log in to the management device 100 (S501a, S501b, S501c).
  • the login authentication process is executed by the user management unit 111 (S102). After the first login, the operation of entering the user ID and password is omitted, and the communication application control unit 520 automatically performs the login process using the user ID and password entered at the time of the first login when the communication application control unit 520 is activated. Can be done.
  • the management device 100 determines the communication group to which each user belongs (S102) along with the login authentication process, and acquires the maximum number of simultaneous connections set for each communication group (S103).
  • the management device 100 transmits the acquired maximum number of simultaneous connections to each of the plurality of user terminals 500, and automatically performs a communication channel establishment process in the group call communication mode to perform a group call centered on the management device 100.
  • the channel is opened (S104).
  • each user terminal 500 After logging in, each user terminal 500 stores the maximum number of simultaneous connections received in the storage unit 560, starts the group call communication mode, and establishes a reception channel for utterance voice data with the management device 100 (S502a). , S502b, S502c). After that, information acquisition processing is performed with the management device 100 at an arbitrary timing or at a predetermined time interval.
  • the utterance button is a button provided on a predetermined screen that is executing the group call mode.
  • the restricted full-double call control unit 521 of the user terminal 500 performs the restricted full-double call control process (A) in step S503a.
  • the utterance button is pressed (S5001)
  • the restricted full-duplex communication control unit 521 participates in the full-duplex call and makes an utterance.
  • the restricted full-duplex communication control unit 521 Performs transmission channel establishment processing when the utterance button is pressed (S5004). Then, the utterance voice is collected and the utterance voice data is transmitted to the management device 100 (S5005).
  • the restricted full-duplex communication control unit 521 outputs a predetermined voice message (error message) set in advance (S5006), and controls so as not to perform the transmission channel establishment process accompanying the pressing of the utterance button (S5007).
  • FIG. 6 is a diagram showing a processing flow including the restricted full-duplex communication control process (B) of this communication system.
  • the restriction full-duplex communication control process (B) in step S504a is a control when the utterance voice data is received from the management device 100. The same applies to steps S504b and S504c.
  • each user terminal 500 receives utterance voice data from the management device 100.
  • the user identification information (speaker) is also included.
  • the restricted full-duplex communication control unit 521 receives the spoken voice data from the management device 100 (S5041)
  • the restricted full-duplex communication control unit 521 determines whether or not the received spoken voice data is included in the full-duplex call log and is a simultaneously connected user. The first determination process is performed (S5042).
  • step S5045 a user who has already participated as a simultaneously connected user and whose participation is maintained, regardless of himself or another user, does not perform the restriction determination based on the full-duplex call log, and performs the reproduction enablement determination process in step S5045. move on.
  • the received utterance voice data is discarded and not reproduced (S5047).
  • the received spoken voice data is reproduced (S5046).
  • step S5043 second determination process
  • the process proceeds to step S5047 so that the received spoken voice data is discarded and playback is not allowed. Control.
  • FIG. 7 is a diagram showing a processing flow including the restricted full-duplex communication control process (C) of this communication system.
  • the restriction full-duplex communication control process (C) in step S507a is a control for ending the utterance by the full-duplex call.
  • the utterance end button is a button provided on a predetermined screen that is executing the group call mode.
  • the restricted full-duplex communication control unit 521 transmits an end flag to the management device 100 through the transmission channel when the utterance end button is pressed (S506a). At this time, the restricted full-duplex communication control unit 521 can be configured to generate voice data including the end flag, put it on the connected transmission channel, and transmit the voice data with the end flag to the management device 100. .. After transmitting the end flag, the restricted full-duplex communication control unit 521 shuts off the transmission channel (S507a).
  • the group call control unit 112A of the management device 100 receives the end flag and transmits the end flag through the communication channel (reception channel on the user terminal 500 side) with each user terminal (S106). At this time, similarly to the distribution of the spoken voice data, the received voice data with the end flag can be broadcast-delivered to each user terminal 500 in the communication group.
  • the restricted full-duplex communication control unit 521 When the restricted full-duplex communication control unit 521 receives the end flag from the management device 100 (S5081), the restricted full-duplex communication control unit 521 confirms that the user of the received end flag is present in the full-duplex call log (S5082). After confirming that it exists in the full-duplex call log, the restricted full-duplex communication control unit 521 deletes the corresponding user from the full-duplex call log and decrements the number of simultaneously connected users by "1". (S5083).
  • FIG. 8 to 10 are diagrams for explaining the second embodiment, and FIG. 8 is an explanatory diagram of the restricted full-duplex communication control of the present embodiment, and transmission is performed with respect to the first embodiment.
  • the control of channel establishment and blocking is different.
  • the utterance voice data of the speaker is simultaneously delivered to the user terminal 500 of the speaker as in the first embodiment. Then, in the present embodiment, when the user D presses the utterance button, the transmission channel is established and the utterance voice data is transmitted to the management device 100 without performing restriction control, but the utterance voice received from the management device 100 thereafter. Using data, it is determined whether or not it is possible to participate in a full-duplex call based on the maximum number of simultaneous connections, and if it is determined that it is not possible to participate, it is controlled to shut off and close the once established transmission channel. do.
  • FIG. 9 is a diagram showing a processing flow including the restricted full-duplex communication control (A) -1 of the communication system of the present embodiment.
  • A restricted full-duplex communication control
  • step S5061a When the full-duplex communication control (A) -1 receives the utterance voice data uttered by itself through the transmission channel, it newly sets itself that does not exist in the simultaneously connected users included in the full-duplex call log. It is determined whether or not the number of simultaneous connection users after the addition exceeds the maximum number of simultaneous connections, and if it is determined that the maximum number of simultaneous connections is exceeded, the transmission channel established by pressing the utterance button is blocked. Control to do.
  • each user terminal 500 after login stores the maximum number of simultaneous connections received in the storage unit 560, starts the group call communication mode, and receives voice data from the management device 100.
  • Establish a receive channel (S502a, S502b, S502c).
  • the restriction full-duplex call control unit 521 of the user terminal 500 does not perform the restriction processing based on the maximum number of simultaneous connections and the utterance button, but instead of performing the restriction processing of the utterance button. Triggered by pressing, the transmission channel is once established (S5041a). Then, the utterance voice is collected and the utterance voice data is transmitted to the management device 100 (S5051a).
  • the management device 100 broadcasts the received utterance voice data to all users in the communication group including the speaker himself (S105).
  • the spoken voice data includes user identification information.
  • the user terminal 500 receives the utterance voice data from the management device 100 (S5601).
  • the restricted full-duplex communication control unit 521 updates the full-duplex call log based on the received utterance voice data uttered by itself and the utterance voice data of another user.
  • the restricted full-duplex communication control unit 521 When the restricted full-duplex communication control unit 521 receives the spoken voice data, the restricted full-duplex communication control unit 521 performs a first determination process for determining whether or not the received spoken voice data is included in the full-duplex call log and is a simultaneously connected user (S5602). ). If it is determined in the first determination process that the user of the received spoken voice data is a user existing in the full-duplex call log (S5602YES), the process proceeds to step S5605. A user who has already participated as a simultaneously connected user and whose participation is maintained, regardless of himself or another user, proceeds to the process of determining whether or not to play back in step S5605 without performing the restriction determination based on the full-duplex call log.
  • a new user is added to update the full-duplex call log (S5604), and the new user is himself or herself. If (YES in S5605), the received spoken voice data is discarded and control is performed so that reproduction is not permitted (not reproduced) (S5607). The transmission channel established with the pressing of the utterance button is maintained (S5608). If the new user is a user other than himself (NO in S5605), control is performed so as to allow reproduction of the received spoken voice data (S5606).
  • the received utterance voice data is discarded and control is performed so as not to allow playback, and a new user himself / herself. If (YES in S5609), the transmission channel once established when the utterance button is pressed is blocked (S5611), and control is performed so that the establishment of the transmission channel is not allowed. At this time, as in the first embodiment, the message to the effect that the simultaneous call cannot be participated can be output by voice (S5610).
  • step S5609 if the utterance voice data is from a user other than itself (NO in S5609), the received utterance voice data is controlled so as not to be discarded and played regardless of the transmission channel cutoff control or the like. ..
  • the restricted full-duplex communication control (A) -1 shown in FIG. 10 corresponds to the processing of both the restricted full-duplex communication control (A) of FIG. 5 and the restricted full-duplex communication control (B) of FIG. It is a thing. Further, the restricted full-duplex communication control (C) of FIG. 7 is similarly applied in the present embodiment.
  • FIG. 10 is a diagram for explaining full-duplex call log update and restriction control of the restricted full-duplex communication control of the present embodiment.
  • the utterance voice data is distributed from the management device 100 to all the users including the user 1.
  • Each user terminal 500 of the user 1 to the user 7 passes through the restricted full-duplex communication control (A) -1, and further, if it is its own utterance voice data, it does not play, and if it is other than its own utterance voice data, it plays. do.
  • the utterance voice data is distributed from the management device 100 to all the users including the user 6, and the user 6 passes through the restricted full-duplex communication control (A) -1.
  • A restricted full-duplex communication control
  • the maximum number of simultaneous connections is set to "3"
  • user 1, user 3 and user 6 are participating in the full-duplex call at this point, and the upper limit has been reached.
  • the user terminal 500 of the user 4 once establishes a transmission channel and transmits the utterance voice data of the user 4 to the management device 100.
  • the utterance voice data delivered from the device 100 is received, the utterance voice data of the user 4 is discarded and the reproduction NG control is performed by the restricted full-duplex communication control (A) -1 on the user terminal 500 side, and the user. 4
  • the user terminal 500 itself closes the transmission channel for the management device 100. Then, an error message indicating that the user cannot participate in the full-duplex call is sent.
  • the restricted full-duplex communication control unit 521 transmits the voice data with the end flag to the management device 100 through the transmission channel. After transmitting the flag, the restricted full-duplex communication control unit 521 shuts off the transmission channel.
  • the management device 100 broadcasts the received voice data with an end flag to all user terminals 500 including the user 3 in the communication group.
  • Each user terminal 500 deletes the received end flag user from the full-duplex call log and decrements the number of simultaneously connected users by "1".
  • the simultaneous connection users of the full-duplex call log become "user 1, user 6", and the number of simultaneous connection users is updated to "2".
  • the timing of shutting off the transmission channel when the speech end button in FIG. 7 is pressed is not a set with the transmission of the voice data with the end flag, but includes, for example, itself. It may be configured to perform the cutoff process of the established transmission channel by using the reception of the voice data with the end flag from the management device 100 as a trigger.
  • FIGS. 11 to 16 are diagrams for explaining the third embodiment.
  • This embodiment is an embodiment in which the communication systems of the first embodiment and the second embodiment have a function of accumulating communication histories and displaying the communication history on each user terminal 500.
  • the same functions and the like are designated by the same reference numerals as those of the first and second embodiments, the description thereof will be omitted, and the differences will be mainly described.
  • FIG. 11 is a diagram showing a functional block of the communication system of the present embodiment, to which a voice recognition unit 113, a communication history information 124, and a voice recognition dictionary 125 are added.
  • the voice recognition result speech text
  • the communication history is synchronized with each user terminal 500 in the communication group. And provide the function to display.
  • the group call control unit 112A of the management device 100 has a plurality of text information (text information obtained by voice recognition processing of the utterance voice data) of the utterance content in addition to the broadcast distribution control of the utterance voice data by the user described above. Broadcast distribution control is performed to send to each user terminal 500 all at once.
  • the group call control unit 112A includes a first control unit and a second control unit, and the first control unit receives the above-mentioned utterance voice data received from one user terminal 500 in a plurality of communication groups. Broadcast distribution control is performed for each user terminal 500.
  • the second control unit accumulates the utterance voice recognition result obtained by voice recognition processing of the received utterance voice data as the communication history 124 between the users in chronological order, and all the utterance voice recognition results including the user terminal 500 of the utterance user. Text distribution control is performed so that the communication history 124 is displayed synchronously on the user terminal 500.
  • the voice recognition unit 113 performs voice recognition processing using the voice recognition dictionary 125, and outputs text data as an utterance voice recognition result.
  • a known technique can be applied to the speech recognition process.
  • the communication history information 124 is log information in which the utterance contents of each user are accumulated in chronological order on a text basis together with time information.
  • the voice data corresponding to each text may be stored as a voice file in a predetermined storage area. In this case, the storage location of the voice file is also recorded in the communication history 124.
  • the communication history information 124 is generated and accumulated for each communication group.
  • FIG. 12 is a diagram showing an example of the communication history 124 displayed on each user terminal 500.
  • Each of the user terminals 500 receives the communication history 124 from the management device 100 in real time or at a predetermined timing, and display synchronization is achieved among the plurality of users.
  • Each user can refer to the past communication log in chronological order.
  • each user terminal 500 the utterance content of oneself and the utterance content of another user other than oneself are displayed in the display column D in chronological order, and the communication history 124 accumulated in the management device 100 is displayed. Shared as log information.
  • the microphone mark H is displayed in the text corresponding to the user's own uttered voice, and for users other than the speaker, the speaker is displayed in the display column D instead of the microphone mark H.
  • the mark M can be displayed.
  • the voice recognition process or the voice recognition result is subdivided based on the time-series information of the two-way utterance as shown in the example of FIG.
  • the longer the dialogue the more difficult it is to understand the dialogue as in the example of FIG. 13, and the voice recognition result becomes difficult.
  • the communication control unit 112 of the present embodiment has a case where the intervals between adjacent utterances of one user are separated by a predetermined time or more. , The utterance voice recognition results of adjacent utterances are controlled to be displayed on the user terminal 500 in a separated state, and if the interval between adjacent utterances is less than a predetermined time, each utterance voice recognition result of the adjacent utterances is displayed. Control so that they are displayed without separation.
  • the utterance voice recognition result for each user is controlled to be displayed in a balloon in the order of the utterance start time of each received user.
  • the communication history of a full-duplex call by a plurality of users can be provided to each user terminal in an easy-to-understand form.
  • FIG. 15 is a diagram for explaining a display process based on the voice recognition result of the present embodiment.
  • the section from the start of utterance to the end of utterance is represented by 1 second per square, and the alphabetic characters in the square indicate the voice recognition result corresponding to the spoken voice. The same applies to FIG.
  • the utterance voice is recorded from the utterance start time, and the utterance voice is stored again after a while. This is a catch ball of utterances in a full-duplex call, in which you speak, listen to the other party's utterances, and then speak further to the other party's utterances.
  • one's utterance is expressed in English, and the state of listening to the other party's utterance is expressed in a blank.
  • a set value is set for the intervals between utterances scattered in a plurality of points from the start of the utterance to the end of the utterance. For example, 6 seconds can be set. The number of seconds of the set value is arbitrary. Then, when the intervals between adjacent utterances are separated by 6 seconds or more, the speech recognition results of the adjacent utterances are separated, and when it is less than 6 seconds, the adjacent utterances are grouped together without being separated. do). Such division control is performed, and the utterance voice recognition result is controlled to be displayed in a time-series manner in the divided area.
  • FIG. 16 is a diagram for explaining a display process based on a voice recognition result including an area where conversations of a plurality of users overlap.
  • each user A, B, and C interacts in a full-double call, and each user has a set value for each utterance that is scattered at intervals from the start of the utterance to the end of the utterance.
  • the utterance balloons of each user A, B, and C are controlled to be displayed side by side in chronological order.
  • each function of the communication management device 100 and the user terminal 500 can be realized by a program, and a computer program prepared in advance for realizing each function is stored in the auxiliary storage device.
  • a control unit such as a CPU reads a program stored in the auxiliary storage device into the main storage device, and the control unit executes the program read into the main storage device, whereby the functions of each unit can be operated.
  • Computer-readable recording media include optical discs such as CD-ROMs, phase-changing optical discs such as DVD-ROMs, magneto-optical disks such as MO (Magnet Optical) and MD (Mini Disk), floppy (registered trademark) disks, and the like. Examples include magnetic disks such as removable hard disks, compact flash (registered trademark), smart media, SD memory cards, and memory cards such as memory sticks. Further, a hardware device such as an integrated circuit (IC chip or the like) specially designed and configured for the purpose of the present invention is also included as a recording medium.
  • IC chip or the like specially designed and configured for the purpose of the present invention is also included as a recording medium.
  • Communication management device 110 Control device 111 User management unit 112 Communication control unit 112A Group call control unit 113 Voice recognition unit 120 Storage device 121 User information 122 Group information 123 Maximum number of simultaneous connections 124 Communication history information 125 Voice recognition dictionary 130 Communication device 500 User terminal (mobile communication terminal) 510 Communication / call unit 520 Communication App control unit 521 Restriction full-duplex communication control unit 530 Microphone (sound collection unit) 540 speaker (audio output section) 550 Display / Input Unit 560 Storage Unit D Display Field

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Telephonic Communication Services (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

【課題】グループ通話の全二重通信（full-duplex transmission）を円滑に行う。 【解決手段】実施形態のコミュニケーションシステムは、複数の各ユーザがそれぞれ携帯する移動通信端末にユーザの各発話音声データを同報配信する。移動通信端末は、サーバから送信される発話音声データの受信チャネルを確立したグループ通話通信モード中に発話ボタンが押されたとき、確立中の受信チャネルとは別にサーバに発話音声データを送信するための送信チャネルを確立し、自分の発話音声データの送信とグループ内の発話音声データの受信とを双方向で同時に行う。このとき、全二重通信による同時接続制限数と、同時接続中のユーザ及び同時接続ユーザ数を含む全二重通話ログとを記憶しておき、全二重通話ログと同時接続上限数とに基づいて、各端末側でサーバに対する送信チャネルの確立を許容しない制限全二重通信制御を行う。

Description

コミュニケーションシステム
　本発明の実施形態は、複数ユーザによるグループ通話の全二重通信技術に関する。
　音声コミュニケーションの一例として、トランシーバ(transceiver)がある。トランシーバは、無線電波の送信機能と受信機能を兼ね備えた無線機であり、１人のユーザが複数人のユーザと通話（一方向又は双方向の情報伝達）を行うことができる。トランシーバの活用例は、工事現場やイベント会場、ホテルや旅館などの施設等で目にすることができる。また、タクシー無線もトランシーバ活用の一例として挙げることができる。
特許第４７８０３９７号
　ネットワーク回線負荷及び処理負荷を低減させ、グループ通話の全二重通信（full-duplex transmission）を円滑に行うことができるコミュニケーションシステムを提供することを目的とする。
　実施形態のコミュニケーションシステムは、コミュニケーショングループ内の複数の各ユーザがそれぞれ携帯する移動通信端末と、移動通信端末から受信した発話音声データをコミュニケーショングループ内の各移動通信端末に同報配信するコミュニケーションサーバと、を有する。前記移動通信端末は、前記コミュニケーションサーバから送信される発話音声データの受信チャネルを確立してグループ通話通信モードを実行するとともに、前記グループ通話通信モード中に発話ボタンが押されたとき、確立中の受信チャネルとは別に前記コミュニケーションサーバに発話音声データを送信するための送信チャネルを確立し、自分の発話音声データの送信とコミュニケーショングループ内の発話音声データの受信とを双方向で同時に行う通信部と、コミュニケーショングループ内の全二重通信による同時接続制限数と、同時接続中のユーザ及び同時接続ユーザ数を含む全二重通話ログと、を記憶する記憶部と、前記全二重通話ログと前記同時接続上限数とに基づいて、前記送信チャネルの確立を許容しない制限全二重通信制御を行う制限全二重通信制御部と、を有する。
第１実施形態のコミュニケーションシステムのネットワーク構成図である。 第１実施形態のコミュニケーション管理装置、ユーザ端末の各構成ブロック図である。 第１実施形態の各種情報の一例を示す図である。 第１実施形態の制限全二重通信制御の説明図である。 第１実施形態のコミュニケーションシステムの制限全二重通信制御（Ａ）を含む処理フローを示す図である。 第１実施形態のコミュニケーションシステムの制限全二重通信制御（Ｂ）を含む処理フローを示す図である。 第１実施形態のコミュニケーションシステムの制限全二重通信制御（Ｃ）を含む処理フローを示す図である。 第２実施形態の制限全二重通信制御の説明図である。 第２実施形態のコミュニケーションシステムの制限全二重通信制御（Ａ）－１を含む処理フローを示す図である。 第２実施形態の制限全二重通信制御の全二重通話ログ更新と制限制御を説明するための図である。 第３実施形態のコミュニケーション管理装置、ユーザ端末の各構成ブロック図である。 第３実施形態のコミュニケーションシステムのコミュニケーション履歴を説明するための図である。 第３実施形態の全二重通信（全二重通話）における音声認識結果の一例である。 第３実施形態の全二重通信（全二重通話）における音声認識結果の一例である。 第３実施形態の音声認識結果に基づく表示処理を説明するための図である。 第３実施形態の複数ユーザの会話が重なり合う領域を含む音声認識結果に基づく表示処理を説明するための図である。
（第１実施形態）
　図１から図７は、第１実施形態を説明するための図であり、図１は、コミュニケーションシステムのネットワーク構成図である。コミュニケーションシステムは、コミュニケーション管理装置（以下、管理装置と称する）１００を中心に、グループ通話通信モードを用いた情報伝達支援機能を提供する。
　管理装置１００は、複数の各ユーザがそれぞれ携帯するユーザ端末（移動通信端末）５００が無線通信で接続し、ユーザの発話音声をコミュニケーショングループ内の各ユーザ端末５００に同報配信する。一のユーザの発話音声が他の複数のユーザ端末５００に同報配信される範囲は、コミュニケーショングループとして設定され、対象ユーザのユーザ端末５００それぞれが登録される。
　ユーザ端末５００は、例えば、スマートフォンなどの多機能携帯電話機やＰＤＡ(Personal Digital Assistant)、タブレット型端末などの持ち運び可能な携帯端末（モバイル端末）である。ユーザ端末５００は、通信機能、演算機能及び入力機能を備え、ＩＰ（Internet protocol）網又は移動通信回線網（Mobile communication network）を通じて無線通信で管理装置１００と接続し、データ通信を行う。
　本実施形態のコミュニケーションシステムは、例えば、複数の各ユーザが対話を行い、認識共有や意思疎通のための情報伝達環境を提供する。また、ハンズフリーで対話を行うことができる情報伝達環境を提供することもでき、例えば、施設管理を行う複数の従業員等が連携して連絡を取り合うなどの、ユーザ間の様々な連絡系統における情報伝達を支援することができる。
　ここで、通話形態について説明する。複数のユーザが参加するグループ通話は、半二重（ｈａｌｆ　ｄｕｐｌｅｘ）通信による通話（半二重通話）と、全二重（ＦＵＬＬ　ＤＵＰＬＥＸ）通信による通話（全二重通話）とがある。半二重通信は、トランシーバ通信方式、全二重通信は、双方向通信とも称される。
　半二重通信は、データの送信と受信を同時に行えず、例えば、相手の発話を聞いている間は自分が発話できず、自分が発話している間は相手の発話を聞くことができない通信方式である。一般的にトランシーバのように自分の発話が終わるたびに、送信と受信の切り換えを行う必要があり、音声データの送信路と受信路とが、１つの通信路（１つの帯域）を共有して使用する。具体的な仕組みとしては、複数のユーザのうち、一のユーザが発話ボタンを押すと、他のユーザが発話できないようにロックを掛ける。これにより、発話の送信権を獲得したユーザの発話音声のみが他のユーザに送信される。
　全二重通信は、データの流れる経路が２つ用意され、方向の異なるデータが同時に流れることを許容する通信方式である。つまり、複数のユーザが互いに同時にしゃべったり、聞いたりすることが可能な通信方式であり、送信と受信の２つの通信路（２つの帯域）を使用し、自分が発話している間に相手の発話も聞くことができる。
　一方で、全二重通信は、帯域を多く使用するのでトラフィック量の増加によるネットワーク負荷の課題がある。また、参加ユーザ数が多くなればなるほど、発話音声の送信及び受信の処理負荷が大きくなり、サーバ負荷の課題もある。このような課題に対し、全二重通信での発話に参加できるユーザ数をサーバ側で制限する仕組みを導入する技術が提案されている。
　しかしながら、複数のユーザに向けた発話音声の配信を管理するサーバ側が、全二重通信に参加可能なユーザを制限すると、サーバ処理負荷が増大する。つまり、複数の各ユーザ端末に対し、発話の許可／不可を集中して制御しなければならない。
　さらに、サーバで発話の許可／不可を集中して制御すると、発話の遅延及びしゃべり出し冒頭箇所が欠落するなどの課題がある。
　つまり、サーバ側で制限に基づく発話の許可／不許可を制御すると、ユーザ（端末）は、発話音声をサーバに送信する前に、発話可能かどうかを当該サーバに問合せしなければならない。このため、発話したくてもサーバの許可が下りるまで発話ができない、もしくは、発話してもサーバに送信できない。このため、発話タイミングに遅延が発生し、円滑なグループ通話を提供することが難しい。
　また、発話ボタンを押した後、ユーザは、すぐにしゃべり始める傾向がある。つまり、発話ボタンを押しても、サーバ側に一度発話可能かを問い合わせて許可が下りるまでの間のタイムラグが生じ、このタイムラグ中に発話した内容は、許可された後に送信された発話音声データには含まれず、しゃべり出し冒頭の発話内容が欠損した音声データが、他のユーザに送信されることになる。
　そこで、本実施形態のコミュニケーションシステムは、コミュニケーショングループ内で全二重通信を行う人数に制限を設けつつ、制限に基づく全二重通信環境の制御をユーザ端末５００側で行う。これにより、ネットワーク回線負荷及び処理負荷を低減させ、全二重通信を含む円滑なグループ通話を実現することができる。
　図１に示すように、グループ通話通信モードは、管理装置１００が各ユーザ端末５００との間で、管理装置１００から送信する発話音声データに対する受信チャネルを確立する。これにより、１人のユーザの発話音声が、他の複数のユーザに届けられ、聞くことができる。
　グループ通話通信モード中に発話ボタンが押されたとき、確立中の受信チャネルとは別に管理装置１００に発話音声データを送信するための送信チャネルが、ユーザ端末５００との間で形成される。ユーザによる発話ボタンの押下により、ユーザ端末５００別に、自分の発話音声データの送信とコミュニケーショングループ内の発話音声データの受信とを双方向で同時に行う全二重通信環境が構築される。図１の例では、ユーザＡとユーザＢが発話ボタンを押し、これら二人のユーザの全二重通信環境が構築され、他のユーザは、全二重通信で会話する２人のユーザの発話を聞く（受信する）だけである。
　図２は、管理装置１００、ユーザ端末５００の各構成ブロック図である。管理装置１００は、制御装置１１０、記憶装置１２０及び通信装置１３０を含む。
　通信装置１３０は、複数の各ユーザ端末５００との間の通信接続管理及びデータ通信制御を行う。通信装置１３０は、グループ通話機能に対応して、一のユーザによる発話音声データを複数の各ユーザ端末５００に一斉に送る同報配信通信制御を行う。さらに、発話するユーザのユーザ端末５００との間で送信チャネルを確立し、ユーザ端末５００との受信チャネルを維持したまま、発話音声データを受け付ける環境を構築する。
　制御装置１１０は、ユーザ管理部１１１、コミュニケーション制御部１１２、グループ通話制御部１１２Ａを含んで構成されている。記憶装置１２０は、ユーザ情報１２１、グループ情報１２２、同時接続上限数１２３を含んで構成されている。
　ユーザ端末５００は、通信・通話部５１０、コミュニケーションＡｐｐ制御部５２０、制限全二重通話制御部５２１、マイク５３０、スピーカー５４０、タッチパネル等の表示入力部５５０、及び記憶部５６０を含んで構成されている。なお、スピーカー５４０は、実際には、イヤホンやヘッドホン（有線又はワイヤレス）などで構成される。
　図３は、各種情報の一例を示す図であり、ユーザ情報１２１は、本コミュニケーションシステムを利用するユーザ登録情報である。ユーザ管理部１１１は、所定の管理画面を通じて、ユーザＩＤ、ユーザ名、属性、グループを設定することができるように制御する。また、ユーザ管理部１１１は、各ユーザ端末５００における本コミュニケーションシステムへのログイン履歴と、ログインしたユーザＩＤとそのユーザ端末５００の識別情報（ユーザ端末５００固有のＭＡＣアドレスや固体識別情報など）との対応リストと、を管理する。
　グループ情報１２２は、コミュニケーショングループに区画するグループ識別情報である。コミュニケーショングループＩＤ別に伝達情報の送受信及び同報配信を制御し、異なるコミュニケーショングループ間で情報が混在しないように制御される。ユーザ情報１２１において、グループ情報１２２に登録されたコミュニケーショングループを、各ユーザに紐付けることができる。本実施形態のユーザ管理部１１１は、複数の各ユーザの登録制御を行い、グループ通話を行うコミュニケーショングループを設定する機能を提供する。
　なお、グループ分けについては、本実施形態のコミュニケーションシステムを導入する場所や目的に応じて任意に設定することができる。例えば、施設等に応じて施設を複数の部門に分割して管理することもできる。例えば、宿泊施設を一例に説明すると、ベルパーソン（荷物運び）、コンシェルジュ、ハウスキーピング（清掃）をそれぞれ異なるグループに設定し、客室管理をそれぞれのグループ毎に細分化したコミュニケーション環境を構築することもできる。他の観点として、役割的にコミュニケーションが不要なケースも考えられる。例えば、料理の配膳係と、ベルパーソン（荷物運び）は、直接コミュニケーションをとる必要がないのでグループを分けることができる。また、地理的にコミュニケーションが不要なケースも考えられ、例えば、Ａ支店、Ｂ支店などが地理的に離れており、かつ頻繁にコミュニケーションをする必要がない場合などは、グループを分けることができる。
　同時接続上限数１２３は、制限全二重通信制御の設定情報であり、全二重通話に参加できる人数を規定している。この同時接続上限数１２３は、例えば、コミュニケーショングループ内の管理者がユーザ端末５００を操作して、管理者権限でログインし、コミュニケーション制御部１１２が提供する所定の設定画面から入力・設定することができる。また、本システムの運営管理者が、管理装置１００に対して所定の管理画面から入力・設定することができる。
　管理装置１００のコミュニケーション制御部１１２は、グループ通話制御部１１２Ａを含む。グループ通話制御部１１２Ａは、第１制御部として機能する。第１制御部は、グループ通話通信モードに参加するコミュニティグループ内の各ユーザ端末５００との間で第１チャネルを確立し、発話音声データの送信路（ユーザ端末５００からの観点では、受信チャネル）を形成する。また、ユーザ端末５００側の発話アクション（発話ボタンの押下）に伴う発話音声データの受信チャネルを確立し、受信路（ユーザ端末５００からの観点では、送信チャネル）を形成する。
　そして、グループ通話制御部１１２Ａは、一のユーザ端末５００から受信した発話音声データを他の複数のユーザ端末５００それぞれに同報配信制御を行う。このとき、グループ通話制御部１１２Ａは、発話したユーザ端末５００にも自身の発話音声データを送信することができる。この場合、発話したユーザのユーザ端末５００では、自身の発話音声データであるか否かを判別し、自身の発話音声データである場合は、音声再生を行わずに破棄し、自分以外の発話音声データである場合に音声再生を行うように構成することができる。
　ユーザ端末５００から受け付ける発話音声データは、ユーザを識別するための情報、例えば、ユーザ端末５００の識別情報又はユーザＩＤなどを含むように構成することができる。グループ通話制御部１１２Ａは、受け付けた発話音声データをコミュニケーショングループ内の各ユーザ端末５００に送信する際に、ユーザ識別情報を含む発話音声データを同報配信するように制御することができる。
　本実施形態の管理装置１００は、ユーザ端末５００から受け付けた発話音声データをコミュニケーショングループ内の各ユーザ端末５００に一律に同報配信するだけであり、配信先のユーザを選定したり、ユーザ別に発話音声データを受け付けたりするなどの制御は行わず、シンプルな制御体制を構築することができる。このため、本実施形態のグループ通話制御部１１２Ａは、上述したように、発話者の発話音声データが、本人のユーザ端末５００にも送信されるように構成され、ユーザ端末５００側で、音声再生可否の制御を行う。
　図４は、本実施形態の制限全二重通信制御の説明図である。図４に示すように、まず同時接続上限数が設定され、コミュニケーショングループ内の各ユーザ端末５００には、同時接続上限数が登録されている。
　ユーザ端末５００のコミュニケーションＡｐｐ制御部５２０は、管理装置１００から送信される発話音声データの受信チャネルを管理装置１００との間で確立してグループ通話通信モードを実行するとともに、グループ通話通信モード中に発話ボタンが押されたとき、確立中の受信チャネルとは別に管理装置１００に発話音声データを送信するための送信チャネルを当該ユーザ端末５００から確立し、自分の発話音声データの送信とコミュニケーショングループ内の発話音声データの受信とを双方向で同時に行うように制御する。
　つまり、図４の例では、ユーザＡ～Ｅの各ユーザ端末５００は、グループ通話通信モードを実行すると、管理装置１００との間で発話音声データを受信するための受信チャネルをそれぞれ確立する。そして、ユーザＡが発話ボタンを押して発話すると、ユーザＡのユーザ端末５００は、管理装置１００との間で、確立済みの受信チャネルとは別に、発話音声データ送信用の送信チャネルを確立し、発話音声データを管理装置１００に送信する。ユーザＡの発話音声データは、管理装置１００から各ユーザＢ～Ｅにそれぞれに配信される。各ユーザ端末５００では、発話音声データにユーザ識別情報が含まれているので、発話音声データの受信をトリガーに、制限全二重通信に参加している発話ユーザをカウントする。同時接続上限数と比較して、同時接続上限数未満であれば、自分も発話することができ、自分の発話が同時接続上限数を超える参加人数となる場合、発話が制限される。
　図４の例では、ユーザＡ、ユーザＢ及びユーザＣがそれぞれ発話ボタンを押して発話している状態を示している。このとき、同時接続上限数が３に設定されているため、例えば、ユーザＤが発話ボタンを押して発話しようとすると、ユーザＤのユーザ端末５００は、同時接続上限数の制限により、ユーザＤの発話を規制する。つまり、すでにユーザＡ、ユーザＢ及びユーザＣの各発話音声データを受信しているので、発話ユーザのカウント数は「３」となっており、ユーザＤが全二重通信に参加すると、同時接続上限数「３」を超えてしまうからである。ユーザＤのユーザ端末５００は、発話ボタンが押されても、管理装置１００との間で送信チャネルを確立しないように制御し、所定のメッセージを音声出力することができる。例えば、「３人が発話中です。誰かの発話が終わるまで、お待ちください」といった音声メッセージを出力することができる。
　ユーザ端末５００の制限全二重通話制御部５２１は、コミュニケーショングループ内の全二重通信による同時接続制限数と、同時接続中のユーザ及び同時接続ユーザ数を含む全二重通話ログと、を記憶部５６０に記憶し、管理装置１００から受信する発話音声データに基づいて全二重通話ログを更新し、全二重通話ログと同時接続上限数とに基づいて、送信チャネルの確立を許容しない又は許容する制限全二重通信制御を行う。
　図５は、本コミュニケーションシステムの処理フロー（制限全二重通話制御処理（Ａ）を含む）を示す図である。管理装置１００は、コミュニケーショングループ別に、同時接続上限数の設定（入力）を受け付け（Ｓ１０１）、記憶装置１２０に記憶する。
　各ユーザは、ユーザ端末５００において、コミュニケーションＡｐｐ制御部５２０を起動し、コミュニケーションＡｐｐ制御部５２０が管理装置１００との接続処理を行う。そして、所定のログイン画面から自分のユーザＩＤ及びパスワードを入力して管理装置１００にログインする（Ｓ５０１ａ，Ｓ５０１ｂ，Ｓ５０１ｃ）。ログイン認証処理は、ユーザ管理部１１１によって遂行される（Ｓ１０２）。なお、初回ログイン後は、ユーザＩＤ及びパスワードの入力操作を省略して、コミュニケーションＡｐｐ制御部５２０が起動に伴い、初回ログイン時に入力されたユーザＩＤ及びパスワードを用いて自動的にログイン処理を行うことができる。
　管理装置１００は、ログイン認証処理に伴い、各ユーザが属するコミュニケーショングループを判別し（Ｓ１０２）、コミュニケーショングループ別に設定されている同時接続上限数を取得する（Ｓ１０３）。
　管理装置１００は、複数の各ユーザ端末５００に対し、取得した同時接続上限数を送信すると共に、自動的にグループ通話通信モードでの通信チャネル確立処理を行い、管理装置１００を中心としたグループ通話チャネルを開通させる（Ｓ１０４）。
　ログイン後の各ユーザ端末５００は、受信した同時接続上限数を記憶部５６０に記憶すると共に、グループ通話通信モードを開始し、管理装置１００との間で発話音声データの受信チャネルを確立する（Ｓ５０２ａ，Ｓ５０２ｂ，Ｓ５０２ｃ）。以後、任意のタイミングで又は所定の時間間隔で、管理装置１００との間で情報取得処理を行う。
　ユーザＡは、発話する際、不図示の発話ボタンを押す。発話ボタンは、グループ通話モードを実行している所定の画面に設けられたボタンである。
　ユーザ端末５００の制限全二重通話制御部５２１は、発話ボタンが押下されると、ステップＳ５０３ａの制限全二重通話制御処理（Ａ）を行う。発話ボタンが押下されると（Ｓ５００１）、自身が既に全二重通話に参加しているユーザか否かを判別する（Ｓ５００２）。全二重通話ログには、発話ユーザとその人数が記録されているので、全二重通話ログを参照して判別することができる。制限全二重通信制御部５２１は、自身が全二重通話ログに記録されていない新たな参加ユーザであると判別された場合、自身が全二重通話に参加して発話すると、自分の発話が同時接続上限数を超えるか否かを判別する。言い換えれば、全二重通話ログの同時接続ユーザ数を「１」インクリメントしたとき、同時接続ユーザ数が同時接続上限数以下となるか否かを判別する（Ｓ５００３）。
　全二重通話ログの同時接続ユーザ数を「１」インクリメントしても、同時接続ユーザ数が同時接続上限数以下となると判別された場合（Ｓ５００３のＹＥＳ）、制限全二重通信制御部５２１は、発話ボタンの押下に伴う送信チャネルの確立処理を行う（Ｓ５００４）。そして、発話音声を集音し、発話音声データを管理装置１００に送信する（Ｓ５００５）。
　一方、全二重通話ログの同時接続ユーザ数を「１」インクリメントしたら、同時接続ユーザ数が同時接続上限数を超えてしまうと判別された場合（Ｓ５００３のＮＯ）、制限全二重通信制御部５２１は、予め設定された所定の音声メッセージ（エラーメッセージ）を出力し（Ｓ５００６）、発話ボタンの押下に伴う送信チャネルの確立処理を行わないように制御する（Ｓ５００７）。
　このように、図５の制限全二重通話制御処理（Ａ）では、発話ボタンが押されたときに、全二重通話ログに含まれる同時接続中のユーザに存在しない自身を新たに加算した後の同時接続ユーザ数が同時接続上限数を超過するか否かを判別し、同時接続上限数を超過すると判別された場合、発話ボタンの押下に伴う送信チャネルの確立処理を行わないように制御する。これにより、ユーザ端末５００側で、上限数以下での発話ユーザ数制限を行い、ネットワーク負荷及び管理装置１００側の処理負荷を低減させた全二重通話環境を実現することができる。ステップＳ５０３ｂ，ステップＳ５０３ｃについても同様である。
　図６は、本コミュニケーションシステムの制限全二重通信制御処理（Ｂ）を含む処理フローを示す図である。ステップＳ５０４ａの制限全二重通信制御処理（Ｂ）は、管理装置１００から発話音声データを受信した際の制御である。ステップＳ５０４ｂ，Ｓ５０４ｃも同様である。
　図６に示すように、各ユーザ端末５００は、管理装置１００から発話音声データを受信する。このとき、ユーザ識別情報（発話者）も含まれる。制限全二重通信制御部５２１は、管理装置１００から発話音声データを受信したとき（Ｓ５０４１）、受信した発話音声データが全二重通話ログに含まれる同時接続中のユーザか否かを判別する第１判定処理を行う（Ｓ５０４２）。
　第１判定処理において受信した発話音声データのユーザが、全二重通話ログに存在するユーザであると判別された場合に（Ｓ５０４２のＹＥＳ）、ステップＳ５０４５に進む。つまり、同時接続ユーザとして既に参加し、その参加が維持されているユーザは、本人または他のユーザに関わらず、全二重通話ログによる制限判定を行わず、ステップＳ５０４５による再生可否の判定処理に進む。
　そして、第１判定処理において受信した発話音声データのユーザが、全二重通話ログに存在しない新たなユーザと判別された場合に（Ｓ５０４２のＮＯ）、新たなユーザを加算した（「１」インクリメント）後の同時接続ユーザ数が同時接続上限数を超過するか否かを判別する第２判定処理を行う（Ｓ５０４３）。
　第２判定処理において同時接続上限数を超過していない、言い換えれば、同時接続上限数以下と判別された場合（Ｓ５０４３のＹＥＳ）、新たなユーザを加えて全二重通話ログを更新する。同時接続ユーザリストに新たなユーザを加え、同時接続ユーザ数を「１」インクリメントするログ更新を行う（Ｓ５０４４）。次に、新たなユーザが自分自身であれば、受信した発話音声データを破棄して再生を許容しないように制御する（Ｓ５０４５）。つまり、自分自身の発話音声データか否かを判別し、自分自身の発話音声データであると判別された場合は（Ｓ５０４５のＹＥＳ）、受信した発話音声データを破棄して再生しない（Ｓ５０４７）。一方、自分自身以外の他のユーザの発話音声データであると判別された場合は（Ｓ５０４５のＮＯ）、受信した発話音声データを再生する（Ｓ５０４６）。
　ステップＳ５０４３（第２判定処理）において、同時接続上限数を超過していると判別された場合（Ｓ５０４３のＮＯ）、ステップＳ５０４７に進み、受信した発話音声データを破棄して再生を許容しないように制御する。
　図７は、本コミュニケーションシステムの制限全二重通信制御処理（Ｃ）を含む処理フローを示す図である。ステップＳ５０７ａの制限全二重通信制御処理（Ｃ）は、全二重通話による発話を終了する際の制御である。
　ユーザＡは、発話を終了する際、不図示の発話終了ボタンを押す（Ｓ５０５ａ）。発話終了ボタンは、グループ通話モードを実行している所定の画面に設けられたボタンである。
　制限全二重通信制御部５２１は、発話終了ボタンが押されたとき、送信チャネルを通じて終了フラグを管理装置１００に送信する（Ｓ５０６ａ）。このとき、制限全二重通信制御部５２１は、終了フラグを含む音声データを生成し、接続中の送信チャネルに乗せて終了フラグ付き音声データを管理装置１００に送信するように構成することができる。終了フラグ送信後、制限全二重通信制御部５２１は、送信チャネルを遮断する（Ｓ５０７ａ）。
　管理装置１００のグループ通話制御部１１２Ａは、終了フラグを受け付け、各ユーザ端末との間の通信チャネル（ユーザ端末５００側の受信チャネル）を通じて終了フラグを送信する（Ｓ１０６）。このとき、発話音声データの配信同様に、受信した終了フラグ付き音声データを、コミュニケーショングループ内の各ユーザ端末５００に同報配信することができる。
　制限全二重通信制御部５２１は、管理装置１００から終了フラグを受信したとき（Ｓ５０８１）、受信した終了フラグのユーザが全二重通話ログに存在することを確認する（Ｓ５０８２）。全二重通話ログに存在していると確認ができた後、制限全二重通信制御部５２１は、全二重通話ログから該当のユーザを削除して同時接続ユーザ数を「１」デクリメントする（Ｓ５０８３）。
（第２実施形態）
　図８から図１０は、第２実施形態を説明するための図であり、図８は、本実施形態の制限全二重通信制御の説明図であり、上記第１実施形態に対して、送信チャネルの確立及び遮断の制御が異なる。
　図８に示すように、本実施形態においても上記第１実施形態同様、発話者の発話音声データが、本人のユーザ端末５００にも一斉に配信される。そして、本実施形態では、ユーザＤが発話ボタンを押下したとき、制限制御を行わずに送信チャネルを確立して発話音声データを管理装置１００に送信するが、その後管理装置１００から受信する発話音声データを用いて、同時接続上限数に基づいて全二重通話に参加できるか否かを判定し、参加できないと判定された場合に、一旦確立していた送信チャネルを遮断して閉じるように制御する。
　図９は、本実施形態のコミュニケーションシステムの制限全二重通信制御（Ａ）－１を含む処理フローを示す図である。なお、以下の説明では、同じ機能等については上記第１実施形態と同符号を付してその説明を省略し、相違点を中心に説明する。
　ステップＳ５０６１ａの制限全二重通信制御（Ａ）－１は、送信チャネルを通じて自ら発した発話音声データを受信したとき、全二重通話ログに含まれる同時接続中のユーザに存在しない自身を新たに加算した後の同時接続ユーザ数が同時接続上限数を超過するか否かを判別し、同時接続上限数を超過すると判別された場合、発話ボタンの押下に伴って確立されていた送信チャネルを遮断するように制御する。
　図９に示すように、ログイン後の各ユーザ端末５００は、受信した同時接続上限数を記憶部５６０に記憶すると共に、グループ通話通信モードを開始し、管理装置１００との間で発話音声データの受信チャネルを確立する（Ｓ５０２ａ，Ｓ５０２ｂ，Ｓ５０２ｃ）。
　ユーザＡは、発話する際、不図示の発話ボタンを押す。ユーザ端末５００の制限全二重通話制御部５２１は、発話ボタンが押下されると（Ｓ５０３１ａ）、同時接続上限数と全二重通話ログとに基づく制限処理をここでは行わずに、発話ボタンの押下をトリガーに、一旦送信チャネルの確立処理を行う（Ｓ５０４１ａ）。そして、発話音声を集音し、発話音声データを管理装置１００に送信する（Ｓ５０５１ａ）。
　管理装置１００は、受け付けた発話音声データを、発話者本人を含むコミュニケーショングループ内の全てのユーザに、同報配信する（Ｓ１０５）。なお、発話音声データは、ユーザ識別情報を含む。
　ユーザ端末５００は、管理装置１００から発話音声データを受信する（Ｓ５６０１）。制限全二重通信制御部５２１は、受信した自分が発した発話音声データ及び他のユーザの発話音声データに基づいて全二重通話ログを更新する。
　制限全二重通信制御部５２１は、発話音声データを受信すると、受信した発話音声データが全二重通話ログに含まれる同時接続中のユーザか否かを判別する第１判定処理を行う（Ｓ５６０２）。第１判定処理において、受信した発話音声データのユーザが、全二重通話ログに存在するユーザであると判別された場合に（Ｓ５６０２ＹＥＳ）、ステップＳ５６０５に進む。同時接続ユーザとして既に参加し、その参加が維持されているユーザは、本人または他のユーザに関わらず、全二重通話ログによる制限判定を行わず、ステップＳ５６０５による再生可否の判定処理に進む。
　第１判定処理において全二重通話ログに存在しない新たなユーザと判別された場合（Ｓ５６０２のＮＯ）、新たなユーザを加算した後の同時接続ユーザ数が同時接続上限数を超過するか否か、つまり、新たなユーザを加算した後の同時接続ユーザ数が同時接続上限数以下であるか否かを判別する第２判定処理を行う（Ｓ５６０３）。
　第２判定処理において同時接続上限数を超過していないと判別された場合（Ｓ５６０３のＹＥＳ）、新たなユーザを加えて全二重通話ログを更新し（Ｓ５６０４）、新たなユーザが自身であれば（Ｓ５６０５のＹＥＳ）、受信した発話音声データを破棄して再生を許容しない（再生しない）ように制御する（Ｓ５６０７）。発話ボタンの押下に伴って確立されている送信チャネルは維持される（Ｓ５６０８）。新たなユーザが自分自身以外の他のユーザであれば（Ｓ５６０５のＮＯ）、受信した発話音声データの再生を許容するように制御する（Ｓ５６０６）。
　第２判定処理において同時接続上限数を超過していると判別された場合（Ｓ５６０３のＮＯ）、受信した発話音声データを破棄して再生を許容しないように制御するとともに、新たなユーザが自分自身であれば（Ｓ５６０９のＹＥＳ）、発話ボタンが押されたことに伴って一旦確立していた送信チャネルを遮断し（Ｓ５６１１）、送信チャネルの確立を許容しないように制御する。このとき、上記第１実施形態同様に、同時通話に参加できない旨のメッセージを音声出力するように構成することができる（Ｓ５６１０）。ステップＳ５６０９において、自分自身以外の他のユーザの発話音声データである場合は（Ｓ５６０９のＮＯ）、送信チャネルの遮断制御等に関係なく、受信した発話音声データを破棄して再生しないように制御する。
　図１０に示した制限全二重通信制御（Ａ）－１は、図５の制限全二重通信制御（Ａ）と図６の制限全二重通信制御（Ｂ）の双方の処理に相当するものである。また、図７の制限全二重通信制御（Ｃ）については、本実施形態においても同様に適用される。
　図１０は、本実施形態の制限全二重通信制御の全二重通話ログ更新と制限制御を説明するための図である。図１０の例において、ユーザ１が発話ボタンを押して発話すると、ユーザ１を含む全てのユーザに発話音声データが、管理装置１００から配信される。ユーザ１からユーザ７の各ユーザ端末５００は、制限全二重通信制御（Ａ）－１を経て、さらに自分自身の発話音声データであれば再生せず、自分以外の発話音声データであれば再生する。
　ユーザ１の発話音声データを受信すると、全二重通話ログの同時接続ユーザに「ユーザ１」が追加され、かつ同時接続ユーザ数が「１」に更新される。続いて、ユーザ３が発話ボタンを押下して発話すると、ユーザ３を含む全てのユーザに発話音声データが、管理装置１００から配信され、同様に、制限全二重通信制御（Ａ）－１を経て、ユーザ３の発話音声データの受信に伴い、全二重通話ログの同時接続ユーザに「ユーザ３」が追加されて、かつ同時接続ユーザ数が「２」に更新される。その後、ユーザ６も発話ボタンを押下した発話すると、ユーザ６を含む全てのユーザに発話音声データが、管理装置１００から配信され、制限全二重通信制御（Ａ）－１を経て、ユーザ６の発話音声データの受信に伴い、全二重通話ログの同時接続ユーザに「ユーザ６」が追加されて、かつ同時接続ユーザ数が「３」に更新される。
　同時接続上限数は「３」に設定されている場合、この時点でユーザ１，ユーザ３及びユーザ６が全二重通話に参加しており、上限に達している状態である。上限に達している状態でユーザ４が発話ボタンを押下して発話すると、ユーザ４のユーザ端末５００は、一旦送信チャネルを確立してユーザ４の発話音声データを管理装置１００に送信するが、管理装置１００から配信される発話音声データを受信すると、各ユーザ端末５００側での制限全二重通信制御（Ａ）－１により、ユーザ４の発話音声データの破棄及び再生ＮＧ制御が行われ、ユーザ４自身のユーザ端末５００は、管理装置１００に対する送信チャネルを閉じる。そして、全二重通話に参加できない旨のエラーメッセージを流す。
　一方、全二重通話に参加していたユーザ３が、発話終了ボタンを押下すると、制限全二重通信制御部５２１は、送信チャネルを通じて終了フラグ付き音声データを管理装置１００に送信する。フラグ送信後、制限全二重通信制御部５２１は、送信チャネルを遮断する。
　管理装置１００は、受け付けた終了フラグ付き音声データをコミュニケーショングループ内のユーザ３を含む全てのユーザ端末５００に同報配信する。各ユーザ端末５００は、受信した終了フラグのユーザを、全二重通話ログから削除して同時接続ユーザ数を「１」デクリメントする。図１０に示すように、ユーザ３の発話終了に伴い、全二重通話ログの同時接続ユーザが「ユーザ１，ユーザ６」となり、同時接続ユーザ数が「２」に更新されている。
　なお、本実施形態及び上記第１実施形態において、図７の発話終了ボタンの押下に伴って送信チャネルを遮断するタイミングは、終了フラグ付き音声データの送信とセットではなく、例えば、自分自身を含んで管理装置１００から終了フラグ付き音声データを受信したことをトリガーとして、確立していた送信チャネルの遮断処理を行うように構成してもよい。
（第３実施形態）
　図１１から図１６は、第３実施形態を説明するための図である。本実施形態は、上記第１実施形態及び第２実施形態のコミュニケーションシステムが、コミュニケーション履歴を蓄積し、各ユーザ端末５００においてコミュニケーション履歴を表示させる機能を備えた態様である。なお、以下の説明では、同じ機能等については上記第１，第２実施形態と同符号を付してその説明を省略し、相違点を中心に説明する。
　図１１は、本実施形態のコミュニケーションシステムの機能ブロックを示す図であり、音声認識部１１３、コミュニケーション履歴情報１２４、及び音声認識辞書１２５が追加されている。本実施形態では、管理装置１００が受け付けたユーザの発話音声を音声認識処理した音声認識結果（発話テキスト）を、コミュニケーション履歴として蓄積しつつ、コミュニケーショングループ内の各ユーザ端末５００に、コミュニケーション履歴を同期して表示させる機能を提供する。
　管理装置１００のグループ通話制御部１１２Ａは、上述したユーザによる発話音声データの同報配信制御に加え、その発話内容のテキスト情報（発話音声データを音声認識処理して得られたテキスト情報）を複数の各ユーザ端末５００に一斉に送る同報配信制御を行う。
　このため、グループ通話制御部１１２Ａは、第１制御部と第２制御部とを備え、第１制御部は、上述した、一のユーザ端末５００から受信した発話音声データをコミュニケーショングループ内の複数のユーザ端末５００それぞれに同報配信制御を行う。第２制御部は、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、ユーザ同士のコミュニケーション履歴１２４として時系列に蓄積するとともに、発話したユーザのユーザ端末５００を含む全てのユーザ端末５００においてコミュニケーション履歴１２４が同期して表示されるようにテキスト配信制御を行う。
　つまり、ユーザ端末５００において再生される音声は、すべてテキスト化されてコミュニケーション履歴１２４に時系列に蓄積され、各ユーザ端末５００において同期して表示される。音声認識部１１３は、音声認識辞書１２５を用いて音声認識処理を行い、発話音声認識結果としてテキストデータを出力する。音声認識処理については公知の技術を適用することができる。
　コミュニケーション履歴情報１２４は、各ユーザの発話内容が時間情報と共に、テキストベースで時系列に蓄積されたログ情報である。なお、各テキストに対応する音声データは、音声ファイルとして所定の記憶領域に格納してもよく、この場合、コミュニケーション履歴１２４には、音声ファイルの格納場所も記録される。コミュニケーション履歴情報１２４は、コミュニケーショングループ別にそれぞれ生成され、蓄積される。
　図１２は、各ユーザ端末５００で表示されるコミュニケーション履歴１２４の一例を示す図である。ユーザ端末５００それぞれは、管理装置１００からリアルタイムに又は所定のタイミングでコミュニケーション履歴１２４を受信し、複数のユーザ間で表示同期が取られる。各ユーザは、時系列に過去のコミュニケーションログを参照することができる。
　図１２の例のように、各ユーザ端末５００は、自分の発話内容及び自分以外の他のユーザの発話内容が表示欄Ｄに時系列に表示され、管理装置１００に蓄積されるコミュニケーション履歴１２４がログ情報として共有される。なお、表示欄Ｄにおいて、ユーザ自身の発話音声に対応するテキストには、マイクマークＨを表示し、発話者以外の他のユーザに対しては、マイクマークＨの代わりに、表示欄ＤにおいてスピーカーマークＭを表示したりすることができる。
　このような音声認識技術を用いたテキスト化及び表示技術は、複数のユーザで全二重通話による双方向対話している場合、各ユーザの発話音声が完了するのを待って、音声認識処理を行い、テキスト化することが考えられる。しかしながら、対話中の「発話のキャッチボール」を識別せずに、各ユーザの発話開始から終了までの音声データそれぞれを、単に音声認識してしまうと、図１３の例のように、複数ユーザ間の「発話のキャッチボール」を理解することができない状態となる。
　対話中の発話のキャッチボールを考慮したコミュニケーション履歴の表示を行うためには、図１４の例のように、音声認識処理又は音声認識結果を、双方向の発話の時系列情報に基づいて細分化する必要がある。特に、対話が長ければ長いほど、図１３の例のように対話を理解することが難しい音声認識結果となってしまうため、全二重通話では、特に、双方向の発話の時系列性を考慮した、言い換えれば、複数ユーザ間の発話のキャッチボールを考慮した音声認識処理及びテキスト表示を行う必要がある。
　そこで、本実施形態のコミュニケーション制御部１１２は、全二重通話で同時接続中の各ユーザから受信する連続した音声データにおいて、一のユーザの隣り合う発話の間隔が所定時間以上離間している場合、隣り合う発話の各発話音声認識結果が分離した状態でユーザ端末５００に表示されるように制御し、隣り合う発話の間隔が所定時間未満であれば、隣り合う発話の各発話音声認識結果を分離せずに表示されるように制御する。
　そして、複数のユーザの発話音声が混在する区間において、受信した各ユーザの発話開始時刻順に、ユーザ別の発話音声認識結果が吹き出し表示されるように制御する。
　このように構成することで、図１４の例のように、複数ユーザによる全二重通話のコミュニケーション履歴が理解しやすい形で、各ユーザ端末に提供することができる。
　図１５は、本実施形態の音声認識結果に基づく表示処理を説明するための図である。説明の便宜上、発話開始から発話終了までの区間を、１マス１秒で表し、マス内の英字は、発話音声に対応する音声認識結果を示している。図１６も同様である。
　図１５において、発話開始時刻から発話音声が記録され、時間を空けてまた発話音声が記憶される。これは、全二重通話における発話のキャッチボールであり、自分が発話し、それに対して相手の発話を聞き、聞いた相手の発話に対してさらに自分が発話する。図１５の例では、自分の発話が英字で表現され、相手の発話を聞いている状態を空欄で表現している。
　本実施形態では、発話開始から発話終了までの間に複数点在する発話の間隔に設定値を設ける。例えば、６秒を設定することができる。なお、設定値の秒数は任意である。そして、隣り合う発話の間隔が６秒以上離間している場合、隣り合う発話の各発話音声認識結果を分離し、６秒未満であれば、分離せずに一括する（隣り合う発話を一緒にする）。このような区画制御を行い、区画された領域で、発話音声認識結果が時系列に吹き出し表示されるように制御する。
　図１６は、複数ユーザの会話が重なり合う領域を含む音声認識結果に基づく表示処理を説明するための図である。
　図１６においても同様であり、各ユーザＡ，Ｂ，Ｃが、全二重通話で対話し、各ユーザ別に、発話開始から発話終了までに間隔を空けて複数点在する各発話を、設定値を用いて区画する。区画された各発話の開始時刻に基づいて、各ユーザＡ，Ｂ，Ｃの発話吹き出しを時系列に並べて表示するように制御する。
　以上、実施形態について説明したが、コミュニケーション管理装置１００及びユーザ端末５００の各機能は、プログラムによって実現可能であり、各機能を実現するために予め用意されたコンピュータプログラムが補助記憶装置に格納され、ＣＰＵ等の制御部が補助記憶装置に格納されたプログラムを主記憶装置に読み出し、主記憶装置に読み出された該プログラムを制御部が実行することで、各部の機能を動作させることができる。
　また、上記プログラムは、コンピュータ読取可能な記録媒体に記録された状態で、コンピュータに提供することも可能である。コンピュータ読取可能な記録媒体としては、ＣＤ－ＲＯＭ等の光ディスク、ＤＶＤ－ＲＯＭ等の相変化型光ディスク、ＭＯ（Magnet Optical）やＭＤ(Mini Disk)などの光磁気ディスク、フロッピー（登録商標）ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ（登録商標）、スマートメディア、SDメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路（ICチップ等）等のハードウェア装置も記録媒体として含まれる。
　なお、本発明の実施形態を説明したが、当該実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１００　コミュニケーション管理装置
１１０　制御装置
１１１　ユーザ管理部
１１２　コミュニケーション制御部
１１２Ａ　グループ通話制御部
１１３　音声認識部
１２０　記憶装置
１２１　ユーザ情報
１２２　グループ情報
１２３　同時接続上限数
１２４　コミュニケーション履歴情報
１２５　音声認識辞書
１３０　通信装置
５００　ユーザ端末（移動通信端末）
５１０　通信・通話部
５２０　コミュニケーションＡｐｐ制御部
５２１　制限全二重通信制御部
５３０　マイク（集音部）
５４０　スピーカー（音声出力部）
５５０　表示・入力部
５６０　記憶部
Ｄ　表示欄
 

Claims (11)

  1. 　コミュニケーショングループ内の複数の各ユーザがそれぞれ携帯する移動通信端末と、移動通信端末から受信した発話音声データをコミュニケーショングループ内の各移動通信端末に同報配信するコミュニケーションサーバと、を有するコミュニケーションシステムであって、
    　前記移動通信端末は、
    　前記コミュニケーションサーバから送信される発話音声データの受信チャネルを確立してグループ通話通信モードを実行するとともに、前記グループ通話通信モード中に発話ボタンが押されたとき、確立中の受信チャネルとは別に前記コミュニケーションサーバに発話音声データを送信するための送信チャネルを確立し、自分の発話音声データの送信とコミュニケーショングループ内の発話音声データの受信とを双方向で同時に行う通信部と、
    　コミュニケーショングループ内の全二重通信による同時接続制限数と、同時接続中のユーザ及び同時接続ユーザ数を含む全二重通話ログと、を記憶する記憶部と、
    　前記全二重通話ログと前記同時接続上限数とに基づいて、前記送信チャネルの確立を許容しない制限全二重通信制御を行う制限全二重通信制御部と、
    　を有することを特徴とするコミュニケーションシステム。
  2. 　前記制限全二重通信制御部は、
    　前記コミュニケーションサーバから受信するコミュニケーショングループ内の発話音声データに基づいて前記全二重通話ログを更新し、
    　前記発話ボタンが押されたときに、前記全二重通話ログに含まれる同時接続中のユーザに存在しない自身を新たに加算した後の同時接続ユーザ数が前記同時接続上限数を超過するか否かを判別し、前記同時接続上限数を超過すると判別された場合、前記発話ボタンの押下に伴う前記送信チャネルの確立処理を行わないように制御することを特徴とする請求項１に記載のコミュニケーションシステム。
  3. 　前記制限全二重通信制御部は、
    　前記コミュニケーションサーバから発話音声データを受信したとき、受信した発話音声データが前記全二重通話ログに含まれる同時接続中のユーザか否かを判別する第１判定処理と、前記第１判定処理において前記全二重通話ログに存在しない新たなユーザと判別された場合に、前記新たなユーザを加算した後の同時接続ユーザ数が前記同時接続上限数を超過するか否かを判別する第２判定処理と、を行い、
    　前記第２判定処理において前記同時接続上限数を超過していないと判別された場合、前記新たなユーザを加えて前記全二重通話ログを更新するとともに、前記新たなユーザが自身であれば、受信した発話音声データを破棄して再生を許容しないように制御し、
    　前記同時接続上限数を超過していると判別された場合、受信した前記発話音声データを破棄して再生を許容しないように制御することを特徴とする請求項２に記載のコミュニケーションシステム。
  4. 　前記制限全二重通信制御部は、
    　前記送信チャネルを通じて自ら発した発話音声データを、前記コミュニケーションサーバから受信したとき、前記全二重通話ログに含まれる同時接続中のユーザに存在しない自身を新たに加算した後の同時接続ユーザ数が前記同時接続上限数を超過するか否かを判別し、前記同時接続上限数を超過すると判別された場合、前記発話ボタンの押下に伴って確立されていた前記送信チャネルを遮断することを特徴とする請求項１に記載のコミュニケーションシステム。
  5. 　前記制限全二重通信制御部は、
    　コミュニケーションサーバから受信した自分が発した発話音声データ及び他のユーザの発話音声データに基づいて前記全二重通話ログを更新し、
    　前記コミュニケーションサーバから発話音声データを受信したとき、受信した発話音声データが前記全二重通話ログに含まれる同時接続中のユーザか否かを判別する第１判定処理と、前記第１判定処理において前記全二重通話ログに存在しない新たなユーザと判別された場合に、前記新たなユーザを加算した後の同時接続ユーザ数が前記同時接続上限数を超過するか否かを判別する第２判定処理と、を行い、
    　前記第２判定処理において前記同時接続上限数を超過していないと判別された場合、前記新たなユーザを加えて前記全二重通話ログを更新するとともに、前記新たなユーザが自身であれば、受信した発話音声データを破棄して再生を許容しないように制御しつつ、前記発話ボタンが押されたことに伴って確立されていた前記送信チャネルをそのまま維持し、前記新たなユーザが自身以外のユーザであれば、受信した前記発話音声データの再生を許容し、
    　前記同時接続上限数を超過していると判別された場合、受信した前記発話音声データを破棄して再生を許容しないように制御するとともに、前記新たなユーザが自身であれば、前記発話ボタンが押されたことに伴って確立されていた前記送信チャネルを遮断する、
    　ことを特徴とする請求項４に記載のコミュニケーションシステム。
  6. 　前記制限全二重通信制御部は、前記送信チャネルの確立を許容しない場合、同時通話に参加できない旨のメッセージを出力することを特徴とする請求項１から５のいずれか１つに記載のコミュニケーションシステム。
  7. 　前記制限全二重通信制御部は、発話終了ボタンが押されたとき、前記送信チャネルを通じて終了フラグを前記コミュニケーションサーバに送信するとともに、前記送信チャネルを遮断し、
    　前記制限全二重通信制御部は、前記コミュニケーションサーバから前記終了フラグを受信したとき、受信した前記終了フラグのユーザを前記全二重通話ログから削除して前記同時接続ユーザ数をデクリメントすることを特徴とする請求項１から６のいずれか１つに記載のコミュニケーションシステム。
  8. 　前記制限全二重通信制御部は、前記発話終了ボタンが押されたとき、前記終了フラグを含む音声データを生成し、接続中の前記送信チャネルに乗せて終了フラグ付き音声データを前記コミュニケーションサーバに送信し、
    　前記コミュニケーションサーバは、受信した前記終了フラグ付き音声データを、コミュニケーショングループ内の前記各移動通信端末に同報配信する、
    　ことを特徴とする請求項７に記載のコミュニケーションシステム。
  9. 　前記コミュニケーションサーバは、
    　前記移動通信端末から受信した発話音声データをコミュニケーショングループ内の前記移動通信端末それぞれに同報配信する第１処理と、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、コミュニケーション履歴として時系列に蓄積するとともに、前記各移動通信端末において前記コミュニケーション履歴が同期して表示されるようにテキスト配信制御を行う第２処理と、を行うコミュニケーション制御部を有し、
    　前記コミュニケーション制御部は、
    　同時接続中の各ユーザから受信する連続した音声データにおいて、一のユーザの隣り合う発話の間隔が所定時間以上離間している場合、隣り合う発話の各発話音声認識結果が分離した状態で前記移動通信端末に表示されるように制御し、隣り合う発話の間隔が所定時間未満であれば、隣り合う発話の各発話音声認識結果を分離せずに表示されるように制御し、
    　複数のユーザの発話が混在する区間において、コミュニケーションサーバが受信した各ユーザの発話開始時刻順に、ユーザ別の発話音声認識結果が吹き出し表示されるように制御することを特徴とする請求項１から８のいずれか１つに記載のコミュニケーションシステム。
  10. 　コミュニケーショングループ内の複数の各ユーザがそれぞれ携帯する移動通信端末を通じた発話音声が、コミュニケーションサーバを介してコミュニケーショングループ内の各移動通信端末に同報配信されるコミュニケーションシステムにおける前記移動通信端末によって実行されるプログラムであって、
    　前記コミュニケーションサーバから送信される発話音声データの受信チャネルを確立してグループ通話通信モードを実行するとともに、前記グループ通話通信モード中に発話ボタンが押されたとき、確立中の受信チャネルとは別に前記コミュニケーションサーバに発話音声データを送信するための送信チャネルを確立し、自分の発話音声データの送信とコミュニケーショングループ内の発話音声データの受信とを双方向で同時に行う第１機能と、
    　コミュニケーショングループ内の全二重通信による同時接続制限数と、同時接続中のユーザ及び同時接続ユーザ数を含む全二重通話ログと、を記憶する第２機能と、
    　前記全二重通話ログと前記同時接続上限数とに基づいて、前記送信チャネルの確立を許容しない制限全二重通信制御を行う第３機能と、
    　を実現させるためのプログラム。
  11. 　コミュニケーショングループ内の複数の各ユーザがそれぞれ携帯する移動通信端末を通じた発話音声が、コミュニケーションサーバを介してコミュニケーショングループ内の各移動通信端末に同報配信されるコミュニケーションシステムで利用される前記移動通信端末であって、
    　前記コミュニケーションサーバから送信される発話音声データの受信チャネルを確立してグループ通話通信モードを実行するとともに、前記グループ通話通信モード中に発話ボタンが押されたとき、確立中の受信チャネルとは別に前記コミュニケーションサーバに発話音声データを送信するための送信チャネルを確立し、自分の発話音声データの送信とコミュニケーショングループ内の発話音声データの受信とを双方向で同時に行う通信部と、
    　コミュニケーショングループ内の全二重通信による同時接続制限数と、同時接続中のユーザ及び同時接続ユーザ数を含む全二重通話ログと、を記憶する記憶部と、
    　前記全二重通話ログと前記同時接続上限数とに基づいて、前記送信チャネルの確立を許容しない制限全二重通信制御を行う制限全二重通信制御部と、
    　を有することを特徴とする移動通信端末。
     
PCT/JP2021/044616 2021-01-06 2021-12-06 コミュニケーションシステム Ceased WO2022149385A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/259,303 US20240056279A1 (en) 2021-01-06 2021-12-06 Communication system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-000968 2021-01-06
JP2021000968A JP7529267B2 (ja) 2021-01-06 2021-01-06 コミュニケーションシステム

Publications (1)

Publication Number Publication Date
WO2022149385A1 true WO2022149385A1 (ja) 2022-07-14

Family

ID=82357672

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/044616 Ceased WO2022149385A1 (ja) 2021-01-06 2021-12-06 コミュニケーションシステム

Country Status (3)

Country Link
US (1) US20240056279A1 (ja)
JP (1) JP7529267B2 (ja)
WO (1) WO2022149385A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005184852A (ja) * 2005-01-06 2005-07-07 Fujitsu Ltd 音声対話システム
JP2006033430A (ja) * 2004-07-16 2006-02-02 Hitachi Kokusai Electric Inc デジタル移動無線システム
JP2006324832A (ja) * 2005-05-18 2006-11-30 Nec Corp グループ通信システム、サーバ装置、端末装置及びそれらに用いるフロア制御方法並びにそのプログラム
JP2008227592A (ja) * 2007-03-08 2008-09-25 Sanyo Electric Co Ltd 移動体通信機、通信システム、及び通信方法
JP2021082953A (ja) * 2019-11-19 2021-05-27 アイコム株式会社 音声通信システム、音声通信方法、および、音声通信プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010033569A (ja) * 2009-07-13 2010-02-12 Pioneer Electronic Corp ネットワーク会議システムの情報発信権限の管理方法
KR101943989B1 (ko) * 2015-06-05 2019-01-30 삼성전자주식회사 데이터를 송수신하는 방법, 서버 및 단말기
CN114567747B (zh) * 2020-11-27 2024-12-17 北京新媒传信科技有限公司 一种会议数据传输方法及会议系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033430A (ja) * 2004-07-16 2006-02-02 Hitachi Kokusai Electric Inc デジタル移動無線システム
JP2005184852A (ja) * 2005-01-06 2005-07-07 Fujitsu Ltd 音声対話システム
JP2006324832A (ja) * 2005-05-18 2006-11-30 Nec Corp グループ通信システム、サーバ装置、端末装置及びそれらに用いるフロア制御方法並びにそのプログラム
JP2008227592A (ja) * 2007-03-08 2008-09-25 Sanyo Electric Co Ltd 移動体通信機、通信システム、及び通信方法
JP2021082953A (ja) * 2019-11-19 2021-05-27 アイコム株式会社 音声通信システム、音声通信方法、および、音声通信プログラム

Also Published As

Publication number Publication date
JP2022106164A (ja) 2022-07-19
JP7529267B2 (ja) 2024-08-06
US20240056279A1 (en) 2024-02-15

Similar Documents

Publication Publication Date Title
US7742587B2 (en) Telecommunications and conference calling device, system and method
US20190361663A1 (en) Teleconference recording management system
CN1917537B (zh) 一种实现一键通业务的方法和系统
US20210250391A1 (en) System and method for multi-party communication of trending topics
WO2021172124A1 (ja) コミュニケーション管理装置及び方法
US8144893B2 (en) Mobile microphone
US12388883B2 (en) General incident response system
EP3665910B1 (en) Online automatic audio transcription for hearing aid users
US20210250392A1 (en) System and method for multi-party communication
US7433716B2 (en) Communication apparatus
US8452026B2 (en) Mobile microphone system and method
WO2022024778A1 (ja) コミュニケーションシステム及び評価方法
US12250253B2 (en) User location-based collaboration
EP2974224A2 (en) System and method for multi-party communication
JP7545713B2 (ja) コミュニケーションシステム
US20250247438A1 (en) Identification of client device location during emergency
WO2015078105A1 (zh) 一种同步课堂音频处理方法及系统
JP2006140542A (ja) 多地点通話システム、音量調整装置、携帯端末装置及びそれらに用いる音量調整方法並びにそのプログラム
JP7529267B2 (ja) コミュニケーションシステム
WO2021172125A1 (ja) コミュニケーションシステム
WO2021153438A1 (ja) コミュニケーション管理装置及び方法
US10362453B2 (en) PTT communication method and apparatus through multiple PTT channels
US20090280740A1 (en) Audience and speaker interactive communications system
JP7500057B2 (ja) コミュニケーション管理装置及び方法
KR100630125B1 (ko) Ｐｔｔ콜 중재방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21917606

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18259303

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21917606

Country of ref document: EP

Kind code of ref document: A1