WO2021153438A1 - コミュニケーション管理装置及び方法 - Google Patents

コミュニケーション管理装置及び方法 Download PDF

Info

Publication number
WO2021153438A1
WO2021153438A1 PCT/JP2021/002181 JP2021002181W WO2021153438A1 WO 2021153438 A1 WO2021153438 A1 WO 2021153438A1 JP 2021002181 W JP2021002181 W JP 2021002181W WO 2021153438 A1 WO2021153438 A1 WO 2021153438A1
Authority
WO
WIPO (PCT)
Prior art keywords
communication
utterance
agent
text
mobile communication
Prior art date
Application number
PCT/JP2021/002181
Other languages
English (en)
French (fr)
Inventor
篤 掛村
涼太 吉澤
祐太郎 佐伯
Original Assignee
株式会社 東芝
東芝デジタルソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020112961A external-priority patent/JP7500057B2/ja
Application filed by 株式会社 東芝, 東芝デジタルソリューションズ株式会社 filed Critical 株式会社 東芝
Priority to US17/759,248 priority Critical patent/US20230054530A1/en
Priority to CN202180007237.0A priority patent/CN114846781A/zh
Publication of WO2021153438A1 publication Critical patent/WO2021153438A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H04W4/14—Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42382—Text-based messaging services in telephone networks such as PSTN/ISDN, e.g. User-to-User Signalling or Short Message Service for fixed networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38—Displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/39—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech synthesis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/20—Aspects of automatic or semi-automatic exchanges related to features of supplementary services
    • H04M2203/205—Broadcasting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Definitions

  • An embodiment of the present invention relates to a communication (recognition sharing, communication, etc.) assisting technique using voice and text.
  • the transceiver is a radio that has both a radio wave transmission function and a reception function, and one user can make a call (one-way or two-way information transmission) with a plurality of users. Examples of the use of transceivers can be seen at construction sites, event venues, facilities such as hotels and inns. In addition, taxi radio can be mentioned as an example of transceiver utilization.
  • the purpose is to form a communication group that includes agents that transmit state or situation changes, and to provide a communication system that supports information transmission between multiple users.
  • the voice spoken by the user is broadcast to the mobile communication terminal of another user through the mobile communication terminal carried by each of the plurality of users.
  • the communication system includes a communication management device to which each mobile communication terminal is connected by wireless communication, and an agent device to which detection information output from a state detection device to be monitored is input and connected to the communication management device.
  • the communication management device has a first control unit that broadcasts utterance voice data received from a mobile communication terminal to each of a plurality of other mobile communication terminals, and a utterance voice obtained by voice recognition processing of the received utterance voice data.
  • a communication control having a second control unit that accumulates the recognition results as a communication history between users in time series and controls text distribution so that the communication history is displayed in synchronization with each mobile communication terminal. It has a part.
  • the agent device includes an utterance text transmission unit that generates an agent utterance text based on the detection information and transmits the agent utterance text to the communication management device. Then, the communication control unit broadcasts the synthetic voice data of the agent utterance text generated by the synthetic voice processing to each of the plurality of mobile communication terminals, and distributes the received agent utterance text between users. It is included in the communication history, accumulated in time series, and text distribution control is performed to each mobile communication terminal.
  • FIG. 1 is a network configuration diagram of a communication system according to the present embodiment.
  • the communication system provides an information transmission support function using voice and text, centering on a communication management device (hereinafter referred to as a management device) 100.
  • a management device hereinafter referred to as a management device 100.
  • a mode in which the communication system is applied will be described using facility management as an example.
  • a user terminal (mobile communication terminal) 500 carried by each of a plurality of users is connected by wireless communication, and the user's uttered voice is broadcast to another user terminal 500.
  • the user terminal 500 is, for example, a portable mobile terminal (mobile terminal) such as a multifunctional mobile phone such as a smartphone, a PDA (Personal Digital Assistant), or a tablet terminal.
  • the user terminal 500 has a communication function, a calculation function, and an input function, and connects to the management device 100 by wireless communication through an IP (Internet protocol) network or a mobile communication network (Mobile communication network) to perform data communication.
  • IP Internet protocol
  • Mobile communication network Mobile communication network
  • the range in which the user's utterance voice is broadcast to a plurality of other user terminals 500 is set as a communication group, and the user of the target user (field user). Each of the terminals 500 is registered. Then, as shown in FIG. 1, in the present embodiment, the detection information output from the state detection device (sensor device 1) to be monitored in the facility management is input and connected to the management device 100 by wireless communication or wired communication.
  • the agent device 300 is registered as a member (agent) of a communication group in which a plurality of users are registered.
  • the state of the hot spring is, for example, the temperature.
  • the state detection device is a measuring device such as a temperature sensor 1.
  • the temperature sensor 1 outputs the detected temperature to the agent device 300 as detection information.
  • the agent device 300 generates an agent utterance text based on the detection temperature and transmits it to the management device 100. That is, the agent device 300 is a device that speaks based on the detection information as a member in the communication group similar to the user carrying the user terminal 500, and is positioned as an utterance agent that speaks in place of the state detection device. ..
  • the agent device 300 is a desktop computer, a tablet computer, or a laptop computer.
  • the agent device 300 has a data communication function and a calculation function (CPU or the like) in wireless communication or wired communication through an IP network or a mobile communication line network.
  • the agent device 300 can be configured to include a display device (or a touch panel type display device) and character input means.
  • the agent device 300 may be a dedicated device having each function of the present embodiment.
  • the communication system of this embodiment supports information transmission for recognition sharing and communication on the premise that each of a plurality of users can have a hands-free dialogue.
  • a communication group including an agent for transmitting the state or situation change of the monitored object in facility management is formed, and the information acquisition and transmission of the state or situation change of the monitored object, which has been performed manually until now by the utterance function of the agent, is formed. Support efficiency.
  • facility management is supported by human labor, and there is always work to operate and control equipment. It is necessary to continuously check the state and status of the equipment and perform such operation and control of the equipment, and for that purpose, the user visits the equipment to check the status and the state detection device. You have to visit the installation site to check the detection information. Therefore, a great deal of labor was required.
  • IoT Internet of Things
  • a sensor device or the like that outputs detection information for grasping the state or status of the equipment makes an utterance based on the detection information as a member of the user communication group. Introduce a mechanism to do this and reduce the labor of the user.
  • a simple and low-cost system that allows users to easily join a user communication group simply by installing an agent device 300 that receives detection information at the site of equipment management for status detection devices such as existing sensor devices. Realize the configuration.
  • FIG. 2 is a block diagram of each of the management device 100, the agent device 300, and the user terminal 500.
  • the management device 100 includes a control device 110, a storage device 120, and a communication device 130.
  • the communication device 130 manages communication connection and data communication control with each of the plurality of user terminals 500, and simultaneously sends utterance voices and utterance texts having the same contents to each of the plurality of user terminals 500. conduct.
  • the control device 110 includes a user management unit 111, a communication control unit 112, a voice recognition unit 113, and a voice synthesis unit 114.
  • the storage device 120 includes user information 121, group information 122, communication history (communication log) information 123, a voice recognition dictionary 124, and a voice synthesis dictionary 125.
  • the agent device 300 is wirelessly or wiredly connected to a state detection device (sensor device 1) provided in the equipment to be managed, and is a sensor information acquisition unit that receives detection information output from the state detection device via the communication unit 310. It is equipped with 320. Further, it includes a control unit (determination unit) 330, an utterance text transmission unit 340, a setting management unit 350, and a storage unit 360.
  • the user terminal 500 includes a communication / call unit 510, a communication application control unit 520, a microphone 530, a speaker 540, a display input unit 550 such as a touch panel, and a storage unit 560.
  • the speaker 540 is actually composed of earphones, headphones (wired or wireless), or the like.
  • FIG. 3 is a diagram showing an example of various information, and user information 121 is user registration information for using this communication system.
  • the user management unit 111 controls so that a user ID, a user name, an attribute, and a group can be set through a predetermined management screen.
  • the agent device 300 is also registered as a user.
  • the group information 122 is group identification information for partitioning a communication group. Transmission / reception and broadcast distribution of transmitted information are controlled for each communication group ID, and information is controlled so as not to be mixed between different communication groups.
  • the communication group registered in the group information 122 can be associated with each user.
  • the user management unit 111 of the present embodiment is targeted for the first control (broadcast distribution of utterance voice data) and the second control (agent utterance text and / and text broadcast distribution of the user's utterance voice recognition result) described later.
  • the function of registering the agent device 300 in the communication group is provided while providing the function of setting the communication group in which a plurality of users are registered.
  • the facility can be divided into a plurality of departments and managed according to the facility or the like in which the communication system of the present embodiment is introduced. For example, taking accommodation facilities as an example, it is possible to set bell persons (cargo carrying), concierge, and housekeeping (cleaning) in different groups, and build a communication environment in which guest room management is subdivided for each group. can. From another point of view, there may be cases where communication is not necessary in terms of role. For example, a food caterer and a bell person (carrying luggage) can be divided into groups because they do not need to communicate directly. In addition, there may be cases where communication is not necessary geographically. For example, when the A branch, the B branch, etc. are geographically separated and it is not necessary to communicate frequently, the groups can be divided.
  • various communication groups such as a communication group in which the agent device 300 is registered, a communication group in which the agent device 300 is not registered, and a communication group in which a plurality of agent devices 300 are registered can be set in a mixed manner. If there are multiple equipment to be managed in the facility, the agent device 300 can be installed individually for each equipment, and even if the equipment is the same, if multiple status detection equipment is installed, It is also possible to install the agent device 300 for each state detection device and register it in one communication group.
  • the communication control unit 112 of the management device 100 functions as each control unit of the first control unit and the second control unit.
  • the first control unit performs broadcast distribution control of the utterance voice data received from the user terminal 500 to each of the other plurality of user terminals 500.
  • the second control unit accumulates the utterance voice recognition result obtained by voice recognition processing of the received utterance voice data as the communication history 123 between users in chronological order, and the communication history 123 synchronizes with each user terminal 500. Text distribution is controlled so that it is displayed.
  • the function as the first control unit is the broadcast distribution of spoken voice data.
  • the uttered voice data includes voice data artificially generated from a text (for example, an agent uttered text) by a voice synthesis process and voice data uttered by a user.
  • the voice synthesis unit 114 uses the voice synthesis dictionary 125 to synthesize voice data corresponding to the characters of the agent utterance text, and generates voice synthesis data.
  • the material of the voice data constituting the voice synthesis data is arbitrary.
  • the function as the second control unit is the text broadcast distribution of the agent utterance text and the user's utterance voice recognition result.
  • the voice input by the user terminal 500 and the voice reproduced by the user terminal 500 are all converted into text and accumulated in the communication history 123 in chronological order, and are displayed synchronously in each user terminal 500. Is controlled.
  • the voice recognition unit 113 performs voice recognition processing using the voice recognition dictionary 124 and outputs text data as the utterance voice recognition result.
  • a known technique can be applied to the voice recognition process.
  • the agent device 300 includes an utterance text transmission unit 340 that generates an agent utterance text based on the detection information output from the state detection device and transmits it to the management device 100.
  • the communication control unit 112 of the management device 100 performs synthetic voice processing on the agent utterance text received from the utterance text transmission unit 340 to generate synthetic voice data of the agent utterance text, and a plurality of them. Broadcast to each of the user terminals 500 of.
  • the agent utterance text received from the utterance text transmission unit 340 is included in the communication history 123 between users and accumulated in a time series, and the text distribution control to each user terminal 500 is performed. ..
  • the communication history information 123 is log information in which the utterance contents of each user and the agent utterance text of the agent device 300 are accumulated in time series on a text basis together with time information.
  • the voice data corresponding to each text can be stored as a voice file in a predetermined storage area. For example, the storage location of the voice file is recorded in the communication history 123.
  • the communication history information 123 is generated and accumulated for each communication group.
  • FIG. 4 is a diagram showing an example of the communication history 123 displayed on each user terminal 500.
  • Each of the user terminals 500 receives the communication history 123 from the management device 100 in real time or at a predetermined timing, display synchronization is performed among the plurality of users, and the past communication log can be referred to in chronological order.
  • the voice mark M can be displayed in the text corresponding to the synthetic voice data
  • the microphone mark H can be displayed in the display field D in the utterance text of the speaker himself.
  • each user terminal 500 displays the utterance contents of the agent device 300 in the display column D in chronological order together with the utterance contents of its own and the utterance contents of other users other than itself, and the management device 100
  • the communication history 123 accumulated in is shared as log information.
  • FIG. 5 is a diagram showing an example of setting management information used in the agent device 300.
  • the conditions under which the agent device 300 speaks and the contents of the utterance text are registered as setting management information.
  • the control unit 330 functions as a determination unit that determines whether or not the detection information satisfies the determination condition based on the determination condition set in the setting management information.
  • the control unit 330 uses the detection information acquired by the sensor information acquisition unit 320 at an arbitrary time interval to match with the determination condition set in the setting management information, and determines whether or not the determination condition is satisfied.
  • the utterance text transmission unit 340 extracts the utterance text of the setting management information, generates agent utterance text data, and transmits the agent utterance text data to the management device 100.
  • the setting management information can be input through the management information registration screen provided in the agent device 300, or a setting management information file in which a plurality of pairs of different judgment conditions and utterance texts are recorded is created by another computer device, and the agent device 300 Can be memorized in.
  • FIG. 6 is a diagram showing a processing flow of the communication system of the present embodiment.
  • Each user activates the communication application control unit 520 on the user terminal 500, and the communication application control unit 520 performs connection processing with the management device 100. Then, he / she enters his / her user ID and password from the predetermined login screen to log in to the management device 100. The login authentication process is executed by the user management unit 111. After logging in, each user terminal 500 performs information acquisition processing with the management device 100 at an arbitrary timing or at a predetermined time interval.
  • the communication application control unit 520 collects the spoken voice and transmits the spoken voice data to the management device 100 (S501a).
  • the voice recognition unit 113 of the management device 100 performs voice recognition processing (S101) on the received utterance voice data, and outputs the voice recognition result of the utterance content.
  • the communication control unit 112 stores the voice recognition result in the communication history 123, and stores the utterance voice data in the storage device 120 (S102).
  • the communication control unit 112 broadcasts the uttered voice data of the user A to each of the user terminals 500 other than the uttered user A. Further, the utterance content (text) of the user A stored in the communication history 123 is transmitted to each user terminal 500 in the communication group including the user A itself for display synchronization (S103).
  • the communication app control unit 520 of each user terminal 500 other than the user A performs automatic reproduction processing of the received utterance voice data, outputs the utterance voice (S502b, S502c), and text corresponding to the utterance voice output.
  • the utterance content of the format is displayed in the display field D.
  • the agent device 300 monitors the detection information output from the state detection device, and when it is determined that the detection information satisfies the determination condition, the utterance text transmission unit 340 transmits the agent utterance text based on the determination result. Generate and transmit to the management device 100 (S301).
  • the agent utterance text may or may not include detection information such as a sensor value.
  • the content may be any content that notifies that the judgment condition is satisfied, for example, an utterance text that does not include the sensor value itself such as "the temperature has dropped” or "the temperature is too high”. May be good. It is also possible to generate an agent utterance text to include the sensor value, such as "The temperature has fallen below 36 degrees. The current temperature is 35.1 degrees.” By including the measured value, it is possible to inform the user whether an emergency response is required or whether there is a time grace before the response.
  • the communication control unit 112 of the management device 100 stores the received agent utterance text in the communication history 123 (S104), and the speech synthesis unit 114 generates a synthetic voice corresponding to the agent utterance text (S105), and the generated synthesis.
  • the voice data is stored in the storage device 120.
  • the communication control unit 112 broadcasts the utterance voice data of the agent device 300 to all the user terminals 500 registered in the communication group. Further, the agent utterance text stored in the communication history 123 is transmitted to each user terminal 500 in the communication group for display synchronization (S106).
  • the communication app control unit 520 of each user terminal 500 automatically reproduces the utterance voice data of the received agent, and while outputting the utterance voice (S503a, S503b, S503c), the agent utterance in the text format corresponding to the utterance voice.
  • the contents are displayed in the display field D.
  • FIG. 7 is a diagram showing a processing flow based on the first case in which the communication system of the present embodiment is applied.
  • the sensor information acquisition unit 320 of the agent device 300 acquires the temperature information of the hot spring output by the state detection device (sensor device 1) at an arbitrary timing or at a predetermined time interval (S3001). Each time the hot spring information is acquired, the control unit 330 performs a determination process of whether or not the temperature of the hot spring satisfies the determination condition registered as the setting management information (S3002).
  • the utterance text transmission unit 340 extracts the utterance text set in the setting management information, and the agent utterance text data “Temperature is 36 degrees. "Falled” is generated (S3004).
  • the utterance text transmission unit 340 transmits the generated agent utterance text to the management device 100 (S3005).
  • the voice synthesis unit 114 of the management device 100 generates synthetic voice data of the received agent utterance text (S1001). Further, the communication control unit 112 of the management device 100 includes the agent utterance text received from the agent device 300 in the communication history 123 between users and stores it in a time series (S1002).
  • the communication control unit 112 transmits the agent utterance text in text format to the user terminal 500 (S1003) for display synchronization, and broadcasts the synthetic voice data of the agent utterance contents to each of the plurality of user terminals 500 (S1003). S1004).
  • the communication application control unit 520 of each user terminal 500 displays the content of the agent utterance in text format in the display field D, automatically reproduces the synthesized voice data, and outputs the voice. At this time, in the display field D of each user terminal 500, the same agent utterance content is displayed in synchronization, and the voice output of the agent utterance content "temperature has fallen below 36 degrees" is performed.
  • the communication Ap control unit 520 collects the utterance voice and transmits the utterance voice data to the management device 100.
  • the voice recognition unit 113 of the management device 100 performs voice recognition processing (1005) on the received utterance voice data, and outputs the voice recognition result of the utterance content.
  • the communication control unit 112 stores the voice recognition result in the communication history 123, and stores the utterance voice data in the storage device 120 (S1006).
  • the communication control unit 112 broadcasts the uttered voice data of the user C to each of the user terminals 500 other than the uttered user C (1008).
  • the utterance content "I can't take my hands off" of the user C stored in the communication history 123 is transmitted to each user terminal 500 in the communication group including the user C itself for display synchronization (S1007).
  • the communication App control unit 520 of each user terminal 500 automatically reproduces the received utterance voice data, outputs the utterance voice of "I can't take my hands off", and is in a text format corresponding to the voice output utterance voice. Display the utterance content "I can't take my hands off” in the display field D.
  • the management device 100 controls the user terminal 500 of the user C who has spoken so that the spoken voice data spoken by the user C is not transmitted.
  • the communication application control unit 520 collects the uttered voice and transmits the uttered voice data to the management device 100. ..
  • the voice recognition unit 113 of the management device 100 performs voice recognition processing (1009) on the received utterance voice data, and outputs the voice recognition result of the utterance content.
  • the communication control unit 112 stores the voice recognition result in the communication history 123, and stores the utterance voice data in the storage device 120 (S1010).
  • the communication control unit 112 broadcasts the uttered voice data of the user B to each of the user terminals 500 other than the uttered user B (1012).
  • the utterance content of user B stored in the communication history 123 "I will respond because I am next to you" is transmitted to each user terminal 500 in the communication group including user B himself for display synchronization (S1011). ).
  • the communication app control unit 520 of each user terminal 500 automatically reproduces the received utterance voice data, outputs the utterance voice of "I will respond because I am next to you", and corresponds to the utterance voice output. Display the text-format utterance content "I will respond because I am next to you” in the display field D. Also at this time, the management device 100 is controlled so that the uttered voice data uttered by the user B is not transmitted to the user terminal 500 of the uttered user B.
  • FIG. 8 is a network configuration diagram of the communication system according to the present embodiment.
  • the communication system of the present embodiment is an aspect of providing an agent function in response to a question from a user spoken on the user terminal 500 with respect to the first embodiment.
  • the same components as those in the first embodiment are designated by the same reference numerals and the description thereof will be omitted.
  • FIG. 9 is a block diagram of each of the communication management device 100, the agent device 300, and the user terminal 500 of the present embodiment.
  • the configuration of the agent device 300 is partially changed or added to FIG. 2 of the first embodiment, and the agent device 300 generates an agent utterance text based on the detection information, triggered by the user's utterance on the user terminal 500. Is transmitted to the management device 100.
  • the communication control unit 111 of the management device 100 has a function of transmitting the voice recognition result of the utterance voice received from the user terminal 500 to the agent device 300.
  • the agent device 300 is based on the analysis results of the text receiving unit 370 that receives the voice recognition result of the user's uttered voice, the text analysis unit 380 that analyzes the voice recognition result in the text format, and the text analysis unit 380, and the agent utterance.
  • a control unit (information providing unit) 330A for determining whether or not to provide a text is provided.
  • the utterance text transmission unit 340 generates an agent utterance text based on the determination result of the control unit 330A and transmits it to the management device 100.
  • FIG. 10 is a diagram showing a processing flow based on the second example of the communication system of the present embodiment.
  • the communication Ap control unit 520 collects the uttered voice and transmits the uttered voice data to the management device 100. ..
  • the voice recognition unit 113 of the management device 100 performs voice recognition processing (1005) on the received utterance voice data, and outputs the voice recognition result of the utterance content.
  • the communication control unit 112 stores the voice recognition result in the communication history 123, and stores the utterance voice data in the storage device 120 (S1006).
  • the communication control unit 112 broadcasts the uttered voice data of the user C to each of the user terminals 500 other than the uttered user C (1008).
  • the utterance content of user C stored in the communication history 123 "Tell me the temperature of the current B hot spring” is transmitted to each user terminal 500 in the communication group including user C itself for display synchronization, and at the same time.
  • the text-format utterance content "Tell me the temperature of the current B hot spring” is also transmitted to the agent device 300 (S1007A).
  • the agent device 300 receives the utterance text of "Tell me the temperature of the current B hot spring” via the text receiving unit 370.
  • the received utterance text is analyzed by the text analysis unit 380, and for example, a well-known morphological analysis is performed to extract keywords (S3101). For example, each keyword of "B hot spring”, “temperature”, and “tell me” is extracted.
  • the control unit (information providing unit) 330A of the agent device 300 performs information provision determination processing using the keyword which is the analysis result of the text analysis unit 380 (3102). For example, as the setting management information, the name of the management target of the agent device 300 (B hot spring), the detection attribute (temperature) detected by the state detection device connected to the agent device 300, and the question sentence example information ("Tell me”, “Tell me”, Register “What?", "How many", "I want to know”). Also in this embodiment, the registration process of these setting management information is performed through the setting management unit 350.
  • the control unit (information providing unit) 330A determines whether or not the voice recognition result of the user C includes a keyword related to the state detection device or the question to the detection information, and when it is determined that the keyword is included ( YES in S3103), the detection information is acquired through the sensor information acquisition unit 320 (3001). In the above example, since the voice recognition result of user C includes "B hot spring", the detection attribute "temperature”, and the question sentence "tell me”, the control unit 330A is informed. Output "OK" as the provision judgment result.
  • agent devices 300 are registered in the communication group, and the name of the management target of the agent device 300 is included in order to determine whether each agent device 300 is a question to itself. It incorporates whether or not it is a judgment factor.
  • the name of the state detection device (temperature sensor) and the like are registered as information provision determination information, and the agent device 300 responds to a question such as "What is the value of the temperature sensor?" By the agent device 300 based on the detection information. It can be configured to speak.
  • the sensor information acquisition unit 320 of the agent device 300 acquires the temperature information of the hot spring output by the state detection device (sensor device 1) when the determination result of the control unit 330A is "OK" (S3001).
  • the utterance text transmission unit 340 extracts the utterance text set in the setting management information and generates the agent utterance text data "current temperature is 37.5 degrees” (S3004).
  • the utterance text transmission unit 340 transmits the generated agent utterance text to the management device 100 (S3005).
  • the fixed phrase "current temperature is XX degrees” is registered as setting management information, and the "XX" part is replaced with the detection information "37.5" to generate the agent utterance text. Can be done.
  • the voice synthesis unit 114 of the management device 100 generates synthetic voice data of the received agent utterance text (S1001). Further, the communication control unit 112 of the management device 100 includes the agent utterance text received from the agent device 300 in the communication history 123 between users and stores it in a time series (S1002).
  • the communication control unit 112 transmits the agent utterance text in text format to the user terminal 500 (S1003) for display synchronization, and broadcasts the synthetic voice data of the agent utterance contents to each of the plurality of user terminals 500 (S1003). S1004).
  • the communication application control unit 520 of each user terminal 500 displays the content of the agent utterance in text format in the display field D, automatically reproduces the synthesized voice data, and outputs the voice.
  • the same agent utterance content is displayed in synchronization, and the voice output of the agent utterance content "current temperature is XX degrees" is performed.
  • the communication App control unit 520 collects the utterance voice and collects the utterance voice data. It is transmitted to the management device 100.
  • the voice recognition unit 113 of the management device 100 performs voice recognition processing (1009) on the received utterance voice data, and outputs the voice recognition result of the utterance content.
  • the communication control unit 112 stores the voice recognition result in the communication history 123, and stores the utterance voice data in the storage device 120 (S1010).
  • the communication control unit 112 broadcasts the uttered voice data of the user C to each of the user terminals 500 other than the uttered user C (1012).
  • the utterance content of user C stored in the communication history 123 "It is higher than the reference temperature, but please turn on the boiler" is transmitted to each user terminal 500 in the communication group including user C itself for display synchronization. (S1012).
  • FIG. 11 is an example of a screen displayed on the user terminal 500 of the present embodiment.
  • each user terminal 500 utters a question or a call to the agent device 300, and a question or a call as a trigger, together with the utterance content of the user terminal 500 and the utterance content of a user other than the user.
  • the utterance content of the agent device 300 is displayed in the display column D in chronological order.
  • the communication history 123 stored in the management device 100 is shared as log information.
  • the agent device 300 understands the user's question or call, and generates and provides the agent utterance text based on the detection information of the state detection device each time, so that the agent device 300 is in the communication group. Appearing as a pseudo user, it is possible to provide a communication environment closer to the conversation of information transmission between users.
  • the agent device 300 analyzes and judges the movement of people and the degree of congestion using images taken by the camera, and is triggered by analysis results such as "a large number of people have moved to the bathhouse" and "there is a line at the front".
  • the agent utterance text for these analysis results can be transmitted to the management device 100, and the synthetic voice notification and the text display notification can be sent to the user terminal 500.
  • congestion for example, the degree of congestion in the parking lot is analyzed and judged, and users such as "The parking lot will be full soon" and "Please prepare for the second parking lot” are used. It is also possible to perform synthetic voice notification and text display notification to the terminal 500.
  • the agent device 300 can be configured to have a function of extracting a specific person from the camera image.
  • a matching process is performed between a pre-registered person image and a captured image, and the analysis result of "who arrived where" is performed using the information of the place where the camera, which is a state detection device, is installed. Can be obtained.
  • the agent device 300 outputs the agent utterance text "-san is in-ni" and notifies each user terminal 500 by synthetic voice through the management device 100. Can be done.
  • a weight sensor can be applied as a state detection device.
  • the agent device 300 detects the occurrence of overweight 5 times or more in 10 minutes, and the agent device 300 reads an agent speech text such as "the elevator is crowded”. Is output and notified to each user terminal 500 (each user) by synthetic voice through the management device 100. Each user can go to the traffic arrangement as needed.
  • a GPS device position information detection device
  • a GPS device is attached to a cart pulled by human power, and the agent device 300 is configured to be able to acquire the position information of the cart from the GPS device. Then, the agent device 300 can match a preset route or entry prohibited place with the current position of the cart, and detect that the route deviates from the route by a predetermined range or that the cart is intruded into the entry prohibited place. Then, when these are detected, agent utterance texts such as "Is the route wrong?" And "There is an entry prohibited place” are output, and each user terminal 500 (each user) is synthesized by voice through the management device 100. ). At this time, intrusion into the restricted area is assumed to be a facility user in addition to the user of the user terminal 500. In this case, the user of each user terminal 500 who has received the notification can go to the no-entry place and appropriately guide the facility user.
  • the communication management device 100 can also be configured to include each function of the agent device 300. That is, the function of the agent device 300 shown in FIG. 2 or FIG. 9 is provided as an agent unit in the communication management device 100. Then, the detection information by the state detection device is configured to be transmitted to the communication management device 100. At this time, the state detection device may be internally provided with a data communication function, and the state detection device may be connected to an individual data communication device to transmit the detection information of the communication management device 100 via the data communication device. It may be configured so that it can be transmitted.
  • the agent unit of the communication management device 100 receives the detection information output from the state detection device to be monitored, generates an agent utterance text based on the detection information, and operates as a member of the communication group as in the above embodiment. can.
  • (Third Embodiment) 12 to 15 are diagrams for explaining the third embodiment.
  • the same components as those in the first and second embodiments are designated by the same reference numerals and the description thereof will be omitted.
  • the communication management device 100 of the present embodiment has an individual call function in addition to the group call function described above.
  • FIG. 12 is a diagram for explaining an example of individual call mode interrupt processing during the group call mode of the present embodiment. As shown in FIG. 12, the synthetic voice based on the agent utterance text transmitted from the agent device 300 is transmitted only to a specific user in the communication group during the group call.
  • the agent device 300 is registered as a member (agent) in the communication group.
  • an individual call function between an agent and a specific user is provided through the management device 100.
  • FIG. 13 is a block diagram of each of the management device (communication management device) 100, the agent device 300, and the user terminal 500 of the present embodiment.
  • the first control unit and the second control unit described in the first embodiment and the second embodiment are shown as the group call control unit 112A.
  • the communication control unit 112 is configured to include a group call control unit 112A and an individual call control unit 112B.
  • the management device 100 generates and holds a group member list including a plurality of users registered in the communication group.
  • the individual call control unit 112B designates the corresponding user from the group member list based on the individual call request transmitted from the agent device 300.
  • the individual call control unit 112B provides an individual call function of transmitting utterance voice data only to a specific user to users in a communication group broadcasted by a group call.
  • the individual call control unit 112B is a call process that makes a call to a designated user in order for the agent device 300 to make a one-to-one call with a specific user through the management device 100 during the group call mode. I do.
  • the call processing is an interrupt processing for the maintained group call mode, and when the user answers the call processing, the call connection processing (individual call communication channel establishment processing) is performed.
  • the distribution process of the utterance voice data from the agent to only a specific user is started through the established call channel. All of these processes are executed as individual call interrupt processes for making a call in a state where a specific user is partitioned from other users in the communication group while maintaining the group call state in the communication group.
  • the individual call function of this embodiment can also be applied between two users other than the agent. That is, the management device 100 can distribute a group member list including a plurality of users registered in the communication group to each user terminal 500 in advance. Then, when the user of the individual call partner is selected from the group member list, the user terminal 500 can transmit the individual call request including the selected user to the management device 100.
  • the individual call control unit 112B can process a call to the selected user and establish an individual call communication channel based on the response action of the called user.
  • the individual call control unit 112B may receive an individual call request, open an individual call channel with a designated or selected user, and provide a one-to-one call function even if the individual call control unit 112B is not in the group call mode. can.
  • the automatic return process to the group call mode maintained in the communication group can be performed.
  • the automatic return process is performed by the communication control unit 112.
  • the communication control unit 112 performs the disconnection process of the established individual call channel and automatically returns to the call channel of the running group call mode. Further, it may be configured to automatically return to the group call mode in accordance with the disconnection process of the individual call communication channel from the individual call control unit 112B side.
  • the call time in the individual call mode (call start time, call time after answering the call, call end time) is stored in the management device 100 together with the history of the individual call partner as the individual call mode execution history.
  • the utterance voice data during an individual call is voice-recognized and converted into text, and is individually stored in the communication history information 123 or in association with the passage of time in the communication history information 123, as in the group call mode. Can be done.
  • the utterance voice data in the individual call mode can also be stored in the storage device 120 in the same manner.
  • the management device 100 corresponds to the group call function and obtains the utterance voice data by one user and the text information of the utterance content (speech recognition processing of the utterance voice data).
  • the broadcast distribution communication control is performed to simultaneously send the received text information) to each of a plurality of user terminals 500.
  • individual distribution communication control of utterance voice data between specific users is performed.
  • the agent device 300 can hold the specific notification setting information shown in FIG. 14 in advance. As shown in FIG. 14, situation determination conditions are set, and a specific user to be contacted by individual call is determined for each condition. In addition, the content to be contacted (agent utterance text) is also preset.
  • the specific notification setting information shown in FIG. 14 includes a user (specific user, user characteristics) who contacts the setting management information of FIG. 5 in the first and second embodiments, and a line type (individual call, group) as a means of communication. Call) is the added information.
  • the determination condition of FIG. 5 corresponds to the situation determination condition of FIG.
  • FIG. 15 is a diagram showing a processing flow based on the third case of the communication system of the present embodiment.
  • the control unit (determination unit) 330 of the agent device 300 receives the detection information output from the sensor device (state detection device) 1 to be monitored (S3001), and matches with the "situation determination condition" of the specific notification setting information (S3001). S3002). It is determined whether or not the received detection information satisfies the situation determination condition (S3003), and if it is determined that the situation determination condition is satisfied (YES in S3003), the preset utterance text is extracted (S3004). A contact request including information on the user to be contacted, the line type, and the utterance text is transmitted to the management device 100 (S3005).
  • the voice synthesis unit 114 When the management device 100 receives the contact request from the agent device 300, the voice synthesis unit 114 generates the voice synthesis data of the received agent utterance text (S1001).
  • the communication control unit 112 refers to the line type included in the received contact request and the specific user who is the contact, and confirms whether or not there is an individual call setting for the specific user (S1001A). If the line type is "group call", the process proceeds to step S1002, and the contact process is performed in the group call mode instead of the individual call mode (S1003, S1004). At this time, the utterance text and the like are accumulated in the communication history 123 in chronological order (S1002).
  • step S1001A If it is determined in step S1001A that there is an individual call setting for a specific user (YES in S1001A), the individual call control unit 112B makes an individual call to the specific user included in the contact request for the current group call mode. Mode (interrupt) processing is performed (S1001B). Specifically, the individual call communication channel is used to perform call processing to a specific user (1001C). The specific user who received the call performs an answering operation for the incoming call (S504a). When the specific user performs an operation to answer the incoming call, the management device 100 performs a call process for establishing an individual call line between the management device 100 and the specific user on the individual call communication channel (S1001D). The individual call control unit 112B distributes the voice synthesis data of the agent utterance text to the user terminal 500 of the specific user through the individual call line. Therefore, communication between the agent and the specific user via an individual telephone line is realized.
  • Mode (interrupt) processing is performed (S1001B).
  • the specific user who has switched to the individual call mode is treated the same as "hold" for the call channel of the group call, and can automatically return to the communication channel of the group call after the individual call ends. Further, the communication control unit 112 also stores the contact history to the specific user using the individual call mode in the communication history 123 (S1002).
  • the number of individual callers to the agent may be two or more.
  • the contact user does not have to be a preset user.
  • a person who responds to an event that occurs by grasping the position information of each user (user terminal) in advance and satisfying the situation determination condition one person or two near the place where the event occurred. More than one user can be determined as a specific user.
  • a specific user is selected according to the user's position information, and the speech text "Sensor detection has occurred in the no-entry area. Corresponds as a short-distance user. The voice synthesis data of "Please.” Can be distributed to the selected specific user.
  • the management device 100 can be configured to include each function of the agent device 300. Therefore, as a modification of the present embodiment, an agent corresponding to the agent device 300 is included in the management device 100. It is configured to include a functional unit. Then, the management device 100 can be configured to receive the detection information from the sensor device 1 and perform steps S3002, S3003, and S3004 of FIG. 15 to perform communication in the individual call mode during the group call. ..
  • each function of the communication management device 100 and the agent device 300 can be realized by a program, and a computer program prepared in advance for realizing each function is stored in the auxiliary storage device.
  • the control unit such as the CPU reads the program stored in the auxiliary storage device into the main storage device, and the control unit executes the program read into the main storage device, so that the functions of each unit can be operated. ..
  • Computer-readable recording media include optical discs such as CD-ROMs, phase-changing optical discs such as DVD-ROMs, magneto-optical disks such as MO (Magnet Optical) and MD (Mini Disk), floppy (registered trademark) disks, and the like. Examples include magnetic disks such as removable hard disks, compact flash (registered trademark), smart media, SD memory cards, and memory cards such as memory sticks. Further, a hardware device such as an integrated circuit (IC chip or the like) specially designed and configured for the purpose of the present invention is also included as a recording medium.
  • IC chip or the like specially designed and configured for the purpose of the present invention is also included as a recording medium.
  • Communication management device 110 Control device 111 User management unit 112 Communication control unit (first control unit, second control unit) 112A Group call control unit (1st control unit, 2nd control unit) 112B Individual call control unit 113 Voice recognition unit 114 Voice synthesis unit 120 Storage device 121 User information 122 Group information 123 Communication history information 124 Voice recognition dictionary 125 Voice synthesis dictionary 130 Communication device 300 Agent device 310 Communication unit 320 Sensor information acquisition unit 330 Control Department (judgment unit) 330A Control unit (Information provision unit) 340 Spoken text transmission unit 350 Setting management unit 360 Storage unit 370 Text reception unit 380 Text analysis unit 500 User terminal (mobile communication terminal) 510 Communication / call unit 520 Communication App control unit 530 Microphone (sound collection unit) 540 speaker (audio output section) 550 Display / input unit 560 Storage unit D Display field

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】状態は又は状況変化を伝達するエージェントを含む複数のユーザ間での情報伝達を支援する。 【解決手段】実施形態のコミュニケーションシステムは、管理装置とエージェント装置とを含む。管理装置は、あるユーザの発話音声を他の複数の移動通信端末それぞれに同報配信しつつ、発話音声の発話音声認識結果を、ユーザ同士のコミュニケーション履歴として時系列に蓄積し、各移動通信端末で同期して表示されるようにテキスト配信制御を行う。エージェント装置は、監視対象の状態検出機器から出力される検出情報に基づくエージェント発話テキストを生成して管理装置に送信する機能を備え、管理装置は、エージェント発話テキストの合成音声データを、複数の移動通信端末それぞれに同報配信し、エージェント発話テキストをユーザ同士のコミュニケーション履歴に含ませて時系列に蓄積し、各移動通信端末へのテキスト配信制御を行う。

Description

コミュニケーション管理装置及び方法
　本発明の実施形態は、音声及びテキストを使用したコミュニケーション（認識共有、意思疎通など）支援技術に関する。
　音声コミュニケーションの一例として、トランシーバ(transceiver)がある。トランシーバは、無線電波の送信機能と受信機能を兼ね備えた無線機であり、１人のユーザが複数人のユーザと通話（一方向又は双方向の情報伝達）を行うことができる。トランシーバの活用例は、工事現場やイベント会場、ホテルや旅館などの施設等で目にすることができる。また、タクシー無線もトランシーバ活用の一例として挙げることができる。
特開２０１３－１８７５９９号公報
　状態又は状況変化を伝達するエージェントを含むコミュニケーショングループを形成し、複数のユーザ間での情報伝達を支援するコミュニケーションシステムを提供することを目的とする。
　実施形態のコミュニケーションシステムは、複数の各ユーザがそれぞれ携帯する移動通信端末を通じて、ユーザの発話音声が他のユーザの移動通信端末に同報配信する。コミュニケーションシステムは、前記各移動通信端末が無線通信で接続するコミュニケーション管理装置と、監視対象の状態検出機器から出力される検出情報が入力され、前記コミュニケーション管理装置に接続するエージェント装置と、を含む。前記コミュニケーション管理装置は、移動通信端末から受信した発話音声データを他の複数の移動通信端末それぞれに同報配信する第１制御部と、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、ユーザ同士のコミュニケーション履歴として時系列に蓄積するとともに、前記各移動通信端末において前記コミュニケーション履歴が同期して表示されるようにテキスト配信制御を行う第２制御部と、を有するコミュニケーション制御部を備える。前記エージェント装置は、前記検出情報に基づくエージェント発話テキストを生成し、前記コミュニケーション管理装置に送信する発話テキスト送信部を備える。そして、前記コミュニケーション制御部は、合成音声処理によって生成された前記エージェント発話テキストの合成音声データを、複数の前記移動通信端末それぞれに同報配信するとともに、受信した前記エージェント発話テキストを、ユーザ同士の前記コミュニケーション履歴に含ませて時系列に蓄積し、前記各移動通信端末へのテキスト配信制御を行う。
第１実施形態のコミュニケーションシステムのネットワーク構成図である。 第１実施形態のコミュニケーション管理装置、エージェント装置、ユーザ端末の各構成ブロック図である。 第１実施形態のユーザ情報及びグループ情報の一例を示す図である。 第１実施形態のユーザ端末に表示される画面例である。 第１実施形態の設定管理情報の一例を示す図である。 第１実施形態のコミュニケーションシステムの処理フローを示す図である。 第１実施形態のコミュニケーションシステムの第１事例に基づく処理フローを示す図である。 第２実施形態のコミュニケーションシステムのネットワーク構成図である。 第２実施形態のコミュニケーション管理装置、エージェント装置、ユーザ端末の各構成ブロック図である。 第２実施形態のコミュニケーションシステムの第２事例に基づく処理フローを示す図である。 第２実施形態のユーザ端末に表示される画面例である。 第３実施形態のグループ通話モード中の個別通話モード割り込み処理の一例を説明するための図である。 第３実施形態のコミュニケーション管理装置、エージェント装置、ユーザ端末の各構成ブロック図である。 第３実施形態の特定通知設定情報の一例を示す図である。 第３実施形態のコミュニケーションシステムの第３事例に基づく処理フローを示す図である。
（第１実施形態）
　図１から図７は、第１実施形態を説明するための図である。図１は、本実施形態に係るコミュニケーションシステムのネットワーク構成図である。コミュニケーションシステムは、コミュニケーション管理装置（以下、管理装置と称する）１００を中心に、音声及びテキストを用いた情報伝達支援機能を提供する。以下では、施設管理を一例に、コミュニケーションシステムを適用した態様について説明する。
　管理装置１００は、複数の各ユーザがそれぞれ携帯するユーザ端末（移動通信端末）５００が無線通信で接続し、ユーザの発話音声を他のユーザ端末５００に同報配信する。
　ユーザ端末５００は、例えば、スマートフォンなどの多機能携帯電話機やＰＤＡ(Personal Digital Assistant)、タブレット型端末などの持ち運び可能な携帯端末（モバイル端末）である。ユーザ端末５００は、通信機能、演算機能及び入力機能を備え、ＩＰ（Internet protocol）網又は移動通信回線網（Mobile communication network）を通じて無線通信で管理装置１００と接続し、データ通信を行う。
　ユーザの発話音声が他の複数のユーザ端末５００に同報配信される範囲（又は後述するコミュニケーション履歴が同期して表示される範囲）は、コミュニケーショングループとして設定され、対象ユーザ（現場ユーザ）のユーザ端末５００それぞれが登録される。そして、図１に示すように、本実施形態では、施設管理における監視対象の状態検出機器（センサ機器１）から出力される検出情報が入力され、無線通信又は有線通信で管理装置１００に接続するエージェント装置３００が、複数のユーザが登録されるコミュニケーショングループの一員（エージェント）として登録される。
　監視対象が、温泉である場合、温泉の状態とは、例えば、温度である。この場合、状態検出機器は、温度センサ１等の計測機器である。温度センサ１は、検出情報として検出温度をエージェント装置３００に出力する。エージェント装置３００は、検出温度が入力されると、検出温度に基づくエージェント発話テキストを生成して管理装置１００に送信する。つまり、エージェント装置３００は、ユーザ端末５００を携帯するユーザと同様の、コミュニケーショングループ内の一員として、検出情報に基づく発話を行う機器であり、状態検出機器に代わって発話する発話代理者として位置付けられる。
　エージェント装置３００は、デスクトップ型コンピュータやタブレット型コンピュータ、ラップトップ型コンピュータである。エージェント装置３００は、ＩＰ網又は移動通信回線網を通じ、無線通信又は有線通信でのデータ通信機能及び演算機能（ＣＰＵ等）を備えている。また、エージェント装置３００は、ディスプレイ装置（又はタッチパネル方式の表示装置）及び文字入力手段を備えるように構成することもできる。また、エージェント装置３００は、本実施形態の各機能を備えた専用機器であってもよい。
　本実施形態のコミュニケーションシステムは、複数の各ユーザがハンズフリーで対話を行うことができることを前提とした、認識共有や意思疎通のための情報伝達を支援する。それとともに、施設管理における監視対象の状態又は状況変化を伝達するエージェントを含むコミュニケーショングループを形成し、エージェントの発話機能によって今まで人手で行っていた監視対象の状態又は状況変化の情報取得及び伝達の効率化を支援する。
　特に、施設の設備管理は、人的な労働力で支えられており、設備機器を操作・制御する作業が必ず存在する。このような設備機器の操作・制御は、設備機器の状態や状況を継続的に確認して行う必要があり、そのためには、ユーザが、設備機器を訪れて状況を確認したり、状態検出機器の設置場所に訪れて検出情報を確認したりしなければならない。このため、多大な労力が必要であった。一方で、近年は、ＩｏＴ（Ｉｎｔｅｒｎｅｔｏｆ Ｔｈｉｎｇｓ）化によるセンサ機器と、設備機器の操作や制御等との連携が注目されているが、コスト面の課題等により、上述のように、人的な労力により支えられているのが実情である。
　本実施形態では、設備機器の操作・制御を人手で行う際に、設備機器の状態や状況を把握するための検出情報を出力するセンサ機器等がユーザコミュニケーショングループの一員として検出情報に基づく発話を行う仕組みを導入して、ユーザの労力の軽減を実現する。これと共に、既設のセンサ機器等の状態検出機器に対し、検出情報を受信するエージェント装置３００を設備管理の現場に設置するだけでユーザコミュニケーショングループに容易に参加することができるシンプルで低コストなシステム構成を実現する。
　図２は、管理装置１００、エージェント装置３００、ユーザ端末５００の各構成ブロック図である。
　管理装置１００は、制御装置１１０、記憶装置１２０及び通信装置１３０を含む。通信装置１３０は、複数の各ユーザ端末５００との間の通信接続管理及びデータ通信制御を行い、同じ内容の発話音声及び発話テキストを複数の各ユーザ端末５００に一斉に送る同報配信通信制御を行う。
　制御装置１１０は、ユーザ管理部１１１、コミュニケーション制御部１１２、音声認識部１１３及び音声合成部１１４を含んで構成されている。記憶装置１２０は、ユーザ情報１２１、グループ情報１２２、コミュニケーション履歴（コミュニケーションログ）情報１２３、音声認識辞書１２４、及び音声合成辞書１２５を含んで構成されている。
　エージェント装置３００は、管理対象の設備に設けられた状態検出装置（センサ機器１）と無線又は有線で接続され、通信部３１０を介して状態検出装置から出力される検出情報を受け付けるセンサ情報取得部３２０を備えている。また、制御部（判定部）３３０、発話テキスト送信部３４０、設定管理部３５０、及び記憶部３６０を備えている。
　ユーザ端末５００は、通信・通話部５１０、コミュニケーションＡｐｐ制御部５２０、マイク５３０、スピーカー５４０、タッチパネル等の表示入力部５５０、及び記憶部５６０を含んで構成されている。なお、スピーカー５４０は、実際には、イヤホンやヘッドホン（有線又はワイヤレス）などで構成される。
　図３は、各種情報の一例を示す図であり、ユーザ情報１２１は、本コミュニケーションシステムを利用するユーザ登録情報である。ユーザ管理部１１１は、所定の管理画面を通じて、ユーザＩＤ、ユーザ名、属性、グループを設定することができるように制御する。また、エージェント装置３００もユーザ登録される。グループ情報１２２は、コミュニケーショングループを区画するグループ識別情報である。コミュニケーショングループＩＤ別に伝達情報の送受信及び同報配信を制御し、異なるコミュニケーショングループ間で情報が混在しないように制御される。ユーザ情報１２１において、グループ情報１２２に登録されたコミュニケーショングループを、各ユーザに紐付けることができる。
　本実施形態のユーザ管理部１１１は、後述する第１制御（発話音声データの同報配信）及び第２制御（エージェント発話テキストまたは／及びユーザの発話音声認識結果のテキスト同報配信）の対象となる、複数のユーザが登録されたコミュニケーショングループを設定する機能を提供しつつ、エージェント装置３００をコミュニケーショングループに登録する機能を提供する。
　なお、グループ分けについては、本実施形態のコミュニケーションシステムを導入する施設等に応じて施設を複数の部門に分割して管理することもできる。例えば、宿泊施設を一例に説明すると、ベルパーソン（荷物運び）、コンシェルジュ、ハウスキーピング（清掃）をそれぞれ異なるグループに設定し、客室管理をそれぞれのグループ毎に細分化したコミュニケーション環境を構築することもできる。他の観点として、役割的にコミュニケーションが不要なケースも考えられる。例えば、料理の配膳係と、ベルパーソン（荷物運び）は、直接コミュニケーションをとる必要がないのでグループを分けることができる。また、地理的にコミュニケーションが不要なケースも考えられ、例えば、Ａ支店、Ｂ支店などが地理的に離れており、かつ頻繁にコミュニケーションをする必要がない場合などは、グループを分けることができる。
　したがって、エージェント装置３００が登録されたコミュニケーショングループ、エージェント装置３００が登録されていないコミュニケーショングループ、複数のエージェント装置３００が登録されたコミュニケーショングループなど、様々なコミュニケーショングループを混在して設定することができる。施設内に管理対象の設備が複数存在する場合は、各設備別にエージェント装置３００を個別に設置することができ、また、同じ設備であっても、状態検出機器が複数設置されている場合は、各状態検出機器に対してエージェント装置３００をそれぞれ設置し、１つのコミュニケーショングループに登録することもできる。
　管理装置１００のコミュニケーション制御部１１２は、第１制御部と第２制御部の各制御部として機能する。第１制御部は、ユーザ端末５００から受信した発話音声データを他の複数のユーザ端末５００それぞれに同報配信制御を行う。第２制御部は、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、ユーザ同士のコミュニケーション履歴１２３として時系列に蓄積するとともに、各ユーザ端末５００においてコミュニケーション履歴１２３が同期して表示されるようにテキスト配信制御を行う。
　第１制御部としての機能は、発話音声データの同報配信である。発話音声データには、テキスト（例えば、エージェント発話テキスト）から音声合成処理によって人工的に生成された音声データと、ユーザが発声した音声データとが含まれる。音声合成部１１４は、音声合成辞書１２５を用いて、エージェント発話テキストの文字に対応する音声データを合成し、音声合成データを生成する。このとき、音声合成データを構成する音声データの素材は、任意である。
　第２制御部としての機能は、エージェント発話テキスト及びユーザの発話音声認識結果のテキスト同報配信である。本実施形態では、ユーザ端末５００において入力された音声及びユーザ端末５００において再生される音声は、すべてテキスト化されてコミュニケーション履歴１２３に時系列に蓄積され、各ユーザ端末５００において同期して表示されるように制御される。音声認識部１１３は、音声認識辞書１２４を用いて音声認識処理を行い発話音声認識結果としてテキストデータを出力する。音声認識処理については公知の技術を適用することができる。
　そして、エージェント装置３００は、状態検出機器から出力される検出情報に基づくエージェント発話テキストを生成し、管理装置１００に送信する発話テキスト送信部３４０を備えている。管理装置１００のコミュニケーション制御部１１２は、第１制御の機能として、発話テキスト送信部３４０から受信したエージェント発話テキストに対して合成音声処理を行ってエージェント発話テキストの合成音声データを生成して、複数のユーザ端末５００それぞれに同報配信する。それとともに、第２制御の機能として、発話テキスト送信部３４０から受信したエージェント発話テキストを、ユーザ同士のコミュニケーション履歴１２３に含ませて時系列に蓄積し、各ユーザ端末５００へのテキスト配信制御を行う。
　なお、コミュニケーション履歴情報１２３は、各ユーザの発話内容とエージェント装置３００のエージェント発話テキストとが時間情報と共に、テキストベースで時系列に蓄積されたログ情報である。各テキストに対応する音声データは、音声ファイルとして所定の記憶領域に格納しておくことができ、例えば、コミュニケーション履歴１２３には、音声ファイルの格納場所を記録する。コミュニケーション履歴情報１２３は、コミュニケーショングループ別にそれぞれ生成され、蓄積される。
　図４は、各ユーザ端末５００で表示されるコミュニケーション履歴１２３の一例を示す図である。ユーザ端末５００それぞれは、管理装置１００からリアルタイムに又は所定のタイミングでコミュニケーション履歴１２３を受信し、複数のユーザ間で表示同期が取られ、時系列に過去のコミュニケーションログを参照することができる。
　なお、表示欄Ｄにおいて、合成音声データに対応するテキストには、音声マークＭを表示したり、発話者自身の発話テキストには、表示欄ＤにおいてマイクマークＨを表示したりすることができる。
　図４の例のように、各ユーザ端末５００は、自分の発話内容及び自分以外の他のユーザの発話内容と共に、エージェント装置３００の発話内容が表示欄Ｄに時系列に表示され、管理装置１００に蓄積されるコミュニケーション履歴１２３がログ情報として共有される。
　図５は、エージェント装置３００で使用される設定管理情報の一例を示す図である。エージェント装置３００が発話を行う条件及び発話テキストの内容が設定管理情報として登録されている。制御部３３０は、設定管理情報において設定された判定条件に基づいて、検出情報が判定条件を満たすか否かを判断する判定部として機能する。
　図５の例では、「設定１」において、条件：温度が３６度未満、エージェント発話テキスト「温度が３６度を下回りました」が設定されている。「設定２」では、条件：温度が４２度以上、エージェント発話テキスト「温度が４２度を超えました」が設定されている。制御部３３０は、センサ情報取得部３２０によって任意の時間間隔で取得される検出情報を用いて、設定管理情報に設定された判定条件とマッチングし、判定条件を満たすか否かを判定する。
　発話テキスト送信部３４０は、制御部３３０によって判定条件を満たすと判定された場合、設定管理情報の発話テキストを抽出してエージェント発話テキストデータを生成し、管理装置１００に送信する。
　設定管理情報は、エージェント装置３００が備える管理情報登録画面を通じて入力したり、互いに異なる判定条件及び発話テキストの複数のペアが記録された設定管理情報ファイルを他のコンピュータ装置で作成し、エージェント装置３００に記憶させたりすることができる。
　図６は、本実施形態のコミュニケーションシステムの処理フローを示す図である。
　各ユーザは、ユーザ端末５００において、コミュニケーションＡｐｐ制御部５２０を起動し、コミュニケーションＡｐｐ制御部５２０が管理装置１００との接続処理を行う。そして、所定のログイン画面から自分のユーザＩＤ及びパスワードを入力して管理装置１００にログインする。ログイン認証処理は、ユーザ管理部１１１によって遂行される。ログイン後の各ユーザ端末５００は、任意のタイミングで又は所定の時間間隔で、管理装置１００との間で情報取得処理を行う。
　ユーザＡが発話すると、コミュニケーションＡｐｐ制御部５２０は、発話音声を集音し、発話音声データを管理装置１００に送信する（Ｓ５０１ａ）。管理装置１００の音声認識部１１３は、受信した発話音声データを音声認識処理し（Ｓ１０１）、発話内容の音声認識結果を出力する。コミュニケーション制御部１１２は、音声認識結果をコミュニケーション履歴１２３に記憶し、発話音声データを記憶装置１２０に記憶する（Ｓ１０２）。
　コミュニケーション制御部１１２は、発話したユーザＡ以外の他のユーザ端末５００それぞれにユーザＡの発話音声データを同報送信する。また、コミュニケーション履歴１２３に記憶したユーザＡの発話内容（テキスト）を、表示同期のために、ユーザＡ自身を含むコミュニケーショングループ内の各ユーザ端末５００に送信する（Ｓ１０３）。
　ユーザＡ以外の各ユーザ端末５００のコミュニケーションＡｐｐ制御部５２０は、受信した発話音声データの自動再生処理を行い、発話音声出力を行いつつ（Ｓ５０２ｂ，Ｓ５０２ｃ）、音声出力された発話音声に対応するテキスト形式の発話内容を表示欄Ｄに表示させる。
　続いて、エージェント装置３００は、状態検出機器から出力される検出情報を監視し、検出情報が判定条件を満たすと判別された場合、発話テキスト送信部３４０は、判定結果に基づいてエージェント発話テキストを生成し、管理装置１００に送信する（Ｓ３０１）。
　このとき、エージェント発話テキストには、センサ値等の検出情報が含まれていてもいなくてもよい。つまり、判定条件を満たす状態であることを通知する内容であればよく、例えば、「温度が下がってきました」、「温度が高すぎます」などのセンサ値自体を含まない発話テキストであってもよい。また、「温度が３６度を下回りました。現在の温度は、３５.１度です」のように、センサ値を含むように、エージェント発話テキストを生成することもできる。実測値を含むことで、緊急対応しなければならないのか、対応までに時間的猶予があるのかなどをユーザに知らせることができる。
　管理装置１００のコミュニケーション制御部１１２は、受信したエージェント発話テキストをコミュニケーション履歴１２３に記憶し（Ｓ１０４）、音声合成部１１４は、エージェント発話テキストに対応する合成音声を生成し（Ｓ１０５）、生成した合成音声データを記憶装置１２０に記憶する。
　コミュニケーション制御部１１２は、コミュニケーショングループに登録されたすべてのユーザ端末５００それぞれにエージェント装置３００の発話音声データを同報送信する。また、コミュニケーション履歴１２３に記憶したエージェント発話テキストを、表示同期のために、コミュニケーショングループ内の各ユーザ端末５００に送信する（Ｓ１０６）。
　各ユーザ端末５００のコミュニケーションＡｐｐ制御部５２０は、受信したエージェントの発話音声データの自動再生処理を行い、発話音声出力を行いつつ（Ｓ５０３ａ，Ｓ５０３ｂ，Ｓ５０３ｃ）、発話音声に対応するテキスト形式のエージェント発話内容を表示欄Ｄに表示させる。
　図７は、本実施形態のコミュニケーションシステムが適用された第１事例に基づく処理フローを示す図である。
　図７に示すように、エージェント装置３００のセンサ情報取得部３２０は、任意のタイミング又は所定の時間間隔で、状態検出機器（センサ機器１）が出力する温泉の温度情報を取得する（Ｓ３００１）。制御部３３０は、温泉情報が取得される度に、温泉の温度が設定管理情報として登録された判定条件を満たすか否かの判定処理を行う（Ｓ３００２）。
　温泉の温度が、判定条件を満たす温度である場合（Ｓ３００３のＹＥＳ）、発話テキスト送信部３４０は、設定管理情報に設定されている発話テキストを抽出し、エージェント発話テキストデータ「温度が３６度を下回りました」を生成する（Ｓ３００４）。発話テキスト送信部３４０は、生成したエージェント発話テキストを管理装置１００に送信する（Ｓ３００５）。
　管理装置１００の音声合成部１１４は、受信したエージェント発話テキストの合成音声データを生成する（Ｓ１００１）。また、管理装置１００のコミュニケーション制御部１１２は、エージェント装置３００から受信したエージェント発話テキストを、ユーザ同士のコミュニケーション履歴１２３に含ませて時系列に記憶する（Ｓ１００２）。
　コミュニケーション制御部１１２は、表示同期のため、テキスト形式のエージェント発話テキストを、ユーザ端末５００に送信すると共に（Ｓ１００３）、エージェント発話内容の合成音声データを複数の各ユーザ端末５００に同報配信する（Ｓ１００４）。
　各ユーザ端末５００のコミュニケーションＡｐｐ制御部５２０は、テキスト形式のエージェント発話内容を表示欄Ｄに表示させ、かつ合成音声データの自動再生処理を行い、音声出力を行う。このとき、各ユーザ端末５００の表示欄Ｄにおいて、同じエージェント発話内容が同期して表示され、かつエージェント発話内容「温度が３６度を下回りました」の音声出力がそれぞれ行われる。
　続いて、エージェント発話内容を聞いたユーザＣが、「ちょっと手が離せません」と発話すると、コミュニケーションＡｐｐ制御部５２０は、発話音声を集音し、発話音声データを管理装置１００に送信する。管理装置１００の音声認識部１１３は、受信した発話音声データを音声認識処理し（１００５）、発話内容の音声認識結果を出力する。コミュニケーション制御部１１２は、音声認識結果をコミュニケーション履歴１２３に記憶し、発話音声データを記憶装置１２０に記憶する（Ｓ１００６）。
　コミュニケーション制御部１１２は、発話したユーザＣ以外の他のユーザ端末５００それぞれにユーザＣの発話音声データを同報送信する（１００８）。また、コミュニケーション履歴１２３に記憶したユーザＣの発話内容「ちょっと手が離せません」を、表示同期のために、ユーザＣ自身を含むコミュニケーショングループ内の各ユーザ端末５００に送信する（Ｓ１００７）。
　各ユーザ端末５００のコミュニケーションＡｐｐ制御部５２０は、受信した発話音声データの自動再生処理を行い、「ちょっと手が離せません」の発話音声出力を行い、音声出力された発話音声に対応するテキスト形式の発話内容「ちょっと手が離せません」を表示欄Ｄに表示させる。なお、発話したユーザＣのユーザ端末５００には、自分が発話した発話音声データが送信されないように管理装置１００側で制御される。
　ユーザＣの発言を聞いたユーザＢは、「隣に居るので私が対応します」と発話すると、コミュニケーションＡｐｐ制御部５２０は、発話音声を集音し、発話音声データを管理装置１００に送信する。管理装置１００の音声認識部１１３は、受信した発話音声データを音声認識処理し（１００９）、発話内容の音声認識結果を出力する。コミュニケーション制御部１１２は、音声認識結果をコミュニケーション履歴１２３に記憶し、発話音声データを記憶装置１２０に記憶する（Ｓ１０１０）。
　コミュニケーション制御部１１２は、発話したユーザＢ以外の他のユーザ端末５００それぞれにユーザＢの発話音声データを同報送信する（１０１２）。また、コミュニケーション履歴１２３に記憶したユーザＢの発話内容「隣に居るので私が対応します」を、表示同期のために、ユーザＢ自身を含むコミュニケーショングループ内の各ユーザ端末５００に送信する（Ｓ１０１１）。
　各ユーザ端末５００のコミュニケーションＡｐｐ制御部５２０は、受信した発話音声データの自動再生処理を行い、「隣に居るので私が対応します」の発話音声出力を行い、音声出力された発話音声に対応するテキスト形式の発話内容「隣に居るので私が対応します」を表示欄Ｄに表示させる。このときも、発話したユーザＢのユーザ端末５００には、自分が発話した発話音声データが送信されないように管理装置１００側で制御される。
（第２実施形態）
　図８から図１１は、第２実施形態を説明するための図である。図８は、本実施形態に係るコミュニケーションシステムのネットワーク構成図である。本実施形態のコミュニケーションシステムは、上記第１実施形態に対し、ユーザ端末５００において発話されたユーザからの問い掛けに応じてエージェント機能を提供する態様である。なお、上記第１実施形態と同様の構成については、同符号を付して説明を省略する。
　図９は、本実施形態のコミュニケーション管理装置１００、エージェント装置３００、ユーザ端末５００の各構成ブロック図である。第１実施形態の図２に対し、エージェント装置３００の構成が一部変更・追加され、ユーザ端末５００でのユーザの発話をトリガーに、エージェント装置３００が、検出情報に基づくエージェント発話テキストを生成して管理装置１００に送信する。
　具体的には、管理装置１００のコミュニケーション制御部１１１は、ユーザ端末５００から受信した発話音声の音声認識結果をエージェント装置３００に送信する機能を備える。エージェント装置３００は、ユーザの発話音声の音声認識結果を受信するテキスト受信部３７０と、テキスト形式の音声認識結果を解析するテキスト解析部３８０と、テキスト解析部３８０の解析結果に基づいて、エージェント発話テキストを提供するか否かを判定する制御部（情報提供部）３３０Ａと、を備える。発話テキスト送信部３４０は、制御部３３０Ａの判定結果に基づいて、エージェント発話テキストを生成し、管理装置１００に送信する。
　図１０は、本実施形態のコミュニケーションシステムの第２事例に基づく処理フローを示す図である。
　図１０に示すように、ユーザＣが、「今のＢ温泉の温度を教えて」と発話すると、コミュニケーションＡｐｐ制御部５２０は、発話音声を集音し、発話音声データを管理装置１００に送信する。管理装置１００の音声認識部１１３は、受信した発話音声データを音声認識処理し（１００５）、発話内容の音声認識結果を出力する。コミュニケーション制御部１１２は、音声認識結果をコミュニケーション履歴１２３に記憶し、発話音声データを記憶装置１２０に記憶する（Ｓ１００６）。
　コミュニケーション制御部１１２は、発話したユーザＣ以外の他のユーザ端末５００それぞれにユーザＣの発話音声データを同報送信する（１００８）。一方、コミュニケーション履歴１２３に記憶したユーザＣの発話内容「今のＢ温泉の温度を教えて」を、表示同期のために、ユーザＣ自身を含むコミュニケーショングループ内の各ユーザ端末５００に送信するとともに、エージェント装置３００にもテキスト形式の発話内容「今のＢ温泉の温度を教えて」を送信する（Ｓ１００７Ａ）。
　エージェント装置３００は、テキスト受信部３７０を介して「今のＢ温泉の温度を教えて」の発話テキストを受信する。受信した発話テキストは、テキスト解析部３８０によって解析され、例えば、周知の形態素解析を行って、キーワードを抽出する（Ｓ３１０１）。例えば、「Ｂ温泉」、「温度」、「教えて」の各キーワードを抽出する。
　エージェント装置３００の制御部（情報提供部）３３０Ａは、テキスト解析部３８０の解析結果であるキーワードを用いて、情報提供判定処理を行う（３１０２）。例えば、設定管理情報として、エージェント装置３００の管理対象の名称（Ｂ温泉）、エージェント装置３００に接続される状態検出機器によって検出される検出属性（温度）、質問文例示情報（「教えて」、「は？」、「いくつ」、「知りたい」）などを登録しておく。なお、本実施形態においても、これらの設定管理情報の登録処理は、設定管理部３５０を通じて行われる。
　制御部（情報提供部）３３０Ａは、ユーザＣの音声認識結果に、状態検出機器又は検出情報に対する問い掛けに関するキーワードが含まれているか否かを判定し、含まれていると判定された場合に（Ｓ３１０３のＹＥＳ）、センサ情報取得部３２０を通じて検出情報を取得する（３００１）。上記例示の場合、ユーザＣの音声認識結果に、「Ｂ温泉」が含まれており、かつ検出属性の「温度」と、質問文「教えて」が入っているので、制御部３３０Ａは、情報提供判定結果として「可」を出力する。
　なお、上記説明では、複数のエージェント装置３００がコミュニケーショングループに登録されていることを想定し、各エージェント装置３００が自身に対する問い掛けかを判断するために、エージェント装置３００の管理対象の名称が含まれているかを判定要素として取り入れている。しかしながら、例えば、コミュニケーショングループに１つのエージェント装置３００しか登場しない場合は、「温度教えて」などのユーザの発話で、状態検出機器から検出情報を取得するように構成することができる。また、状態検出機器の名称（温度センサ）などを情報提供判定情報として登録し、ユーザＣが、「温度センサの値は？」というような問い掛けに対して、エージェント装置３００が、検出情報に基づく発話を行うように構成することができる。
　エージェント装置３００のセンサ情報取得部３２０は、制御部３３０Ａの判定結果が「可」である場合に、状態検出機器（センサ機器１）が出力する温泉の温度情報を取得する（Ｓ３００１）。発話テキスト送信部３４０は、設定管理情報に設定されている発話テキストを抽出し、エージェント発話テキストデータ「現在の温度は３７．５度です」を生成する（Ｓ３００４）。発話テキスト送信部３４０は、生成したエージェント発話テキストを管理装置１００に送信する（Ｓ３００５）。このとき、定型文「現在の温度は○○度です」を設定管理情報として登録しておき、「○○」の部分を検出情報「３７．５」に置き換えて、エージェント発話テキストを生成することができる。
　管理装置１００の音声合成部１１４は、受信したエージェント発話テキストの合成音声データを生成する（Ｓ１００１）。また、管理装置１００のコミュニケーション制御部１１２は、エージェント装置３００から受信したエージェント発話テキストを、ユーザ同士のコミュニケーション履歴１２３に含ませて時系列に記憶する（Ｓ１００２）。
　コミュニケーション制御部１１２は、表示同期のため、テキスト形式のエージェント発話テキストを、ユーザ端末５００に送信すると共に（Ｓ１００３）、エージェント発話内容の合成音声データを複数の各ユーザ端末５００に同報配信する（Ｓ１００４）。
　各ユーザ端末５００のコミュニケーションＡｐｐ制御部５２０は、テキスト形式のエージェント発話内容を表示欄Ｄに表示させ、かつ合成音声データの自動再生処理を行い、音声出力を行う。このとき、各ユーザ端末５００の表示欄Ｄにおいて、同じエージェント発話内容が同期して表示され、かつエージェント発話内容「現在の温度は○○度です」の音声出力がそれぞれ行われる。
　続いて、エージェント発話内容を音声で聞いたユーザＣが、「基準温度よりも高いですがボイラー入れてください」と発話すると、コミュニケーションＡｐｐ制御部５２０は、発話音声を集音し、発話音声データを管理装置１００に送信する。管理装置１００の音声認識部１１３は、受信した発話音声データを音声認識処理し（１００９）、発話内容の音声認識結果を出力する。コミュニケーション制御部１１２は、音声認識結果をコミュニケーション履歴１２３に記憶し、発話音声データを記憶装置１２０に記憶する（Ｓ１０１０）。
　コミュニケーション制御部１１２は、発話したユーザＣ以外の他のユーザ端末５００それぞれにユーザＣの発話音声データを同報送信する（１０１２）。また、コミュニケーション履歴１２３に記憶したユーザＣの発話内容「基準温度よりも高いですがボイラー入れてください」を、表示同期のために、ユーザＣ自身を含むコミュニケーショングループ内の各ユーザ端末５００に送信する（Ｓ１０１２）。
　図１１は、本実施形態のユーザ端末５００に表示される画面例である。図１１に示すように、各ユーザ端末５００は、自分の発話内容及び自分以外の他のユーザの発話内容と共に、エージェント装置３００への問い掛けや呼び掛けに対する発話内容と、問い掛けや呼び掛けをトリガーに発話したエージェント装置３００の発話内容が表示欄Ｄに時系列に表示される。そして、管理装置１００に蓄積されるコミュニケーション履歴１２３がログ情報として共有される。
　本実施形態は、エージェント装置３００が、ユーザの問い掛けや呼び掛けを理解して、その都度、状態検出機器の検出情報に基づくエージェント発話テキストを生成して提供するので、エージェント装置３００がコミュニケーショングループ内の疑似ユーザとして登場し、ユーザ同士の情報伝達の会話により近いコミュニケーション環境を提供することができる。
　また、上記例示の施設以外にも、警備業におけるビル施設、物流業のバース（発着所）などがある。また、状態検出機器は、温度センサ以外にも、本コミュニケーションシステムの適用シーンに合わせて、様々な検出機器を用いることができる。
　例えば、状態検出機器として、カメラがある。人の動きや混雑度を、カメラで撮影した画像を用いて解析・判定し、「浴場に多数移動した」、「フロントに行列ができている」などの解析結果をトリガーに、エージェント装置３００がこれらの解析結果に対するエージェント発話テキストを管理装置１００に送信し、ユーザ端末５００に合成音声通知及びテキスト表示通知を行うことができる。また、混雑等に関する他の例としては、例えば、駐車場の混雑度を解析・判定し、「もうすぐ駐車場が満車になります」、「第２駐車場の準備をお願いします」などをユーザ端末５００に合成音声通知及びテキスト表示通知を行うこともできる。
　また、エージェント装置３００が、特定の人物をカメラ画像から抽出する機能を備えるように構成することもできる。この場合、例えば、予め登録された人物画像と撮影された画像とのマッチング処理を行い、状態検出機器であるカメラが設置された場所の情報を用いて、「誰が何処に到着した」という解析結果を得ることができる。このような解析結果をトリガーとして使用し、例えば、「～さんが、～にいます」というエージェント発話テキストをエージェント装置３００が出力し、管理装置１００を通じて各ユーザ端末５００に合成音声で通知することができる。
　また、他の例としては、状態検出機器として重量センサを適用することができる。例えば、エレベーター等に使われている重量センサと連携し、１０分間に５回以上重量オーバーの発生を検知したことをトリガーに、エージェント装置３００が「エレベーターが混雑しています」などのエージェント発話テキストを出力し、管理装置１００を通じて合成音声で各ユーザ端末５００（各ユーザ）に通知する。各ユーザは、必要に応じて人通り整理に向かうことができる。
　さらに、状態検出機器としてＧＰＳ装置（位置情報検出機器）を適用することができる。例えば、人力で引く荷車などにＧＰＳ装置を取り付けておき、エージェント装置３００は、ＧＰＳ装置から荷車の位置情報を取得可能に構成する。そして、エージェント装置３００は、予め設定されたルートや進入禁止場所と荷車の現在位置とをマッチングし、ルートから所定の範囲ズレていることや進入禁止場所への侵入を検知することができる。そして、これらを検知した場合に、「ルートは間違っていませんか？」、「そこは進入禁止場所です」といったエージェント発話テキストを出力し、管理装置１００を通じて合成音声で各ユーザ端末５００（各ユーザ）に通知する。このとき、進入禁止場所への侵入は、ユーザ端末５００のユーザ以外にも施設利用者も想定される。この場合、通知を受けた各ユーザ端末５００のユーザは、進入禁止場所へ向かい、施設利用者に適切にガイドすることができる。
　なお、コミュニケーション管理装置１００が、エージェント装置３００の各機能を備えるように構成することもできる。すなわち、図２又は図９で示したエージェント装置３００の機能が、コミュニケーション管理装置１００内にエージェント部として設けられる。そして、状態検出機器による検出情報が、コミュニケーション管理装置１００に送信されるように構成する。このとき、状態検出機器は、データ通信機能を内的に備えていてもよく、また、状態検出機器を個別のデータ通信機器に接続し、データ通信機器を介してコミュニケーション管理装置１００の検出情報を送信できるように構成してもよい。コミュニケーション管理装置１００のエージェント部は、監視対象の状態検出機器から出力される検出情報を受け付け、検出情報に基づくエージェント発話テキストを生成し、上記実施形態同様に、コミュニケーショングループの一員として動作することができる。
（第３実施形態）
　図１２から図１５は、第３実施形態を説明するための図である。なお、上記第１，第２実施形態と同様の構成については、同符号を付して説明を省略する。
　本実施形態のコミュニケーション管理装置１００は、上述のグループ通話機能に加えて、個別通話機能を備えている。図１２は、本実施形態のグループ通話モード中の個別通話モード割り込み処理の一例を説明するための図である。図１２に示すように、エージェント装置３００から発信されるエージェント発話テキストに基づく合成音声を、グループ通話中のコミュニケーショングループ内の特定のユーザだけに向けて送信する。
　上述のように、エージェント装置３００は、コミュニケーショングループ内のメンバ（エージェント）として登録される。本実施形態では、管理装置１００を通じたエージェントと特定のユーザとの間の個別通話機能を提供する。
　図１３は、本実施形態の管理装置（コミュニケーション管理装置）１００、エージェント装置３００、ユーザ端末５００の各構成ブロック図である。図１３に示すように、上記第１実施形態及び第２実施形態において説明した第１制御部及び第２制御部は、グループ通話制御部１１２Ａとして示されている。コミュニケーション制御部１１２は、グループ通話制御部１１２Ａ及び個別通話制御部１１２Ｂを備えるように構成される。
　管理装置１００は、コミュニケーショングループに登録された複数のユーザを含むグループメンバリストを生成し、保持している。個別通話制御部１１２Ｂは、エージェント装置３００から送信される個別通話要求に基づいて、グループメンバリストから該当するユーザを指定する。
　個別通話制御部１１２Ｂは、グループ通話で同報配信されるコミュニケーショングループ内のユーザを対象に、特定のユーザだけに向けて発話音声データを送信する個別通話機能を提供する。個別通話制御部１１２Ｂは、グループ通話モード中に、管理装置１００を通じてエージェント装置３００が特定のユーザと一対一で通話を行うために、指定されたユーザに対してコール（呼）を発信するコール処理を行う。コール処理は、維持されているグループ通話モードに対する割り込み処理であり、コール処理に対してユーザが応答すると、呼接続処理（個別通話通信チャネルの確立処理）を行う。これにより、確立された通話チャネルを通じ、エージェントから特定のユーザだけに向けた発話音声データの配信処理が開始される。これらの処理全体は、コミュニケーショングループ内のグループ通話状態を維持しつつ、特定のユーザをコミュニケーショングループ内の他のユーザとは区画した状態で通話を行うための個別通話割り込み処理として実行される。
　なお、本実施形態の個別通話機能は、エージェント以外の２人のユーザ間にも適用可能である。つまり、管理装置１００は、コミュニケーショングループに登録された複数のユーザを含むグループメンバリストを、事前に各ユーザ端末５００に配信することができる。そして、ユーザ端末５００は、グループメンバリストから個別通話相手のユーザが選択されると、選択されたユーザを含む個別通話要求を管理装置１００に送信することができる。個別通話制御部１１２Ｂは、選択されたユーザに対してコール処理を行い、コールされたユーザの応答アクションに基づいて、個別通話通信チャネルの確立することができる。
　なお、個別通話制御部１１２Ｂは、グループ通話モード中でなくても、個別通話要求を受け付け、指定又は選択されたユーザとの間で個別通話チャネルを開き、一対一で通話機能を提供することもできる。
　個別通話終了後は、コミュニケーショングループ内で維持されているグループ通話モードへの自動復帰処理を行うことができる。自動復帰処理は、コミュニケーション制御部１１２によって遂行される。ユーザ端末５００において個別通話モードに対する切断操作が行われると、コミュニケーション制御部１１２は、確立していた個別通話チャネルの切断処理を行って、実行中のグループ通話モードの通話チャネルに自動復帰させる。また、個別通話制御部１１２Ｂ側からの個別通話通信チャネルの切断処理に伴って、グループ通話モードへの自動復帰を行うように構成してもよい。
　個別通話モードの通話時間（コール開始時刻、呼応答後の通話時間、通話終了時刻）は、個別通話モード実行履歴として、個別通話相手の履歴と共に管理装置１００に蓄積される。また、個別通話中の発話音声データは、グループ通話モードと同様に、音声認識処理されてテキスト化し、コミュニケーション履歴情報１２３内に、又はコミュニケーション履歴情報１２３の時間経過と紐付けて個別に格納することができる。個別通話モード中の発話音声データも同様に記憶装置１２０に格納することができる。
　このように本実施形態の管理装置１００（通信装置１３０）は、グループ通話機能に対応して、一のユーザによる発話音声データ及びその発話内容のテキスト情報（発話音声データを音声認識処理して得られたテキスト情報）を複数の各ユーザ端末５００に一斉に送る同報配信通信制御を行う。また、個別通話機能に対応して、特定のユーザ（個別通話ユーザ）間での発話音声データの個別配信通信制御を行う。
　次に、エージェント装置３００は、図１４に示す特定通知設定情報を事前に保持することができる。図１４に示すように、状況判定条件が設定され、各条件毎に個別通話で連絡をする特定ユーザが決められている。また、連絡する内容（エージェント発話テキスト）も予め設定されている。
　図１４に示す特定通知設定情報は、上記第１，第２実施形態における図５の設定管理情報に、連絡するユーザ（特定ユーザ、ユーザ特性）と、連絡手段としての回線種別（個別通話、グループ通話）が追加された情報である。図５の判定条件が、図１４の状況判定条件に相当する。
　図１５は、本実施形態のコミュニケーションシステムの第３事例に基づく処理フローを示す図である
　エージェント装置３００の制御部（判定部）３３０は、監視対象のセンサ機器（状態検出機器）１から出力される検出情報を受け付け（Ｓ３００１）、特定通知設定情報の「状況判定条件」とマッチングする（Ｓ３００２）。受け付けた検出情報が、状況判定条件を満たすか否かを判定し（Ｓ３００３）、状況判定条件を満たすと判定された場合（Ｓ３００３のＹＥＳ）、予め設定された発話テキストを抽出し（Ｓ３００４）、連絡するユーザ、回線種別及び発話テキストの各情報を含む連絡要求を、管理装置１００に送信する（Ｓ３００５）。
　管理装置１００は、エージェント装置３００から連絡要求を受け付けると、音声合成部１１４が、受信したエージェント発話テキストの音声合成データを生成する（Ｓ１００１）。
　次に、コミュニケーション制御部１１２は、受け付けた連絡要求に含まれる回線種別と連絡先である特定ユーザを参照し、特定ユーザへの個別通話設定があるか否かを確認する（Ｓ１００１Ａ）。回線種別が「グループ通話」であれば、ステップＳ１００２に進み、個別通話モードではなく、グループ通話モードで連絡処理を行う（Ｓ１００３，Ｓ１００４）。このとき、コミュニケーション履歴１２３に、発話テキスト等が時系列に蓄積される（Ｓ１００２）。
　ステップＳ１００１Ａにおいて、特定ユーザへの個別通話設定があると判定された場合（Ｓ１００１ＡのＹＥＳ）、個別通話制御部１１２Ｂは、現在のグループ通話モードに対し、連絡要求に含まれる特定ユーザへの個別通話モード（割り込み）処理を行う（Ｓ１００１Ｂ）。具体的には、個別通話通信チャネルを用いて、特定ユーザへのコール処理を行う（１００１Ｃ）。コールを受けた特定ユーザは、着信呼に対する応答操作を行う（Ｓ５０４ａ）。特定ユーザが着信呼に対する応答する旨の操作を行うと、管理装置１００は、個別通話通信チャネルで、管理装置１００と特定ユーザとの個別通話回線を確立する通話処理を行う（Ｓ１００１Ｄ）。個別通話制御部１１２Ｂは、個別通話回線を通じて、エージェント発話テキストの音声合成データを、特定ユーザのユーザ端末５００に配信する。したがって、エージェントと特定ユーザとの間の個別通話回線による連絡が実現される。
　なお、個別通話モードに移行した特定ユーザは、グループ通話の通話チャネルに対して「保留」と同じ取り扱いとなり、個別通話終了後はグループ通話の通信チャネルに自動復帰することができる。また、コミュニケーション制御部１１２は、個別通話モードを利用した特定ユーザへの連絡履歴も、コミュニケーション履歴１２３に格納する（Ｓ１００２）。
　また、エージェントに対する個別通話相手は、２人以上であってよい。この場合、各特定ユーザに対して別々の個別通話チャネルを確立し、それぞれにエージェント発話テキストに基づく音声合成データを配信することができる。また、個別通話相手別に異なるエージェント発話テキストを設定することもできる。つまり、図１４の例のように、フロアマネージャーには「温度が閾値を下回りました。設定ユーザへの要対応通知を行います。」のエージェント発話テキストを設定し、有資格者（例えば、ボイラー技士）には、「至急、温度調節作業をお願いします。」のエージェント発話テキストを設定することができる。フロアマネージャー及び有資格者は、同じ状況判定条件）に対して異なる発話テキストに基づく音声合成データが配信されることになる。
　また、連絡先ユーザは、予め設定されたユーザでなくてもよい。図１４の例のように、各ユーザ（ユーザ端末）の位置情報を予め把握し、状況判定条件を満たすことで発生した事象への対応者として、その事象が発生した場所に近い１人又は２人以上のユーザを特定ユーザとして決定することができる。図１４の例では、進入禁止エリアで進入が検知された場合に、ユーザの位置情報に応じて特定ユーザを選定し、発話テキスト「進入禁止エリアでセンサ検知が発生しました。近距離ユーザとして対応願います。」の音声合成データを、選定した特定ユーザに配信することができる。
　なお、上述したように、管理装置１００が、エージェント装置３００の各機能を備えるように構成することもできるので、本実施形態の変形例として、管理装置１００内に、エージェント装置３００に相当するエージェント機能部を備えるように構成する。そして、管理装置１００が、センサ機器１から検出情報を受け付けて、図１５のステップＳ３００２、Ｓ３００３、及びＳ３００４を遂行し、グループ通話中に個別通話モードでの連絡を行うように構成することができる。
　以上、本実施形態について説明したが、コミュニケーション管理装置１００及びエージェント装置３００の各機能は、プログラムによって実現可能であり、各機能を実現するために予め用意されたコンピュータプログラムが補助記憶装置に格納され、ＣＰＵ等の制御部が補助記憶装置に格納されたプログラムを主記憶装置に読み出し、主記憶装置に読み出された該プログラムを制御部が実行することで、各部の機能を動作させることができる。
　また、上記プログラムは、コンピュータ読取可能な記録媒体に記録された状態で、コンピュータに提供することも可能である。コンピュータ読取可能な記録媒体としては、ＣＤ－ＲＯＭ等の光ディスク、ＤＶＤ－ＲＯＭ等の相変化型光ディスク、ＭＯ（Magnet Optical）やＭＤ(Mini Disk)などの光磁気ディスク、フロッピー（登録商標）ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ（登録商標）、スマートメディア、SDメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路（ICチップ等）等のハードウェア装置も記録媒体として含まれる。
　なお、本発明の実施形態を説明したが、当該実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１００　コミュニケーション管理装置
１１０　制御装置
１１１　ユーザ管理部
１１２　コミュニケーション制御部（第１制御部，第２制御部）
１１２Ａ　グループ通話制御部（第１制御部，第２制御部）
１１２Ｂ　個別通話制御部
１１３　音声認識部
１１４　音声合成部
１２０　記憶装置
１２１　ユーザ情報
１２２　グループ情報
１２３　コミュニケーション履歴情報
１２４　音声認識辞書
１２５　音声合成辞書
１３０　通信装置
３００　エージェント装置
３１０　通信部
３２０　センサ情報取得部
３３０　制御部（判定部）
３３０Ａ　制御部（情報提供部）
３４０　発話テキスト送信部
３５０　設定管理部
３６０　記憶部
３７０　テキスト受信部
３８０　テキスト解析部
５００　ユーザ端末（移動通信端末）
５１０　通信・通話部
５２０　コミュニケーションＡｐｐ制御部
５３０　マイク（集音部）
５４０　スピーカー（音声出力部）
５５０　表示・入力部
５６０　記憶部
Ｄ　表示欄

Claims (9)

  1. 　複数の各ユーザがそれぞれ携帯する移動通信端末を通じて、ユーザの発話音声が他のユーザの移動通信端末に同報配信されるコミュニケーションシステムであって、
    　前記各移動通信端末が無線通信で接続するコミュニケーション管理装置と、監視対象の状態検出機器から出力される検出情報が入力され、前記コミュニケーション管理装置に接続するエージェント装置と、を含み、
    　前記コミュニケーション管理装置は、
    　移動通信端末から受信した発話音声データを他の複数の移動通信端末それぞれに同報配信する第１制御部と、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、ユーザ同士のコミュニケーション履歴として時系列に蓄積するとともに、前記各移動通信端末において前記コミュニケーション履歴が同期して表示されるようにテキスト配信制御を行う第２制御部と、を有するコミュニケーション制御部を備え、
    　前記エージェント装置は、前記検出情報に基づくエージェント発話テキストを生成し、前記コミュニケーション管理装置に送信する発話テキスト送信部を備え、
    　前記コミュニケーション制御部は、合成音声処理によって生成された前記エージェント発話テキストの合成音声データを、複数の前記移動通信端末それぞれに同報配信するとともに、受信した前記エージェント発話テキストを、ユーザ同士の前記コミュニケーション履歴に含ませて時系列に蓄積し、前記各移動通信端末へのテキスト配信制御を行うことを特徴とするコミュニケーションシステム。
  2. 　前記コミュニケーション管理装置は、複数の前記移動通信端末が登録され、前記第１制御部及び前記第２制御部による制御対象のコミュニケーショングループを設定するユーザ管理部を備え、
    　前記ユーザ管理部は、前記エージェント装置を前記コミュニケーショングループに登録する機能を提供することを特徴とする請求項１に記載のコミュニケーションシステム。
  3. 　前記エージェント装置は、予め設定された判定条件に基づいて、前記検出情報が前記判定条件を満たすか否かを判断する制御部をさらに備え、
    　前記発話テキスト送信部は、前記検出情報が前記判定条件を満たすと判断された場合に、前記エージェント発話テキストを生成することを特徴とする請求項１又は２に記載のコミュニケーションシステム。
  4. 　前記コミュニケーション制御部は、前記発話音声認識結果を前記エージェント装置に送信し、
    　前記エージェント装置は、
    　前記発話音声認識結果を受信するテキスト受信部と、
    　前記発話音声認識結果に基づいて、前記エージェント発話テキストを提供するか否かを判定する情報提供部と、を備え、
    　前記発話テキスト送信部は、前記情報提供部の判定結果に基づいて、前記エージェント発話テキストを生成し、前記コミュニケーション管理装置に送信することを特徴とする請求項１から３のいずれか１つに記載のコミュニケーションシステム。
  5. 　前記情報提供部は、前記発話音声認識結果に、前記状態検出機器又は前記検出情報に対する問い掛けに関するキーワードが含まれているか否かを判定することを特徴とする請求項４に記載のコミュニケーションシステム。
  6. 　前記コミュニケーション制御部は、
    　同報配信されるコミュニケーショングループ内の特定のユーザだけに向けて発話音声データを送信する個別通話制御部と、を備え、
    　前記個別通話制御部は、合成音声処理によって生成された前記エージェント発話テキストの合成音声データを、特定のユーザに向けて送信する個別通話制御を行うことを特徴とする請求項１から５のいずれか１つに記載のコミュニケーションシステム。
  7. 　複数の各ユーザがそれぞれ携帯する移動通信端末を通じて、ユーザの発話音声が他のユーザの移動通信端末に同報配信されるコミュニケーション方法であって、前記各移動通信端末が無線通信でコミュニケーション管理装置と接続し、監視対象の状態検出機器から出力される検出情報が入力されるエージェント装置が前記コミュニケーション管理装置に接続しており、
    　コミュニケーション管理装置が、移動通信端末から受信した発話音声データを他の複数の移動通信端末それぞれに同報配信する第１ステップと、
    　コミュニケーション管理装置が、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、ユーザ同士のコミュニケーション履歴として時系列に蓄積するとともに、前記各移動通信端末において前記コミュニケーション履歴が同期して表示されるようにテキスト配信制御を行う第２ステップと、
    　前記エージェント装置が、前記検出情報に基づくエージェント発話テキストを生成し、前記コミュニケーション管理装置に送信する第３ステップと、を含み、
    　前記第１ステップは、合成音声処理によって生成された前記エージェント発話テキストの合成音声データを、複数の前記移動通信端末それぞれに同報配信し、
    　前記第２ステップは、受信した前記エージェント発話テキストを、ユーザ同士の前記コミュニケーション履歴に含ませて時系列に蓄積し、前記各移動通信端末へのテキスト配信制御を行うことを特徴とするコミュニケーション方法。
  8. 　複数の各ユーザがそれぞれ携帯する移動通信端末と無線通信で接続され、ユーザの発話音声を他のユーザの移動通信端末に同報配信する管理装置によって実行されるプログラムであって、
    　移動通信端末から受信した発話音声データを他の複数の移動通信端末それぞれに同報配信する第１機能と、
    　受信した発話音声データを音声認識処理して得られる発話音声認識結果を、ユーザ同士のコミュニケーション履歴として時系列に蓄積するとともに、前記各移動通信端末において前記コミュニケーション履歴が同期して表示されるようにテキスト配信制御を行う第２機能と、
    　監視対象の状態検出機器から出力される検出情報が入力され、前記管理装置に接続するエージェント装置によって生成された前記検出情報に基づくエージェント発話テキストを受信し、前記エージェント発話テキストの合成音声データを生成する第３機能と、を実現させ、
    　前記第１機能は、前記エージェント発話テキストの合成音声データを複数の前記移動通信端末それぞれに同報配信し、
    　前記第２機能は、受信した前記エージェント発話テキストを、ユーザ同士の前記コミュニケーション履歴に含ませて時系列に蓄積し、前記各移動通信端末へのテキスト配信制御を行うことを特徴とするプログラム。
  9. 　複数の各ユーザがそれぞれ携帯する移動通信端末を通じて、ユーザの発話音声が他のユーザの移動通信端末に同報配信されるコミュニケーションシステムであって、
    　移動通信端末から受信した発話音声データを他の複数の移動通信端末それぞれに同報配信する第１制御部と、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、ユーザ同士のコミュニケーション履歴として時系列に蓄積するとともに、前記各移動通信端末において前記コミュニケーション履歴が同期して表示されるようにテキスト配信制御を行う第２制御部と、を有するコミュニケーション制御部と、
    　監視対象の状態検出機器から出力される検出情報を受け付け、前記検出情報に基づくエージェント発話テキストを生成するエージェント部を備え、
    　前記コミュニケーション制御部は、合成音声処理によって生成された前記エージェント発話テキストの合成音声データを、複数の前記移動通信端末それぞれに同報配信するとともに、受信した前記エージェント発話テキストを、ユーザ同士の前記コミュニケーション履歴に含ませて時系列に蓄積し、前記各移動通信端末へのテキスト配信制御を行うことを特徴とするコミュニケーションシステム。
     
PCT/JP2021/002181 2020-01-27 2021-01-22 コミュニケーション管理装置及び方法 WO2021153438A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/759,248 US20230054530A1 (en) 2020-01-27 2021-01-22 Communication management apparatus and method
CN202180007237.0A CN114846781A (zh) 2020-01-27 2021-01-22 交流管理装置及方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020010639 2020-01-27
JP2020-010639 2020-01-27
JP2020112961A JP7500057B2 (ja) 2020-01-27 2020-06-30 コミュニケーション管理装置及び方法
JP2020-112961 2020-06-30

Publications (1)

Publication Number Publication Date
WO2021153438A1 true WO2021153438A1 (ja) 2021-08-05

Family

ID=77079764

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/002181 WO2021153438A1 (ja) 2020-01-27 2021-01-22 コミュニケーション管理装置及び方法

Country Status (3)

Country Link
US (1) US20230054530A1 (ja)
CN (1) CN114846781A (ja)
WO (1) WO2021153438A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2023013093A1 (ja) * 2021-08-04 2023-02-09

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080181140A1 (en) * 2007-01-31 2008-07-31 Aaron Bangor Methods and apparatus to manage conference call activity with internet protocol (ip) networks
JP2011215836A (ja) * 2010-03-31 2011-10-27 Toshiba Corp 遠隔情報管理システム及び方法
JP2012090173A (ja) * 2010-10-21 2012-05-10 Hozen Service Inc 遠隔監視通報方法および遠隔監視通報装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080181140A1 (en) * 2007-01-31 2008-07-31 Aaron Bangor Methods and apparatus to manage conference call activity with internet protocol (ip) networks
JP2011215836A (ja) * 2010-03-31 2011-10-27 Toshiba Corp 遠隔情報管理システム及び方法
JP2012090173A (ja) * 2010-10-21 2012-05-10 Hozen Service Inc 遠隔監視通報方法および遠隔監視通報装置

Also Published As

Publication number Publication date
CN114846781A (zh) 2022-08-02
US20230054530A1 (en) 2023-02-23

Similar Documents

Publication Publication Date Title
US9843678B2 (en) Visual assistance systems and related methods
US20050099291A1 (en) System for guiding visually impaired pedestrian using auditory cues
CA2848692C (en) Unknown speaker identification system
JP2011527005A (ja) 特に全盲者または視覚障害者のために改良された方位特定、ナビゲーションおよび情報システム
WO2017211172A1 (zh) 应急案件处理方法、装置及城市应急联动系统
US20100250253A1 (en) Context aware, speech-controlled interface and system
US9800707B2 (en) Mobile device with public announcement reception while using a headset accessory
US20160366528A1 (en) Communication system, audio server, and method for operating a communication system
CA2078995A1 (en) Method for providing service access information in a communication system
WO2021153438A1 (ja) コミュニケーション管理装置及び方法
EP3665910B1 (en) Online automatic audio transcription for hearing aid users
WO2022004067A1 (ja) コミュニケーションシステム
JP2021117965A (ja) コミュニケーション管理装置及び方法
JP2001221649A (ja) 歩行者誘導システム
KR20110097605A (ko) 사용자 단말의 자동 환경 설정 시스템 및 그 방법
JP7332690B2 (ja) コミュニケーション管理装置
WO2022149385A1 (ja) コミュニケーションシステム
KR20070112911A (ko) 음성인식을 통한 청각장애인 대화 시스템
JP6523974B2 (ja) コミュニケーション支援装置、コミュニケーション支援方法、および、プログラム
KR102697658B1 (ko) 데이터 방송을 제공하는 전관방송장치와 그 전관방송장치를 이용한 데이터 전관방송 시스템
JPH10174168A (ja) 移動無線システム
JP2010023617A (ja) 降車通知システム、降車通知装置、降車通知方法及びプログラム
JP2023100420A (ja) 通知方法及び通知プログラム
JP2005065026A (ja) 情報収集ロボット
JP2015191399A (ja) 音声プッシュ配信システムおよび音声プッシュ配信方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21747314

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21747314

Country of ref document: EP

Kind code of ref document: A1