WO2016129189A1 - 音声文字化支援システム、サーバ、音声文字化支援方法およびプログラム - Google Patents
音声文字化支援システム、サーバ、音声文字化支援方法およびプログラム Download PDFInfo
- Publication number
- WO2016129189A1 WO2016129189A1 PCT/JP2015/086003 JP2015086003W WO2016129189A1 WO 2016129189 A1 WO2016129189 A1 WO 2016129189A1 JP 2015086003 W JP2015086003 W JP 2015086003W WO 2016129189 A1 WO2016129189 A1 WO 2016129189A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- support
- terminal
- supporter
- user terminal
- identifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
Definitions
- the present invention relates to a system, a server, a support method, and a program to be executed by a computer for assisting a support user in converting a voice information into text by a supporter.
- Summary writing support is a support method that guarantees information by displaying the utterances of a speaker in text or on a personal computer.
- Non-Patent Document 1 discloses a remote interpretation service as an example of a remote support service.
- a company providing an interpreting service secures translators in advance, and a tablet terminal is installed in advance at a window providing the interpreting service.
- the tablet terminal is connected to a remote translator's terminal so that the tablet terminal can communicate with the remote translator terminal, and can receive the interpreting service.
- translators are not secured during the hours when no window is opened, such as at night, support recipients cannot receive translation services during those hours.
- Patent Document 1 discloses a method and system for real-time language translation using a social networking service (SNS). The method disclosed in Patent Document 1 will be briefly described.
- SNS social networking service
- the support beneficiary uses the SNS to request a person from all over the world to transcribe it by a short message service (SMS) message. If there is a person who can support, the support recipient can receive support via the network even if the person is in a remote place. Since the target area of the support candidate is the world, the support recipient is more likely to receive support whenever assistance is needed.
- SMS short message service
- Patent Document 1 there is a concern that even an uninformed person who has never actually met the conversation content because of using SNS will be known. Even in the method disclosed in Non-Patent Document 1, since the supporter becomes an uninformed person, there is an anxiety that the conversation content is known to an uninformed person.
- An object of the present invention is to provide a phonetic transcription support system, a server, a phonetic transcription support method, and a computer that enable a user to receive support from a reliable person without requiring complicated operations. It is to provide a program to be executed.
- a phonetic transcription support system that acquires a user terminal identifier, which is an identifier of a user terminal, by communicating with a user terminal used by a user who wants to receive support for converting voice information into text information. Then, when the user terminal identifier is acquired from the user terminal by communication between the user terminal and the support organization terminal that includes the user terminal identifier and transmits the first relation information indicating that the user belongs to the support organization to the network. Used by a support support person who transmits a second relation information including a user terminal identifier and a supporter terminal identifier which is an identifier of the own terminal, indicating that the user terminal and the own terminal have a support enjoyment relation to the network.
- a server that creates and stores a list of registered supporter terminal identifiers corresponding to user terminal identifiers based on the first and second relationship information, and the server includes a support request signal including the user terminal identifiers Is received from the user terminal via the network, a plurality of supporter terminals registered in the list corresponding to the user terminal identifier included in the support request signal are specified, and a support request is sent to the specified supporter terminals
- the supporter terminal that is the transmission source of the supportable notification is connected to the user terminal via the network so that the supporter terminal
- voice data is received from the user terminal after being connected to be communicable with the user terminal, voice based on the voice data is output, and when characters are input to the output voice, It is configured to transmit to the user terminal in order to display the information of the force character to the user terminal.
- the server provides support used by a supporter who performs support corresponding to a user terminal identifier that is an identifier of a user terminal used by a user who wants to receive support for converting voice information into text information.
- a storage unit for storing a list in which a user terminal identifier is registered, and first relation information including a user terminal identifier and indicating that the user belongs to the support organization from the support organization terminal via the network
- the second relation information including the user terminal identifier and the supporter terminal identifier which is the identifier of the own terminal and indicating that the user terminal and the supporter terminal have a support enjoyment relationship is obtained from the supporter terminal via the network.
- a control unit that creates a list based on the first and second relationship information and stores the list in the storage unit, and the control unit includes a user terminal identifier
- the request signal is received from the user terminal via the network
- a plurality of supporter terminals registered in the list corresponding to the user terminal identifier included in the support request signal are identified and addressed to the plurality of specified supporter terminals
- the supporter terminal that is the transmission source of the supportable notification is connected to the user terminal via the network so as to be communicable.
- a phonetic characterizing support method is a voice characterizing support method using a support organization terminal, a supporter terminal, and a server connected via a network.
- a user terminal identifier which is an identifier of a user terminal
- the user terminal identifier is included and indicates that the user belongs to a support organization 1
- the supporter terminal obtains the user terminal identifier through communication with the user terminal
- the user terminal identifier and the supporter terminal identifier that is the identifier of the own terminal are included.
- the second relationship information indicating that the terminal and the own terminal have a support and enjoyment relationship is transmitted to the server via the network.
- the support terminal identifier is registered corresponding to the user terminal identifier based on the first and second relation information.
- the server receives the support request signal including the user terminal identifier from the user terminal via the network, a plurality of registered in the list corresponding to the user terminal identifier included in the support request signal is generated.
- a supporter terminal is identified, a support request signal is transmitted to the plurality of identified supporter terminals, and the server receives a supportable notification that indicates that support is possible, the support of the sender of the supportable notification is received.
- the user terminal is communicably connected to the user terminal via the network, and the supporter terminal receives the voice data from the user terminal after being connected to the user terminal. That the one in which output audio voice data, a character is input to the output voice, and transmits to the user terminal in order to display the information of the input character to the user terminal.
- a program includes a user terminal identifier, which is an identifier of a user terminal used by a user who wants to receive assistance for converting voice information into character information, and the user belongs to a support organization. Including a procedure for receiving first relation information indicating that the user terminal is present from the support organization terminal via the network, a user terminal identifier and a supporter terminal identifier that is an identifier of the own terminal.
- a procedure for identifying a plurality of supporter terminals registered in the list corresponding to the user terminal identifier included in the support request signal, and a support request signal addressed to the plurality of identified supporter terminals When received via the work, a procedure for identifying a plurality of supporter terminals registered in the list corresponding to the user terminal identifier included in the support request signal, and a support request signal addressed to the plurality of identified supporter terminals
- a procedure for connecting the supporter terminal that is the source of the supportable notification to be communicable with the user terminal via the network is executed.
- FIG. 1 is a block diagram for explaining the configuration of the phonetic transcription support system of this embodiment.
- FIG. 2 is a block diagram illustrating a configuration example of each device related to the phonetic transcription support system described with reference to FIG.
- FIG. 3 is a flowchart showing a procedure for registering a support organization in the server.
- FIG. 4 is a diagram illustrating an example of a data structure image when a support organization is registered in the related information registration unit.
- FIG. 5 is a flowchart showing a procedure for registering related information between a support recipient and a support organization in a server.
- FIG. 6 is a diagram illustrating an example of a data structure image when the related information between the support recipient and the support group is registered in the related information registration unit.
- FIG. 1 is a block diagram for explaining the configuration of the phonetic transcription support system of this embodiment.
- FIG. 2 is a block diagram illustrating a configuration example of each device related to the phonetic transcription support system described with reference to FIG.
- FIG. 3 is
- FIG. 7 is a flowchart showing a procedure for registering related information between the supporter and the support beneficiary in the server.
- FIG. 8 is a diagram illustrating an example of a data structure image when the related information between the supporter and the support recipient is registered in the related information registration unit.
- FIG. 9 is a diagram illustrating an example of a data structure image when a support recipient and a supporter are associated with each other and stored in the related information storage unit.
- FIG. 10 is a flowchart showing the procedure of the support request.
- FIG. 11 is a diagram showing an example of an operation screen for support request displayed on the support beneficiary terminal.
- FIG. 12 is a flowchart showing a procedure from when a supporter terminal receives a support request until the supporter provides support.
- FIG. 1 is a block diagram for explaining the configuration of the phonetic transcription support system of this embodiment.
- the phonetic transcription support system includes a phonetic transcription support server (hereinafter simply referred to as “server”) 1, a support organization terminal 2, and a supporter terminal 4.
- server phonetic transcription support server
- the support beneficiary terminal 3 corresponds to a user terminal used by a user who receives support for converting voice information into text information.
- the supporter terminal 4 is a terminal used by a supporter who supports the support recipient.
- the support group terminal 2 is a terminal for registering related information for supporting the support recipient in the server 1, and is a terminal used by the administrator of the support group.
- the server 1 specifies a supporter who can support the support request from the support beneficiary, and even if the supporter is in a remote place far away from the support beneficiary, the terminal of each person is connected via the communication network 9. Connected so that support recipients can receive support in real time.
- the server 1, the support organization terminal 2, the support beneficiary terminal 3, and the supporter terminal 4 are connected to each other via a communication network 9 so that they can communicate with each other.
- Each terminal of the support group terminal 2, the support beneficiary terminal 3, and the supporter terminal 4 is registered in advance with a unique terminal identifier for enabling the terminal to be distinguished from other terminals. Further, the identifier of the server 1 is registered in advance in each terminal.
- Each device communicates with each other using a predetermined communication protocol. In the present embodiment, it is assumed that the communication network 9 is the Internet and the communication protocol is TCP (Transmission Control Protocol) / IP (Internet Protocol). The configuration of each device related to the phonetic transcription support system will be described in detail below.
- FIG. 2 is a block diagram showing a configuration example of each device related to the phonetic transcription support system described with reference to FIG.
- the server 1 includes a related information storage unit 14 that corresponds to a storage unit, and a control unit 15.
- the control unit 15 includes a related information registration unit 11, a support request unit 12, and a remote support unit 13.
- the control unit 15 includes a CPU (Central Processing Unit) (not shown) that executes processing according to a program, and a memory (not shown) that stores the program.
- CPU Central Processing Unit
- the control unit 15 includes a CPU (Central Processing Unit) (not shown) that executes processing according to a program, and a memory (not shown) that stores the program.
- the CPU Central Processing Unit
- the related information registration unit 11, the support request unit 12, and the remote support unit 13 are virtually configured in the server 1.
- the related information storage unit 14 holds related information indicating information on which support recipients and supporters are registered in which support organization, and information on which supporters support which support recipients.
- the related information registration unit 11 receives related information regarding the support enjoyment relationship from the support group terminal 2 and the supporter terminal 4, creates related information based on the related information, and stores the related information in the related information storage unit 14.
- the support request unit 12 When receiving the support request notification from the support beneficiary terminal 3, the support request unit 12 notifies the support request only to the supporter terminal 4 possessed by the related supporter.
- the remote support unit 13 connects the supporter terminal 4 and the support beneficiary terminal 3 used by a supporter capable of support via the communication network 9 so that they can communicate with each other.
- the support group terminal 2 includes a support group registration unit 21, a support beneficiary registration unit 22, and a related information reception unit 23.
- the support group terminal 2 is an information processing apparatus such as a personal computer (PC) having a short-range wireless communication function.
- the support group terminal 2 is provided with a CPU (not shown) that executes processing according to a program and a memory (not shown) that stores the program.
- the support group registration unit 21 and the support beneficiary registration unit 22 are virtually configured in the support group terminal 2 by the CPU executing the program.
- the related information receiving unit 23 is a short-range communication unit that acquires the terminal identifier of the support beneficiary terminal 3 from the support beneficiary terminal 3 by short-range wireless communication.
- the support organization registration unit 21 transmits information for registering the support organization to the server 1 to the related information registration unit 11 of the server 1.
- the support beneficiary registration unit 22 When the support beneficiary registration unit 22 receives the terminal identifier of the support beneficiary terminal 3 from the relationship information receiving unit 23, the support beneficiary registration unit 22 registers the related information in the server 1 to register that the support beneficiary is related to the support beneficiary. 1 to the related information registration unit 11.
- the short-distance data exchanging means for exchanging identifiers between terminals will be described in the case of short-range wireless communication including NFC (Near Field Communication) and Bluetooth (registered trademark). It is not limited to means.
- NFC Near Field Communication
- Bluetooth registered trademark
- the identifier of the own terminal is exchanged between the terminals by photographing the QR code (registered trademark) displayed on the display unit of one portable terminal with the camera provided on the other portable terminal. It may be a means to do.
- QR code registered trademark
- the phonetic transcription support system it is possible to use short-distance data exchange means such as NFC technology that allows data exchange by simply bringing the terminals close together from the viewpoint of simplifying the operation to the portable terminal by the support recipient. desirable.
- the support beneficiary terminal 3 includes a support request transmission unit 31, a remote support reception unit 32, and a related information transmission unit 33.
- the support beneficiary terminal 3 is, for example, a mobile terminal such as a smartphone or a PDA (Personal Digital Assistant).
- the support beneficiary terminal 3 is provided with a CPU (not shown) that executes processing according to a program and a memory (not shown) that stores the program.
- the remote support receiving unit 32 is virtually configured in the support beneficiary terminal 3 by the CPU executing the program.
- the memory for storing the program and the CPU for executing the program are included in the control unit of a general portable terminal, and are not shown in the figure.
- the support beneficiary terminal 3 includes a microphone, a display unit, and a storage unit that are provided in a general portable terminal, but illustration of these configurations in the drawing is omitted.
- the related information transmission unit 33 is a short-range communication unit that transmits a terminal identifier of the terminal itself to the support group terminal 2 and the supporter terminal 4 by short-range wireless communication.
- the support request transmission unit 31 is a terminal of its own terminal for notifying other devices that support is required when an input indicating that support is desired is received from the support recipient via an operation unit (not shown).
- a support request signal including the identifier is transmitted to the support request unit 12 of the server 1.
- the remote support receiving unit 32 collects sound around the support beneficiary terminal 3 and transmits the collected sound data to the remote support unit 43 of the supporter terminal 4 via the communication network 9. In addition, the remote support receiving unit 32 displays the result of the supporter characterizing the voice on a display unit (not shown).
- the terminal identifier of the supporter terminal 4 may be registered in advance in the storage unit (not shown) corresponding to the names of a plurality of supporters.
- the storage unit may group a plurality of supporters into a plurality of types, and store a terminal identifier and a supporter name for each supporter terminal.
- the support request transmitting unit 31 displays one type from a plurality of types on a display unit (not shown) so as to be able to select, and supports the information of the selected type.
- the request signal may be included and transmitted.
- the related information transmission unit 33 may receive the terminal identifier of the supporter terminal 4 by short-range wireless communication and store it in the storage unit. .
- the supporter terminal 4 includes a supporter registration unit 41, a support request reception unit 42, a remote support unit 43, and a relation information reception unit 44.
- the supporter terminal 4 is a mobile terminal such as a smartphone and a PDA, for example.
- the supporter terminal 4 is provided with a CPU (not shown) that executes processing according to a program and a memory (not shown) that stores the program.
- the supporter registration unit 41 and the remote support unit 43 are virtually configured in the supporter terminal 4.
- the supporter terminal 4 has a display unit and a speaker provided in a general portable terminal, these configurations are not shown in the drawing.
- the related information receiving unit 44 is a short-range communication unit that acquires the terminal identifier of the support beneficiary terminal 3 from the support beneficiary terminal 3 by short-range wireless communication.
- the supporter registration unit 41 When the supporter registration unit 41 receives the terminal identifier of the support beneficiary terminal 3 from the relationship information receiving unit 44, the supporter registration unit 41 registers the relationship information in the server 1 to register that the supporter is related to the support beneficiary. It transmits to the information registration part 11.
- the support request receiving unit 42 When the support request receiving unit 42 receives the support request notification from the server 1, the support request receiving unit 42 displays on the display unit (not shown) that there has been a support request. Then, when the supporter inputs that support is possible via the operation unit (not shown), the support request receiving unit 42 provides support to notify the server 1 that support is possible. A support enable notification including information indicating the possibility and the identifier of the own terminal is transmitted to the support request unit 12 of the server 1.
- the remote support unit 43 When the remote support unit 43 receives the peripheral voice of the support beneficiary terminal 3 from the support beneficiary terminal 3, the remote support unit 43 reproduces the peripheral voice with a speaker (not shown). And if a supporter converts the information by a voice into the information by a character, the remote support part 43 will transmit the result after conversion to the remote support enjoyment part 32 of the support beneficiary terminal 3.
- the support group terminal 2 and the supporter terminal 4 acquire information of the support beneficiary in advance through the short-distance wireless communication with the support beneficiary terminal 3 and information indicating the relationship between the support beneficiary, the supporter, and the own group is stored in the server 1. Notify The related information registration unit 11 of the server 1 registers the information notified from the support organization terminal 2 in the related information storage unit 14.
- the support beneficiary When the support beneficiary needs support, the support beneficiary operates the support beneficiary terminal 3 and inputs to the support beneficiary terminal 3 that support is required.
- the support beneficiary terminal 3 transmits a support request signal to the server 1 via the communication network 9 when it is input that support is required.
- the support request unit 12 of the server 1 When the support request unit 12 of the server 1 receives the support request signal from the support beneficiary terminal 3, the support request unit 12 identifies a plurality of supporter terminals 4 to which a support request should be sent based on the information stored in the related information storage unit 14. Subsequently, the support request unit 12 transmits a support request signal to the identified plurality of supporter terminals 4 via the communication network 9.
- the supporter terminal 4 that has received the support request signal displays a request for support.
- the support person who sees the display can support remotely, he / she operates the support person terminal 4 and inputs that support is possible.
- the supporter terminal 4 transmits a support support notification to the server 1 via the communication network 9.
- the support request unit 12 of the server 1 When the support request unit 12 of the server 1 receives the support available notification from the supporter terminal 4, the support request unit 12 notifies the remote support unit 13 of information on the supporter terminal 4 and the support beneficiary terminal 3 that have transmitted the support available notification.
- the remote support unit 13 receives information on the supporter terminal 4 and the support beneficiary terminal 3 from the support request unit 12, the remote support unit 13 connects these terminals via the communication network 9 so that they can communicate with each other. In this way, the support recipient can receive support even if the supporter is in a remote location far from him.
- the related information is information indicating which support group is associated with which support recipient and which support recipient is associated with which supporter.
- Such related information needs to be registered in the server 1 in advance.
- the server 1 generates and updates related information as follows based on the relationship information indicating the relationship between the support group and the support beneficiary and the relationship information indicating the relationship between the supporter and the support beneficiary. And learn about the relationships between support groups, support recipients and supporters.
- the support organization registration unit 21 transmits the input information to the related information registration unit 11 of the server 1.
- the related information registration unit 11 of the server 1 receives the information on the support organization name from the support organization terminal 2, the related information registration unit 11 stores the support organization name in the table of the related information storage unit 14. Subsequently, the related information registration unit 11 issues a support organization identifier which is identification character string information for uniquely identifying the support organization and notifies the support organization identifier in order to notify that the registration has been accepted. Reply to terminal 2.
- the support organization terminal 2 stores the support organization identifier received from the server 1 in the terminal.
- the support beneficiary goes to the support organization in order to register his / her terminal as a terminal that receives the provision of the phonetic support service, and brings the support beneficiary terminal 3 close to the support organization terminal 2.
- the related information transmitting unit 33 of the support beneficiary terminal 3 transmits a user terminal identifier that is a terminal identifier of the support beneficiary terminal 3 to the related information receiving unit 23 of the support group terminal 2 by short-range wireless communication.
- the support beneficiary registration unit 22 of the support group terminal 2 transmits the related information including the user terminal identifier and the support group identifier to the server 1.
- the support beneficiary brings the support beneficiary terminal 3 close to the support group terminal 2
- the support beneficiary tells the administrator of the support group his / her name, and the administrator inputs the name of the support beneficiary to the support group terminal 2 To do.
- the support beneficiary registration unit 22 of the support group terminal 2 transmits relation information including the user terminal identifier, the name of the support beneficiary, and the support group identifier to the server 1 via the communication network 9.
- the related information registration unit 11 of the server 1 When the related information registration unit 11 of the server 1 receives the related information from the support organization terminal 2, the related information registration unit 11 identifies the information stored in the table with the support organization identifier included in the received related information and includes the specified support organization identifier. Register and update the user terminal identifier in the information. Thereby, the server 1 learns the relationship between the support group and the support beneficiary.
- the support beneficiary meets directly with the supporter and brings the support beneficiary terminal 3 closer to the supporter terminal 4 in order to register the supporter who wants to receive support in the phonetic transcription support system.
- the relationship information transmitting unit 33 of the support beneficiary terminal 3 transmits the user terminal identifier to the relationship information receiving unit 44 of the supporter terminal 4 by short-range wireless communication.
- the supporter registration unit 41 of the supporter terminal 4 When the supporter registration unit 41 of the supporter terminal 4 receives the user terminal identifier from the relationship information receiving unit 44, the supporter registration unit 41 transmits the relationship information including the user terminal identifier and the supporter terminal identifier that is the identifier of the supporter terminal 4 to the server 1. To do. Here, the case where the name of the supporter is also included in the related information will be described.
- the supporter registration unit 41 of the supporter terminal 4 transmits relation information including the user terminal identifier, the supporter name, and the supporter terminal identifier to the server 1 via the communication network 9.
- the related information registration unit 11 of the server 1 When the related information registration unit 11 of the server 1 receives the related information from the supporter terminal 4, the related information registration unit 11 identifies the related information stored in the table with the user terminal identifier included in the received related information, and supports the identified related information. Register and update the terminal identifier. Thereby, the server 1 learns the relationship between the supporter and the support beneficiary.
- the support recipient can manage the related information of himself / herself and the support organization and the supporter by the server 1 by performing the above operation.
- the support beneficiary can directly register a plurality of supporters in the server 1 by meeting with a plurality of supporters whom he can trust and performing the above operation. By registering a plurality of supporters in the server 1 in advance, the support recipient is more likely to find a person who supports someone when support is needed.
- the support beneficiary can use the short-distance data exchanging means to bring the support beneficiary terminal 3 close to the support group terminal 2 or the support terminal 4 and to obtain information related to him / her and the support group and the supporter 1 Can be registered. Therefore, it is considered that the operation is sufficiently possible regardless of the degree of IT literacy that the support recipient has.
- the support beneficiary terminal 3 displays a plurality of pre-registered supporters in a selectable manner on a display unit (not shown).
- a support recipient selects a person or a supporter type that he / she wants to support from among a plurality of supporters displayed on the display unit.
- the supporter type for example, “family” and “friend” can be considered.
- As a method of selection there is a method in which a support recipient operates and operates an operation unit (not shown) so as to press a button displayed beside the name of the supporter or the supporter type.
- the supporter type is selected.
- the support beneficiary terminal 3 displays a support request button for confirming the support request on the display unit, the support beneficiary performs an operation of pressing the support request button via the operation unit.
- the support request transmission unit 31 of the support beneficiary terminal 3 transmits a support request signal including the selected supporter type and user terminal identifier to the server 1 via the communication network 9.
- the support request unit 12 of the server 1 When receiving the support request signal from the support beneficiary terminal 3, the support request unit 12 of the server 1 refers to the related information stored in the table with the user terminal identifier included in the received support request signal. Then, the support request unit 12 specifies a plurality of supporters that match the supporter type included in the support request signal by referring to the related information, and the support request signal is provided only to the terminals of the specified supporters. Forward.
- the support recipient can realize a support request with two simple operations of selecting a supporter type and pressing a support request button. Therefore, it is considered that the operation is sufficiently possible regardless of the degree of IT literacy that the support recipient has. If the registered supporters are not classified into a plurality of types, the support recipient needs only to press the support request button.
- the support request receiving unit 42 of the supporter terminal 4 When receiving the support request signal from the server 1, the support request receiving unit 42 of the supporter terminal 4 displays whether or not support is possible on a display unit (not shown). In response to the inquiry about whether support is possible or not displayed on the display unit, the supporter inputs that support is possible via the operation unit (not shown), and the support request reception unit 42 notifies support support Is transmitted to the server 1 via the communication network 9.
- the support request unit 12 of the server 1 receives the support available notification from the supporter terminal 4, the terminal identifier of the supporter terminal 4, the user terminal identifier of the source of the support request signal, and information that the supporter has been found Is notified to the remote support unit 13.
- the remote support unit 13 connects the remote support receiving unit 32 of the support receiver terminal 3 specified by the user terminal identifier and the remote support unit 43 of the supporter terminal 4 specified by the support terminal identifier via the communication network 9. To connect.
- the support beneficiary terminal 3 collects the surrounding sound with a microphone (not shown), and the collected sound data is transmitted to the communication network. 9 to the supporter terminal 4 at a remote location.
- the supporter listens to the sound output from the speaker (not shown) of the supporter terminal 4, converts the content into text, and inputs it to the supporter terminal 4.
- the remote support unit 43 of the supporter terminal 4 transmits the characterized information to the support beneficiary terminal 3 as a result of the voice conversion.
- the remote support receiving unit 32 of the support beneficiary terminal 3 displays the information on a display unit (not shown).
- the support beneficiary only needs to look at the display unit because the result of the phonetic transcription is displayed on the display unit of the support beneficiary terminal 3. Therefore, it does not depend on the degree of IT literacy possessed by the support beneficiary, and no special operation is required, and it can be used sufficiently.
- the support request signal is distributed to a plurality of supporter terminals. Therefore, there is a high possibility that at least one supporter can support the situation.
- this embodiment demonstrated the case where the one supporter terminal 4 was connected so that communication with the support beneficiary terminal 3 was carried out, several supporter terminals 4 were connected so that communication with the support beneficiary terminal 3 was possible. May be.
- the voice distributed from the support beneficiary terminal 3 to each supporter terminal 4 can be divided and transcribed by a plurality of supporters, which only reduces the burden on one supporter. Rather, it can provide more substantial support.
- the server 1 provides support. There is no need to generate a group identifier.
- the support organization operates the server 1, a plurality of support organization terminals provided corresponding to a plurality of service reception windows, and the server 1 connected to the plurality of support organization terminals via the communication network 9, A system with Further, in this case, the support group may lend the supporter terminal 4 to the supporter who performs the summary writing.
- FIG. 3 is a flowchart showing a procedure for registering a support organization in the server.
- FIG. 4 is a diagram illustrating an example of a data structure image when a support organization is registered in the related information registration unit.
- the support group registration unit 21 transmits data to the related information registration unit 11 of the server 1 (step A1). A2).
- the data sent at this time is only the support organization name.
- the related information registration unit 11 When the related information registration unit 11 receives the information of the support organization name from the support organization terminal 2, the related information registration unit 11 creates a support organization identifier for identifying the support organization (step A3).
- the related information registration unit 11 stores and manages the received support group name and the created support group identifier information in the related information storage unit 14 (step A4).
- An example of a table stored in the related information storage unit 14 after support organization registration is shown in FIG.
- the related information registration unit 11 transmits a support group identifier to the support group registration unit 21 of the support group terminal 2 (step A5).
- the support organization registration unit 21 stores the support organization identifier received from the server 1 in the support organization terminal 2 (step A6).
- FIG. 5 is a flowchart showing a procedure for registering related information between a support recipient and a support organization in a server.
- FIG. 6 is a diagram illustrating an example of a data structure image when the related information between the support recipient and the support group is registered in the related information registration unit.
- the support beneficiary terminal 3 transmits the terminal identifier of the support beneficiary terminal 3 to the support group terminal 2 by short-range wireless communication (step B1).
- the data transmitted / received here is transmitted / received by the relationship information receiving unit 23 of the support group terminal 2 and the relationship information transmitting unit 33 of the support beneficiary terminal 3.
- the support beneficiary registration unit 22 adds the name of the support beneficiary and the support.
- the terminal identifier of the beneficiary terminal 3 is transmitted to the related information registration unit 11 of the server 1 (step B3).
- the related information registration unit 11 stores the information received from the support organization terminal 2 in the related information storage unit 14 (step B4).
- An example of the table stored in the related information storage unit 14 at this time is shown in FIG.
- the related information registration unit 11 notifies the support beneficiary registration unit 22 of the support group terminal 2 that the registration has been completed (step B5).
- the support group terminal 2 receives the notification from the server 1, the support group terminal 2 displays that the registration is completed on the screen of a display unit (not shown) (step B6).
- FIG. 7 is a flowchart showing a procedure for registering related information between the supporter and the support beneficiary in the server.
- FIG. 8 is a diagram illustrating an example of a data structure image when the related information between the supporter and the support recipient is registered in the related information registration unit.
- FIG. 9 is a diagram illustrating an example of a data structure image when a support recipient and a supporter are associated with each other and stored in the related information storage unit.
- the support beneficiary terminal 3 transmits the terminal identifier of the support beneficiary terminal 3 to the supporter terminal 4 by short-range wireless communication (step C1).
- the data transmitted / received here is transmitted / received by the relationship information receiving unit 44 of the supporter terminal 4 and the relationship information transmitting unit 33 of the support beneficiary terminal 3.
- the supporter registration unit 41 selects the name of the supporter and the support.
- the relationship with the beneficiary, the user terminal identifier, and the supporter terminal identifier are transmitted to the related information registration unit 11 of the server 1 (step C3).
- the related information registration unit 11 stores the information received from the supporter terminal 4 in the related information storage unit 14 (step C4).
- An example of the table stored in the related information storage unit 14 at this time is shown in FIG.
- the related information registration unit 11 notifies the supporter registration unit 41 of the supporter terminal 4 that the registration is completed (step C5).
- the supporter terminal 4 receives the notification from the server 1, the supporter terminal 4 displays that the registration is completed on the screen of a display unit (not shown) (step C6).
- FIG. 9 shows an example of a data structure in which support recipients and supporters are registered in the table of the related information storage unit 14 corresponding to a plurality of support organizations.
- a list for each support organization is registered in one table.
- FIG. 10 is a flowchart showing the procedure of the support request.
- FIG. 11 is a diagram illustrating an example of a support request operation screen displayed on the support beneficiary terminal.
- the support beneficiary wants to request support, he / she operates the support beneficiary terminal 3, selects a supporter type, and presses a button for transmitting a support request (step D1).
- the information transmitted from the support beneficiary terminal 3 to the server 1 is information on the user terminal identifier and the selected supporter type.
- An example of the operation screen of the support beneficiary terminal 3 is shown in FIG.
- the support request transmitting unit 31 transmits a support request signal to the support request unit 12 of the server 1.
- the support request unit 12 uses the user terminal identifier and the support type included in the support request signal as search conditions and requests a support from a list registered in the related information storage unit 14.
- the supporter terminal 4 to which the signal is to be transferred is searched (step D2).
- the support request unit 12 when the support request unit 12 specifies the supporter terminal 4 to which the support request signal is to be transferred as a result of the search, the support request unit 12 transfers the support request signal to the support request receiving unit 42 of the specified supporter terminal 4 (step D3). ).
- the support request receiving unit 42 receives a support request signal from the server 1 (step D4).
- the related information storage unit 14 stores the list shown in FIG. 9, and the support beneficiary operates the support beneficiary terminal 3 and selects “family” as the support.
- the support request transmission unit 31 transmits a support request signal including information on the user terminal identifier “t11” and the supporter type “family” to the support request unit 12.
- the support request unit 12 refers to the list stored in the related information storage unit 14.
- the support request unit 12 includes “family” as the support request destination among the supporters “Mr. C”, “Mr. D”, and “Mr. K” with the related identifier “t11”. “Mr. C” and “Mr. K” are identified.
- the support request unit 12 transfers a support request signal to the supporter terminals 4 of “Mr. C” and “Mr. K”.
- FIG. 12 is a flowchart showing a procedure from when a supporter terminal receives a support request until the supporter performs support.
- the supporter of the supporter terminal 4 that has received the support request signal can support, the screen of the display unit (not shown) of the supporter terminal 4 is viewed and input to the supporter terminal 4 that support is possible (Ste E1).
- the support request receiving unit 42 transmits a support enable notification to the support requesting unit 12 of the server 1 (step E2).
- the support request unit 12 of the server 1 notifies the remote support unit 13 that the support enable notification has been received (step E3).
- the support request unit 12 passes the terminal identifier of the support beneficiary terminal 3 that has sent the support request signal and the terminal identifier of the supporter terminal 4 that has sent the support available notification to the remote support unit 13.
- the remote support unit 13 connects the two terminals specified by the terminal identifier received from the support request unit 12 through the communication network 9 (step E4).
- the remote support receiving unit 32 of the support beneficiary terminal 3 collects the voice around the terminal, and the collected voice data is communicated with the own terminal and the communication network. 9 to the supporter terminal 4 connected via the terminal 9 (step E5).
- the supporter terminal 4 receives the sound data from the support beneficiary terminal 3, the supporter terminal 4 reproduces the sound of the received sound data with a speaker (not shown) (step E6).
- the supporter converts the sound reproduced on the supporter terminal 4 into text and inputs it to the supporter terminal 4.
- the character information input to the supporter terminal 4 is transmitted to the remote support receiving unit 32 of the support beneficiary terminal 3 via the remote support unit 43 of the supporter terminal 4, and is displayed on the display unit (not shown) of the support beneficiary terminal 3. Is displayed on the screen.
- the server 1 that has received the support request notification corresponds to the support beneficiary. Then, a support request signal is transferred to a plurality of supporter terminals registered in the list.
- the server 1 sends a support request signal to the supporter terminal 4 of the specified supporter. Send.
- the server 1 may transmit the support available notification to another supporter terminal. For example, the server 1 selects a supporter terminal in a predetermined order from the supporter terminals registered in the list, and transmits a supportable notification to the selected supporter terminal until the supportable notification can be received. Further, the server 1 may prompt the support beneficiary to designate the supporter again in order to have the support beneficiary select the next support candidate.
- the support recipient can easily receive support without depending on the degree of IT literacy that the user has.
- the reason is that the support recipient can easily register the support enjoyment relationship indicating which supporter is associated with the system by using the short-distance data exchanging means of his portable terminal.
- the server automatically connects his mobile terminal and the support terminal. You can get support with simple operation.
- support recipients can receive support only from supporters who have actually met.
- the reason is that the support beneficiary uses the short-distance data exchange means of the mobile terminal to register only the support enjoyment relationship with the supporter who has actually met in the system, and the registered support at the time of the support request This is because only the support person is notified of the support request, and the support person who receives the notification supports. As a result, the support recipient can be prevented from receiving support from an unacquainted person or an unreliable person.
- Assistance recipients can receive support in real time when assistance is needed, even if the supporter is in a remote location, with a reliable person as a supporter, without performing complicated operations on the terminal.
- Non-Patent Document 1 since the company secures a supporter for a certain period of time, even if there is a period of time during which support is not provided, it is possible to respond according to the time period. The compensation must be paid to the supporter. On the other hand, when the company operates the system according to the present embodiment, the consideration may be paid to the supporter according to the time for the support. This is not a method of securing a supporter for a certain period of time in the company, but because the supporter provides support from a remote location when assistance is required, the company does not need to secure a supporter for a certain period of time. is there.
- a program for causing a computer to execute the phonetic transcription support method described in the present embodiment may be stored in a computer-readable recording medium. In this case, by installing the program from the recording medium into another information processing apparatus, it is possible to cause the other information processing apparatus to execute the above information processing method.
- a support recipient can receive support in real time when assistance is required even if the supporter is in a remote place, with a reliable person as a supporter, without performing complicated operations on the terminal. Can do.
- the present invention is not limited to abstract writing, but can be applied to an interpreting system that converts a foreigner's voice to a supporter in a remote place and converts it into a character when talking with a foreigner.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
Abstract
本発明の音声文字化支援システムは、音声情報を文字情報に変換する支援を受けたいユーザが使用するユーザ端末(3)の識別子を含み、支援団体にユーザが所属していることを示す第1の関係情報を送信する支援団体端末(2)と、ユーザ端末(3)と自端末に支援享受関係があることを示す第2の関係情報を送信する支援者端末(4)と、ネットワークを介して受信する第1および第2の関係情報に基づいてユーザ端末毎に支援者端末をリストに登録するサーバ(1)とを有し、サーバ(1)は、ユーザ端末(3)から支援依頼があると、リストで特定した複数の支援者端末宛に支援依頼を転送し、支援可能な支援者端末(4)をネットワークを介してユーザ端末(3)と通信可能に接続させ、支援者端末は(4)、ユーザ端末(3)から受信する音声データによる音声を出力し、音声に対して入力される文字の情報をユーザ端末(3)に送信する。
Description
本発明は、支援享受者に対して支援者が音声による情報を文字化する支援を行うためのシステム、サーバ、支援方法、およびコンピュータに実行させるプログラムに関する。
聴覚に障害を持つ人の情報保障の一手段として要約筆記支援がある。要約筆記支援とは話者の発話内容を紙やパソコンで文字化して表示することで情報保障する支援方法である。
現状では、支援享受者が要約筆記支援を受けるには支援団体への事前予約が必要である。そのため、支援享受者は、「急病で病院に行く」や「道を尋ねる」等、事前に支援が必要になることを予測できないような場合には、要約筆記支援を受けることができない。
上記の支援方法のように、音声を文字化する支援を人が行う方法では、支援が必要なときに支援者をすぐに確保できないという問題がある。この問題に対して、支援享受者が支援を必要になったときに、いつでも支援者を確保する方法が検討されている。以下に、その方法の一例を説明する。
要約筆記支援ではないが、遠隔支援サービスの一例として、遠隔通訳サービスが非特許文献1に開示されている。非特許文献1に開示された方法を簡単に説明する。通訳サービスを提供する会社が翻訳者を予め確保し、通訳サービスを提供する窓口にタブレット端末を予め設置しておく。支援享受者は、通訳サービスを受けたいとき、窓口に行くと、タブレット端末が遠隔地の翻訳者の端末とを通信可能に接続され、通訳サービスを受けることができる。しかし、夜間など窓口を開設していない時間帯は翻訳者が確保されていないため、その時間帯では、支援享受者は翻訳サービスを受けられないことになる。
この問題に対して、ソーシャル・ネットワーキング・サービス(SNS)を利用したリアルタイム言語翻訳のための方法およびそのシステムが、特許文献1に開示されている。特許文献1に開示された方法を簡単に説明する。支援享受者は、音声文字化が必要になると、SNSを利用して、世界中の人にショート・メッセージ・サービス(SMS)メッセージによって音声文字化を依頼する。支援可能な人がいると、その人が遠隔地にいても、支援享受者は、ネットワークを介して支援を受けることができる。支援候補者の対象地域が世界なので、支援享受者は支援が必要になったとき、いつでも支援を受けられる可能性が高くなる。
"遠隔手話通訳サービスを試行導入します"、[online]、2013年6月4日、東日本旅客鉄道株式会社、[平成27年2月2日検索]、インターネット<URL:https://www.jreast.co.jp/press/2013/20130601.pdf>
特許文献1に開示された方法では、SNSを利用するため、SNS用のアカウント登録や支援依頼のメッセージ入力などの煩雑な操作が必要である。そのため、支援享受者が持つIT(Information Technology)リテラシの程度によっては、支援を受けられないおそれがある。今後、高齢者数の増加にともない、年々聴力が弱まっていく高齢者が増えていくことが考えられる。このような者であっても支援を受けられるようにする必要がある。
また、特許文献1に開示された方法では、SNSを利用するため会話内容を実際に会ったことのない、面識のない人にも知られてしまう不安がある。非特許文献1に開示された方法でも、支援者が面識のない人になるため、会話内容を面識のない人に知られてしまう不安がある。
本発明の目的の一つは、ユーザが複雑な操作を必要とすることなく、信頼できる人から支援を受けることを可能にした音声文字化支援システム、サーバ、音声文字化支援方法、およびコンピュータに実行させるプログラムを提供することである。
本発明の一側面の本発明音声文字化支援システムは、音声による情報を文字による情報に変換する支援を受けたいユーザが使用するユーザ端末との通信によりユーザ端末の識別子であるユーザ端末識別子を取得すると、ユーザ端末識別子を含み、支援団体にユーザが所属していることを示す第1の関係情報をネットワークに送信する支援団体端末と、ユーザ端末との通信によりユーザ端末識別子をユーザ端末から取得すると、ユーザ端末識別子および自端末の識別子である支援者端末識別子を含み、ユーザ端末と自端末に支援享受関係があることを示す第2の関係情報をネットワークに送信する、支援を行う支援者が使用する支援者端末と、ネットワークを介して支援団体端末および支援者端末から第1および第2の関係情報を受信すると、第1および第2の関係情報に基づいてユーザ端末識別子に対応して支援者端末識別子を登録したリストを作成して格納するサーバと、を有し、サーバは、ユーザ端末識別子を含む支援依頼信号をユーザ端末からネットワークを介して受信すると、支援依頼信号に含まれるユーザ端末識別子に対応してリストに登録されている複数の支援者端末を特定し、特定した複数の支援者端末宛に支援依頼信号を転送し、支援可能な旨を示す返信である支援可能通知を受け取ると、支援可能通知の送信元の支援者端末をネットワークを介してユーザ端末と通信可能に接続させ、支援者端末は、ユーザ端末と通信可能に接続された後、ユーザ端末から音声データを受信すると、音声データによる音声を出力し、出力した音声に対して文字が入力されると、入力された文字の情報をユーザ端末に表示させるためにユーザ端末に送信する構成である。
本発明の一側面のサーバは、音声による情報を文字による情報に変換する支援を受けたいユーザが使用するユーザ端末の識別子であるユーザ端末識別子に対応して、支援を行う支援者が使用する支援者端末識別子が登録されるリストを保存するための記憶部と、ユーザ端末識別子を含み、支援団体にユーザが所属していることを示す第1の関係情報をネットワークを介して支援団体端末から受信し、また、ユーザ端末識別子および自端末の識別子である支援者端末識別子を含み、ユーザ端末と支援者端末に支援享受関係があることを示す第2の関係情報を支援者端末からネットワークを介して受信すると、第1および第2の関係情報に基づいてリストを作成して記憶部に格納する制御部と、を有し、制御部は、ユーザ端末識別子を含む支援依頼信号をユーザ端末からネットワークを介して受信すると、支援依頼信号に含まれるユーザ端末識別子に対応してリストに登録されている複数の支援者端末を特定し、特定した複数の支援者端末宛に支援依頼信号を転送し、支援可能な旨を示す返信である支援可能通知を受け取ると、支援可能通知の送信元の支援者端末をネットワークを介してユーザ端末と通信可能に接続させる構成である。
本発明の一側面の音声文字化支援方法は、ネットワークを介して接続される支援団体端末、支援者端末およびサーバによる音声文字化支援方法であって、支援団体端末が、音声による情報を文字による情報に変換する支援を受けたいユーザが使用するユーザ端末との通信によりユーザ端末の識別子であるユーザ端末識別子を取得すると、ユーザ端末識別子を含み、支援団体にユーザが所属していることを示す第1の関係情報をネットワークを介してサーバに送信し、支援者端末が、ユーザ端末との通信によりユーザ端末識別子を取得すると、ユーザ端末識別子および自端末の識別子である支援者端末識別子を含み、ユーザ端末と自端末に支援享受関係があることを示す第2の関係情報をネットワークを介してサーバに送信し、サーバが、ネットワークを介して支援団体端末および支援者端末から第1および第2の関係情報を受信すると、第1および第2の関係情報に基づいてユーザ端末識別子に対応して支援者端末識別子を登録したリストを作成して格納し、サーバが、ユーザ端末識別子を含む支援依頼信号をユーザ端末からネットワークを介して受信すると、支援依頼信号に含まれるユーザ端末識別子に対応してリストに登録されている複数の支援者端末を特定し、特定した複数の支援者端末宛に支援依頼信号を転送し、サーバが、支援可能な旨を示す返信である支援可能通知を受け取ると、支援可能通知の送信元の支援者端末をネットワークを介してユーザ端末と通信可能に接続させ、支援者端末が、ユーザ端末と通信可能に接続された後、ユーザ端末から音声データを受信すると、音声データによる音声を出力し、出力した音声に対して文字が入力されると、入力された文字の情報をユーザ端末に表示させるためにユーザ端末に送信するものである。
本発明の一側面のプログラムは、コンピュータに、音声による情報を文字による情報に変換する支援を受けたいユーザが使用するユーザ端末の識別子であるユーザ端末識別子を含み、支援団体にユーザが所属していることを示す第1の関係情報をネットワークを介して支援団体端末から受信する手順と、ユーザ端末識別子および自端末の識別子である支援者端末識別子を含み、ユーザ端末と自端末に支援享受関係があることを示す第2の関係情報を、支援を行う支援者が使用する支援者端末からネットワークを介して受信する手順と、受信した第1および第2の関係情報に基づいて、ユーザ端末識別子に対応して支援者端末識別子が登録されるリストを作成して格納する手順と、ユーザ端末識別子を含む支援依頼信号をユーザ端末からネットワークを介して受信すると、支援依頼信号に含まれるユーザ端末識別子に対応してリストに登録されている複数の支援者端末を特定する手順と、特定した複数の支援者端末宛に支援依頼信号を転送し、支援可能な旨を示す返信である支援可能通知を受け取ると、支援可能通知の送信元の支援者端末をネットワークを介してユーザ端末と通信可能に接続させる手順を実行させるものである。
本発明の実施形態について図面を参照して説明する。
本実施形態の音声文字化支援システムの構成を説明する。図1は本実施形態の音声文字化支援システムの構成を説明するためのブロック図である。
図1に示すように、音声文字化支援システムは、音声文字化支援サーバ(以下では、単に「サーバ」と称する)1と、支援団体端末2と、支援者端末4とを有する。
支援享受者端末3は、音声による情報を文字による情報に変換する支援を受けるユーザが使用するユーザ端末に相当する。支援者端末4は、支援享受者を支援する支援者が使用する端末である。支援団体端末2は、支援享受者を支援するための関係情報をサーバ1に登録するための端末であり、支援団体の管理者が使用する端末である。サーバ1は、支援享受者からの支援依頼に対して、支援可能な支援者を特定し、支援者が支援享受者から遠く離れた遠隔地にいても、各人の端末を通信ネットワーク9を介して接続させ、支援享受者がリアルタイムで支援を受けられるようにする。
サーバ1、支援団体端末2、支援享受者端末3および支援者端末4は、通信ネットワーク9を介して互いに通信可能に接続される。
支援団体端末2、支援享受者端末3および支援者端末4の各端末には、自端末を他端末と識別可能にするための、一意な端末識別子が予め登録されている。また、各端末にはサーバ1の識別子が予め登録されている。各装置は、互いに予め決められた通信プロトコルを用いて通信する。本実施形態では、通信ネットワーク9をインターネットとし、通信プロトコルがTCP(Transmission Control Protocol)/IP(Internet Protocol)であるものとする。
以下に、音声文字化支援システムに関連する各装置の構成を詳しく説明する。
以下に、音声文字化支援システムに関連する各装置の構成を詳しく説明する。
図2は図1を参照して説明した音声文字化支援システムに関連する各装置の構成例を示すブロック図である。
はじめに、サーバ1の構成を説明する。サーバ1は、記憶部に相当する関連情報保存部14と、制御部15とを有する構成である。
制御部15は、関連情報登録部11、支援依頼部12および遠隔支援部13を有する。制御部15は、プログラムにしたがって処理を実行するCPU(Central Processing Unit)(不図示)と、プログラムを記憶するメモリ(不図示)とを有する。CPUがプログラムを実行することで、関連情報登録部11、支援依頼部12および遠隔支援部13がサーバ1に仮想的に構成される。
関連情報保存部14は、支援享受者および支援者がどの支援団体に登録されているかの情報、およびどの支援者がどの支援享受者を支援するかの情報を示す関連情報を保持する。
関連情報登録部11は、支援団体端末2および支援者端末4から支援享受関係に関する関係情報を受け取り、その関係情報に基づいて関連情報を作成して関連情報保存部14に格納する。
支援依頼部12は、支援享受者端末3から支援依頼通知を受け取ると、関連する支援者が持つ支援者端末4のみに支援依頼を通知する。
遠隔支援部13は、支援可能な支援者が使用する支援者端末4と支援享受者端末3とを、通信ネットワーク9を介して通信可能に接続する。
次に、支援団体端末2の構成を説明する。
支援団体端末2は、支援団体登録部21と、支援享受者登録部22と、関係情報受信部23とを有する構成である。支援団体端末2は、例えば、近距離無線通信機能を備えたパーソナルコンピュータ(PC)等の情報処理装置である。支援団体端末2には、プログラムにしたがって処理を実行するCPU(不図示)と、プログラムを記憶するメモリ(不図示)とが設けられている。CPUがプログラムを実行することで、支援団体登録部21および支援享受者登録部22が支援団体端末2に仮想的に構成される。
関係情報受信部23は、支援享受者端末3の端末識別子を近距離無線通信により支援享受者端末3から取得する近距離通信部である。
支援団体登録部21は、支援団体をサーバ1に登録するための情報をサーバ1の関連情報登録部11に送信する。
支援享受者登録部22は、関係情報受信部23から支援享受者端末3の端末識別子を受け取ると、支援享受者に支援団体が関連していることをサーバ1に登録するために関係情報をサーバ1の関連情報登録部11に送信する。
なお、本実施形態では、端末間で識別子を交換するための近距離データ交換手段が、NFC(Near Field Communication)およびBluetooth(登録商標)を含む近距離無線通信の場合で説明するが、これらの手段に限定されない。近距離データ交換手段として、例えば、一方の携帯端末の表示部に表示されたQRコード(登録商標)を他方の携帯端末に設けられたカメラで撮影することによって端末間で自端末の識別子を交換する手段であってもよい。音声文字化支援システムでは、支援享受者による携帯端末への操作を簡単にするという観点から、端末同士を近づけるだけでデータ交換が可能なNFC技術のような近距離データ交換手段を利用することが望ましい。
次に、支援享受者端末3の構成を説明する。
支援享受者端末3は、支援依頼送信部31と、遠隔支援享受部32と、関係情報送信部33とを有する構成である。支援享受者端末3は、例えば、スマートフォンおよびPDA(Personal Digital Assistants)等の携帯端末である。
支援享受者端末3には、プログラムにしたがって処理を実行するCPU(不図示)と、プログラムを記憶するメモリ(不図示)とが設けられている。CPUがプログラムを実行することで、遠隔支援享受部32が支援享受者端末3に仮想的に構成される。プログラムを格納するメモリおよびプログラムを実行するCPUは、一般的な携帯端末の制御部に含まれる構成であり、図に示すことを省略している。また、支援享受者端末3は、一般的な携帯端末に設けられているマイク、表示部および記憶部を有しているが、これらの構成を図に示すことを省略している。
関係情報送信部33は、自端末の端末識別子を支援団体端末2および支援者端末4に近距離無線通信により送信する近距離通信部である。
支援依頼送信部31は、支援享受者により操作部(不図示)を介して支援を受けたい旨の入力があると、支援が必要なことを他の装置に通知するための、自端末の端末識別子を含む支援依頼信号をサーバ1の支援依頼部12に送信する。
遠隔支援享受部32は、支援享受者端末3の周辺の音声を集音し、集音した音声のデータを通信ネットワーク9を介して支援者端末4の遠隔支援部43に送信する。また、遠隔支援享受部32は、支援者が音声を文字化した結果を表示部(不図示)に表示させる。
なお、記憶部(不図示)に、複数の支援者の名前に対応して支援者端末4の端末識別子が予め登録されていてもよい。記憶部は、複数の支援者を複数のタイプにグループ化し、支援者端末毎に端末識別子および支援者の名前を記憶してもよい。この場合、支援依頼送信部31は、支援を受けたい旨の入力があると、複数のタイプから1つのタイプを選択可能に表示部(不図示)に表示させ、選択されたタイプの情報を支援依頼信号に含めて送信してもよい。また、関係情報送信部33は、自端末の端末識別子を支援者端末4に送信する際、近距離無線通信により支援者端末4の端末識別子を受信し、記憶部に格納するようにしてもよい。
次に、支援者端末4の構成を説明する。
支援者端末4は、支援者登録部41と、支援依頼受信部42と、遠隔支援部43と、関係情報受信部44とを有する構成である。支援者端末4は、例えば、スマートフォンおよびPDA等の携帯端末である。
支援者端末4には、プログラムにしたがって処理を実行するCPU(不図示)と、プログラムを記憶するメモリ(不図示)とが設けられている。CPUがプログラムを実行することで、支援者登録部41および遠隔支援部43が支援者端末4に仮想的に構成される。また、支援者端末4は、一般的な携帯端末に設けられている表示部およびスピーカを有しているが、これらの構成を図に示すことを省略している。
関係情報受信部44は、支援享受者端末3の端末識別子を支援享受者端末3から近距離無線通信により取得する近距離通信部である。
支援者登録部41は、関係情報受信部44から支援享受者端末3の端末識別子を受け取ると、支援享受者に支援者が関連することをサーバ1に登録するために関係情報をサーバ1の関連情報登録部11に送信する。
支援依頼受信部42は、支援依頼通知をサーバ1から受信すると、支援要求があった旨を表示部(不図示)に表示させる。そして、支援依頼受信部42は、支援者により操作部(不図示)を介して支援可能である旨が入力されると、支援者が支援可能であることをサーバ1に通知するために、支援可能な旨の情報と自端末の識別子を含む支援可能通知をサーバ1の支援依頼部12に送信する。
遠隔支援部43は、支援享受者端末3から支援享受者端末3の周辺音声を受信すると、周辺音声をスピーカ(不図示)で再生する。そして、遠隔支援部43は、支援者が音声による情報を文字による情報に変換すると、変換後の結果を支援享受者端末3の遠隔支援享受部32に送信する。
次に、本実施形態の音声文字化支援システムの動作手順を、図2を参照して簡単に説明する。
支援団体端末2および支援者端末4は、予め、支援享受者端末3と近距離無線通信で支援享受者の情報を取得し、支援享受者、支援者および自団体の関連を示す情報をサーバ1に通知する。サーバ1の関連情報登録部11は、支援団体端末2から通知された情報を関連情報保存部14に登録する。
支援享受者は、支援が必要になると、支援享受者端末3を操作して、支援が必要である旨を支援享受者端末3に入力する。支援享受者端末3は、支援が必要である旨が入力されると、支援依頼信号を通信ネットワーク9を介してサーバ1に送信する。
サーバ1の支援依頼部12は、支援享受者端末3から支援依頼信号を受信すると、関連情報保存部14に保存された情報を基に支援依頼を送るべき複数の支援者端末4を特定する。続いて、支援依頼部12は、特定した複数の支援者端末4に支援依頼信号を通信ネットワーク9を介して送信する。
支援依頼信号を受信した支援者端末4は支援要求があった旨を表示する。その表示を見た支援者は、遠隔からの支援が可能な場合、支援者端末4を操作して、支援可能である旨を入力する。支援者端末4は、支援可能な旨の入力があると、支援可能通知をサーバ1に通信ネットワーク9を介した送信する。
サーバ1の支援依頼部12は、支援者端末4から支援可能通知を受け取ると、支援可能通知の送信元の支援者端末4と支援享受者端末3の情報を遠隔支援部13に通知する。遠隔支援部13は、支援依頼部12から支援者端末4および支援享受者端末3の情報を受け取ると、これらの端末を通信ネットワーク9を介して通信可能に接続させる。このようにして、支援享受者は、支援者が自分から遠く離れた遠隔地にいても、支援を受けることが可能となる。
次に、本実施形態の音声文字化支援システムの動作手順を詳しく説明する。
まず、サーバ1の関連情報保存部14に、支援団体、支援享受者および支援者の関連情報を登録する方法を説明する。関連情報とは、どの支援団体がどの支援享受者と関連しているか、どの支援享受者がどの支援者と関連しているかを示す情報である。このような関連情報をサーバ1に予め登録しておく必要がある。サーバ1は、支援団体と支援享受者との関連を示す関係情報、および支援者と支援享受者との関連を示す関係情報に基づいて、以下のようにして、関連情報を生成および更新することで、支援団体、支援享受者および支援者の関連を学習する。
支援団体をサーバ1に登録する方法を説明する。
支援団体の管理者が支援団体端末2を操作して支援団体名を入力すると、支援団体登録部21は、入力された情報をサーバ1の関連情報登録部11に送信する。サーバ1の関連情報登録部11は、支援団体名の情報を支援団体端末2から受信すると、支援団体名を関連情報保存部14のテーブルに保存する。続いて、関連情報登録部11は、その支援団体を一意に識別するための識別文字列情報である支援団体識別子を発行し、登録を受け付けたことを通知するために、支援団体識別子を支援団体端末2に返信する。支援団体端末2は、サーバ1から受信した支援団体識別子を端末内に保存する。
次に、支援団体と支援享受者の関係情報をサーバ1に登録する方法を説明する。
支援享受者は、音声文字化支援サービスの提供を受ける端末として自端末を登録するために支援団体に行き、支援享受者端末3を支援団体端末2に近づける。支援享受者端末3の関係情報送信部33は、支援享受者端末3の端末識別子であるユーザ端末識別子を近距離無線通信により支援団体端末2の関係情報受信部23に送信する。
支援団体端末2の支援享受者登録部22は、ユーザ端末識別子を関係情報受信部23から受け取ると、ユーザ端末識別子および支援団体識別子を含む関係情報をサーバ1に送信する。ここでは、支援享受者の名前も関係情報に含める場合で説明する。支援享受者が支援団体端末2に支援享受者端末3を近づける際、支援享受者が自分の名前を支援団体の管理者に告げ、管理者は、支援享受者の名前を支援団体端末2に入力する。支援団体端末2の支援享受者登録部22は、ユーザ端末識別子、支援享受者の名前および支援団体識別子を含む関係情報を通信ネットワーク9を介してサーバ1に送信する。
サーバ1の関連情報登録部11は、関係情報を支援団体端末2から受信すると、受け取った関係情報に含まれる支援団体識別子でテーブル内に保存した情報を特定し、特定した支援団体識別子を含む関連情報にユーザ端末識別子を登録して更新する。これにより、サーバ1は、支援団体と支援享受者との関連を学習する。
続いて、支援享受者と支援者の関係情報をサーバ1に登録する方法を説明する。
支援享受者は、自分が支援を受けたい支援者を音声文字化支援システムに登録するために、支援者と直接会って、支援享受者端末3を支援者端末4に近づける。支援享受者端末3の関係情報送信部33は、ユーザ端末識別子を近距離無線通信により支援者端末4の関係情報受信部44に送信する。
支援者端末4の支援者登録部41は、ユーザ端末識別子を関係情報受信部44から受け取ると、ユーザ端末識別子および支援者端末4の識別子である支援者端末識別子を含む関係情報をサーバ1に送信する。ここでは、支援者の名前も関係情報に含める場合で説明する。支援享受者が支援者端末4に支援享受者端末3を近づける際、支援者が自分の名前を支援者端末4に入力する。支援者端末4の支援者登録部41は、ユーザ端末識別子、支援者の名前および支援者端末識別子を含む関係情報を通信ネットワーク9を介してサーバ1に送信する。
サーバ1の関連情報登録部11は、関係情報を支援者端末4から受信すると、受け取った関係情報に含まれるユーザ端末識別子でテーブル内に保存した関連情報を特定し、特定した関連情報に支援者端末識別子を登録して更新する。これにより、サーバ1は、支援者と支援享受者との関連を学習する。
支援享受者は、上記の操作を行うことで、自分と支援団体および支援者の関連情報をサーバ1で管理することができる。支援享受者は、自分が信頼できる複数の支援者と直接に会って、上記の操作を行うことで、複数の支援者をサーバ1に登録することができる。複数の支援者を予めサーバ1に登録することで、支援享受者は、支援が必要になったとき、誰か支援してくれる人を見つけられる可能性がより高くなる。
支援享受者は、近距離データ交換手段を利用することで支援享受者端末3を支援団体端末2や支援者端末4に近づけるだけの操作で、自分と支援団体および支援者の関連情報をサーバ1に登録ができる。そのため、支援享受者の持つITリテラシの程度によらず、操作は十分可能と考えられる。
次に、支援享受者が、今すぐに音声文字化支援を受けたいときに、支援者を見つけて支援者に遠隔地から支援を開始してもらうまでの動作手順を説明する。
はじめに、支援享受者が支援者に支援依頼したときのサーバ1の支援依頼部12の動作を説明する。
支援享受者が支援を受けたい旨を支援享受者端末3に入力すると、支援享受者端末3は、予め登録された複数の支援者を選択可能に表示部(不図示)に表示する。支援享受者が、表示部に表示された複数の支援者のうち、支援して欲しい人または支援者タイプを選択する。支援者タイプとして、例えば、「家族」および「友人」が考えられる。選択の仕方として、支援享受者が、支援者の氏名または支援者タイプの横に表示されたボタンを押すように操作部(不図示)を操作して選択する方法がある。ここでは、支援者タイプが選択されたものとする。続いて、支援享受者端末3が、支援依頼を確定するための支援依頼ボタンを表示部に表示すると、支援享受者は、操作部を介して、支援依頼ボタンを押す操作を行う。支援享受者端末3の支援依頼送信部31は、支援依頼ボタンが押されると、選択された支援者タイプおよびユーザ端末識別子を含む支援依頼信号を通信ネットワーク9を介してサーバ1に送信する。
サーバ1の支援依頼部12は、支援依頼信号を支援享受者端末3から受信すると、受け取った支援依頼信号に含まれるユーザ端末識別子でテーブル内に保存された関連情報を参照する。そして、支援依頼部12は、関連情報を参照することで、支援依頼信号に含まれる支援者タイプに適合する複数の支援者を特定し、特定した複数の支援者の端末にのみ、支援依頼信号を転送する。
支援享受者は、支援者タイプを選択して支援依頼ボタンを押すという2つの簡単な操作で支援依頼を実現できる。そのため、支援享受者の持つITリテラシの程度によらず、操作は十分可能と考えられる。また、登録された複数の支援者が複数のタイプに分類されていない場合には、支援享受者は支援依頼ボタンを押すだけでよい。
続いて、支援享受者が支援者から支援を受けるときのサーバ1の遠隔支援部13の動作を説明する。
支援者端末4の支援依頼受信部42は、支援依頼信号をサーバ1から受信すると、支援可能か否かを表示部(不図示)に表示する。支援者は、表示部に表示された、支援可能か否かの問合せに対して、操作部(不図示)を介して支援可能である旨を入力すると、支援依頼受信部42は、支援可能通知をサーバ1に通信ネットワーク9を介して送信する。
サーバ1の支援依頼部12は、支援者端末4から支援可能通知を受信すると、その支援者端末4の端末識別子、支援依頼信号の送信元のユーザ端末識別子、および支援者が見つかった旨の情報を遠隔支援部13に通知する。遠隔支援部13は、ユーザ端末識別子で特定される支援享受者端末3の遠隔支援享受部32と、支援者端末識別子で特定される支援者端末4の遠隔支援部43とを通信ネットワーク9を介して通信可能に接続する。
支援享受者端末3および支援者端末4が通信ネットワーク9を介して接続されると、支援享受者端末3は周辺音声をマイク(不図示)で集音し、集音した音声のデータを通信ネットワーク9を介して遠隔地の支援者端末4に送信する。支援者は、支援者端末4のスピーカ(不図示)から出力される音声を聞き、その内容を文字化して支援者端末4に入力する。支援者端末4の遠隔支援部43は、音声文字化の結果として、文字化された情報を支援享受者端末3に送信する。支援享受者端末3の遠隔支援享受部32は、文字化された情報を支援者端末4から受信すると、その情報を表示部(不図示)に表示する。
支援享受者は、支援享受者端末3の表示部に音声文字化の結果が表示されるので、表示部を見ていればよい。そのため、支援享受者の持つITリテラシの程度に依存せず、特別な操作は必要なく、十分に利用することが可能である。
また、支援依頼信号を受信した支援者端末4の支援者が支援可能な状態でなかったり、支援依頼を受け取ったことに気がつかなかったりしても、複数の支援者端末に支援依頼信号を配信しているので、少なくとも1人の支援者が支援できる状況にある可能性が高くなる。
なお、本実施形態では、支援享受者端末3の周辺の音声を支援者端末4に送信する場合で説明したが、音声だけでなく、支援享受者の周辺を撮影した映像も支援者端末4に支援享受者端末3から送信するようにしてもよい。この場合、支援者は、音声を聞くだけでなく、映像を見ることで、支援享受者の状況を把握しやすくなり、より充実した支援を行うことができる。
また、本実施形態では、1台の支援者端末4を支援享受者端末3と通信可能に接続する場合で説明したが、複数の支援者端末4を支援享受者端末3と通信可能に接続してもよい。この場合、この場合、支援享受者端末3から各支援者端末4に配信される音声を、複数の支援者で分担して文字化することが可能となり、支援者1人の負担が軽減するだけでなく、より充実した支援を行うことができる。
また、本実施形態では、支援団体が複数存在する場合で説明したが、支援団体が1つのだけの場合や、支援団体自身がサーバ1を運営および管理している場合には、サーバ1は支援団体識別子を生成する必要がない。支援団体がサーバ1を運営する場合の一例として、複数のサービス受付窓口に対応して設けられた複数の支援団体端末と、これら複数の支援団体端末と通信ネットワーク9を介して接続するサーバ1とを有するシステムが考えられる。さらに、この場合、支援団体は要約筆記を行う支援者に支援者端末4を貸し出してもよい。
本実施形態の実施例を説明する。
実際の事例を基に、支援団体、支援享受者および支援者の関連情報をサーバ1に登録し、支援享受者が自分の携帯端末から支援依頼をサーバ1に送信し、遠隔地にいる支援者から支援を受ける場合を説明する。
はじめに、支援団体、支援享受者および支援者の関連情報をサーバ1に登録する手順を説明する。そのうち、支援団体の登録方法を、図2から図4を参照して説明する。図3は支援団体をサーバに登録する手順を示すフローチャートである。図4は支援団体が関連情報登録部に登録された場合のデータ構造イメージの一例を示す図である。
支援団体の管理者が支援団体端末2の支援団体登録部21に支援団体名を入力すると(ステップA1)、支援団体登録部21は、サーバ1の関連情報登録部11にデータを送信する(ステップA2)。このときに送るデータは支援団体名のみである。
関連情報登録部11は、支援団体端末2から支援団体名の情報を受信すると、支援団体を識別するための支援団体識別子を作成する(ステップA3)。
続いて、関連情報登録部11は、受け取った支援団体名と作成した支援団体識別子の情報を関連情報保存部14に保存して管理する(ステップA4)。支援団体登録後の関連情報保存部14に保存されたテーブルの一例を、図4に示す。
続いて、関連情報登録部11は、支援団体端末2の支援団体登録部21に支援団体識別子を送信する(ステップA5)。支援団体登録部21は、サーバ1から受信した支援団体識別子を支援団体端末2内で記憶する(ステップA6)。
次に、第1の関係である支援享受者と支援団体との関連情報をサーバ1に登録する手順を、図2、図5および図6を参照して説明する。図5は支援享受者と支援団体との関連情報をサーバに登録する手順を示すフローチャートである。図6は支援享受者と支援団体との関連情報が関連情報登録部に登録された場合のデータ構造イメージの一例を示す図である。
支援享受者が支援享受者端末3を支援団体端末2に近づけると、支援享受者端末3は支援団体端末2に支援享受者端末3の端末識別子を近距離無線通信により送信する(ステップB1)。ここで送受信されるデータは、支援団体端末2の関係情報受信部23と支援享受者端末3の関係情報送信部33によって送受信される。
続いて、支援団体の管理者が、支援団体端末2の支援享受者登録部22に支援享受者の名前を入力すると(ステップB2)、支援享受者登録部22は、支援享受者の名前と支援享受者端末3の端末識別子をサーバ1の関連情報登録部11に送信する(ステップB3)。
続いて、関連情報登録部11は、支援団体端末2から受け取った情報を関連情報保存部14に保存する(ステップB4)。このときの関連情報保存部14に保存されたテーブルの一例を、図6に示す。
続いて、関連情報登録部11は、関連情報保存部14への保存が完了すると、登録完了した旨を支援団体端末2の支援享受者登録部22に通知する(ステップB5)。支援団体端末2は、サーバ1から通知を受けると、登録完了した旨を表示部(不図示)の画面に表示する(ステップB6)。
次に、第2の関係である支援享受者と支援者との関係情報をサーバ1に登録する手順を、図2、図7および図8を参照して説明する。図7は支援者と支援享受者との関連情報をサーバに登録する手順を示すフローチャートである。図8は支援者と支援享受者との関連情報が関連情報登録部に登録された場合のデータ構造イメージの一例を示す図である。図9は複数の支援団体に対応して、支援享受者および支援者が関連づけられて関連情報保存部に保存された場合のデータ構造イメージの一例を示す図である。
支援享受者が支援享受者端末3を支援者端末4に近づけると、支援享受者端末3は支援者端末4に支援享受者端末3の端末識別子を近距離無線通信により送信する(ステップC1)。ここで送受信されるデータは、支援者端末4の関係情報受信部44と支援享受者端末3の関係情報送信部33によって送受信される。
続いて、支援者が、支援者端末4の支援者登録部41に支援者の名前と支援享受者との関係を入力すると(ステップC2)、支援者登録部41は、支援者の名前、支援享受者との関係、ユーザ端末識別子および支援者端末識別子をサーバ1の関連情報登録部11に送信する(ステップC3)。
続いて、関連情報登録部11は、支援者端末4から受け取った情報を関連情報保存部14に保存する(ステップC4)。このときの関連情報保存部14に保存されたテーブルの一例を、図8に示す。
続いて、関連情報登録部11は、関連情報保存部14への保存が完了すると、登録完了した旨を支援者端末4の支援者登録部41に通知する(ステップC5)。支援者端末4は、サーバ1から通知を受けると、登録完了した旨を表示部(不図示)の画面に表示する(ステップC6)。
上記のように支援団体と支援享受者、支援享受者と支援者の関係性をサーバに登録する。図9に、複数の支援団体に対応して、支援享受者および支援者が関連情報保存部14のテーブルに登録されたデータ構造の一例を示す。図9に示す例では、支援団体毎のリストが1つのテーブルに登録されている。
次に、支援享受者が支援依頼を行う際の手順を、図10および図11を参照して説明する。図10は、支援依頼の手順を示すフローチャートである。図11は、支援享受者端末に表示される、支援依頼用の操作画面の一例を示す図である。
支援享受者は支援を依頼したくなったとき、支援享受者端末3を操作して、支援者タイプを選択して支援依頼を送信するボタンを押す(ステップD1)。その際、支援享受者端末3からサーバ1に送信される情報は、ユーザ端末識別子および選択された支援者タイプの情報である。支援享受者端末3の操作画面の一例を図11に示す。
続いて、支援享受者が支援享受者端末3を操作して支援依頼を送信するボタンを押すと、支援依頼送信部31がサーバ1の支援依頼部12に支援依頼信号を送信する。支援依頼部12は、支援享受者端末3から支援依頼信号を受信すると、支援依頼信号に含まれるユーザ端末識別子および支援タイプを探索条件にして、関連情報保存部14に登録されたリストで支援依頼信号を転送すべき支援者端末4を探索する(ステップD2)。
続いて、支援依頼部12は、探索の結果、支援依頼信号を転送すべき支援者端末4を特定すると、特定した支援者端末4の支援依頼受信部42に支援依頼信号を転送する(ステップD3)。支援依頼受信部42はサーバ1から支援依頼信号を受信する(ステップD4)。
例えば、関連情報保存部14が図9に示すリストを記憶し、支援享受者が支援享受者端末3を操作して、支援者として「家族」を選択したものとする。この場合、支援依頼送信部31は、ユーザ端末識別子「t11」および支援者タイプ「家族」の情報を含む支援依頼信号を支援依頼部12に送信する。支援依頼部12は、支援享受者端末から支援依頼信号を受信すると、関連情報保存部14が記憶するリストを参照する。支援依頼部12は、リストにおいて、関連識別子が「t11」である支援者「Cさん」、「Dさん」および「Kさん」のうち、支援の依頼先として、関連が「家族」である「Cさん」と「Kさん」を特定する。そして、支援依頼部12は、「Cさん」と「Kさん」の支援者端末4に支援依頼信号を転送する。
次に、支援者が支援依頼に応えて遠隔地から支援を行うまでの手順を、図12を参照して説明する。図12は、支援者端末が支援依頼を受けてから支援者が支援を行うまでの手順を示すフローチャートである。
支援依頼信号を受け取った支援者端末4の支援者が支援可能な場合、支援者端末4の表示部(不図示)の画面を見て、支援可能である旨を支援者端末4に入力する(ステップE1)。支援者の入力により、支援依頼受信部42がサーバ1の支援依頼部12に対して支援可能通知を送信する(ステップE2)。
続いて、サーバ1の支援依頼部12は、支援者端末4から支援可能通知を受け取ると、支援可能通知を受け取ったことを遠隔支援部13に通知する(ステップE3)。その際、支援依頼部12は、支援依頼信号を送ってきた支援享受者端末3の端末識別子と支援可能通知を送ってきた支援者端末4の端末識別子を遠隔支援部13に渡す。
続いて、遠隔支援部13は、支援依頼部12から受け取った端末識別子で特定される2つの端末間を通信ネットワーク9で通信可能に接続する(ステップE4)。支援享受者端末3および支援者端末4が通信可能に接続されると、支援享受者端末3の遠隔支援享受部32が端末周辺の音声を収集し、収集した音声のデータを自端末と通信ネットワーク9を介して接続されている支援者端末4に送信する(ステップE5)。支援者端末4は、支援享受者端末3から音声データを受信すると、受信する音声データによる音声をスピーカ(不図示)で再生する(ステップE6)。
次に、遠隔からの支援について説明する。
支援者は支援者端末4で再生される音声を文字化して支援者端末4に入力する。支援者端末4に入力された文字の情報は、支援者端末4の遠隔支援部43を介して支援享受者端末3の遠隔支援享受部32に送信され、支援享受者端末3の表示部(不図示)の画面に表示される。
なお、図10を参照して説明した手順において、支援享受者がタイプを選択せずに、支援依頼ボタンを押す操作を行った場合、支援依頼通知を受け取ったサーバ1は、支援享受者に対応して、リストに登録された複数の支援者端末宛に支援依頼信号を転送する。
また、支援享受者がタイプを選択せずに、一人の支援者を指定して支援依頼ボタンを押す操作を行った場合、サーバ1は、指定された支援者の支援者端末4に支援依頼信号を送信する。この場合、サーバ1は、指定された支援者の支援者端末4から支援可能通知を受信できなかったら、他の支援者端末に支援可能通知を送信してもよい。例えば、サーバ1は、リストに登録された支援者端末から予め決められた順序で支援者端末を選択し、支援可能通知を受信できるまで選択した支援者端末宛に支援可能通知を送信する。また、サーバ1は、次の支援候補者を支援享受者に選択してもらうために、再度、支援享受者に支援者の指定を促すようにしてもよい。
本実施形態によれば、上述したように、支援享受者は自分の持つITリテラシの程度に依存せず、簡単に支援を受けられるようになる。その理由は、支援享受者は、自分の携帯端末の近距離データ交換手段を利用して、どの支援者と関係があるかを示す支援享受関係を簡単にシステムに登録できるからである。また、支援享受者は、支援依頼時に携帯端末の表示部に表示された支援依頼ボタンを押すように操作すれば、サーバが自動的に自分の携帯端末と支援者端末とを接続してくれるので、簡単な操作で支援を受けることができる。
また、支援享受者は、実際に会ったことのある支援者にのみ支援を受けられる。その理由は、支援享受者は、携帯端末の近距離データ交換手段を利用して、実際に会ったことのある支援者との支援享受関係だけをシステムに登録し、支援依頼時には登録された支援者にのみ支援依頼が通知され、通知を受けた支援者が支援してくれるからである。これにより、支援享受者が、面識のない人や信頼できない人から支援を受けることを防げる。
支援享受者は、端末で複雑な操作を行うことなく、信頼できる人を支援者として、支援者が遠隔地にいても、支援が必要なときにリアルタイムで支援を受けることができる。
さらに、非特許文献1に開示された方法では、会社が支援者を一定時間確保する方式のため、支援可能な時間帯のうち、支援を行っていない時間があっても、その時間帯に応じた対価を支援者に支払わなければならない。これに対して、本実施形態のシステムを会社が運営した場合、支援を行った分の時間に応じて対価を支援者に支払えばよい。それは、会社で支援者を一定時間確保する方式ではなく、支援が必要なときに支援者が遠隔地から支援を行うようにしているので、会社が支援者を一定時間確保する必要がないためである。
なお、本実施形態で説明した音声文字化支援方法をコンピュータに実行させるためのプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよい。この場合、プログラムを記録媒体から他の情報処理装置にインストールすることで、他の情報処理装置にも上述した情報処理方法を実行させることが可能となる。
本発明の効果の一例を説明する。本発明によれば、支援享受者は、端末で複雑な操作を行うことなく、信頼できる人を支援者として、支援者が遠隔地にいても、支援が必要なときにリアルタイムで支援を受けることができる。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
本発明を、要約筆記に限らず、外国人と会話する際、外国人の音声を遠隔地にいる支援者に翻訳してもらって文字化する通訳システムに適用することができる。
なお、この出願は、2015年2月10日に出願された日本出願の特願2015-023843の内容が全て取り込まれており、この日本出願を基礎として優先権を主張するものである。
1 音声文字化支援サーバ
2 支援団体端末
3 支援享受者端末
4 支援者端末
9 通信ネットワーク
31 支援依頼送信部
32 遠隔支援享受部
33 関係情報送信部
2 支援団体端末
3 支援享受者端末
4 支援者端末
9 通信ネットワーク
31 支援依頼送信部
32 遠隔支援享受部
33 関係情報送信部
Claims (4)
- 音声による情報を文字による情報に変換する支援を受けたいユーザが使用するユーザ端末との通信により該ユーザ端末の識別子であるユーザ端末識別子を取得すると、該ユーザ端末識別子を含み、支援団体に前記ユーザが所属していることを示す第1の関係情報をネットワークに送信する支援団体端末と、
前記ユーザ端末との通信により前記ユーザ端末識別子を該ユーザ端末から取得すると、該ユーザ端末識別子および自端末の識別子である支援者端末識別子を含み、前記ユーザ端末と自端末に支援享受関係があることを示す第2の関係情報を前記ネットワークに送信する、前記支援を行う支援者が使用する支援者端末と、
前記ネットワークを介して前記支援団体端末および前記支援者端末から前記第1および第2の関係情報を受信すると、前記第1および第2の関係情報に基づいて前記ユーザ端末識別子に対応して前記支援者端末識別子を登録したリストを作成して格納するサーバと、
を有し、
前記サーバは、前記ユーザ端末識別子を含む支援依頼信号を前記ユーザ端末から前記ネットワークを介して受信すると、該支援依頼信号に含まれるユーザ端末識別子に対応して前記リストに登録されている複数の支援者端末を特定し、特定した複数の支援者端末宛に前記支援依頼信号を転送し、支援可能な旨を示す返信である支援可能通知を受け取ると、該支援可能通知の送信元の支援者端末を前記ネットワークを介して前記ユーザ端末と通信可能に接続させ、
前記支援者端末は、前記ユーザ端末と通信可能に接続された後、該ユーザ端末から音声データを受信すると、該音声データによる音声を出力し、該出力した音声に対して文字が入力されると、入力された文字の情報を前記ユーザ端末に表示させるために前記ユーザ端末に送信する、音声文字化支援システム。 - 音声による情報を文字による情報に変換する支援を受けたいユーザが使用するユーザ端末の識別子であるユーザ端末識別子に対応して、前記支援を行う支援者が使用する支援者端末識別子が登録されるリストを保存するための記憶部と、
前記ユーザ端末識別子を含み、支援団体に前記ユーザが所属していることを示す第1の関係情報をネットワークを介して支援団体端末から受信し、また、前記ユーザ端末識別子および自端末の識別子である支援者端末識別子を含み、前記ユーザ端末と前記支援者端末に支援享受関係があることを示す第2の関係情報を前記支援者端末から前記ネットワークを介して受信すると、前記第1および第2の関係情報に基づいて前記リストを作成して前記記憶部に格納する制御部と、
を有し、
前記制御部は、前記ユーザ端末識別子を含む支援依頼信号を前記ユーザ端末から前記ネットワークを介して受信すると、該支援依頼信号に含まれるユーザ端末識別子に対応して前記リストに登録されている複数の支援者端末を特定し、特定した複数の支援者端末宛に前記支援依頼信号を転送し、支援可能な旨を示す返信である支援可能通知を受け取ると、該支援可能通知の送信元の支援者端末を前記ネットワークを介して前記ユーザ端末と通信可能に接続させる、サーバ。 - ネットワークを介して接続される支援団体端末、支援者端末およびサーバによる音声文字化支援方法であって、
前記支援団体端末が、音声による情報を文字による情報に変換する支援を受けたいユーザが使用するユーザ端末との通信により該ユーザ端末の識別子であるユーザ端末識別子を取得すると、該ユーザ端末識別子を含み、支援団体に前記ユーザが所属していることを示す第1の関係情報を前記ネットワークを介して前記サーバに送信し、
前記支援者端末が、前記ユーザ端末との通信により前記ユーザ端末識別子を取得すると、該ユーザ端末識別子および自端末の識別子である支援者端末識別子を含み、前記ユーザ端末と自端末に支援享受関係があることを示す第2の関係情報を前記ネットワークを介して前記サーバに送信し、
前記サーバが、前記ネットワークを介して前記支援団体端末および前記支援者端末から前記第1および第2の関係情報を受信すると、前記第1および第2の関係情報に基づいて前記ユーザ端末識別子に対応して前記支援者端末識別子を登録したリストを作成して格納し、
前記サーバが、前記ユーザ端末識別子を含む支援依頼信号を前記ユーザ端末から前記ネットワークを介して受信すると、該支援依頼信号に含まれるユーザ端末識別子に対応して前記リストに登録されている複数の支援者端末を特定し、特定した複数の支援者端末宛に前記支援依頼信号を転送し、
前記サーバが、支援可能な旨を示す返信である支援可能通知を受け取ると、該支援可能通知の送信元の支援者端末を前記ネットワークを介して前記ユーザ端末と通信可能に接続させ、
前記支援者端末が、前記ユーザ端末と通信可能に接続された後、該ユーザ端末から音声データを受信すると、該音声データによる音声を出力し、該出力した音声に対して文字が入力されると、入力された文字の情報を前記ユーザ端末に表示させるために前記ユーザ端末に送信する、音声文字化支援方法。 - コンピュータに、
音声による情報を文字による情報に変換する支援を受けたいユーザが使用するユーザ端末の識別子であるユーザ端末識別子を含み、支援団体に前記ユーザが所属していることを示す第1の関係情報をネットワークを介して支援団体端末から受信する手順と、
前記ユーザ端末識別子および自端末の識別子である支援者端末識別子を含み、前記ユーザ端末と自端末に支援享受関係があることを示す第2の関係情報を、前記支援を行う支援者が使用する支援者端末から前記ネットワークを介して受信する手順と、
受信した前記第1および第2の関係情報に基づいて、前記ユーザ端末識別子に対応して前記支援者端末識別子が登録されるリストを作成して格納する手順と、
前記ユーザ端末識別子を含む支援依頼信号を前記ユーザ端末から前記ネットワークを介して受信すると、該支援依頼信号に含まれるユーザ端末識別子に対応して前記リストに登録されている複数の支援者端末を特定する手順と、
前記特定した複数の支援者端末宛に前記支援依頼信号を転送し、支援可能な旨を示す返信である支援可能通知を受け取ると、該支援可能通知の送信元の支援者端末を前記ネットワークを介して前記ユーザ端末と通信可能に接続させる手順を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016574637A JP6429295B2 (ja) | 2015-02-10 | 2015-12-24 | 音声文字化支援システム、サーバ、音声文字化支援方法およびプログラム |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015023843 | 2015-02-10 | ||
| JP2015-023843 | 2015-02-10 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2016129189A1 true WO2016129189A1 (ja) | 2016-08-18 |
Family
ID=56614424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2015/086003 Ceased WO2016129189A1 (ja) | 2015-02-10 | 2015-12-24 | 音声文字化支援システム、サーバ、音声文字化支援方法およびプログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6429295B2 (ja) |
| WO (1) | WO2016129189A1 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005027092A1 (ja) * | 2003-09-08 | 2005-03-24 | Nec Corporation | 文書作成閲覧方法、文書作成閲覧装置、文書作成閲覧ロボットおよび文書作成閲覧プログラム |
| US20050159959A1 (en) * | 2004-01-20 | 2005-07-21 | Lucent Technologies Inc. | Network support for voice-to-text memo service |
| JP2013073323A (ja) * | 2011-09-27 | 2013-04-22 | Nec Commun Syst Ltd | 会議データの統合管理方法および装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5705181B2 (ja) * | 2012-08-31 | 2015-04-22 | マイ クエスト | 生活支援提供システム、支援提供サーバ、及び生活支援提供方法 |
| JP5791124B2 (ja) * | 2013-03-15 | 2015-10-07 | Necソリューションイノベータ株式会社 | 要約筆記支援システム、要約筆記支援装置、要約筆記支援方法、及びプログラム |
-
2015
- 2015-12-24 JP JP2016574637A patent/JP6429295B2/ja active Active
- 2015-12-24 WO PCT/JP2015/086003 patent/WO2016129189A1/ja not_active Ceased
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005027092A1 (ja) * | 2003-09-08 | 2005-03-24 | Nec Corporation | 文書作成閲覧方法、文書作成閲覧装置、文書作成閲覧ロボットおよび文書作成閲覧プログラム |
| US20050159959A1 (en) * | 2004-01-20 | 2005-07-21 | Lucent Technologies Inc. | Network support for voice-to-text memo service |
| JP2013073323A (ja) * | 2011-09-27 | 2013-04-22 | Nec Commun Syst Ltd | 会議データの統合管理方法および装置 |
Non-Patent Citations (2)
| Title |
|---|
| MIHO NOMURA: "Kogi no Universal Design o Mezashita Joho Teiji Hoho ni Kansuru Kento", IEICE TECHNICAL REPORT, vol. 103, no. 600, 17 January 2004 (2004-01-17), pages 69 - 74, ISSN: 0913-5685 * |
| SHINTARO KUSAMA: "Lecture Support for Hearing- impaired Students Using Mind Mapping", ITE TECHNICAL REPORT, vol. 35, no. 8, 12 February 2011 (2011-02-12), pages 9 - 12, ISSN: 1342-6893 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6429295B2 (ja) | 2018-11-28 |
| JPWO2016129189A1 (ja) | 2017-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101917648B1 (ko) | 단말 및 그 제어 방법 | |
| CN107851217A (zh) | 可穿戴个人通信节点的智能代理特征 | |
| KR20170066410A (ko) | 컴퓨터 기반 번역 시스템 및 방법 | |
| JP6854887B2 (ja) | アプリ基盤の仮想ボタンを用いたサービス要請システム及び方法 | |
| US10187336B2 (en) | Transmission system, communications control apparatus, transmission terminal, communications method, and transmission method | |
| US9110888B2 (en) | Service server apparatus, service providing method, and service providing program for providing a service other than a telephone call during the telephone call on a telephone | |
| JP5616390B2 (ja) | 応答生成装置、応答生成方法および応答生成プログラム | |
| CN110915239B (zh) | 用于助听器用户的在线自动音频转录 | |
| JP6429295B2 (ja) | 音声文字化支援システム、サーバ、音声文字化支援方法およびプログラム | |
| US9277051B2 (en) | Service server apparatus, service providing method, and service providing program | |
| JP6065768B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| US10887552B1 (en) | Door-knocking for teleconferencing | |
| JP2003234842A (ja) | リアルタイム手書き通信システム | |
| US10834279B1 (en) | System and method for assisted control of document processing devices | |
| KR102117993B1 (ko) | 중개 통화 서비스 제공 방법 및 장치 | |
| CN115016708B (zh) | 电子装置及其控制方法 | |
| JP2009272984A (ja) | 通信制御装置 | |
| JPWO2016006354A1 (ja) | 情報処理装置及び翻訳データ提供方法 | |
| JP7734906B2 (ja) | コミュニケーションシステム、情報端末装置、サーバ、翻訳方法、および翻訳プログラム | |
| KR102670725B1 (ko) | 다수의 상대방 디바이스와 연결되는 음성-텍스트 변환 장치 및 이를 위한 방법 | |
| JP2015179313A (ja) | データ転送システム、情報処理装置、データ転送方法およびプログラム | |
| JP5970739B1 (ja) | マッチングシステム | |
| JP2019125972A (ja) | 端末装置、情報処理方法、プログラム、通信システム | |
| JP2004080396A (ja) | 情報伝達システム | |
| TWM586380U (zh) | 語言翻譯裝置及系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15882062 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2016574637 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 15882062 Country of ref document: EP Kind code of ref document: A1 |