WO2015133178A1 - 会話補助プログラム、通信装置及び電子文字情報の提供方法 - Google Patents

会話補助プログラム、通信装置及び電子文字情報の提供方法 Download PDF

Info

Publication number
WO2015133178A1
WO2015133178A1 PCT/JP2015/051028 JP2015051028W WO2015133178A1 WO 2015133178 A1 WO2015133178 A1 WO 2015133178A1 JP 2015051028 W JP2015051028 W JP 2015051028W WO 2015133178 A1 WO2015133178 A1 WO 2015133178A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic
information
character information
electronic character
voice
Prior art date
Application number
PCT/JP2015/051028
Other languages
English (en)
French (fr)
Inventor
宗也 一瀬
Original Assignee
株式会社アイセック・ジャパン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社アイセック・ジャパン filed Critical 株式会社アイセック・ジャパン
Publication of WO2015133178A1 publication Critical patent/WO2015133178A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/247Telephone sets including user guidance or feature selection means facilitating their use
    • H04M1/2474Telephone terminals specially adapted for disabled people
    • H04M1/2475Telephone terminals specially adapted for disabled people for a hearing impaired user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/42391Systems providing special services or facilities to subscribers where the subscribers are hearing-impaired persons, e.g. telephone devices for the deaf
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72475User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users
    • H04M1/72478User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users for hearing-impaired users

Definitions

  • the present invention relates to a conversation assistance program, a communication device, and a method for providing electronic character information. More specifically, the present invention relates to a program for assisting a conversation by converting a speaker's voice into electronic character information when a person with hearing disability or the like has a conversation using a communication terminal, a communication device, and a method for providing electronic character information. .
  • Sign language is used as a means of communication between people with hearing impairments and those with normal hearing or hearing impairments.
  • summary writing that conveys the speaker's voice to text. In this method, the summary writer witnesses as needed. To assist communication.
  • Patent Document 1 a device and an interpretation system described in Patent Document 1 are proposed as means for satisfying the demand for means for interpreting conversations between different languages flexibly without directly attending communication such as an interpreter. Has been.
  • the interpreting system 9 described in Patent Document 1 outputs voices in different languages from the interpreter's portable communication terminal 900 through the transmission unit 913 and the communication network 920, and is received by the interpretation center 919.
  • the voice is translated and the translation result is transmitted to the mobile communication terminal 900 through the communication network 920 and the receiving unit 914.
  • the mobile communication terminal 900 includes a user interface 915 and a communication data control unit 918.
  • the communication data control unit 918 includes an input control unit 916 connected to the transmission unit 913 and an output connected to the reception unit 914.
  • a control unit 917 and a voice / character conversion processing unit 901 that connects the input control unit 916 and the output control unit 917 are included.
  • the input control unit 916 includes a character input processing unit 907, a speech input processing unit 908, and a translation selection control unit 911.
  • the output control unit 917 includes a character output processing unit 902, a translated data output method control unit 909, and a speech.
  • An output processing unit 910 is included.
  • the interpreting system 9 has the above-described configuration, so that translation results in different languages can be obtained at the mobile communication terminal at hand, and the received translation results are used by the interpreter through a user interface such as a display screen or a speaker. The need for an interpreter to be present.
  • Patent Document 1 the device and the interpreting system described in Patent Document 1 that are targeted for healthy hearing persons are based on the assumption of mutual conversation and cannot be said to be suitable for use by persons with hearing impairments. It was. Furthermore, there are various types of hearing-impaired people, such as congenital, acquired, and elderly, and there are special circumstances such that not all hearing-impaired people are learning sign language. There has been a demand for communication assistance means such as conversation suitable for use by these persons.
  • the present invention was devised in view of the above points, and a program for assisting a conversation by converting a speaker's voice into electronic character information when a person with a hearing impairment or the like speaks using a communication terminal, It is an object of the present invention to provide a communication device and a method for providing electronic character information.
  • the conversation assistance program of the present invention is installed on an electronic computer and is generated based on voice information via a communication network and a function of sending voice information via a communication network.
  • a function of detecting and displaying electronic character information from an electronic information storage device storing electronic character information is provided.
  • the voice information can be transmitted to the place where the electronic character information is generated based on the voice information by the function of transmitting the voice information via the communication network.
  • the electronic character information detected from the electronic information storage device is detected by the electronic information storage device in which the electronic character information generated based on the voice information is stored, and the electronic character information detected by the electronic information storage device is displayed. Or it can display on the display apparatus etc. which were connected to this.
  • the conversation assistance program of the present invention can be installed not only on the electronic computer installed from the beginning, but also on an already owned electronic computer or a communication information terminal equipped with the electronic computer, so it is convenient. .
  • the computer is provided with a function for checking whether or not the voice information transmission destination is accessible, whether or not the user can access the voice information transmission destination before sending the voice information. You can know whether or not.
  • the startup of the program is restricted in the installed electronic computer.
  • the user wishes to use the program, it is necessary to obtain the use authority, and unauthorized or unjust use can be restricted.
  • the computer is given a function that does not start if the access authority given from the voice information transmission destination is not given, the startup of the program is restricted in the installed electronic computer. In other words, when it is desired to use this program, it is necessary to obtain access authority from the voice information transmission destination, and unauthorized or unfair use can be restricted.
  • a communication apparatus generates input voice information based on a voice output unit capable of transmitting via a communication network and voice information transmitted from the voice output unit.
  • a display unit capable of detecting and displaying the electronic character information from an electronic information storage device storing the electronic character information.
  • the voice information can be transmitted to the place where the electronic character information is generated based on the voice information by the voice output unit capable of transmitting the inputted voice information via the communication network.
  • the electronic character information detected based on the voice information transmitted from the voice output unit can be detected from the electronic information storage device storing the electronic character information and displayed by the display unit. Is displayed on the communication device, and the user of the communication device can know the content of the voice information by characters.
  • a communication apparatus generates input voice information based on a voice output unit capable of transmitting via a communication network and voice information transmitted from the voice output unit.
  • An electronic character information output unit that detects electronic character information from an electronic information storage device that stores the electronic character information and outputs the electronic character information to a display unit that displays the electronic character information.
  • the voice information can be transmitted to the place where the electronic character information is generated based on the voice information by the voice output unit capable of transmitting the inputted voice information via the communication network.
  • the electronic character information generated based on the voice information transmitted from the voice output unit is detected from the electronic information storage device in which the electronic character information is stored, and the electronic character information output to the display unit that displays the electronic character information.
  • the detected electronic character information is displayed on the communication device by the character information output unit, and the user of the communication device can know the contents of the voice information by characters.
  • the electronic character information providing method of the present invention includes a first step of receiving voice information via a communication network, and a second step of converting the received voice information into electronic character information. And a third step of storing the electronic character information in an electronic information storage device accessible via a communication network.
  • the first step of receiving voice information via the communication network enables the provider of electronic character information to obtain voice information.
  • the provider of the electronic character information can obtain the electronic character information generated by converting the received voice information.
  • the provider of the electronic character information stores the electronic character information generated in the second step. Can be stored in the device.
  • the electronic character information receiver can also obtain the electronic character information by accessing the electronic information storage device via the communication network.
  • the added information is stored in the electronic information from the user terminal. It can be used as a clue when searching for electronic character information stored in the apparatus.
  • the second step listens to voice information received by two or more operators, inputs the contents heard by each operator into the terminal as electronic character information, and stores data of the electronic character information in the electronic information storage device.
  • a case where electronic character information is displayed on an operator's terminal, combined as text data in the electronic information storage device and stored in the electronic information storage device, and another operator calibrates the stored text The accuracy of the second step of converting the received voice information into electronic character information can be improved.
  • the electronic character information is received before accessing the electronic information storage device. It is possible to know whether the electronic information storage device can be accessed from the user side.
  • the conversation when a conversation is performed using a communication terminal, the conversation can be assisted by converting the voice of the speaker into electronic character information. Also, according to the communication device of the present invention, when talking using a communication terminal, the conversation can be assisted by converting the voice of the speaker into electronic character information. Furthermore, according to the method for providing electronic character information according to the present invention, when a conversation is performed using a communication terminal, the conversation can be assisted by converting the voice of the speaker into the electronic character information.
  • electronic character information receivers In this embodiment, electronic character information receivers, conversation assistance program users, and communication device users are described as examples of hearing impaired people and those related to them or the like. For example, even if the conversation is between hearing normal people, if one or both of the speakers cannot understand or are not good at the other party's language, The communication device or the like can be used even in a state where a normal conversation is difficult to be established, such as when the person is a dialect or a talker who cannot understand.
  • FIG. 1 shows a method of providing electronic character information step by step
  • U is a step on the electronic character information receiver side
  • P is an electronic character information provider (hereinafter referred to as “provider”) side. It is a step.
  • the steps are from the first step S1 to the thirteenth step S13, which will be described in detail below.
  • the user of the conversation assistance program is referred to as “user”, and the provider of electronic character information is referred to as “provider”.
  • the user of the conversation assistance program includes both a speaker user who is a voice information sender (for example, a normal hearing person) and a reception user (for example, a hearing impaired person) who accepts electronic character information.
  • the description of the conversation assistance program is used in the same meaning unless otherwise specified.
  • the first step S1 is a step in which the user decides to start a call.
  • the second step S2 is a step of transmitting access permission to the provider side.
  • a switch provided in the communication device on the user side or disposed near the communication device is performed, or transmission of voice information or a function or program provided in the communication device is performed.
  • voice information or a function or program provided in the communication device is performed.
  • There are various modes such as being automatically performed in conjunction with reception.
  • a personal identification number or access key for notifying the use authority may be transmitted together with access permission.
  • the third step S3 is an access permission determination step performed on the provider side with respect to the access permission transmitted from the user side in the second step S2. Note that the third step S3 may be a human decision or may be automated by a computer.
  • the signal is transmitted to the user side, and the process proceeds to the fourth step S4.
  • the signal is transmitted to the user side, and the process returns to the stage before the second step S2. In this case, the process returns to the second step S2 again, or communication cancellation is selected.
  • the fourth step S4 is a step of receiving access permission on the user side.
  • the fifth step S5 is a step of transmitting voice information from the user side to the provider side. Transmission of audio information is performed via a communication network.
  • the communication network may use either wired or wireless communication, or may use both.
  • the sixth step S6 is a step of receiving on the provider side the voice information transmitted in the fifth step S5.
  • the seventh step S7 is a step of generating electronic character information on the provider side based on the received speech information, and can be rephrased as a step of converting the speech information into electronic character information.
  • the seventh step S7 is preferably performed by listening to voice information received by two operators and inputting the contents heard by each operator to the terminal as electronic character information. It is not excluded to do so with more operators.
  • the eighth step S8 is a step of storing the generated electronic character information in the electronic information storage device on the provider side.
  • the electronic information storage device can be directly accessed via a communication network, or indirectly accessible via a device serving as a gateway, for example, various servers such as a web server, A personal computer or other recording medium.
  • a personal computer is referred to as a “personal computer” and a web server or the like is simply referred to as a “server”.
  • the electronic character information is combined as text data in the electronic information storage device and stored in the electronic information storage device.
  • the electronic character information is displayed on the operator's terminal, and the input information can be confirmed. Stored text is proofread by other operators.
  • identification information for specifying the electronic character information is added to the electronic character information when or after the electronic character information is stored in the electronic information storage device.
  • This identification information can be set as appropriate, such as a user identification code, generation date, other information, or a combination thereof. This identification information is a clue for detecting the stored electronic character information.
  • the system waits for a request from the user described below, and proceeds to a tenth step S10 described later. Note that the above-described operation of the eighth step S8 is performed by a person, but all or a part of the operation may be automated.
  • Ninth step S9 is a step of transmitting a request for displaying electronic character information on the electronic information storage device from the user side to the provider side.
  • the tenth step S10 is a step for determining whether or not the provider transmits the request transmitted from the user side in the ninth step S9. Note that the tenth step S10 may be a human decision, or may be automated by the function of a server or a computer.
  • the signal is transmitted to the user side, and the process proceeds to the eleventh step S11.
  • the request rejection is determined (No)
  • the signal is transmitted to the user side, and the process returns to the ninth step S9. In this case, the ninth step S9 is executed again, or communication cancellation is selected.
  • the eleventh step S11 is a step in which electronic character information disclosed or transmitted from the server side is displayed to the user side. In this step, the user can view the electronic character information.
  • the user who browses the electronic character information here is basically a receptionist user such as a hearing impaired person, but is not limited to this person, not only a hearing impaired person but also a normal hearing person, etc. Other users may be included, and in this case, the same electronic character information is displayed for both the hearing impaired person and other users such as a normal hearing person.
  • a speaker user such as a normal hearing person can check whether or not the electronic character information is correct, record the conversation content, and the like, thereby improving convenience.
  • the twelfth step S12 is a step for determining whether or not to continue the call. When it is determined that the call is to be continued (Yes), the process returns to the fifth step S5, and the voice information is transmitted again from the user side to the provider side. Thereafter, the above steps are repeated again. Become.
  • the process proceeds to the next thirteenth step S13.
  • the provider side may perform session timeout processing and proceed to the thirteenth step S13. This is to prevent the addition of charges due to the congestion of the line and the non-response call time.
  • the thirteenth step S13 is a step of ending the call.
  • the user or provider decides to end communication.
  • an access key such as a personal identification number for notifying the use authority may be transmitted together.
  • the access key notified by contracting with the provider corresponds to this, and the provider sets different charges based on various conditions such as provision period and provision contents for each user, and sets different service keys. Can be issued.
  • the transmission of the access key in the second step S2 may be automatically performed as in the case of access permission transmission.
  • the request in the ninth step S9 and the like includes, for example, an HTTP (Hypertext Transfer Protocol) request, but is not limited thereto, and various request methods performed via a communication network may be adopted.
  • HTTP Hypertext Transfer Protocol
  • the conversation assistance program is installed in the computer on the user side. Among the steps described above, the second step S2, the fourth step S4, the fifth step S5, the ninth step S9, and the 11 step S11 is executed.
  • electronic computer includes general computers, embedded systems such as microcomputers in fixed telephones, mobile communication terminals such as smartphones and so-called tablets, etc., which are installed at the time of shipment. In addition to the case where it is installed, the case where it is installed later is also included.
  • the program When the program is sold or transferred independently, the program may be stored in an electronic information recording medium such as a CD, DVD, Blu-ray disc, or USB memory, or downloaded via a communication network. Alternatively, it may be used in such a manner that it is not installed in the terminal, such as ASP (Application Service Provider).
  • ASP Application Service Provider
  • the user U1 on the user side is a normal hearing person and the user U2 is a person with hearing impairment.
  • the communication network N located in the center of FIG. 2 is conceptually shown, and connects the user side and the provider side so that they can communicate.
  • the voice communication network T is also conceptually shown, and is connected so that voice calls can be made between users.
  • the terminal used by the user U1 is a general mobile phone 11, and the terminal used by the user U2 is a fixed telephone 12 having a receiver 122 and a display unit 121 as a voice information input unit in a main unit 120.
  • the aforementioned conversation assistance program is installed in the embedded system in the main body 120.
  • a headset 43 having a microphone and an earphone is attached, the input operator P1 prepared in front of the personal computer 41, the input operator P2 attached in the headset 43 and prepared in front of the personal computer 42, and the personal computers 41, 42.
  • a server 44 connected to be communicable with each other.
  • the content is transmitted as voice information R1 from the mobile phone 11 and reaches the user U2 via the voice communication network T.
  • the voice information R1 that reaches the user U2 is transferred from the fixed telephone 12 by the function of the program, and reaches the provider side via the communication network N.
  • the voice information R1 that has arrived at the provider side is heard by the input operators P1 and P2 through the headset 43, and the input operators P1 and P2 input the heard voice information to the personal computers 41 and 42, respectively, to generate electronic character information R2.
  • the generated electronic character information R2 is stored in the server 44.
  • the electronic character information R2 is given identification information in the server 44, and the electronic character information R2 input by the input operators P1 and P2 is combined into one sentence data.
  • This text data is calibrated by another operator (not shown and reference numerals omitted) different from the input operators P1 and P2, and the text data after proofreading can be viewed as confirmation by the input operators P1 and P2 as electronic information. .
  • the request R3 to the server 44 is transmitted by the function of the program in the fixed telephone 12, and the server 44 responds to the electronic character information R2 displayed on the display unit 121 of the fixed telephone 12 via the communication network N.
  • the conventional three-party call service relies on each telecommunications company that provides the voice call service, and there is inconvenience that the telecommunications company with which each caller contracts cannot receive the three-party call service between other companies.
  • a conversation assistance program is installed on the terminal used by the user U2, and the program transfers the voice information received from the user U1 to the provider side via the communication network N. It is possible to receive a conversation assistance service without relying on a voice call service provided by a telecommunications company.
  • the fixed telephone 12 may transmit and receive both voice information and electronic character information via the Internet, which is a communication network, such as an IP (Internet Protocol) telephone, or a voice communication line and a data communication line. It is also possible to communicate using both.
  • IP Internet Protocol
  • the terminal used by the user U1 who is a healthy hearing person is a general mobile phone, but is not limited to this, and is a general landline phone or smartphone in which the aforementioned conversation assistance program is not installed. Etc.
  • the operator on the provider side uses a headset.
  • the present invention is not limited to this, and any operator can be used as long as it can at least hear voice information.
  • voice information For example, a simple headphone, earphone, speaker, etc.
  • the voice output means such as is not excluded.
  • the user U2 on the user side is an acquired hearing handicapped person who can be a speaker, and the same applies to the user U3.
  • the communication device 13 that is a terminal used by the user U3 includes a tablet 130 having a wireless connection function to a communication network, a display unit 131 provided in the tablet, a wireless router 132 that connects the tablet 130 to the communication network, and a tablet A headset 133 connected to 130 is provided. Since the provider side is the same as the first aspect described above, description thereof is omitted.
  • the conversation assistance program since the conversation assistance program is installed in each of the terminals used by the users U2 and U3, the provider side is accessed directly through the communication network N without going through the normal voice call network T. Service provided by the provider. Therefore, according to this aspect, the conversation assistance service can be received without relying on the voice call service provided by the communication company.
  • the cost can be suppressed as compared with purchasing a dedicated machine.
  • the communication device 13 of this aspect it is easy to use in places other than home because the burden of installation, attachment and carrying is small, and it is more convenient than the fixed telephone of the first aspect.
  • the place other than the home includes, for example, another person's house, a store, a public place, etc., in an environment that can be connected to a wireless communication network (such as a wireless LAN connected to the Internet), and a tablet etc.
  • a wireless communication network such as a wireless LAN connected to the Internet
  • a tablet etc Electronic character information can be received simply by bringing in a terminal and headset.
  • the tablet 130 and the headset 133 are connected by wire, but may be wireless.
  • a wireless router but also a wired router can be used for the tablet 130, or the tablet 130 may be connected by a mobile phone line without a router.
  • the voice input means is not limited to the headset 133, and other known means such as a simple microphone can be used.
  • a voice input means such as a headset or a microphone is used because the display unit cannot always be confirmed or difficult to confirm during a call unless a certain distance from the display unit is used.
  • voice input is possible in a state where the display unit can be confirmed using the on-hook function, these may not be used.
  • the voice input means may be used even when the user is a complete habit. It is not necessary to use it.
  • the user U2 and the user U3 are speakers, and the content of the other party's story is grasped by looking at the respective display units 122 and 131.
  • the user U1 on the user side is a normal hearing person, and the user U4 is an elderly person who has become difficult to hear and can be a speaker.
  • the communication device 14 which is a terminal used by the user U4 includes a normal fixed telephone 140, an electronic character information display device 141, a display unit 142 provided in the electronic character information display device, and a splitter 143. Since the provider side is the same as the first aspect described above, description thereof is omitted.
  • an electronic character information display device 141 in which the above-described conversation assistance program is installed is connected to a general fixed telephone 140 via a splitter 143.
  • the splitter 143 is a member that demultiplexes transmission of voice information and connection communication to a communication network through a DSL (Digital Subscriber Line) line.
  • the communication device 14 is configured such that the voice information received by the user U 4 with the fixed telephone 140 is sent to the electronic character information display device 141 connected via the splitter 143.
  • the communication device 14 can be easily connected to an existing fixed telephone later.
  • the communication device 14 is easy to use even outside the home because it is less burdensome to carry.
  • the communication device 14 can be connected as it is to receive electronic character information while using a normal telephone line by the splitter 143, it is necessary to perform useless construction for those who do not use the Internet, such as elderly people. Disappears.
  • the content is transmitted as voice information R1 from the mobile phone 11 and reaches the user U4 via the voice communication network T.
  • the voice information R1 delivered to the user U4 is transferred from the electronic character information display device 141 by the function of the program and reaches the provider side via the communication network N. Note that processing of the voice information R1 that has arrived at the provider (such as conversion of voice information into electronic character information) is the same as in the first aspect described above, and is therefore omitted.
  • the audio information received via the splitter 143 is transmitted to the provider side as described above.
  • the audio information is provided in the electronic character information display device 141. It does not exclude other known means in which voice information is transmitted to the provider side, such as sending to the provider side via the communication network N using a wireless communication function such as Wi-fi (Wireless fidelity).
  • Wi-fi Wireless fidelity
  • other known means are not excluded as long as voice information can be transmitted to the provider side regardless of wired, wireless, telephone line, or Internet line.
  • User U4 knows the contents spoken by user U1 from the characters displayed on display unit 142 of electronic character information display device 141, and replies through the handset of fixed telephone 140.
  • the voice information R1 that is the answer of the user 4 arrives through the voice communication network T as the user U1 voice information.
  • a conversation assistance program is installed in the terminal used by the user U4, and the program transfers the voice information received from the user U1 to the provider side via the communication network N.
  • the inconvenience of relying on the voice communication service of a telecommunications company is eliminated, and a conversation assistance service can be obtained from the provider.
  • the user U5 is a person with hearing impairment.
  • the communication device 15, which is a terminal used by the user U 5, includes the fixed telephone 12, a splitter 151 connected to the communication network, a transmitter 152 connected to the splitter 151, and an incoming call that receives radio waves from the transmitter 152.
  • a notification band 153 and a light emitting unit 154 provided on the surface side of the incoming call notification band 153 are provided.
  • the incoming notification band 153 also has a vibrator function. Since the fixed telephone 12 has been described above, a detailed description thereof will be omitted.
  • the incoming notification band 153 may have only one function of light emission or vibration, or other known means such as a stimulation means such as a weak current may be employed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

 聴覚障がい者等が通信端末を用いて会話する際に、話者の音声を電子文字情報に変換して会話を補助するプログラム、通信装置、電子文字情報の提供方法を提供する。 ユーザーU2の端末は本体部120に音声情報の入力部である受話器122と表示部121を有する固定式電話12であり、本体部120内の組み込みシステムに会話補助プログラムがインストールされている。ユーザーU3の通信装置13は、タブレット130、タブレットに設けられた表示部131、タブレット130を通信ネットワークに接続する無線ルーター132、タブレット130に接続されたヘッドセット133を備えている。プロバイダー側は、マイクとイヤホンを有するヘッドセット43を装着してパソコン41,42前に準備した入力オペレーターP1、P2と、パソコン41,42と通信可能に接続されたサーバー44を備えている。

Description

会話補助プログラム、通信装置及び電子文字情報の提供方法
 本発明は、会話補助プログラム、通信装置及び電子文字情報の提供方法に関する。詳しくは、聴覚障がい者等が通信端末を用いて会話する際に、話者の音声を電子文字情報に変換して会話を補助するプログラム、通信装置及び電子文字情報の提供方法に係るものである。
 聴覚障がい者と聴覚健常者又は聴覚障がい者間のコミュニケーション手段として、手話が用いられている。一方、手話を習得していない聴覚障害者も多いため、話し手の音声を文字に換えて伝える要約筆記というコミュニケーション補助手段も用いられており、この手段においては、必要に応じて要約筆記者が立ち会ってコミュニケーションの補助を行っている。
 しかしながら、至急の場合や日常的な短時間のコミュニケーションのために要約筆記者を準備することは時間的に又は金銭的に容易ではなく、このため、要約筆記者が直接立ち会うことなく、フレキシブルに音声の文字通訳を行う手段への要求が従来から存在している。
 通訳者等のコミュニケーションを補助する者が直接立ち会うことなく、フレキシブルに異言語間の会話の通訳を行う手段への要求を満たす手段として、例えば、特許文献1に記載された機器及び通訳システムが提案されている。
 図6に示すように、特許文献1に記載された通訳システム9は、被通訳者の携帯通信端末900から送信部913及び通信網920を通じて異言語の音声を出力し、通訳センター919では受信した同音声を翻訳すると共に翻訳結果を通信網920及び受信部914を通じて携帯通信端末900へ送信するものである。
 携帯通信端末900は、ユーザーインターフェース915と通信データ制御部918を有しており、通信データ制御部918には、送信部913と接続された入力制御部916と、受信部914と接続された出力制御部917と、入力制御部916と出力制御部917を接続する音声/文字変換処理部901が含まれている。
 入力制御部916は、文字入力処理部907、音声入力処理部908及び訳語選択制御部911を含んでおり、出力制御部917は、文字出力処理部902、訳後データ出力方法制御部909及び音声出力処理部910を含んでいる。
 通訳システム9は、前述の構成を備えることによって、異言語の翻訳結果を手元の携帯通信端末に得ることができ、受信した翻訳結果は表示画面やスピーカーのようなユーザーインターフェースを通じて被通訳者が利用することができるため、通訳者の立ち会いが不要となる。
特開2002-27039号公報
 しかしながら、聴覚健常者を対象としたものである特許文献1に記載された機器及び通訳システムは、相互の会話を前提としたものであって、聴覚障がい者の利用に適したものとはいえなかった。更に、聴覚障がい者には先天的な者、後天的な者、老人等の様々なタイプが存在し、また、全ての聴覚障がい者が手話を習得している者ではない、といった特殊な事情があり、これらの者の利用に適した会話等のコミュニケーション補助手段が求められていた。
 本発明は、以上の点を鑑みて創案されたものであり、聴覚障がい者等が通信端末を用いて会話する際に、話者の音声を電子文字情報に変換して会話を補助するプログラム、通信装置及び電子文字情報の提供方法を提供することを目的とするものである。
 上記の目的を達成するために本発明の会話補助プログラムは、電子計算機にインストールされて、通信ネットワークを介して音声情報を送信する機能と、通信ネットワークを介して、音声情報に基づいて生成された電子文字情報が格納された電子情報保存装置から電子文字情報を探知し、表示する機能とを付与する。
 ここで、通信ネットワークを介して音声情報を送信する機能によって、音声情報に基づいて電子文字情報を生成する場所へ、音声情報を送信できる。
 また、音声情報に基づいて生成された電子文字情報が格納された電子情報保存装置から電子文字情報を探知し、表示する機能によって、電子情報保存装置から探知した電子文字情報を、手元の電子計算機あるいはこれに接続された表示装置等に表示することができる。
 また、本発明の会話補助プログラムは、最初からインストールされた電子計算機のみならず、既に所持している電子計算機あるいは電子計算機を備えた通信情報端末にもインストールすることができるので、利便性がよい。
 また、電子計算機に、音声情報送信先に対してアクセス可能な状態か否かを調べる機能を付与する場合には、音声情報の送信前に、ユーザー側から音声情報送信先にアクセス可能であるか否かを知ることができる。
 また、電子計算機に、使用権限の認証を受けていない場合にはプログラムが起動しない機能を付与する場合には、インストールされた電子計算機においてプログラムの起動が制限される。つまり、本プログラムの利用を希望する際には使用権限を得ることを要することとなり、不正又は不当な利用を制限することができる。
 また、電子計算機に、音声情報送信先から付与されたアクセス権限が無い場合にはプログラムが起動しない機能を付与する場合には、インストールされた電子計算機においてプログラムの起動が制限される。つまり、本プログラムの利用を希望する際には、音声情報送信先からアクセス権限を得ることを要することとなり、不正又は不当な利用を制限することができる。
 上記の目的を達成するために本発明の通信装置は、入力された音声情報を、通信ネットワークを介して送信可能な音声出力部と、音声出力部から送信された音声情報に基づいて生成された電子文字情報を、電子文字情報が格納された電子情報保存装置から探知して表示可能な表示部とを備える。
 ここで、入力された音声情報を、通信ネットワークを介して送信可能な音声出力部によって、音声情報に基づいて電子文字情報を生成する場所へ、音声情報を送信できる。
 また、音声出力部から送信された音声情報に基づいて生成された電子文字情報を、電子文字情報が格納された電子情報保存装置から探知して表示可能な表示部によって、探知された電子文字情報が通信装置に表示され、通信装置の利用者は音声情報の内容を文字によって知ることができる。
 上記の目的を達成するために本発明の通信装置は、入力された音声情報を、通信ネットワークを介して送信可能な音声出力部と、音声出力部から送信された音声情報に基づいて生成された電子文字情報を、電子文字情報が格納された電子情報保存装置から探知して、電子文字情報を表示する表示部に出力する電子文字情報出力部とを備える。
 ここで、入力された音声情報を、通信ネットワークを介して送信可能な音声出力部によって、音声情報に基づいて電子文字情報を生成する場所へ、音声情報を送信できる。
 また、音声出力部から送信された音声情報に基づいて生成された電子文字情報を、電子文字情報が格納された電子情報保存装置から探知して、電子文字情報を表示する表示部に出力する電子文字情報出力部によって、探知された電子文字情報が通信装置に表示され、通信装置の利用者は音声情報の内容を文字によって知ることができる。
 上記の目的を達成するために本発明の電子文字情報の提供方法は、通信ネットワークを介して音声情報を受信する第1のステップと、受信した音声情報を電子文字情報に変換する第2のステップと、電子文字情報を、通信ネットワークを介してアクセス可能な電子情報保存装置に格納する第3のステップとを備える。
 ここで、通信ネットワークを介して音声情報を受信する第1のステップによって、電子文字情報の提供者は、音声情報を得ることができる。
 また、受信した音声情報を電子文字情報に変換する第2のステップによって、電子文字情報の提供者は、受信した音声情報を変換して生成された電子文字情報を得ることができる。
 また、電子文字情報を、通信ネットワークを介してアクセス可能な電子情報保存装置に格納する第3のステップによって、電子文字情報の提供者は第2のステップで生成された電子文字情報を電子情報保存装置に格納することができる。また、電子文字情報の接受者も、通信ネットワークを介して電子情報保存装置にアクセスして電子文字情報を得ることができる。
 また、電子情報保存装置に格納された電子文字情報に、利用者端末から探知可能な情報を付加する第4のステップを備える場合には、その付加された情報は、利用者端末から電子情報保存装置に格納された電子文字情報を探す際の手がかりとすることができる。
 また、第2のステップが、二以上のオペレーターが受信した音声情報を聴取し、各オペレーターが聴取した内容を電子文字情報として端末に入力し、電子文字情報のデータを電子情報保存装置に格納するステップと、電子文字情報がオペレーターの端末に表示され、電子情報保存装置内において文章データとして結合して電子情報保存装置内で保存し、保存した文章を他のオペレーターが校正するステップとを有する場合には、受信した音声情報を電子文字情報に変換する第2のステップの精度を高めることができる。
 即ち、二以上のオペレーターが受信した音声情報を聴取し、各オペレーターが聴取した内容を電子文字情報として端末に入力することで、一のオペレーターで作業を行うよりも、生成される電子文字情報の内容の確実性が向上する。更に、二以上のオペレーターにより入力された電子文字情報のデータが、オペレーターの端末に表示され、電子情報保存装置内において文章データとして結合して電子情報保存装置内で保存され、保存された文章を他のオペレーターが校正することで、文章データ化された電子文字情報が重ねてチェックされるので、内容の確実性が更に向上する。
 また、通信ネットワークを介したリクエストに応じて、電子情報保存装置にアクセス可能であるか否かの状態を通知するステップを備える場合は、電子情報保存装置へアクセスする前に、電子文字情報の接受者側から電子情報保存装置にアクセス可能であるか否かを知ることができる。
 また、受信した音声情報の発信元である第1のユーザーおよび該音声情報に基づき変換された電子文字情報の送信先である第2のユーザーの双方に、電子文字情報を提供するステップを備える場合は、話者である第1のユーザーと通話先である第2のユーザーの双方が提供された電子文字情報を共有することができる。
 本発明によるプログラムによれば、通信端末を用いて会話する際に、話者の音声を電子文字情報に変換することで会話を補助することができる。
 また、本発明による通信装置によれば、通信端末を用いて会話する際に、話者の音声を電子文字情報に変換することで会話を補助することができる。
 更に、本発明による電子文字情報の提供方法によれば、通信端末を用いて会話する際に、話者の音声を電子文字情報に変換することで会話を補助することができる。
本発明の電子文字情報の提供方法を示す概略図である。 本発明の通信装置を使用した第1の態様を示す説明図である。 本発明の通信装置を使用した第2の態様を示す説明図である。 本発明の通信装置を使用した第3の態様を示す説明図である。 本発明の通信装置を使用した第4の態様を示す説明図である。 特許文献1記載の発明を示した説明図である。
 図1ないし図5を参照して、本発明の実施の形態を更に詳細に説明する。なお、各図における符号は、煩雑さを軽減し理解を容易にする範囲内で付している。
 本実施の形態においては、電子文字情報の接受者、会話補助プログラムの利用者、通信装置の利用者として、聴覚障がい者及び彼ら或いは彼女らに関係する者を例として説明しているが、これに限定するものではなく、例えば、聴覚健常者の間の会話であっても、会話者の一方又は双方が相手方の言語を理解できないか不得手としている場合や、会話者の一方又は双方が他の者が理解不能な程の方言や訛りの話者である場合等の、通常の会話が成立しにくい状態においても同通信装置等を利用することができる。
〔電子文字情報の提供方法〕
 図1は、電子文字情報の提供方法をステップ毎に示したものであり、Uは電子文字情報の接受者側のステップであり、Pは電子文字情報の提供者(以下「プロバイダー」という)側のステップである。ステップは、第1のステップS1から第13のステップS13まであり、以下詳述する。なお、以下、会話補助プログラムの利用者については「ユーザー」と、電子文字情報の提供者については「プロバイダー」という。そして、会話補助プログラムの利用者については、音声情報発信者である話者ユーザー(例えば聴覚健常者)と電子文字情報を接受する接受者ユーザー(例えば聴覚障がい者)のいずれもが含まれるものとし、以下で説明する電子文字情報の提供方法のほか、会話補助プログラムの説明においても、特に除外しない限り同様の意味で使用している。
(第1のステップS1)
 第1のステップS1は、ユーザーが通話の開始を決定するステップである。
(第2のステップS2)
 第2のステップS2は、プロバイダー側へアクセス許可を送信するステップである。
 なお、アクセス許可の送信方法としては、ユーザー側の通信装置に設けられているか又は通信装置近傍に配置されたスイッチを押して行う、あるいは、通信装置に設けられた機能又はプログラムにより音声情報の送信又は受信と連動して自動的に行われる、等の様々な態様が挙げられる。なお、本ステップにおいては、アクセス許可と共に、使用権限を通知する暗証番号やアクセスキーを送信してもよい。
(第3のステップS3)
 第3のステップS3は、第2のステップS2でユーザー側から送信されたアクセス許可について、プロバイダー側で行うアクセス許否判断のステップである。なお、第3のステップS3は、人間による判断であってもよいし、コンピュータにより自動化されたものであってもよい。
 アクセス許可の判断がなされた場合(Yes)は、その信号がユーザー側へ送信され、第4のステップS4に進む。
 一方、アクセス拒否の判断がなされた場合(No)は、その信号がユーザー側へ送信され、第2のステップS2の前段階に戻る。この場合、再度第2のステップS2に戻るか、または、通信の取りやめが選択される。
(第4のステップS4)
 第4のステップS4は、ユーザー側でアクセス許可を受信するステップである。
(第5のステップS5)
 第5のステップS5は、ユーザー側からプロバイダー側へ音声情報を送信するステップである。音声情報の送信は通信ネットワークを介して行われる。なお、通信ネットワークは有線又は無線のいずれかを利用するものであってもよいし、または、その両方を利用するものであってもよい。
(第6のステップS6)
 第6のステップS6は、第5のステップS5で送信された音声情報をプロバイダー側で受信するステップである。
(第7のステップS7)
 第7のステップS7は、プロバイダー側において、受信した音声情報に基づいて電子文字情報を生成するステップであり、音声情報を電子文字情報に変換するステップとも換言できる。なお、第7のステップS7は、好ましくは、2名のオペレーターが受信した音声情報を聴取し、各オペレーターが聴取した内容を電子文字情報として端末に入力して行われるが、1名又は2名を超えるオペレーターで行うことを除外するものではない。
(第8のステップS8)
 第8のステップS8は、プロバイダー側において、生成された電子文字情報を電子情報保存装置に格納するステップである。ここで、電子情報保存装置とは、通信ネットワークを介して直接的にアクセス可能であるか又はゲートウェイとなる装置を介して間接的にアクセス可能なものであって、例えばウェブサーバー等の各種サーバーやパーソナルコンピュータその他の記録媒体等をいう。なお、以下の説明では、パーソナルコンピュータについては「パソコン」と、ウェブサーバー等については単に「サーバー」という。
 更に、本ステップにおいて、電子文字情報は、電子情報保存装置内において文章データとして結合され、同電子情報保存装置内で保存される。電子文字情報はオペレーターの端末に表示され、入力情報の確認が可能となる。保存された文章は、他のオペレーターより校正される。
 加えて、電子文字情報を電子情報保存装置に格納する際に又は格納後に、電子文字情報へ同電子文字情報を特定するための識別情報が付加される。この識別情報は、ユーザーの識別コード、生成年月日その他の情報又はこれらの組み合わせ等適宜設定しうる。この識別情報は、格納された電子文字情報を探知するための手がかりとなる。
 これら、第8のステップS8における作業が完了した後は、次で説明するユーザー側からのリクエストを待つ状態となり、後述する第10のステップS10に進む。
 なお、前述した第8のステップS8の作業は、人が介して行われているが、作業の全て又は一部が自動化されてもよい。
(第9のステップS9)
 第9のステップS9は、ユーザー側からプロバイダー側へ、電子情報保存装置に電子文字情報を表示させるためのリクエストを送信するステップである。
(第10のステップS10)
 第10のステップS10は、第9のステップS9でユーザー側から送信されたリクエストについて、プロバイダー側で行う許否判断のステップである。なお、第10のステップS10は、人間による判断であってもよいし、サーバーやコンピュータの機能により自動化されたものであってもよい。
 リクエスト許可の判断がなされた場合(Yes)は、その信号がユーザー側へ送信され、第11のステップS11に進む。
 一方、リクエスト拒否の判断がなされた場合(No)は、その信号がユーザー側へ送信され、第9のステップS9に戻る。この場合、再度第9のステップS9が実行されるか、または、通信の取りやめが選択される。
(第11のステップS11)
 第11のステップS11は、サーバー側から開示又は送信された電子文字情報がユーザー側へ表示されるステップである。このステップで、ユーザーは電子文字情報を閲覧することができる。
 なお、ここでいう電子文字情報を閲覧するユーザーは、基本的には聴覚障がい者等の接受者ユーザーであるが、この者に限定するものではなく、聴覚障がい者のみならず、聴覚健常者等他のユーザーが含まれてもよく、その場合、聴覚障がい者と、聴覚健常者等他のユーザーの両者に同一の電子文字情報が表示されることになる。これにより、聴覚健常者等の話者ユーザー側でも電子文字情報が正しいか否かの確認や会話内容の記録等を行うことができ、利便性が向上する。
(第12のステップS12)
 第12のステップS12は、通話を継続するか否かの判断ステップである。
 通話継続の判断がなされた場合(Yes)は、第5のステップS5に戻り、再度ユーザー側からプロバイダー側へ音声情報を送信することになり、その後は前述の各ステップが再度を繰り返されることとなる。
 一方、通話終了の判断がなされた場合(No)は、次の第13のステップS13に進むことになる。
 他方、無応答時間が続いた場合に、プロバイダー側でセッションタイムアウト処理を行って第13のステップS13に進んでもよい。回線の混雑、無応答の通話時間経過による料金加算等を防止するためである。
(第13のステップS13)
 第13のステップS13は、通話の終了のステップである。ユーザー又はプロバイダーが通信終了を決定する。
 なお、第2のステップS2においては、使用権限を通知する暗証番号等のアクセスキーを併せて送信するようにしてもよい。この場合、例えば、プロバイダーと契約することによって通知されたアクセスキー等がこれに該当し、プロバイダーはユーザー毎の提供期間、提供内容等の各種条件に基づいて異なる料金を設定し、異なるサービスキーを発行しうる。
 第2のステップS2においてアクセスキーの送信は、アクセス許可送信の場合と同様に自動的に行われるものであってもよい。
 第9のステップS9等におけるリクエストとは、例えば、HTTP(Hypertext Transfer Protocol)リクエストが挙げられるが、これに限定するものではなく、通信ネットワークを介して行われる各種要求方法を採用してもよい。
〔会話補助プログラム〕
 会話補助プログラムは、ユーザー側の電子計算機にインストールされるものであって、前述したステップのうち、第2のステップS2、第4のステップS4、第5のステップS5、第9のステップS9及び第11のステップS11を実行するものである。
 なお、用語「電子計算機」には、一般的なパソコンのほか、固定式電話内のマイコン等の組み込みシステム、スマートフォンやいわゆるタブレットのような携帯通信端末等が含まれており、出荷時にインストールされている場合のほか、事後的にインストールする場合も含まれる。
 プログラムが独立して販売又は譲渡される場合には、CD、DVD、ブルーレイディスク、USBメモリ等の電子情報記録媒体に収められた態様であってもよいし、通信ネットワークを介してダウンロードされる態様、あるいは、ASP(Application Service Provider)のように端末にインストールしない態様での利用であってもよい。
〔通信装置〕
 図2乃至図4を参照して、本発明の通信装置を使用した第1乃至第3の態様について説明する。
(第1の態様)
 図2において、ユーザー側のユーザーU1は聴覚健常者の話者であり、ユーザーU2は聴覚障がい者である。図2中央に位置する通信ネットワークNは概念的に示されたものであり、ユーザー側とプロバイダー側を通信可能に接続している。同様に、音声通信ネットワークTも概念的に示されたものであり、ユーザー間を音声通話可能に接続している。
(ユーザー側)
 ユーザーU1が使用する端末は一般的な携帯電話11であり、ユーザーU2が使用する端末は、本体部120に音声情報の入力部である受話器122と表示部121を有する固定式電話12であって、本体部120内の組み込みシステムに前述の会話補助プログラムがインストールされたものである。
(プロバイダー側)
 プロバイダー側には、マイク及びイヤホンを有するヘッドセット43を装着し、パソコン41前に準備した入力オペレーターP1と、ヘッドセット43を装着し、パソコン42前に準備した入力オペレーターP2と、パソコン41,42と通信可能に接続されたサーバー44を備えている。
 まず、ユーザーU1が話すと、その内容が音声情報R1として携帯電話11から送信され、音声通信ネットワークTを介してユーザーU2へ届く。
 次に、ユーザーU2に届いた音声情報R1は、プログラムの機能により固定式電話12から転送され、通信ネットワークNを介してプロバイダー側に届く。
 プロバイダー側に届いた音声情報R1は、ヘッドセット43を通じて入力オペレーターP1,P2が聞き取り、入力オペレーターP1,P2は聞き取った音声情報をパソコン41,42にそれぞれ入力し、電子文字情報R2を生成する。
 生成された電子文字情報R2は、サーバー44に格納される。電子文字情報R2は、サーバー44において、識別情報が付与され、各入力オペレーターP1,P2が入力した各電子文字情報R2が結合されて1つの文章データとなる。この文章データは、入力オペレーターP1,P2とは異なる他のオペレーター(図示及び符号省略)により校正され、校正後の文章データは電子情報として、入力オペレーターP1,P2も確認のために閲覧可能になる。
 固定式電話12内のプログラムの機能により、サーバー44へのリクエストR3が送信され、サーバー44はそれに応えて、通信ネットワークNを介して電子文字情報R2が固定式電話12の表示部121に表示される。
 従来の三者通話サービスは、音声通話サービスを提供する各通信会社に依拠しており、各通話者の契約する通信会社が他社同士では三者通話サービスが受けられない等の不便さがあった。しかし、本態様によれば、ユーザーU2が使用する端末に会話補助プログラムがインストールされており、同プログラムはユーザーU1から受信した音声情報を、通信ネットワークNを介してプロバイダー側へ転送するので、特定の通信会社が提供する音声通話サービスに依拠すること無く、会話補助サービスを受けることができる。
 固定式電話12は、IP(Internet Protocol)電話のように、音声情報及び電子文字情報の双方を通信ネットワークであるインターネットを介して送受信するものであってもよいし、音声通信回線とデータ通信回線の双方を利用して通信するものであってもよい。
 本態様において、聴覚健常者であるユーザーU1が使用する端末は一般的な携帯電話であるが、これに限定するものではなく、前述の会話補助プログラムがインストールされていない一般的な固定電話あるいはスマートフォン等であってもよい。
 なお、本態様では、プロバイダー側のオペレーターはヘッドセットを利用しているが、これに限定するものではなく、少なくとも音声情報を聞き取ることができるものであればよく、例えば、単なるヘッドホンやイヤホン、スピーカー等の音声出力手段を除外するものではない。
(第2の態様)
 図3において、ユーザー側のユーザーU2は後天的聴覚障がい者であって話者たり得る者であり、ユーザーU3も同様である。
(ユーザー側)
 ユーザーU2が使用する端末は、前述の第1の態様と同様であるため説明を省略する。
 ユーザーU3が使用する端末である通信装置13は、通信ネットワークへの無線接続機能を有するタブレット130と、タブレットに設けられた表示部131と、タブレット130を通信ネットワークに接続する無線ルーター132と、タブレット130に接続されたヘッドセット133を備えている。
 プロバイダー側については、前述の第1の態様と同様であるため説明を省略する。
 本態様によれば、ユーザーU2及びU3が使用する端末にそれぞれ会話補助プログラムがインストールされているため、通常の音声通話ネットワークTを介することなく、直接、通信ネットワークNを介してプロバイダー側にアクセスしてプロバイダー側が提供するサービスを受けることができる。従って、本態様によれば、通信会社の提供する音声通話サービスに全く依拠すること無く、会話補助サービスを受けることができる。
 また、本態様によれば、一般的なタブレット130に前述の会話補助プログラムが事後的にダウンロード及びインストールされており、既存のタブレットを使用できるので、専用機を買うよりもコストを抑制できる。
 更に、本態様の通信装置13によれば、設置、取着及び持ち運びの負担が少ないので自宅以外の場所でも使用しやすく、第1の態様の固定式電話と比較して利便性が良い。なお、自宅以外の場所としては、例えば、他人の家、店舗、公共の場等であって無線の通信ネットワークに接続可能な環境下(インターネットに繋がる無線LAN等)が挙げられ、そこにタブレット等の端末とヘッドセット等を持ち込むだけで電子文字情報の提供を受けることができる。
 なお、本態様ではタブレット130とヘッドセット133が有線接続されているが、無線でもよい。同様に、タブレット130には無線ルーターのみならず有線ルーターを使用することもできるし、ルーター無しで携帯電話回線によって接続してもよい。また、音声入力手段としてヘッドセット133に限定するものではなく、単なるマイク等の他の公知手段を利用することができる。
 本態様において、タブレットやスマートフォンを利用する際にヘッドセットやマイク等の音声入力手段を利用するのは、表示部と一定距離を置かないと通話中に常時表示部が確認できないか又は確認しにくいためであるが、オンフック機能を用いて表示部が確認できる等の状態で音声入力が可能であれば、これらを用いずともよいし、他方、ユーザーが完全な聾唖である場合も音声入力手段を用いずともよい。
 本態様では、ユーザーU2とユーザーU3は相互に話者であり、相手方の話の内容はそれぞれの表示部122,131を見て把握する。
(第3の態様)
 図4において、ユーザー側のユーザー側のユーザーU1は聴覚健常者の話者であり、ユーザーU4は耳が聞こえにくくなった老人であって話者たり得る者である。
(ユーザー側)
 ユーザーU1が使用する端末は、前述の第1の態様と同様であるため説明を省略する。
 ユーザーU4が使用する端末である通信装置14は、通常の固定式電話140と、電子文字情報表示装置141と、電子文字情報表示装置に設けられた表示部142と、スプリッタ143を備えている。
 プロバイダー側については、前述の第1の態様と同様であるため説明を省略する。
 本態様では、一般的な固定式電話140へ、前述の会話補助プログラムがインストールされた電子文字情報表示装置141が、スプリッタ143を介して接続されている。スプリッタ143はDSL(Digital Subscriber Line)回線を通じて音声情報の送信及び通信ネットワークへの接続通信を分波する部材である。また、通信装置14においては、ユーザーU4が固定式電話140で受信した音声情報が、スプリッタ143を介して接続された電子文字情報表示装置141に送られるように構成されている。
 つまり、通信装置14は、既存の固定式電話に後付けで簡単に接続できるものである。また、通信装置14は、持ち運びの負担が少ないので、自宅以外でも使用しやすい。更に、通信装置14は、スプリッタ143により通常の電話回線を利用しつつ、そのまま接続して電子文字情報の提供を受けることもできるので、高齢者等のインターネットをしない者にとって無駄な工事を行う必要がなくなる。
 まず、ユーザーU1が話すと、その内容が音声情報R1として携帯電話11から送信され、音声通信ネットワークTを介してユーザーU4へ届く。次に、ユーザーU4に届いた音声情報R1は、プログラムの機能により電子文字情報表示装置141から転送され、通信ネットワークNを介してプロバイダー側に届く。
 なお、プロバイダーに届いた音声情報R1の処理(音声情報の電子文字情報化等)は、先に説明した第1の態様と同様であるため、省略する。
 また、本態様では、前記のようにスプリッタ143を介して受信した音声情報をプロバイダー側へ送信しているが、これに限定するものではなく、例えば、音声情報を電子文字情報表示装置141に備えられたWi-fi(Wireless fidelity)等の無線通信機能を用いて通信ネットワークNを介してプロバイダー側へ送る等、音声情報がプロバイダー側へ送信される他の公知手段を除外するものではない。更に、他の態様においても、有線又は無線、電話回線又はインターネット回線を問わず、音声情報がプロバイダー側へ送信可能であれば、他の公知手段を除外するものではない。
 ユーザーU4は、電子文字情報表示装置141の表示部142に表示された文字により、ユーザーU1の話した内容を知り、固定式電話140の受話器を通じて回答する。ユーザー4の回答である音声情報R1は、音声通信ネットワークTを介してユーザーU1音声情報のままで届く。
 また、本態様によれば、ユーザーU4が使用する端末に会話補助プログラムがインストールされており、同プログラムはユーザーU1から受信した音声情報を、通信ネットワークNを介してプロバイダー側へ転送するので、特定の通信会社の音声通信サービスに依拠する不便さが解消され、プロバイダーから会話補助サービスを受けることができる。
(第4の態様)
 図5において、ユーザーU5は聴覚障がい者である。ユーザーU5が使用する端末である通信装置15は、固定式電話12と、通信ネットワークに接続されたスプリッタ151と、スプリッタ151と接続された発信機152と、発信機152からの電波を受信する着信通知バンド153と、着信通知バンド153表面側に設けられた発光部154を備えている。また、着信通知バンド153はバイブレーター機能も有している。なお、固定式電話12については前述しているため細部の説明は省略する。
 通常、呼び出し音が鳴っても、ユーザーU5はその音が聞こえず、電話機のそばにいるか、電話機を見ていないと着信を知ることができなかった。
 しかし、通信装置15によれば、固定式電話12から離れていても、身につけた着信通知バンド153の発光及び振動で着信を知ることができる。なお、着信通知バンド153は、発光または振動のいずれか1つの機能のみを有している態様であってもよいし、弱電流等の刺激手段等の他の公知手段を採用してもよい。
 前述の通信装置又はプログラムを用いて行われる電子文字情報の提供が有償で行われる場合の課金方法としては、例えば、プログラムの購入時、無償で入手したプログラムの使用権限購入時、無償で入手したプログラムのアクセスキー購入時、期間を限定した電子文字情報の提供サービス利用開始の際、電子文字情報の提供サービス利用の都度、ユーザー側から送信されたリクエストのプロバイダー側の受信時、等が挙げられるがこれらに限定するものではない。
 本明細書及び特許請求の範囲で使用している用語と表現は、あくまでも説明上のものであって、なんら限定的なものではなく、本明細書及び特許請求の範囲に記述された特徴およびその一部と等価の用語や表現を除外する意図はない。また、本発明の技術思想の範囲内で、種々の変形態様が可能であるということは言うまでもない。
 S1  第1のステップ、 S2  第2のステップ、 S3  第3のステップ、 S4  第4のステップ、 S5  第5のステップ、 S6  第6のステップ、 S7  第7のステップ、 S8  第8のステップ、 S9  第9のステップ、 S10  第10のステップ、 S11  第11のステップ、 S12  第12のステップ、 S13  第13のステップ、
 U1,U2,U3,U4,U5  ユーザー、
 T  音声通信ネットワーク、 N  通信ネットワーク、
 R1  音声情報、 R2  電子文字情報、 R3  リクエスト、
 11  携帯電話、 12  固定式電話、 120  本体部、 121  表示部、 122  受話器、
 13  通信装置、 130  タブレット、 131  表示部、 132  無線ルーター、 133  ヘッドセット、
 14  通信装置、 140  固定式電話、 141  電子文字情報表示装置、 142  表示部、 143  スプリッタ、
 15  通信装置、 151  スプリッタ、 152  発信機、 153  着信通知バンド、 154  発光部、
 P1,P2  入力オペレーター、
 41,42  パソコン、 43  ヘッドセット、 44  サーバー、
 9  通訳システム、
 900  被通訳者の携帯通信端末、 901  音声/文字変換処理部、 902  文字出力処理部、 907  文字入力処理部、 908  音声入力処理部、 909  訳後データ出力方法制御部、 910  音声出力処理部、 911  訳語選択制御部、 913  送信部、 914  受信部、 915  ユーザーインターフェース、 916  入力制御部、 917  出力制御部、 918  通信データ制御部、 919  通訳センター、 920  通信網

Claims (11)

  1.  電子計算機にインストールされて、
     通信ネットワークを介して音声情報を送信する機能と、
     通信ネットワークを介して、前記音声情報に基づいて生成された電子文字情報が格納された電子情報保存装置から同電子文字情報を探知し、表示する機能とを付与する
     会話補助プログラム。
  2.  前記電子計算機に、音声情報送信先に対してアクセス可能な状態か否かを調べる機能を付与する
     請求項1に記載の会話補助プログラム。
  3.  前記電子計算機に、使用権限の認証を受けていない場合にはプログラムが起動しない機能を付与する
     請求項1または請求項2に記載の会話補助プログラム。
  4.  前記電子計算機に、音声情報送信先から付与されたアクセス権限が無い場合にはプログラムが起動しない機能を付与する
     請求項1または請求項2に記載の会話補助プログラム。
  5.  入力された音声情報を、通信ネットワークを介して送信可能な音声出力部と、
     該音声出力部から送信された音声情報に基づいて生成された電子文字情報を、同電子文字情報が格納された電子情報保存装置から探知して表示可能な表示部とを備える
     通信装置。
  6.  入力された音声情報を、通信ネットワークを介して送信可能な音声出力部と、
     該音声出力部から送信された音声情報に基づいて生成された電子文字情報を、同電子文字情報が格納された電子情報保存装置から探知して、同電子文字情報を表示する表示部に出力する電子文字情報出力部とを備える
     通信装置。
  7.  通信ネットワークを介して音声情報を受信する第1のステップと、
     前記受信した音声情報を電子文字情報に変換する第2のステップと、
     前記電子文字情報を、通信ネットワークを介してアクセス可能な電子情報保存装置に格納する第3のステップとを備える
     電子文字情報の提供方法。
  8.  前記電子情報保存装置に格納された前記電子文字情報に、利用者端末から探知可能な情報を付加する第4のステップとを備える
     請求項7に記載の電子文字情報の提供方法。
  9.  前記第2のステップは、
     二以上のオペレーターが受信した音声情報を聴取し、各オペレーターが聴取した内容を電子文字情報として端末に入力し、該電子文字情報のデータを前記電子情報保存装置に格納するステップと、
     前記電子文字情報が前記オペレーターの前記端末に表示され、前記電子情報保存装置内において文章データとして結合して同電子情報保存装置内で保存し、保存した文章を他のオペレーターが校正するステップとを有する
     請求項7または請求項8に記載の電子文字情報の提供方法。
  10.  通信ネットワークを介したリクエストに応じて、電子情報保存装置にアクセス可能であるか否かの状態を通知するステップを備える
     請求項7、請求項8または請求項9に記載の電子文字情報の提供方法。
  11.  受信した音声情報の発信元である第1のユーザーおよび該音声情報に基づき変換された電子文字情報の送信先である第2のユーザーの双方に、電子文字情報を提供するステップを備える
     請求項7、請求項8、請求項9または請求項10に記載の電子文字情報の提供方法。
PCT/JP2015/051028 2014-03-05 2015-01-16 会話補助プログラム、通信装置及び電子文字情報の提供方法 WO2015133178A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-043118 2014-03-05
JP2014043118A JP2015170923A (ja) 2014-03-05 2014-03-05 会話補助プログラム、通信装置及び電子文字情報の提供方法

Publications (1)

Publication Number Publication Date
WO2015133178A1 true WO2015133178A1 (ja) 2015-09-11

Family

ID=54054990

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/051028 WO2015133178A1 (ja) 2014-03-05 2015-01-16 会話補助プログラム、通信装置及び電子文字情報の提供方法

Country Status (2)

Country Link
JP (1) JP2015170923A (ja)
WO (1) WO2015133178A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000513528A (ja) * 1996-06-26 2000-10-10 エムシーアイ コミュニケーションズ コーポレーション 電話メールメッセージの音声/テキスト自動変換
JP2006067536A (ja) * 2004-08-26 2006-03-09 Zimax:Kk 革新的字幕製作システム
JP2010041301A (ja) * 2008-08-04 2010-02-18 Fujitsu Ltd 音声文字化サーバー及び音声文字化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000513528A (ja) * 1996-06-26 2000-10-10 エムシーアイ コミュニケーションズ コーポレーション 電話メールメッセージの音声/テキスト自動変換
JP2006067536A (ja) * 2004-08-26 2006-03-09 Zimax:Kk 革新的字幕製作システム
JP2010041301A (ja) * 2008-08-04 2010-02-18 Fujitsu Ltd 音声文字化サーバー及び音声文字化方法

Also Published As

Publication number Publication date
JP2015170923A (ja) 2015-09-28

Similar Documents

Publication Publication Date Title
KR102582517B1 (ko) 공유된 음성 작동 디바이스상의 호출 핸들링
US9654628B2 (en) Medical alert and monitoring for the hearing impaired
US7650168B2 (en) Voice activated dialing for wireless headsets
US9578284B2 (en) Methods and apparatuses for video and text in communication greetings for the audibly-impaired
US9444934B2 (en) Speech to text training method and system
US8224397B2 (en) Wireless headset with voice announcement
US9418649B2 (en) Method and apparatus for phonetic character conversion
JP2008219903A (ja) 音声およびデータ接続を並列で扱うための通信サーバおよびこれを使用する方法
CN110915239A (zh) 用于助听器用户的在线自动音频转录
JP2010093554A (ja) 通信装置、文字通話制御方法、及び通信制御プログラム
WO2015133178A1 (ja) 会話補助プログラム、通信装置及び電子文字情報の提供方法
JP2008205972A (ja) 通信端末、音声メッセージ伝達装置、及び音声メッセージ伝達システム
JP4232453B2 (ja) 通話音声のテキスト変換システム
US20150201057A1 (en) Method of processing telephone voice output and earphone
KR100929531B1 (ko) 음성 인식을 이용한 무선 환경에서의 정보 제공 시스템 및그 방법
JP6521397B2 (ja) 電話システム、電話機、及び電話転送方法
JP2014147012A (ja) 音声呼の確立と同時に、相手方端末におけるコードを確認する方法及びシステム
JP7233901B2 (ja) 情報提示システム、情報提示装置、情報提示方法及びコンピュータプログラム
JP2006146732A (ja) 自動翻訳システム、自動翻訳サーバ装置及びそれらに用いる自動翻訳方法
KR101267242B1 (ko) 피코셀 기반 융합기술을 응용한 난청 보조용 음성증폭 및 무선 송수신 장치
US20120259917A1 (en) Method and apparatus for exchanging information between parties
JP2015231092A (ja) 呼制御装置、受信機及びそれらの制御方法
JP2005123869A (ja) 通話内容書き起こしシステムおよび通話内容書き起こし方法
JP2020048056A (ja) 通話制御装置、通話制御プログラム、及び通話制御方法
KR20050000785A (ko) 언어장애 및 청각장애인을 위한 전화 시스템 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15759343

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15759343

Country of ref document: EP

Kind code of ref document: A1