WO2004030328A1 - テレビ電話通訳システムおよびテレビ電話通訳方法 - Google Patents

テレビ電話通訳システムおよびテレビ電話通訳方法 Download PDF

Info

Publication number
WO2004030328A1
WO2004030328A1 PCT/JP2003/012191 JP0312191W WO2004030328A1 WO 2004030328 A1 WO2004030328 A1 WO 2004030328A1 JP 0312191 W JP0312191 W JP 0312191W WO 2004030328 A1 WO2004030328 A1 WO 2004030328A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal
interpreter
voice
function
caller
Prior art date
Application number
PCT/JP2003/012191
Other languages
English (en)
French (fr)
Inventor
Nozomu Sahashi
Original Assignee
Ginganet Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ginganet Corporation filed Critical Ginganet Corporation
Priority to EP03798475A priority Critical patent/EP1545109A4/en
Priority to US10/529,113 priority patent/US20060120307A1/en
Priority to AU2003266592A priority patent/AU2003266592B2/en
Priority to CA002500999A priority patent/CA2500999A1/en
Priority to JP2004539512A priority patent/JPWO2004030328A1/ja
Publication of WO2004030328A1 publication Critical patent/WO2004030328A1/ja
Priority to HK05112102.5A priority patent/HK1078711A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/20—Aspects of automatic or semi-automatic exchanges related to features of supplementary services
    • H04M2203/2061—Language aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42025—Calling or Called party identification service
    • H04M3/42085—Called party identification service
    • H04M3/42102—Making use of the called party identifier
    • H04M3/4211—Making use of the called party identifier where the identifier is used to access a profile

Definitions

  • the present invention relates to a videophone interpreter system and a videophone interpreter method for providing an interpreter service when people using different languages talk with each other using a videophone, and particularly to a language-impaired foreigner.
  • a videophone interpreter system and a videophone interpreter method that can provide administrative services such as government offices and hospitals without the presence of a translator.
  • Fig. 22 shows a system configuration for receiving an interpreting service using a video conference service by a conventional multipoint connection device.
  • 10 is the videophone terminal of the caller (hereinafter, called the caller terminal)
  • 20 is the videophone terminal of the callee (hereinafter, called the callee terminal)
  • 30 is the videophone of the interpreter.
  • Terminals (hereinafter referred to as interpreter terminals), 50 is a public telephone line
  • 1 is a multipoint It is a connection device.
  • Each videophone terminal has a camera (a) that captures the user, a display (b) that displays the received video, a dial pad (c) for dialing the person to talk to, and a microphone that captures the user's voice.
  • a headset (d) for listening to the received voice.
  • Multipoint connection device 1 which provides a video conference service, accepts calls from pre-reserved terminals, synthesizes video and audio transmitted from each connected terminal, and transmits them to each terminal Has functions
  • the caller finds and calls an interpreter who can translate between the language used by the caller and the language used by the callee.
  • the called interpreter calls the called party based on the request of the calling source, and determines the date and time of the interview.
  • the caller makes a reservation for the TV conference with the multipoint connection device 1.
  • the caller, callee, and interpreter check into the multipoint connection device 1 using the designated login information from the respective videophone terminals when the reserved date and time arrive.
  • a video conference starts between the caller terminal 10, the callee terminal 20, and the interpreter terminal 30, and the image of the caller, the image of the callee, and the image of the interpreter are displayed on the display of each terminal.
  • the synthesized video is displayed on the headset of each terminal, and the voice of the caller, the voice of the callee, and the voice of the interpreter are output to the headset of each terminal.
  • the caller in such a conventional videophone interpreter service using a multipoint connection device, the caller must provide the interpreter in advance because it is necessary to make a reservation for a videoconference with the multipoint connection device before starting a videophone conversation. To find out who they are, contact the callees, and negotiate to set up a video conference Needed.
  • the main object of the invention of the present application is that the caller does not need to find an interpreter in advance and consult with the callee, it is possible to respond even in an emergency, and the interpreter can be interpreted while minimizing the interpreter's restraint time. It is an object of the present invention to provide a videophone interpretation system and a videophone interpretation method that can reduce service costs. Disclosure of the invention
  • a videophone interpreting system wherein the interpreter interprets a videophone conversation between a caller and a callee using different languages, wherein the caller terminal and the callee terminal are used.
  • a function of accepting a call from the caller terminal is provided with an interpreter registration table in which at least the terminal number of the caller is registered, the terminal number of the callee from the caller terminal that received the call, the language type of the caller, and the like.
  • At least a function to transmit voice including voice from interpreter terminal A function of transmitting at least a video including a video from the calling terminal and a voice including at least the voice from the interpreter terminal; and a function of transmitting at least the voice from the calling terminal and the voice from the called terminal to the interpreter terminal. And a function of transmitting voice including voice.
  • the terminal number of the interpreter who can translate between the language of the calling source and the language of the called destination is extracted from the interpreter registration table, and the calling terminal and the called terminal are retrieved. And the interpreter's terminal are automatically connected, and the video and audio communication required for interpreting is performed.Therefore, there is no need for the caller to search for the interpreter in advance and consult with the callee. Can provide telephone interpreting services. Also, since the interpreter can be used anywhere as long as it can be called, the interpreter's restraint time can be minimized and the cost of the interpreter service can be reduced.
  • the videophone interpreting system according to claim 2 is the telephony interpreting system according to claim 1, wherein the communication means transmits an image from the calling terminal to the caller terminal on the main screen and from the interpreter terminal.
  • a function to transmit a video composed of the same video as a sub-screen and a function to transmit a video composed of the video from the calling terminal as a main screen and the video from the interpreter terminal as a sub-screen to the called terminal And a function of transmitting an image obtained by combining the image from the calling terminal and the image from the called terminal to the interpreter terminal.
  • the video telephone interpreting system according to claim 3 is the video telephone interpreting system according to claim 1 or claim 2, wherein the communication means includes a voice from the called terminal and a voice from the interpreter terminal with respect to the calling terminal.
  • the first voice transmission function that synthesizes and transmits the voice of the A second voice transmission function that synthesizes and transmits voice from the translator terminal, and a third voice transmission function that synthesizes and transmits voice from the calling terminal and voice from the called terminal to the interpreter terminal
  • the voice on the unnecessary side either the voice from the translator terminal supplied to the first voice transmission function or the voice from the translator terminal supplied to the second voice transmission function according to a command from the translator terminal
  • the first voice transmission function has a call destination voice suppression function that suppresses the voice from the call destination terminal when the voice from the interpreter terminal is detected
  • the second voice The transmission function has a caller voice suppression function that suppresses the voice from the caller terminal when the voice from the interpreter terminal is detected.
  • the unnecessary voice suppression function suppresses the transmission of the interpreter's voice to the unnecessary side of the caller and the callee based on a command from the interpreter terminal, and suppresses the callee's voice.
  • the suppression includes a case where the level of the audio signal is reduced so that the sound can be heard to some extent, and a case where the sound signal is cut off so that the sound cannot be completely heard.
  • the unnecessary voice suppression function includes a case where the interpreter's voice is switched to either the caller or the callee and transmitted.
  • the videophone interpreting system according to claim 4 is the videophone interpreting system according to claim 1 or claim 2, wherein the communication means includes a voice from the called terminal and a voice from the interpreter terminal with respect to the calling terminal.
  • a first voice transmission function for switching and transmitting voices, a second voice transmission function for switching and transmitting voice from a calling terminal and voice from an interpreter terminal to a called terminal, and an interpreter terminal Has a third voice transmission function that synthesizes and transmits the voice from the calling terminal and the voice from the called terminal, and provides an interpreter that supplies the first voice transmitting function in response to a command from the interpreter terminal.
  • the voice from the interpreter's terminal and the voice from the interpreter's terminal to be supplied to the second voice transmission function. From the called terminal when the voice of It has a function of transmitting voice from the interpreter terminal by blocking the voice, and the second voice transmission function blocks the voice from the calling terminal when the voice from the interpreter terminal is detected. It has the function of transmitting voice from the terminal.
  • the unnecessary voice suppression function suppresses the transmission of the interpreter's voice to the unnecessary side of the caller and the callee based on a command from the interpreter terminal, and the first voice transmission function
  • the voice of the interpreter is detected, the voice of the called party is switched to the voice of the interpreter when the voice of the interpreter is detected, and when the voice of the interpreter is detected by the second voice transmission function, the voice of the interpreter is converted to the interpreter.
  • the unnecessary voice suppression function includes the case where the interpreter's voice is switched to either the caller or the callee and transmitted.
  • the video telephone interpreting system is the video telephone interpreting system according to claim 1 or claim 2, wherein the communication means includes a voice from the called terminal and a voice signal from the interpreter terminal with respect to the calling terminal. Multiplexes the voice of A first voice transmission function for transmitting to the called terminal, a second voice transmission function for performing voice multiplexing synthesis of voice from the calling terminal and voice from the interpreter terminal, and transmitting to the interpreter terminal. It has a third voice transmission function that voice-multiplexes and transmits the voice from the calling terminal and the voice from the called terminal, and supplies it to the first voice transmission function according to instructions from the interpreter terminal. It has an unnecessary voice function to suppress the voice on the unnecessary side, either of the voice from the interpreter and the voice from the interpreter terminal supplied to the second voice transmission function.
  • the unnecessary voice suppression function suppresses the transmission of the interpreter's voice to the unnecessary side of the caller and the callee based on a command from the interpreter terminal, and the first voice transmission function
  • the original voice of the callee and the voice of the interpreter are multiplexed and transmitted to the caller.
  • the second voice transmission function multiplexes the original voice of the caller and the voice of the interpreter and transmits them to the callee. Therefore, the caller and callee can understand the contents of the interpreter by selecting and listening to the interpreter's voice from the received voice, even if the interpreter's speech overlaps, so that a quick and accurate videophone interpreting service can be provided. Can be provided.
  • the unnecessary voice suppression function includes the case where the interpreter's voice is switched to either the caller or the callee and transmitted.
  • the video telephone interpreting system is the video telephone interpreting system according to any one of claims 1 to 5, wherein the communication means includes a video from the calling terminal and a video from the called terminal. And a function to record the video including the video from the interpreter terminal, the voice from the calling terminal, the voice from the called terminal, and the voice including the voice from the interpreter terminal, and the recorded video and voice from the terminal. And a function of reproducing and transmitting in response to the request. As a result, the video and audio of the caller, callee, and interpreter during the interpreting service are recorded, and the recorded contents can be confirmed by a request from the terminal. After the contents of the interpreter service You can check it.
  • the video may be recorded by synthesizing the video transmitted to the calling terminal and the video transmitted to the called terminal. As a result, the video actually received by the caller or callee can be confirmed.
  • the voice may be recorded by multiplexing the voice transmitted to the calling terminal and the voice transmitted to the called terminal.
  • a terminal having a voice demultiplexing function can separate the language of the caller from the language of the callee and check the contents.
  • the sound to be transmitted to the calling terminal and the sound to be transmitted to the called terminal may be separately recorded, and the sound on the side specified by the instruction from the terminal may be reproduced and transmitted.
  • the terminal does not have a voice demultiplexing function, the language of the caller and the language of the callee can be separated and the content can be confirmed.
  • the videophone interpreter system wherein the first telephone interpreter who translates the language of the callee into the language of the caller and the videophone conversation between the caller and the callee using different languages
  • a videophone interpreting system for interpreting by a second interpreter who translates the language into the language of the callee, and a connection means for connecting the caller terminal, the callee terminal, the first interpreter terminal, and the second interpreter terminal And a communication means for performing video and audio communication between the terminals connected by the connection means, wherein the connection means is an interpreter in which at least the language type and the terminal number of the interpreter that the interpreter can interpret are registered.
  • a function that has a registration table and accepts a call from the caller terminal a function that acquires the terminal number of the callee, the language type of the caller, and the language type of the callee from the caller terminal that has received the call, Called destination word A function to retrieve the terminal number of the first interpreter by referring to the interpreter registration table based on the type and the language type of the caller, and a function to call the terminal of the first interpreter based on the terminal number of the retrieved first interpreter Refer to the interpreter registration table based on the acquired caller language type and callee language type.
  • the first interpreter who translates the language of the callee into the language of the caller from the interpreter registration table and the second interpreter who translates the language of the caller into the language of the callee The terminal number of the caller is retrieved, the caller terminal, the callee terminal, the first interpreter terminal, and the second interpreter terminal are automatically connected, and the video and audio communication required for interpreting is performed.
  • the interpreter can respond anywhere, as long as it can be called, the translator service cost can be reduced by minimizing the translator's restraint time.
  • the video telephone interpreting system is the video telephone interpreting system according to claim 7, wherein the communication means is a main screen for displaying an image from the calling terminal to the calling terminal, and a first interpreter.
  • a function to transmit a video composed of video from the terminal as a sub-screen, and a video composed of video from the calling terminal as a main screen and video from the second interpreter terminal as a sub-screen to the called terminal A function of transmitting a video composed of the video from the called terminal and the video from the calling terminal to the first interpreter terminal; On the other hand, it has a function of transmitting an image obtained by synthesizing an image from the calling terminal and an image from the called terminal.
  • the caller can check the expression of the first interpreter and the callee can check the expression of the second interpreter with a picture-in-picture. Since the original expression and the expression of the callee can be checked, accurate interpretation is possible.
  • the videophone interpreting system is the videophone interpreting system according to claim 7 or claim 8, wherein the communication means is a voice from the called terminal and the first interpreter for the calling terminal.
  • a first voice transmission function that synthesizes and transmits voice from the terminal, and a second voice transmission function that synthesizes and transmits the voice from the calling terminal and the voice from the second interpreter terminal to the called terminal
  • a third voice transmission function for transmitting at least the voice from the called terminal to the first interpreter terminal, and a fourth voice transmission function for transmitting at least the voice from the calling terminal to the second interpreter terminal
  • the first voice transmission function has a call destination voice suppression function that suppresses the voice from the call destination terminal when the voice from the first interpreter terminal is detected
  • the second voice transmission function has the second voice transmission function. 2 When the voice from the interpreter terminal is detected, Those having a calling sound oppression function suppresses sound from end.
  • the transmission of the original language voice of the call destination to the caller is suppressed, and the voice of the second interpreter is voiced by the caller voice suppression function.
  • the transmission of the original language voice of the caller to the callee is suppressed when a call is detected, so that the caller and callee can understand the contents of the interpreter even if they overlap with the interpreter's remarks, so that quick and accurate TV Can provide telephone interpreting services.
  • the video telephone interpreting system according to claim 10 is the video telephone interpreting system according to claim 7 or claim 8, wherein the communication means communicates a voice from the called terminal and the first interpreter to the calling terminal.
  • a first voice transmission function that switches and transmits voice from the terminal of the calling party
  • a second voice transmission function that switches and transmits voice from the calling terminal and voice from the second interpreter terminal to the called terminal.
  • the first voice transmission function has a function of interrupting the voice from the called terminal and transmitting the voice from the first interpreter terminal when detecting the voice from the first interpreter terminal
  • the second voice transmission function is a voice from the second interpreter terminal.
  • Ru der has a function of transmitting the voice from the second interpreter terminal by blocking sound from the calling terminal upon detection.
  • the voice of the first interpreter when the voice of the first interpreter is detected in the first voice transmission function, the voice of the called party is switched to the voice of the first interpreter, and the voice of the second interpreter is switched in the second voice transmission function.
  • the voice of the callee is switched from the original language voice to the voice of the second interpreter, so that the caller and the callee can understand the contents of the interpreter even if they overlap with each interpreter's speech, and it is quick and accurate We can provide videophone interpreting services.
  • the original speech voice of the call destination and the voice of the first interpreter are multiplexed and transmitted to the caller, and the original voice speech of the caller and the second speech are transmitted in the second voice transmission function. Since the voice of the interpreter is multiplexed and transmitted to the callee, the caller and the callee can select and listen to the voice of each interpreter from the received voice even if it overlaps with the speech of each interpreter. In this way, the contents of the interpreter can be grasped, and a prompt and accurate videophone interpreter service can be provided.
  • the videophone interpreter system according to claim 12 is a videophone interpreter according to any one of claims 7 to 11.
  • the communication means is an image including an image from the calling terminal, an image from the called terminal, an image including the image from the first interpreter terminal, and an image from the second interpreter terminal, and a sound from the calling terminal.
  • Voice and voice from the called terminal (1) A function to record the sound from the interpreter terminal and the sound including the sound from the second interpreter terminal, and a function to reproduce and transmit the recorded video and sound upon request from the terminal.
  • the video and audio of the caller and callee, the first interpreter and the second interpreter during the interpreting service are recorded, and the recorded contents can be checked at the request of the terminal, so that the contents can be understood on the spot. You can double-check that nothing was done and check the contents of the interpreter service later.
  • the video may be recorded by synthesizing the video transmitted to the calling terminal and the video transmitted to the called terminal. As a result, the video actually received by the caller or callee can be confirmed.
  • the voice may be recorded by multiplexing the voice transmitted to the calling terminal and the voice transmitted to the called terminal. This allows On terminals with a voice demultiplexing function, the language of the caller and the language of the callee can be separated and the content can be confirmed.
  • the sound to be transmitted to the calling terminal and the sound to be transmitted to the called terminal may be separately recorded, and the sound on the side specified by the instruction from the terminal may be reproduced and transmitted.
  • the terminal does not have a voice demultiplexing function, the language of the caller and the language of the callee can be separated and the content can be confirmed.
  • the video telephone interpreting system is the video telephone interpreting system according to any one of claims 1 to 12, wherein the selection of an interpreter is selected for the interpreter registration table.
  • the information is registered, and the connection means acquires the interpreter's selection condition from the calling terminal and extracts the terminal number of the corresponding interpreter from the acquired interpreter's selection condition by referring to the interpreter registration table. It has a function.
  • the selection information for selecting an interpreter includes information on gender, age, place of residence, specialty, and qualifications.
  • the interpreter registration table By registering the interpreter's interpreter level for each language in the interpreter registration table, the user can select the interpreter of the desired level for the translation between the target languages. Because you can register many languages that you can handle, you can select a flexible and efficient interpreter.
  • the hearing interpreter and speaking level are registered separately in the interpreter registration table for each language to be registered in the interpreter registration table.
  • the most suitable person and the most suitable person for the second interpreter can be individually selected, and more flexible and efficient translators can be selected.
  • the videophone interpreter system described in claim 14 is the same as claim 1 or claim 2.
  • Item 13 The videophone interpreter system according to any one of Items 13 to 13, wherein a reception flag indicating whether or not the interpreter can accept is registered in the interpreter registration table, and the connection means is a reception flag in the interpreter registration table. It has a function to retrieve the terminal number of the interpreter that can be accepted by referring to.
  • a flexible and efficient videophone interpretation system can be configured.
  • a video telephone interpreting system is the video telephone interpreting system according to any one of claims 1 to 14, wherein the connection means generates a text message to be transmitted to each terminal. It has a function, and the communication means has a function of transmitting a generated text message to each terminal.
  • a video telephone interpreting system is the video telephone interpreting system according to any one of claims 1 to 15, wherein the connection means transmits a voice message transmitted to each terminal.
  • the communication means has a function of transmitting the generated voice message to each terminal.
  • a voice message can be sent to the callee terminal, the callee terminal, and the interpreter terminal. Even if any of the persons are visually impaired, they can provide videophone interpretation services.
  • a videophone interpreting method is the videophone interpreting system according to any one of claims 1 to 16, wherein the connection means is It has a function of registering terms used during a dialogue in response to a command from a terminal, and a function of extracting a term registered in accordance with a command from each terminal to generate a telop. It has a function to send out telops.
  • telops can be displayed on the screen of each terminal, and a faster and more accurate videophone interpreting service can be provided.
  • the videophone interpreting method according to claim 18 is the videophone interpreting system according to any one of claims 1 to 17, wherein the interpreter registration table registers billing information of the interpreter.
  • the connection means measures the time during which the calling terminal or the called terminal is receiving the interpreting service, and calculates the usage fee from the measured time and the billing information registered in the interpreter registration table. Having the function of performing
  • the interpreter registration table may register the interpreter level for each language of the interpreter, and may obtain the billing information using a separately provided billing table that defines the relationship between the interpreter level and the hourly unit price. As a result, it is possible to charge an appropriate usage fee according to the level of the interpreter.
  • the videophone interpreting method according to claim 19 is a videophone interpreting method in which an interpreter interprets a videophone conversation between a caller and a callee who use different languages. Accepting a call from the calling terminal by using an interpreter registration table in which at least possible language types and interpreter terminal numbers are registered; and calling terminal numbers from the calling terminal that accepted the call.
  • the terminal number of the interpreter who can translate between the language of the calling source and the language of the called destination is extracted from the interpreter registration table, and the calling terminal and the called terminal are retrieved. And the interpreter's terminal are automatically connected, and video and audio communications required for interpreting are performed.Therefore, there is no need for the caller to search for an interpreter in advance and consult with the callee, and a videophone interpreter capable of emergency response We can provide services. Also, since the interpreter can respond anywhere, as long as it can be called, the translator service cost can be reduced by minimizing the translator's restraint time.
  • the videophone interpreting method according to claim 20 is characterized in that a videophone conversation between a caller and a callee using different languages is called by a first interpreter who translates the language of the callee into the language of the caller. This is a videophone interpreting method for interpreting by the second interpreter who translates the original language into the language of the called party.Interpreter registration where at least the language type that the interpreter can interpret and the terminal number of the interpreter are registered.
  • the first interpreter who translates the language of the callee into the language of the caller from the interpreter registration table and the second interpreter who translates the language of the caller into the language of the callee The terminal number of the caller is retrieved, the caller terminal, the callee terminal, the first interpreter terminal, and the second interpreter terminal are automatically connected, and the video and audio communication required for interpreting is performed.
  • the interpreter can respond anywhere, as long as it can be called, the translator service cost can be reduced by minimizing the translator's restraint time.
  • FIG. 1 is a system configuration diagram of a videophone interpreter according to a first embodiment of the present invention.
  • FIG. 2 is a diagram showing an example of an image displayed on each terminal screen in a videophone interpreter according to the first embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of an interpreter registration table in the videophone interpreter system according to the first embodiment of the present invention.
  • FIG. 4 is a processing flowchart of connection processing of the control device in the videophone interpreter according to the first embodiment of the present invention.
  • FIG. 5 is a diagram showing an example of a screen for prompting input of a language type of a caller and a callee.
  • FIG. 6 is a diagram showing an example of a screen for prompting the input of an interpreter selection condition.
  • FIG. 7 is a diagram showing an example of a screen for prompting the input of the terminal number of the call destination.
  • FIG. 8 is a system configuration diagram of a videophone interpreter according to the second embodiment of the present invention.
  • FIG. 9 is a diagram showing an example of a connection destination table.
  • FIG. 10 is a processing flowchart of a connection process of the control device in the videophone interpretation system according to the second embodiment of the present invention.
  • FIG. 11 is a system configuration diagram of a videophone interpretation system according to a third embodiment of the present invention.
  • FIG. 12 is a diagram showing an example of an image displayed on each terminal screen in the videophone interpretation system according to the third embodiment of the present invention.
  • FIG. 13 is a diagram showing an example of an interpreter registration table in the videophone interpreter system according to the third embodiment of the present invention.
  • FIG. 14 shows a videophone communication according to the third embodiment of the present invention.
  • FIG. 7 is a processing flowchart of connection processing of the control device in the system.
  • FIG. 15 is a block diagram showing an example of a voice communication function in the videophone interpretation system according to the first embodiment of the present invention.
  • FIG. 16 is a block diagram showing another example of the voice communication function in the videophone interpretation system according to the first embodiment of the present invention.
  • FIG. 17 is a block diagram showing an example of a voice communication function in the videophone interpreter system according to the third embodiment of the present invention.
  • FIG. 18 is a block diagram showing another example of the voice communication function in the videophone interpretation system according to the third embodiment of the present invention.
  • FIG. 19 is a block diagram showing an example of a recording / reproducing function in the videophone interpretation system according to the first embodiment of the present invention.
  • FIG. 20 is a block diagram showing an example of a recording / reproducing function in the videophone interpreting system according to the third embodiment of the present invention.
  • FIG. 21 is a diagram showing an example of a video displayed on each terminal screen by the recording / reproducing function.
  • FIG. 22 is a system configuration diagram in the case of performing videophone interpretation using a videoconference service using a conventional multipoint connection device.
  • FIG. 1 shows a system configuration diagram of the videophone interpretation system according to the first embodiment of the present invention.
  • This embodiment shows an example of a system configuration in a case where each terminal used by a caller, a callee, and an interpreter is a telephone type videophone terminal connected to a public telephone line.
  • reference numeral 100 denotes a videophone interpreter system installed at an interpreting center that provides an interpreting service.
  • It provides a videophone interpreter service in which an interpreter interprets videophone conversations via videophone.
  • the caller terminal 10, the callee terminal 20, and the interpreter terminal 30 each consist of a TV camera (a) that images each user, a display screen (b) that displays the received video, number input and information. It has a dial pad (c) for input and a headset (d) for inputting and outputting audio. It should be noted that the input and output of the voice need not necessarily be a headset, but may be a handset used for ordinary telephones.
  • Examples of the video telephone terminal connected to such a public line include an ISDN video telephone terminal conforming to H.320 of the ITU-T recommendation, but the invention of the present application is not limited to this and uses a unique protocol.
  • a videophone terminal may be used.
  • the public telephone line includes a wireless telephone line
  • the videophone terminal may be a mobile phone or a mobile terminal having a videophone function.
  • the videophone interpreter system 100 includes a caller terminal line interface (hereinafter, the interface is abbreviated as IZF) 120 for connecting to the caller terminal and a caller terminal for connecting to the caller terminal. Equipped with a call destination terminal line I ZF 140 and an interpreter terminal line I ZF 160 for connecting to the interpreter terminal, each of which multiplexes and separates video signals, audio signals, and data signals. Separators 122, 142, 162, video codecs 124, 144, 164 for compressing and expanding video signals, and audio codecs 126, 146, 166 for compressing and expanding audio signals And are connected.
  • each line I / F, each multiplexer / demultiplexer, each video codec, and each audio codec correspond to the call control space corresponding to the protocol used in each terminal. Streaming control and compression / expansion of video and audio signals are performed.
  • a video synthesizing device 128 for synthesizing the output of the telop memory 132 is connected, and the video input of the video codec 144 for the called terminal is connected to the video output from the video codec 124 for the calling terminal.
  • a video synthesizing device 148 for synthesizing the video output from the video codec 164 for the interpreter terminal and the output of the telop memory 156 for the called terminal is connected.
  • the video input of the video codec for interpreter terminals 164 includes video output from the video codec for caller terminal 124 and video output from the video codec for callee terminal 144.
  • a video synthesizing device 168 for synthesizing with the output of the interpreter terminal telop memory 172 is connected.
  • the display of the interpreter's image can be omitted at the caller terminal and the callee's terminal.However, displaying the interpreter's image makes it easier to interpret the interpreted voice. It is preferable to be able to synthesize
  • the display of the image of the caller and the callee can be omitted, but displaying these images makes it easier to interpret the voice when interpreting. It is preferable to be able to display the video.
  • FIG. 2 shows an example of an image displayed on each terminal screen during a TV conversation in the videophone interpreter system 100.
  • FIG. 2 (a) shows the screen of the caller terminal. The image of the interpreter is combined with the image of the callee by the image synthesizer 128. Here, the image of the call destination is displayed as the main screen, and the image of the interpreter is displayed as a sub-screen. The image of the caller may be displayed as a main screen, the image of the callee may be displayed as a child screen, and the two may be displayed equally.
  • FIG. 2 (b) is a screen of the called terminal, in which a video obtained by combining the video of the interpreter with the video of the caller is displayed by the video synthesizing device 148.
  • the caller's image is displayed as a main screen and the interpreter's image is displayed as a sub-screen in a picture-in-picture display. Or both may be displayed equally.
  • FIG. 2 (c) shows the screen of the interpreter terminal, and the image combining device 168 displays an image obtained by combining the image of the caller with the image of the caller.
  • the voice input of the voice codec for the caller terminal 126 is composed of the voice output from the voice codec for the call terminal 146 and the voice output from the voice codec 166 for the interpreter terminal.
  • the synthesizer 13 0 is connected, and the voice input of the voice codec 14 6 for the called terminal includes voice output from the voice codec 12 6 for the calling terminal and voice from the voice codec 16 6 for the interpreter terminal.
  • a speech synthesizer 150 for synthesizing with the output is connected.
  • the voice input of the voice codec for interpreter terminal 166 includes the voice output from voice codec for caller terminal 126 and the voice output from voice codec for callee terminal 146.
  • a speech synthesizer 170 for synthesis is connected.
  • the voice output from the interpreter terminal voice codec 1666 is input to the switch 1774, and the interpreter changes the language of the call destination to the language of the caller based on a command from the interpreter terminal.
  • the interpreter When the interpreter translates the language of the caller into the language of the callee, the speech is supplied to the speech synthesizer for the caller terminal 150. Is done.
  • the interpreter's voice is transmitted only to the caller or the callee, whichever is necessary, so that the caller's or callee's voice can be disturbed by the unnecessary interpreter's voice. Can be prevented, and you can talk smoothly.
  • the voice synthesizer 130 for the caller terminal suppresses the voice level from the callee terminal when the voice from the interpreter terminal is detected, or the voice from the interpreter terminal when the voice from the callee terminal is detected.
  • the voice synthesizer for the called terminal 150 can suppress the voice level from the calling terminal when detecting the voice from the interpreter terminal, or can interpret the voice from the called terminal. It has a function to switch to audio from the terminal. As a result, it is possible to prevent the interpreter's voice from being heard by the interpreter at the caller or call destination, which makes it difficult to listen to the voice of the other party, so that the interpreter can interpret the utterance of the speaker at the same time. Quick and accurate interpretation is possible.
  • FIG. 15 shows a specific embodiment of the function of switching the translator destination of the interpreter voice in the switch 17 and the function of suppressing the voice of the call destination or the voice of the caller in the voice synthesizers 130 and 150.
  • the voice output from the translator terminal voice codec 16 6 is transmitted via the switch 17 4 to the caller terminal voice signal adder 190 and the callee terminal voice signal adder 1.
  • the interpreter's voice is supplied to either the caller or the callee by a signal from the PB detector 175.
  • the PB detector 175 uses a voice signal from the interpreter's terminal to signal that a predetermined caller selection number or destination selection number has been pressed on the terminal's dial pad by a data signal or tone.
  • the interpreter Detects with a signal and switches switch 174 to the specified side. Therefore, when interpreting, the interpreter specifies from the dial pad whether the voice is for the caller or the callee, and speaks. As a result, the interpreter's voice is not transmitted to the caller and the callee who do not need to listen to the interpreter's voice.
  • the voice output from the voice codec 146 for the called terminal is connected to the voice signal adder 190 for the calling terminal via the attenuator 191.
  • the voice output from the voice codec for the caller terminal 126 is connected to the voice signal adder 193 for the callee terminal via the attenuator 194, and the signal detector 195
  • the signal detectors 192 and 1995 are set to appropriate detection levels to prevent the other party's voice from being erroneously attenuated due to noise or the like.
  • the audio signal adder 190 is used to ensure that the caller or callee can hear the interpreter's voice immediately after the translator's voice is detected by the signal detectors 192 and 1995. , 1993, an appropriate signal delay may be provided for the voice input of the interpreter.
  • the attenuators 191, 194 attenuate the other party's raw voice so that the raw voice can be heard to some extent. However, it may be completely shut off by a switch.
  • FIG. 16 shows an embodiment in which the voice of the other party is interrupted when the voice of the interpreter is transmitted, and only the voice of the interpreter is transmitted.
  • switches 197 and 198 are used in place of the above-mentioned audio signal adders 195 and 193, and the interpreter's voice is detected by the signal detectors 192 and 195. Then, switches 197 and 198 are switched from the voice of the other party to the voice of the interpreter.
  • Other configurations are the same as in FIG.
  • switches 1997 and 1997 are used to ensure that the caller or receiver can hear the interpreter's voice immediately after the interpreter's voice is detected by the signal detectors 192 and 1995.
  • An appropriate signal delay may be provided for the 198 interpreter's voice input.
  • the audio signal adders 190 and 193 are compatible with the interpreter's voice.
  • voice multiplexing may be performed on the two signals. For example, if the terminal supports stereo sound, the signal of the other party is stereo-synthesized as the left signal and the sound of the interpreter is transmitted as the right signal, and the terminal selects the sound required by the receiver. In this case, there is no need to provide an attenuator to attenuate the other party's voice in the videophone interpreter system, and if the receiver adjusts the volume balance between the left and right sides of the headset according to the situation, and listens. Good.
  • the interpreter's voice is described as switching between transmission to the caller and transmission to the callee by the switch 174.However, the voice of the interpreter is converted to the voice signal adder 190 (or Each of the switch 197) and the audio signal adder 193 (or the switch 198) is supplied through an attenuator, and the PB detector 175 attenuates the audio signal to an unnecessary side. It may be. As described above, since the interpreter's voice is transmitted to the speaker to some extent by using the attenuator, the speaker can speak while confirming that his / her voice is interpreted.
  • the videophone interpreter system 100 has an interpreter registration table 112 for registering the terminal number of the interpreter terminal used by the interpreter, and each line I 120, 140, 160, Each multiplexing / separating device 1 2 2, 1 4 2, 1 6 2, Each video synthesizing device 1 2, 8, 1 48, 1 68, Each voice synthesizing device 1 3 0, 1 5 0, 1 7 0, Each It has a control device 110 connected to each of the telop memories 13 2, 15 2, and 17 2, a function to accept calls from the caller terminal, a language type of the caller, and a language of the callee.
  • a function for acquiring the type of interpreter a function for acquiring the conditions for selecting the interpreter, and a function for extracting the terminal number of the interpreter by referring to the interpreter registration table 112 based on the acquired language type and the selection conditions.
  • a function to call the interpreter terminal using the extracted terminal number a function to obtain the terminal number of the call destination, and a function to call the interpreter terminal according to the obtained terminal number. Call the end Provides a function to connect the caller terminal, the callee terminal, and the interpreter terminal.
  • each video synthesizing device 128, 148, 168 and each voice synthesizing device 130, 150, 170 is controlled by the control device 110. It has a function to change the video display method or audio output method by the user pressing a predetermined number button on the dial pad from the terminal. This is because the demultiplex signal or tone signal detects that the dial pad number button has been pressed at each terminal at each demultiplexing / demultiplexing device 122, 142, 162, and controls this. It can be realized by transmitting to the device. This allows each terminal to be used flexibly, such as selecting and displaying only the necessary video and audio according to the purpose, switching between the main screen and the sub-screen, and changing the position of the sub-screen.
  • each video synthesizing device 128, 148, 168 includes the input terminal telop memory 1 32, the call destination terminal telop memory 1 52, and the interpreter terminal telop memory 1, respectively. 72 is connected, and the contents of each of the telop memories 13 2, 15 2, and 17 2 can be set from the control device 110.
  • messages for each terminal are set in each telop memory 13 2, 15 2, 17 2, and each video compositing device 1 2 8, 1 4
  • the necessary message is transmitted to each terminal and the 3 Inter-call can be established.
  • the terms are made to correspond in advance to the dial pad numbers of each terminal, and the term registration table 111 of the control device 110 is used. 3 to register that each terminal's dial pad was pressed during a videophone conversation • Separation devices 1 2 2, 1 4 2, 1 6 2 Detect by data signal or tone signal, extract the term corresponding to the number of the dial pad pressed from the term registration table 1 13 The term can be displayed on each terminal by creating it and setting it in each telop memory. In this way, difficult-to-explain terms and difficult-to-pronounce words can be conveyed to the other party by character telop, so that a faster and more accurate videophone interpretation service can be provided.
  • connection processing by the control device 110 for setting a videophone conversation via an interpreter will be described.
  • the translator registration table 1 12 of the controller 110 registers the translator selection information and the terminal number of the terminal used by each interpreter from an appropriate terminal (not shown). .
  • Fig. 3 shows an example of registration items registered in the interpreter registration table 1 1 2.
  • Interpreter selection information is information for the user to select the desired interpreter, and registers gender, age, available languages, and residence specialty fields. Regarding the languages that can be supported, interpreter levels are registered for each language so that users can select the desired level of interpreter among the target languages.
  • the level of interpreter is 1 for upper level, 2 for intermediate level, and 3 for beginner level.
  • the place of residence it is assumed that the user wants a person who has geographical knowledge about a specific area.
  • the area can be specified by postal code.
  • the terminal number since the target is a videophone terminal connected to a public telephone line, the telephone number of the terminal will be registered.
  • the interpreter registration table 1 12 includes a reception flag indicating whether or not the registered interpreter can accept an interpreter.
  • the reception flag can be set or reset by calling and inputting commands using the dial pad.
  • the registered interpreter can eliminate unnecessary calls by setting the reception flag in the interpreter registration table only when the interpreter can accept the interpreter, and the user can quickly find a translator who can respond. Can be selected.
  • FIG. 4 shows a processing flow of the connection processing by the control device 110.
  • the TV telephone interpreter system 100 accepts an application for the interpretation service by calling the caller terminal to the telephone number of the line I / F for the caller terminal, calls the interpreter terminal and the called terminal, and interprets the videophone.
  • Establish connection for service As shown in the figure, first, it is detected that there is a call on the caller terminal line IZF 120 (S100). When the call is detected, a screen for prompting the caller terminal to input the language type of the caller is displayed (S102). This is performed, for example, by setting a message as shown in FIG. 5 (a) in the telop 13 2 for the caller terminal.
  • the language type of the caller input by the caller is obtained (S104).
  • subsequent messages to the caller terminal and the interpreter terminal are executed according to the acquired caller language type.
  • a screen prompting the caller terminal to input the language type of the callee is displayed (S106). This is performed, for example, by setting a message as shown in FIG. 5 (b) in the telop 13 for the calling terminal.
  • the language type of the callee input by the caller is acquired (S108). As a result, the message to the called terminal is performed according to the acquired language type of the called destination.
  • a screen for prompting the caller terminal to enter the conditions for selecting an interpreter is displayed (S110). This is performed, for example, by setting a message as shown in FIG. 6 (a) in the telops 13 and 2 for the caller terminal.
  • the interpreter selection conditions input by the caller are acquired (S112).
  • the conditions for selecting an interpreter input by the caller are gender, age, region, specialty field, and interpreter level.
  • the area is specified using a zip code, and interpreters are selected in order from the one whose residence is closest to the specified area. If there is no need to specify any of the selection items, you can select any question.
  • the translator has the specified interpreter level in the language of the caller and the language of the callee, and the gender, age, place of residence, and specialty field meet the selection conditions obtained. Then, the interpreter with the reception flag set is extracted, the interpreter candidate list is displayed on the calling terminal, and the input of the selection number of the desired interpreter is prompted (S114). This is performed, for example, by setting a message and an interpreter candidate list as shown in FIG. At this time, the time unit price (not shown) of the interpreter registered in the interpreter registration table 112 is taken out and displayed as a fee. As a result, the user can select an appropriate interpreter in consideration of the cost required for the interpreting service.
  • the interpreter's hourly unit price is calculated separately from the billing table that specifies the relationship between the interpreter's interpreter level and hourly unit price. It is also possible to determine the level by referring to the billing table based on the interpreter level of the selected interpreter. With respect to such an interpreter candidate list, the selection number input by the caller is acquired (S116), and the terminal number of the selected interpreter is retrieved from the interpreter registration table 112 and called. (S118). At this time, the personal information of the caller, the language type of the caller and the callee, the conditions for selecting the interpreter, etc. are notified to the interpreter terminal using the interpreter terminal telop 1 72, and whether or not to receive an interpreter May be confirmed. For the personal information of the caller, for example, the interpreter service may be a member system and member information registered in advance may be used.
  • a screen for prompting the caller terminal to input the terminal number of the callee is displayed (S122). This is done, for example, by setting a message as shown in FIG. 7 in the telop 13 2 for the caller terminal.
  • the terminal number of the called party input by the calling source is extracted and called (S124).
  • the personal information of the caller, the language type of the caller and the callee, the conditions for selecting the interpreter, etc. are notified to the callee terminal using the caller terminal telop 152, and the call is received. It may be confirmed whether or not there is an error in the setting conditions or the like.
  • the caller if there is no response from the selected interpreter terminal, the caller is simply notified and disconnected, but the interpreter reservation table is provided and the caller terminal number and The terminal number of the call destination may be registered, and when there is a response from the selected interpreter, the call source and the call destination may be notified to set the TV telephone interpreting service.
  • the language type of the caller and the language type of the callee are input to the caller to select an interpreter.
  • the language type of the caller or callee may be acquired by defining the telephone number of the interpreting center for each of the language combinations.
  • the caller is asked to input the conditions for selecting the interpreter for selecting the interpreter, but first inquires whether to specify the conditions for selecting the interpreter, but does not specify it. When this is selected, an interpreter may be selected based only on the language type that has been input.
  • the caller may automatically call an interpreter specialized in emergency response by first pressing a specific dial number.
  • the videophone interpreter system 100 has been described as being configured by the line IZF, the multiplex / separation measure, the video codec, the audio codec, the video synthesis device, the voice synthesis device, the control device, etc. Is not necessarily configured as an individual H / W, and may be configured to realize the function of each device by software processing using a computer.
  • the interpreter terminal 30 is a caller terminal. 1 0 or called terminal 2
  • the interpreting center is outside the interpreting center and is called from the interpreting center via a public telephone line to provide the interpreting service, but the present invention is not limited to this. It goes without saying that some or all of the client terminals may be provided in the interpreting center and the interpreting center may provide the interpreting service.
  • the interpreter can participate in the interpreting service anywhere as long as he / she has a terminal that can be connected to the public telephone line. It can be used effectively to provide interpreting services. By doing so, it will be possible to efficiently and stably operate interpreting services that are difficult to secure personnel.
  • the video signal of the own terminal is not input to the video synthesizing devices 1, 1, 1, and 1, the video signal of the own terminal is also input and synthesized for video confirmation.
  • a display function may be provided.
  • the video synthesizing apparatus 128, 148, and 168 synthesize video for each terminal.
  • the images of the terminals may be combined at a time and transmitted to each terminal.
  • the image of the caller, the image of the callee, and the image of the interpreter may be displayed on a 4-split screen.
  • the telop memories 13 2, 15 2, and 17 2 are provided, and these outputs are added to the corresponding video synthesizing devices 1 28, 1 48, and 1 68.
  • a telop memory for storing voice information is provided, and these outputs are applied to the corresponding voice synthesizers 130, 150, 170 to send voice messages to each terminal.
  • An output function may be provided. As a result, it is possible to provide videophone interpreting services even if the caller's destination or interpreter is visually impaired. Monkey
  • FIG. 8 shows a system configuration diagram of the videophone interpretation system according to the second embodiment of the present invention.
  • each terminal used by the caller, callee, and interpreter is an IP (Internet Protocol) type videophone terminal connected to the Internet and having a Web browser function.
  • IP Internet Protocol
  • reference numeral 200 denotes a videophone interpreter system installed at an interpreting center that provides an interpreting service.
  • the caller terminal 60 used by the caller and the callee used by the callee via the Internet 80.
  • the terminal 70 is connected to one of the interpreter terminals 2 3 1, 2 3 2,... Used by the interpreter, and a videophone interpreting service is provided to the caller and callee.
  • the caller terminal 60, the callee terminal 70, the interpreter terminal 231, 232,... are each a personal computer having a video input IZF function, a voice input / output I / F function, and a network connection function.
  • IP videophone software and a web browser were installed, a dedicated videophone terminal may be used.
  • Examples of the video telephone terminal connected to the Internet include, for example, an IP video telephone terminal conforming to ITU-T recommendation H.323, etc., but the present invention is not limited to this, and its own protocol is not limited to this.
  • the videophone terminal used may be used.
  • the Internet includes the wireless LAN type
  • the terminal may be a mobile phone having a videophone function or a mobile terminal that provides a Web access function.
  • the videophone interpretation system 200 has a connection destination table 222 for setting terminal addresses of a caller terminal to be connected, a call destination terminal, and an interpreter terminal, and terminals registered in the connection destination table 222.
  • a communication server 220 that has a function of connecting the terminals and synthesizing the video and audio received from each terminal and transmitting them to each terminal, and as described above, interpreter selection information, terminal address, and reception flags
  • Router 250 for communication and communication server 250 And a plurality of interpreter terminals 231, 232, ..., 23N connected by a network.
  • FIG. 9 shows an example of the connection destination table 222.
  • the connection destination table 2 2 2 registers the terminal address of the caller terminal, the terminal address of the callee terminal, and the terminal address of the interpreter terminal as a set.
  • One interpreter service is set up.
  • the connection destination table 222 can register a plurality of such terminal address sets according to the processing capacity of the communication server 220, thereby providing a plurality of interpreting services at the same time. Is done.
  • the terminal address registered in the connection destination table 222 is an address on the Internet, and therefore, an IP address is generally used, but is not limited to this.
  • the terminal address is assigned by a directory server. The name may be used.
  • the communication server 220 performs packet communication according to a predetermined protocol to the caller terminal, the callee terminal, and the interpreter terminal set in the connection destination table 222, and Multiplexing / demultiplexing equipment in interpreting system 100, 122, 144, 162, video codec 124, 144, 164, and audio codec 126, 146, 166 6 and the video synthesizing devices 128, 148, 168 and the voice synthesizing devices 130, 150, 170 are provided with the same functions by software processing.
  • predetermined video and audio communication is performed between the calling terminal, the called terminal, and the interpreter terminal in the same manner as in the videophone interpretation system 100 described above, and the communication between the calling source and the called source is performed.
  • the terms registered in the term registration table 113 are stored in the term registration table 113 by using the controller 110 and the text memories 132, 152, and 172. It had the function of taking out based on a command from the terminal during a videophone conversation and displaying it as a character telop on the terminal.
  • the same function is provided by software processing of the communication server 220. It may be.
  • the term specified by each terminal by the web server 210 may be displayed as a pop-up message to other terminals.
  • a telop memory is provided in the communication server 220 and each terminal By writing the term specified from the telop memory via the web server 210 into the telop memory, a character telop may be displayed on each terminal.
  • connection processing for connecting the caller terminal, the callee terminal, and the interpreter terminal was realized by the control device 110.
  • the connection process is performed by the Web server 210.
  • FIG. 10 shows a processing flow of the connection processing by the Web server 210.
  • the interpreter service reception processing starts when the caller terminal accesses the web center 210 of the interpreting center using a web browser and clicks on it. Is done.
  • the web server 210 first obtains the terminal address of the caller (S200), and sets it in the connection destination table 222 (S202).
  • a screen prompting for input of the language type of the caller similar to that shown in Fig. 5 (a) is delivered to the caller terminal (S204), and the language of the caller input by the caller in response to the screen is transmitted.
  • the type is acquired (S206).
  • a screen prompting the user to input the language type of the call destination similar to that shown in FIG. 5 (b) is delivered to the caller terminal (S208), and the language type of the call destination input by the caller is displayed.
  • a screen prompting the input of the interpreter selection conditions similar to that in Fig. 6 (a) is delivered to the calling terminal (S212), and the interpreter selection conditions entered by the caller are displayed in response to the screen.
  • the interpreter whose reception flag is set is selected, and the above-mentioned translator is set as the calling terminal.
  • the relevant person list similar to that shown in Fig. 6 (b) is distributed to prompt the user to enter the selection number of the desired interpreter (S216).
  • the selection number of the interpreter input by the caller is obtained, and the terminal address of the selected interpreter is obtained from the interpreter registration table 212 (S218).
  • a call screen is delivered to the interpreter's terminal based on the obtained interpreter's terminal address (S220), and if there is a response to accept the call (S222), the interpreter's The terminal address is set in the connection destination table 222 (S224).
  • a screen prompting the input of the terminal address of the call destination similar to that shown in FIG. 7 is delivered to the caller terminal (S226), and the terminal address of the callee input by the caller is acquired in response to this screen. Yes (S228).
  • Acquired callee terminal The call screen is delivered to the called terminal based on the dress (S230), and when a response to accept the call is received (S232), the terminal address of the called terminal is set to the connection destination. Table 2 222 is set (S2 3 4). As a result, the videophone interpreting service is started (S236).
  • the caller if there is no answer from the selected interpreter terminal to accept the call, it is explained that the caller is simply notified and the process is terminated.
  • the original terminal address and the terminal address of the call destination may be registered, and when there is a response from the selected interpreter, the call source and the call destination may be notified to set the videophone interpretation service. .
  • the interpreter terminal is described as being in the videophone interpreter system 200 of the interpreting center.
  • the present invention is not limited to this. It may be outside the interpreting center and connected via the Internet, and can be handled by the same processing.
  • the videophone terminal used by the caller, callee or interpreter is a telephone type videophone terminal connected to a public telephone line, and an IP type television connected to the Internet.
  • the configuration of the TV telephone interpreter system was explained separately for the case of a telephone terminal. It is possible to communicate with an IP type videophone terminal by providing a gateway that performs protocol conversion, and a videophone interpreter system that supports one of the protocols is installed and another protocol is used via the gateway. It may be made to correspond to the videophone terminal to be used.
  • this videophone interpreter system can provide the interpreter service and provide the interpreter service anywhere as long as it has a public telephone line or a terminal that can be connected to the Internet.
  • Interpreters do not necessarily need to visit the interpreting center, they can participate at home or from a facility or base with a videophone terminal, and can provide translation services using mobile phones or mobile terminals with videophone functions. It is possible.
  • the interpreter does not need to gather the interpreters at the interpreter center from the perspective of the interpreter, so that the interpreter can be operated more efficiently in terms of time and cost.
  • one interpreter both interprets the language of the callee into the language of the caller and interprets the language of the caller into the language of the callee. It is also possible to separately set the first interpreter that translates the language into the language of the caller and the second interpreter that translates the language of the caller into the language of the callee, and perform simultaneous two-way interpretation. .
  • FIG. 11 shows a system configuration example of a videophone interpretation system according to a third embodiment of the present invention which provides a two-way simultaneous interpretation service.
  • a configuration example in which a telephone-type videophone is used is shown, but the same configuration can be made using an IP-phone-type videophone as described above.
  • reference numeral 300 denotes a videophone interpretation system installed at an interpretation center that provides a two-way simultaneous interpretation service.
  • the videophone terminal used by the caller hereinafter called the caller terminal
  • the videophone terminal used by the callee hereinafter called the callee terminal
  • the first interpreter Connect the videophone terminal (hereinafter referred to as the first interpreter terminal) 3 2 to be used and the videophone terminal (hereinafter referred to as the second interpreter terminal) 34 used by the second interpreter.
  • This service provides a TV telephone interpreting service in which a first interpreter and a second interpreter perform simultaneous two-way interpretation of video telephone conversations between call destinations via a video phone.
  • the videophone interpreter system 300 is used for the caller terminal line IZF320, the callee terminal line I / F340, the first interpreter terminal line I / F360, and the second interpreter. It has a line I / F 380, a multiplexer / demultiplexer 32 2, 34 2, 36 2, 38 2, a video codec 3 24, 344, 3 64, 3 84, and an audio core.
  • the decks 32, 36, 36, 36 6, and 38 6 are connected.
  • each line IZF, each multiplexing / demultiplexing device, each video codec, and each audio codec are used for call control and streaming control, video signal and audio according to the protocol used in each terminal. The signal is compressed and expanded.
  • the video input of the video codec for the calling terminal 324 includes the video output from the video codec for the called terminal 344 and the video output and call from the video codec 364 for the first interpreter terminal.
  • the video synthesizing device 3 2 8 that combines the output of the telop memory 3 3 2 for the original terminal and the video codec 344 for the called terminal is connected to the video input of the video codec 344 for the called terminal.
  • a video synthesizing device 348 for synthesizing the output, the video output from the second translator terminal video codec 384 and the output of the callee terminal telop memory 352 is connected.
  • the video input of the video codec for the first interpreter terminal 364 includes the video output from the video codec for the calling terminal 324 and the video output from the video codec for the called terminal 344 and the first video output.
  • Subtitle memory for interpreter terminal 3 7 2 A video synthesizing device 368 for synthesizing the output of the terminal is connected to the video codec 384 for the second interpreter terminal.
  • a video synthesizing device 388 for synthesizing the video output from the terminal video codec 324 with the output of the second interpreter terminal telop memory 392 is connected.
  • the display of the images of the first and second interpreters can be omitted, but the interpreted voice can be easily read by displaying the images of the interpreters. Therefore, it is preferable to be able to compose the image of the interpreter.
  • the display of the image of the caller and the callee can be omitted, but displaying these images makes it easier to interpret the voice when interpreting. Therefore, it is preferable to be able to display the images of the caller and the callee.
  • FIG. 12 shows an example of an image displayed on each terminal screen during a TV conversation in the videophone interpreter system 300.
  • FIG. 12 (a) shows the screen of the caller terminal, and the image obtained by combining the image of the callee with the image of the first interpreter is displayed by the image synthesizing device 328.
  • the image of the callee is displayed as a main screen and the image of the first interpreter is displayed as a sub-screen, but the image of the first interpreter is displayed as the main screen and the image of the callee is displayed as a child screen.
  • the channel picture display may be used, or both may be displayed equally.
  • FIG. 12 (a) shows the screen of the caller terminal, and the image obtained by combining the image of the callee with the image of the first interpreter is displayed by the image synthesizing device 328.
  • the image of the callee is displayed as a main screen and the image of the first interpreter is displayed as a sub-screen, but the image of the first interpreter is
  • FIG. 12 (b) shows the screen of the called terminal, in which an image obtained by combining the image of the caller with the image of the second interpreter is displayed by the image synthesizing device 348.
  • the image of the caller is displayed as a main screen and the image of the second interpreter is displayed as a sub-screen in picture-in-picture. One in-picture may be displayed, or both may be displayed equally.
  • Figure 1 2 (c) shows the screen of the first interpreter terminal. Yes, the video synthesizing device 368 displays an image obtained by synthesizing the image of the calling terminal with the image of the calling terminal.
  • FIG. 12 (d) shows the screen of the second interpreter terminal, in which the image of the called terminal is combined with the image of the called terminal by the image synthesizing device 388.
  • the image of the caller is displayed as a main screen, and the image of the callee is displayed as a sub-screen, but the display may be reversed, or both may be displayed equally.
  • the voice input of the voice codec for the calling terminal 326 includes the voice output from the voice codec for the calling terminal 346 and the voice from the voice codec 366 for the first interpreter terminal.
  • a speech synthesizer 340 for synthesizing the output is connected, and the speech input of the speech codec 346 for the called terminal includes the speech output from the speech codec 322 for the calling terminal and the second interpreter.
  • a speech synthesizing device 350 for synthesizing the speech output from the speech codec 386 for the user terminal is connected.
  • the voice output of the voice codec 364 for the called terminal is connected to the voice input of the voice codec 366 for the first interpreter terminal, and the voice codec 386 for the second interpreter terminal is connected.
  • the voice input is connected to the voice output from the voice codec 326 for the calling terminal.
  • the voice of the first interpreter is transmitted only to the caller and the voice of the second interpreter is transmitted only to the callee, so that the voice of the caller is disturbed by the voice of the second interpreter,
  • the caller's remarks can be prevented from being disturbed by the voice of the first interpreter, and the conversation can be conducted smoothly.
  • the voice synthesizing device for the calling terminal has a function of suppressing the voice level from the called terminal when the voice from the first interpreter terminal is detected.
  • 50 is to detect voice from the 2nd interpreter terminal It has a function to suppress the voice level from the calling terminal when notified.
  • it is possible to prevent the voice of the first interpreter or the voice of the second interpreter from overlapping with the voice of the other party at the caller and the callee, making it difficult to listen to the voice.
  • FIG. 17 shows a specific embodiment of the function of suppressing the voice of the call destination or the voice of the caller in the voice synthesizers 330 and 350.
  • the audio output from the first translator terminal voice codec 36 6 is connected to the caller terminal voice signal adder 3900, and the second interpreter terminal voice codec 3 8 6 The audio output from is connected to an audio signal adder 393 for the called terminal. Therefore, the unnecessary voice of the second interpreter is not transmitted to the caller, and the unnecessary voice of the first interpreter is not transmitted to the callee.
  • the voice output from the voice codec 346 for the callee terminal is connected to the voice signal adder 390 for the caller terminal via the attenuator 391, and the signal detector 39
  • the voice output from the voice codec for the calling terminal 3 26 is connected to the voice signal adder 3 93 for the called terminal via the attenuator 3 94, and the signal detector 3 9
  • the signal detectors 392 and 395 are set to appropriate detection levels to prevent the other party's voice from being erroneously attenuated due to noise or the like.
  • a voice signal adder 3900 is used to ensure that the caller or callee can hear the interpreter's voice immediately after the translator's voice is detected by the signal detectors 392 and 395. , 393, an appropriate signal delay may be provided for the voice input of the interpreter.
  • the attenuators 391, 394 are used so that the caller or callee can hear the voice of the other party to some extent when listening to the voice of the first or second interpreter. Although the damping is performed, it may be completely shut off by a switch.
  • FIG. 18 shows an embodiment in which the voice of the other party is interrupted when the voice of the interpreter is transmitted, and only the voice of the interpreter is transmitted.
  • switches 397, 398 are used in place of the above-mentioned audio signal adders 390, 393, and the interpreter's voice is detected by the signal detectors 392, 395. Then, switches 397 and 398 are switched from the voice of the other party to the voice of the interpreter.
  • Other configurations are the same as in FIG.
  • Switches 397, 395 are used to ensure that the calling or called party can hear the interpreter's voice immediately after the translator's voice is detected by the signal detectors 392, 395. An appropriate signal delay may be provided for the voice input of the interpreter.
  • the audio signal adders 390 and 393 are described as simple addition of the interpreter's voice and the other's voice, but the two signals may be synthesized by voice multiplexing. Good. For example, if the terminal supports stereo sound, the signal of the other party is stereo-synthesized as the left signal of the other party's voice and the interpreter's voice as the signal, and the terminal selects the sound required by the receiver. In this case, there is no need to provide an attenuator to attenuate the other party's voice in the videophone interpretation system, and the receiving side may adjust the volume balance between the left and right sides of the headset according to the situation and listen. .
  • the first interpreter listens only to the voice of the callee and interprets it
  • the second interpreter listens only to the caller's voice and interprets it.
  • the caller's voice or the voice of the second interpreter is attenuated and added to the voice to be transmitted, or the voice is multiplexed and transmitted, and sent to the second interpreter.
  • the voice of the call destination or the voice of the first interpreter may be attenuated and added to the voice to be transmitted, or the voice may be multiplexed and transmitted. In this way, each interpreter can interpret while checking the progress of the entire conversation and the reaction of the interpreter.
  • the videophone interpreter system 300 has an interpreter registration table 312 for registering the terminal number of the interpreter terminal used by the interpreter, and each line I ZF 3 2 0, 34 0, 3 6 0, 380, each multiplexing / demultiplexing device 3 2 2, 342, 36 2, 382, video synthesizing device 3 28, 348, 368, 3 88, audio synthesizing device 3 3 0, 3 5 0, Control device 3 10 connected to each of the telop memories 3 32, 3 52, 3 72, 3 92, and accepts calls from the caller terminal Refer to the interpreter registration table 3 1 2 from the function of acquiring the language type of the caller and the language of the callee, the function of acquiring the conditions for selecting the interpreter, and the acquired language type and the conditions for selection.
  • the function of connecting the caller terminal, the callee terminal, the first interpreter terminal, and the second interpreter terminal is provided by the function of acquiring the terminal number and the function of calling the called terminal by the obtained terminal number.
  • each video synthesizing device 328, 348, 368, 388 and each voice synthesizing device 330, 350 is controlled by the control device 310, and from each terminal. It has a function to change the video display method or audio display method by the user pressing a predetermined number button on the dial pad. This means that in each of the multiplexers / demultiplexers 32 2, 34 2, 36 2, and 38 2, pressing of the dial pad number button at each terminal is detected by a data signal or tone signal. This can be achieved by transmitting this to the control device. This allows each terminal to use only the video and audio necessary for the purpose. You can use it flexibly by selecting and displaying, swapping the main screen and the sub screen, and changing the position of the sub screen.
  • each video synthesizing device 3 28, 3 48, 3 6 8 and 3 8 8 respectively includes the telop memory 3 32 for the calling terminal, the telop memory 3 52 for the called terminal, and the first interpreter. Telop memory for the interpreter terminal 3 7 2 and telop memory 3 9 2 for the second interpreter terminal are connected, and the contents of each telop memory 3 3 2 3 5 2 3 7 2 3 9 It can be set from 10.
  • each terminal when setting up a videophone conversation via an interpreter, the message for each terminal is set in each telop memory 3 32, 3 52, 3 72, 3 92, and each video synthesizing device 3 By issuing a command to select the signal of each telop memory 3 32, 3 52, 3 72, 3 92 to 28, 3 4 8, 3 6 8, 3 8 8 The required message can be conveyed to establish a four-way call.
  • the terms are made to correspond to the dial pad numbers of each terminal in advance, and the term registration table 3 1 3 and the fact that the dial pad of each terminal is pressed during the videophone conversation is demultiplexed at each multiplexer / demultiplexer 3 2 2, 3 4 2, 3 6 2, 3 8 2.
  • the term corresponding to the number of the dial pad pressed is detected from the tone signal, and the term corresponding to the pressed dial pad is extracted from the term registration table 3 13 to generate a character telop. Can be displayed. In this way, difficult-to-explain terms and difficult-to-pronounce words can be conveyed to the other party using character telops, enabling more rapid and accurate videophone conversations.
  • the translator registration table 312 of the controller 310 registers the translator selection information and the terminal number of the terminal used by each interpreter from an appropriate terminal (not shown). Keep it.
  • Fig. 13 shows examples of registration items registered in the interpreter registration table 312. As shown in the figure, the registration items registered in the translator registration table 3 12 are the same as the registration items in the translator registration table 1 12 shown in FIG. The hearing level and the speaking level were registered separately. This makes it possible to select the most appropriate translator for each of the first interpreter who translates the language of the callee into the language of the caller and the second interpreter who translates the language of the caller into the language of the callee. It becomes possible.
  • FIG. 14 shows a processing flow of the connection processing by the control device 310.
  • the TV phone interpreter system 300 accepts an application for the interpreting service by calling the caller to the telephone number of the caller terminal line IZF, and the first and second interpreter terminals and the callee Call the terminal to establish a connection for the two-way simultaneous telephone interpretation service.
  • a screen prompting the caller terminal to input the language type of the caller similar to that shown in Fig. 5 (a) is displayed (S302), and the caller inputs the same.
  • the language type of the caller is acquired (S304).
  • a screen prompting the caller terminal to input a language type of the callee similar to that shown in FIG. 5 (b) is displayed (S306), and in response to this, the language of the callee input by the caller is displayed.
  • the type is acquired (S308).
  • a screen prompting the caller terminal to enter the conditions for selecting an interpreter similar to that shown in Fig. 6 (a) is displayed (S310), and the translator selected by the caller in response to this is displayed.
  • the condition is obtained (S312).
  • the conditions for selecting the interpreter entered by the caller are the same as in the case of the single interpreter described above, such as gender, age, and region. This is the level of translation.
  • the area is specified using a zip code, and interpreters are selected in order from the one whose residence is closest to the specified area. If there is no need to specify any of the selection items, you can select any question.
  • the interpreting level has the designated hearing level of the language of the call destination and the speaking level of the language of the call source.
  • S314 Select the interpreter whose specialty field meets the selected selection conditions and the reception flag is set as the first interpreter (S314), and extract the terminal number of the selected interpreter.
  • S316 When a response is received from the first interpreter terminal (S 3 18), the hearing level of the calling language and the speaking level of the called language are specified with reference to the interpreter registration table 3 12.
  • Interpreters who have the same translator level, gender, age, region, and specialty field meet the selection criteria, and the reception flag is set are selected as the second interpreters (S320) , Retrieves the terminal number of the selected interpreter and calls it (S322)
  • the selection of the first interpreter (S314) and the selection of the second interpreter (S320) are based on the prescribed conditions with reference to the interpreter registration table 312 for simplicity.
  • the explanation was made assuming that the relevant interpreter was selected.However, for each of the first interpreter and the second interpreter, the corresponding person list as shown in Fig. 6 (b) is displayed as in the case of the first embodiment. Alternatively, the caller may be allowed to select one of them.
  • the hourly unit price (not shown) of the first interpreter and the second interpreter registered in the interpreter registration table 3 12 may be extracted and displayed as a fee.
  • the interpreter's hourly unit price may be obtained by separately setting a charge table that defines the relationship between the interpreter's interpreter level and hourly unit price, and referring to the billing table based on the selected interpreter's interpreter level. Good.
  • the control device 310 is provided with a timer (not shown) for calculating a charge for the use of the interpreting service, and measures the time from the start of connection to the disconnection. Then, the usage fee is calculated from the time measured by the timer after the end of the interpreting service, and the sum of the unit price of the first interpreter and the unit price of the second interpreter described above, and the charge database is used. Will be registered and billed to the user at a later date.
  • the videophone interpreter system 300 uses the line IZF, multiple / separation measures, video codec, voice codec, video synthesis. Although it has been described as comprising a device, a speech synthesizer, a control device, etc., these do not necessarily need to be configured as individual HZWs, but are configured so that the functions of each device are realized by software processing using a computer.
  • the first interpreter terminal 32 and the second interpreter terminal 34 are located outside the interpreting center like the caller terminal 10 and the callee terminal 20, and the interpreter center
  • the interpreting service is provided by being called from a public telephone line from the beginning, the present invention is not limited to this. It provided within translation center, interpreting center - it goes without saying that it is also possible to provide interpretation services from.
  • the interpreter can participate in the interpreting service anywhere as long as he / she has a terminal that can be connected to the public telephone line. It can be used to provide interpreting services. By doing so, it will be possible to efficiently and stably operate interpreting services that are difficult to secure personnel.
  • the video signal of the own terminal is not input to the video synthesizing device 328, 3448, 3688, or 3888, but the video signal of the own terminal is also input to check the video.
  • a function of combining and displaying may be provided.
  • the video synthesizing device 328, 348, 368, 388 synthesizes the video for each terminal, but the present invention is not limited to this. Instead, the images of all terminals are combined at once and You may make it transmit to a terminal. In this case, for example, as shown in Fig. 21 (b), the image of the caller, the image of the callee, the image of the first interpreter, and the image of the second interpreter are displayed on a quad screen. Is also good.
  • the telop memories 332, 352, 372, 3922 are provided, and these outputs are output to the corresponding video synthesizing devices 328, 3448, 3688, 3888.
  • each terminal was provided with a function to display character telops.However, a telop memory for storing voice information was provided, and these outputs were added to the corresponding voice synthesizers 330, 350.
  • a speech synthesizer is installed at the input of the voice codec for interpreter terminal 366 and the voice codec for second interpreter terminal 386, and the output of the telop memory corresponding to these is added.
  • a function of outputting a voice message to the terminal may be provided. As a result, even if any one of the caller, callee, first interpreter and second interpreter is a visually impaired person, a videophone interpreting service can be provided.
  • FIG. 19 shows an example of the recording / playback function in the videophone interpretation system according to the first embodiment.
  • the video from the video codec for the caller terminal 124, the video from the video codec for the callee terminal 144, and the video from the video codec for the interpreter terminal 164 are The images are synthesized by the video synthesizer 116 and sent to the video / audio recording / reproducing device 118.
  • the output voice of the voice synthesizer 130 sent to the calling terminal and the voice output of the voice synthesizer 150 transmitted to the called terminal are voice multiplexed with the former as left voice and the latter as right voice.
  • the audio is multiplexed and synthesized by the synthesizer 117 and sent to the video / audio recording / reproducing device 118.
  • the output video from the video synthesizer 1 16 and the audio output from the audio multiplex synthesizer 1 17 during the interpreting service are recorded and reproduced by the instruction from the controller 110. It is automatically recorded on the raw equipment 1 18 and stored for each user.
  • the multiplexing / demultiplexing device 1 2 2 or 1 4 2 detects that the specified dial number has been pressed at the calling terminal or the called terminal. At the same time, it is played back by a command from the control device 110 and transmitted to each terminal via the video synthesizing device 128 or 148 and the voice synthesizing device 130 or 150 of the detected terminal. You.
  • the user can confirm the video of each terminal in the interpreting service by, for example, a four-division composite video as shown in FIG. 21 (a). If the user terminal has a voice demultiplexing function, the voice of each terminal in the interpreting service can be confirmed by the language of the caller in the left voice and the language of the callee in the right voice. The user later calls the interpreting center and inputs a predetermined access code from the terminal to reproduce and check the video and audio stored in the video / audio recording / reproducing device 118. be able to.
  • the method of synthesizing video and audio to be recorded on the video / audio recording / reproducing device is not limited to the above, and any method can be used as long as the user can confirm the contents of the interpreting service. It may be something.
  • the voice transmitted to the caller and the voice transmitted to the callee are separately recorded, and the voice specified by the terminal is reproduced. You may make it transmit.
  • the user may include a person other than the person who received the interpreting service, and when a person who is permitted access accesses the interpreting center using a videophone terminal and enters a predetermined access code,
  • the video and audio stored in the video / audio recording / reproducing device 118 may be reproduced and transmitted.
  • FIG. 20 shows an example of the recording / reproducing function in the videophone interpreting system using bidirectional simultaneous interpretation according to the third embodiment.
  • Video Codec 3 2 4 Video from Called Video Codec 3 4 4 Video from First Interpreter Video Codec 3 6 4 Video from Second Interpreter Video Code — from Dec 3 8 4
  • the video is synthesized by the video synthesizer 316 and sent to the video / audio recording / playback device 318.
  • the output voice of the voice synthesizer 330 transmitted to the calling terminal and the output voice of the voice synthesizer 350 transmitted to the called terminal are multiplexed by using the former as the left voice and the latter as the right voice.
  • the sound is multiplexed and synthesized in the device 317 and sent to the video / audio recording / reproducing device 318.
  • the output video of the video synthesizer 3 16 during the interpreting service and the output audio of the audio multiplex synthesizer 3 17 are automatically recorded and used by the video / audio recording / reproducing device 3 18 according to a command from the control device 3 10. Is stored separately.
  • the multiplexing / demultiplexing device 3 2 2 or 3 4 2 detects that the specified dial number has been pressed at the calling terminal or the called terminal. At the same time, it is played back by a command from the control device 310 and sent to each terminal via the video synthesizing device 328 or 348 and the voice synthesizing device 330 or 350 of the detected terminal. .
  • the user can confirm the video of each terminal in the interpreting service as, for example, a four-divided composite video as shown in FIG. 21 (b). If the user terminal has a voice demultiplexing function, the voice of each terminal in the interpreting service can be confirmed by the language of the calling source in the left voice and by the language of the called party in the right voice. The user later calls the interpreting center and inputs a predetermined access code from the terminal to reproduce and check the video and audio stored in the video / audio recording / reproducing device 318. can do.
  • the method of synthesizing video and audio to be recorded on the video / audio recording / reproducing device is not limited to the above, and any method can be used as long as the user can confirm the contents of the interpreting service. It may be something. Also sent to the calling terminal in case the user terminal does not have the voice demultiplexing function. The voice to be transmitted and the voice to be transmitted to the called terminal may be separately recorded, and the voice specified by the terminal may be reproduced and transmitted.
  • the user may include a person other than the person who received the interpreting service, and a person who is permitted access accesses the interpreter using a videophone terminal and enters a predetermined access code.
  • the video and audio stored in the video / audio recording / reproducing device 318 may be reproduced and transmitted.
  • the videophone interpreting system or the videophone interpreting method of the present invention there is no need for the caller to search for the interpreter in advance and consult with the callee, and emergency response is possible. This has the effect of minimizing the restraint time and reducing the cost of interpreting services.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

　呼出元が事前に通訳者を探し出して呼出先と協議する必要がなく、緊急対応可能であって、通訳者の拘束時間を最小限として通訳サービスのコストを低減できるテレビ電話通訳システムおよびテレビ電話通訳方法を提供する。テレビ電話通訳システム（１００）は、制御装置（１１０）により呼出元端末（１０）からの呼出を受付け、通訳者登録テーブル（１１２）を参照して呼出元の言語と呼出先の言語を通訳可能な通訳者の端末番号を取出し、呼出元端末（１０）と呼出先端末（２０）と通訳者端末（３０）とを接続する。また、各端末間で通訳に必要な映像および音声の通信を行う機能を有し、通訳者の音声は切換器（１７４）により呼出元か呼出先のいずれか通訳者端末から指定された側に送信され、対談の相手方の音声は音声合成装置（１３０、１５０）において通訳者の音声が検出されたときに抑圧または遮断されるので、迅速かつ的確な通訳サービスを提供できる。

Description

テレビ電話通訳シ '電話通訳方法 技 分野
本願発明は、 異なる言語を使用する人同士がテレビ電話を用いて対談 する際の通訳サービスを提供するテレビ電話通訳システムおよびテレビ 電話通訳方法に関し、 特に例え明ば、 言葉の不自由な外国人に対して、 役 所 ·病院 '警察等の行政サービスを、田通訳者を常駐させることなく提供で きるテレビ電話通訳システムおよびテレビ電話通訳方法に関する。 背景技術
近年、 通信技術の発達により遠隔地にいる人同士がテレビ電話を使用 して実用的レベルで対談できるようになってきているが、 異なる言語を 使用する人同士がスムースに対談できるようにするためには通訳が必要 であり、 テレビ電話による通訳サ一ビスの普及が期待される。
従来、 テレビ電話による通訳サービスを受けるためには、 テレビ会議 サービスを提供する多地点接続装置を用いて、 対談を希望する呼出元と 、 対談の相手方である呼出先と、 呼出元の使用する言語と呼出先の使用 する言語との間を通訳する通訳者との間で 3者通話を設定する必要があ つた。
第 2 2図に従来の多地点接続装置によるテレビ会議サービスを用いて 通訳サービスを受ける場合のシステム構成を示す。 図において、 1 0は 呼出元のテレビ電話端末 （以下、 呼出元端末と呼ぶ） 、 2 0は呼出先の テレビ電話端末 （以下、 呼出先端末と呼ぶ） 、 3 0は通訳者のテレビ電 話端末 （以下、 通訳者端末と呼ぶ） 、 5 0は公衆電話回線、 1は多地点 接続装置である。 各テレビ電話端末は、 利用者を撮像するカメラ （ a ) 、 受信した映像を表示するディスプレイ （b ) 、 通話する相手をダイァ ルするためのダイアルパッド （c ) 、 利用者の音声を取得するマイクと 受信した音声を聴取するためのィャフォンとから成るへッドセッ ト （d ) とを備える。 多地点接続装置 1は、 テレビ会議サービスを提供するも ので、 あらかじめ予約.された端末からの呼出を受付け、 接続された各端 末から送信される映像および音声を合成して各端末に送信する機能を有 する。
次に、 上記多地点接続装置を用いて通訳サービスを受ける場合の手順 について説明する。 最初に、 呼出元は自分が使用する言語と呼出先が使 用する言語との間で通訳可能な通訳者を探し出して呼出す。 次に、 呼出 された通訳者は呼出元の依頼に基づいて呼出先を呼出し、 対談日時を決 定する。 対談日時が決定したら、 呼出元は多地点接続装置 1に対してテ レビ会議の予約を入れる。 呼出元と呼出先と通訳者は、 予約された日時 になったらそれぞれのテレビ電話端末から指定された口グイン情報を用 いて多地点接続装置 1にチェックインする。 これにより、 呼出元端末 1 0と呼出先端末 2 0と通訳者端末 3 0との間でテレビ会議がスタートし 、 各端末のディスプレイには呼出元の映像と呼出先の映像と通訳者の映 像が合成された映像が表示され、 各端末のへッドセッ トのィャフォンに は呼出元の音声と呼出先の音声と通訳者の音声が合成された音声が出力 されるので、 呼出元と呼出先は通訳者による通訳を受けながらテレビ電 話対談を行うことができる。
しかしながら、 かかる従来の多地点接続装置を用いたテレビ電話通訳 サービスでは、 テレビ電話対談を開始する前に多地点接続装置に対して テレビ会議の予約を入れる必要があるため、 呼出元は事前に通訳者を探 し出して呼出先と連絡をとり、 テレビ会議を設定するための協議を行う 必要があった。
このため'、 例えば言葉の不自由な外国人が緊急時に役所や警察や病院 等の行政サービスを受ける場合のように緊急対応が要求される通訳サ一 ビスに適用することは困難であった。 また、 通訳者は呼出元と呼出先の 事前協議の段階から参画する必要があるため、 長時間の拘束を余儀なく され、 通訳サ一ビスのコストも高くなつてしまうという問題もあった。 それ故に、 本願発明の主たる目的は、 呼出元が事前に通訳者を探し出 して呼出先と協議する必要がなく、 緊急時にも対応可能であって、 通訳 者の拘束時間を最小限として通訳サ一ビスのコストを低減できるテレビ 電話通訳システムおよびテレビ電話通訳方法を提供することである。 発明の開示
請求項 1に記載のテレビ電話通訳システムは、 異なる言語を使用する 呼出元と呼出先との間のテレビ電話対談を通訳者が通訳するテレビ電話 通訳システムであって、 呼出元端末と呼出先端末と通訳者端末とを接続 する接続手段と、 接続手段により接続された各端末間の映像および音声 の通信を行う通信手段とを備え、 接続手段は通訳者が通訳可能な言語種 別と通訳者の端末番号とが少なくとも登録される通訳者登録テーブルを 備え、 呼出元端末か'らの呼出を受付る機能と、 呼出を受付た呼出元端末 から呼出先の端末番号と呼出元の言語種別と呼出先の言語種別とを取得 する機能と、 取得された呼出元の言語種別と呼出先の言語種別とから通 訳者登録テーブルを参照して通訳者の端末番号を取出す機能と、 取出さ れた通訳者の端末番号により通訳者端末を呼出す機能と、 取得された呼 出先の端末番号により呼出先端末を呼出す機能とを有し、 通信手段は呼 出元端末に対して少なくとも呼出先端末からの映像を含む映像と少なく とも通訳者端末からの音声を含む音声を送信する機能と、 呼出先端末に 対して少なくとも呼出元端末からの映像を含む映像と少なくとも通訳者 端末からの音声を含む音声を送信する機能と、 通訳者端末に対して な くとも呼出元端末からの音声と呼出先端末からの音声を含む音声を送信 する機能とを有するものである。
これにより、 呼出元端末からの呼出に基づいて、 通訳者登録テーブル から呼出元の言語と呼出先の言語との間を通訳可能な通訳者の端末番号 が取出され、 呼出元端末と呼出先端末と通訳者端末とが自動接続され、 通訳に必要な映像および音声の通信が行われるので、 呼出元は事前に通 訳者を探し出して呼出先と協議する必要がなく、 緊急時にも対応可能な テレビ電話通訳サービスを提供できる。 また、 通訳者は呼出可能な状態 にある限り何処にいても対応できるので、 通訳者の拘束時間を最小限と して通訳サービスのコストを低減できる。
請求項 2に記載のテレビ電話通訳システムは、 請求項 1に記載のテレ ピ電話通訳システムであって、 通信手段は呼出元端末に対して呼出先端 末からの映像を親画面、 通訳者端末からの映像を子画面として合成した 映像を送信する機能と、 呼出先端末に対して呼出元端末からの映像を親 画面、 通訳者端末からの映像を子画面として合成した映像を送信する機 能と、 通訳者端末に対して呼出元端末からの映像と呼出先端末からの映 像とを合成した映像を送信する機能とを有するものである。
これにより、 呼出元と呼出先は通訳者の表情をピクチャ一^ rンピクチ ャ一で確認できるので通訳者の音声の判読が容易になり、 通訳者は呼出 元の表情と呼出先の表情を確認できるので的確な通訳が可能となる。 請求項 3に記載のテレビ電話通訳システムは、 請求項 1または請求項 2に記載のテレビ電話通訳システムであって、 通信手段は呼出元端末に 対して呼出先端末からの音声と通訳者端末からの音声を合成して送信す る第 1音声送信機能と、 呼出先端末に対して呼出元端末からの音声と通 訳者端末からの音声を合成して送信する第 2音声送信機能と、 通訳者端 末に対して呼出元端末からの音声と呼出先端末からの音声を合成して送 信する第 3音声送信機能とを有し、 通訳者端末からの指令により第 1音 声送信機能に供給する通訳者端末からの音声と第 2音声送信機能に供給 する通訳者端末からの音声のいずれか不要な側の音声を抑圧する不要側 音声抑圧機能を有し、 第 1音声送信機能は通訳者端末からの音声を検知 したときに呼出先端末からの音声を抑圧する呼出先音声抑圧機能を有し 、 第 2音声送信機能は通訳者端末からの音声を検知したときに呼出元端 末からの音声を抑圧する呼出元音声抑圧機能を有するものである。
従来のテレビ会議による通訳では、 各端末には 3者の音声が合成され た音声が伝達されるので、 いずれかの端末が発言中に他の端末が発言す るとお互いに内容の把握が困難になる。 このため、 実際には呼出元の発 言の終了を待って通訳者が通訳し、 その通訳の終了を待って呼出先が発 言し、 その呼出先の発言の終了を待って通訳者が通訳することを繰返す 必要があり、 迅速かつ的確な通訳を行うことは困難であった。 本発明で は、 不要側音声抑圧機能により通訳者端末からの指令に基づいて呼出元 と呼出先のうち不要な側への通訳者の音声の送信が抑圧されるとともに 、 呼出先音声抑 J¾機能により通訳者の音声が検知されたときに呼出元へ の呼出先の原語音声の送信が抑圧され、 呼出元音声抑圧機能により通訳 者の音声が検知されたときに呼出先への呼出元の原語音声の送信が抑圧 されるので、 呼出元と呼出先は通訳者の発言と重なっても通訳の内容を 把握でき、 迅速かつ的確なテレビ電話通訳サービスを提供できる。
尚、 抑圧には、 ある程度聴取可能なように音声信号のレベルを絞る場 合と、 完全に聞こえないように遮断する場合とを含む。 また、 不要側音 声抑圧機能には、 通訳者の音声を呼出元と呼出先のいずれか一方に切換 えて送信する場合を含む。 請求項 4に記載のテレビ電話通訳システムは、 請求項 1または請求項 2に記載のテレビ電話通訳システムであって、 通信手段は呼出元端末に 対して呼出先端末からの音声と通訳者端末からの音声を切換えて送信す る第 1音声送信機能と、 呼出先端末に対して呼出元端末からの音声と通 訳者端末からの音声を切換えて送信する第 2音声送信機能と、 通訳者端 末に対して呼出元端末からの音声と呼出先端末からの音声を合成して送 信する第 3音声送信機能とを有し、 通訳者端末からの指令により第 1音 声送信機能に供給する通訳者端末からの音声と第 2音声送信機能に供給 する通訳者端末からの音声のいずれか不要な側の音声を抑圧する不要側 音声抑圧機能を有し、 第 1音声送信機能は通訳者端末からの音声を検知 したときに呼出先端末からの音声を遮断して通訳者端末からの音声を送 信する機能を有し、 第 2音声送信機能は、 通訳者端末からの音声を検知 したときに呼出元端末からの音声を遮断して通訳者端末からの音声を送 信する機能を有するものである。
本発明では、 不要側音声抑圧機能により通訳者端末からの指令に基づ いて呼出元と呼出先のうち不要な側への通訳者の音声の送信が抑圧され るとともに、 第 1音声送信機能において通訳者の音声が検知されたとき に呼出先の原語音声から通訳者の音声に切替り、 第 2音声送信機能にお いて通訳者の音声が検知されたときに呼出先の原語音声から通訳者の音 声に切替るので、 呼出元と呼出先は通訳者の発言と重なっても通訳の内 容を把握でき、 迅速かつ的確なテレビ電話通訳サービスを提供できる。
尚、 不要側音声抑圧機能には、 通訳者の音声を呼出元と呼出先のいず れか一方に切換えて送信する場合を含む。
請求項 5に記載のテレビ電話通訳システムは、 請求項 1または請求項 2に記載のテレビ電話通訳システムであって、 通信手段は呼出元端末に 対して呼出先端末からの音声と通訳者端末からの音声を音声多重合成し て送信する第 1音声送信機能と、 呼出先端末に対して呼出元端末からの 音声と通訳者端末からの音声を音声多重合成して送信する第 2音声送信 機能と、 通訳者端末に対して呼出元端末からの音声と呼出先端末からの 音声を音声多重合成して送信する第 3音声送信機能とを有し、 通訳者端 末からの指令により第 1音声送信機能に供給する通訳者端末からの音声 と第 2音声送信機能に供給する通訳者端末からの音声のいずれか不要な 側の音声を抑圧する不要側音声機能を有するものである。
本発明では、 不要側音声抑圧機能により通訳者端末からの指令に基づ いて呼出元と呼出先のうち不要な側への通訳者の音声の送信が抑圧され るとともに、 第 1音声送信機能において呼出先の原語音声と通訳者の音 声が音声多重合成されて呼出元に送信され、 第 2音声送信機能において 呼出元の原語音声と通訳者の音声が音声多重合成されて呼出先に送信さ れるので、 呼出元と呼出先は通訳者の発言と重なっても受信された音声 から通訳者の音声を選択して聴取することにより通訳の内容を把握でき 、 迅速かつ的確なテレビ電話通訳サービスを提供できる。
尚、 不要側音声抑圧機能には、 通訳者の音声を呼出元と呼出先のいず れか一方に切換えて送信する場合を含む。
請求項 6に記載のテレビ電話通訳システムは、 請求項 1ないし請求項 5のいずれかに記載のテレビ電話通訳システムであって、 通信手段は呼 出元端末からの映像と呼出先端末からの映像と通訳者端末からの映像を 含む映像と呼出元端末からの音声と呼出先端末からの音声と通訳者端末 からの音声を含む音声とを記録する機能と、 記録された映像および音声 を端末からの要求により再生して送信する機能とを有するものである。 これにより、 通訳サービス中の呼出元と呼出先と通訳者の映像および 音声は記録され、 端末からの要求により記録内容を確認できるので、 そ の場で理解できなかったことを再確認したり、 通訳サービスの内容を後 にチェックしたりすることができる。
尚、 映像の記録は、 呼出元端末に送信する映像と呼出先端末に送信す る映像を合成して記録するようにしてもよい。 これにより、 実際に呼出 元や呼出先が受信した映像を確認できる。
また、 音声の記録は、 呼出元端末に送信する音声と呼出先端末に送信 する音声を音声多重合成して記録するようにしてもよい。 これにより、 音声多重分離機能を有する端末では、 呼出元の言語と呼出先の言語を分 離して内容を確認できる。
また、 呼出元端末に送信する音声と呼出先端末に送信する音声を個別 に記録し、 端末からの指令により指定された側の音声を再生して送信す るようにしてもよい。 これにより、 音声多重分離機能を有しない端末で も、 呼出元の言語と呼出先の言語を分離して内容を確認できる。
請求項 7に記載のテレビ電話通訳システムは、 異なる言語を使用する 呼出元と呼出先との間のテレビ電話対談を呼出先の言語を呼出元の言語 に通訳する第 1通訳者と呼出元の言語を呼出先の言語に通訳する第 2通 訳者とによって通訳するテレビ電話通訳システムであって、 呼出元端末 と呼出先端末と第 1通訳者端末と第 2通訳者端末とを接続する接続手段 と、 接続手段により接続された各端末間の映像および音声の通信を行う 通信手段とを備え、 接続手段は通訳者が通訳可能な言語種別と通訳者の 端末番号とが少なくとも登録される通訳者登録テーブルを備え、 呼出元 端末からの呼出を受付る機能と、 呼出を受付た呼出元端末から呼出先の 端末番号と呼出元の言語種別と呼出先の言語種別とを取得する機能と、 取得された呼出先の言語種別と呼出元の言語種別とから通訳者登録テー ブルを参照して第 1通訳者の端末番号を取出す機能と、 取出された第 1 通訳者の端末番号により第 1通訳者端末を呼出す機能と、 取得された呼 出元の言語種別と呼出先の言語種別とから通訳者登録テーブルを参照し て第 2通訳者の端末番号を取出す機能と、 取出された第 2通訳者の端末 番号により第 2通訳者端末を呼出す機能と、 取得された呼出先の端末番 号により呼出先端末を呼出す機能とを有し、 通信手段は呼出元端末に対 して少なくとも呼出先端末からの映像を含む映像と少なくとも第 1通訳 者端末からの音声を含む音声を送信する機能と、 呼出先端末に対して少 なくとも呼出元端末からの映像を含む映像と少なくとも第 2通訳者端末 からの音声を含む音声を送信する機能と、 第 1通訳者端末に対して少な くとも呼出先端末からの音声を含む音声を送信する機能と、 第 2通訳者 端末に対して少なくとも呼出元端末からの音声を含む音声を送信する機 能とを有するものである。
これにより、 呼出元端末からの呼出に基づいて、 通訳者登録テーブル から呼出先の言語を呼出元の言語に通訳する第 1通訳者と呼出元の言語 を呼出先の言語に通訳する第 2通訳者の端末番号が取出され、 呼出元端 末と呼出先端末と第 1通訳者端末と第 2通訳者端末とが自動接続され、 通訳に必要な映像および音声の通信が行われるので、 呼出元は事前に通 訳者を探し出して呼出先と協議する必要がなく、 緊急対応可能なテレビ 電話通訳サ一ビスを提供できる。 また、 通訳者は呼出可能な状態にある 限り何処にいても対応できるので、 通訳者の拘束時間を最小限として通 訳サービスのコストを低減できる。
請求項 8に記載のテレビ電話通訳システムは、 請求項 7に記載のテレ ビ電話通訳システムであって、 通信手段は呼出元端末に対して呼出先端 末からの映像を親画面、 第 1通訳者端末からの映像を子画面として合成 した映像を送信する機能と、 呼出先端末に対して呼出元端末からの映像 を親画面、 第 2通訳者端末からの映像を子画面として合成した映像を送 信する機能と、 第 1通訳者端末に対して呼出先端末からの映像と呼出元 端末からの映像とを合成した映像を送信する機能と、 第 2通訳者端末に 対して呼出元端末からの映像と呼出先端末からの映像とを合成した映像 を送信する機能とを有するものである。
これにより、 呼出元は第 1通訳者の表情を、 呼出先は第 2通訳者の表 情をそれぞれピクチャーィンピクチャーで確認できるので通訳者の音声 の判読が容易になり、 各通訳者は呼出元の表情と呼出先の表情を確認で きるので的確な通訳が可能となる。
請求項 9に記載のテレビ電話通訳システムは、 請求項 7または請求項 8に記載のテレビ電話通訳システムであって、 通信手段は呼出元端末に 対して呼出先端末からの音声と第 1通訳者端末からの音声を合成して送 信する第 1音声送信機能と、 呼出先端末に対して呼出元端末からの音声 と第 2通訳者端末からの音声を合成して送信する第 2音声送信機能と、 第 1通訳者端末に対して少なくとも呼出先端末からの音声を送信する第 3音声送信機能と、 第 2通訳者端末に対して少なくとも呼出元端末から の音声を送信する第 4音声送信機能とを有し、 第 1音声送信機能は第 1 通訳者端末からの音声を検知したときに呼出先端末からの音声を抑圧す る呼出先音声抑圧機能を有し、 第 2音声送信機能は第 2通訳者端末から の音声を検知したときに呼出元端末からの音声を抑圧する呼出元音声抑 圧機能を有するものである。
本発明では、 呼出先音声抑圧機能により第 1通訳者の音声が検知され たときに呼出元への呼出先の原語音声の送信が抑圧され、 呼出元音声抑 圧機能により第 2通訳者の音声が検知されたときに呼出先への呼出元の 原語音声の送信が抑圧されるので、 呼出元と呼出先は各通訳者の発言と 重なっても通訳の内容を把握でき、 迅速かつ的確なテレビ電話通訳サー ビスを提供できる。
尚、 抑圧には、 ある程度聴取可能なように音声信号のレベルを絞る場 合と、 完全に聞こえないように遮断する場合とを含む。 請求項 1 0に記載のテレビ電話通訳システムは、 請求項 7または請求 項 8に記載のテレビ電話通訳システムであって、 通信手段は呼出元端末 に対して呼出先端末からの音声と第 1通訳者端末からの音声を切換えて 送信する第 1音声送信機能と、 呼出先端末に対して呼出元端末からの音 声と第 2通訳者端末からの音声を切換えて送信する第 2音声送信機能と 、 第 1通訳者端末に対して少なくとも呼出先端末からの音声を送信する 第 3音声送信機能と、 第 2通訳者端末に対して少なくとも呼出元端末か らの音声を送信する第 4音声送信機能とを有し、 第 1音声送信機能は第 1通訳者端末からの音声を検知したときに呼出先端末からの音声を遮断 して第 1通訳者端末からの音声を送信する機能を有し、 第 2音声送信機 能は第 2通訳者端末からの音声を検知したときに呼出元端末からの音声 を遮断して第 2通訳者端末からの音声を送信する機能を有するものであ る。
本発明では、 第 1音声送信機能において第 1通訳者の音声が検知され たときに呼出先の原語音声から第 1通訳者の音声に切替り、 第 2音声送 信機能において第 2通訳者の音声が検知されたときに呼出先の原語音声 から第 2通訳者の音声に切替るので、 呼出元と呼出先は各通訳者の発言 と重なっても通訳の内容を把握でき、 迅速かつ的確なテレビ電話通訳サ —ビスを提供できる。
請求項 1 1に記載のテレビ電話通訳システムほ、 請求項 7または請求 項 8に記載のテレビ電話通訳システムであって、 通信手段は呼出元端末 に対して呼出先端末からの音声と第 1通訳者端末からの音声を音声多重 合成して送信する第 1音声送信機能と、 呼出先端末に対して呼出元端末 からの音声と第 2通訳者端末からの音声を音声多重合成して送信する第 2音声送信機能と、 第 1通訳者端末に対して少なくとも呼出先端末から の音声を送信する第 3音声送信機能と、 第 2通訳者端末に対して少なく とも呼出元端末からの音声を送信する第 4音声送信機能とを有するもの である。
本発明では、 第 1音声送信機能において呼出先の原語音声と第 1通訳 者の音声が音声多重合成されて呼出元に送信され、 第 2音声送信機能に おいて呼出元の原語音声と第 2通訳者の音声が音声多重合成されて呼出 先に送信されるので、 呼出元と呼出先は各通訳者の発言と重なっても受 信された音声から各通訳者の音声を選択して聴取することにより通訳の 内容を把握でき、 迅速かつ的確なテレビ電話通訳サービスを提供できる 請求項 1 2に記載のテレビ電話通訳システムは、 請求項 7ないし請求 項 1 1のいずれかに記載のテレビ電話通訳システムであって、 通信手段 は呼出元端末からの映像と呼出先端末からの映像と第 1通訳者端末から の映像と第 2通訳者端末からの映像を含む映像と、 呼出元端末からの音 声と呼出先端末からの音声と第 1通訳者端末からの音声と第 2通訳者端 末からの音声を含む音声とを記録する機能と、 記録された映像および音 声を端末からの要求により再生して送信する機能とを有するものである これにより、 通訳サービス中の呼出元と呼出先と第 1通訳者と第 2通 訳者の映像および音声は記録され、 端末からの要求により記録内容を確 認できるので、 その場で理解できなかったことを再確認したり、 通訳サ —ビスの内容を後にチェックしたりすることができる。
尚、 映像の記録は、 呼出元端末に送信する映像と呼出先端末に送信す る映像を合成して記録するようにしてもよい。 これにより、 実際に呼出 元や呼出先が受信した映像を確認できる。
また、 音声の記録は、 呼出元端末に送信する音声と呼出先端末に送信 する音声を音声多重合成して記録するようにしてもよい。 これにより、 音声多重分離機能を有する端末では、 呼出元の言語と呼出先の言語を分 離して内容を確認できる。
また、 呼出元端末に送信する音声と呼出先端末に送信する音声を個別 に記録し、 端末からの指令により指定された側の音声を再生して送信す るようにしてもよい。 これにより、 音声多重分離機能を有しない端末で も、 呼出元の言語と呼出先の言語を分離して内容を確認できる。
請求項 1 3に記載のテレビ電話通訳システムは、 請求項 1ないし請求 項 1 2のいずれかに記載のテレビ電話通訳システムであって、 通訳者登 録テ一ブルには通訳者を選択する選択情報が登録され、 接続手段は呼出 元端末から通訳者の選択条件を取得する機能と、 取得された通訳者の選 択条件から通訳者登録テーブルを参照して該当する通訳者の端末番号を 取出す機能とを有するものである。
これにより、 通訳者登録テーブルに登録されている通訳者の中から呼 出元と呼出先のテレビ対談の目的に適した人を選択できる。 通訳者を選 択する選択情報には、 性別 ·年齢 ·居住地 ·専門分野 ·保有資格等に関 する情報が含まれる。
尚、 通訳者登録テーブルに通訳者の言語別の通訳レベルを登録するよ うにすれば、 利用者は目的とする言語間の通訳について希望するレベル の通訳者を選択することができ、 通訳者は自分が対応可能な言語を多数 登録できるので、 柔軟で効率的な通訳者の選定が可能となる。
また、 双方向同時通訳によるテレビ電話通訳システムでは、 通訳者登 録テーブルに登録する言語別の通訳レベルとして、 ヒアリングのレベル とスピーキングのレベルとを区分して登録することにより、 第 1通訳者 に最適な人と第 2通訳者に最適な人とを個別に選定することができ、 更 に柔軟で効率的な通訳者の選定が可能となる。
請求項 1 4に記載のテレビ電話通訳システムは、 請求項 1ないし請求 項 1 3のいずれかに記載のテレビ電話通訳システムであって、 通訳者登 録テーブルには通訳者が受付可能か否かを示す受付フラグが登録され、 接続手段は通訳者登録テーブルの受付フラグを参照して受付可能な通訳 者の端末番号を取出す機能を有するものである。
これにより、 通訳者が通訳者登録テーブルに受付可能か否かを登録し ておくことで、 受付可能な通訳者を自動的に選択して呼出せるので、 無 駄な呼出を排除して、 より柔軟で効率的なテレビ電話通訳システムを構 成できる。
請求項 1 5に記載のテレビ電話通訳システムは、 請求項 1ないし請求 項 1 4のいずれかに記載のテレビ電話通訳システムであって、 接続手段 は各端末に対して送信する文字メッセージを生成する機能を有し、 通信 手段は各端末に対して生成された文字メッセージを送出する機能を有す るものである。
これにより、 呼出元端末と呼出先端末と通訳者端末とを接続する際に 、 各端末に対して必要な情報入力を促す文字メッセ一ジを送出できる。 請求項 1 6に記載のテレビ電話通訳システムは、 請求項 1ないし請求 項 1 5のいずれかに記載のテレビ電話通訳システムであって、 接続手段 は各端末に対して送信する音声メッセ一ジを生成する機能を有し、 通信 手段は各端末に対して生成された音声メッセージを送出する機能を有す るものである。
これにより、 呼出元端末と呼出先端末と通訳者端末とを接続する際に 、 呼出先端末 ·呼出先端末'通訳者端末に対して音声メッセージを送出で きるので、 呼出元 · 呼出先 ·通訳者のいずれかが視覚障害者であっても テレビ電話通訳サービスを提供できる。
請求項 1 7に記載のテレビ電話通訳方法は、 請求項 1ないし請求項 1 6のいずれかに記載のテレビ電話通訳システムであって、 接続手段は各 端末からの指令により対話中に使用する用語を登録する機能と、 各端末 からの指令により登録された用語を取出してテロップを生成する機能と を有し、 通信手段は各端末に対して生成されたテロップを送出する機能 を有するものである。
これにより、 通訳の困難な用語をあらかじめ登録しておくことで、 各 端末の画面にテロップ表示でき、 より迅速かつ的確なテレビ電話通訳サ —ビスを提供できるを提供できる。
請求項 1 8に記載のテレビ電話通訳方法は、 請求項 1ないし請求項 1 7のいずれかに記載のテレビ電話通訳システムであって、 通訳者登録テ —ブルには通訳者の課金情報が登録され、 接続手段は呼出元端末または 呼出先端末が通訳サービスを受けている時間を計測する機能と、 計測さ れた時間と通訳者登録テーブルに登録されている課金情報とから利用料 金を演算する機能とを有するものである。
これにより、 通訳者登録テ一ブルに通訳者の課金情報を登録しておく ことにより、 テレビ電話通訳サービスに対して適正な利用料金を課金す ることができる。
尚、 通訳者登録テーブルには、 通訳者の言語別の通訳レベルが登録さ れ、 別途設けた通訳レベルと時間単価の関係を規定した課金テーブルを 用いて課金情報を得るようにしてもよい。 これにより、 通訳者のレベル に応じた適正な利用料金を課金できる。
請求項 1 9に記載のテレビ電話通訳方法は、 異なる言語を使用する呼 出元と呼出先との間のテレビ電話対談を通訳者が通訳するテレビ電話通 訳方法であって、 通訳者が通訳可能な言語種別と通訳者の端末番号とが 少なくとも登録される通訳者登録テーブルを用い、 呼出元端末からの呼 出を受付るステップと、 呼出を受付た呼出元端末から呼出先の端末番号 と呼出先の言語種別と呼出元の言語種別とを取得するステツプと、 取得 された呼出元の言語種別と呼出先の言語種別とから通訳者登録テーブル を参照して通訳者の端末番号を取出すステツプと、 取出された通訳者の 端末番号により通訳者端末を呼出すステップと、 取得された呼出先の端 末番号により呼出先端末を呼出すステップとを有し、 呼出元端末に対し て少なくとも呼出先端末からの映像を含む映像と少なくとも通訳者端末 からの音声を含む音声を送信するステツプと、 前記呼出先端末に対して 少なくとも前記呼出元端末からの映像を含む映像と少なくとも通訳者端 末からの音声を含む音声を送信するステツプと、 通訳者端末に対して少 なくとも呼出元端末からの音声と呼出先端末からの音声を含む音声を送 信するステップとを有するものである。
これにより、 呼出元端末からの呼出に基づいて、 通訳者登録テーブル から呼出元の言語と呼出先の言語との間を通訳可能な通訳者の端末番号 が取出され、 呼出元端末と呼出先端末と通訳者端末とが自動接続され、 通訳に必要な映像および音声の通信が行われるので、 呼出元は事前に通 訳者を探し出して呼出先と協議する必要がなく、 緊急対応可能なテレビ 電話通訳サービスを提供できる。 また、 通訳者は呼出可能な状態にある 限り何処にいても対応できるので、 通訳者の拘束時間を最小限として通 訳サービスのコストを低減できる。
請求項 2 0に記載のテレビ電話通訳方法は、 異なる言語を使用する呼 出元と呼出先との間のテレビ電話対談を呼出先の言語を呼出元の言語に 通訳する第 1通訳者と呼出元の言語を呼出先の言語に通 する第 2通訳 者とによって通訳するテレビ電話通訳方法であって、 通訳者が通訳可能 な言語種別と通訳者の端末番号とが少なくとも登録される通訳者登録テ 一ブルを用い、 呼出元端末からの呼出を受付るステップと、 呼出を受付 た呼出元端末から呼出先の端末番号と呼出先の言語種別と呼出元の言語 種別とを取得するステップと、 取得された呼出先の言語種別と呼出元の 言語種別とから通訳者登録テーブルを参照して第 1通訳者の端末番号を 取出すステップと、 取出された第 1通訳者の端末番号により第 1通訳者 端末を呼出すステップと、 取得された呼出元の言語種別と呼出先の言語 種別とから通訳者登録テーブルを参照して第 2通訳者の端末番号を取出 すステップと、 取出された第 2通訳者の端末番号により第 2通訳者端末 を呼出すステップと、 取得された呼出先の端末番号により呼出先端末を 呼出すステップとを有し、 呼出元端末に対して少なくとも呼出先端末か らの映像を含む映像と少なくとも第 1通訳者端末からの音声を含む音声 を送信するステップと、 呼出先端末に対して少なくとも呼出元端末から の映像を含む映像と少なくとも第 2通訳者端末からの音声を含む音声を 送信するステップと、 第 1通訳者端末に対して少なくとも呼出先端末か らの音声を含む音声を送信するステツプと、 第 2通訳者端末に対して少 なくとも呼出先端末からの音声を含む音声を送信するステツプとを有す るものである。
これにより、 呼出元端末からの呼出に基づいて、 通訳者登録テーブル から呼出先の言語を呼出元の言語に通訳する第 1通訳者と呼出元の言語 を呼出先の言語に通訳する第 2通訳者の端末番号が取出され、 呼出元端 末と呼出先端末と第 1通訳者端末と第 2通訳者端末とが自動接続され、 通訳に必要な映像および音声の通信が行われるので、 呼出元は事前に通 訳者を探し出して呼出先と協議する必要がなく、 緊急対応可能なテレビ 電話通訳サービスを提供できる。 また、 通訳者は呼出可能な状態にある 限り何処にいても対応できるので、 通訳者の拘束時間を最小限として通 訳サービスのコストを低減できる。
本願発明の上述の目的， その他の目的， 特徴および利点は、 図面を参 照して行う以下の発明の実施の形態の詳細な説明から一層明らかとなろ Ό。 図面の簡単な説明
第 1図は、 本願発明の第一実施形態にかかるテレビ電話通訳シ のシステム構成図である。
第 2図は、 本願発明の第一実施形態にかかるテレビ電話通訳 にける各端末画面に表示される映像の例を示す図である。
第 3図は、 本願発明の第一実施形態にかかるテレビ電話通訳シ における通訳者登録テーブルの一例を示す図である。
第 4図は、 本願発明の第一実施形態にかかるテレビ電話通訳 における制御装置の接続処理の処理フロー図である。
第 5図は、 呼出元と呼出先の言語種別の入力を促す画面の一例を示す 図である。
第 6図は、 通訳者選定条件の入力を促す画面の一例を示す図である。 第 7図は、 呼出先の端末番号の入力を促す画面の一例を示す図である 第 8図は、 本願発明の第二実施形態にかかるテレビ電話通訳 のシステム構成図である。
第 9図は、 接続先テーブルの一例を示す図である。
第 1 0図は、 本願発明の第二実施形態にかかるテレビ電話通訳システ ムにおける制御装置の接続処理の処理フロー図である。
第 1 1図は、 本願発明の第三実施形態にかかるテレビ電話通訳システ ムのシステム構成図である。
第 1 2図は、 本願発明の第三実施形態にかかるテレビ電話通訳システ ムにおける各端末画面に表示される映像の例を示す図である。
第 1 3図は、 本願発明の第三実施形態にかかるテレビ電話通訳システ ムにおける通訳者登録テーブルの一例を示す図である。
第 1 4図は、 本願発明の第三実施形態にかかるテレビ電話通 ムにおける制御装置の接続処理の処理フロー図である。
第 1 5図は、 本願発明の第一実施形態にかかるテレビ電話通訳システ ムにおける音声通信機能の一実施例を示すブロック構成図である。 第 1 6図は、 本願発明の第一実施形態にかかるテレビ電話通訳システ ムにおける音声通信機能の他の実施例を示すブロック構成図である。 第 1 7図は、 本願発明の第三実施形態にかかるテレビ電話通訳システ ムにおける音声通信機能の一実施例を示すブロック構成図である。 第 1 8図は、 本願発明の第三実施形態にかかるテレビ電話通訳システ ムにおける音声通信機能の他の実施例を示すプロック構成図である。 第 1 9図は、 本願発明の第一実施形態にかかるテレビ電話通訳システ ムにおける記録再生機能の実施例を示すブロック構成図である。
第 2 0図は、 本願発明の第三実施形態にかかるテレビ電話通訳システ ムにおける記録再生機能の実施例を示すブロック構成図である。
第 2 1図は、 記録再生機能により各端末画面に表示される映像の例を 示す図である。
第 2 2図は、 従来の多地点接続装置によるテレビ会議サービスを用い てテレビ電話通訳を行う場合のシステム構成図である。 発明を実施するための最良の形態
第 1図に本願発明の第一実施形態にかかるテレビ電話通訳システムの システム構成図を示す。 本実施形態は、 呼出元 · 呼出先 ·通訳者の使用 する各端末が公衆電話回線に接続する電話型のテレビ電話端末である場 合のシステム構成例を示す。
図において、 1 0 0は通訳サービスを提供する通訳センターに設置さ れるテレビ電話通訳システムであり、 公衆電話回線 4 0を介して、 呼出 元が使用するテレビ電話端末 （以下、 呼出元端末と呼ぶ） 1 0と、 呼出 先が使用するテレビ電話端末 （以下、 呼出先端末と呼ぶ） 2 0と、 通訳 者が使用するテレビ電話端末 （以下、 通訳者端末と呼ぶ） 30とを接続 し、 呼出元と呼出先の間のテレビ電話対談を通訳者がテレビ電話を介し て通訳するテレビ電話通訳サービスを提供するものである。
呼出元端末 1 0、 呼出先端末 20、 通訳者端末 30は、 それぞれ各利 用者を撮像するテレビカメラ （a) と、 受信した映像を表示するデイス プレイ画面 （b) と、 番号入力や情報入力のためのダイアルパッ ド （c ) と、 音声の入出力を行うヘッドセッ ト （d) を備える。 尚、 音声の入 出力は、 必ずしもヘッ ドセットである必要はなく、 通常の電話で用いら れる送受話器でもよい。
このような公衆回線に接続するテレビ電話端末としては、 例えば I T U— T勧告の H. 3 20に準拠した I S DNテレビ電話端末等があるが 、 本願発明はこれに限らず独自のプロトコルを使用するテレビ電話端末 を使用してもよい。
尚、 公衆電話回線には無線式のものが含まれ、 テレビ電話端末にはテ レビ電話機能を有する携帯電話や携帯端末を使用してもよい。
テレビ電話通訳システム 1 00は、 呼出元端末と接続するための呼出 元端末用回線インタ一フェース （以下、 インタ一フェースは I ZFと略 す） 1 20と、 呼出先端末と接続する'ための呼出先端末用回線 I ZF 1 40と、 通訳者端末と接続するための通訳者端末用回線 I ZF 1 60と を備え、 それぞれ映像信号 '音声信号 ·データ信号を多重化したり分離し たりする多重 ·分離装置 1 22、 142、 1 6 2と、 映像信号の圧縮- 伸張を行う映像コーデック 1 24、 144、 1 64と、 音声信号の圧縮 •伸張を行う音声コーデック 1 26、 146、 1 6 6とが接続されてい る。 ここで、 各回線 I /F、 各多重'分離装置、 各映像コ一デック、 各音 声コーデックは、 各端末で使用されるプロトコルに対応して呼制御ゃス トリーミング制御、 映像信号や音声信号の圧縮 ·伸張が行われる。
呼出元端末用映像コーデック 1 2 4の映像入力には、 呼出先端末用映 像コーデック 1 4 4からの映像出力と通訳者端末用映像コ一デック 1 6 4からの映像出力と呼出元端末用テロップメモリ 1 3 2の出力とを合成 する映像合成装置 1 2 8が接続され、 呼出先端末用映像コーデック 1 4 4の映像入力には、 呼出元端末用映像コーデック 1 2 4からの映像出力 と通訳者端末用映像コーデック 1 6 4からの映像出力と呼出先端末用テ ロップメモリ 1 5 2の出力とを合成する映像合成装置 1 4 8が接続され ている。
また、 通訳者端末用映像コ一デック 1 6 4の映像入力には、 呼出元端 末用映像コ一デック 1 2 4からの映像出力と呼出先端末用映像コーデッ ク 1 4 4からの映像出力と通訳者端末用テロップメモリ 1 7 2の出力と を合成する映像合成装置 1 6 8が接続されている。
尚、 呼出元端末、 呼出先端末では、 通訳者の映像表示は省略すること ができるが、 通訳者の映像を表示することで通訳された音声の判読が容 易になるので、 通訳者の映像を合成できるようにしておくことが好まし い。
また、 通訳者端末では、 呼出元や呼出先の映像表示は省略することが できるが、 これらの映像を表示することで通訳する際の音声の判読が容 易になるので、 呼出元や呼出先の映像を表示できるようにしておくこと が好ましい。
第 2図に、 テレビ電話通訳システム 1 0 0においてテレビ対談中に各 端末画面に表示される映像の例を示す。 第 2 ( a ) 図は呼出元端末の画 面であり、 映像合成装置 1 2 8によって呼出先の映像に通訳者の映像を 合成した映像が表示される。 ここでは、 呼出先の映像を親画面、 '通訳者 の映像を子画面としてピクチャーィンピクチャ一表示しているが、 通訳 者の映像を親画面、 呼出先の映像を子画面としてピクチャーィンピクチ ヤー表示してもよく、 両者を均等に表示してもよい。 第 2 ( b ) 図は呼 出先端末の画面であり、 映像合成装置 1 4 8によって呼出元の映像に通 訳者の映像を合成した映像が表示される。 ここでは、 呼出元の映像を親 画面、 通訳者の映像を子画面としてピクチャーインピクチャー表示して いるが、 通訳者の映像を親画面、 呼出先の映像を子画面としてピクチャ —インピクチャー表示してもよく、 両者を均等に表示してもよい。 第 2 ( c ) 図は通訳者端末の画面であり、 映像合成装置 1 6 8によって呼出 元の映像に呼出先の映像を合成した映像が表示される。
一方、 呼出元端末用音声コーデック 1 2 6の音声入力には、 呼出先端 末用音声コーデック 1 4 6からの音声出力と通訳者端末用音声コーデッ ク 1 6 6からの音声出力とを合成する音声合成装置 1 3 0が接続され、 呼出先端末用音声コーデック 1 4 6の音声入力には、 呼出元端末用音声 コーデック 1 2 6からの音声出力と通訳者端末用音声コーデック 1 6 6 からの音声出力とを合成する音声合成装置 1 5 0が接続されている。 また、 通訳者端末用音声コーデック 1 6 6の音声入力には、 呼出元端 末用音声コ一デック 1 2 6からの音声出力と呼出先端末用音声コーデッ ク 1 4 6からの音声出力とを合成する音声合成装置 1 7 0が接続されて いる。
ここで、 通訳者端末用音声コ一デック 1 6 6からの音声出力は、 切換 器 1 7 4に入力され、 通訳者端末からの指令に基づき、 通訳者が呼出先 の言語を呼出元の言語に通訳するときは呼出元端末用音声合成装置 1 3 0に対して、 通訳者が呼出元の言語を呼出先の言語に通訳するときは呼 出先端末用音声合成装置 1 5 0に対して供給される。 これにより、 通訳 者の音声は呼出元と呼出先のいずれか必要な側にのみ送信されるので、 呼出元または呼出先の発言が不要な通訳者の音声によって妨げられるこ とを防止でき、 スムースに対談できる。
また、 呼出元端末用音声合成装置 1 3 0は、 通訳者端末からの音声を 検知したときに呼出先端末からの音声レベルを抑圧するかまたは呼出先 端末からの音声を通訳者端末からの音声に切換える機能を備え、 呼出先 端末用音声合成装置 1 5 0は、 通訳者端末からの音声を検知したときに 呼出元端末からの音声レベルを抑圧するかまたは呼出先端末からの音声 を通訳者端末からの音声に切換える機能を備えている。 これにより、 呼 出元や呼出先において、 通訳者による通訳の音声が相手方の音声に重な つて聴き取り困難となることを防止できるので、 通訳者が発言者の発言 を同時通訳することができ、 迅速かつ的確な通訳が可能となる。
第 1 5図に、 切換器 1 7 4における通訳者音声の送信先の切換機能お よび音声合成装置 1 3 0、 1 5 0における呼出先音声または呼出元音声 の抑圧機能の具体的実施例を示す。 図のように、 通訳者端末用音声コー デック 1 6 6からの音声出力はスィッチ 1 7 4を介して呼出元端末用音 声信号加算器 1 9 0と呼出先端末用の音声信号加算器 1 9 3とに接続さ れており、 P B検出器 1 7 5からの信号によって通訳者の音声が呼出元 か呼出先のいずれかに供給される。 P B検出器 1 7 5は、 通訳者端末か らの音声信号により、 端末のダイアルパッ ドにおいてあらかじめ定めた 呼出元選択用番号または呼出先選択用番号が押されたことを、 データ信 号またはトーン信号により検出し、 指定された側に切換器 1 7 4を切換 える。 このため、 通訳者は通訳する際にその音声が呼出元に対するもの か呼出先に対するものかをダイアルパッ ドから指定して発声する。 これ により、 呼出元と呼出先のうち通訳者の音声を聞く必要のない側には通 訳者の音声は伝達されない。
—方、 呼出元端末用音声信号加算器 1 9 0には呼出先端末用音声コー デック 1 4 6からの音声出力が減衰器 1 9 1を介して接続されており、 信号検出器 1 9 2によって通訳者からの音声が検出されたときに呼出先 端末からの音声を減衰させる。 また、 呼出先端末用音声信号加算器 1 9 3には呼出元端末用音声コ一デック 1 2 6からの音声出力が減衰器 1 9 4を介して接続されており、 信号検出器 1 9 5によって通訳者からの音 声が検出されたときに呼出元端末からの音声を減衰させる。 ここで、 信 号検出器 1 9 2、 1 9 5はノイズ等により相手方の音声が誤って減衰さ せられるのを防止するため適当な検出レベルに設定されている。
尚、 信号検出器 1 9 2、 1 9 5において通訳者の音声が検出された直 後の通訳者の音声を呼出元または呼出先が確実に聴取できるように、 音 声信号加算器 1 9 0、 1 9 3の通訳者の音声入力に適当な信号遅延器を 設けるようにしてもよい。
上記実施例では、 呼出元または呼出先が通訳者の音声を聞くときに相 手方の生の音声をある程度聴取可能なように、 減衰器 1 9 1 、 1 9 4に よって減衰させるようにしたが、 スィツチによって完全に遮断するよう にしてもよい。
第 1 6図に、 通訳者の音声が伝達されたときに相手方の音声を遮断し 、 通訳者の音声のみを伝達する場合の実施例を示す。 図のように、 前述 の音声信号加算器 1 9 0、 1 9 3に代えてスィッチ 1 9 7、 1 9 8を用 い、 信号検出器 1 9 2、 1 9 5によって通訳者の音声を検出したときに 、 スィッチ 1 9 7、 1 9 8を相手方の音声から通訳者の音声に切換える 。 その他の構成は第 1 5図と同等である。
尚、 この場合も信号検出器 1 9 2、 1 9 5において通訳者の音声が検 出された直後の通訳者の音声を呼出元または呼出先が確実に聴取できる ように、 スィッチ 1 9 7、 1 9 8の通訳者の音声入力に適当な信号遅延 器を設けるようにしてもよい。
上記実施例では、 音声信号加算器 1 9 0、 1 9 3は通訳者の音声と相 手方の音声を単純加算するものとして説明したが、 2つの信号を音声多 重合成するようしてもよい。 例えば、 端末がステレオ音声対応のもので あれば、 相手方の音声を左信号、 通訳者の音声を右信号としてステレオ 合成した信号を送信し、 端末側で受信者が必要とする音声を選択する。 この場合、 テレビ電話通訳システムにおいて相手方の音声を減衰させる 減衰器を設ける必要はなく、 受信者側で状況に応じてへッドセッ トの左 側と右側の音量バランスを調節して聴くようにすればよい。
上記実施例では、 通訳者の音声はスィツチ 1 7 4によって呼出元に送 信するか呼出先に送信するかを切換えるものとして説明したが、 通訳者 の音声を音声信号加算器 1 9 0 (またはスィッチ 1 9 7 ) および音声信 号加算器 1 9 3 (またはスィッチ 1 9 8 ) のそれぞれに減衰器を介して 供給し、 P B検出器 1 7 5によって不要な側への音声信号を減衰させる ようにしてもよい。 このように、 減衰器を用いることで発言者側にも通 訳者の音声がある程度伝達されるので、 発言者は自分の音声が通訳され ていることを確認しながら発言できる。
テレビ電話通訳システム 1 0 0は、 通訳者が使用する通訳者用端末の 端末番号を登録する通訳者登録テーブル 1 1 2を有し、 各回線 I 1 2 0、 1 4 0、 1 6 0、 各多重 ·分離装置 1 2 2、 1 4 2、 1 6 2、 各映 像合成装置 1 2 8、 1 48、 1 6 8、 各音声合成装置 1 3 0、 1 5 0、 1 7 0、 各テロップメモリ 1 3 2、 1 5 2、 1 7 2のそれぞれと接続さ れる制御装置 1 1 0を備え、 呼出元端末からの呼出を受付る機能と、 呼 出元の言語種別と呼出先の言語種別を取得する機能と、 通訳者の選定条 件を取得する機能と、 当該取得された言語種別と選定条件とから通訳者 登録テーブル 1 1 2を参照して通訳者の端末番号を取出す機能と、 当該 取出した端末番号によって通訳者端末を呼出す機能と、 呼出先の端末番 号を取得する機能と、 当該取得した端末番号によって呼出先端末を呼出 す機能とによって、 呼出元端末と呼出先端末と通訳者端末とを接続する 機能を提供する。
また、 各映像合成装置 1 2 8、 1 4 8、 1 6 8や各音声合成装置 1 3 0、 1 5 0、 1 7 0の動作は、 制御装置 1 1 0によってコントロールさ れており、 各端末から利用者がダイアルパッ ドの所定の番号ポタンを押 すことによって映像表示方法または音声出力方法を変更する機能を有す る。 これは、 各多重 ·分離装置 1 2 2、 1 4 2、 1 6 2において各端末 でダイアルパッ ドの番号ボタンが押されたことをデ一夕信号またはトー ン信号により検出し、 これを制御装置に伝達することにより実現できる 。 これにより、 各端末では目的に応じて必要な映像や音声のみを選択し て表示したり、 親画面と子画面を入替えたり、 子画面の位置を変更する など、 柔軟な使い方ができる。
更に、 各映像合成装置 1 2 8、 1 4 8、 1 6 8の入力には、 それぞれ 呼出元端末用テロップメモリ 1 3 2、 呼出先端末用テロップメモリ 1 5 2、 通訳者端末用テロップメモリ 1 7 2が接続されており、 各テロップ メモリ 1 3 2、 1 5 2、 1 7 2の内容は制御装置 1 1 0から設定できる ようになつている。 これにより、 通訳を介したテレビ電話対談を設定す る際に、 各端末に対するメッセージを各テロップメモリ 1 3 2、 1 5 2 、 1 7 2に設定し、 各映像合成装置 1 2 8、 1 4 8、 1 6 8に対して各 テロップメモリ 1 3 2、 1 5 2、 1 7 2の信号を選択する指令を出すこ とで、 各端末に対して必要なメッセ一ジを伝達して 3者間通話を確立す ることができる。
また、 テレビ電話対談において説明の困難な用語や発音の困難な言葉 等がある場合に、 その用語をあらかじめ各端末のダイアルパッ ドの番号 に対応させて制御装置 1 1 0の用語登録テーブル 1 1 3に登録しておき 、 テレビ電話対談中に各端末のダイアルパッ ドが押されたことを各多重 •分離装置 1 2 2、 1 4 2、 1 6 2においてデータ信号またはトーン信 号により検出し、 押されたダイアルパッ ドの番号に対応する用語を用語 登録テーブル 1 1 3から取出して文字テロップを生成し、 各テロップメ モリに設定することで各端末にその用語を表示することができる。 これ により、 説明の困難な用語や発音の困難な言葉を文字テロップにより相 手方に伝えることができるので、 より迅速で的確なテレビ電話通訳サー ビスを提供できる。
次に、 通訳を介したテレビ電話対談を設定するための制御装置 1 1 0 による接続処理について説明する。
処理に先だって、 制御装置 1 1 0の通訳者登録テーブル 1 1 2には、 適当な端末 （図示省略） から、 通訳者の選定情報と各通訳者が使用する 端末の端末番号を登録しておく。 第 3図に、 通訳者登録テーブル 1 1 2 に登録される登録項目の例を示す。 通訳者の選定情報とは、 利用者が希 望する通訳者を選定するための情報であり、 性別 ·年齢'対応可能な言語 ·居住地'専門分野等を登録する。対応可能な言語については、言語別に 通訳者のレベルを登録し、 利用者が目的とする言語間で希望するレベル の通訳者を選定できるようにした。 ここでは、 通訳のレベルとして、 上 級は 1、 中級は 2、 初級は 3で表している。 居住地については、 利用者 が特定の地域についての地理的知識を有する人を希望する場合を想定し たもので、 ここでは郵便番号によって地域指定できるようにした。 専門 分野については、 対談の内容が専門的なものとなる場合に利用者がその 分野の専門知識を有する人やその分野の話題に明るい人を希望する場合 を想定したもので、 ここでは通訳者が得意とする分野を政治 ·法律 · ビ ジネス ·教育 ·科学技術 ·医療 ·語学 ·スポーツ '趣味等に分けて登録で きるようにした。 尚、 専門分野は多岐にわたるので、 階層的に登録して おいて選択時に利用者の希望するレベルでサーチするようにしてもよい この他に、 各通訳者が保有する資格を登録しておき、 利用者が希望す る資格保有者を通訳に選定できるようにしてもよい。
端末番号については、 ここでは公衆電話回線に接続するテレビ電話端 末を対象としているので、 端末の電話番号を登録することになる。
また、 通訳者登録テーブル 1 1 2には、 登録された通訳者が通訳の受 付が可能か否かを示す受付フラグが設けられており、 登録された通訳者 が自己の端末から通訳センターを呼出し、 ダイアルパッ ドを使用してコ マンド入力することで、 受付フラグをセットしたり、 リセッ 卜したりす ることができるようにした。 これにより、 登録された通訳者は通訳の受 付が可能なときにのみ通訳者登録テーブルの受付フラグをセッ トするこ とにより無駄な呼出を排除でき、 利用者も対応可能な通訳者を迅速に選 択することができる。
第 4図に、 制御装置 1 1 0による接続処理の処理フローを示す。 テレ ビ電話通訳システム 1 0 0は、 呼出元が呼出元端末用回線 I / Fの電話 番号に架電することにより通訳サービスの申込を受付け、 通訳者端末と 呼出先端末を呼出してテレビ電話通訳サービスのための接続を確立する 図のように、 最初に呼出元端末用回線 I Z F 1 2 0に呼出があったこ とを検出する （S 1 0 0 ) 。 呼出が検出されたら、 呼出元端末に対して 呼出元の言語種別の入力を促す画面を表示する （S 1 0 2 ) 。 これは、 例えば第 5 ( a ) 図のようなメッセージを呼出元端末用テロップ 1 3 2 に設定することにより行う。 これに対して呼出元が入力した呼出元の言 語種別を取得する （S 1 0 4 ) 。 これにより、 以降の呼出元端末および 通訳者端末に対するメッセージは取得された呼出元の言語種別により行 Ό。 次に、 呼出元端末に対して呼出先の言語種別の入力を促す画面を表示 する （S 1 0 6 ) 。 これは、 例えば第 5 ( b ) 図のようなメッセ一ジを 呼出元端末用テロップ 1 3 2に設定することにより行う。 これに対して 呼出元が入力した呼出先の言語種別を取得する （S 1 0 8 ) 。 これによ り、 呼出先端末に対するメッセージは取得された呼出先の言語種別によ り行う。
また、 呼出元端末に対して通訳者の選定条件の入力を促す画面を表示 する （ S 1 1 0 ) 。 これは、 例えば第 6 ( a ) 図のようなメッセ一ジを 呼出元端末用テロップ 1 3 2に設定することにより行う。 これに対して 呼出元が入力した通訳者選定条件を取得する （S 1 1 2 ) 。 ここで、 呼 出元が入力する通訳者の選定条件は、 性別 ·年齢区分 ·地域 '専門分野 · 通訳のレベルである。 尚、 地域は郵便番号を用いて指定することとし、 通訳者は居住地が指定された地域に近いものから順に選定されるように した。 いずれの選定項目についても特に指定する必要がない場合は不問 を選ぶことができる。
次に、 通訳者登録テーブル 1 1 2を参照し、 呼出元の言語と呼出先の 言語において指定された通訳レベルを有し、 性別 ·年齢 ·居住地 ·専門 分野が取得された選定条件に合致し、 受付フラグがセットされている通 訳者を抽出し、 呼出元端末に対して通訳者候補リストを表示して希望す る通訳者の選択番号の入力を促す （S 1 1 4 ) 。 これは、 例えば第 6 ( b ) 図のようなメッセージと通訳者候補リストを呼出元端末用テロップ 1 3 2に設定することにより行う。 このとき、 通訳者登録テーブル 1 1 2に登録されている当該通訳者の時間単価 （図示省略） を取出し、 料金 として表示する。 これにより、 利用者は通訳サービスに要する費用を考 慮して適切な通訳者を選択することができる。 尚、 通訳者の時間単価は 、 別途通訳者の通訳レベルと時間単価の関係を規定した課金テーブルを 設け、 選定された通訳者の通訳レベルから課金テーブルを参照して求め るようにしてもよい。 このような通訳者候補リストに対して、 呼出元が 入力した選択番号を取得し （S 1 1 6 ) 、 通訳者登録テーブル 1 1 2か ら当該選択された通訳者の端末番号を取出して呼出す （S 1 1 8 ) 。 こ のとき、 呼出元の個人情報や呼出元と呼出先の言語種別や通訳者の選定 条件等を、 通訳者端末用テロップ 1 7 2を用いて通訳者端末に通知し、 通訳を受けるか否かを確認するようにしてもよい。 尚、 呼出元の個人情 報は、 例えば当該通訳サービスを会員制とし、 あらかじめ登録された会 員情報を利用すればよい。
当該通訳者端末から応答があつたときは （S 1 2 0 ) 、 呼出元端末に 対して呼出先の端末番号の入力を促す画面を表示する （S 1 2 2 ) 。 こ れは、 例えば第 7図のようなメッセージを呼出元端末用テロップ 1 3 2 に設定することにより行う。 これに対して呼出元が入力した呼出先の端 末番号を取出して呼出す （S 1 2 4 ) 。 このとき、 同様に呼出元の個人 情報や呼出元と呼出先の言語種別や通訳者の選定条件等を、 呼出先端末 用テロップ 1 5 2を用いて呼出先端末に通知し、 呼出を受けるか否かや 設定条件の誤り等を確認するようにしてもよい。
そして、 当該呼出先端末から応答があつたときに ( S 1 2 6 ) 、 テレ ビ電話通訳サ一ビスが開始される ( S 1 2 8 ) 。
S 1 2 0で選択された通訳者端末から応答がない場合は、 次候補があ るか否かを判断し （S 1 3 0 ) 、 次候補がある場合は S 1 1 8に戻って 繰返し、 次候補がない場合は呼出元端末にその旨を通知して切断する （ S 1 3 2 ) 。 S 1 2 6で呼出先端末から応答がない場合は、 呼出元端末 および選択された通訳者端末にその旨を通知して切断する （S 1 3 4 ) 制御装置 1 1 0には通訳サービスの利用料金を計算するためのタイマ 一 （図示省略） を備えており、 接続が開始されてから切断されるまでの 時間が計測される。 そして、 通訳サービスの終了後にタイマ一により計 測された時間と前述の時間単価とから利用料金が演算されて課金データ ベ一ス 1 1 4に登録され、 後日利用者に対して請求される。
上記実施形態では、 選択された通訳者端末から応答がない場合は、 単 に呼出元にその旨を通知して切断するとして説明したが、 通訳予約テ一 ブルを設けて呼出元の端末番号と呼出先の端末番号とを登録し、 当該選 択された通訳者からの応答があつたときに呼出元と呼出先に通知してテ レビ電話通訳サービスを設定するようにしてもよい。
上記実施形態では、 呼出元に対して通訳者の選定のために呼出元の言 語種別と呼出先の言語種別を入力させるようにしたが、 呼出元の言語毎 もしくは呼出元の言語と呼出先の言語の組合せ毎に通訳センターの電話 番号を定めておくことで呼出元または呼出先の言語種別を取得するよう にしてもよい。 また、 上記実施形態では、 呼出元に対して通訳者の選定 のために通訳者の選定条件を入力させるようにしたが、 最初に通訳者の 選定条件を指定するか否かを問合せ、 指定しないことを選択したときは 入力された言語種別のみによって通訳者を選定するようにしてもよい。
また、 緊急時は呼出元が最初に特定のダイアル番号を押すことで緊急 対応専門の通訳者を自動的に呼出すようにしてもよい。
上記実施形態では、 テレビ電話通訳システム 1 0 0は回線 I Z F , 多 重 ·分離措置、 映像コーデック、 音声コーデック、 映像合成装置、 音声 合成装置、 制御装置等から構成されるものとして説明したが、 これらは 必ずしも個別の H / Wで構成する必要はなく、 コンピュータを用いてソ フトウエア処理によって各装置の機能を実現するように構成してもよい 上記実施形態では、 通訳者端末 3 0は呼出元端末 1 0や呼出先端末 2 0と同様に通訳センタ一の外にあって、 通訳センターから公衆電話回線 を介して呼出されて通訳サービスを提供するものとして説明したが、 本 願発明はこれに限定されるものではなく、 通訳者端末の一部または全部 を通訳センター内に設けて、 通訳センターから通訳サービスを提供する ようにしてもよいことは言うまでもない。
尚、 上記実施形態では、 通訳者は公衆電話回線に接続可能な端末を有 する限り何処にいても通訳サ一ビスに参加できるので、 前述の受付フラ グを利用して時間の空いたときを有効に活用して通訳サービスを提供で きる。 このようにすることで、 人員確保の難しい通訳サービスを効率的 かつ安定的に運用することができるようになる。
上記実施形態では、 映像合成装置 1 2 8、 1 4 8、 1 6 8には自端末 の映像信号は入力されていないが、 自端末の映像信号も入力して映像確 認用として合成して表示する機能を設けてもよい。
また、 上記実施形態では、 映像合成装置 1 2 8、 1 4 8、 1 6 8によ り各端末別に映像を合成するようにしているが、 本願発明はこれに限定 されるものではなく、 すべての端末の映像を一括で合成して各端末に送 信するようにしてもよい。 この場合、 例えば第 2 1 ( a ) 図に示すよう に、 呼出元の映像と呼出先の映像と通訳者の映像とを 4分割画面で表示 するようにしてもよい。
上記実施形態では、 テロップメモリ 1 3 2、 1 5 2、 1 7 2を設け、 これらの出力を対応する映像合成装置 1 2 8、 1 4 8、 1 6 8に加える ことで各端末に文字テロップを表示する機能を設けたが、 音声情報を記 憶するテロップメモリを設け、 これらの出力を対応する音声合成装置 1 3 0、 1 5 0、 1 7 0に加えることで各端末に音声メッセージを出力す る機能を設けてもよい。 これにより、 呼出元 ' 呼出先 ·通訳者のいずれ かが視覚障害者であってもテレビ電話通訳サービスを提供することがで さる。
第 8図に本願発明の第二実施形態にかかるテレビ電話通訳システムの システム構成図を示す。 本実施形態では、 呼出元 · 呼出先 ·通訳者の使 用する各端末が、 インタ一ネッ トに接続する I P (Internet Protocol) 型のテレビ電話端末であって、 We bブラウザ機能を備えたものである 場合のシステム構成例を示す。
図において、 2 0 0は通訳サービスを提供する通訳センターに設置さ れるテレビ電話通訳システムであり、 インターネッ ト 8 0を介して呼出 元が使用する呼出元端末 6 0と呼出先が使用する呼出先端末 7 0と通訳 者が使用する通訳者端末 2 3 1、 2 3 2、 …のいずれかとを接続し、 呼 出元と呼出先に対してテレビ電話通訳サービスを提供する。
呼出元端末 6 0、 呼出先端末 7 0、 通訳者端末 2 3 1、 2 3 2、 …は 、 ここでは映像入力 I ZF機能と音声入出力 I /F機能とネッ トワーク 接続機能とを有するパーソナルコンピュータ等の汎用の処理装置 （ a) に、 情報入力のためのキーボード （b) およびマウス （c) と、 We b サーバ 2 1 0から提示される W e bページ画面と通信サーバ 2 2 0から 供給されるテレビ電話画面を表示するディスプレイ（d)と、 各端末利用 者の映像を撮像するテレビカメラ（e)と、 各端末利用者に対して音声の 入出力を行うヘッ ドセッ ト （ f ) とを備え、 I Pテレビ電話ソフトと W e bブラウザをインストールしたものを使用したが、 専用のテレビ電話 端末を使用してもよい。
尚、 インタ一ネッ トに接続するテレビ電話端末としては、 例えば I T U— T勧告の H. 3 2 3に準拠した I Pテレビ電話端末等があるが、 本 願発明はこれに限らず独自のプロトコルを使用するテレビ電話端末を使 用してもよい。
また、 インターネッ トには無線 LAN式のものが含まれ、 テレビ電話 端末にはテレビ電話機能を有する携帯電話や携帯端末であって W e bァ クセス機能を提供するものを使用してもよい。
テレビ電話通訳システム 2 0 0は、 接続する呼出元端末と呼出先端末 と通訳者端末の各端末ァドレスを設定する接続先テーブル 2 2 2を有し 、 接続先テーブル 2 2 2に登録された端末間を接続して各端末から受信 した映像および音声を合成して各端末に送信する機能を有する通信サー バ 2 2 0と、 前述のように通訳者の選定情報と端末ァドレスと受付フラ グを登録する通訳者登録テーブル 2 1 2を有し、 呼出元端末から W e b ブラウザを使用してアクセスすることによって希望する通訳者を選択し 、 通信サーバ 2 2 0の接続先テーブル 2 2 2に呼出元端末と呼出先端末 と通訳者端末の各端末ァドレスを設定する機能を有する W e bサーバ 2 1 0と、 W e bサーバ 2 1 0および通信サーバ 2 2 0をィン夕一ネッ ト に接続するためのルータ 2 5 0と、 通信サーバ 2 2 0とネッ トワークで 接続される複数の通訳者端末 2 3 1、 2 3 2、 ···、 2 3 Nとから構成さ れる。
第 9図に、 接続先テーブル 2 2 2の例を示す。 図のように、 接続先テ —ブル 2 2 2には呼出元端末の端末ァドレスと呼出先端末の端末ァドレ スと通訳者端末の端末ァドレスとがセッ トとして登録され、 これによつ て 1つの通訳サービスが設定される。 接続先テ一ブル 2 2 2は、 通信サ ーパ 2 2 0の処理能力に応じてこのような端末ァドレスのセッ トを複数 登録できるようになっており、 これにより同時に複数の通訳サービスが 提供される。
尚、 接続先テーブル 2 2 2に登録する端末アドレスは、 インタ一ネッ ト上のアドレスであるから、 一般に I Pアドレスが使用されるが、 これ に限定されるものではなく、 例えばディ レクトリサーバによって付与さ れた名称等を使用するものであってもよい。 通信サーバ 2 2 0は、 接続先テーブル 2 2 2に設定された呼出元端末 と呼出先端末と通訳者端末とに対して、 所定のプロトコルに従ったパケ ッ ト通信を行い、 前述のテレビ電話通訳システム 1 0 0における多重 · 分離装置 1 2 2、 1 4 2、 1 6 2と、 映像コ一デック 1 24、 1 44、 1 64と、 音声コ一デック 1 2 6、 1 46、 1 6 6と、 映像合成装置 1 2 8、 1 48、 1 6 8と、 音声合成装置 1 3 0、 1 5 0、 1 7 0と同等 の機能をソフトウエア処理によって提供する。
これにより、 前述のテレビ電話通訳システム 1 0 0と同様に呼出元端 末と呼出先端末と通訳者端末との間で所定の映像および音声の通信が行 われ、 呼出元と被呼出元の間で通訳者を介したテレビ電話通訳サービス が提供される。
尚、 前述のテレビ電話通訳システム 1 0 0では、 制御装置 1 1 0とテ ロップメモリ 1 3 2、 1 5 2、 1 7 2とを用いて、 用語登録テーブル 1 1 3に登録された用語をテレビ電話対談中に端末からの指令に基づいて 取出し、 端末に文字テロップとして表示する機能を有していたが、 本実 施形態においても通信サーバ 2 2 0のソフト処理によって同様の機能を 設けるようにしてもよい。 また、 We bサーバ 2 1 0によって各端末か ら指定された用語を他の端末に対してポップアップメッセージとして表 示するようにしてもよく、 通信サーバ 2 2 0にテロップメモリを設けて 、 各端末から指定された用語を We bサーバ 2 1 0経由で当該テロップ メモリに書込むことにより各端末に文字テロップを表示するようにして もよい。
前述の通訳センターでは、 呼出元端末と呼出先端末と通訳者端末とを 接続する接続処理は制御装置 1 1 0によって実現したが、 本実施形態で は、 各端末が We bアクセス機能を有する場合を対象としているので、 We bサーバ 2 1 0によって接続処理を行う。 第 1 0図に、 We bサーバ 2 1 0による接続処理の処理フロ一を示す 。 本テレビ電話通訳システム 2 0 0においては、 呼出元端末から We b ブラウザを用いて通訳センタ一の We bサ一パ 2 1 0にアクセスして口 グィンすることにより、 通訳サービスの受付処理が開始される。
図のように、 We bサ一バ 2 1 0は、 最初に呼出元の端末ァドレスを 取得し ( S 2 0 0 ) 、 接続先テーブル 2 2 2に設定する (S 2 0 2 ) 。 次に、 呼出元端末に第 5 ( a) 図と同様な呼出元の言語種別の入力を促 す画面を配信し （S 2 0 4) 、 これに対して呼出元が入力した呼出元の 言語種別を取得する （S 2 0 6 ) 。 また、 呼出元端末に第 5 (b) 図と 同様な呼出先の言語種別の入力を促す画面を配信し （S 2 0 8 ) 、 これ に対して呼出元が入力した呼出先の言語種別を取得する （S 2 1 0) 。 また、 呼出元端末に前述の第 6 ( a) 図と同様な通訳者選定条件の入力 を促す画面を配信し （S 2 1 2) 、 これに対して呼出元が入力した通訳 者選定条件を取得する （S 2 1 4) 。
次に、 通訳者登録テーブル 2 1 2を参照して取得された言語種別と選 定条件に合致する通訳者のうち受付フラグがセッ トされている通訳者を 選定し、 呼出元端末に前述の第 6 (b) 図と同様な該当者リストを配信 して希望する通訳者の選択番号の入力を促す （S 2 1 6) 。 これに対し て呼出元が入力した通訳者の選択番号を取得し、 通訳者登録テーブル 2 1 2から当該選択された通訳者の端末アドレスを取得する （S 2 1 8 ) 。 取得した通訳者の端末ァドレスに基づいて通訳者端末に呼出画面を配 信し （S 2 2 0 ) 、 呼出を受付る旨の回答があつたときは （S 2 2 2 ) 、 当該通訳者の端末ァドレスを接続先テーブル 2 2 2に設定する （S 2 24) 。 次に、 呼出元端末に第 7図と同様な呼出先の端末アドレスの入 力を促す画面を配信し （S 2 2 6 ) 、 これに対して呼出元が入力した呼 出先の端末ァドレスを取得する （S 2 2 8 ) 。 取得した呼出先の端末ァ ドレスに基づいて呼出先端末に対して呼出画面を配信し （S 2 3 0 ) 、 呼出を受付る旨の回答があつたときは （S 2 3 2 ) 、 当該呼出先の端末 アドレスを接続先テーブル 2 2 2に設定する （S 2 3 4 ) 。 これにより 、 テレビ電話通訳サービスが開始される （S 2 3 6 ) 。
S 2 2 2で通訳者端末から呼出を受付る旨の回答がない場合は、 次候 補があるか否かを判断し （S 2 3 8 ) 、 次候補がある場合は呼出元端末 に他の候補を選択するよう促すメッセ一ジを配信して （S 2 4 0 ) 、 S 2 1 8に戻り、 次候補がない場合は呼出元端末にその旨通知して （S 2 4 2 ) 、 終了する。 S 2 3 2で呼出先端末から呼出を受付る旨の回答が ない場合は、 呼出元端末および選択された通訳者端末にその旨通知して ( S 2 4 4 ) 、 終了する。
上記実施形態においても、 選択された通訳者端末から呼出を受付る旨 の回答がない場合は、 単に呼出元にその旨を通知して終了するとして説 明したが、 通訳予約テーブルを設けて呼出元の端末ァドレスと呼出先の 端末アドレスとを登録し、 当該選択された通訳者からの応答があつたと きに呼出元と呼出先に通知してテレビ電話通訳サービスを設定するよう にしてもよい。
上記実施形態では、 通訳者端末は通訳センターのテレビ電話通訳シス テム 2 0 0内にあるものとして説明したが、 本願発明はこれに限定され るものではなく、 通訳者端末の一部または全部が通訳センター外にあつ てインタ一ネッ トを介して接続されるものであってもよく、 同一の処理 によって対応することができる。
上記実施形態では、 呼出元や呼出先や通訳者が使用するテレビ電話端 末が公衆電話回線に接続する電話型のテレビ電話端末である場合とィン タ一ネッ トに接続する I P型のテレビ電話端末である場合とに分けてテ レビ電話通訳システムの構成を説明したが、 電話型のテレビ電話端末と I P型のテレビ電話端末とはプロトコル変換を行うゲートウェイを設け ることで相互に通信可能であり、 いずれかのプロトコルに対応するテレ ビ電話通訳システムを設置してゲートウエイを介して他のプロトコルを 使用するテレビ電話端末に対応させるようにしてもよい。
このように、 本テレビ電話通訳システムは公衆電話回線またはイン夕 —ネッ トに接続可能な端末を有する限り何処にいても通訳サービスの提 供を受けたり、 通訳サービスを提供したりすることができる。 通訳者は 必ずしも通訳センタ一に足を運ぶ必要はなく、 自宅やテレビ電話端末の ある施設や拠点から参加でき、 テレビ電話機能を有する携帯電話や携帯 端末を使用して通訳サービスを提供することも可能である。
また、 通訳のできる人が通訳セン夕一の通訳者登録テーブルに登録し ておけば、 いつでも都合の良いときにサービスできる。 従って、 通訳セ ンターを運用する側から見ても、 通訳者を通訳センターに集める必要が ないので、 時間的にも費用的にも効率的な通訳センターの運用が可能と なる。
上記実施形態では、 1人の通訳者によって呼出先の言語を呼出元の言 語に通訳することと呼出元の言語を呼出先の言語に通訳することの両方 を行っていたが、 呼出先の言語を呼出元の言語に通訳する第 1通訳者と 呼出元の言語を呼出先の言語に通訳する第 2通訳者とを個別に設定して 、 双方向同時通訳を行うようにすることもできる。
第 1 1図に、 双方向同時通訳サービスを提供する本願発明の第三実施 形態にかかるテレビ電話通訳システムのシステム構成例を示す。 ここで は、 電話型のテレビ電話を用いた場合の構成例を示しているが、 前述の ように I P電話型のテレビ電話を用いても同様に構成できる。
図において、 3 0 0は双方向同時通訳サービスを提供する通訳センタ 一に設置されるテレビ電話通訳システムであり、 公衆電話回線 4 0を介 して、 呼出元が使用するテレビ電話端末 （以下、 呼出元端末と呼ぶ） 1 0と、 呼出先が使用するテレビ電話端末 （以下、 呼出先端末と呼ぶ） 2 0と、 第 1通訳者が使用するテレビ電話端末 （以下、 第 1通訳者端末と 呼ぶ） 3 2と、 第 2通訳者が使用するテレビ電話端末 （以下、 第 2通訳 者端末と呼ぶ） 34とを接続し、 呼出元と呼出先の間のテレビ電話対談 を第 1通訳者と第 2通訳者がテレビ電話を介して双方向同時通訳するテ レビ電話通訳サービスを提供するものである。
テレビ電話通訳システム 3 0 0は、 呼出元端末用回線 I ZF 3 2 0と 呼出先端末用回線 I /F 34 0と第 1通訳者端末用回線 I /F 3 6 0と 第 2通訳者用回線 I /F 3 8 0とを備え、 多重 · 分離装置 3 2 2 , 34 2、 3 6 2、 3 8 2と、 映像コーデック 3 24、 344、 3 6 4、 3 8 4と、 音声コ一デック 3 2 6、 3 4 6、 3 6 6、 3 8 6とが接続されて いる。 ここで、 各回線 I ZF、 各多重'分離装置、 各映像コ一デック、 各 音声コ一デックは、 各端末で使用されるプロトコルに対応して呼制御や ストリ一ミング制御、 映像信号や音声信号の圧縮 ·伸張が行われる。 呼出元端末用映像コ一デック 3 24の映像入力には、 呼出先端末用映 像コ一デック 3 44からの映像出力と第 1通訳者端末用映像コ一デック 3 64からの映像出力と呼出元端末用テロップメモリ 3 3 2の出力とを 合成する映像合成装置 3 2 8が接続され、 呼出先端末用映像コ一デック 344の映像入力には、 呼出元端末用映像コーデック 3 24からの映像 出力と第 2通訳者端末用映像コーデック 3 8 4からの映像出力と呼出先 端末用テロップメモリ 3 5 2の出力とを合成する映像合成装置 348が 接続されている。
また、 第 1通訳者端末用映像コーデック 3 64の映像入力には、 呼出 元端末用映像コ一デック 3 2 4からの映像出力と呼出先端末用映像コ一 デック 344からの映像出力と第 1通訳者端末用テロップメモリ 3 7 2 の出力とを合成する映像合成装置 3 6 8が接続され、 第 2通訳者端末用 の映像コーデック 3 8 4の映像入力には、 呼出先端末用映像コーデック 3 4 4からの映像出力と呼出元端末用映像コーデック 3 2 4からの映像 出力と第 2通訳者端末用テロップメモリ 3 9 2の出力とを合成する映像 合成装置 3 8 8が接続されている。
尚、 呼出元端末 · 呼出先端末では、 第 1通訳者や第 2通訳者の映像表 示は省略することができるが、 通訳者の映像を表示することで通訳され た音声の判読が容易になるので、 通訳者の映像を合成できるようにして おくことが好ましい。
また、 第 1通訳者端末 ·第 2通訳者端末では、 呼出元や呼出先の映像 表示は省略することができるが、 これらの映像を表示することで通訳す る際の音声の判読が容易になるので、 呼出元や呼出先の映像を表示でき るようにしておくことが好ましい。
第 1 2図に、 テレビ電話通訳システム 3 0 0においてテレビ対談中に 各端末画面に表示される映像の例を示す。 第 1 2 ( a ) 図は呼出元端末 の画面であり、 映像合成装置 3 2 8によって呼出先の映像に第 1通訳者 の映像を合成した映像が表示される。 ここでは、 呼出先の映像を親画面 、 第 1通訳者の映像を子画面としてピクチャーィンピクチャー表示して いるが、 第 1通訳者の映像を親画面、 呼出先の映像を子画面としてピク チヤ f ンピクチャー表示してもよく、 両者を均等に表示してもよい。 第 1 2 ( b ) 図は呼出先端末の画面であり、 映像合成装置 3 4 8のよつ て呼出元の映像に第 2通訳者の映像を合成した映像が表示される。 ここ では、 呼出元の映像を親画面、 第 2通訳者の映像を子画面としてピクチ ヤーインピクチャー表示しているが、 第 2通訳者の映像を親画面、 呼出 先の映像を子画面としてピクチャーインピクチャ一表示してもよく、 両 者を均等に表示してもよい。 第 1 2 ( c ) 図は第 1通訳者端末の画面で あり、 映像合成装置 3 6 8によって呼出先端末の映像に呼出元端末の映 像を合成した映像が表示される。 ここでは、 呼出先の映像を親画面、 呼 出元の映像を子画面としてピクチャーィンピクチャ一表示しているが、 その逆でもよく、 両者を均等表示してもよい。 第 1 2 ( d ) 図は第 2通 訳者端末の画面であり、 映像合成装置 3 8 8によって呼出先元端末の映 像に呼出先端末の映像を合成した映像が表示される。 ここでは、 呼出元 の映像を親画面、 呼出先の映像を子画面としてピクチャ rンピクチャ —表示しているが、 その逆でもよく、 両者を均等表示してもよい。 一方、 呼出元端末用音声コ一デック 3 2 6の音声入力には、 呼出先端 末用音声コ一デック 3 4 6からの音声出力と第 1通訳者端末用音声コー デック 3 6 6からの音声出力とを合成する音声合成装置 3 3 0が接続さ れ、 呼出先端末用音声コ一デック 3 4 6の音声入力には、 呼出元端末用 音声コーデック 3 2 6からの音声出力と第 2通訳者端末用音声コーデッ ク 3 8 6からの音声出力とを合成する音声合成装置 3 5 0が接続されて いる。
また、 第 1通訳者端末用音声コーデック 3 6 6の音声入力には、 呼出 先端末用音声コーデック 3 4 6からの音声出力が接続され、 第 2通訳者 端末用音声コ一デック 3 8 6の音声入力には、 呼出元端末用音声コ一デ ック 3 2 6からの音声出力が接続されている。
これにより、 第 1通訳者の音声は呼出元にのみ送信され、 第 2通訳者 の音声は呼出先にのみ送信されるので、 呼出元の発言が第 2通訳者の音 声によって妨げられたり、 呼出先の発言が第 1通訳者の音声によって妨 げられることを防止でき、 スムースに対談できる。
また、 呼出元端末用音声合成装置 3 3 0は、 第 1通訳者端末からの音 声を検知したときに呼出先端末からの音声レベルを抑圧する機能を備え 、 呼出先端末用音声合成装置 3 5 0は、 第 2通訳者端末からの音声を検 知したときに呼出元端末からの音声レベルを抑圧する機能を備えている 。 これにより、 呼出元および呼出先において、 それぞれ第 1通訳者また は第 2通訳者の音声が相手方の音声に重なって聴き取り困難となること を防止できるので、 第 1通訳者および第 2通訳者は発言者の発言を同時 通訳することができ、 迅速かつ的確な通訳が可能となる。
第 1 7図に、 音声合成装置 3 3 0、 3 5 0における呼出先音声または 呼出元音声の抑圧機能の具体的実施例を示す。 図のように、 第 1通訳者 端末用音声コーデック 3 6 6からの音声出力は呼出元端末用の音声信号 加算器 3 9 0に接続されており、 第 2通訳者端末用音声コーデック 3 8 6からの音声出力は呼出先端末用の音声信号加算器 3 9 3に接続されて いる。 従って、 呼出元には不要な第 2通訳者の音声は伝達されず、 呼出 先には不要な第 1通訳者の音声は伝達されない。
一方、 呼出元端末用の音声信号加算器 3 9 0には呼出先端末用音声コ 一デック 3 4 6からの音声出力が減衰器 3 9 1を介して接続されており 、 信号検出器 3 9 2によって第 1通訳者からの音声が検出されたときに 、 呼出先端末からの音声を減衰させる。 また、 呼出先端末用の音声信号 加算器 3 9 3には呼出元端末用音声コ一デック 3 2 6からの音声出力が 減衰器 3 9 4を介して接続されており、 信号検出器 3 9 5によって第 2 通訳者からの音声が検出されたときに、 呼出元端末からの音声を減衰さ せる。 ここで、 信号検出器 3 9 2、 3 9 5は、 ノイズ等により相手方の 音声が誤って減衰させられるのを防止するため適当な検出レベルに設定 されている。
尚、 信号検出器 3 9 2、 3 9 5において通訳者の音声が検出された直 後の通訳者の音声を呼出元または呼出先が確実に聴取できるように、 音 声信号加算器 3 9 0、 3 9 3の通訳者の音声入力に適当な信号遅延器を 設けるようにしてもよい。 上記実施例では、 呼出元または呼出先が第 1通訳者または第 2通訳者 の音声を聞くときに相手方の生の音声をある程度聴取可能なように、 減 衰器 3 9 1 、 3 9 4によって減衰させるようにしたが、 スィッチによつ て完全に遮断するようにしてもよい。
第 1 8図に、 通訳者の音声が伝達されたときに相手方の音声を遮断し 、 通訳者の音声のみを伝達する場合の実施例を示す。 図のように、 前述 の音声信号加算器 3 9 0、 3 9 3に代えてスィッチ 3 9 7、 3 9 8を用 レ 、 信号検出器 3 9 2、 3 9 5によって通訳者の音声を検出したときに 、 スィッチ 3 9 7、 3 9 8を相手方の音声から通訳者の音声に切換える 。 その他の構成は第 1 7図と同等である。
尚、 信号検出器 3 9 2、 3 9 5において通訳者の音声が検出された直 後の通訳者の音声を呼出元または呼出先が確実に聴取できるように、 ス イッチ 3 9 7、 3 9 8の通訳者の音声入力に適当な信号遅延器を設ける ようにしてもよい。
上記実施例では、 音声信号加算器 3 9 0、 3 9 3は通訳者の音声と相 手方の音声を単純加算するものとして説明したが、 2つの信号を音声多 重合成するようしてもよい。 例えば、 端末がステレオ音声対応のもので あれば、 相手方の音声を左信号、 通訳者の音声をお信号としてステレオ 合成した信号を送信し、 端末側で受信者が必要とする音声を選択する。 この場合、 テレビ電話通訳システムにおいて相手方の音声を減衰させる 減衰器を設ける必要はなく、 受信側で状況に応じてへッ ドセッ トの左側 と右側の音量バランスを調節して聴くようにすればよい。
上記実施形態では、 第 1通訳者は呼出先の音声のみを聴取して通訳し 、 第 2通訳者は呼出元の音声のみを聴取して通訳するものとして説明し たが、 第 1通訳者に送信する音声に呼出元の音声や第 2通訳者の音声を 減衰させて加算するかまたは音声多重合成して送信し、 第 2通訳者に送 信する音声に呼出先の音声や第 1通訳者の音声を減衰させて加算するか または音声多重合成して送信するようにしてもよい。 このようにすれば 、 各通訳者は対談全体の進行状況や通訳相手の反応を確認しながら通訳 を行うことができる。
また、 テレビ電話通訳システム 3 0 0は、 通訳者が使用する通訳者用 端末の端末番号を登録する通訳者登録テーブル 3 1 2を有し、 各回線 I ZF 3 2 0、 34 0、 3 6 0、 3 8 0、 各多重'分離装置 3 2 2、 34 2 、 3 6 2、 3 8 2、 各映像合成装置 3 2 8、 34 8、 3 6 8、 3 8 8、 各音声合成装置 3 3 0、 3 5 0、 各テロップメモリ 3 3 2、 3 5 2、 3 7 2、 3 9 2のそれぞれと接続される制御装置 3 1 0を備え、 呼出元端 末からの呼出を受付る機能と、 呼出元の言語種別と呼出先の言語種別を 取得する機能と、 通訳者の選定条件を取得する機能と、 当該取得された 言語種別と選定条件とから通訳者登録テーブル 3 1 2を参照して第 1通 訳者と第 2通訳者の端末番号を取出す機能と、 当該取出した端末番号に よって第 1通訳者端末と第 2通訳者端末を呼出す機能と、 呼出先の端末 番号を取得する機能と、 当該取得した端末番号によって呼出先端末を呼 出す機能とによって、 呼出元端末と呼出先端末と第 1通訳者端末と第 2 通訳者端末とを接続する機能を提供する。
また、 各映像合成装置 3 2 8、 348、 3 6 8、 3 8 8や各音声合成 装置 3 3 0、 3 5 0の動作は、 制御装置 3 1 0によってコントロールさ れており、 各端末から利用者がダイアルパッ ドの所定の番号ポタンを押 すことによって映像表示方法または音声表示方法を変更する機能を有す る。 これは、 各多重 '分離装置 3 2 2、 34 2、 3 6 2、 3 8 2におい て各端末でダイアルパッ ドの番号ポタンが押されたことをデータ信号ま たはトーン信号により検出し、 これを制御装置に伝達することにより実 現できる。 これにより、 各端末では目的に応じて必要な映像や音声のみ を選択して表示したり、 親画面と子画面を入替えたり、 子画面の位置を 変更するなど、 柔軟な使い方ができる。
更に、 各映像合成装置 3 2 8、 3 4 8、 3 6 8、 3 8 8の入力には、 それぞれ呼出元端末用テロップメモリ 3 3 2、 呼出先端末用テロップメ モリ 3 5 2、 第 1通訳者端末用テロップメモリ 3 7 2、 第 2通訳者端末 用テロップメモリ 3 9 2が接続されており、 各テロップメモリ 3 3 2、 3 5 2、 3 7 2、 3 9 2の内容は制御装置 3 1 0から設定できるように なっている。 これにより、 通訳を介したテレビ電話対談を設定する際に 、 各端末に対するメッセ一ジを各テロップメモリ 3 3 2、 3 5 2、 3 7 2 , 3 9 2に設定し、 各映像合成装置 3 2 8、 3 4 8、 3 6 8、 3 8 8 に対して各テロップメモリ 3 3 2、 3 5 2、 3 7 2、 3 9 2の信号を選 択する指令を出すことで、 各端末に対して必要なメッセージを伝達して 4者間通話を確立することができる。
また、 テレビ電話対談において説明の困難な用語や発音の困難な言葉 等がある場合に、 その用語をあらかじめ各端末のダイアルパッ ドの番号 に対応させて制御装置 3 1 0の用語登録テーブル 3 1 3に登録しておき 、 テレビ電話対談中に各端末のダイアルパッ ドが押されたことを各多重 •分離装置 3 2 2、 3 4 2、 3 6 2、 3 8 2においてデ一夕信号または トーン信号により検出し、 押されたダイアルパッ ドの番号に対応する用 語を用語登録テーブル 3 1 3から取出して文字テロップを生成し、 各テ 口ップメモリに設定することで各端末にその用語を表示することができ る。 これにより、 説明の困難な用語や発音の困難な言葉を文字テロップ により相手方に伝えることができるので、 より迅速で的確なテレビ電話 対談が行える。
次に、 双方向同時通訳によるテレビ電話対談を設定するための制御装 置 3 1 0による接続処理について説明する。 この場合も、 処理に先だって制御装置 3 1 0の通訳者登録テーブル 3 1 2には、 適当な端末 （図示省略） から、 通訳者の選定情報と各通訳者 が使用する端末の端末番号を登録しておく。 第 1 3図に通訳者登録テ一 ブル 3 1 2に登録される登録項目の例を示す。 図のように、 通訳者登録 テーブル 3 1 2に登録される登録項目は、 第 3図に示した通訳者登録テ 一ブル 1 1 2の登録項目と同等であるが、 対応可能な言語については、 ヒアリングのレベルとスピーキングのレベルとを区分して登録するよう にした。 これにより、 呼出先の言語を呼出元の言語に通訳する第 1通訳 者と呼出元の言語を呼出先の言語に通訳する第 2通訳者のそれぞれにつ いて最適な通訳者を選定することが可能となる。
第 1 4図に、 制御装置 3 1 0による接続処理の処理フローを示す。 テ レビ電話通訳システム 3 0 0は、 呼出元が呼出元端末用回線 I Z Fの電 話番号に架電することにより通訳サービスの申込を受付け、 第 1通訳者 端末と第 2通訳者端末と呼出先端末を呼出して双方向同時電話通訳サー ビスのための接続を確立する。
図のように、 最初に呼出元端末用回線 I / F 3 2 0に呼出があったこ とを検出する （S 3 0 0 ) 。 呼出が検出されたら、 呼出元端末に対して 第 5 ( a ) 図と同様な呼出元の言語種別の入力を促す画面を表示し （S 3 0 2 ) 、 これに対して呼出元が入力した呼出元の言語種別を取得する ( S 3 0 4 ) 。 また、 呼出元端末に対して第 5 ( b ) 図と同様な呼出先 の言語種別の入力を促す画面を表示し （S 3 0 6 ) 、 これに対して呼出 元が入力した呼出先の言語種別を取得する （S 3 0 8 ) 。 次に、 呼出元 端末に対して第 6 ( a ) 図と同様な通訳者の選定条件の入力を促す画面 を表示し （S 3 1 0 ) 、 これに対して呼出元が入力した通訳者選定条件 を取得する （S 3 1 2 ) 。 ここで、 呼出元が入力する通訳者の選定条件 は、 前述の単一通訳の場合と同様に性別 ·年齢区分 ·地域'専門分野 .通 訳のレベルである。 尚、 地域は郵便番号を用いて指定することとし、 通 訳者は居住地が指定された地域に近いものから順に選定されるようにし た。 いずれの選定項目についても特に指定する必要がない場合は不問を 選ぶことができる。
次に、 通訳者登録テーブル 3 1 2を参照して、 呼出先の言語のヒアリ ングレベルと呼出元の言語のスピ一キングレベルが指定された通訳レべ ルを有し、 性別 ·年齢 '地域 ·専門分野が取得された選定条件に合致し、 受付フラグがセッ トされている通訳者を第 1通訳者として選定し （S 3 1 4 ) 、 当該選定された通訳者の端末番号を取出して呼出す （S 3 1 6 ) 。 当該第 1通訳者端末から応答があつたときは （S 3 1 8 ) 、 通訳者 登録テーブル 3 1 2を参照して、 呼出元の言語のヒアリングレベルと呼 出先の言語のスピーキングレベルが指定された通訳レベルを有し、 性別 •年齢 '地域 ·専門分野が取得された選定条件に合致し、 受付フラグがセ ットされている通訳者を第 2通訳者として選定し （S 3 2 0 ) 、 当該選 定された通訳者の端末番号を取出して呼出す ( S 3 2 2 )
当該第 2通訳者端末から応答があつたときは （S 3 2 4 ) 、 呼出元端 末に対して第 7図と同様な呼出先の端末番号の入力を促す画面を表示し ( S 3 2 6 ) 、 これに対して呼出元が入力した呼出先の端末番号を取出 して呼出す （S 3 2 8 ) 。
そして、 当該呼出先端末から応答があつたときに ( S 3 3 0 ) 、 双方 向同時通訳によるテレビ電話通訳サ一ビスが開始される （S 3 3 2 ) 。
S 3 1 8で第 1通訳者端末から応答がない場合は、 次候補があるか否 かを判断し （S 3 3 4 ) 、 次候補がある場合は S 3 1 4に戻って繰返し 、 次候補がない場合は呼出元端末にその旨を通知して切断する （S 3 3 6 ) 。 S 3 2 4で第 2通訳者端末から応答がない場合は、 次候補がある か否かを判断し （S 3 3 8 ) 、 次候補がある場合は S 3 2 0に戻って繰 返し、 次候補がない場合は呼出元端末および第 1通訳者端末にその旨を 通知して切断する （S 3 4 0 ) 。 S 3 3 0で呼出先端末から応答がない 場合は、 呼出元端末、 第 1通訳者端末および第 2通訳者端末にその旨を 通知して切断する （S 3 4 2 ) 。
尚、 第 1通訳者の選定 （S 3 1 4 ) および第 2通訳者の選定 （S 3 2 0 ) にっては、 簡単のため通訳者登録テーブル 3 1 2を参照して所定の 条件に該当する通訳者を選定するとして説明したが、 第 1通訳者と第 2 通訳者のそれぞれについて、 第一実施形態の場合と同様に第 6 ( b ) 図 と同様な該当者リス卜を表示し、 その中から呼出元に選択させるように してもよい。 また、 このとき通訳者登録テーブル 3 1 2に登録されてい る第 1通訳者と第 2通訳者の時間単価 （図示省略） を取出し、 料金とし て表示するようにしてもよい。 これにより、 利用者は通訳サービスに要 する費用を考慮して適切な通訳者を選択することができる。 尚、 通訳者 の時間単価は、 別途通訳者の通訳レベルと時間単価の関係を ¾定した課 金テーブルを設け、 選定された通訳者の通訳レベルから課金テーブルを 参照して求めるようにしてもよい。
制御装置 3 1 0には通訳サ一ビスの利用料金を計算するためのタイマ 一 （図示省略） を備えており、 接続が開始されてから切断されるまでの 時間が計測される。 そして、 通訳サービスの終了後にタイマーにより計 測された時間と、 前述の第 1通訳者の時間単価と第 2通訳者の時間単価 の合計とから利用料金が演算されて課金デ一タベース 3 1 4に登録され 、 後日利用者に対して請求される。
上記実施形態では、 選択された通訳者端末から応答がない場合は、 単 に呼出元にその旨を通知して切断するとして説明したが、 通訳予約テ一 ブルを設けて呼出元の端末番号と呼出先の端末番号とを登録し、 当該選 択された第 1通訳者および第 2通訳者の両方からの応答があつたときに 呼出元と呼出先に通知してテレビ電話対談を設定するようにしてもよい 上記実施形態では、 テレビ電話通訳システム 3 0 0は回線 I Z F、 多 重 ·分離措置、 映像コーデック、 音声コーデック、 映像合成装置、 音声 合成装置、 制御装置等から構成されるものとして説明したが、 これらは 必ずしも個別の H Z Wで構成する必要はなく、 コンピュータを用いてソ フトウエア処理によって各装置の機能を実現するように構成してもよい 上記実施形態では、 第 1通訳者端末 3 2および第 2通訳者端末 3 4は 呼出元端末 1 0や呼出先端末 2 0と同様に通訳センタ一の外にあって、 通訳センタ一から公衆電話回線を介して呼出されて通訳サービスを提供 するものとして説明したが、 本願発明はこれに限定されるものではなく 、 通訳者端末の一部または全部を通訳センター内に設けて、 通訳センタ —から通訳サービスを提供するようにしてもよいことはいうまでもない 。
尚、 上記実施形態では、 通訳者は公衆電話回線に接続可能な端末を有 する限り何処にいても通訳サービスに参加できるので、 前述の受付フラ グを利用して時間の空いたときを有効に活用して通訳サービスを提供で きる。 このようにすることで、 人員確保の難しい通訳サービスを効率的 かつ安定的に運用することができるようになる。
上記実施形態では、 映像合成装置 3 2 8、 3 4 8、 3 6 8、 3 8 8に は自端末の映像信号は入力されていないが、 自端末の映像信号も入力し て映像確認用として合成して表示する機能を設けてもよい。
また、 上記実施形態では、 映像合成装置 3 2 8、 3 4 8、 3 6 8、 3 8 8により各端末別に映像を合成するようにしているが、 本願発明はこ れに限定されるものではなく、 すべての端末の映像を一括で合成して各 端末に送信するようにしてもよい。 この場合、 例えば第 2 1 ( b ) 図に 示すように、 呼出元の映像と呼出先の映像と第 1通訳者の映像と第 2通 訳者の映像とを 4分割画面で表示するようにしてもよい。
上記実施形態では、 テロップメモリ 3 3 2、 3 5 2、 3 7 2、 3 9 2 を設け、 これらの出力を対応する映像合成装置 3 2 8、 3 4 8、 3 6 8 、 3 8 8に加えることで各端末に文字テロップを表示する機能を設けた が、 音声情報を記憶するテロップメモリを設け、 これらの出力を対応す る音声合成装置 3 3 0、 3 5 0に加えるとともに、 第 1通訳者端末用音 声コ一デック 3 6 6および第 2通訳者端末用音声コ一デック 3 8 6の入 力に音声合成装置を設け、 これらに対応するテロップメモリの出力を加 えることで各端末に音声メッセージを出力する機能を設けてもよい。 こ れにより、 呼出元 ·呼出先 ·第 1通訳者'第 2通訳者のいずれかが視覚障 害者であってもテレビ電話通訳サービスを提供することができる。
最後に、 テレビ電話通訳サ一ビス中の映像および音声を記録して利用 者の要求により再生して送信する記録再生機能について述べる。
第 1 9図に第一実施形態にかかるテレビ電話通訳システムにおける記 録再生機能の実施例を示す。 図のように、 呼出元端末用映像コ一デック 1 2 4からの映像と呼出先端末用映像コ一デック 1 4 4からの映像と通 訳者端末用映像コ一デック 1 6 4からの映像は映像合成器 1 1 6で合成 され、 映像音声記録再生装置 1 1 8に送られる。 また、 呼出元端末に送 信される音声合成装置 1 3 0の出力音声と呼出先端末に送信される音声 合成装置 1 5 0の出力音声は、 前者を左音声、 後者を右音声として音声 多重合成器 1 1 7において音声多重合成され、 映像音声記録再生装置 1 1 8に送られる。
通訳サ一ビス中の映像合成器 1 1 6の出力映像と音声多重合成器 1 1 7による出力音声は、 制御装置 1 1 0からの指令により映像音声記録再 生装置 1 1 8に自動記録され、 利用者別に保存される。 映像音声記録再 生装置 1 1 8に保存された映像および音声は、 呼出元端末または呼出先 端末において所定のダイアル番号が押されたことを多重'分離装置 1 2 2または 1 4 2が検出したときに、 制御装置 1 1 0からの指令により再 生され、 検出された端末の映像合成装置 1 2 8または 1 4 8と音声合成 装置 1 3 0または 1 5 0を介して各端末に送信される。
これにより、 利用者は通訳サービス中の各端末の映像を、 例えば第 2 1 ( a ) 図のような 4分割合成映像により確認できる。 また、 利用者端 末が音声多重分離機能を有する場合は、 通訳サービス中の各端末の音声 を、 左音声では呼出元の言語により、 右音声では呼出先の言語により確 認できる。 尚、 利用者は後に通訳センターに架電して所定のアクセスコ —ドを端末から入力することによつても映像音声記録再生装置 1 1 8に 保存された映像および音声を再生して確認することができる。
尚、 映像音声記録再生装置に記録する映像の合成方法や音声の合成方 法は、 上記のものに限定されるものではなく、 利用者が通訳サービスの 内容を確認できるものである限りどのようなものでもよい。 また、 利用 者端末が音声多重分離機能を有さない場合のために、 呼出元に送信され る音声と呼出先に送信される音声を個別に記録し、 端末から指定された 音声を再生して送信するようにしてもよい。
また、 利用者には当該通訳サービスを受けた以外の人を含めてもよく 、 アクセスを許可された人がテレビ電話端末を用いて通訳センターに架 電し、 所定のアクセスコードを入力したときにも映像音声記録再生装置 1 1 8に保存された映像および音声を再生して送信するようにしてもよ い。
第 2 0図に第三実施形態にかかる双方向同時通訳によるテレビ電話通 訳システムにおける記録再生機能の実施例を示す。 図のように、 呼出元 映像コ一デック 3 2 4からの映像と呼出先映像コーデック 3 4 4からの 映像と第 1通訳者映像コ一デック 3 6 4からの映像と第 2通訳者映像コ —デック 3 8 4からの映像は映像合成器 3 1 6で合成され、 映像音声記 録再生装置 3 1 8に送られる。 また、 呼出元端末に送信される音声合成 装置 3 3 0の出力音声と呼出先端末に送信される音声合成装置 3 5 0の 出力音声は、 前者を左音声、 後者を右音声として音声多重合成器 3 1 7 において音声多重合成され、 映像音声記録再生装置 3 1 8に送られる。 通訳サービス中の映像合成器 3 1 6の出力映像と音声多重合成器 3 1 7による出力音声は、 制御装置 3 1 0からの指令により映像音声記録再 生装置 3 1 8に自動記録され、 利用者別に保存される。 映像音声記録再 生装置 3 1 8に保存された映像および音声は、 呼出元端末または呼出先 端末において所定のダイアル番号が押されたことを多重'分離装置 3 2 2または 3 4 2が検出したときに、 制御装置 3 1 0からの指令により再 生され、 検出された端末の映像合成装置 3 2 8または 3 4 8と音声合成 装置 3 3 0または 3 5 0を介して各端末に送られる。
これにより、 利用者は通訳サービス中の各端末の映像を、 例えば第 2 1 ( b ) 図のような 4分割合成映像として確認できる。 また、 利用者端 末が音声多重分離機能を有する場合は、 通訳サービス中の各端末の音声 を、 左音声では呼出元の言語により、 右音声では呼出先の言語により確 認できる。 尚、 利用者は後に通訳センタ一に架電して所定のアクセスコ 一ドを端末から入力することによつても映像音声記録再生装置 3 1 8に 保存された映像および音声を再生して確認することができる。
尚、 映像音声記録再生装置に記録する映像の合成方法や音声の合成方 法は、 上記のものに限定されるものではなく、 利用者が通訳サービスの 内容を確認できるものである限りどのようなものでもよい。 また、 利用 者端末が音声多重分離機能を有さない場合のために、 呼出元端末に送信 される音声と呼出先端末に送信される音声を個別に記録し、 端末から指 定された音声を再生して送信するようにしてもよい。
また、 利用者には当該通訳サービスを受けた以外の人を含めてもよく 、 アクセスを許可された人がテレビ電話端末を用いて通訳セン夕一に架 電し、 所定のアクセスコードを入力したときにも映像音声記録再生装置 3 1 8に保存された映像および音声を再生して送信するようにしてもよ い。 産業上の利用可能性
上述したように、 本願発明のテレビ電話通訳システムまたはテレビ電 話通訳方法によれば、 呼出元が事前に通訳者を探し出して呼出先と協議 する必要がなく、 緊急対応可能であって、 通訳者の拘束時間を最小限と して通訳サービスのコストを低減できるという効果がある。

Claims

請 求 の 範 囲
1 . 異なる言語を使用する呼出元と呼出先との間のテレビ電話対談を通 訳者が通訳するテレビ電話通訳システムであって、
呼出元端末と呼出先端末と通訳者端末とを接続する接続手段と、 前記 接続手段により接続された各端末間の映像および音声の通信を行う通信 手段とを備え、
前記接続手段は、 通訳者が通訳可能な言語種別と通訳者の端末番号と が少なくとも登録される通訳者登録テーブルを備え、 呼出元端末からの 呼出を受付る機能と、 前記呼出を受付た呼出元端末から呼出先の端末番 号と呼出元の言語種別と呼出先の言語種別とを取得する機能と、 前記取 得された呼出元の言語種別と呼出先の言語種別とから前記通訳者登録テ —ブルを参照して通訳者の端末番号を取出す機能と、 前記取出された通 訳者の端末番号により通訳者端末を呼出す機能と、 前記取得された呼出 先の端末番号により.呼出先端末を呼出す機能とを有し、
前記通信手段は、 前記呼出元端末に対して少なくとも前記呼出先端末 からの映像を含む映像と少なくとも前記通訳者端末からの音声を含む音 声を送信する機能と、 前記呼出先端末に対して少なくとも前記呼出元端 末からの映像を含む映像と少なくとも前記通訳者端末からの音声を含む 音声を送信する機能と、 前記通訳者端末に対して少なくとも前記呼出元 端末からの音声と前記呼出先端末からの音声を含む音声を送信する機能 とを有することを特徴とする、 テレビ電話通訳システム。
2 . 前記通信手段は、 前記呼出元端末に対して前記呼出先端末からの映 像を親画面、 前記通訳者端末からの映像を子画面として合成した映像を 送信する機能と、 前記呼出先端末に対して前記呼出元端末からの映像を 親画面、 前記通訳者端末からの映像を子画面として合成した映像を送信 する機能と、 前記通訳者端末に対して前記呼出元端末からの映像と前記 呼出先端末からの映像とを合成した映像を送信する機能とを有すること を特徴とする、 請求項 1に記載のテレビ電話通訳システム。
3 . 前記通信手段は、 前記呼出元端末に対して前記呼出先端末からの音 声と前記通訳者端末からの音声を合成して送信する第 1音声送信機能と 、 前記呼出先端末に対して前記呼出元端末からの音声と前記通訳者端末 からの音声を合成して送信する第 2音声送信機能と、 前記通訳者端末に 対して前記呼出元端末からの音声と前記呼出先端末からの音声を合成し て送信する第 3音声送信機能とを有し、
前記通訳者端末からの指令により、 前記第 1音声送信機能に供給する 通訳者端末からの音声と前記第 2音声送信機能に供給する通訳者端末か らの音声のいずれか不要な側の音声を抑圧する不要側音声抑圧機能を有 し、
前記第 1音声送信機能は、 前記通訳者端末からの音声を検知したとき に前記呼出先端末からの音声を抑圧する呼出先音声抑圧機能を有し、 前記第 2音声送信機能は、 前記通訳者端末からの音声を検知したとき に前記呼出元端末からの音声を抑圧する呼出元音声抑圧機能を有するこ とを特徴とする、 請求項 1または請求項 2に記載のテレビ電話通訳シス テム
4 . 前記通信手段は、 前記呼出元端末に対して前記呼出先端末からの音 声と前記通訳者端末からの音声を切換えて送信する第 1音声送信機能と 、 前記呼出先端末に対して前記呼出元端末からの音声と前記通訳者端末 からの音声を切換えて送信する第 2音声送信機能と、 前記通訳者端末に 対して前記呼出元端末からの音声と前記呼出先端末からの音声を合成し て送信する第 3音声送信機能とを有し、
前記通訳者端末からの指令により、 前記第 1音声送信機能に供給する 通訳者端末からの音声と前記第 2音声送信機能に供給する通訳者端末か らの音声のいずれか不要な側の音声を抑圧する不要側音声抑圧機能を有 し、
前記第 1音声送信機能は、 前記通訳者端末からの音声を検知したとき , に前記呼出先端末からの音声を遮断して前記通訳者からの音声を送信す る機能を有し、
前記第 2音声送信機能は、 前記通訳者端末からの音声を検知したとき に前記呼出元端末からの音声を遮断して前記通訳者端末の音声を送信す る機能を有することを特徴とする、 請求項 1または請求項 2に記載のテ レビ電話通訳システム。
5 . 前記通信手段は、 前記呼出元端末に対して前記呼出先端末からの音 声と前記通訳者端末からの音声を音声多重合成して送信する第 1音声送 信機能と、 前記呼出先端末に対して前記呼出元端末からの音声と前記通 訳者端末からの音声を音声多重合成して送信する第 2音声送信機能と、 前記通訳者端末に対して前記呼出元端末からの音声と前記呼出先端末か らの音声を音声多重合成して送信する第 3音声送信機能とを有し、 前記通訳者端末からの指令により、 前記第 1音声送信機能に供給する 通訳者端末からの音声と前記第 2音声送信機能に供給する通訳者端末か らの音声のいずれか不要な側の音声を抑圧する不要側音声抑圧機能を有 することを特徴とする、 請求項 1または請求項 2に記載のテレビ電話通
6 . 前記通信手段は、 前記呼出元端末からの映像と前記呼出先端末から の映像と前記通訳者端末からの映像を含む映像と、 前記呼出元端末から の音声と前記呼出先端末からの音声と前記通訳者端末からの音声を含む 音声とを記録する機能と、 前記記録された映像および音声を端末からの 要求により再生して送信する機能とを有することを特徴とする、 請求項 1ないし請求項 5のいずれかに記載のテレビ電話通訳システム。
7 . 異なる言語を使用する呼出元と呼出先との間のテレビ電話対談を、 呼出先の言語を呼出元の言語に通訳する第 1通訳者と呼出元の言語を呼 出先の言語に通訳する第 2通訳者とによって通訳するテレビ電話通訳シ ステムであって、
呼出元端末と呼出先端末と第 1通訳者端末と第 2通訳者端末とを接続 する接続手段と、 前記接続手段により接続された各端末間の映像および 音声の通信を行う通信手段とを備え、
前記接続手段は、 通訳者が通訳可能な言語種別と通訳者の端末番号と が少なくとも登録される通訳者登録テーブルを備え、 呼出元端末からの 呼出を受付る機能と、 前記呼出を受付た呼出元端末から呼出先の端末番 号と呼出元の言語種別と呼出先の言語種別とを取得する機能と、 前記取 得された呼出先の言語種別と呼出元の言語種別とから前記通訳者登録テ 一ブルを参照して第 1通訳者の端末番号を取出す機能と、 前記取出され た第 1通訳者の端末番号により第 1通訳者端末を呼出す機能と、 前記取 得された呼出元の言語種別と呼出先の言語種別とから前記通訳者登録テ —ブルを参照して第 2通訳者の端末番号を取出す機能と、 前記取出され た第 2通訳者の端末番号により第 2通訳者端末を呼出す機能と、 前記取 得された呼出先の端末番号により呼出先端末を呼出す機能とを有し、 前記通信手段は、 前記呼出元端末に対して少なくとも前記呼出先端末 からの映像を含む映像と少なくとも前記第 1通訳者端末からの音声を含 む音声を送信する機能と、 前記呼出先端末に対して少なくとも前記呼出 元端末からの映像を含む映像と少なくとも前記第 2通訳者端末からの音 声を含む音声を送信する機能と、 前記第 1通訳者端末に対して少なくと も前記呼出先端末からの音声を含む音声を送信する機能と、 前記第 2通 訳者端末に対して少なくとも前記呼出元端末からの音声を含む音声を送 信する機能とを有することを特徴とする、 テレビ電話通訳システム。
8 . 前記通信手段は、 前記呼出元端末に対して前記呼出先端末からの映 像を親画面、 前記第 1通訳者端末からの映像を子画面として合成した映 像を送信する機能と、 前記呼出先端末に対して前記呼出元端末からの映
) 像を親画面、 前記第 2通訳者端末からの映像を子画面として合成した映 像を送信する機能と、 前記第 1通訳者端末に対して前記呼出先端末から の映像と前記呼出元端末からの映像とを合成した映像を送信する機能と 、 前記第 2通訳者端末に対して前記呼出元端末からの映像と前記呼出先 端末からの映像とを合成した映像を送信する機能とを有することを特徴 とする、 請求項 7に記載のテレビ電話通訳システム。
9 . 前記通信手段は、 前記呼出元端末に対して前記呼出先端末からの音 声と前記第 1通訳者端末からの音声を合成して送信する第 1音声送信機 能と、 前記呼出先端末に対して前記呼出元端末からの音声と前記第 2通 訳者端末からの音声を合成して送信する第 2音声送信機能と、 前記第 1 通訳者端末に対して少なくとも前記呼出先端末からの音声を送信する第 3音声送信機能と、 前記第 2通訳者端末に対して少なくとも前記呼出元 端末からの音声を送信する第 4音声送信機能とを有し、
前記第 1音声送信機能は、 前記第 1通訳者端末からの音声を検知した ときに前記呼出先端末からの音声を抑圧する呼出先音声抑圧機能を有し 前記第 2音声送信機能は、 前記第 2通訳者端末からの音声を検知した ときに前記呼出元端末からの音声を抑圧する呼出元音声抑圧機能を有す ることを特徴とする、 請求項 7または請求項 8に記載のテレビ電話通訳 1 0 . 前記通信手段は、 前記呼出元端末に対して前記呼出先端末からの 音声と前記第 1通訳者端末からの音声を切換えて送信する第 1音声送信 機能と、 前記呼出先端末に対して前記呼出元端末からの音声と前記第 2 通訳者端末からの音声を切換えて送信する第 2音声送信機能と、 前記第 1通訳者端末に対して少なくとも前記呼出先端末からの音声を送信する 第 3音声送信機能と、 前記第 2通訳者端末に対して少なくとも前記呼出 元端末からの音声を送信する第 4音声送信機能とを有し、
前記第 1音声送信機能は、 前記第 1通訳者端末からの音声を検知した ときに前記呼出先端末からの音声を遮断して前記第 1通訳者端末からの 音声を送信する機能を有し、
前記第 2音声送信機能は、 前記第 2通訳者端末からの音声を検知した ときに前記呼出元端末からの音声を遮断して前記第 2通訳者端末からの 音声を送信する機能を有することを特徴とする、 請求項 7または請求項 8に記載のテレビ電話通訳システム。
1 1 . 前記通信手段は、 前記呼出元端末に対して前記呼出先端末からの 音声と前記第 1通訳者端末からの音声を音声多重合成して送信する第 1 音声送信機能と、 前記呼出先端末に対して前記呼出元端末からの音声と 前記第 2通訳者端末からの音声を音声多重合成して送信する第 2音声送 信機能と、 前記第 1通訳者端末に対して少なくとも前記呼出先端末から の音声を送信する第 3音声送信機能と、 前記第 2通訳者端末に対して少 なくとも前記呼出元端末からの音声を送信する第 4音声送信機能とを有 することを特徴とする、 請求項 7または請求項 8に記載のテレビ電話通 訳システム。
1 2 . 前記通信手段は、 前記呼出元端末からの映像と前記呼出先端末か らの映像と前記第 1通訳者端末からの映像と前記第 2通訳者端末からの 映像を含む映像と、 前記呼出元端末からの音声と前記呼出先端末からの 音声と前記第 1通訳者端末からの音声と前記第 2通訳者端末からの音声 を含む音声とを記録する機能と、 前記記録された映像および音声を端末 からの要求により再生して送信する機能とを有することを特徴とする、 請求項 7ないし請求項 1 1のいずれかに記載のテレビ電話通訳システム
1 3 . 前記通訳者登録テーブルには、 通訳者を選択する選択情報が登録 され、
前記接続手段は、 前記呼出元端末から通訳者の選択条件を取得する機 能と、 前記取得された通訳者の選択条件から前記通訳者登録テーブルを 参照して該当する通訳者の端末番号を取出す機能とを有することを特徴 とする、 請求項 1ないし請求項 1 2のいずれかに記載のテレビ電話通訳
1 4 . 前記通訳者登録テーブルには、 通訳者が受付可能か否かを示す受 付フラグが登録され、
前記接続手段は、 前記通訳者登録テーブルの受付フラグを参照して受 付可能な通訳者の端末番号を取出す機能を有することを特徴とする、 請 求項 1ないし請求項 1 3のいずれかに記載のテレビ電話通訳システム。
1 5 . 前記接続手段は、 前記各端末に対して送信する文字メッセ一ジを 生成する機能を有し、
前記通信手段は、 前記各端末に対して前記生成された文字メッセージ を送出する機能を有することを特徴とする、 請求項 1ないし請求項 1 4 のいずれかに記載のテレビ電話通訳システム。
1 6 . 前記接続手段は、 前記各端末に対して送信する音声メッセージを 生成する機能を有し、
前記通信手段は、 前記各端末に対して前記生成された音声メッセージ を送出する機能を有することを特徴とする、 請求項 1ないし請求項 1 5 のいずれかに記載のテレビ電話通訳システム。
1 7 . 前記接続手段は、 前記各端末からの指令により対話中に使用する 用語を登録する機能と、 前記各端末からの指令により前記登録された用 語を取出してテロップを生成する機能とを有し、
前記通信手段は、 前記各端末に対して前記生成されたテロップを送出 する機能を有することを特徴とする、 請求項 1ないし請求項 1 6のいず れかに記載のテレビ電話通訳システム。
1 8 . 前記通訳者登録テーブルには、 通訳者の課金情報が登録され、 前記接続手段は、 前記呼出元端末または前記呼出先端末が通訳サービ スを受けている時間を計測する機能と、 前記計測された時間と前記通訳 者登録テ一ブルに登録されている課金情報とから利用料金を演算する機 能とを有することを特徴とする、 請求項 1ないし請求項 1 7のいずれか に記載のテレビ電話通訳システム。
1 9 . 異なる言語を使用する呼出元と呼出先との間のテレビ電話対談を 通訳者が通訳するテレビ電話通訳方法であって、
通訳者が通訳可能な言語種別と通訳者の端末番号とが少なくとも登録 される通訳者登録テーブルを用い、
呼出元端末からの呼出を受付るステツプと、 前記呼出を受付た呼出元 端末から呼出先の端末番号と呼出先の言語種別と呼出元の言語種別とを 取得するステツプと、 前記取得された呼出元の言語種別と呼出先の言語 種別とから前記通訳者登録テーブルを参照して通訳者の端末番号を取出 すステップと、 前記取出された通訳者の端末番号により通訳者端末を呼 出すステツプと、 前記取得された呼出先の端末番号により呼出先端末を 呼出すステップとを有し、
前記呼出元端末に対して少なくとも前記呼出先端末からの映像を含む 映像と少なくとも前記通訳者端末からの音声を含む音声を送信するステ ップと、 前記呼出先端末に対して少なくとも前記呼出元端末からの映像 を含む映像と少なくとも前記通訳者端末からの音声を含む音声を送信す るステップと、 前記通訳者端末に対して少なくとも前記呼出元端末から の音声と前記呼出先端末からの音声を含む音声を送信するステツプとを 有することを特徴とする、 テレビ電話通訳方法。
2 0 . 異なる言語を使用する呼出元と呼出先との間のテレビ電話対談を 、 呼出先の言語を呼出元の言語に通訳する第 1通訳者と呼出元の言語を 呼出先の言語に通訳する第 2通訳者とによって通訳するテレビ電話通訳 方法であって、
通訳者が通訳可能な言語種別と通訳者の端末番号とが少なくとも登録 される通訳者登録テ一ブルを用い、
呼出元端末からの呼出を受付るステップと、 前記呼出を受付た呼出元 端末から呼出先の端末番号と呼出先の言語種別と呼出元の言語種別とを 取得するステップと、 前記取得された呼出先の言語種別と呼出元の言語 種別とから前記通訳者登録テーブルを参照して第 1通訳者の端末番号を 取出すステップと、 前記取出された第 1通訳者の端末番号により第 1通 訳者端末を呼出すステップと、 前記取得された呼出元の言語種別と呼出 先の言語種別とから前記通訳者登録テーブルを参照して第 2通訳者の端 末番号を取出すステツプと、 前記取出された第 2通訳者の端末番号によ り第 2通訳者端末を呼出すステツプと、 前記取得された呼出先の端末番 号により呼出先端末を呼出すステツプとを有し、
前記呼出元端末に対して少なくとも前記呼出先端末からの映像を含む 映像と少なくとも前記第 1通訳者端末からの音声を含む音声を送信する ステップと、 前記呼出先端末に対して少なくとも前記呼出元端末からの 映像を含む映像と少なくとも前記第 2通訳者端末からの音声を含む音声 を送信するステップと、 前記第 1通訳者端末に対して少なくとも前記呼 出先端末からの音声を含む音声を送信するステップと、 前記第 2通訳者 端末に対して少なくとも前記呼出先端末からの音声を含む音声を送信す るステップとを有することを特徴とする、 テレビ電話通訳方法。
PCT/JP2003/012191 2002-09-27 2003-09-25 テレビ電話通訳システムおよびテレビ電話通訳方法 WO2004030328A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP03798475A EP1545109A4 (en) 2002-09-27 2003-09-25 VIDEO TELEPHONE INTERPRETATION SYSTEM AND METHOD
US10/529,113 US20060120307A1 (en) 2002-09-27 2003-09-25 Video telephone interpretation system and a video telephone interpretation method
AU2003266592A AU2003266592B2 (en) 2002-09-27 2003-09-25 Video telephone interpretation system and video telephone interpretation method
CA002500999A CA2500999A1 (en) 2002-09-27 2003-09-25 A videophone interpretation system and a videophone interpretation method
JP2004539512A JPWO2004030328A1 (ja) 2002-09-27 2003-09-25 テレビ電話通訳システムおよびテレビ電話通訳方法
HK05112102.5A HK1078711A1 (zh) 2002-09-27 2005-12-29 視頻電話翻譯系統及視頻電話翻譯方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002-282880 2002-09-27
JP2002282880 2002-09-27

Publications (1)

Publication Number Publication Date
WO2004030328A1 true WO2004030328A1 (ja) 2004-04-08

Family

ID=32040544

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/012191 WO2004030328A1 (ja) 2002-09-27 2003-09-25 テレビ電話通訳システムおよびテレビ電話通訳方法

Country Status (11)

Country Link
US (1) US20060120307A1 (ja)
EP (1) EP1545109A4 (ja)
JP (1) JPWO2004030328A1 (ja)
KR (1) KR100695926B1 (ja)
CN (1) CN1685698A (ja)
AU (1) AU2003266592B2 (ja)
CA (1) CA2500999A1 (ja)
HK (1) HK1078711A1 (ja)
RU (1) RU2293369C2 (ja)
TW (1) TW200411511A (ja)
WO (1) WO2004030328A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007166391A (ja) * 2005-12-15 2007-06-28 Connect One:Kk 通訳者の自動案内システム
CN100375087C (zh) * 2005-03-09 2008-03-12 邱聪智 实时翻译系统
US7372851B2 (en) * 2006-06-28 2008-05-13 International Business Machines Corporation Method and system for automatic language negotiation on voice (over IP) calls
WO2008099481A1 (ja) * 2007-02-14 2008-08-21 Master Link Co., Ltd. 商品又は役務の提供方法、サーバ、端末、及びシステム
CN100458772C (zh) * 2005-10-21 2009-02-04 华为技术有限公司 文字信息通信方法及其系统
US8680427B2 (en) 1996-05-28 2014-03-25 The Trustees Of Columbia University In The City Of New York Uniform large-grained and gain boundary location manipulated polycrystalline thin film semiconductors formed using sequential lateral solidification and devices formed thereon
US8883656B2 (en) 2002-08-19 2014-11-11 The Trustees Of Columbia University In The City Of New York Single-shot semiconductor processing system and method having various irradiation patterns
JP2016066983A (ja) * 2014-09-25 2016-04-28 綜合警備保障株式会社 通訳サービスシステム及び通訳サービス方法
US9466402B2 (en) 2003-09-16 2016-10-11 The Trustees Of Columbia University In The City Of New York Processes and systems for laser crystallization processing of film regions on a substrate utilizing a line-type beam, and structures of such film regions
WO2021157638A1 (ja) * 2020-02-06 2021-08-12 株式会社Ａｂｅｌｏｎ サーバ装置、端末装置、同時通訳音声送信方法、多重化音声受信方法、および記録媒体

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7542916B2 (en) * 2005-08-05 2009-06-02 International Business Machines Corporation Queue busting through assignment of kiosks to users
US7701930B2 (en) * 2005-10-25 2010-04-20 Ittiam Systems (P) Ltd. Technique for providing virtual N-way video conferencing to IP videophones
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
EP2047668B1 (de) * 2006-07-19 2017-12-27 Deutsche Telekom AG Verfahren, sprachdialogsystem und telekommunikationsendgerät zur multilingualen sprachausgabe
CN101702762B (zh) * 2006-09-30 2012-03-21 华为技术有限公司 一种实现多语言会议的多点控制单元和会议终端
CN1937664B (zh) * 2006-09-30 2010-11-10 华为技术有限公司 一种实现多语言会议的系统及方法
US8570373B2 (en) * 2007-06-08 2013-10-29 Cisco Technology, Inc. Tracking an object utilizing location information associated with a wireless device
KR101396974B1 (ko) * 2007-07-23 2014-05-20 엘지전자 주식회사 휴대 단말기 및 휴대 단말기에서의 호 신호 처리방법
CN101471804B (zh) 2007-12-28 2011-08-10 华为技术有限公司 一种音频处理方法、系统和控制服务器
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
US8319819B2 (en) 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
US8374325B2 (en) * 2008-09-16 2013-02-12 Shawn N. Robotka Bilingual communication system
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
US20100150331A1 (en) * 2008-12-15 2010-06-17 Asaf Gitelis System and method for telephony simultaneous translation teleconference
US8477175B2 (en) 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US20100283829A1 (en) * 2009-05-11 2010-11-11 Cisco Technology, Inc. System and method for translating communications between participants in a conferencing environment
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
USD628175S1 (en) 2010-03-21 2010-11-30 Cisco Technology, Inc. Mounted video unit
USD628968S1 (en) 2010-03-21 2010-12-14 Cisco Technology, Inc. Free-standing video unit
USD626103S1 (en) 2010-03-21 2010-10-26 Cisco Technology, Inc. Video unit with integrated features
USD626102S1 (en) 2010-03-21 2010-10-26 Cisco Tech Inc Video unit with integrated features
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8817966B2 (en) * 2010-07-08 2014-08-26 Lisa Marie Bennett Wrench Method of collecting and employing information about parties to a televideo conference
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
USD678307S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682293S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
USD678308S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682864S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen with graphical user interface
USD678320S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682294S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD678894S1 (en) 2010-12-16 2013-03-26 Cisco Technology, Inc. Display screen with graphical user interface
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
US9253329B1 (en) * 2011-06-10 2016-02-02 West Corporation Services via a conference bridge
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
CN102821259B (zh) * 2012-07-20 2016-12-21 冠捷显示科技（厦门）有限公司 具有多国语言语音翻译的tv系统及其实现方法
US9160967B2 (en) * 2012-11-13 2015-10-13 Cisco Technology, Inc. Simultaneous language interpretation during ongoing video conferencing
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
US9843621B2 (en) 2013-05-17 2017-12-12 Cisco Technology, Inc. Calendaring activities based on communication processing
SE1450295A1 (sv) * 2014-03-17 2015-09-18 Simultanex Ab System och metod för simultantolkning
EP3410676B1 (en) * 2016-01-29 2021-08-04 Ricoh Company, Ltd. Communication terminal, communication system, display control method, and program
CN110290344B (zh) * 2019-05-10 2021-10-08 上海平安智慧教育科技有限公司 基于远程会议的在线翻译方法、系统、设备及存储介质
DE102020132775A1 (de) 2020-12-09 2022-06-09 alfaview Video Conferencing Systems GmbH & Co. KG Videokonferenzsystem, Verfahren zum Übertragen von Informationen und Computerprogrammprodukt

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0340585A (ja) * 1989-07-06 1991-02-21 Sharp Corp テレビ電話装置
JPH04185156A (ja) * 1990-11-20 1992-07-02 Matsushita Electric Ind Co Ltd 同時通訳用通信装置
JP2000032422A (ja) * 1998-07-08 2000-01-28 Nec Corp 画像伝送装置
JP2000206983A (ja) * 1999-01-19 2000-07-28 Sony Corp 情報処理装置および方法、並びに提供媒体
WO2001084402A1 (fr) * 2000-04-28 2001-11-08 Yoji Abe Systeme et programme de gestion d'interpretation
JP2002027039A (ja) * 2000-07-06 2002-01-25 Hitachi Ltd 通信通訳システム
JP2002223299A (ja) * 2001-01-26 2002-08-09 Hitachi Ltd 通訳サービスシステム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3912874A (en) * 1974-06-04 1975-10-14 American Telephone & Telegraph Conference arrangement
JPS59216361A (ja) * 1983-05-23 1984-12-06 Mitsubishi Electric Corp 会議通話トランク
US5233663A (en) * 1991-03-28 1993-08-03 Wood William H Simultaneous interpretation system
US5392343A (en) * 1992-11-10 1995-02-21 At&T Corp. On demand language interpretation in a telecommunications system
CA2143591C (en) * 1994-04-29 1999-01-26 David N. Horn Teleconferencing audio bridge
EP0848552B1 (en) * 1995-08-30 2002-05-29 Hitachi, Ltd. Sign language telephone system for communication between persons with or without hearing impairment
US6477239B1 (en) * 1995-08-30 2002-11-05 Hitachi, Ltd. Sign language telephone device
US5815196A (en) * 1995-12-29 1998-09-29 Lucent Technologies Inc. Videophone with continuous speech-to-subtitles translation
RU2143135C1 (ru) * 1999-04-22 1999-12-20 Ким Дарья Сергеевна Способ сотовой радиотелефонной связи с синхронным переводом
DE19941529A1 (de) * 1999-09-01 2001-03-08 Alcatel Sa Verfahren und Diensterechner zum Einbeziehen eines Übersetzers in ein Telefongespräch
JP2001292234A (ja) * 2000-04-07 2001-10-19 Nec Corp 翻訳サービス提供方法
JP2002073783A (ja) * 2000-09-05 2002-03-12 Yasumitsu Suzuki 通訳システム
WO2002033607A1 (en) * 2000-10-16 2002-04-25 Iis Inc. Method for offering multilingual information translated in many languages through a communication network
JP4135307B2 (ja) * 2000-10-17 2008-08-20 株式会社日立製作所 音声通訳サービス方法および音声通訳サーバ
TW200405988A (en) * 2002-09-17 2004-04-16 Ginganet Corp System and method for sign language translation
TWI276357B (en) * 2002-09-17 2007-03-11 Ginganet Corp Image input apparatus for sign language talk, image input/output apparatus for sign language talk, and system for sign language translation
TW200417228A (en) * 2002-09-17 2004-09-01 Ginganet Corp Sign language image presentation apparatus, sign language image input/output apparatus, and system for sign language translation
AU2003266594B2 (en) * 2002-09-27 2007-10-04 Ginganet Corporation Telephone interpretation aid device and telephone interpretation system using the same

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0340585A (ja) * 1989-07-06 1991-02-21 Sharp Corp テレビ電話装置
JPH04185156A (ja) * 1990-11-20 1992-07-02 Matsushita Electric Ind Co Ltd 同時通訳用通信装置
JP2000032422A (ja) * 1998-07-08 2000-01-28 Nec Corp 画像伝送装置
JP2000206983A (ja) * 1999-01-19 2000-07-28 Sony Corp 情報処理装置および方法、並びに提供媒体
WO2001084402A1 (fr) * 2000-04-28 2001-11-08 Yoji Abe Systeme et programme de gestion d'interpretation
JP2002027039A (ja) * 2000-07-06 2002-01-25 Hitachi Ltd 通信通訳システム
JP2002223299A (ja) * 2001-01-26 2002-08-09 Hitachi Ltd 通訳サービスシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1545109A4 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8680427B2 (en) 1996-05-28 2014-03-25 The Trustees Of Columbia University In The City Of New York Uniform large-grained and gain boundary location manipulated polycrystalline thin film semiconductors formed using sequential lateral solidification and devices formed thereon
US8859436B2 (en) 1996-05-28 2014-10-14 The Trustees Of Columbia University In The City Of New York Uniform large-grained and grain boundary location manipulated polycrystalline thin film semiconductors formed using sequential lateral solidification and devices formed thereon
US8883656B2 (en) 2002-08-19 2014-11-11 The Trustees Of Columbia University In The City Of New York Single-shot semiconductor processing system and method having various irradiation patterns
US9466402B2 (en) 2003-09-16 2016-10-11 The Trustees Of Columbia University In The City Of New York Processes and systems for laser crystallization processing of film regions on a substrate utilizing a line-type beam, and structures of such film regions
CN100375087C (zh) * 2005-03-09 2008-03-12 邱聪智 实时翻译系统
CN100458772C (zh) * 2005-10-21 2009-02-04 华为技术有限公司 文字信息通信方法及其系统
JP2007166391A (ja) * 2005-12-15 2007-06-28 Connect One:Kk 通訳者の自動案内システム
US7372851B2 (en) * 2006-06-28 2008-05-13 International Business Machines Corporation Method and system for automatic language negotiation on voice (over IP) calls
US7457254B2 (en) 2006-06-28 2008-11-25 International Business Machines Corporation Method and system for automatic language negotiation on voice (over IP) calls
WO2008099481A1 (ja) * 2007-02-14 2008-08-21 Master Link Co., Ltd. 商品又は役務の提供方法、サーバ、端末、及びシステム
JP2016066983A (ja) * 2014-09-25 2016-04-28 綜合警備保障株式会社 通訳サービスシステム及び通訳サービス方法
WO2021157638A1 (ja) * 2020-02-06 2021-08-12 株式会社Ａｂｅｌｏｎ サーバ装置、端末装置、同時通訳音声送信方法、多重化音声受信方法、および記録媒体

Also Published As

Publication number Publication date
HK1078711A1 (zh) 2006-03-17
EP1545109A4 (en) 2006-05-03
JPWO2004030328A1 (ja) 2006-01-26
TW200411511A (en) 2004-07-01
KR20050084551A (ko) 2005-08-26
KR100695926B1 (ko) 2007-03-19
US20060120307A1 (en) 2006-06-08
RU2293369C2 (ru) 2007-02-10
CA2500999A1 (en) 2004-04-08
AU2003266592B2 (en) 2007-02-15
CN1685698A (zh) 2005-10-19
EP1545109A1 (en) 2005-06-22
RU2005112745A (ru) 2006-08-27
AU2003266592A1 (en) 2004-04-19

Similar Documents

Publication Publication Date Title
WO2004030328A1 (ja) テレビ電話通訳システムおよびテレビ電話通訳方法
AU2003264434B2 (en) Sign language interpretation system and sign language interpretation method
US5848134A (en) Method and apparatus for real-time information processing in a multi-media system
JP4150724B2 (ja) 電話通訳システム
JP4150725B2 (ja) 電話通訳補助装置およびそれを用いた電話通訳システム
US20040015550A1 (en) Teleconferencing server and teleconferencing system
US20060074624A1 (en) Sign language video presentation device , sign language video i/o device , and sign language interpretation system
CA2499154A1 (en) A videophone sign language conversation assistance device and a sign language interpretation system using the same
JP2004007482A (ja) 電話会議サーバおよび電話会議システム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020057004394

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2004539512

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 167680

Country of ref document: IL

WWE Wipo information: entry into national phase

Ref document number: 20038231514

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2500999

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2003798475

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2003266592

Country of ref document: AU

ENP Entry into the national phase

Ref document number: 2005112745

Country of ref document: RU

Kind code of ref document: A

WWP Wipo information: published in national office

Ref document number: 2003798475

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020057004394

Country of ref document: KR

ENP Entry into the national phase

Ref document number: 2006120307

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10529113

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10529113

Country of ref document: US