WO2004028163A1 - 手話対談用映像入力装置、手話対談用映像入出力装置、および手話通訳システム - Google Patents

手話対談用映像入力装置、手話対談用映像入出力装置、および手話通訳システム Download PDF

Info

Publication number
WO2004028163A1
WO2004028163A1 PCT/JP2003/011759 JP0311759W WO2004028163A1 WO 2004028163 A1 WO2004028163 A1 WO 2004028163A1 JP 0311759 W JP0311759 W JP 0311759W WO 2004028163 A1 WO2004028163 A1 WO 2004028163A1
Authority
WO
WIPO (PCT)
Prior art keywords
sign language
video
terminal
deaf
interpreter
Prior art date
Application number
PCT/JP2003/011759
Other languages
English (en)
French (fr)
Inventor
Nozomu Sahashi
Original Assignee
Ginganet Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ginganet Corporation filed Critical Ginganet Corporation
Priority to EP03797604A priority Critical patent/EP1542467A4/en
Priority to JP2004537566A priority patent/JPWO2004028163A1/ja
Priority to AU2003264436A priority patent/AU2003264436B2/en
Priority to CA002499154A priority patent/CA2499154A1/en
Priority to US10/528,086 priority patent/US20060125914A1/en
Publication of WO2004028163A1 publication Critical patent/WO2004028163A1/ja
Priority to HK06100232.2A priority patent/HK1077959A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • Sign language conversation video input device sign language conversation video input / output device, and sign language interpreter
  • the present invention relates to a video input device, a video input / output device, and a video input / output device used when a deaf person has a sign language conversation using a communication means such as a video clear telephone.
  • Sign Language Interpretation System for example, a sign language conversation video input device, sign language conversation video input device, and sign language that are suitable for, for example, transmitting a video other than sign language while explaining the video in sign language Regarding the interpreter system.
  • Fig. 13 shows a conceptual diagram of a sign language dialogue between deaf people using a conventional videophone.
  • 10 is a video phone terminal used by the deaf person A
  • 20 is a video phone terminal used by the deaf person B.
  • the deaf person A sets the television telephone terminal 10 so that his / her own sign language is imaged by the imaging unit 10 b and the sign language of the deaf person B displayed on the video display unit 10 a is visually recognized.
  • the deaf person B uses his / her own sign language with the imaging unit 20b to image the videophone terminal 20 and the deaf person displayed on the video display unit 20a.
  • ⁇ so that the sign language of party A is visible.
  • the deaf A and the deaf B can have a sign language conversation via a videophone.
  • a case where a mobile phone type is used as the videophone terminal will be described as an example, but the same applies to a case where a desktop type is used.
  • Such a sign language interpreter can be realized, for example, by using a multipoint connection device that provides a video conference service by connecting three or more video telephone terminals.
  • Fig. 14 shows a conceptual diagram of a sign language interpreting service using a conventional multipoint connection device.
  • 10 is a video phone terminal for the deaf used by the deaf person A (hereinafter referred to as a deaf terminal), and 20 is a video phone terminal for the non-deaf person used by the non-deaf person B (Hereinafter referred to as a non-deaf person's terminal), 30 is a sign language interpreter videophone terminal used by sign language interpreter C (hereinafter, referred to as a sign language interpreter terminal), and 1 is a multipoint connection device.
  • a deaf terminal a video phone terminal for the deaf used by the deaf person A
  • 20 is a video phone terminal for the non-deaf person used by the non-deaf person B (Hereinafter referred to as a non-deaf person's terminal)
  • 30 is a sign language interpreter videophone terminal used by sign language interpreter C (hereinafter, referred
  • the multipoint connection device 1 accepts connections from the terminals 10, 20, 30, receives video and audio transmitted from each terminal, synthesizes the received video and audio, and distributes them to each terminal I do.
  • the display screen (10a, 20a, 30a) of each terminal displays an image obtained by synthesizing the image of each terminal, and the headset (20c, 30c) of each terminal, etc.
  • the voice synthesized from voices acquired by microphones such as the headset (20c, 30c) of each terminal is output to the speaker of.
  • a four-division composition is used to combine the images of all the connected users equally.
  • the headset of the deaf person terminal 10 is omitted here, and voice communication is performed only between the non-deaf person and the sign language interpreter. However, if the deaf person's terminal 10 collects and transmits environmental sounds, or if there is an attendant, May be provided with a sound collecting microphone or a headset.
  • the sign language interpreter C reads the image of the deaf person A and translates it into a voice, and the non-deaf person B listens to the voice of the sign language interpreter C. Able to understand the sign language of Deaf A.
  • the sign language interpreter C listens to the non-deaf person B and translates it into sign language, and the deaf person A sees the sign language of the sign language interpreter C and becomes a non-deaf person. Understand what B said.
  • a main object of the present invention is to provide a video input device for sign language dialogue in which a deaf person can simultaneously provide explanations in a sign language while transmitting a video image of a target other than sign language to the other party, and a video input / output device for sign language conversation including the same. It is to provide a device and a sign language interpreting system using the device. Disclosure of the invention
  • a sign language conversation video input device Image means, image acquisition means for acquiring an image other than sign language, image synthesizing means for synthesizing a sign language image picked up by the sign language image pickup means and a non-sign language image acquired by the image acquisition means, and image synthesizing.
  • Video transmission means for transmitting a video synthesized by the means, so that a deaf person can add a description in sign language when transmitting a video other than sign language.
  • the deaf person can explain the target accurately and can proceed with sign language dialogue quickly.
  • a sign language conversation video input device is the sign language conversation video input device according to claim 1, wherein the sign language imaging means has a waist fixing means for fixing to the waist of a deaf person. .
  • the video input device for sign language conversation according to claim 3 is the video input device for sign language conversation according to claim 1 or claim 2, wherein the video transmission means is a video telephone connection means for connecting to a video telephone terminal. Including.
  • a deaf person can use a general-purpose videophone terminal to transmit a video in which a sign language explanation is added to a video other than a sign language to the other party.
  • the deaf can transmit to the other party a video in which a sign language explanation is added to the video other than sign language even while moving, It is more convenient for people.
  • the video input device for sign language dialogue according to claim 4 is the video input device for sign language dialogue according to claim 3, wherein the videophone connection means includes wireless communication means for wirelessly communicating with the videophone terminal.
  • the video input device for sign language conversation can be connected to the videophone terminal by cable. Since there is no need to continue, handling is extremely easy.
  • a video input / output device for sign language conversation according to claim 5 is a video input / output device for sign language conversation including the video input device for sign language conversation according to claim 3 or claim 4, wherein the videophone connection means is a television.
  • a sign language image receiving means for receiving the sign language image being received at the telephone terminal, a display means for displaying the sign language image received by the sign language image receiving means, and a foreground fixing means for fixing the display means in front of the deaf person It is provided with.
  • a deaf person can add a sign language explanation when transmitting a video other than sign language, and can also receive sign language explanations while freely moving his / her gaze and visually recognizing the outside world. It is preferable that the display means fixed in front of the deaf person be as small as possible so as not to obstruct the external view.
  • the video input / output device for sign language dialogue according to claim 6 is the video input / output device for sign language dialogue according to claim 5, wherein the display means is simultaneously displayed by the display means when a deaf person visually recognizes the outside world. It has a convex lens that can almost focus on the sign language image.
  • the deaf person can see the sign language image displayed on the display means without adjusting the focus of the eyeball when viewing the outside world. Further, since the sign language image displayed on the display means is enlarged by the convex lens, the size of the display device can be further reduced.
  • a sign language conversation video input / output device is the sign language conversation video input / output device according to claim 5 or 6, wherein the anterior eye fixing means can be fixed to the ear and nose of a deaf person. It has a simple frame structure.
  • the deaf person can easily set the display means to the optimum position in front of his / her eyes, which is more convenient for the deaf person.
  • the sign input / output video input / output device is the same as in claims 5 to Item 8.
  • the deaf person can transmit the video in which the explanation in sign language is added to the target video to the other party while directly recognizing the target to be explained, so that the conversation in sign language can be performed more quickly and accurately.
  • the sign language interpreting system is used by a deaf person who can sign language, and is used for a deaf person to whom the video input / output device for sign language conversation according to any one of claims 5 to 8 is connected.
  • a videophone terminal, a videophone terminal for non-deaf people used by non-deaf people who cannot use sign language, and a videophone terminal for sign language interpreters used by a sign language interpreter are connected to each other.
  • a sign language interpreting system for providing a sign language interpreter in a video telephone conversation with a non-deaf person, comprising a sign language interpreter registration table in which a terminal number of a sign language interpreter video phone terminal used by the sign language interpreter is registered, A function to accept a call from either a video phone terminal for the deaf or a video phone terminal for non-deaf people, and a function to prompt the caller's video phone terminal that received the call to input the terminal number of the call destination And sign language interpreter registration A function to retrieve the sign language interpreter's terminal number from the telephone, a function to call the sign language interpreter's videophone terminal using the extracted sign language interpreter's terminal number, and a function to call the videophone terminal using the acquired callee's terminal number.
  • Connection means having a function of calling a deaf person and combining at least a video from a non-deaf video phone terminal and a video from a sign language interpreter video phone terminal for transmission.
  • a communication means having a function of transmitting voice from a videophone terminal for non-deaf persons.
  • a deaf person can have a videophone conversation with a non-deaf person via a sign language interpreter using the sign language conversation video input / output device of the present invention.
  • the sign language interpreter since it has a function to call the terminal number of the sign language interpreter registered in the sign language interpreter registration table and call it, the sign language interpreter can respond anywhere as long as it can be called, and flexible and efficient sign language Interpretation system can be configured.
  • the sign language interpreting system according to claim 10 is the sign language interpreting system according to claim 9, wherein selection information for selecting a sign language interpreter is registered in a sign language interpreter registration table, and the connection means is a calling television. It has a function of acquiring the selection conditions of the sign language interpreter from the telephone terminal and a function of extracting the terminal number of the sign language interpreter corresponding to the selection conditions of the sign language interpreter obtained from the sign language interpreter registration table.
  • the sign language interpreter registration table has a reception flag for registering whether or not a registered sign language interpreter is acceptable, and the control means can refer to the reception flag of the sign language interpreter registration table and accept the sign language interpreter registration table.
  • FIG. 1 is a system configuration diagram of a sign language conversation video input / output device according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing an example of an image displayed on a terminal of a partner when a sign language conversation is performed by the sign language conversation video input / output device of the present invention.
  • FIG. 3 is a system configuration diagram of a sign language interpreting system according to an embodiment of the present invention.
  • FIG. 4 is a diagram showing an example of an image displayed on each screen of a deaf person terminal, a non-deaf person terminal, and a sign language interpreter terminal in a sign language interpreter using the sign language interpreter system of the present invention.
  • FIG. 5 is a processing flowchart of the control device of the sign language interpreting system according to the embodiment of the present invention.
  • FIG. 6 is a diagram showing an example of a sign language interpreter registration table.
  • FIG. 7 is a diagram showing an example of a screen for prompting input of a terminal number of a call destination.
  • FIG. 8 is a diagram showing an example of a screen for prompting input of a sign language interpreter selection condition.
  • FIG. 9 is a diagram showing an example of a screen displaying a candidate list of sign language interpreters.
  • FIG. 10 is a system configuration diagram of a sign language interpreting system according to another embodiment of the present invention.
  • FIG. 11 is a diagram showing an example of a connection destination table.
  • FIG. 12 is a processing flowchart of connection processing of the sign language interpreting system according to another embodiment of the present invention.
  • Fig. 13 shows a conceptual diagram of sign language conversation between deaf persons using a conventional videophone terminal.
  • Fig. 14 is a conceptual diagram of a sign language interpreting service using a conventional multipoint connection device.
  • FIG. 1 shows a system configuration diagram of a sign language conversation video input / output device according to an embodiment of the present invention.
  • 12 is a display device for displaying a sign language image
  • 13 is a frontal fixing device for fixing the display device 12 in front of a deaf person
  • 14 is a sign language imaging camera for picking up a sign language of a deaf person
  • 15 is a sign language imaging camera 14 is a waist fixing device for fixing the 4 to the waist of a deaf person
  • 16 is an object imaging camera for capturing an object other than sign language
  • 17 is an image of the sign language imaging camera 14 and an object imaging camera 1
  • An image synthesizing device for synthesizing the video image 6 and a videophone connecting device 18 for connecting the display device 12 and the image synthesizing device 17 to the videophone terminal 10
  • the display device 12 is, for example, for sign language video.
  • the image is enlarged so that the deaf person can surely recognize the sign language displayed with the anterior fixation device 13 attached.
  • the deaf person can recognize the sign language displayed on the display device 12 at the same time without discomfort while visually recognizing the outside world.
  • the anterior fixation device 13 has an eyeglass frame-like structure to be put on the ear and nose, and a display device 12 is mounted near the frame in front of the eye so that the sign language can be visually recognized without impairing the external field of view.
  • the display device 12 is provided at the lower left in front of the deaf person, but may be provided anywhere as long as the external view is not impaired.
  • the display device 12 is provided at the same position on the left and right of the fixture 13, but as long as the deaf can recognize the sign language to be displayed, the display device 12 is provided on one side of the frontal fixture 13 You may do so.
  • the anterior fixation device 13 is for setting the display device 12 in front of the eyes of a deaf person. Therefore, the display device 12 may be fixed to a hollow frame, but a transparent plate is provided in the frame. The display device 12 may be attached to the transparent plate. If the deaf person is myopic or hyperopic and has presbyopia and requires a corrective lens, a corrective lens is provided in the frame, and the display device 12 is attached to the corrective lens. Is also good.
  • the sign language imaging camera 14 for example, a small CCD camera is used, which is fixed to the waist fixing device 15.
  • the angle of view of the sign language imaging camera 14 is set to a necessary and sufficient angle so that the sign language performed by a deaf person can be imaged while being fixed to the waist fixing member 15.
  • the waist fixing device 15 is, for example, a belt worn on the waist of a deaf person, and has an arm for fixing a sign language imaging camera 14 on a buckle portion thereof, so that the sign language of the deaf person can be imaged. It is only required that the sign language camera 14 can be set. Thus, even if the deaf person changes his body direction and position, the sign language camera 14 can stably image the sign language of the deaf person.
  • a small CCD camera is used as the target imaging camera 16, which is fixed to the side of the anterior eye fixing device 13.
  • the orientation imaged by the target imaging camera 16 substantially matches the direction of the line of sight of the deaf person, so that the subject of the dialogue is accurately captured.
  • the video can be transmitted to the other party.
  • the video synthesizing device 17 combines the target video with the target imaging power camera 16 and the sign language video with the camera 14 into one combined video into one composite video.
  • Fig. 2 (a) shows the target video as the main screen and the sign-in video is used as the sub-screen for picture-in-picture synthesis.
  • Fig. 2 (b) shows the sign language screen as the main screen and the target screen as the sub-screen.
  • Fig. 2 (c) shows the target video and sign language video combined equally
  • Fig. 2 (d) shows a single sign language video
  • Fig. 2 (e) shows the target.
  • Fig. 2 (f) shows a single image of the image
  • FIG. 2 (f) shows a still image obtained by freezing the target image, and a picture-in-picture composition of the sign language image as a child screen.
  • picture-in-picture synthesis is performed using a sign language image as the main screen and a frozen image of the target image as a still image.
  • the position of the child screen in the picture-in-picture synthesis can be changed so that important information of the main screen is masked, and the position of the child screen is not overlapped when another child screen is inserted in sign language interpretation, which will be described later. It is preferable to keep it.
  • the video synthesizing device 17 is housed in the lumbar fixture 15 or the anterior fixture 13, and the video signal of the target imaging camera 16 or the sign language imaging camera 14 is wired or wireless in the lumbar fixture 15. Alternatively, the image may be supplied to the image synthesizing device 17 housed in the anterior fixation device 13.
  • the videophone connection device 18 is a device that connects the external device connection terminal of the videophone terminal 10 to the display device 12 and the video synthesizing device 17.
  • the videophone connection device 18 transmits a video signal received by the videophone terminal 10.
  • the video signal from the video synthesizing device 1 is supplied to the videophone terminal 10.
  • the display device 12 becomes an external video display device of the videophone terminal 10
  • the target imaging camera 16 and the sign language imaging camera 14 become external video input devices of the videophone terminal 10.
  • the deaf can add sign language explanations to the target video and transmit it to the other party, which is the same effect as a healthy person adding audio explanations to the target video. Is obtained, prompt talks become possible, and information about the target can be more accurately transmitted to the other party.
  • the description has been made on the assumption that the eyeglass fixing device 13 for fixing the display device 12 to the front of the deaf person uses eyeglass frames.
  • the display device 1 may be attached to a hair band fixed to the head.
  • the arm may be provided with an arm to which the display device 2 is attached, and may be any device as long as the display device 12 can be fixed in front of a deaf person.
  • the target imaging camera 16 has been described as being attached to the side surface of the anterior fixation device 13, the present invention is not limited to this, and the head of a deaf person is independent of the anterior fixation device 13. You may make it fix to a part.
  • the sign language imaging camera 14 has been described as including the waist fixing device 15 for fixing to the waist of a deaf person.
  • the sign language imaging camera 14 can image the sign language of a deaf person, Such fixing means may be used, and the effect of the present invention is achieved.
  • the videophone connection device 18 connects the external device connection terminal of the videophone terminal 10 with the display device 12 and the video synthesis device 17 by wire.
  • a wireless communication device that wirelessly communicates a video signal at each of the external device connection terminal of the videophone terminal 10 and each of the foreground fixture 13 and the video synthesizing device 17. Good. This eliminates the need to make a cable connection between the television telephone terminal 10 and the eye fixing device 13 and the video synthesizing device 17, thereby making handling extremely easy.
  • the videophone terminal 10 has a standard wireless interface for wirelessly communicating with an external device such as Bluetooth (registered trademark), for example, the anterior fixture 13 and the image synthesizing device are used.
  • a communication device of the same standard may be provided in 17.
  • the videophone terminal uses a telephone-type videophone terminal, particularly a mobile phone-type videophone terminal.
  • the present invention is not limited to this. The same is true when using an IP-type videophone terminal connected to the Internet.
  • the sign language imaging camera 14, the target imaging camera 16, the video compositing device 17, the display device 12, the anterior fixture 13, and the videophone connection device 18 are provided.
  • Sign language that has both the function of synthesizing the video and the target video and supplying it to the videophone terminal 10, and the function of acquiring the sign language video being received by the videophone terminal 10 and displaying it on the display device 12
  • the video input / output device for conversation has been described, but the sign language camera 14 that captures sign language, the target camera 16 that captures objects other than sign language, the video of the sign language camera 14 and the target camera 16
  • the deaf person can simultaneously provide explanations in sign language while transmitting the target video other than sign language to the other party, and the effect of the present invention is achieved.
  • FIG. 3 shows a system configuration diagram of the sign language interpreting system according to one embodiment of the present invention.
  • reference numeral 100 denotes a sign language interpreting system installed in a sign language interpreting center that provides a sign language interpreting service, and a video telephone terminal for a deaf person used by a deaf person A via a public telephone line 40.
  • a sign language interpreter video phone terminal (hereinafter referred to as a sign language interpreter terminal) 30 is connected to provide a sign language interpreter service for video phone conversations between deaf and non-deaf people.
  • the deaf person terminal 10, the non-deaf person terminal 20, and the sign language interpreter terminal 30 are all telephone-type television telephone terminals connected to a public telephone line, and An example is shown in which a wireless mobile phone type videophone terminal which can be carried around and used is used.
  • a video telephone terminal connected to a public telephone line for example, there is an ISDN video telephone terminal conforming to ITU-T Recommendation H.320, etc., but the invention of the present application is not limited to this and uses a unique protocol.
  • a videophone terminal may be used.
  • the deaf person terminal 10 was connected to the above-mentioned sign input / output device for sign-language dialogue, and the deaf person A was fixed in front of his / her eyes by attaching the anterior fixation device 13 and the lumbar fixation device 15.
  • the sign language image received by the deaf person terminal 10 is displayed on the display device 1 2
  • the target imaging camera 16 that captures the direction of the line of sight of the deaf person A and the sign language imaging camera 14 that captures the sign language of the deaf person are set, and the target video is explained in sign language.
  • the added composite video is transmitted to the other party.
  • the non-deaf person terminal 20 includes a video display unit 20a for displaying a video received from the other party, an imaging unit 20b for capturing an image of a user or a target, and a headset for inputting and outputting audio.
  • 20c is a normal videophone terminal.
  • the sign language interpreter terminal 30 is also a normal videophone terminal having the same configuration as the non-deaf person terminal 20, but the image display section 30a is mainly for visually recognizing the sign language of the deaf person A.
  • the imaging unit 30b is used to image the sign language translated by the sign language interpreter.
  • the headset 30c is mainly used to listen to the voice of the non-deaf person B and to input the voice translated from the sign language of the deaf person A.
  • Hand-held handsets are used for input and output of voice in ordinary telephone-type terminals, but in this case, sign language is used, and it is necessary to move hands freely.
  • a headset is used that is fixed to the head. Note that a headset is not shown in the deaf person terminal 10, but in the case where an attendant is present, the headset may be used for voice communication.
  • the sign language interpreter system 100 is a line interface for the deaf terminal for connecting to a deaf terminal (hereinafter, the interface is abbreviated as I / F) 120 and a non-deaf terminal. It has a line I / F 140 for non-deaf terminal and a line I / F 160 for sign language interpreter terminal for connecting with a sign language interpreter, and multiplexes video signal, audio signal and data signal respectively. Multiplexing and demultiplexing devices 1 2 2, 1 4 2, 1 6 2, and video codecs 1 2 4, 1 4 4, 1 6 4 that compress and decompress video signals, and audio signal compression '' The decompression audio codec 1 2 6, 1 4 6 and 1 6 6 are connected. You.
  • each line I / F, each multiplexing / demultiplexing device, each video codec, and each audio codec correspond to the protocol used in each terminal, such as call control and streaming control, video signals and audio signals. Compression and expansion are performed.
  • the video input of the video codec for the deaf and deaf terminals includes the video output of the video codec for the non-deaf P-terminal and the video codec for the sign language interpreter terminal.
  • a video synthesizing device 128 for synthesizing the video output and the output of the telop memory 132 for the deaf terminal is connected.
  • Speech codec for deaf terminal 1 2 6 includes voice codec for non-deaf terminal 1 4 6 speech output and speech codec for sign language interpreter terminal 1 6 6
  • a speech synthesizer 130 for synthesizing the speech output with the speech synthesizer is connected.
  • a deaf person's terminal basically does not perform input / output of voice
  • the speech codec 126 and the speech synthesizer 130 for the deaf person terminal can be omitted. It is preferable to provide a voice communication function because there may be a case where it is desired to transmit the environmental sound of the person to the non-deaf person terminal or a case where the deaf person has an attendant.
  • Video codec for non-deaf terminal 1 4 4 includes video codec for deaf terminal 1 24 and video codec for sign language interpreter terminal 1 6 4
  • a video synthesizing device 148 for synthesizing the video output of the non-deaf terminal telop memory 152 with the video output of the non-deaf terminal telop memory 152 is connected.
  • the voice input of the voice codec for non-deaf terminals 146 includes the voice output of voice code for deaf terminals 126 and the voice codec for sign language interpreter terminals.
  • a speech synthesizer 150 for synthesizing the output is connected.
  • the display of the sign language interpreter's image can be omitted on the non-deaf person's terminal, but by displaying the sign language interpreter's image, the sign language interpreter can interpret the image. Therefore, it is preferable to be able to compose a sign language interpreter's video because it makes it easier to interpret the voice.
  • Video codec for sign language interpreter terminals 164 The video input of video codec for deaf terminal 124 and video codec for non-deaf terminal 144 A video synthesizing device 168 for synthesizing with the output of the telop memory for sign language interpreter terminal 172 is connected.
  • the speech input of speech codec 166 for sign language interpreter terminals includes the speech output of speech codec 126 for deaf terminals and the speech output of speech codec 146 for non-deaf terminals. Is connected to a speech synthesizer 170 for synthesizing.
  • the sign language interpreter terminal can omit the display of images of non-deaf people, but by displaying the images of non-deaf people, it is possible to interpret the voice of the non-deaf people when sign language interpretation is performed. Therefore, it is preferable to be able to synthesize an image of a non-deaf person.
  • the sign language interpreter system 100 has a sign language interpreter registration table 182 for registering the terminal number of the sign language interpreter terminal used by the sign language interpreter, and each line I / F 120, 140 , 160, each multiplexing and demultiplexing device 1 2, 2, 142, 162, each video synthesizing device 1 2, 8, 1 488, 168, each audio synthesizing device 1 3 0, 1 50, 1 70, a control device 180 connected to each of the telop memories 13 2, 15 2, 17 2, for controlling the terminal used by the deaf or the terminal used by the non-deaf A function to accept a call from any of them, a function to prompt the calling terminal to input the terminal number of the callee, a function to extract the terminal number of the sign language interpreter from the sign language interpreter registration table 18
  • the caller terminal, the sign language interpreter terminal and the callee terminal are connected by the function of calling the called terminal number and the function of calling the callee terminal number. Addition to providing capability, video and speech synthesis method
  • FIG. 4 shows an example of an image displayed on each terminal screen during a TV conversation with the sign language interpreting system of the present invention.
  • FIG. 4 (a) shows a screen of a deaf person terminal.
  • the image synthesizing unit 128 displays an image obtained by combining the image of the sign language interpreter terminal with the image of the non-deaf person terminal.
  • a picture of a non-deaf person is displayed as a parent screen
  • a picture of a sign language interpreter is displayed as a child screen.
  • the screen may be a picture-in-picture display, or both may be displayed equally. If a sign language interpreter's image is displayed on a large scale, the sign language interpreted by the sign language interpreter will be more legible. It is preferable that the position of the child screen in the picture-in-picture display can be changed by a command from the terminal so as not to mask the important information of the main screen.
  • FIG. 4 (b) is a screen of a non-deaf terminal, in which an image obtained by combining the image of the sign language interpreter terminal with the image of the deaf terminal is displayed by the image synthesizing device 148.
  • the image of the deaf terminal is a video obtained by synthesizing a sign-language image captured by the sign-language imaging camera 14 with the target video captured by the target imaging camera 16 at the lower left by picture-in-picture.
  • the image of the interpreter's image is composed of a picture-in-picture combination at the lower right, but the image of the sign language interpreter may be omitted.
  • Fig. 4 (c) shows the screen of the sign language interpreter terminal, in which an image obtained by combining the image of the non-deaf terminal with the image of the deaf terminal is displayed by the image synthesizing device 168. It is. Also in this case, the image of the deaf terminal is a video obtained by combining the target video imaged by the target imaging camera 16 with the sign language video imaged by the sign language imaging camera 14 at the lower left, in a picture-in-picture manner. The image of the picture of the non-deaf person is synthesized at the lower right of the picture-in-picture, but the image of the non-deaf person may be omitted. By synthesizing and displaying the image of the non-deaf person as described above, the sign language interpreter can check the facial expression of the non-deaf person on the screen. Will be more decipherable.
  • the deaf person terminal is provided with a non-deaf sound device 130 so as to be able to cope with the case of transmitting the environmental sound from the deaf person terminal or the presence of an attendant.
  • the speech of the signer interpreter terminal and the speech of the sign language interpreter terminal are output, and the speech of the sign language interpreter terminal and the speech of the sign language interpreter terminal are synthesized by the speech synthesizer 150 for the non-deaf person terminal.
  • the voice is output, and a voice synthesized by the voice of the non-deaf terminal and the voice of the deaf terminal is output to the sign language interpreter terminal by the voice synthesizer 170.
  • each video synthesizing device 128, 148, 168 and each voice synthesizing device 130, 150, 170 is controlled by the controller 180, and from each terminal. The user can change the video display method or audio output method by pressing a predetermined number button on the dial pad.
  • each terminal This means that the number pad of the dial pad is pressed at each terminal, and the data signal or tone signal is transmitted at each demultiplexer 122, 142, 162. This can be realized by detecting as a signal and transmitting this to the control device. This allows each terminal to be used flexibly, such as selecting and displaying only the necessary video and audio according to the purpose, switching between the main screen and the sub-screen, and changing the position of the sub-screen.
  • each video synthesizing device 128, 148, and 168 are input to the telop memory for deaf people 132, the telop memory for non-deaf people 152, and the telop memory for sign language interpreters, respectively. 172 is connected, and the contents of each of the telop memories 13 2, 15 2 and 17 2 can be set from the control device 180.
  • the message for each terminal is set in each of the telop memories 13 2, 15 2, 17 2, and each video compositing device 1 28, By issuing a command to select the signal of each subtitle memory 1 32, 15 2 and 17 2 to 1 4 8 and 1 6 8, the necessary message is transmitted to each terminal and the 3 Inter-call can be established.
  • the terms are registered in the control device 180 in advance by associating those terms with the dial pad numbers of each terminal.
  • Registered in Table 18-4 detect that the dial pad of each terminal was pressed during the videophone conversation, and extracted the term corresponding to the dial pad number pressed from the term registration table By creating a character telop and setting it in each telop memory, the term can be displayed on each terminal.
  • the sign language interpreter registration table 18 2 of the control device 180 registers the sign language interpreter selection information and the terminal number of the terminal used by each sign language interpreter from an appropriate terminal (not shown). Keep it.
  • Figure 6 shows an example of the items registered in the sign language interpreter registration table 182.
  • the sign language interpreter selection information is information for the user to select the sign language interpreter he / she wants, and registers gender, age, place of residence, specialized field, level of sign language interpreter, etc.
  • the place of residence assumes that the user wants someone who has geographical knowledge about a specific area.
  • the area can be specified by zip code.
  • Specialized fields are intended for cases where the content of the dialogue is specialized and the user wants someone who has specialized knowledge in the field or a person who is bright on topics in that field.
  • Interpreters specialize in politics, law, business, education, science and technology, medical care, languages, sports and hobbies.
  • fields of specialization are diverse, it is possible to register hierarchically and search at the level desired by the user at the time of selection.
  • each interpreter may be registered so that the user can select the desired qualification holder as a sign language interpreter.
  • the terminal number here is for a videophone terminal connected to a public telephone line, so the telephone number of the terminal will be registered.
  • the sign language interpreter registration table 18 2 is provided with a reception flag indicating whether or not sign language interpreters can be accepted.
  • the registered sign language interpreter calls the sign language interpreter center from his / her own terminal and dials. By inputting a command using the pad, the reception flag can be set or reset. This allows sign language interpreters registered in the sign language interpreter registration table to set the reception flag only when sign language interpretation is available. As a result, unnecessary calls can be eliminated, and the user can quickly select a sign language interpreter that can respond.
  • FIG. 5 shows a processing flow of the control device 180.
  • the Sign Language Interpretation System 100 can apply for a sign language interpreting service from either a deaf or non-deaf terminal. Call the phone number on the F / F side, and if applying from a non-deaf terminal, call the phone number on the I / F side for the non-deaf terminal so that the sign language interpreter terminal and the other party The terminal is called and a connection for videophone conversation via sign language interpreter is established.
  • the selection conditions of the sign language interpreter selected by the caller are gender, age classification, region, specialty field, sign language level, and the gender and age registered in the sign language interpreter registration table 1 8 2 ⁇ Residential area ⁇ Specialized field
  • the appropriate sign language interpreter is selected based on the level. The area is specified using a postal code, and sign language interpreters are selected in order from the one whose residence is closest to the specified area. If there is no need to specify any of the selection items, you can choose any question.
  • a sign language interpreter whose reception flag is set is selected from the sign language interpreters who meet the selection conditions obtained by referring to the sign language interpreter registration table 18 2.
  • the selected number of the sign language interpreter input by the caller is obtained (S112), and the terminal number of the selected sign language interpreter is retrieved from the sign language interpreter registration table 182 and called (S11). 1 1 4). If there is a response from the sign language interpreter terminal (S116), the terminal number of the called party is retrieved and called (S118), and if a response is received from the called terminal (S112). 0), a videophone conversation with a sign language interpreter is started (S122).
  • the caller when there is no response from the selected sign language interpreter terminal, the caller is simply notified and disconnected, but the sign language interpreter reservation table is provided to provide a caller terminal number and caller ID.
  • the terminal number may be registered, and when a response is received from the selected sign language interpreter, the caller and the callee may be notified to set up a videophone conversation.
  • the sign language interpreting system 100 has been described as being configured from the line IZF, the multiplexing / separation measure, the video codec, the audio codec, the video synthesizing device, the voice synthesizing device, the control device, and the like.
  • these need not necessarily be configured as individual hardware, but may be configured to realize the functions of the respective devices by software processing using a computer.
  • the sign language interpreter terminal 30 is outside the sign language interpreter center like the deaf person terminal 10 and the non-deaf person terminal 20, and is sent from the sign language interpreting center via a public telephone line.
  • the present invention is not limited to this, and some or all of the sign language interpreters may be provided in the sign language interpreting center, and the sign language interpreting center may provide the sign language interpreting service. It goes without saying that it is good. '
  • the sign language interpreter can participate in the sign language interpreting service anywhere as long as the terminal has a terminal that can be connected to the public telephone line. It can be used to provide sign language interpreting services. By doing so, it will be possible to operate the sign language interpreting service, which is difficult to secure personnel, efficiently and stably. In particular, although sign language interpreters are increasing in number these days, even those with irregular time can use sign time effectively to provide sign language interpreting services.
  • the video signal of the own terminal is not input to the video synthesizing devices 1, 1, 1, and 1, the video signal of the own terminal is also input and synthesized for video confirmation.
  • a display function may be provided.
  • the video and audio are synthesized for each terminal by the video synthesizing devices 128, 148, 168 and the voice synthesizing devices 130, 150, 170.
  • the present invention is not limited to this, and the video and audio of all the terminals may be combined and transmitted to each terminal.
  • the character telop is displayed on each terminal by providing the telop memory 13 2, 15 2, 17 2 and adding it to the video synthesizing device 1 28, 1 48, 1 68 for each terminal
  • a telop memory for storing voice information is provided, and a voice message is output to each terminal by adding it to the voice synthesizer 130, 150, 170 for each terminal.
  • a function may be provided. This allows, for example, non-deaf people to use sign language interpreters even if they are visually impaired. Video conversation can be set.
  • FIG. 10 shows a system configuration diagram of a sign language interpreting system according to another embodiment of the present invention.
  • each terminal used by a deaf person, a non-deaf person, and a sign language interpreter is an IP (Internet Protocol) type videophone terminal connected to the Internet, and has a Web browser function.
  • IP Internet Protocol
  • reference numeral 200 denotes a sign language interpreting system installed at a sign language interpreting center that provides sign language interpreting services.
  • the sign language interpreting system 200 is connected to a deaf person terminal 50 used by a deaf person via the Internet 70.
  • Connect the non-deaf terminal 60 used by the deaf and the sign-language interpreter terminal 2 31 1, 2 32, ... used by the sign language interpreter to the deaf and non-deaf Provide a telephone conversation service between signers via sign language interpreters.
  • IP videophone software and a web browser are installed, a dedicated videophone terminal may be used.
  • video telephone terminals connected to the Internet include, for example, IP video telephone terminals compliant with H.323 of ITU_T recommendation, but the invention of the present application is not limited to this.
  • a telephone terminal may be used.
  • the Internet includes a wireless LAN type, and the videophone terminal may be a mobile phone or a mobile terminal having a videophone function that provides a web access function. .
  • the sign language interpreting system 200 has a connection destination table 222 for setting terminal addresses of a deaf terminal, a non-deaf terminal, and a sign language interpreter terminal to be connected.
  • Server that has the function of connecting the terminals registered in the terminal and synthesizing the video and audio received from each terminal and transmitting them to each terminal, as described above, the sign language interpreter selection information and terminal
  • It has a sign language interpreter registration table 2 1 2 for registering addresses and reception flags, and selects a desired sign language interpreter by accessing it from a calling terminal using a Web browser, Web server 110, which has the function of setting the terminal addresses of the caller terminal, the callee terminal, and the sign language interpreter terminal in the connection destination table 2 2 2, the Web server 110, and the communication server Router 2 5 0 to connect 2 2 0 to the Internet
  • FIG. 11 shows an example of the connection destination table 222.
  • the terminal address of the deaf Pia terminal, the terminal address of the non-deaf terminal, and the terminal address of the sign language interpreter terminal are registered as a set in the connection destination table 222.
  • One sign language interpreter service is set up.
  • the connection destination table 222 can register a plurality of sets of such terminal addresses according to the processing capacity of the communication server 220, thereby simultaneously providing a plurality of sign language interpreting services. Is provided.
  • the terminal address registered in the connection destination table 222 is an address on the Internet, so an IP address is generally used. However, the present invention is not limited to this. Granted Alternatively, a name using a name or the like may be used.
  • the communication server 220 performs bucket communication according to a predetermined protocol with the deaf terminal, the non-deaf terminal, and the sign language interpreter terminal set in the connection destination table 222, Multiplexing / demultiplexing equipment 122, 142, 162, video codec 124, 144, 164, and audio codec 122, 146, 1 in the sign language interpreting system 100 described above.
  • 66, video synthesizing devices 128, 148, 168 and voice synthesizing devices 130, 150, 170 are provided with the same functions by software processing.
  • predetermined video and audio communication is performed between the deaf terminal, the non-deaf terminal, and the sign language interpreter terminal in the same manner as in the sign language interpreting system 100 described above, and the deaf person and the deaf person are deaf. Videophone conversations through sign language interpreters will be realized between persons.
  • the terms registered in the term registration table 184 are used for videophone conversations using the controller 180 and the telop memory 13 22, 15 2, 17 2.
  • the terminal has a function of extracting a character based on a command from the terminal and displaying the character telop on the terminal.
  • a similar function may be provided by software processing of the communication server 220.
  • the term specified by each terminal by the web server 210 may be displayed as a pop-up message to other terminals, and a telop memory is provided in the communication server 220 so that each terminal Character telops may be displayed on each terminal by writing the specified term to the telop memory via the web server 210.
  • the deaf terminal and the The connection processing for connecting the deaf office terminal and the sign language interpreter terminal was realized by the control device 180. However, in the present embodiment, it is assumed that each terminal has a web access function. Connection processing is performed by the Web server 210.
  • FIG. 12 shows a processing flow of the connection processing by the Web server 210.
  • a sign language interpreting service can be applied from either a deaf or non-deaf terminal.
  • Deaf or non-deaf people who apply for a sign language interpreter can access the sign language interpreting center's web server 210 from their own terminal using a web browser and log in. Is started.
  • the Web server 210 first obtains the terminal address of the caller (S200), and sets it in the connection destination table 222 (S202). Next, a screen prompting for the input of the terminal address of the call destination similar to that shown in FIG. 7 is delivered to the caller terminal (S204), and the terminal address of the callee input by the caller is responded to. Get (S206). In addition, a screen prompting the user to input the sign language interpreter selection conditions similar to that of FIG. 8 described above is delivered to the calling terminal (S208), and the sign language interpreter selection conditions input by the caller are acquired in response to the screen. Yes (S210).
  • a sign language interpreter whose reception flag is set is selected from the sign language interpreters corresponding to the selection conditions obtained from the sign language interpreter registration table 2 1 2, and the caller terminal shown in FIG. 9 is used.
  • a similar candidate list is distributed to prompt the user to enter the selection number of the desired sign language interpreter (S2122).
  • the selection number of the sign language interpreter selected by the caller is acquired, and the terminal address of the selected sign language interpreter is acquired from the sign language interpreter registration table 2 12 (S 2 14).
  • the call screen is delivered to the sign language interpreter terminal based on the acquired terminal address of the sign language interpreter (S216), and if the call is answered (S218), the sign language interpreter is received.
  • connection destination table 222 Is set in the connection destination table 222 (S220).
  • a call screen is delivered to the called terminal based on the obtained called terminal address (S2222), and the call is received.
  • the terminal address of the call destination is set in the connection destination table 222 (S226).
  • a videophone conversation with a sign language interpreter is started (S228).
  • the sign language interpreter terminal is described as being in the sign language interpreter system 200, but the present invention is not limited to this. Part or all sign language interpreting center
  • the videophone terminal used by the deaf / non-deaf / sign language interpreter is a telephone-type videophone terminal connected to a public telephone line, and is connected to the Internet.
  • the structure of the sign language interpreting system was explained separately for the case of an IP type videophone terminal.
  • the terminal and the IP-type videophone terminal can communicate with each other by providing a gateway that performs protocol conversion.
  • a sign language interpreter system that supports one of the protocols is installed, and another protocol is used via the gateway. It may be made to correspond to the videophone terminal to be used.
  • the sign language interpreting system can provide sign language interpreting services and provide sign language interpreting services wherever you have a terminal that can be connected to a public telephone line or the Internet. it can.
  • Sign language interpreters do not necessarily need to visit the sign language interpreting center, can participate at home or from a facility or base with a video phone terminal, and use a mobile phone or mobile terminal with video phone function to provide a sign language interpreter service. It is also possible to provide.
  • a deaf person can simultaneously add a description in sign language while transmitting an image of a target other than sign language to the other party, so that the target can be accurately described. This has the effect of allowing prompt dialogue.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

　手話以外の対象の映像を相手方に送信しながら、同時に手話による説明を行える手話対談用映像入力装置、手話対談用映像入出力装置、およびそれを用いた手話通訳システムを提供する。手話対談用映像入力装置は、手話以外の対象を撮像する対象撮像カメラ（１６）と、聾唖者の手話を撮像する手話撮像カメラ（１４）と、手話撮像カメラ（１４）を聾唖者の腰部に固定する腰部固定具（１５）と、カメラ（１４、１６）の映像を合成する映像合成装置（１７）と、合成された映像をテレビ電話端末（１０）に供給するテレビ電話接続装置（１８）とから構成される。手話対談用映像入出力装置は、更に手話映像を表示する表示装置（１２）と、表示装置（１２）を聾唖者の眼前に固定する眼前固定具（１３）とを備え、テレビ電話端末（１０）で受信中の手話映像を表示装置（１２）に供給する。手話通訳システム（１００）は、手話対談用映像入出力装置を用いて聾唖者と非聾唖者が対談する際の手話通訳サービスを提供する。

Description

手話対談用映像入力装置、 手話対談用映像入出力装置、 および手話通訳
技術分野
本願発明は、 聾哑者がテレビ明電話等の通信手段を用いて手話対談を行 う場合に使用する映像入力装置、 映像入出力装置、 およびそれを用いた 田
手話通訳システムに関し、 特に例えば、 手話以外の映像を伝送しながら その映像について手話による説明を行う場合に好適な手話対談用映像入 力装置、 手話対談用映像入出力装置、 およびそれを用いた手話通訳シス テムに関する。
背景技術
手話は聾哑者にとって重要なコミュニケーションの手段であるが、 従 来のテレビ電話は映像品質が悪かったため、 遠隔地の聾哑者同士が手話 による対談を行うには十分ではなかった。 しかしながら、 近年の通信技 術の進歩によりテレビ電話の映像品質が向上し、 遠隔地の聾哑者同士が 手話により対談することが実用的レベルで行えるようになってきた。 第 1 3図に、 従来のテレビ電話による聾哑者同士の手話対談の概念図 を示す。 図において、 1 0は聾哑者 Aが使用するテレビ電話端末であり 、 2 0は聾哑者 Bが使用するテレビ電話端末である。 聾哑者 Aは、 テレ ビ電話端末 1 0を自分自身の手話が撮像部 1 0 bで撮像されるとともに 映像表示部 1 0 aに表示される聾哑者 Bの手話が視認できるようにセッ トする。 同様に、 聾哑者 Bは、 テレビ電話端末 2 0を自分自身の手話が 撮像部 2 0 bで撮像されるとともに、 映像表示部 2 0 aに表示される聾 哑者 Aの手話が視認できるようにセッ トする。 これにより、 聾哑者 Aと 聾哑者 Bはテレビ電話を介して手話による対談を行うことが可能となる 。 尚、 ここではテレビ電話端末として携帯電話型のものを使用した場合 を例にとって説明するが、 デスク トップ型のものを用いた場合でも同様 である。
次に、 テレビ電話を使用して聾哑者と非聾哑者が手話通訳者を介して 対談する場合について述べる。 このような手話通訳は、 例えば 3つ以上 のテレビ電話端末を接続してテレビ会議サービスを提供する多地点接続 装置を使用することにより実現できる。
第 1 4図に、 従来の多地点接続装置を用いた手話通訳サ一ビスの概念 図を示す。 図において、 1 0は聾哑者 Aが使用する聾哑者用テレビ電話 端末 （以下、 聾哑者端末と呼ぶ） 、 2 0は非聾哑者 Bが使用する非聾哑 者用テレビ電話端末 （以下、 非聾哑者端末と呼ぶ） 、 3 0は手話通訳者 Cが使用する手話通訳者用テレビ電話端末 （以下、 手話通訳者端末と呼 ぶ） 、 1は多地点接続装置である。
多地点接続装置 1は、 各端末 1 0、 2 0、 3 0からの接続を受付け、 各端末から送信される映像および音声を受信し、 受信した映像および音 声を合成して各端末に配信する。 これにより、 各端末の表示画面 （ 1 0 a、 2 0 a , 3 0 a ) には各端末の映像を合成した映像が表示され、 各 端末のヘッドセット （ 2 0 c 、 3 0 c ) 等のスピーカには各端末のへッ ドセッ ト （ 2 0 c、 3 0 c ) 等のマイクで取得された音声を合成した音 声が出力される。 映像の合成は、 例えばすベての接続者の映像を均等に 合成する 4分割合成等が用いられる。 尚、 聾哑者 Aは音声入出力を使用 しないので、 ここでは聾哑者端末 1 0のへッ ドセッ トは省略しており、 非聾哑者と手話通訳者との間でのみ音声通話をすることになるが、 聾哑 者端末 1 0で環境音を収集して伝達する場合や介添者が存在する場合に は集音マイクやへッ ドセッ トを設けるようにしてもよい。
このような構成により、 聾哑者 Aが手話をすると、 手話通訳者 Cは聾 哑者 Aの映像を見て音声に翻訳し、 非聾哑者 Bは手話通訳者 Cの音声を 聞くことにより聾哑者 Aの手話を理解することができる。 また、 非聾哑 者 Bが発声すると、 手話通訳者 Cは非聾哑者 Bの音声を聞いて手話に翻 訳し、 聾哑者 Aは手話通訳者 Cの手話を見ることにより非聾哑者 Bの発 声内容を理解することができる。
しかしながら、 以上のようなテレビ電話を用いた聾哑者同士の手話対 談ゃ聾哑者と非聾哑者の間の手話通訳を介した対談においては、 聾哑者 用テレビ電話端末は聾哑者が手話を行っている間はその手話を撮像して 相手方に伝送する必要があるため、 他の映像を相手方に伝送することが できない。 従って、 聾哑者はテレビ電話対談において手話以外の映像を 送信しながら同時にその映像の説明を手話によって行うことはできない このように、 健常者によるテレビ電話対談の場合には対象の映像を送 信しながら同時にその映像の説明を音声によって行うことができるが、 聾哑者によるテレビ電話対談の場合には対象の映像を送信しながら同時 にその説明をする方法がなく、 対象の説明を十分に行えなかったり、 迅 速な対談が困難となるなどの問題があった。
それゆえに、 本願発明の主たる目的は、 聾哑者が手話以外の対象の映 像を相手方に送信しながら、 同時に手話による説明を行える手話対談用 映像入力装置、 それを含む手話対談用映像入出力装置、 およびそれを用 いた手話通訳システムを提供することである。 発明の開示
請求項 1に記載の手話対談用映像入力装置は、 手話を撮像する手話撮 像手段と、 手話以外の映像を取得する映像取得手段と、 手話撮像手段に より撮像された手話映像と映像取得手段により取得された手話以外の映 像とを合成する映像合成手段と、 映像合成手段により合成された映像を 送信する映像送信手段とを備え、 聾哑者が手話以外の映像を送信する際 に手話による説明を付加できるようにしたものである。
これにより、 聾哑者は対象の説明を的確に行うことができ、 手話対談 を迅速に進めることが可能となる。
請求項 2に記載の手話対談用映像入力装置は、 請求項 1に記載の手話 対談用映像入力装置であって、 手話撮像手段は聾哑者の腰部に固定する 腰部固定手段を有するものである。
これにより、 聾哑者は体の向きや位置を変えても、 常に一定の条件で 手話が撮像されて相手方に送信されるので、 手話対談を安定に行うこと ができる。
請求項 3に記載の手話対談用映像入力装置は、 請求項 1または請求項 2に記載の手話対談用映像入力装置であって、 映像送信手段はテレビ電 話端末に接続するテレビ電話接続手段を含むものである。
これにより、 聾哑者は汎用のテレビ電話端末を使用して手話以外の映 像に手話による説明を付加した映像を相手方に送信できる。
特に、 テレビ電話接続手段を携帯電話型のテレビ電話に接続可能とす ることにより、 聾啞者は移動中においても手話以外の映像に手話による 説明を付加した映像を相手方に送信できるので、 聾哑者にとってより利 便性が高まる。
請求項 4に記載の手話対談用映像入力装置は、 請求項 3に記載の手話 対談用映像入力装置であって、 テレビ電話接続手段はテレビ電話端末と 無線通信する無線通信手段を含むものである。
これにより、 手話対談用映像入力装置はテレビ電話端末とケーブル接 続する必要がなくなるので、 取扱いが極めて容易となる。
請求項 5に記載の手話対談用映像入出力装置は、 請求項 3または請求 項 4に記載の手話対談用映像入力装置を含む手話対談用映像入出力装置 であって、 テレビ電話接続手段はテレビ電話端末において受信中の手話 映像を受信する手話映像受信手段を含み、 手話映像受信手段により受信 される手話映像を表示する表示手段と、 表示手段を聾哑者の眼前に固定 する眼前固定手段とを備えたものである。
これにより、 聾哑者は手話以外の映像を送信する際に手話による説明 を付加できるとともに、 自由に視線を移動して外界を視認しながら手話 による説明を受けることができる。 尚、 聾哑者の眼前に固定される表示 手段は、 外界の視認が阻害されないようにできる限り小さいことが好ま しい。
請求項 6に記載の手話対談用映像入出力装置は、 請求項 5に記載の手 話対談用映像入出力装置であって、 表示手段は聾哑者が外界視認時に同 時に表示手段により表示される手話映像にほぼ焦点を合すことができる 凸レンズを備えたものである。
これにより、 聾哑者は外界視認時に眼球の焦点調節を行うことなく表 示手段に表示される手話映像を見ることができる。 また、 凸レンズによ り表示手段に表示される手話映像は拡大されるので、 表示装置のサイズ をより小さくすることができる。
請求項 7に記載の手話対談用映像入出力装置は、 請求項 5または請求 項 6に記載の手話対談用映像入出力装置であって、 眼前固定手段は聾哑 者の耳および鼻に固定可能なフレーム構造を有するものである。
これにより、 聾哑者は表示手段を眼前の最適位置に容易にセッ トする ことができ、 聾哑者にとってより利便性が高まる。
請求項 8に記載の手話対談用映像入出力装置は、 請求項 5ないし請求 項 7のいずれかに記載の手話対談用映像入出力装置であって、 映像取得 手段は手話以外の対象を撮像する対象撮像手段を含み、 対象撮像手段は 眼前固定手段に固定され聾哑者の視認方向を撮像するようにしたもので ある。
これにより、 聾哑者は説明したい対象を直接視認しながら、 当該対象 映像に手話による説明を付加した映像を相手方に送信できるので、 手話 による対談をより迅速かつ的確に行うことができる。
請求項 9に記載の手話通訳システムは、 手話のできる聾哑者が使用す る請求項 5ないし請求項 8のいずれかに記載の手話対談用映像入出力装 置が接続された聾哑者用テレビ電話端末と、 手話のできない非聾哑者が 使用する非聾哑者用テレビ電話端末と、 手話通訳者が使用する手話通訳 者用テレビ電話端末とを相互に接続して、 聾哑者と非聾哑者とのテレビ 電話対談において手話通訳を提供する手話通訳システムであって、 手話 通訳者が使用する手話通訳者用テレビ電話端末の端末番号が登録される 手話通訳者登録テーブルを備え、 聾哑者用テレビ電話端末または非聾哑 者用テレビ電話端末のいずれかからの呼出を受付る機能と、 呼出を受付 た呼出元テレビ電話端末に対して呼出先の端末番号の入力を促す機能と 、 手話通訳者登録テーブルから手話通訳者の端末番号を取出す機能と、 取出された手話通訳者の端末番号により手話通訳者用テレビ電話端末を 呼出す機能と、 取得された呼出先の端末番号により呼出先テレビ電話端 末を呼出す機能とを有する接続手段と、 聾哑者用テレビ電話端末に対し て少なくとも非聾哑者用テレビ電話端末からの映像と手話通訳者用テレ ビ電話端末からの映像とを合成して送出する機能と、 非聾哑者用テレビ 電話端末に対して少なくとも聾哑者用テレビ電話端末からの映像と手話 通訳者用テレビ電話端末からの音声とを送出する機能と、 手話通訳者用 テレビ電話端末に対して少なくとも襲哑者用テレビ電話端末からの映像 と非聾哑者用テレビ電話端末からの音声とを送出する機能とを有する通 信手段とを備えたものである。
これにより、 聾哑者は本願発明の手話対談用映像入出力装置を使用し て非聾哑者との間で手話通訳を介したテレビ電話対談を行うことができ る。
また、 手話通訳者登録テーブルに登録された手話通訳者の端末番号を 呼出して呼出す機能を有するので、 手話通訳者は呼出可能な状態にある 限り何処にいても対応でき、 柔軟で効率的な手話通訳システムを構成で きる。
請求項 1 0に記載の手話通訳システムは、 請求項 9に記載の手話通訳 システムであって、 手話通訳者登録テーブルには手話通訳者を選択する 選択情報が登録され、 接続手段は呼出元テレビ電話端末から手話通訳者 の選択条件を取得する機能と、 手話通訳者登録テーブルから取得された 手話通訳者の選択条件に該当する手話通訳者の端末番号を取出す機能と を有するものである。
これにより、 手話通訳者登録テーブルに登録されている手話通訳者の 中から聾哑者と非聾哑者の対談の目的により適した人を選択できる。 また、 手話通訳者登録テーブルは登録されている手話通訳者が受付可 能か否かを登録する受付フラグを有し、 制御手段は手話通訳者登録テ一 ブルの受付フラグを参照して受付可能な手話通訳者の端末番号を取出す 機能を有するようにすることで、 受付可能な手話通訳者を自動的に選択 して呼出すことが可能となり、 無駄な呼出を排除して、 より柔軟で効率 的な手話通訳システムを構成できる。
本願発明の上述の目的， その他の目的， 特徴および利点は、 図面を参 照して行う以下の発明の実施の形態の詳細な説明から一層明らかとなろ Ό。 図面の簡単な説明
第 1図は、 本願発明の一実施形態にかかる手話対談用映像入出力装置 のシステム構成図である。
第 2図は、 本願発明の手話対談用映像入出力装置により手話対談を行 つたときの相手先の端末に表示される映像の例を示す図である。
第 3図は、 本願発明の一実施形態にかかる手話通訳システムのシステ ム構成図である。
第 4図は、 本願発明の手話通訳システムを用いた手話通訳における聾 哑者端末、 非聾哑者端末、 手話通訳者端末の各画面に表示される映像の 例を示す図である。
第 5図は、 本願発明の一実施形態にかかる手話通訳システムの制御装 置の処理フロー図である。
第 6図は、 手話通訳者登録テーブルの一例を示す図である。
第 7図は、 呼出先の端末番号の入力を促す画面の一例を示す図である 。
第 8図は、 手話通訳者選定条件の入力を促す画面の一例を示す図であ る。
第 9図は、 手話通訳者の候補者リストを表示する画面の一例を示す図 である。
第 1 0図は、 本願発明の他の実施形態にかかる手話通訳システムのシ ステム構成図である。
第 1 1図は、 接続先テーブルの一例を示す図である。
第 1 2図は、 本願発明の他の実施形態にかかる手話通訳システムの接 続処理の処理フロー図である。
第 1 3図は、 従来のテレビ電話端末による聾哂者同士の手話対談の概 念図を示す。 第 1 4図は、 従来の多地点接続装置を用いた手話通訳サービスの概念 図である。 発明を実施するための最良の形態
第 1図に本願発明の一実施形態にかかる手話対談用映像入出力装置の システム構成図を示す。 図において、 1 2は手話映像を表示する表示装 置、 1 3は表示装置 1 2を聾咂者の眼前に固定する眼前固定具、 1 4は 聾哑者の手話を撮像する手話撮像カメラ、 1 5は手話撮像カメラ 1 4を 聾哑者の腰部に固定する腰部固定具、 1 6は手話以外の対象を撮像する 対象撮像カメラ、 1 7は手話撮像カメラ 1 4の映像と対象撮像カメラ 1 6の映像とを合成する映像合成装置、 1 8は表示装置 1 2および映像合 成装置 1 7をテレビ電話端末 1 0と接続するテレビ電話接続装置である 表示装置 1 2は、 例えば手話映像を表示するに十分な解像度を有する 小型の液晶表示装置を使用し、 聾哑者が眼前固定具 1 3を装着した状態 で表示される手話を確実に認識できるように映像を拡大するとともに、 聾哑者が対談相手や景色等の外界を視認中に同時に表示装置 1 2に表示 される手話に対してほぼ焦点が合うようにするために、 表面には凸レン ズを設ける。 これにより、 聾哑者は外界を視認しながら、 違和感なく同 時に表示装置 1 2に表示される手話を認識できる。
眼前固定具 1 3は、 耳と鼻にかけるメガネフレーム状の構造を有し、 外界の視界を損なうことなく手話を視認できるように、 眼前のフレーム 近傍に表示装置 1 2が取付けられる。 ここでは、 聾 P亜者の眼前の左下に 表示装置 1 2を設けたが、 外界の視界を損ねない範囲で何処に設けても よい。
また、 ここでは表示される手話をより明瞭に認識できるように眼前固 定具 1 3の左右の同じ位置に表示装置 1 2を設けるようにしたが、 聾哑 者が表示される手話を認識できる限り、 眼前固定具 1 3のいずれか片側 に表示装置 1 2を設けるようにしてもよい。
眼前固定具 1 3は、 表示装置 1 2を聾哑者の眼前にセッ トするための ものであるから、 中空のフレームに表示装置 1 2を固定してもよいが、 フレーム内に透明板を設けて、 その透明板に表示装置 1 2を貼り付ける ようにしてもよい。 また、 聾哑者が近視 '遠視'乱視 · 老眼等であって矯 正レンズを必要とする場合は、 フレーム内に矯正レンズを設け、 その矯 正レンズに表示装置 1 2を貼り付けるようにしてもよい。
手話撮像用カメラ 1 4は、 例えば小型の C C Dカメラを使用し、 これ を腰部固定具 1 5に固定する。 この場合、 手話撮像用カメラ 1 4は腰部 固定具 1 5に固定した状態で聾哑者が行う手話を撮像できる必要十分の 画角に設定する。
腰部固定具 1 5は、 例えば聾哑者の腰部に装着するベルトであって、 そのバックル部に手話撮像用カメラ 1 4を固定するアームを有し、 聾哑 者の手話が撮像可能な向きに手話撮像用カメラ 1 4を設定できるもので あればよい。 これにより、 聾哑者が体の向きや位置を変えても、 手話撮 像用カメラ 1 4によって聾哑者の手話を安定に撮像することができる。 対象撮像カメラ 1 6は、 同様に例えば小型の C C Dカメラを使用し、 これを眼前固定具 1 3の側部に固定する。 これにより、 聾哑者が眼前固 定具 1 3を装着したとき、 対象撮像カメラ 1 6により撮像される方位は 、 聾哑者の視線の方向とほぼ一致するので、 対談の対象を的確に捉えて その映像を相手方に伝送することができる。
映像合成装置 1 7は、 対象撮像力メラ 1 6による対象映像と手話撮像 カメラ 1 4による手話映像を 1つにまとめて一本の合成映像にするもの であるが、 合成の仕方は第 2図に示すように各種の合成方法があり、 こ の中から目的に応じて選択できるようにしてもよい。 第 2 ( a ) 図は対 象映像を親画面、 手話映像を子画面としてピクチャーィンピクチャー合 成したもの、 第 2 ( b ) 図は逆に手話画面を親画面、 対象画面を子画面 としてピクチャーインピクチャー合成したもの、 第 2 ( c ) 図は対象映 像と手話映像を均等合成したもの、 第 2 ( d ) 図は手話映像の単独映像 としたもの、 第 2 ( e ) 図は対象画像の単独映像としたもの、 第 2 ( f ) 図は対象映像をフリーズさせて静止画としたものを親画面、 手話映像 を子画面としてピクチャーインピクチャー合成したもの、 第 2 ( g ) 図 は逆に手話映像を親画面、 対象映像をフリーズさせて静止画としたもの を子画面としてピクチャーインピクチャー合成したものである。
尚、 ピクチャーインピクチャー合成における子画面の位置は、 親画面 の重要情報をマスクしたり、 後述の手話通訳等において他の子画面を揷 入するときに重なることのないように、 設定変更できるようにしておく ことが好ましい。
映像合成装置 1 7は、 腰部固定具 1 5内または眼前固定具 1 3内に収 容し、 対象撮像カメラ 1 6または手話撮像カメラ 1 4の映像信号を有線 または無線で腰部固定具 1 5内または眼前固定具 1 3内に収容された映 像合成装置 1 7に供給するようにしてもよい。
テレビ電話接続装置 1 8は、 テレビ電話端末 1 0の外部機器接続端子 と表示装置 1 2および映像合成装置 1 7とを接続する装置であって、 テ レビ電話端末 1 0が受信する映像信号を表示装置 1 2に供給するととも に、 映像合成装置 1 Ίからの映像信号をテレビ電話端末 1 0に供給する 。 これにより、 表示装置 1 2はテレビ電話端末 1 0の外付映像表示装置 となり、 対象撮像カメラ 1 6と手話撮像カメラ 1 4はテレビ電話端末 1 0の外付映像入力装置となる。
以上のような手話対談用映像入出力装置をテレビ電話端末に接続して 手話対談を行うと、 聾哑者は対象の映像に手話による説明を付加して相 手方に伝送することができるので、 健常者が対象の映像に音声による説 明を付加するのと同じ効果が得られ、 迅速な対談が可能になるとともに 、 対象についての情報をより的確に相手方に伝達できるようになる。 上記実施形態では、 表示装置 1 2を聾哑者の眼前に固定する眼前固定 具 1 3はメガネフレーム状のものを使用するとして説明したが、 例えば 頭部に固定するヘアバンドに、 表示装置 1 2を取付けるアームを備えた ものでもよく、 表示装置 1 2を聾哑者の眼前に固定できるものであれば どのようなものでもよい。
また、 対象撮像カメラ 1 6は、 眼前固定具 1 3の側面に取付けるとし て説明したが、 本願発明はこれに限定されるものではなく、 眼前固定具 1 3とは独立に聾哑者の頭部に固定するようにしてもよい。
上記実施形態では、 手話撮像カメラ 1 4は聾哑者の腰部に固定する腰 部固定具 1 5を備えるものとして説明したが、 手話撮像カメラ 1 4が聾 哑者の手話を撮像できる限りにおいてどのような固定手段を用いてもよ く、 本願発明の効果を奏する。
上記実施形態では、 手話以外の対談の対象を撮像する対象撮像カメラ 1 6を設けるものとして説明したが、 外部より映像信号を入力する外部 映像信号入力端子を設け、 外部映像信号入力端子から入力された映像信 号と手話撮像カメラ 1 4の映像信号とを映像合成装置 1 7において合成 して対談の相手方に送信するようにしてもよい。 これにより、 外部の力 メラの映像や V T Rの映像を対談の対象として取上げることができ、 そ の映像を対談相手と一緒に見ながら、 その内容について手話によるディ スカッションを行うことができる。
上記実施形態では、 テレビ電話接続装置 1 8はテレビ電話端末 1 0の 外部機器接続端子と表示装置 1 2および映像合成装置 1 7とを有線で接 続するものとして説明したが、 テレビ電話端末 1 0の外部機器接続端子 と、 眼前固定具 1 3および映像合成装置 1 7のそれぞれに、 映像信号を 無線通信する無線通信装置を設けるようにしてもよい。 これにより、 テ レビ電話端末 1 0と眼前固定具 1 3および映像合成装置 1 7とをケープ ル接続する必要がなくなるので、 取扱いが極めて容易になる。
尚、 テレビ電話端末 1 0が、 例えば Bluetooth (登録商標）のような外部 機器と無線通信する標準規格の無線ィンタ一フェースを備えているもの である場合は、 眼前固定具 1 3および映像合成装置 1 7に同一規格の通 信装置を設けるようにすればよい。 これにより、 眼前固定具 1 3および 映像合成装置 1 7に設けた通信装置がテレビ電話端末 1 0の無線ィンタ 一フェースの通信範囲内にある限り、 テレビ電話端末 1 0側には物理的 に何も接続しなくても映像信号の通信を行うことができ、 更に取扱いが 容易となる。
上記実施形態では、 テレビ電話端末は電話型のテレビ電話端末、 特に 携帯電話型のテレビ電話端末を用いた場合について説明したが、 本願発 明はこれに限定されるものではなく、 インタ一ネッ トに接続する I P型 のテレビ電話端末を用いた場合でもまったく同様である。
上記実施形態では、 手話撮像カメラ 1 4と、 対象撮像カメラ 1 6と、 映像合成装置 1 7と、 表示装置 1 2と、 眼前固定具 1 3と、 テレビ電話 接続装置 1 8とを備え、 手話映像と対象映像とを合成してテレビ電話端 末 1 0に供給する機能と、 テレビ電話端末 1 0で受信中の手話映像を取 得して表示装置 1 2に表示する機能の両方を有する手話対談用映像入出 力装置について説明したが、 手話を撮像する手話撮像カメラ 1 4と、 手 話以外の対象を撮像する対象撮像カメラ 1 6と、 手話撮像カメラ 1 4の 映像と対象撮像カメラ 1 6の映像とを合成する映像合成装置 1 7と、 合 成された映像信号をテレビ電話端末 1 0に供給するテレビ電話接続装置 1 8とを備えた手話対談用映像入力装置によっても、 聾哑者は手話以外 の対象の映像を相手方に送信しながら同時に手話による説明を行うこと ができ、 本願発明の効果を奏する。
次に、 聾哑者が本願発明の手話対談用映像入出力装置を使用して非聾 哑者と手話通訳を介してテレビ電話対談を行う場合に、 対談の目的に合 致する手話通訳者を選択することができる手話通訳システムについて述 ベる。
第 3図に本願発明の一実施形態にかかる手話通訳システムのシステム 構成図を示す。 図において、 1 0 0は手話通訳サービスを提供する手話 通訳センタ一に設置される手話通訳システムであり、 公衆電話回線 4 0 を介して、 聾哑者 Aが使用する聾哑者用テレビ電話端末 （以下、 聾哑者 端末と呼ぶ） 1 0と非聾哑者 Bが使用する非聾哑者用テレビ電話端末 （ 以下、 非聾哑者端末と呼ぶ） 2 0と手話通訳者 Cが使用する手話通訳者 用テレビ電話端末 （以下、 手話通訳者端末と呼ぶ） 3 0とを接続し、 聾 哑者と非聾哑者とのテレビ電話対談において手話通訳サービスを提供す るものである。 本実施形態では、 聾哑者端末 1 0と非聾哑者端末 2 0と 手話通訳者端末 3 0とはいずれも公衆電話回線に接続する電話型のテレ ビ電話端末であって、 特に外出先に持ち歩いて使用できる無線式の携帯 電話型テレビ電話端末を用いた場合について例示している。
尚、 公衆電話回線に接続するテレビ電話端末としては、 例えば I T U 一 T勧告の H . 3 2 0に準拠した I S D Nテレビ電話端末等があるが、 本願発明はこれに限らず独自のプロトコルを使用するテレビ電話端末を 使用してもよい。
聾哑者端末 1 0は、 前述の手話対談用映像入出力装置が接続され、 聾 哑者 Aは眼前固定具 1 3と腰部固定具 1 5とを装着することにより、 眼 前に固定された表示装置 1 2に聾哑者端末 1 0で受信される手話映像が 表示されるとともに、 聾哑者 Aの視線の方向を撮像する対象撮像カメラ 1 6と聾哑者の手話を撮像する手話撮像カメラ 1 4とがセッ トされ、 対 象の映像に手話による説明を付加した合成映像が相手方に送信される。 非聾哑者端末 2 0は、 相手方から受信する映像を表示する映像表示部 2 0 aと、 利用者または対象を撮像する撮像部 2 0 bと、 音声の入出力 用を行うへッ ドセッ ト 2 0 cとを備える通常のテレビ電話端末である。 手話通訳者端末 3 0も、 非聾哑者端末 2 0と同様の構成を有する通常 のテレビ電話端末であるが、 映像表示部 3 0 aは主として聾哑者 Aの手 話を視認するために用いられ、 撮像部 3 0 bは手話通訳者が翻訳した手 話を撮像するために用いられる。 一方、 ヘッ ドセッ ト 3 0 cは主として 非聾哑者 Bの音声を聴取するためと、 聾哑者 Aの手話を翻訳した音声を 入力するために使用される。
通常の電話型端末では音声の入出力は手持式の送受話器が用いられる が、 ここでは手話を対象としており、 手を自由に動かせることが必要な ので、 以下の説明では非聾哑者 Bを含めてすべて頭部に固定するヘッ ド セットを用いるものとして説明する。 尚、 聾哑者端末 1 0にはヘッドセ ッ 卜を図示していないが、 介添者が存在する等の場合には、 ヘッ ドセッ トを使用して音声通話を併用するようにしてもよい。
手話通訳システム 1 0 0は、 聾哑者端末と接続するための聾哑者端末 用回線インターフェース （以下、 インターフェースは I / Fと略す） 1 2 0と、 非聾哑者端末と接続するための非聾哑者端末用回線 I / F 1 4 0と、 手話通訳者と接続するための手話通訳者端末用回線 I / F 1 6 0 とを備え、 それぞれ映像信号 ·音声信号 ·データ信号を多重化したり分離 したりする多重 ·分離装置 1 2 2、 1 4 2、 1 6 2と、 映像信号の圧縮' 伸張を行う映像コーデック 1 2 4、 1 4 4、 1 6 4と、 音声信号の圧縮 '伸張を行う音声コーデック 1 2 6、 1 4 6、 1 6 6とが接続されてい る。 ここで、 各回線 I / F、 各多重'分離装置、 各映像コーデック、 各音 声コーデックは、 各端末で使用されるプロトコルに対応して呼制御ゃス トリ一ミング制御、 映像信号や音声信号の圧縮 ·伸張が行われる。 聾哑者端末用の映像コーデック 1 2 4の映像入力には、 非聾 P亜者端末 用の映像コーデック 1 4 4の映像出力と手話通訳者端末用の映像コ一デ ック 1 6 4の映像出力と聾哑者端末用テロップメモリ 1 3 2の出力とを 合成する映像合成装置 1 2 8が接続されている。
聾哑者端末用の音声コーデック 1 2 6の音声入力には、 非聾哑者端末 用の音声コ一デック 1 4 6の音声出力と手話通訳者端末用の音声コ一デ ック 1 6 6の音声出力とを合成する音声合成装置 1 3 0が接続されてい る。
尚、 聾哑者端末では基本的には音声の入出力を行わないので、 聾哑者 端末用の音声コーデック 1 2 6や音声合成装置 1 3 0は省略することが できるが、 聾哑者端末側の環境音を非聾哑者端末に伝達したい場合や聾 哑者に介添者が存在する場合等があるので、 音声通話機能を設けておく ことが好ましい。
非聾哑者端末用の映像コーデック 1 4 4の映像入力には、 聾哑者端末 用の映像コ一デック 1 2 4の映像出力と手話通訳者端末用の映像コ一デ ック 1 6 4の映像出力と非聾哑者端末用テロップメモリ 1 5 2の出力と を合成する映像合成装置 1 4 8が接続されている。
非聾哑者端末用の音声コーデック 1 4 6の音声入力には、 聾哑者端末 用の音声コーデック 1 2 6の音声出力と手話通訳者端末用の音声コ一デ ック 1 6 6の音声出力とを合成する音声合成装置 1 5 0が接続されてい る。
尚、 非聾哑者端末では、 手話通訳者の映像表示は省略することができ るが、 手話通訳者の映像を表示することで手話通訳者によって通訳され た音声の判読が容易になるので、 手話通訳者の映像を合成できるように しておくことが好ましい。
手話通訳者端末用の映像コーデック 1 64の映像入力には、 聾哑者端 末用の映像コーデック 1 2 4の映像出力と非聾哑者端末用の映像コ一デ ック 1 44の映像出力と手話通訳者端末用テロップメモリ 1 7 2の出力 とを合成する映像合成装置 1 6 8が接続されている。
手話通訳者端末用の音声コーデック 1 6 6の音声入力には、 聾哑者端 末用の音声コーデック 1 2 6の音声出力と非聾哑者端末用の音声コーデ ック 1 46の音声出力とを合成する音声合成装置 1 7 0が接続されてい る。
尚、 手話通訳者端末では、 非聾哑者の映像表示は省略することができ るが、 非聾哑者の映像を表示することで非聾哑者の音声を手話通訳する 際の音声の判読が容易になるので、 非聾哑者の映像を合成できるように しておくことが好ましい。
また、 手話通訳システム 1 0 0は、 手話通訳者が使用する手話通訳者 用端末の端末番号を登録する手話通訳者登録テーブル 1 8 2を有し、 各 回線 I /F 1 2 0、 1 40、 1 6 0、 各多重 ·分離装置 1 2 2、 1 42、 1 6 2、 各映像合成装置 1 2 8、 1 4 8、 1 6 8、 各音声合成装置 1 3 0、 1 5 0、 1 7 0、 各テロップメモリ 1 3 2、 1 5 2、 1 7 2のそれ ぞれと接続される制御装置 1 8 0を備え、 聾哑者が使用する端末または 非聾哑者が使用する端末のいずれかからの呼出を受付ける機能と、 呼出 元端末に対して呼出先の端末番号の入力を促す機能と、 手話通訳者登録 テーブル 1 8 2から手話通訳者の端末番号を取出す機能と、 当該取出し た端末番号を呼出す機能と、 呼出先の端末番号を呼出す機能とによって 呼出元端末と手話通訳者端末と呼出先端末との間を接続する機能を提供 する他、各映像合成装置や各音声合成装置における映像 ·音声合成方法の 切替機能や、 テロップを生成してテロップメモリに送出する機能等を提 供する。
第 4図に、 本願発明の手話通訳システムによるテレビ対談中に各端末 画面に表示される映像の例を示す。 第 4 ( a ) 図は聾哑者端末の画面で あり、 映像合成装置 1 2 8によって非聾哑者端末の映像に手話通訳者端 末の映像を合成した映像が表示される。 ここでは、 非聾哑者の映像を親 画面、 手話通訳者の映像を子画面としてピクチャーィンピクチャー表示 しているが、 手話通訳者の映像を親画面、 非聾哑者の映像,を子画面とし てピクチャーィンピクチャー表示してもよく、 両者を均等に表示しても よい。 手話通訳者の映像を大きく表示するようにすれば、 手話通訳者に よって通訳された手話はより判読しやすくなる。 尚、 ピクチャーインピ クチャ一表示における子画面の位置は、 親画面の重要情報をマスクする ことにならないように、 端末からのコマンドによって変更できることが 好ましい。
第 4 ( b ) 図は非聾 d亜者端末の画面であり、 映像合成装置 1 4 8によ つて聾哑者端末の映像に手話通訳者端末の映像を合成した映像が表示さ れる。 ここでは、 聾哑者端末の映像は対象撮像カメラ 1 6によって撮像 された対象映像に手話撮像カメラ 1 4によって撮像された手話映像を左 下にピクチャーインピクチャー合成した映像であり、 これに更に手話通 訳者の映像を右下にピクチャ一ィンピクチャー合成した映像を表示して いるが、 手話通訳者の映像は省略してもよい。 尚、 このように手話通訳 者の映像を合成して表示することにより、 非聾哑者は手話通訳者の表情 を画面で確認できるので、 手話通訳者によって通訳された音声をより判 読しやすくなる。
第 4 ( c ) 図は手話通訳者端末の画面であり、 .映像合成装置 1 6 8に よって聾哑者端末の映像に非聾哑者端末の映像を合成した映像が表示さ れる。 この場合も、 聾哑者端末の映像は対象撮像カメラ 1 6によって撮 像された対象映像に手話撮像カメラ 1 4によって撮像された手話映像を 左下にピクチャーインピクチャー合成した映像であり、 これに更に非聾 哑者の映像を右下にピクチャーィンピクチャ一合成した映像を表示して いるが、 非聾哑者の映像は省略してもよい。 尚、 このように非聾哑者の 映像を合成して表示することにより、 手話通訳者は非聾哑者の表情を画 面で確認できるので、 手話通訳の対象となる非聾哑者の音声をより判読 しゃすくなる。
また、 音声については、 聾哑者端末からの環境音を伝達する場合や介 添者が存在する場合にも対応できるように、 聾哑者端末には音声合成装 置 1 3 0によって非聾哑者端末の音声と手話通訳者端末の音声を合成し た音声を出力し、 非聾哑者端末には音声合成装置 1 5 0によって聾哑者 端末の音声と手話通訳者端末の音声を合成した音声を出力し、 手話通訳 者端末には音声合成装置 1 7 0によって非聾哑者端末の音声と聾哑者端 末の音声を合成した音声を出力する。
尚、 聾哑者端末からの環境音を伝達することや介添者に対応する必要 がない場合には、 音声合成装置 1 3 0、 1 5 0、 1 7 0を省略し、 単に 非聾哑者用音声コ一デック 1 4 6の出力を手話通訳者用音声コーデック 1 6 6の入力に接続し、 手話通訳者用音声コ一デック 1 6 6の出力を非 聾哑者用音声コーデック 1 4 6の入力に接続するようにしてもよい。 各映像合成装置 1 2 8、 1 4 8、 1 6 8や各音声合成装置 1 3 0、 1 5 0、 1 7 0の動作は、 制御装置 1 8 0によってコントロールされてお り、 各端末から利用者がダイアルパッドの所定の番号ポタンを押すこと によって映像表示方法または音声出力方法を変更することができる。 こ れは、 各端末でダイアルパッ ドの番号ポタンが押されたことを、 各多重 •分離装置 1 2 2、 1 4 2、 1 6 2においてデータ信号またはトーン信' 号として検出し、 これを制御装置に伝達することにより実現できる。 これにより、 各端末では目的に応じて必要な映像や音声のみを選択し て表示したり、 親画面と子画面を入替えたり、 子画面の位置を変更する など、 柔軟な使い方ができる。
また、 各映像合成装置 1 2 8、 1 4 8、 1 6 8の入力には、 それぞれ 聾哑者用テロップメモリ 1 3 2、 非聾哑者用テロップメモリ 1 5 2、 手 話通訳用テロップメモリ 1 7 2が接続されており、 各テロップメモリ 1 3 2、 1 5 2、 1 7 2の内容は制御装置 1 8 0から設定できるようにな つている。
これにより、 手話通訳を介したテレビ電話対談を設定する際に、 各端 末に対するメッセージを各テロップメモリ 1 3 2、 1 5 2、 1 7 2に設 定し、 各映像合成装置 1 2 8、 1 4 8、 1 6 8に対して各テロップメモ リ 1 3 2、 1 5 2、 1 7 2の信号を選択する指令を出すことで、 各端末 に対して必要なメッセージを伝達して 3者間通話を確立することができ る。
また、 テレビ電話対談において手話では説明の困難な用語や発音の困 難な言葉等がある場合に、 その用語をあらかじめ各端末のダイアルパッ ドの番号に対応させて制御装置 1 8 0の用語登録テーブル 1 8 4に登録 しておき、 テレビ電話対談中に各端末のダイアルパッ ドが押されたこと を検出し、 押されたダイアルパッ ドの番号に対応する用語を用語登録テ 一ブルから取出して文字テロップを生成し、 各テロップメモリに設定す ることで各端末にその用語を表示することができる。
これにより、 手話では説明の困難な用語や発音の困難な言葉を文字テ 口ップにより相手方に伝えることができるので、 より迅速で的確なテレ ビ電話対談が行える。
次に、 手話通訳を介したテレビ電話対談を設定するための制御装置 1 8 0の処理について説明する。
処理に先だって、 制御装置 1 8 0の手話通訳者登録テーブル 1 8 2に は、 適当な端末 （図示省略） から、 手話通訳者の選定情報と各手話通訳 者が使用する端末の端末番号を登録しておく。 第 6図に、 手話通訳者登 録テ一ブル 1 8 2に登録される登録項目の例を示す。 手話通訳者の選定 情報とは、 利用者が希望する手話通訳者を選定するための情報であり、 性別 ·年齢 ·居住地，専門分野 ·手話通訳のレベル等を登録する。 居住地 は、 利用者が特定の地域についての地理的知識を有する人を希望する場 合を想定したもので、 ここでは郵便番号によって地域指定できるように した。 専門分野は、 対談の内容が専門的なものとなる場合に利用者がそ の分野の専門知識を有する人やその分野の話題に明るい人を希望する場 合を想定したもので、 ここでは手話通訳者が得意とする分野を政治 ·法 律 · ビジネス ·教育 ·科学技術 ·医療 ·語学 ·スポーツ '趣味等に分けて 登録できるようにした。 尚、 専門分野は多岐にわたるので、 階層的に登 録しておいて選択時に利用者の希望するレベルでサーチするようにして もよい。
この外に、 各通訳者が保有する資格を登録しておいて利用者が希望す る資格保有者を手話通訳者として選定できるようにしてもよい。
端末番号は、 ここでは公衆電話回線に接続するテレビ電話端末を対象 としているので、 端末の電話番号を登録することになる。
また、 手話通訳者登録テーブル 1 8 2には、 手話通訳を受付可能か否 かを示す受付フラグが設けられており、 登録された手話通訳者が自己の 端末から本手話通訳センターを呼出し、 ダイアルパッ ドを使用してコマ ンド入力することで、 受付フラグをセッ トしたり、 リセットしたりする ことができる。 これにより、 手話通訳者登録テーブルに登録された手話 通訳者は、 手話通訳を受付可能なときにのみ受付フラグをセッ トするこ とにより無駄な呼出を排除でき、 利用者も対応可能な手話通訳者を迅速 に選択することができる。
第 5図に、 制御装置 1 8 0の処理フローを示す。 本手話通訳システム 1 0 0は、 聾哑者端末と非聾哑者端末のいずれからでも手話通訳サ一ビ スを申込むことができ、 聾哑者端末から申込む場合は聾哑者端末用回線 I / F側の電話番号に架電し、 非聾哑者端末から申込む場合は非聾咂者 端末用回線 I / F側の電話番号に架電することで、 手話通訳者端末と相 手方の端末とが呼出され、 手話通訳を介したテレビ電話対談のための接 続が確立される。
図のように、 まず最初に聾哑者端末用回線 I / F 1 2 0または非聾哑 者端末用回線 Iノ F 1 4 0のいずれかに呼出があったことを検出する （ S 1 0 0 ) 。 次に、 呼出元端末に第 7図に示すような呼出先の端末番号 の入力を促す画面を表示し （S 1 0 2 ) 、 これに対して呼出元が入力し た呼出先の端末番号を取得する （S 1 0 4 ) 。 また、 呼出元端末に第 8 図に示すような手話通訳者の選定条件の入力を促す画面を表示し （S 1 0 6 ) 、 これに対して呼出元が入力した手話通訳者選定条件を取得する ( S 1 0 8 ) 。 ここで、 呼出元が入力する手話通訳者の選定条件は、 性 別 ·年齢区分 ·地域，専門分野 ·手話のレベルであり、 手話通訳者登録テ 一ブル 1 8 2に登録された性別 ·年齢 ·居住地 ·専門分野 'レベルをもと に該当する手話通訳者が選定される。 尚、 地域は郵便番号を用いて指定 することとし、 手話通訳者は居住地が指定された地域に近いものから順 に選定されるようにした。 いずれの選定項目についても、 特に指定する 必要がない場合は不問を選ぶことができる。
次に、 手話通訳者登録テーブル 1 8 2を参照して取得された選定条件 に該当する手話通訳者のうち受付フラグがセッ トされている手話通訳者 を選定し、 呼出元端末に第 9図に示すような手話通訳者の候補者リスト を表示して希望する手話通訳者の選択番号の入力を促す （S 1 1 0 ) 。 これに対して呼出元が入力した手話通訳者の選択番号を取得し （S 1 1 2 ) 、 手話通訳者登録テーブル 1 8 2から当該選択された手話通訳者の 端末番号を取出して呼出す （S 1 1 4 ) 。 当該手話通訳者端末から応答 があったときは （S 1 1 6 ) 、 呼出先の端末番号を取出して呼出し （S 1 1 8 ) 、 当該呼出先端末から応答があつたときに （S 1 2 0 ) 、 手話 通訳付テレビ電話対談が開始される （S 1 2 2 ) 。
S 1 1 6で選択された手話通訳者端末から応答がない場合は、 次候補 があるか否かを判断し （S 1 2 4 ) 、 次候補がある場合は S 1 1 4に戻 つて繰返し、 次候補がない場合は呼出元端末にその旨を通知して切断す る （ S 1 2 6 ) 。
S 1 2 0で呼出先端末から応答がない場合は、 呼出元端末および選択 された手話通訳者端末にその旨を通知して切断する （S 1 2 8 ) 。
上記実施形態では、 選択された手話通訳者端末から応答がない場合は 、 単に呼出元にその旨を通知して切断するとして説明したが、 手話通訳 予約テーブルを設けて呼出元の端末番号と呼出先の端末番号とを登録し 、 当該選択された手話通訳者からの応答があつたときに呼出元と呼出先 に通知してテレビ電話対談を設定するようにしてもよい。
上記実施形態では、 手話通訳システム 1 0 0は回線 I Z F、 多重 '分 離措置、 映像コ一デック、 音声コーデック、 映像合成装置、 音声合成装 置、 制御装置等から構成されるものとして説明したが、 これらは必ずし も個別の H /Wで構成する必要はなく、 コンピュータを用いてソフトウ エア処理によって各装置の機能を実現するように構成してもよい。
上記実施形態では、 手話通訳者端末 3 0は聾哑者端末 1 0や非聾哑者 端末 2 0と同様に手話通訳セン夕一の外にあって、 手話通訳センターか ら公衆電話回線を介して呼出されて手話通訳サービスを提供するものと して説明したが、 本願発明はこれに限定されるものではなく、 手話通訳 者の一部または全部を手話通訳センター内に設けて、 手話通訳センタ一 から手話通訳サービスを提供するようにしてもよいことはいうまでもな い。 '
尚、 上記実施形態では、 手話通訳者は公衆電話回線に接続可能な端末 を有する限り何処にいても手話通訳サービスに参加できるので、 前述の 受付フラグを利用して時間の空いたときを有効に活用して手話通訳サー ビスを提供できる。 このようにすることで、 人員確保の難しい手話通訳 サービスを効率的かつ安定的に運用することができるようになる。 特に 、 昨今では手話通訳のポランティアが増加してきているが、 時間的に不 規則なポランティァの人でも、 限られた時間を有効に活用して手話通訳 サービスを提供できる。
上記実施形態では、 映像合成装置 1 2 8、 1 4 8、 1 6 8には自端末 の映像信号は入力されていないが、 自端末の映像信号も入力して映像確 認用として合成して表示する機能を設けてもよい。
また、 上記実施形態では、 映像合成装置 1 2 8、 1 4 8、 1 6 8や、 音声合成装置 1 3 0、 1 5 0、 1 7 0により各端末別に映像や音声を合 成するようにしているが、 本願発明はこれに限定されるものではなく、 すべての端末の映像や音声を一括で合成して各端末に送信するようにし てもよい。
上記実施形態では、 テロップメモリ 1 3 2、 1 5 2、 1 7 2を設け、 各端末用の映像合成装置 1 2 8、 1 4 8、 1 6 8に加えることで各端末 に文字テロップを表示する機能を設けたが、 音声情報を記憶するテロッ プメモリを設け、 各端末用の音声合成装置 1 3 0、 1 5 0、 1 7 0に加 えることで各端末に音声メッセ一ジを出力する機能を設けてもよい。 こ れにより、 例えば非聾哑者が視覚障害者である場合でも手話通訳を介し たテレビ電話対談を設定することが可能となる。
第 1 0図に本願発明の他の実施形態にかかる手話通訳システムのシス テム構成図を示す。 本実施形態では、 聾哑者，非聾哑者 ·手話通訳者の 使用する各端末が、 インターネッ トに接続する I P (Internet Protocol ) 型のテレビ電話端末であって、 We bブラウザ機能を備えたものであ る場合のシステム構成例を示す。
図において、 2 0 0は手話通訳サ一ビスを提供する手話通訳センタ一 に設置される手話通訳システムであり、 インターネッ ト 7 0を介して聾 哑者が使用する聾哑者端末 5 0と非聾哑者が使用する非聾哑者端末 6 0 と手話通訳者が使用する手話通訳者端末 2 3 1、 2 3 2、 …のうち選択 された端末とを接続し、 聾哑者と非聾哑者の間で手話通訳を介したテレ ビ電話対談サービスを提供する。
聾哑者端末 5 0、 非聾哑者端末 6 0、 手話通訳者端末 2 3 1、 2 3 2 、 …は、 ここでは映像入力 I /F機能と音声入出力 I /F機能とネット ワーク接続機能とを有するパーソナルコンピュータ等の汎用の処理装置 ( a) に、 情報入力のためのキーボード （b) およびマウス （ c )'と、 We bサーバ 4 1 0から提示される We bページ画面と通信サーバ 42 0から供給されるテレビ電話画面を表示するディスプレイ（d)と、 手話 通訳者の手話を撮像するテレビカメラ（e)と、 手話通訳者に対する音声 の入出力を行うヘッ ドセッ ト （ f ) とを備え、 I Pテレビ電話ソフトと W e bブラウザをィンストールしたものを使用したが、 専用のテレビ電 話端末を使用してもよい。
尚、 インターネッ トに接続するテレビ電話端末としては、 例えば I T U_T勧告の H. 3 2 3に準拠した I Pテレビ電話端末等があるが、 本 願発明はこれに限らず独自のプロトコルを使用するテレビ電話端末を使 用してもよい。 また、 インタ一ネッ トには無線 L A N式のものが含まれ、 テレビ電話 端末にはテレビ電話機能を有する携帯電話や携帯端末であって W e bァ クセス機能を提供するものを使用してもよい。
手話通訳システム 2 0 0は、 接続する聾 n亜者端末と非聾哑者端末と手 話通訳者端末の各端末アドレスを設定する接続先テーブル 2 2 2を有し 、 接続先テーブル 2 2 2に登録された端末間を接続して各端末から受信 した映像および音声を合成して各端末に送信する機能を有する通信サー バ 2 2 0と、 前述のように手話通訳者の選定情報と端末アドレスと受付 フラグを登録する手話通訳者登録テーブル 2 1 2を有し、 呼出元端末か ら W e bブラウザを使用してアクセスすることによって希望する手話通 訳者を選択し、 通信サーバ 2 2 0の接続先テ一ブル 2 2 2に呼出元端末 と呼出先端末と手話通訳者端末の各端末ァドレスを設定する機能を有す る W e bサーバ 1 1 0と、 W e bサーバ 1 1 0および通信サーバ 2 2 0 をインターネットに接続するためのルータ 2 5 0と、 通信サ一バ 2 2 0 とネッ トワークで接続される複数の手話通訳者端末 2 3 1、 2 3 2、 … 、 2 3 Nとから構成される。
第 1 1図に、 接続先テ一ブル 2 2 2の例を示す。 図のように、 接続先 テーブル 2 2 2には聾 P亜者端末の端末ァドレスと非聾哑者端末の端末ァ ドレスと手話通訳者端末の端末ァドレスとがセッ トとして登録され、 こ れによって 1つの手話通訳サービスが設定される。 接続先テ一ブル 2 2 2は、 通信サ一バ 2 2 0の処理能力に応じてこのような端末ァドレスの セッ トを複数登録できるようになっており、 これにより同時に複数の手 話通訳サービスが提供される。
尚、 接続先テーブル 2 2 2に登録する端末アドレスは、 イン夕一ネッ ト上のアドレスであるから、 一般に I Pアドレスが使用されるが、 これ に限定されるものではなく、 例えばディ レクトリサーバによって付与さ れた名称等を使用するものであってもよい。
通信サーバ 2 2 0は、 接続先テーブル 2 2 2に設定された聾哑者端末 と非聾哑者端末と手話通訳者端末とに対して、 所定のプロトコルに従つ たバケツ ト通信を行い、 前述の手話通訳システム 1 0 0における多重- 分離装置 1 2 2、 14 2、 1 6 2と、 映像コーデック 1 24、 1 44、 1 64と、 音声コ一デック 1 2 6、 1 4 6、 1 6 6と、 映像合成装置 1 2 8、 1 48、 1 6 8と、 音声合成装置 1 3 0、 1 5 0、 1 7 0と同等 の機能をソフトウエア処理によって提供する。
これにより、 前述の手話通訳システム 1 0 0と同様に聾哑者端末と非 聾哑者端末と手話通訳者端末との間で所定の映像および音声の通信が行 われ、 聾哑者と被聾哑者の間で手話通訳を介したテレビ電話対談が実現 される。
尚、 前述の手話通訳システム 1 0 0では、 制御装置 1 8 0とテロップ メモリ 1 3 2、 1 5 2、 1 7 2とを用いて、 用語登録テーブル 1 84に 登録された用語をテレビ電話対談中に端末からの指令に基づいて取出し 、 端末に文字テロップとして表示する機能を有していたが、 本実施形態 においても通信サーバ 2 2 0のソフト処理によって同様の機能を設ける ようにしてもよい。 また、 We bサーバ 2 1 0によって各端末から指定 された用語を他の端末に対してポップアップメッセージとして表示する ようにしてもよく、 通信サーバ 2 2 0にテロップメモリを設けて、 各端 末から指定された用語を We bサーバ 2 1 0経由で当該テロップメモリ に書込むことにより各端末に文字テロップを表示するようにしてもよい 前述の手話通訳システム 1 0 0では、 聾哑者端末と非聾哑所端末と手 話通訳者端末とを接続する接続処理は制御装置 1 8 0によって実現した が、' 本実施形態では各端末が We bアクセス機能を有する場合を対象と しているので、 W e bサーバ 2 1 0によって接続処理を行う。
第 1 2図に、 W e bサーバ 2 1 0による接続処理の処理フローを示す 。 本手話通訳システム 2 0 0においても、 聾哑者端末と非聾哑者端末の いずれからでも手話通訳サービスを申込むことができる。 手話通訳を申 込む聾哑者または非聾哑者は、 自己の端末から W e bブラウザを用いて 手話通訳センターの W e bサーバ 2 1 0にアクセスしてログインするこ とにより、 手話通訳サ一ビスの受付処理が開始される。
図のように、 W e bサーバ 2 1 0は、 最初に呼出元の端末ァドレスを 取得し （S 2 0 0 ) 、 接続先テーブル 2 2 2に設定する （S 2 0 2 ) 。 次に、 呼出元端末に前述の第 7図と同様の呼出先の端末アドレスの入力 を促す画面を配信し （S 2 0 4 ) 、 これに対して呼出元が入力した呼出 先の端末ァドレスを取得する （S 2 0 6 ) 。 また、 呼出元端末に前述の 第 8図と同様の手話通訳者選定条件の入力を促す画面を配信し （S 2 0 8 ) 、 これに対して呼出元が入力した手話通訳者選定条件を取得する （ S 2 1 0 ) 。
次に、 手話通訳者登録テーブル 2 1 2から取得された選定条件に該当 する手話通訳者のうち受付フラグがセッ 卜されている手話通訳者を選定 し、 呼出元端末に前述の第 9図と同様の候補者リストを配信して希望す る手話通訳者の選択番号の入力を促す （S 2 1 2 ) 。 これに対して呼出 元が入力した手話通訳者の選択番号を取得し、 手話通訳者登録テ一ブル 2 1 2から当該選択された手話通訳者の端末ァドレスを取得する （S 2 1 4 ) 。 取得した手話通訳者の端末アドレスに基づいて手話通訳者端末 に呼出画面を配信し （S 2 1 6 ) 、 呼出を受付ける旨の回答があつたと きは （S 2 1 8 ) 、 当該手話通訳者の端末ァドレスを接続先テーブル 2 2 2に設定する （ S 2 2 0 ) 。 次に、 取得した呼出先の端末ァドレスに 基づいて呼出先端末に対して呼出画面を配信し （S 2 2 2 ) 、 呼出を受 付ける旨の回答があつたときは （S 2 2 4 ) 、 当該呼出先の端末ァドレ スを接続先テーブル 2 2 2に設定する （S 2 2 6 ) 。 これにより、 手話 通訳付テレビ電話対談が開始される （S 2 2 8 ) 。
S 2 1 8で手話通訳者端末から呼出を受付ける旨の回答がない場合は 、 次候補があるか否かを判断し （S 2 3 0 ) 、 次候補がある場合は呼出 元端末に他の候補を選択するよう促すメッセージを配信し （S 2 3 2 ) 、 S 2 1 4に戻る。 また、 次候補がない場合は、 呼出元端末にその旨通 知し （S 2 3 4 ) 、 終了する。
S 2 2 4で呼出先端末から呼出を受付ける旨の回答がない場合は、 呼 出元端末および選択された手話通訳者端末にその旨通知し （S 2 3 6 ) 、 終了する。
上記実施形態においても、 選択された手話通訳者端末から呼出を受付 ける旨の回答がない場合は、 単に呼出元にその旨を通知して終了すると して説明したが、 手話通訳予約テーブルを設けて呼出元の端末ァドレス と呼出先の端末アドレスとを登録し、 当該選択された手話通訳者からの 応答があつたときに呼出元と呼出先に通知してテレビ電話対談を設定す るようにしてもよい。
上記実施形態では、 手話通訳者端末は手話通訳セン夕一の手話通訳シ ステム 2 0 0内にあるものとして説明したが、 本願発明はこれに限定さ れるものではなく、 手話通訳者端末の一部または全部が手話通訳センタ
—外にあってィンタ一ネッ トを介して接続されるものであっても、 全く 同じように取り扱うことができる。
上記実施形態では、 聾哑者ゃ非聾哑者ゃ手話通訳者が使用するテレビ 電話端末が、 公衆電話回線に接続する電話型のテレビ電話端末である場 合と、 インタ一ネッ トに接続する I P型のテレビ電話端末である場合と に分けて手話通訳システムの構成を説明したが、 電話型のテレビ電話端 末と I P型のテレビ電話端末とはプロトコル変換を行うゲートウエイを 設けることで相互に通信可能であり、 いずれかのプロトコルに対応する 手話通訳システムを設置して、 ゲートウェイを介して他のプロトコルを 使用するテレビ電話端末に対応させるようにしてもよい。
このように、 本手話通訳システムは、 公衆電話回線またはインタ一ネ ットに接続可能な端末を有する限り何処にいても手話通訳サ一ビスの提 供を受けたり、 手話通訳サービスを提供したりできる。 手話通訳者は、 必ずしも手話通訳センターに足を運ぶ必要はなく、 自宅やテレビ電話端 末のある施設や拠点から参加でき、 テレビ電話機能を有する携帯電話や 携帯端末を使用して手話通訳サービスを提供することも可能である。
また、 手話のできる人が手話通訳センターの手話通訳者登録テーブル に登録しておけば、 いつでも都合の良いときにサービスできる。 従って 、 手話通訳センターを運用する側から見ても、 手話通訳者をセンタ一に 集める必要がないので、 時間的にも費用的にも効率的な手話通訳センタ 一の運用が可能となる。 特に、 最近では手話通訳をポランティアでやつ てみたいという人も増えており、 自宅からでもこのようなサ一ビスを提 供できるので、 手話通訳者の確保が容易となる。 産業上の利用可能性
上述したように、 本願発明によれば、 聾哑者は手話以外の対象の映像 を相手方に送信しながら同時に手話による説明を付加することができる ので、 対象の説明を的確に行うことができ、 対談を迅速に進めることが できるなどの効果がある。

Claims

請 求 の 範 囲
1 . 手話を撮像する手話撮像手段と、 手話以外の映像を取得する映像取 得手段と、 前記手話撮像手段により撮像された手話映像と前記映像取得 手段により取得された手話以外の映像とを合成する映像合成手段と、 前 記映像合成手段により合成された映像を送信する映像送信手段とを備え 、 聾哑者が手話以外の映像を送信する際に手話による説明を付加できる ようにしたことを特徴とする、 手話対談用映像入力装置。
2 . 前記手話撮像手段は、 前記聾哑者の腰部に固定する腰部固定手段を 有することを特徴とする、 請求項 1に記載の手話対談用映像入力装置。
3 . 前記映像送信手段は、 テレビ電話端末に接続するテレビ電話接続手 段を含むことを特徴とする、 請求項 1または請求項 2に記載の手話対談 用映像入力装置。
4 . 前記テレビ電話接続手段は、 前記テレビ電話端末と無線通信する無 線通信手段を含むことを特徴とする、 請求項 3に記載の手話映像表示装
5 . 請求項 3または請求項 4に記載の手話対談用映像入力装置を含む手 話対談用映像入出力装置であって、
前記テレビ電話接続手段は、 前記テレビ電話端末において受信中の手 話映像を受信する手話映像受信手段を含み、
前記手話映像受信手段により受信される手話映像を表示する表示手段 と、 前記表示手段を前記聾哑者の眼前に固定する眼前固定手段とを備え たことを特徴とする、 手話対談用映像入出力装置。
6 . 前記表示手段は、 前記聾哑者が外界視認時に同時に前記表示手段に より表示される手話映像にほぼ焦点を合すことができる凸レンズを備え たことを特徴とする、 請求項 5に記載の手話対談用映像入出力装置。
7 . 前記眼前固定手段は、 前記聾哑者の耳および鼻に固定可能なフレ一 ム構造を有することを特徴とする、 請求項 5または請求項 6に記載の手 話対談用映像入出力装置。
8 . 前記映像取得手段は、 手話以外の対象を撮像する対象撮像手段を含 み、
前記対象撮像手段は、 前記眼前固定手段に固定され、 前記聾哑者の視 認方向を撮像するようにしたことを特徴とする、 請求項 5ないし請求項 7のいずれかに記載の手話対談用映像入出力装置。
9 . 手話のできる聾哑者が使用する請求項 5ないし請求項 8のいずれか に記載の手話対談用映像入出力装置が接続された聾哑者用テレビ電話端 末と、 手話のできない非聾哑者が使用する非聾哑者用テレビ電話端末と 、 手話通訳者が使用する手話通訳者用テレビ電話端末とを相互に接続し て、 襲哑者と非聾哑者とのテレビ電話対談において手話通訳を提供する 手話通訳システムであって、
手話通訳者が使用する手話通訳者用テレビ電話端末の端末番号が登録 される手話通訳者登録テーブルを備え、 前記聾哑者用テレビ電話端末ま たは前記非聾哑者用テレビ電話端末のいずれかからの呼出を受付る機能 と、 前記呼出を受付た呼出元テレビ電話端末に対して呼出先の端末番号 の入力を促す機能と、 前記手話通訳者登録テーブルから手話通訳者の端 末番号を取出す機能と、 前記取出された手話通訳者の端末番号により手 話通訳者用テレビ電話端末を呼出す機能と、 前記取得された呼出先の端 末番号により呼出先テレビ電話端末を呼出す機能とを有する接続手段と 前記聾哑者用テレビ電話端末に対して少なくとも前記非聾哑者用テレ ビ電話端末からの映像と前記手話通訳者用テレビ電話端末からの映像と を合成して送出する機能と、 前記非聾哑者用テレビ電話端末に対して少 なくとも前記聾哑者用テレビ電話端末からの映像と前記手話通訳者用テ レビ電話端末からの音声とを送出する機能と、 前記手話通訳者用テレビ 電話端末に対して少なくとも前記聾哑者用テレビ電話端末からの映像と 前記非聾哑者用テレビ電話端末からの音声とを送出する機能とを有する 通信手段とを備えたことを特徴とする、 手話通訳システム。
1 0 . 前記手話通訳者登録テーブルには、 手話通訳者を選択する選択情 報が登録され、
前記接続手段は、 前記呼出元テレビ電話端末から手話通訳者の選択条 件を取得する機能と、 前記手話通訳者登録テーブルから前記取得された 手話通訳者の選択条件に該当する手話通訳者の端末番号を取出す機能と を有することを特徴とする、 請求項 9に記載の手話通訳システム。
PCT/JP2003/011759 2002-09-17 2003-09-16 手話対談用映像入力装置、手話対談用映像入出力装置、および手話通訳システム WO2004028163A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP03797604A EP1542467A4 (en) 2002-09-17 2003-09-16 VIDEO ENTRY FOR CONVERTING WITH CHARACTER LANGUAGE, VIDEO I / O DEVICE FOR CONVERTING WITH CHARACTER LANGUAGE AND CHARACTER SPEECH INTERPRETATION SYSTEM
JP2004537566A JPWO2004028163A1 (ja) 2002-09-17 2003-09-16 手話対談用映像入力装置、手話対談用映像入出力装置、および手話通訳システム
AU2003264436A AU2003264436B2 (en) 2002-09-17 2003-09-16 A videophone sign language conversation assistance device and a sign language interpretation system using the same
CA002499154A CA2499154A1 (en) 2002-09-17 2003-09-16 A videophone sign language conversation assistance device and a sign language interpretation system using the same
US10/528,086 US20060125914A1 (en) 2002-09-17 2003-09-16 Video input for conversation with sing language, video i/o device for conversation with sign language, and sign language interpretation system
HK06100232.2A HK1077959A1 (zh) 2002-09-17 2006-01-05 手語對談用影像輸入裝置、手語對談用影像輸入輸出裝置及手語翻譯系統

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002-269852 2002-09-17
JP2002269852 2002-09-17

Publications (1)

Publication Number Publication Date
WO2004028163A1 true WO2004028163A1 (ja) 2004-04-01

Family

ID=32024823

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/011759 WO2004028163A1 (ja) 2002-09-17 2003-09-16 手話対談用映像入力装置、手話対談用映像入出力装置、および手話通訳システム

Country Status (10)

Country Link
US (1) US20060125914A1 (ja)
EP (1) EP1542467A4 (ja)
JP (1) JPWO2004028163A1 (ja)
KR (1) KR100698942B1 (ja)
CN (1) CN100355280C (ja)
AU (1) AU2003264436B2 (ja)
CA (1) CA2499154A1 (ja)
HK (1) HK1077959A1 (ja)
TW (1) TWI276357B (ja)
WO (1) WO2004028163A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014082704A (ja) * 2012-10-18 2014-05-08 Nippon Telegr & Teleph Corp <Ntt> 映像データ制御装置、映像データ制御方法及び映像データ制御プログラム
JP2014123818A (ja) * 2012-12-20 2014-07-03 Nippon Telegr & Teleph Corp <Ntt> 視聴者映像表示制御装置、視聴者映像表示制御方法、および視聴者映像表示制御プログラム

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1685698A (zh) * 2002-09-27 2005-10-19 银河网路股份有限公司 视频电话翻译系统及视频电话翻译方法
JP4654773B2 (ja) * 2005-05-31 2011-03-23 富士フイルム株式会社 情報処理装置、動画像符号化装置、情報処理方法及び情報処理プログラム
JP4677938B2 (ja) * 2006-03-23 2011-04-27 富士通株式会社 情報処理装置、ユニバーサル通信方法及びユニバーサル通信プログラム
KR101079591B1 (ko) * 2006-11-21 2011-11-07 삼성전자주식회사 화상통화기능을 가진 디스플레이장치, 그 제어방법 및화상통화시스템
DE202008003015U1 (de) * 2007-05-10 2008-07-10 Baron, Norbert Mobile Telekommunikationseinrichtung zum Übertragen und Übersetzen von Informationen
US8301193B1 (en) * 2008-11-03 2012-10-30 Sprint Communications Company L.P. Differential planes for video I/O in a hearing impaired application
US20100142683A1 (en) * 2008-12-09 2010-06-10 Stuart Owen Goldman Method and apparatus for providing video relay service assisted calls with reduced bandwidth
US20110040555A1 (en) * 2009-07-21 2011-02-17 Wegner Peter Juergen System and method for creating and playing timed, artistic multimedia representations of typed, spoken, or loaded narratives, theatrical scripts, dialogues, lyrics, or other linguistic texts
US20110116608A1 (en) * 2009-11-18 2011-05-19 Gwendolyn Simmons Method of providing two-way communication between a deaf person and a hearing person
US20130066634A1 (en) * 2011-03-16 2013-03-14 Qualcomm Incorporated Automated Conversation Assistance
CN102638654B (zh) * 2012-03-28 2015-03-25 华为技术有限公司 一种输出多画面的方法、装置及设备
WO2015010053A1 (en) * 2013-07-19 2015-01-22 Purple Communications Inc A method and system for routing video calls to a target queue based upon dynamically selected or statically defined parameters
WO2015190791A1 (ko) 2014-06-09 2015-12-17 엘지전자 주식회사 서비스 가이드 정보 송신 방법, 서비스 가이드 정보 수신 방법, 서비스 가이드 정보 송신 장치 및 서비스 가이드 정보 수신 장치
TWI501205B (zh) * 2014-07-04 2015-09-21 Sabuz Tech Co Ltd 手語圖像輸入方法及裝置
US9283138B1 (en) 2014-10-24 2016-03-15 Keith Rosenblum Communication techniques and devices for massage therapy
CN104464719A (zh) * 2014-12-16 2015-03-25 上海市共进通信技术有限公司 实现聋哑人智能通讯的系统
KR102023356B1 (ko) 2017-12-07 2019-09-23 한국생산기술연구원 웨어러블 수화통역장치
KR102037789B1 (ko) 2017-12-07 2019-10-29 한국생산기술연구원 로봇을 이용한 수화통역시스템
CN112073749A (zh) * 2020-08-07 2020-12-11 中国科学院计算技术研究所 一种手语视频合成方法、手语翻译系统、介质和电子设备
US20230353613A1 (en) * 2022-04-29 2023-11-02 Zoom Video Communications, Inc. Active speaker proxy presentation for sign language interpreters
US11614854B1 (en) * 2022-05-28 2023-03-28 Microsoft Technology Licensing, Llc Meeting accessibility staging system
US20240163124A1 (en) * 2022-11-14 2024-05-16 Microsoft Technology Licensing, Llc Persistent display of prioritized participants with shared content of communication sessions

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337631A (ja) * 1993-05-27 1994-12-06 Hitachi Ltd 手話対話における対話制御装置
JPH08214160A (ja) * 1995-02-03 1996-08-20 Ricoh Co Ltd 会議通信端末装置
JPH09185330A (ja) * 1995-12-28 1997-07-15 Shimadzu Corp 情報表示装置
JP2001197221A (ja) * 2000-01-11 2001-07-19 Hitachi Ltd 画像通信用電話機、画像通信用端末装置及び画像通信システム
JP2002064634A (ja) * 2000-08-22 2002-02-28 Nippon Telegr & Teleph Corp <Ntt> 通訳サービス方法及び通訳サービスシステム
JP2002262249A (ja) * 2001-02-27 2002-09-13 Up Coming:Kk 対話支援システム及び方法、並びにコンピュータプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5047952A (en) * 1988-10-14 1991-09-10 The Board Of Trustee Of The Leland Stanford Junior University Communication system for deaf, deaf-blind, or non-vocal individuals using instrumented glove
JP2779448B2 (ja) * 1988-11-25 1998-07-23 株式会社エイ・ティ・アール通信システム研究所 手話言語変換装置
JP3289304B2 (ja) * 1992-03-10 2002-06-04 株式会社日立製作所 手話変換装置および方法
US5982853A (en) * 1995-03-01 1999-11-09 Liebermann; Raanan Telephone for the deaf and method of using same
DE69526871T2 (de) * 1995-08-30 2002-12-12 Hitachi Ltd Gebärdensprachentelefonsystem für die kommunikation zwischen hörgeschädigten und nicht-hörgeschädigten
US6477239B1 (en) * 1995-08-30 2002-11-05 Hitachi, Ltd. Sign language telephone device
US5886735A (en) * 1997-01-14 1999-03-23 Bullister; Edward T Video telephone headset
US6377925B1 (en) * 1999-12-16 2002-04-23 Interactive Solutions, Inc. Electronic translator for assisting communications
AU2002332805A1 (en) * 2001-08-31 2003-03-10 Communication Service For The Deaf Enhanced communications services for the deaf and hard of hearing
US6753899B2 (en) * 2002-09-03 2004-06-22 Audisoft Method and apparatus for telepresence
US7395200B2 (en) * 2003-04-17 2008-07-01 Mcgill University Remote language interpretation system and method
US7204650B2 (en) * 2003-05-05 2007-04-17 Amir Saied Ghanouni Accessory assembly for photographic equipment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337631A (ja) * 1993-05-27 1994-12-06 Hitachi Ltd 手話対話における対話制御装置
JPH08214160A (ja) * 1995-02-03 1996-08-20 Ricoh Co Ltd 会議通信端末装置
JPH09185330A (ja) * 1995-12-28 1997-07-15 Shimadzu Corp 情報表示装置
JP2001197221A (ja) * 2000-01-11 2001-07-19 Hitachi Ltd 画像通信用電話機、画像通信用端末装置及び画像通信システム
JP2002064634A (ja) * 2000-08-22 2002-02-28 Nippon Telegr & Teleph Corp <Ntt> 通訳サービス方法及び通訳サービスシステム
JP2002262249A (ja) * 2001-02-27 2002-09-13 Up Coming:Kk 対話支援システム及び方法、並びにコンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1542467A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014082704A (ja) * 2012-10-18 2014-05-08 Nippon Telegr & Teleph Corp <Ntt> 映像データ制御装置、映像データ制御方法及び映像データ制御プログラム
JP2014123818A (ja) * 2012-12-20 2014-07-03 Nippon Telegr & Teleph Corp <Ntt> 視聴者映像表示制御装置、視聴者映像表示制御方法、および視聴者映像表示制御プログラム

Also Published As

Publication number Publication date
KR100698942B1 (ko) 2007-03-23
CN1682537A (zh) 2005-10-12
CA2499154A1 (en) 2004-04-01
TWI276357B (en) 2007-03-11
EP1542467A1 (en) 2005-06-15
AU2003264436A1 (en) 2004-04-08
US20060125914A1 (en) 2006-06-15
TW200406123A (en) 2004-04-16
AU2003264436B2 (en) 2007-10-18
JPWO2004028163A1 (ja) 2006-01-19
EP1542467A4 (en) 2007-01-03
CN100355280C (zh) 2007-12-12
HK1077959A1 (zh) 2006-02-24
KR20050057248A (ko) 2005-06-16

Similar Documents

Publication Publication Date Title
WO2004028163A1 (ja) 手話対談用映像入力装置、手話対談用映像入出力装置、および手話通訳システム
KR100698932B1 (ko) 텔레비젼 전화 수화 통역 보조 장치 및 그것을 이용한 수화 통역 시스템
AU2003264434B2 (en) Sign language interpretation system and sign language interpretation method
WO2004030328A1 (ja) テレビ電話通訳システムおよびテレビ電話通訳方法
JPH07336660A (ja) テレビ会議システム
JP2003023612A (ja) 画像通信端末装置
JP3031320B2 (ja) ビデオ会議装置
JPH04238475A (ja) ハンドセット形テレビ装置とそれを用いたテレビ電話装置
JP2000152203A (ja) ビデオ対応コンピュータ・テレフォニー装置
JP2000217091A (ja) テレビ会議システム
GB2351638A (en) Telephone that receives image of caller
JP2004007482A (ja) 電話会議サーバおよび電話会議システム
JPS6320983A (ja) 静止画像伝送システム
JPH09149395A (ja) 通信装置
JPH01317082A (ja) 伝送方式
JP2009182730A (ja) 電子機器および制御方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWE Wipo information: entry into national phase

Ref document number: 1020057003900

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2499154

Country of ref document: CA

Ref document number: 2004537566

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 167490

Country of ref document: IL

Ref document number: 20038219417

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2003797604

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2003264436

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 637/KOLNP/2005

Country of ref document: IN

WWP Wipo information: published in national office

Ref document number: 2003797604

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020057003900

Country of ref document: KR

ENP Entry into the national phase

Ref document number: 2006125914

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10528086

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10528086

Country of ref document: US