KR20220038969A - Sign language interpretation system and service methods - Google Patents

Sign language interpretation system and service methods Download PDF

Info

Publication number
KR20220038969A
KR20220038969A KR1020200121445A KR20200121445A KR20220038969A KR 20220038969 A KR20220038969 A KR 20220038969A KR 1020200121445 A KR1020200121445 A KR 1020200121445A KR 20200121445 A KR20200121445 A KR 20200121445A KR 20220038969 A KR20220038969 A KR 20220038969A
Authority
KR
South Korea
Prior art keywords
sign language
language
guide
deaf
converted
Prior art date
Application number
KR1020200121445A
Other languages
Korean (ko)
Inventor
김동수
Original Assignee
김동수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김동수 filed Critical 김동수
Priority to KR1020200121445A priority Critical patent/KR20220038969A/en
Publication of KR20220038969A publication Critical patent/KR20220038969A/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72475—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users
    • H04M1/72478—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users for hearing-impaired users

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Primary Health Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Machine Translation (AREA)

Abstract

Disclosed is a sign language interpretation system which is devised for conversation between hearing-impaired people who speak different languages. Provided is an interpretation system which receives an input of sign language of a hearing-impaired person, converts the input sign language into text and interprets the text into a different language. The interpretation system comprises: a sign language system for a hearing-impaired person which receives an input from a hearing-impaired person by means of any one among a touch-type monitor, a mouse, or a keyboard, and in which a country is selected; a camera which is embedded in the monitor of the sign language system for a hearing-impaired person or separately installed so as to receive sign language motions of the hearing-impaired person via a screen; a country-specific sign language recognition system which converts the sign language of the hearing-impaired person input by the camera into a language of the corresponding country; a multilingual translation system which automatically translates the converted text into a national language of a guide or a speaker; a guide terminal including a monitor to display a sentence converted into the text of the guide or the talker's national language; and a guide terminal including a keyboard or a microphone for inputting an answer, in text or voice, to the sentence converted from the sign language of the hearing-impaired person and output on the monitor. The method comprises: a step in which the guide selects either the keyboard or the microphone and inputs the sentence of the answer; a step in which when the voice is input through the microphone, the voice is converted into text via an STT engine and then translated into a national language of the hearing-impaired person through the multilingual translation system; a step in which the translated sentence is transmitted to a sign language conversion system and the translated sentence is converted into sign language for a hearing-impaired person; and a step in which the translated sentence is converted and answered in sign language by an avatar through the monitor of the sign language system for a hearing-impaired person.

Description

수어 통역시스템 및 서비스 방법{Sign language interpretation system and service methods}Sign language interpretation system and service methods

공항과 같이 다양한 국가의 사람들이 모이는 장소 또는 다양한 국가의 청각장애인 회의 등에 대화가 필요할 때 각 국가별로 다르게 표현되는 수어를 실시간 통역을 통한 의사전달을 위한 시스템에 관한 것이다.It relates to a system for communication through real-time interpretation of sign language, which is expressed differently in each country, when dialogue is needed at places where people from various countries gather, such as airports, or at meetings of the hearing impaired in various countries.

종래의 수어 인식 및 안내시스템은 청각장애자의 자국의 수어에 대해 표현하는 수어를 자동 인식하여 문자화 하고 비 장애자가 그 문자화 언어에 대한 답을 문자로 입력면 장애자용 모니터에 아바타가 수어를 표현하여 청각장애자와 비 장애자간 대화를 하는 방식이 종래의 공지 기술이다.The conventional sign language recognition and guidance system automatically recognizes and transcribes the sign language expressed for the sign language of the deaf person, and when the non-disabled person inputs the answer to the written language in text, the avatar expresses the sign language on the monitor for the disabled and hears. A method of having a conversation between a disabled person and a non-disabled person is a known technique in the prior art.

상기의 공지 기술은 동일 언어를 사용하는 장애자와 비장애자간 사용하는 시스템이나, 장애자와 비 장애자 또는 장애자 간 다른 국가이거나 다른 언어를 쓰는 상황에서는 상기 시스템을 사용시 사용하는 언어가 달라서 대화가 불가능한 문제점이 있다. The above known technology is a system used between a disabled person and a non-disabled person who uses the same language, but there is a problem that conversation is impossible because the language used when using the system is different in a situation where a different country or a different language is used between the disabled and the non-disabled or the disabled. .

본원은 전술한 종래의 문제점을 해결하기 위한 것으로서, 장애자와 비장애자가 다른 언어 사용의 경우, 또는 장애자 간 대화 시에도 다른 언어사용자인 경우에도 대화가 가능하도록 시스템을 제공하는 것을 목적으로 한다.An object of the present application is to solve the above-described problems in the prior art, and an object of the present application is to provide a system so that a conversation between a person with a disability and a non-disabled person is possible even when they use a different language or even when they are users of a different language even during a conversation between the person with a disability.

본 발명에 따른 수어 통역시스템 및 서비스방법에 대해 설명한다. A sign language interpretation system and service method according to the present invention will be described.

청각장애인의 수어를 입력받아 문자로 변환 후 다른 언어로의 통역시스템에 있어서,In the interpretation system for receiving the sign language of the deaf person and converting it into text,

청각장애인으로부터 터치식 모니터 또는 마우스, 키보드 중 하나 이상의 수단으로 입력되어 국가가 선택되어지는 청각장애자용 수어시스템, 상기 청각장애자용 수어시스템의 모니터에 내장형 또는 별도로 설치되어 청각장애인의 수어동작을 화면으로 입력받기 위한 카메라;A sign language system for the hearing impaired in which a country is selected by input from a hearing impaired by one or more means of a touch monitor, mouse, or keyboard, built-in or separately installed in the monitor of the sign language system for the hearing impaired to display the sign language motion of the hearing impaired on the screen a camera for receiving input;

상기 카메라에서 입력받은 청각장애인의 수어를 해당 국가의 언어로 변환하기 위한 국가별 수어인식시스템;a country-specific sign language recognition system for converting the sign language of the deaf received from the camera into the language of the country;

상기 변환된 문자를 안내자 또는 대화자의 국가 언어로 자동 번역하기 위한 다국어 번역시스템;a multilingual translation system for automatically translating the converted characters into the national language of the guide or the speaker;

상기 안내자 또는 대화자 국적의 문자로 변환된 문장을 화면출력을 위해 모니터를 포함하는 안내자단말;a guide terminal including a monitor for outputting the text converted into characters of the guide or the speaker's nationality;

청각장애인의 수어에서 변환되어 모니터에 출력된 문장에 답변을 문자나 음성으로 입력하기 위한 키보드 또는 마이크를 포함하는 안내자단말;a guide terminal including a keyboard or a microphone for inputting an answer in text or voice to a sentence converted from the sign language of the deaf person and output on the monitor;

안내자가 키보드 또는 마이크 중 하나를 선택하여 답변의 문장을 입력하는 단계를 포함하되, 마이크로 음성을 입력한 경우 STT엔진을 경유하여 문자로 변환한 후 다국어번역시스템을 통해 청각장애인의 국가언어로 번역하는 단계;Including the step of the guide selecting one of the keyboard or microphone to input the sentence of the answer, but if the voice is input with the microphone, it is converted into text via the STT engine and then translated into the national language of the hearing impaired through a multilingual translation system. step;

번역된 문장은 수어변환시스템에 전달되어 번역된 문장을 청각장애인용 수어로 변환하는 단계;The translated sentence is transmitted to a sign language conversion system to convert the translated sentence into sign language for the hearing impaired;

변환된 수어를 청각장애인용 수어시스템의 모니터를 통해 아바타에 의해 수어로 답변되어지는 것이 특징의 시스템A system characterized in that the converted sign language is answered in sign language by the avatar through the monitor of the sign language system for the hearing impaired.

일 실시예에 따르면,According to one embodiment,

복수의 청각장애인과 1이상의 안내자 및 대화자의 대화인 경우In the case of a conversation between multiple deaf people and one or more guides and interlocutors

수어자의 요청에 의해 안내자는 자동으로 배정되되 배정 순서는 시작 후 최초는 일정 순서 또는 랜덤으로 안내자가 배정되나 각 안내자가 대화가 종료되면 각 안내자의 대화 종료시간이 저장되고 저장된 안내시간에 기초하여 다음 대화 요청에 자동 배정은 대화 종료 시간중 가장 오래된 시간의 안내자로 자동 배정되는 시스템At the request of the signer, the guides are automatically assigned, but the guides are assigned in a certain order or randomly after the start of the assignment. Automatic assignment to the next conversation request is a system that automatically assigns the guide at the oldest time of the conversation end time

일 실시예에 따르면,According to one embodiment,

청각장애인이 국적을 선택하고 안내자(대화자)의 국적이 선택되어지면 수어변환시스템은 청각장애인의 국적시스템이 선택되어지고 다국어번역시스템은 청각장애인 국적과 안내자(대화자) 국적으로 선택되어지며 STT엔진은 안내자의 국적으로 자동선택되어지는 시스템When the deaf person selects the nationality and the nationality of the guide (talker) is selected, the sign language conversion system selects the nationality system of the deaf person, and the multilingual translation system selects the nationality of the deaf person and the nationality of the guide (talker), and the STT engine A system that automatically selects the guide's nationality

일 실시예에 따르면,According to one embodiment,

국가가 다른 청각장애인간 수어대화에 있어,In sign language conversations between deaf people of different countries,

각 청각장애인으로부터 청각장애인용 수어시스템을 통해 국가가 선택되어지고, 상기 청각장애인용 수어시스템의 모니터에 내장형 또는 별도로 설치되어 청각장애인의 수어동작을 화면으로 입력받고 데이터로 전송하기 위한 카메라;A camera for receiving the sign language operation of the deaf person through a sign language system from each deaf person, the country being selected through a sign language system for the deaf person, and being built-in or separately installed in the monitor of the sign language system for the deaf person to receive the sign language operation of the deaf person on the screen and transmitting it as data;

청각장애인의 수어를 해당 국가의 언어의 문자로 변환하기 위한 국가별 수어변환시스템; A country-specific sign language conversion system for converting the sign language of the hearing impaired into the characters of the language of the country;

상기 변환된 문자를 다른 청각장애인의 국가 언어로 자동 번역하기 위한 다국어 번역시스템;a multilingual translation system for automatically translating the converted characters into other deaf people's national languages;

번역된 상대 청각장애인의 국가 언어를 기반으로 상대 청각장애자의 국가에 맞는 수어로 변환하여 상대 청각장애인의 모니터에 아바타로 수어를 표현하는 시스템A system for expressing sign language as an avatar on the other deaf person's monitor by converting it into a sign language suitable for the deaf person's country based on the translated national language of the deaf person.

일 실시예에 따르면According to one embodiment

복수의 청각장애자에 동시 대화시 대화 방식은 1대1 지정방식 또는 3인 이상의 그룹 방식의 대화를 지원하는 서비스When talking to multiple hearing impaired people at the same time, the conversation method is a service that supports a one-to-one designated method or a group method of 3 or more people

일 실시예에 따르면,According to one embodiment,

중앙시스템과 연결되는 핸드폰을 포함하는 모바일단말의 어플을 통해 청각장애인간 대화를 지원하는 시스템A system that supports conversations between the hearing impaired through applications on mobile terminals including mobile phones that are connected to the central system

전술한 본원의 과제 해결수단에 의하면,According to the above-described problem solving means of the present application,

언어가 다른 청각장애인과 비 장애인이 본 시스템에 의한 통역이 가능하여 대화 및 안내가 가능하다.The deaf and non-disabled people who speak different languages can interpret through this system, so conversation and guidance are possible.

또한, 국가가 다르므로 인해 수어가 다른 청객장애인 간의 경우에도 각 장애인이 본 시스템에 국가를 선택하면 다른 수어언어 사용자 간에도 실시간 청각장애인 간 또는 비 장애인간 대화가 가능하다.In addition, even between audiences with different sign language due to different countries, if each disabled person selects a country in this system, real-time conversation between the hearing impaired and non-disabled people is possible even between users of other sign language languages.

또한, 많은 청각장애인과 1명 이상의 안내자 또는 대화자가 있는 경우 이어지는 복수의 청각장애인의 대화요청을 시스템에 의해 자동으로 안내자를 배정할 수 있다.In addition, when there are many deaf people and one or more guides or interlocutors, the system can automatically assign guides to the subsequent conversation requests of a plurality of deaf people.

또한, 수어 언어가 다른 청각장애인간 대화방에 입장하여 본인의 국가를 선택하여 다른 언어의 청각장애인과도 실시간 수어대화가 가능하다.In addition, by entering the chat room between the hearing impaired who have different sign language languages, it is possible to have real-time sign language conversations with the hearing impaired in other languages by selecting their country.

또한, 스마트폰을 포함하는 모바일단말을 통한 다른 국가의 청각장애인과도 실시간 대화가 가능하다.In addition, real-time conversation with the hearing impaired in other countries is possible through mobile terminals including smartphones.

도 1은 본 시스템의 기본 계통도
도 2는 청각장애인과 비 장애인(안내자) 간 대화를 위한 순서도
도 3은 청각장애인과 비 장애인(안내자) 간 대화를 위한 시스템 흐름도
도 4는 복수의 청각장애인과 1이상의 안내자간 대화 계통도
도 5는 복수의 청각장애인과 1이상의 안내자간 대화 순서도
도 6은 복수의 다른 언어 사용 청각장애인간 대화 계통도
도 7은 복수의 다른 언어 사용 청각장애인간 대화를 위한 시스템 흐름도1 is a basic schematic diagram of the present system;
2 is a flowchart for a conversation between a hearing impaired and a non-disabled person (guide)
3 is a system flow diagram for a conversation between a hearing impaired and a non-disabled person (guide)
4 is a dialogue flow diagram between a plurality of hearing impaired and one or more guides;
5 is a flow chart of a conversation between a plurality of hearing impaired and one or more guides
6 is a communication flow diagram between the hearing impaired using a plurality of different languages
7 is a system flow diagram for a conversation between a plurality of different languages using a hearing impaired.

본 발명의 바람직한 실시 예를 첨부된 도면에 의하여 상세히 설명한다.A preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

본 명세서에서 명세서의 문맥 및 도표의 공간을 고려하여 동일한 용어에 대해 다음과 같이 복수의 표현을 사용하였다. 예를 들어 “청각장애인”을 수어를 사용하는 사람의 뜻인 “농인”과 혼용하며, “비 장애인”을 본 시스템에서 “청각장애인”과 안내를 하는 사람으로 “안내자”를 혼용하여 사용한다.In this specification, in consideration of the context of the specification and the space of the diagram, a plurality of expressions are used for the same term as follows. For example, “deaf” is used interchangeably with “deaf,” meaning a person who uses sign language, and “non-disabled” is used interchangeably with “deaf person” and “guide” as a guide in this system.

도 1은 본 시스템의 기본 계통도이고 도 2는 청각장애인과 비 장애인(안내자) 간 대화를 위한 순서도이고 도 3은 청각장애인과 비 장애인간 대화를 위한 시스템 흐름도이다. 1 is a basic system diagram of the present system, FIG. 2 is a flow chart for a conversation between a hearing impaired and a non-disabled (guide), and FIG. 3 is a system flow diagram for a conversation between a hearing impaired and a non-disabled person.

본 발명에 따른 수어 통역시스템 및 서비스 방법의 기본 시스템은 도 1내지 도 3에 나타낸 바와 같이, 본 서비스를 수행하기 위해 모든 시스템을 관리하고 저장하고 운영하기 위한 서버(10)가 있으며 상기 서버와 연결되는 운영자 단말(11)이 연결될 수 있다.As shown in FIGS. 1 to 3, the basic system of the sign language interpretation system and service method according to the present invention has a server 10 for managing, storing, and operating all systems to perform this service, and is connected to the server The operator terminal 11 may be connected.

운영자 단말(11)은 본 시스템 전체를 관리 운영하는 내부 시스템일 수 있다. 또 다른 내부시스템으로 수어인식시스템(13)과 STT엔진(12)이 포함될 수 있다. 상기 수어인식시스템(13)과 STT엔진(12)은 국가별 수어 및 언어인식시스템(14)으로 구분되어 질수 있다. 이는 본 내부 시스템에서 서비스 가능한 국가가 확장 및 축소될 때 국가별 단위로서 확장 가능하다.The operator terminal 11 may be an internal system that manages and operates the entire system. As another internal system, the sign language recognition system 13 and the STT engine 12 may be included. The sign language recognition system 13 and the STT engine 12 may be divided into country-specific sign language and language recognition systems 14 . It can be expanded as a country-by-country unit when the countries serviceable in this internal system are expanded and reduced.

또 다른 내부 시스템으로 다국어번역시스템(15)이 포함될 수 있다. 상기 다국어번역시스템(15)을 포함하여 서버(10), 운영자 단말(11), 국가별 수어 및 언어인식시스템(14)인 수어인식시스템(13)과 STT엔진(12)이 내부시스템(16)으로 구분되어 질수 있으며, 상기 내부 시스템에서 유선 및 무선과 같은 인터넷과 연결되어 청각장애인의 국가선택을 위한 모니터, 상기 모니터는 청각장애인 수어 대화시 아바타가 수어를 나타내는 화면이기도 하다.As another internal system, the multilingual translation system 15 may be included. Including the multilingual translation system 15, the server 10, the operator terminal 11, the sign language recognition system 13 and the STT engine 12, which are country-specific sign language and language recognition systems 14, are integrated into the internal system 16. In the internal system, the monitor is connected to the Internet, such as wired and wireless, to select a country for the hearing impaired, and the monitor is also a screen in which the avatar displays sign language during sign language conversation with the hearing impaired.

그리고 상기 모니터에 내장형 또는 별도로 설치되어 청각장애인의 수어를 화면으로 입력받기위한 카메라가 청각장애인 전면에 설치될 수 있다.In addition, a camera that is built-in or separately installed in the monitor to receive the sign language of the deaf to the screen may be installed in front of the deaf.

또한 청각장애인의 국가선택방법의 또 다른 수단으로 별도의 키보드나 마우스에 의해 청각장애인의 국가가 선택되어 입력될 수 있다.Also, as another means of the country selection method for the hearing impaired, the country of the hearing impaired can be selected and input by a separate keyboard or mouse.

상기 청각장애자용 수어시스템(21)은 모니터와 카메라 그리고 별도의 키보드나 마우스가 포함되어질 수 있다.The sign language system 21 for the hearing impaired may include a monitor, a camera, and a separate keyboard or mouse.

공항과 같은 다양한 국적의 청각장애인이 안내카운터와 같은 장소에서 본인의 국적의 수어로 문의를 할 경우 안내자는 비장애인일 수 있으며 외국의 청각장애인의 수어 문의에 답하거나 대화를 위해 안내자단말(20)이 구비될 수 있다.When deaf people of various nationalities, such as airports, make inquiries in sign language of their nationality at the same place as the information counter, the guide may be non-disabled, and the guide terminal (20) This may be provided.

상기 안내자단말(20)은 키보드 입력을 위한 키보드와 입으로 대화의 형식으로 안내자의 음성을 입력받기위한 마이크가 별도로 구비될 수 있다.The guide terminal 20 may be separately provided with a keyboard for inputting a keyboard and a microphone for receiving the voice of the guide in the form of a conversation by mouth.

도 2에 의한 청각장애인과 안내자의 수어대화를 위한 순서도에 의해설명을 하면, 대화를 진행하기 위해 청각장애인과 안내자가 각각 구획되어 시작(S11), (S21)을 하면 우선 청각장애인이 청각장애인용 수어시스템(21)에 국가를 선택(S12)하고 대화요청(S13)을 진행할 수 있다. 대화요청(S13)시 안내자가 있는지 여부(S14)에 따라 안내자가 없는 경우 대화요청(S13) 상태가 되며 안내자가 있는 경우 대화(S14)가 진행되며 대화(S14)가 끝나면 청각장애인의 대화는 종료(S15)가 된다. 반면 안내자는 시작(S21)과 동시에 수어자의 대화요청(S13)에 의해 수어자가 있는지 여부(S22)에 따라 수어자가 있는 경우 대화(S14)가 진행되며 대화가 끝나면 다시 수어자의 대화요청(S13)에 의한 수어자 여부(S22)에 따라 대화(S14) 또는 종료(S23)의 순서로 진행될 수 있다. If explained by the flow chart for sign language conversation between the deaf and the guide according to FIG. 2, the deaf and the guide are divided and start (S11) and (S21) respectively to proceed with the conversation. You can select a country in the sign language system 21 (S12) and proceed with a conversation request (S13). At the time of the conversation request (S13), depending on whether there is a guide (S14), if there is no guide, the conversation request (S13) state occurs. (S15). On the other hand, when the guide starts (S21) and at the same time as the signator's conversation request (S13), depending on whether or not there is a signer (S22), if there is a signer, the conversation (S14) proceeds. According to the signatory status (S22) by (S13), the conversation (S14) or the end (S23) may proceed in the order.

그리고 청각장애인이 청각장애인용 수어시스템(21)을 통해 국적을 선택하고 안내자는 통상 해당 국가 예를 들어 한국에 기반을 둔 안내장소이면 한국어가 디폴트로 선정이되며 수어변환시스템(13)은 청각장애인에 의해 선택된 국가로 자동 선정되며, 아울러 다국어번역시스템(15)은 청각장애인의 국가어에서 안내자의 국가어로 자동 선택되어질 수 있다.And if the deaf person selects a nationality through the sign language system 21 for the deaf and the guide is a guide place based in the relevant country, for example, Korea, Korean is selected by default, and the sign language conversion system 13 is the deaf person. It is automatically selected as the country selected by , and in addition, the multilingual translation system 15 can be automatically selected from the national language of the deaf person to the national language of the guide.

그리고 안내자의 답변에 청각장애인이 인지할 수 있도록 본 시스템의 입력문자는 안내자의 국적언이일 수 있으며, 음성입력으로 선택하여 마이크로 답변을 하는 경우 STT엔진(12)은 안내자의 국적엔진이 자동 선택되어 진다.And so that the hearing impaired can recognize the guide's answer, the input text of the system may be the guide's national language, and when answering with a microphone by selecting the voice input, the STT engine 12 automatically selects the guide's nationality engine. lose

아울러 키보드와 STT엔진(12)을 통해 다국어번역시스템(15)은 안내자 국적언어와 청각장애인 국적언어로 선택되어진다.In addition, the multilingual translation system 15 is selected as the national language of the guide and the national language of the hearing impaired through the keyboard and the STT engine 12 .

그리고 수어변환시스템(13)은 청각장애인이 선택한 국가의 시스템으로 선정되어진다. And the sign language conversion system 13 is selected as the system of the country selected by the hearing impaired.

도 3은 청각장애인과 비 장애인(안내자) 간 대화를 위한 시스템 흐름도로서, 흐름도의 상 하부에 청각장애인은 안내자와 다른 수어를 사용하는 국가로 본 실시예로서 미국을 실시예로서 설명을 진행하며 미국외의 어느 국가이든 대체 가능하다. 물론 안내자는 비 장애자로서 한국을 예시로 설명한다. 3 is a system flow diagram for a conversation between a deaf person and a non-disabled person (guide). At the top and bottom of the flowchart, the deaf person is a country using a sign language different from the guide, and the United States as an example is explained as an example. Any other country can be replaced. Of course, the guide explains Korea as an example as a non-disabled person.

중앙부의 블록들은 도 1의 계통도에 표시되는 하드웨어들을 대화의 흐름도에 맞게 배치하였으며 양 옆의 블록들은 청각장에인과 안내자간 대화의 흐름도를 설명하기 위해 중앙의 장치들과 연계하여 배치한 흐름도이다. The blocks in the central part are arranged in accordance with the flow diagram of the conversation with the hardware displayed in the schematic diagram of FIG. 1, and the blocks on both sides are the flow diagrams arranged in conjunction with the central devices to explain the flow diagram of the conversation between the auditory field and the guide. .

미국 수어를 사용하는 청각장애인은 청각장애인 수어시스템(21)의 모니터(21a) 또는 마우스(21b)를 사용하여 국가를 선택(S30)하고 청각장애인 수어시스템(21)의 일 장치인 카메라(21c)에 의해 수어촬영(S31)을 통해 실시간으로 화면 자료형태로 실시간 데이터가 수어변환시스템(13)으로 전송되며, 상기 수어변환시스템(13)은 입력받은 수어 데이터를 청각장애인의 국가에 해당하는 문자인 영어로 변환(S32)되어질 수 있으며 변환된 영어 문자는 다국어번역시스템(15)으로 전송되어져 사전에 설정되어진 안내자의 언어인 문자로의 번역 즉 영어를 한국어로 번역(S33)되어질 수 있다. A deaf person who uses American sign language selects a country (S30) using the monitor 21a or mouse 21b of the sign language system 21 for the deaf, and the camera 21c, which is a device of the sign language system 21 for the deaf. Real-time data in the form of screen data is transmitted to the sign language conversion system 13 in real time through sign language photography (S31) by It can be converted into English (S32), and the converted English characters are transmitted to the multilingual translation system 15, and can be translated into characters, that is, English to Korean, which is a preset guide language (S33).

그리고 번역되어진 한국어 문자는 안내자단말(20)의 모니터(20a)를 통해 한글자막으로 표출(S34)되어져 결국 안내자가 외국인 수어자의 내용을 인지할 수 있게 된다. And the translated Korean characters are displayed (S34) with Korean subtitles through the monitor 20a of the guide terminal 20, so that the guide can recognize the contents of the foreign sign language.

안내자가 인지한 청각장애인의 수어, 예를 들어 공항에 “체크인카운터가 어디에 있습니까?”라는 수어내용이었다면 이에 대한 답변을 본 시스템을 통해 청각장애인에게 “2층 중앙에 있습니다.” 라는 답변을 할 수 있는데, 안내자 단말(20)의 키보드(20c)를 통해 한글 문장을 입력(S40)하는 방법과 마이크(20b)를 통한 음성을 입력(S41)하는 방법중 선택해서 답변 입력이 가능하다. If the sign language of the deaf recognized by the guide was, for example, “Where is the check-in counter?” at the airport, the answer to this was sent to the deaf through this system, “It is in the middle of the second floor.” Answer can be entered by selecting between the method of inputting Korean sentences through the keyboard 20c of the guide terminal 20 (S40) and the method of inputting the voice through the microphone 20b (S41) Do.

입력받은 답변이 문자인 경우 안내자단말(20)에서 바로 다국어번역시스템(15)으로 문자가 전송되어 한국어를 영어로 번역(S42)하게 되며, 안내자가 음성입력(S41)을 통해 답변을 하였다면 안내자단말(20)에서 STT엔진(12)을 통해 음성이 문자로 변환해 다국어번역시스템(15)으로 전송되어질 수 있으며, 전송된 한글 문자는 영어로 번역(S42)되어 수어변환시스템(13)으로 전송되어 청각장애인이 인지할 수 있도록 영어문자를 수어로 변환(S43)하여 청각장애인수어시스템(21)의 모니터(21a)를 통해 아바타가 미국에 맞는 수어를 시현(S44)하므로 인해 청각장애인이 안내자의 답변을 이해하므로 대화가 이루어 질 수 있다. If the received answer is a text, the text is directly transmitted from the guide terminal 20 to the multilingual translation system 15 to translate Korean into English (S42). If the guide answers through voice input (S41), the guide terminal In (20), the voice is converted into text through the STT engine 12 and transmitted to the multilingual translation system 15, and the transmitted Korean text is translated into English (S42) and transmitted to the sign language conversion system 13. English characters are converted into sign language so that the hearing impaired can recognize them (S43), and the avatar displays sign language suitable for the United States through the monitor 21a of the sign language system 21 for the hearing impaired (S44). understanding so conversations can take place.

상기 대화 사이클은 대화 종료시까지 무한 반복가능하며 대화가 종료되면 청각장애인수어시스템(21)이 일정시간 작동이 없으면 자동으로 국가선택모드로 자동변환되어 다음 대화자의 선택을 기다리는 화면으로 변환됨이 바람직하다. The conversation cycle is infinitely repeatable until the end of the conversation. When the conversation is finished, if the sign language system 21 for the hearing impaired does not operate for a certain period of time, it is automatically converted to the country selection mode and converted to a screen waiting for the selection of the next interlocutor. .

도 4는 복수의 청각장애인과 1이상의 안내자간 대화 계통도이다. 4 is a diagram illustrating a dialogue between a plurality of deaf people and one or more guides.

본 발명의 중앙시스템(16)에서 유, 무선으로 연결되며 청각장애인 수어시스템(21, 211)의 일 측과 안내자단말(20, 201)의 또 다른 일측으로 구분되어 중앙시스템(16)과 연결되어진다.In the central system 16 of the present invention, it is connected wirelessly and is divided into one side of the sign language systems 21 and 211 for the deaf and the other side of the guide terminals 20 and 201 and is connected to the central system 16. lose

본 발명의 수어 통역시스템에 의한 대화 방법은 도 5의 복수의 청각장애인과 1이상의 안내자간 대화 순서도에 의해 설명하면, 1이상의 복수의 농인(S50)의 대화요청(S51)에 의해 진행되며 요청된 대화에 대해 안내자(S52)가 복수 인 경우 사전에 설정된 순서 또는 랜덤한 순서에 의해 안내자가 자동으로 배정되며 배정된 안내자(S52)와 대화 요청한 농인(S50)의 대화가 종료(S53)되면 종료된 시간저장(S54)이 안내자(S52) 각각에 구분되어 저장되어질 수 있다. The conversation method by the sign language interpretation system of the present invention is described by the dialogue flow chart between a plurality of deaf people and one or more guides in FIG. When there are a plurality of guides S52 for the conversation, the guides are automatically assigned according to a preset order or a random order, and when the conversation between the assigned guide S52 and the deaf person S50 who requested the conversation ends (S53), it ends Time storage (S54) may be stored separately for each guide (S52).

따라서 각 안내자 별 대화 종료시간의 순서에 따라 안내자가 저장(S55)되며, 각각의 안내자(S52)는 새로운 농인(S50)의 안내를 위한 대화요청(S56)이 발생한 경우 가장 먼저 종료된 안내자 순서대로 대화가 자동으로 배정되어 안내대화(S58)가 개시된다. Therefore, the guides are stored (S55) according to the order of the conversation end time for each guide, and each guide (S52) is in the order of the guide that ended first when a conversation request (S56) for guiding the new deaf (S50) occurs. The conversation is automatically assigned and a guide conversation ( S58 ) is started.

또한 각각 시행된 대화는 앞의 대화종료시의 시간저장(S54)과 같이 본 시스템의 대화가 최종 종료되기 전까지 각각의 안내자 대화 종료시 시간저장(S60)이 이루어 지고 저장된 시간 순서에 따라 새로운 안내자 순서가 저장(S55)되며 대화 요청 여부(S56)에 따라 상기 순서에 따라 자동 배정된 순서로 안내를 시행하거나 대화 요청이 없는 경우 본 대화시스템을 종료(S57)하게 된다. In addition, each conducted conversation is time saved (S60) at the end of each guide conversation until the final end of the conversation of the present system like the time storage (S54) at the end of the previous conversation, and a new guide sequence is stored according to the stored time sequence. (S55) and, depending on whether a conversation is requested (S56), the guidance is executed in the order automatically assigned according to the above sequence, or if there is no conversation request, the conversation system is terminated (S57).

상기 대화 방법의 과정 설명인 S50~S54의 순서는 본 발명의 일 실시예로서 바람직한 실시 예이며 대화 요청에 각 안내자의 화면에 대화요청에 승인하는 방법으로 순서가 결정되어도 무관하다. The sequence of steps S50 to S54, which is a process description of the conversation method, is a preferred embodiment as an embodiment of the present invention, and it is irrelevant even if the order is determined by the method of approving the conversation request on the screen of each guide to the conversation request.

도 6은 본 발명의 또 다른 실시예에 의한 수어통역시스템 및 방법에 관한 것으로 별도의 안내자가 없이 복수의 다른 언어를 사용하는 청각장애인간 대화 계통도이고 도 7은 다른 언어를 사용하는 청각장애인간 대화를 하기 위한 시스템흐름도로서 언어가 다른 청각장애인간의 대화를 자동으로 번역하여 아바타로 대화를 지원하기 위한 시스템에 대해 설명한다. 6 is a sign language interpretation system and method according to another embodiment of the present invention, which is a communication system diagram between the hearing impaired using a plurality of different languages without a separate guide, and FIG. 7 is a conversation between the hearing impaired using another language. This is a system flow diagram for avatar support by automatically translating conversations between hearing impaired people with different languages.

다양한 국적의 청각장애인 간에 서로 대화를 지원하기 위한 시스템으로 중앙시스템(16)에서 연결된 각각의 청각장애인용 수어시스템(21, 211, 212)은 상호 연동되며, 각 청각장애인간의 대화모드에서 시작될 수 있고, 각 장애인별로 본인의 국적을 선택하므로 인해 본 발명의 통역시스템과 방법이 운영되어질 수 있다. As a system for supporting conversation between the hearing impaired of various nationalities, each sign language system 21, 211, 212 for the hearing impaired connected from the central system 16 interworks with each other and can be started in a conversation mode between the hearing impaired, , the interpretation system and method of the present invention can be operated because the nationality of each person with a disability is selected.

각 장애인이 청각장애인용 수어시스템(21, 211, 212)에서 국적이 선택되어지면 중앙시스템(16)은 각 장애인별 시스템 단말의 국적을 저장하고 장애인별로 동작하는 수어에 대해 해당 국가의 수어인식시스템(13)에서 수어를 해당 국가의 언어로 변환하며, 변환된 언어는 다국어번역시스템(15)에서 동시에 대화하는 다른 국적의 청각장애인, 즉 다른 단말의 국적에 맞는 국가언어로 번역하고 번역된 국가언어를 다시 각 국가의 수어인식시스템(13)으로 전송하면 해당 국가의 언어에 기반한 수어로 변환하여 아바타가 그 해당국가의 청각장애인용 시스템(21,211,212)의 모니터에서 수어를 구현하게 된다. When the nationality of each disabled person is selected in the sign language systems 21, 211, and 212 for the hearing impaired, the central system 16 stores the nationality of each system terminal for each disabled person, and the sign language recognition system of the country for the sign language operated for each disabled person In (13), the sign language is converted into the national language, and the converted language is translated and translated into the national language appropriate for the nationality of the other terminal, that is, the deaf person of another nationality who communicates at the same time in the multilingual translation system (15). is transmitted back to the sign language recognition system 13 of each country, it is converted into a sign language based on the language of the country, and the avatar implements the sign language on the monitors of the systems 21, 211, and 212 for the hearing impaired of that country.

아바타의 동작에의한 아바타의 수어를 이해하고 그에 답하는 수어를 각 청각장애인은 카메라를 통해 입력되면 각 국가별 수어인식시스템(13)은 해당국의 언어로 번역 후 다국어번역시스템(15)에 전송되어 지정된 국가언어로 번역한 문자정보를 기초로 다시 각 수어인식시스템(13)과 각 청각장애인용 수어시스템(21, 211, 212)의 모니터를 통해 아바타로 전되는 대화를 진행하게 된다. When each deaf person understands the sign language of the avatar by the movement of the avatar and responds to the sign language is input through the camera, the sign language recognition system 13 for each country translates it into the language of the country and transmits it to the multilingual translation system 15 Then, on the basis of the text information translated into the designated national language, the conversation is transmitted to the avatar through the monitors of each sign language recognition system 13 and each sign language system 21, 211, and 212 for the hearing impaired.

바람직한 청각장애인용 시스템(21, 211, 212)의 모니터에는 복수의 아바타를 표현하는 방법으로는 아바타가 입력되는 순서대로 1인을 표시하는 방법과 동시에 복수의 아바타를 선정된 국가로 표시하여 동시에 나타내게 할 수도 있다. As a method of displaying a plurality of avatars on the monitor of the preferred system for the hearing impaired (21, 211, 212), one person is displayed in the order in which the avatars are input, and the plurality of avatars are displayed in a selected country at the same time. You may.

또한 아바타 선정은 본인의 국가의 외모, 피부색, 전통의복의 국가형태를 사용할 수도 있고 본인과 전혀 다른 별도의 아바타를 선정하게 할 수도 있다. In addition, when selecting an avatar, you can use your country's appearance, skin color, and national form of traditional clothing, or you can select an avatar completely different from yours.

아울러, 도 7의 다른 언어를 사용하는 청각장애인간 대화를 하기 위한 시스템 흐름도를 통해 상세하게 설명한다. In addition, it will be described in detail through a system flow chart for conversation between the hearing impaired who uses another language of FIG. 7 .

흐름도의 상ㆍ하부 블록에 청각장애인 미국인과 한국인을 일 실시예로 설명하였으며 다양한 다른 국가의 장애인을 대치가능하며 복수의 장애인을 더 포함할 수 도 있다. In the upper and lower blocks of the flowchart, deaf Americans and Koreans are described as an example, and it is possible to replace the disabled in various other countries and may further include a plurality of disabled people.

중앙부의 블록들은 도 1 및 도 6의 계통도에 표시되는 하드웨어들을 대화의 흐름도에 맞게 배치하였으며 양 옆의 블록들은 각기 다른 국적의 청각장에인의 대화 흐름도를 설명하기 위해 중앙의 장치들과 연계하여 배치한 흐름도이다. The blocks in the central part arrange the hardware displayed in the diagrams of FIGS. 1 and 6 to match the flow diagram of the conversation, and the blocks on both sides are linked with the central devices to explain the flow diagram of the conversations of auditors of different nationalities. This is the layout flow chart.

미국 수어를 사용하는 청각장애인은 청각장애인 수어시스템(21)의 모니터(21a) 또는 마우스(21b)를 이용하여 본인의 국가와 대화를 진행하고자 하는 상대를 선택(S70)하고 청각장애인 수어시스템(21)의 일 장치인 카메라(21c)에 의해 수어촬영(S71)을 통해 실시간으로 화면 자료형태로 데이터가 수어변환시스템(13)으로 전송되며, 상기 수어변환시스템(13)은 입력받은 수어 데이터를 청각장애인의 국가에 해당하는 문자인 영어로 변환(S72)되어질 수 있으며 변환된 영어 문자는 다국어번역시스템(15)으로 전송되어져 사전에 설정되어진 대화상대자의 국적언어(한국어)로 번역 즉 영어를 한국어로 번역(S73)되어질 수 있다. A deaf person who uses American sign language selects a person with whom he/she wants to communicate with his/her country using the monitor 21a or mouse 21b of the sign language system 21 for the deaf (S70) and selects the person with the deaf sign system 21 ), the data in the form of screen data is transmitted to the sign language conversion system 13 in real time through sign language photography (S71) by the camera 21c, which is one device of the device, and the sign language conversion system 13 hears the received sign language data. It can be converted (S72) into English, which is a character corresponding to the country of the disabled, and the converted English character is transmitted to the multilingual translation system 15 and translated into the preset national language (Korean) of the conversation partner, that is, English to Korean. It can be translated (S73).

그리고 번역되어진 한국어 문자는 또 다른 한국어용 수어변환시스템(13a)으로 전송되어져 한국어용 수어로 변환(S74)되어 한국인용 청작장애인용 수어시스템의 모니터(211a)를 통해 한글 한국어용 아바타 수어시현(S75)을 수행하여 결국 미국 청각장애인의 수어를 한국 청각장애인이 모니터의 아바타를 통해 외국인 수어자의 내용을 인지할 수 있게 된다. And the translated Korean character is transmitted to another sign language conversion system for Korean (13a), converted into sign language for Korean (S74), and through the monitor (211a) of the sign language system for the Korean people with blue eyes, the sign language for the Korean language is displayed (S75). ), so that the deaf in the US can recognize the sign language of the deaf in Korea and the content of the sign language in the foreign country through the avatar of the monitor.

반면 한국 청각장애인도 역순으로 상대방의 수어 내용에 답을 하기 위해 사전에 본인의 국가와 대화상대가 선택(S80)되어져 설정되어있으며 답변을 위해 한국인용 청각장애인 수어시스템(211)의 카메라(211c)를 통해 답변내용을 수어로 입력받고 수어변환시스템(13a)에서 수어는 한국어의 문자로 변환(S82)되어 다국어 변환시스템(15)으로 전송되어 상대방 언어인 영어로 번역(S83)되어질 수 있다. 이어, 번역된 영어는 미국인용 수어변환시스템(13)으로 전송되어 청각장애인이 인지할 수 있도록 영어문자를 수어로 변환(S84)하여 청각장애인수어시스템(21)의 모니터(21a)를 통해 아바타가 미국에 맞는 수어를 시현(S85)하므로 인해 청각장애인이 상대방 청각자애인의 답변을 이해하므로 실시간 대화가 이루어 질 수 있다. On the other hand, Korean deaf people also have their country and conversation partner selected in advance (S80) to answer the other's sign language in the reverse order, and the camera (211c) of the Korean deaf sign language system 211 for answering. The response content is received in sign language through the sign language conversion system 13a, and the sign language is converted into Korean characters (S82) and transmitted to the multilingual conversion system 15 to be translated (S83) into the counterpart language, English. Then, the translated English is transmitted to the sign language conversion system 13 for Americans, and the English characters are converted into sign language so that the hearing impaired can recognize them (S84), and the avatar is displayed through the monitor 21a of the sign language system 21 for the deaf. Real-time conversation can take place because the deaf person understands the deaf person's answer because the sign language suitable for the United States is displayed (S85).

이런 대화는 근거리의 동일 공간 또는 도시나 국가간의 공간적 거리가 있는 상태에서도 본 발명의 시스템을 수어 통역시스템 및 서비스방법을 활용하여 대화가 가능하도록 서비스할 수 있다. Such dialogue can be provided so that dialogue is possible by using the sign language interpretation system and service method of the system of the present invention even when there is a spatial distance between cities or countries in the same space in a short distance.

이상과 같은 예로 본 발명을 설명하였으나, 본 발명은 반드시 이러한 예들에 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서 본 발명에 개시된 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 예들에 의하여 본 발명의 기술사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위와 명세서의 실시 예에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다. Although the present invention has been described with the above examples, the present invention is not necessarily limited to these examples, and various modifications may be made within the scope without departing from the technical spirit of the present invention. Therefore, the examples disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these examples. The protection scope of the present invention should be interpreted by the following claims and embodiments of the specification, and all technical ideas within the equivalent range should be interpreted as being included in the scope of the present invention.

10 : 서버
11 : 운영자 단말
12 : ST 엔진
13 : 수어변환시스템
14 : 국가별 및 언어인식시스템
15 : 다국어번역시스템
16 : 중앙시스템
20 : 안내자단말(대화자)
201 : 안내자단말(복수대화자)
21 : 청각장애자용 수어시스템
211~212 : 복수의 청각장애자용 수어시스템10 : Server
11: operator terminal
12: ST engine
13: sign language conversion system
14: Country and language recognition system
15: Multilingual Translation System
16: central system
20: guide terminal (talker)
201: guide terminal (multi-talker)
21: sign language system for the hearing impaired
211~212: Sign language system for multiple hearing impaired

Claims (6)

청각장애인의 수어를 입력받아 문자로 변환 후 다른 언어로의 통역시스템에 있어서,
청각장애인으로부터 터치식 모니터 또는 마우스, 키보드 중 하나 이상의 수단으로 입력되어 국가가 선택되어지는 청각장애자용 수어시스템, 상기 청각장애자용 수어시스템의 모니터에 내장형 또는 별도로 설치되어 청각장애인의 수어동작을 화면으로 입력받기 위한 카메라;
상기 카메라에서 입력받은 청각장애인의 수어를 해당 국가의 언어로 변환하기 위한 국가별 수어인식시스템;
상기 변환된 문자를 안내자 또는 대화자의 국가 언어로 자동 번역하기 위한 다국어 번역시스템;
상기 안내자 또는 대화자 국적의 문자로 변환된 문장을 화면출력을 위해 모니터를 포함하는 안내자단말;
청각장애인의 수어에서 변환되어 모니터에 출력된 문장에 답변을 문자나 음성으로 입력하기 위한 키보드 또는 마이크를 포함하는 안내자단말;
안내자가 키보드 또는 마이크 중 하나를 선택하여 답변의 문장을 입력하는 단계를 포함하되, 마이크로 음성을 입력한 경우 STT엔진을 경유하여 문자로 변환한 후 다국어번역시스템을 통해 청각장애인의 국가언어로 번역하는 단계;
번역된 문장은 수어변환시스템에 전달되어 번역된 문장을 청각장애인용 수어로 변환하는 단계;
변환된 수어를 청각장애인용 수어시스템의 모니터를 통해 아바타에 의해 수어로 답변되어지는 것이 특징인 수어통역시스템 및 서비스 방법In the interpretation system for receiving the sign language of the deaf person and converting it into text,
A sign language system for the hearing impaired in which a country is selected by input from a hearing impaired by one or more means of a touch monitor, mouse, or keyboard, built-in or separately installed in the monitor of the sign language system for the hearing impaired to display the sign language motion of the hearing impaired on the screen a camera for receiving input;
a country-specific sign language recognition system for converting the sign language of the deaf received from the camera into the language of the country;
a multilingual translation system for automatically translating the converted characters into the national language of the guide or the speaker;
a guide terminal including a monitor for outputting the text converted into characters of the guide or the speaker's nationality;
a guide terminal including a keyboard or a microphone for inputting an answer in text or voice to a sentence converted from the sign language of the deaf person and output on the monitor;
Including the step of the guide selecting one of the keyboard or microphone to input the sentence of the answer, but if the voice is input with the microphone, it is converted into text via the STT engine and then translated into the national language of the hearing impaired through a multilingual translation system. step;
The translated sentence is transmitted to a sign language conversion system to convert the translated sentence into sign language for the hearing impaired;
Sign language interpretation system and service method, characterized in that the converted sign language is answered in sign language by the avatar through the monitor of the sign language system for the hearing impaired 제 1항에 있어서,
복수의 청각장애인과 1이상의 안내자 및 대화자의 대화인 경우
수어자의 요청에 의해 안내자는 자동으로 배정되되 배정 순서는 시작 후 최초는 일정 순서 또는 랜덤으로 안내자가 배정되나 각 안내자가 대화가 종료되면 각 안내자의 대화 종료시간이 저장되고 저장된 안내시간에 기초하여 다음 대화 요청에 자동 배정은 대화 종료 시간중 가장 오래된 시간의 안내자로 자동 배정되는 것이 특징인 수어통역시스템 및 서비스 방법The method of claim 1,
In the case of a conversation between multiple deaf people and one or more guides and interlocutors
At the request of the signer, the guides are automatically assigned, but the guides are assigned in a certain order or randomly after the start of the assignment. Sign language interpretation system and service method, characterized in that automatic assignment to the next conversation request is automatically assigned to the guide with the oldest time among the conversation end times 제 1항에 있어서,
청각장애인이 국적을 선택하고 안내자(대화자)의 국적이 선택되어지면 수어변환시스템은 청각장애인의 국적시스템이 선택되어지고 다국어번역시스템은 청각장애인 국적과 안내자(대화자) 국적으로 선택되어지며 STT엔진은 안내자의 국적으로 자동선택되어지는 것이 특징인 수어통역시스템 및 서비스 방법The method of claim 1,
When the deaf person selects the nationality and the nationality of the guide (talker) is selected, the sign language conversion system selects the nationality system of the deaf person, and the multilingual translation system selects the nationality of the deaf person and the nationality of the guide (talker), and the STT engine Sign language interpretation system and service method characterized by being automatically selected by the guide's nationality 국가가 다른 청각장애인간 수어대화에 있어,
각 청각장애인으로부터 청각장애인용 수어시스템을 통해 국가가 선택되어지고, 상기 청각장애인용 수어시스템의 모니터에 내장형 또는 별도로 설치되어 청각장애인의 수어동작을 화면으로 입력받고 데이터로 전송하기 위한 카메라;
청각장애인의 수어를 해당 국가의 언어의 문자로 변환하기 위한 국가별 수어변환시스템;
상기 변환된 문자를 다른 청각장애인의 국가 언어로 자동 번역하기 위한 다국어 번역시스템;
번역된 상대 청각장애인의 국가 언어를 기반으로 상대 청각장애자의 국가에 맞는 수어로 변환하여 상대 청각장애인의 모니터에 아바타로 수어를 표현하는 것이 특징인 수어통역시스템 및 서비스 방법In sign language conversations between deaf people of different countries,
A camera for receiving the sign language operation of the deaf person through a sign language system from each deaf person, the country being selected through a sign language system for the deaf person, and being built-in or separately installed in the monitor of the sign language system for the deaf person to receive the sign language operation of the deaf person on the screen and transmitting it as data;
A country-specific sign language conversion system for converting the sign language of the hearing impaired into the characters of the language of the country;
a multilingual translation system for automatically translating the converted characters into other deaf people's national languages;
Sign language interpretation system and service method, characterized in that, based on the translated national language of the deaf person, it is converted into a sign language suitable for the country of the deaf person, and the sign language is expressed as an avatar on the monitor of the deaf person. 제 4항에 있어서,
복수의 청각장애자에 동시 대화시 대화 방식은 1대1 지정방식 또는 3인 이상의 그룹 방식의 대화가 선택 가능한 것이 특징인 수어통역시스템 및 서비스 방법5. The method of claim 4,
Sign language interpretation system and service method, characterized in that when talking to a plurality of hearing impaired people at the same time, the conversation method can be selected as a one-to-one designated method or a group method of three or more people 제 1항 및 4항에 있어서,
중앙시스템과 연결되는 핸드폰을 포함하는 모바일단말의 어플을 통해 청각장애인간 대화를 지원하는 특징의 수어통역시스템 및 서비스 방법
5. The method of claim 1 and 4,
Sign language interpretation system and service method characterized by supporting conversations between the hearing impaired through an application of a mobile terminal including a mobile phone connected to the central system
KR1020200121445A 2020-09-21 2020-09-21 Sign language interpretation system and service methods KR20220038969A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200121445A KR20220038969A (en) 2020-09-21 2020-09-21 Sign language interpretation system and service methods

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200121445A KR20220038969A (en) 2020-09-21 2020-09-21 Sign language interpretation system and service methods

Publications (1)

Publication Number Publication Date
KR20220038969A true KR20220038969A (en) 2022-03-29

Family

ID=80997445

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200121445A KR20220038969A (en) 2020-09-21 2020-09-21 Sign language interpretation system and service methods

Country Status (1)

Country Link
KR (1) KR20220038969A (en)

Similar Documents

Publication Publication Date Title
US10885318B2 (en) Performing artificial intelligence sign language translation services in a video relay service environment
US9111545B2 (en) Hand-held communication aid for individuals with auditory, speech and visual impairments
JP7467635B2 (en) User terminal, video calling device, video calling system, and control method thereof
Skinner et al. Interpreting via video link: Mapping of the field
WO2018186416A1 (en) Translation processing method, translation processing program, and recording medium
Warnicke et al. The positioning and bimodal mediation of the interpreter in a Video Relay Interpreting (VRI) service setting
JP2013009367A (en) Service server device, service provision method, and service provision program
US20210312143A1 (en) Real-time call translation system and method
KR102299571B1 (en) System and Method for Providing Simultaneous Interpretation Service for Disabled Person
KR20220038969A (en) Sign language interpretation system and service methods
JP7467636B2 (en) User terminal, broadcasting device, broadcasting system including same, and control method thereof
KR101609585B1 (en) Mobile terminal for hearing impaired person
KR102441407B1 (en) Apparatus and method for selecting talker using smart glass
US20160277572A1 (en) Systems, apparatuses, and methods for video communication between the audibly-impaired and audibly-capable
JP7304170B2 (en) intercom system
KR20100020726A (en) System and method for providing video chatting service
JPH06337631A (en) Interaction controller in sign language interaction
KR102117993B1 (en) Method and apparatus for providing relay communication service
JP2004248022A (en) Mobile phone and communicating method using the same
De Meulder et al. Finally free from the interpreter’s gaze? Uncovering the hidden labor of gaze work for deaf consumers of interpreter services
WO2021076136A1 (en) Meeting inputs
KR102487847B1 (en) System and method for providing call service for the hearing impaired
KR101778548B1 (en) Conference management method and system of voice understanding and hearing aid supporting for hearing-impaired person
JP2003032373A (en) Multilanguage operation system enabling of performing three-way call
US10613827B2 (en) Configuration for simulating a video remote interpretation session