KR102408941B1 - Two-way conversation system that provides sign language interpretation - Google Patents

Two-way conversation system that provides sign language interpretation Download PDF

Info

Publication number
KR102408941B1
KR102408941B1 KR1020200129558A KR20200129558A KR102408941B1 KR 102408941 B1 KR102408941 B1 KR 102408941B1 KR 1020200129558 A KR1020200129558 A KR 1020200129558A KR 20200129558 A KR20200129558 A KR 20200129558A KR 102408941 B1 KR102408941 B1 KR 102408941B1
Authority
KR
South Korea
Prior art keywords
sign language
terminal
hearing
impaired
module
Prior art date
Application number
KR1020200129558A
Other languages
Korean (ko)
Other versions
KR20220046303A (en
Inventor
손철수
임은희
Original Assignee
㈜ 한국공학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ㈜ 한국공학기술연구원 filed Critical ㈜ 한국공학기술연구원
Priority to KR1020200129558A priority Critical patent/KR102408941B1/en
Publication of KR20220046303A publication Critical patent/KR20220046303A/en
Application granted granted Critical
Publication of KR102408941B1 publication Critical patent/KR102408941B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/04—Devices for conversing with the deaf-blind
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

본 발명은 수어 통역을 제공하는 양방향 대화 시스템에 관한 것으로, 카메라와 디스플레이를 구비하며, 수어를 인식하는 난청인 단말; 입력 장치와 디스플레이를 구비하며, 글자를 입력 받는 건청인 단말 및 다수의 수어 데이터가 저장된 수어 데이터 셋을 제공받으며 상기 난청인 단말 및 건청인 단말과 연동되어, 난청인 단말로부터 수어가 인식될 경우 기 저장된 수어와 비교 분석하여 해당 글자로 변환 후 건청인 단말로 전송하는 수어 통역 서버를 포함하는, 수어 통역을 제공하는 양방향 대화 시스템에 관한 것이다.The present invention relates to a two-way conversation system for providing sign language interpretation, comprising: a terminal for the hearing-impaired having a camera and a display and recognizing sign language; It has an input device and a display, is provided with a sign language data set in which a hearing-impaired terminal and a plurality of sign language data are stored, and is interlocked with the hearing-impaired terminal and the hearing-impaired terminal when sign language is recognized from the hearing-impaired terminal. It relates to a two-way conversation system that provides sign language interpretation, including a sign language interpretation server that compares and analyzes words, converts them into corresponding letters, and transmits them to a hearing terminal.

Description

수어 통역을 제공하는 양방향 대화 시스템{Two-way conversation system that provides sign language interpretation}Two-way conversation system that provides sign language interpretation}

본 발명은 양방향 대화 시스템에 관한 것으로, 특히 수어 통역을 제공하여 난청인과 건청인간의 대화가 실시간으로 가능하도록 하는 양방향 대화 시스템에 관한 것이다.The present invention relates to a two-way conversation system, and more particularly, to a two-way conversation system that provides a sign language interpretation so that a conversation between a hearing-impaired person and a deaf person is possible in real time.

최근, 장애인이 직업 생활을 통하여 자립할 수 있도록 지원해야 하는 장애인고용촉진 및 직업재활법에 따라, 장애인 고용 지원 의무제도가 시행되고 있다. 이 때문에 많은 장애인의 취업 분야 폭이 넓어지기는 하였으나, 아직까지도 기업에서는 의사 소통의 어려움으로 장애인 채용을 기피하고 있는 실정이다.Recently, in accordance with the Employment Promotion and Vocational Rehabilitation Act for the Disabled, which should support the disabled to become independent through their professional life, the mandatory employment support system for the disabled is being implemented. For this reason, although the field of employment for many people with disabilities has been broadened, companies are still avoiding hiring the disabled due to difficulties in communication.

한편, 손으로 대화를 하는 '수어'를 사용하는 청각장애인의 경우, 바리스타, 플로리스트, 택시 운전기사 등의 취업 분야에서 활발하게 취직이 행해지고 있으며, 나아가 공인회계사, 보험계리사, 손해사정사, 준학예사, 호텔 경영사, 호텔관리사 및 호텔 서비스사, 변리사, 군무원, 외무공무원 등 다양한 직종군에서 취직이 확대되도록 다방면의 부처에서 노력이 진행되고 있다.On the other hand, in the case of deaf people who use 'sign language' to communicate by hand, they are actively seeking employment in the fields of employment such as baristas, florists, and taxi drivers. Efforts are being made in various ministries to expand employment in various occupations such as hotel management companies, hotel managers and hotel service companies, patent attorneys, military civil servants, and foreign service officials.

그러나, '수어'라는 것은 특별히 배워야 이해가 가능한 것으로, 많은 이들이 알지 못하는 직장 내에서는 많은 타인과의 의사소통의 어려움을 발생시키고 조직 내 구성원과 상호작용하는데 문제점을 유발하며, 업무의 저하를 발생시킨다.However, 'sign language' is something that can be understood through special learning, and in a workplace that many people do not know, it causes difficulties in communicating with many others, causes problems in interacting with members of the organization, and causes deterioration of work. .

이 때문에, 취업의 폭을 확대하고 청각장애인의 자립도를 높이려고 하는 노력에도 불구하고 많은 청각장애인들의 취업률이 현저히 낮은 상태이다.For this reason, despite efforts to expand the scope of employment and increase the independence of the deaf, the employment rate of many deaf people is remarkably low.

본 발명은 상기와 같은 '수어'의 특수성에 따른 의사소통 단절의 문제점을 해결하기 위하여 제안되는 것으로, 정확도를 높인 수어 통역을 제공하여 실시간으로 대화가 가능하도록 함으로써, 의사소통의 단절을 없애어 취업의 폭을 확대하고 자립율을 높이며 나아가 장애인들의 사회적 지위와 지속적 근로 유도를 목적으로 하는 수어 통역을 제공하는 양방향 대화 시스템을 제공하는 데 목적이 있다. The present invention is proposed to solve the problem of communication disconnection due to the specificity of 'sign language' as described above, and by providing a sign language interpretation with increased accuracy so that conversations can be made in real time, the disconnection of communication is eliminated and employment The purpose of this is to provide a two-way dialogue system that provides sign language interpretation for the purpose of expanding the breadth of language and increasing the self-reliance rate, and furthermore, for the purpose of inducing social status and continuous work of the disabled.

상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 수어 통역을 제공하는 양방향 대화 시스템은, 카메라와 디스플레이를 구비하며, 수어를 인식하는 난청인 단말; 입력 장치와 디스플레이를 구비하며, 글자를 입력 받는 건청인 단말 및 다수의 수어 데이터가 저장된 수어 데이터 셋을 제공받으며 상기 난청인 단말 및 건청인 단말과 연동되어, 난청인 단말로부터 수어가 인식될 경우 기 저장된 수어와 비교 분석하여 해당 글자로 변환 후 건청인 단말로 전송하는 수어 통역 서버를 포함하여 구성될 수 있다.An interactive conversation system for providing sign language interpretation according to an embodiment of the present invention for solving the above problems is provided with a camera and a display, the hearing loss terminal for recognizing sign language; It has an input device and a display, is provided with a sign language data set in which a hearing-impaired terminal and a plurality of sign language data are stored, and is interlocked with the hearing-impaired terminal and the hearing-impaired terminal when sign language is recognized from the hearing-impaired terminal. It may be configured to include a sign language interpretation server that compares and analyzes words and converts them into corresponding letters and transmits them to a hearing terminal.

여기서, 상기 수어 통역 서버는, 양방향 LSTM(Long short-term memory) 기반의 머신러닝을 통해 상기 수어를 사용하는 난청인의 특징점을 추출하고, 상기 특징점을 바탕으로 수어 데이터베이스로부터 수어를 분석하는 인공지능 분석 모듈을 포함하며, 상기 수어 데이터 셋을 통해 1차적으로 분석된 수어를 상기 인공지능 분석 모듈을 통해 2차적으로 분석할 수 있다.Here, the sign language interpretation server extracts feature points of the deaf person using the sign language through interactive long short-term memory (LSTM)-based machine learning, and artificial intelligence that analyzes sign language from a sign language database based on the feature points It includes an analysis module, and the sign language primarily analyzed through the sign language data set may be secondarily analyzed through the artificial intelligence analysis module.

또한, 상기 수어 통역 서버는, 여러 상황에 맞춘 표현으로 제작된 아이콘이 저장되어 아이콘 사용 요청을 전송한 단말과, 연결된 단말로 아이콘 전송을 수행하는 AAC 모듈 및 글씨를 기재하거나 그림을 그릴 수 있는 그림판을 제공하여 그림판 작성을 수행한 단말과, 연결된 단말로 그림판에 작성되는 글씨 또는 그림을 실시간으로 공유하도록 하는 필담 모듈을 포함할 수 있다.In addition, the sign language interpretation server includes an AAC module that transmits icons to a terminal that transmits an icon use request by storing icons made with expressions tailored to various situations, an AAC module that transmits icons to a connected terminal, and a drawing board that can write or draw text It may include a handwriting module for sharing in real time the writing or drawing written on the paintboard with a terminal that has created a paintbrush by providing the terminal and a connected terminal.

또한, 상기 수어 통역 서버는, 상기 난청인 단말로부터 입력되는 수어에 대해 일정 시간 대비 사용되는 횟수를 계수하거나, 난청인 단말의 요청에 따라 설정된 수어의 일부분이 입력될 시에 상기 설정된 수어에 해당하는 글자로 자동으로 변환하여 건청인 단말로 전송하는 자동 완성 모듈을 포함할 수 있다.In addition, the sign language interpretation server counts the number of times the sign language input from the hearing-impaired terminal is used for a certain time or corresponds to the set sign language when a part of the sign language set according to the request of the hearing-impaired terminal is input. It may include an auto-completion module that automatically converts the text into text and transmits it to the hearing aid terminal.

또한, 상기 수어 통역 서버는, 상기 난청인 단말 또는 건청인 단말의 외국어 번역 요청에 따라 난청인 단말로 인식되는 수어를 외국어로 변환하여 건청인 단말로 전송하거나, 건청인 단말로 입력되는 외국어를 수어로 변환하여 난청인 단말로 전송하는 외국어 번역 모듈을 포함할 수 있다In addition, the sign language interpretation server converts the sign language recognized as the hearing-impaired terminal into a foreign language in response to a foreign language translation request from the hearing-impaired terminal or the hearing-impaired terminal and transmits it to the hearing-impaired terminal, or converts a foreign language input to the hearing-impaired terminal into sign language It may include a foreign language translation module for transmitting to the hearing-impaired terminal

또한, 상기 건청인 단말은, 모션 트래킹을 통해 단말 사용 건청인의 시선을 추적하는 시선 인식 카메라를 구비하며, 상기 수어 통역 서버는, 상기 시선 인식 카메라와 연동되어, 상기 건청인이 상기 난청인 단말로부터 전달된 글자를 인지하지 못한 것으로 판단할 경우, 인지하지 못한 해당 글자에 대해 특별함을 주어 시각적으로 확인이 용이하도록 하는 글자 인식 보조 모듈을 포함할 수 있다.In addition, the hearing-aid terminal includes a gaze recognition camera that tracks the gaze of a hearing-impaired person using the terminal through motion tracking, and the sign language interpretation server is linked with the gaze recognition camera so that the hearing-impaired person is transmitted from the terminal When it is determined that the character has not been recognized, a character recognition auxiliary module may be included to provide a special character to the unrecognized character to facilitate visual confirmation.

본 발명의 실시 예에 따른 수어 통역을 제공하는 양방향 대화 시스템은, 정확도를 높인 수어 통역을 제공하여 실시간으로 대화가 가능하도록 함으로써, 의사소통의 단절을 없애어 취업의 폭을 확대하고 자립율을 높이며 나아가 장애인들의 사회적 지위와 지속적 근로 유도할 수 있다.The two-way conversation system that provides sign language interpretation according to an embodiment of the present invention provides sign language interpretation with increased accuracy to enable real-time conversation, thereby eliminating the interruption of communication, expanding the breadth of employment, and increasing the self-reliance rate. Furthermore, it can induce social status and continuous work of the disabled.

또한, 위에서 언급된 본 발명의 실시 예에 따른 효과는 기재된 내용에만 한정되지 않고, 명세서 및 도면으로부터 예측 가능한 모든 효과를 더 포함할 수 있다. In addition, the above-mentioned effects according to the embodiments of the present invention are not limited to the described content, and may further include all effects predictable from the specification and drawings.

도 1은 본 발명의 실시 예에 따른 수어 통역을 제공하는 양방향 대화 시스템의 구성을 예시한 블록도이다.
도 2는 본 발명의 실시 예에 따른 수어 데이터 셋의 예시도이다.
도 3은 도 1의 양방향 대화 시스템의 일 구성인 난청인 단말의 상세도이다.
도 4는 도 1의 양방향 대화 시스템의 난청인 단말과 건청인 단말을 통한 대화 시 출력되는 인터페이스를 예시한 도면이다.
도 5는 도 1의 양방향 대화 시스템의 일 구성인 건청인 단말의 상세도이다.
도 6은 도 1의 양방향 대화 시스템의 일 구성인 수어 통역 서버의 상세도이다.
도 7은 본 발명의 실시 예에 따른 인공지능 분석 모듈을 통한 특징점 추출 예시도이다.
도 8은 본 발명의 실시 예에 따른 AAC 모듈의 활용을 예시한 도면이다.
도 9는 본 발명의 실시 예에 따른 필담 모듈의 활용을 예시한 도면이다.1 is a block diagram illustrating the configuration of an interactive conversation system that provides sign language interpretation according to an embodiment of the present invention.
2 is an exemplary diagram of a sign language data set according to an embodiment of the present invention.
FIG. 3 is a detailed view of a terminal with hearing loss, which is a component of the interactive conversation system of FIG. 1 .
4 is a diagram illustrating an interface output during a conversation through a hearing-impaired terminal and a hearing-impaired terminal of the interactive conversation system of FIG. 1 .
FIG. 5 is a detailed view of a hearing aid terminal, which is a component of the interactive conversation system of FIG. 1 .
6 is a detailed view of a sign language interpretation server, which is a component of the interactive conversation system of FIG. 1 .
7 is an exemplary diagram of feature point extraction through an artificial intelligence analysis module according to an embodiment of the present invention.
8 is a diagram illustrating the use of an AAC module according to an embodiment of the present invention.
9 is a diagram illustrating the use of a writing module according to an embodiment of the present invention.

이하, 도면을 참조한 본 발명의 설명은 특정한 실시 형태에 대해 한정되지 않으며, 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있다. 또한, 이하에서 설명하는 내용은 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, the description of the present invention with reference to the drawings is not limited to specific embodiments, and various modifications may be made and various embodiments may be provided. In addition, it should be understood that the contents described below include all transformations, equivalents, and substitutes included in the spirit and scope of the present invention.

이하의 설명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용되는 용어로서, 그 자체에 의미가 한정되지 아니하며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.In the following description, terms such as 1st, 2nd, etc. are terms used to describe various components, meanings are not limited thereto, and are used only for the purpose of distinguishing one component from other components.

본 명세서 전체에 걸쳐 사용되는 동일한 참조번호는 동일한 구성요소를 나타낸다.Like reference numbers used throughout this specification refer to like elements.

본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 이하에서 기재되는 "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로 해석되어야 하며, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.As used herein, the singular expression includes the plural expression unless the context clearly dictates otherwise. In addition, terms such as "comprises", "comprises" or "have" described below are intended to designate that the features, numbers, steps, operations, components, parts, or combinations thereof described in the specification exist. It should be construed as not precluding the possibility of addition or existence of one or more other features, numbers, steps, operations, components, parts, or combinations thereof.

또한, 명세서에 기재된 "??부", "??기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In addition, terms such as "unit", "unit", and "module" described in the specification mean a unit that processes at least one function or operation, which is implemented by hardware or software or a combination of hardware and software can be

이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 따른 수어 통역을 제공하는 양방향 대화 시스템을 상세히 설명하기로 한다.Hereinafter, an interactive conversation system for providing sign language interpretation according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시 예에 따른 수어 통역을 제공하는 양방향 대화 시스템의 구성을 예시한 블록도이며, 도 2는 본 발명의 실시 예에 따른 수어 데이터 셋의 예시도이다.1 is a block diagram illustrating the configuration of an interactive conversation system that provides sign language interpretation according to an embodiment of the present invention, and FIG. 2 is an exemplary diagram of a sign language data set according to an embodiment of the present invention.

먼저, 도 1 및 도 2를 참조하면, 본 발명의 실시 예에 따른 수어 통역을 제공하는 양방향 대화 시스템은, 난청인 단말(100), 건청인 단말(200) 및 수어 통역 서버(300)를 포함하여 구성될 수 있다.First, referring to FIGS. 1 and 2 , a two-way conversation system that provides sign language interpretation according to an embodiment of the present invention includes a hearing-impaired terminal 100 , a hearing-impaired terminal 200 , and a sign language interpretation server 300 . can be configured.

구체적으로, 난청인 단말(100)은 난청인이 사용하는 전용 단말로서 카메라(110, 도 3에 도시됨)와 디스플레이(미도시)를 구비하는 단말일 수 있으며, 구비된 카메라(110)를 통해 난청인의 수어를 인식하도록 구성될 수 있다.Specifically, the hearing-impaired terminal 100 is a dedicated terminal used by the hearing-impaired, and may be a terminal having a camera 110 (shown in FIG. 3 ) and a display (not shown), and through the provided camera 110 . It may be configured to recognize the sign language of the deaf person.

또한, 건청인 단말(200)은 건청인이 사용하는 전용 단말로서 입력 장치(210, 도 4에 도시됨)와 디스플레이(미도시)를 구비하는 단말일 수 있으며, 구비된 입력 장치(210)를 통해 건청인으로부터 글자를 입력 받을 수 있다.Also, the hearing aid terminal 200 is a dedicated terminal used by a hearing person, and may be a terminal having an input device 210 (shown in FIG. 4 ) and a display (not shown). You can input text from

여기서, 건청인 단말(200)의 입력 장치(210)는 음성을 인식하는 마이크 등의 음성 인식 장치일 수도 있고, 키보드와 같은 글씨를 입력하는 장치일 수도 있다. 또한, 디스플레이와 연동되는 터치 패드나 펜일 수 있으며, 특정 모션을 인식하여 글씨가 자동으로 써지도록 하는 모션 인식 장치일 수도 있다. 이외에도 입력 장치(210)는 설명되지 아니하였으나 글자를 입력할 수 있는 형태라면 다양한 입력 장치가 사용될 수 있다.Here, the input device 210 of the hearing aid terminal 200 may be a voice recognition device such as a microphone for recognizing a voice, or a device for inputting text such as a keyboard. In addition, it may be a touch pad or pen interlocked with a display, or a motion recognition device that automatically writes text by recognizing a specific motion. In addition, although the input device 210 has not been described, various input devices may be used as long as it is a type capable of inputting characters.

입력 장치(210)를 통해 건청인 단말(200)로부터 입력된 글자는 수어 통역 서버(300)를 거치거나 난청인 단말(100)로 바로 전송될 수 있다. Characters input from the hearing-impaired terminal 200 through the input device 210 may go through the sign language interpretation server 300 or may be directly transmitted to the hearing-impaired terminal 100 .

수어 통역 서버(300)는 난청인 단말(100)과 건청인 단말(200) 사이에서 서로가 이해할 수 있는 인식 형태로 변환 즉, 수어를 글자로 변환시켜 주어 대화가 가능하도록 하는 통역 서버로서, 다수의 수어 데이터가 저장된 수어 데이터 셋(312)을 제공받아 저장할 수 있다.Sign language interpretation server 300 is an interpretation server that enables conversation by converting sign language into letters between the hearing-impaired terminal 100 and the hearing-impaired terminal 200 into a mutually understandable recognition form. A sign language data set 312 in which sign language data is stored may be provided and stored.

이때, 수어 통역 서버(300)는 난청인 단말(100)로부터 인식되는 수어를 전달 받아 상기 수어 데이터 셋(312)에 저장된 수어와 비교 분석하여 해당 글자로 변환 후 건청인 단말(200)로 전송하거나, 건청인 단말(200)로부터 입력 받은 글자는 난청인 단말(100)로 그대로 전송하도록 구성될 수 있다.At this time, the sign language interpretation server 300 receives the sign language recognized from the hearing-impaired terminal 100, compares and analyzes it with the sign language stored in the sign language data set 312, converts it into the corresponding character, and transmits it to the hearing-impaired terminal 200, Characters input from the hearing-impaired terminal 200 may be configured to be transmitted to the hearing-impaired terminal 100 as it is.

즉, 난청인이 난청인 단말(100)로 수어를 입력하여도 건청인 단말(200)로는 글자로 변환하여 전송함으로써, 난청인과 건청인간의 글자를 통해 대화가 수월할 수가 있도록 하는 것이다.That is, even when the hearing-impaired person inputs sign language to the hearing-impaired terminal 100 , it is converted into text and transmitted to the hearing-impaired terminal 200 , so that conversation between the hearing-impaired person and the hearing-impaired person can be facilitated through text.

한편, 수어 통역 서버(300)로 제공되는 수어 데이터 셋(312)의 경우, 도 2에 도시된 바와 같이 다양한 각도에서 단어 또는 문장 단위로 수어를 구현한 수어 영상 데이터를 포함할 수 있으며, 이는 자체적으로 제작되거나 오픈 데이터를 통해 제공되는 CSV 포맷 파일 등을 통해 마련될 수 있으며, 자체적 제작 또는 제공되는 수어 영상 데이터는 모두 수정이 가능하도록 형성될 수 있어, 난청인의 커스터마이징이 가능할 수도 있다.On the other hand, in the case of the sign language data set 312 provided to the sign language interpretation server 300 , as shown in FIG. 2 , sign language image data in which sign language is implemented in units of words or sentences from various angles may be included, which is itself It can be produced through a CSV format file, etc. produced or provided through open data, and all sign language image data produced or provided by itself can be formed so that it can be modified, so customization of the hearing loss may be possible.

도 3은 도 1의 양방향 대화 시스템의 일 구성인 난청인 단말의 상세도이며, 도 4는 도 1의 양방향 대화 시스템의 난청인 단말과 건청인 단말을 통한 대화 시 출력되는 인터페이스를 예시한 도면이고, 도 5는 도 1의 양방향 대화 시스템의 일 구성인 건청인 단말의 상세도이다.3 is a detailed view of a terminal for the hearing loss that is a component of the interactive conversation system of FIG. 1, and FIG. 4 is a diagram illustrating an interface output during a conversation through a terminal with a hearing loss and a hearing loss terminal of the interactive conversation system of FIG. 1; FIG. 5 is a detailed view of a hearing aid terminal, which is a component of the interactive conversation system of FIG. 1 .

또한, 도 6은 도 1의 양방향 대화 시스템의 일 구성인 수어 통역 서버의 상세도이며, 도 7은 본 발명의 실시 예에 따른 인공지능 분석 모듈을 통한 특징점 추출 예시도이고, 도 8은 본 발명의 실시 예에 따른 AAC 모듈의 활용을 예시한 도면이며, 도 9는 본 발명의 실시 예에 따른 필담 모듈의 활용을 예시한 도면이다.6 is a detailed view of a sign language interpretation server, which is a component of the interactive conversation system of FIG. 1 , FIG. 7 is an exemplary diagram of extracting key points through an artificial intelligence analysis module according to an embodiment of the present invention, and FIG. 8 is the present invention is a diagram illustrating the use of the AAC module according to an embodiment of the present invention, and FIG. 9 is a diagram illustrating the use of the writing module according to an embodiment of the present invention.

도 3 내지 도 9를 참조하여 본 발명의 실시 예에 따른 수어 통역을 제공하는 양방향 대화 시스템을 보다 구체적으로 살펴보면, 난청인 단말(100)은 수어 통역 요청 모듈(120), 영상 입력 모듈(130), 영상 출력 모듈(140), 메시지 출력 모듈(150)을 포함하여 구성될 수 있고, 건청인 단말(200)은 수어 통역 요청 모듈(220), 입력 모듈(230), 영상 출력 모듈(240) 및 메시지 출력 모듈(250)을 포함하여 구성될 수 있으며, 수어 통역 서버(300)는 수어 데이터 셋(312)이 저장된 수어 인식 모듈(310)을 포함하여 구성될 수 있다.Referring to the two-way conversation system for providing sign language interpretation according to an embodiment of the present invention in more detail with reference to FIGS. 3 to 9 , the hearing-impaired terminal 100 includes a sign language interpretation request module 120 and an image input module 130 . , an image output module 140 , and a message output module 150 , and the hearing aid terminal 200 includes a sign language interpretation request module 220 , an input module 230 , an image output module 240 and a message The output module 250 may be included, and the sign language interpretation server 300 may include a sign language recognition module 310 in which the sign language data set 312 is stored.

여기서, 난청인 단말(100)의 수어 통역 요청 모듈(120)은 건청인과 대화를 요청하는 모듈로서, 요청 시 수어 통역 서버(300)를 통해 건청인 단말(200)로 페어링을 요청하고, 건청인 단말(200)의 요청 수락 시 난청인 단말(100)은 건청인 단말(200)과 연결되어 대화를 수행하도록 형성될 수 있다.Here, the sign language interpretation request module 120 of the terminal 100 for the hearing-impaired is a module that requests a conversation with a hearing person. Upon request, the sign language interpretation server 300 requests pairing to the listener terminal 200 through the sign language interpretation server 300, and the hearing person terminal ( When the request of 200) is accepted, the hearing-impaired terminal 100 may be configured to be connected to the hearing-impaired terminal 200 to conduct a conversation.

영상 입력 모듈(130)은 자신의 수어를 입력하는 모듈로서, 카메라(110)와 연동되어 작동 시 카메라(110)를 통해 수어를 촬영할 수 있고, 촬영되는 수어는 영상 입력 모듈(130)로 입력되어 인식될 수 있다. The image input module 130 is a module for inputting its own sign language, and when it is operated in conjunction with the camera 110, sign language can be photographed through the camera 110, and the photographed sign language is input to the image input module 130, can be recognized

이때, 영상 입력 모듈(130)은 영상 출력 모듈(140)과도 연계되어 영상 입력과 동시에 영상이 디스플레이로 출력되도록 할 수 있으며, 난청인은 영상이 출력되는 자신의 수어 모습을 직접 보면서 수어 영상을 입력할 수 있다.At this time, the image input module 130 may also be linked with the image output module 140 so that an image is output to the display at the same time as the image is input, and the person with hearing loss inputs a sign language image while directly watching his/her sign language to which the image is output. can do.

메시지 출력 모듈(150)은 건청인 단말(200)로부터 입력된 글자가 그대로 출력되는 모듈로서, 바람직하게는 한 인터페이스 상에서 영상 출력 모듈(140)과 함께 출력되도록 할 수 있다.The message output module 150 is a module in which characters input from the hearing and hearing terminal 200 are output as they are, and may be preferably output together with the image output module 140 on one interface.

이를 통해, 도 4에 도시된 바와 같이 난청인은 수어 영상을 입력 하여 건청인 단말(200)로 전송함과 동시에 입력되는 자신의 수어 영상을 확인할 수 있고, 이와 동시에 메시지 출력 모듈(150)로 출력되는 건청인의 입력 글자를 동시에 확인할 수 있다.Through this, as shown in FIG. 4, the hearing-impaired person inputs a sign language image and transmits it to the hearing-impairing terminal 200, and can check his/her sign language image input at the same time, and at the same time, the sign language image is output to the message output module 150 You can check the input letters of the hearing person at the same time.

건청인 단말(200)의 수어 통역 요청 모듈(220)은 난청인과 대화를 요청하는 모듈로서, 요청 시 수어 통역 서버(300)를 통해 난청인 단말(100)로 페어링을 요청하고, 난청인 단말(100)의 요청 수락 시 건청인 단말(200)은 난청인 단말(100)과 연결되어 대화를 수행하도록 형성될 수 있다.The sign language interpretation request module 220 of the hearing-impaired terminal 200 is a module that requests a conversation with the hearing-impaired, and requests pairing to the hearing-impaired terminal 100 through the sign language interpretation server 300 upon request, and When the request of 100) is accepted, the hearing-impaired terminal 200 may be configured to be connected to the hearing-impaired terminal 100 to conduct a conversation.

입력 모듈(230)은 상술한 입력 장치(210)와 연계되는 것으로, 입력 장치(210)를 통해 글자를 작성 시 입력 모듈(230)로 입력되어 글자가 인식될 수 있다. 이때, 입력 모듈(230)로 입력된 글자는 메시지 출력 모듈(250)로 출력되어 건청인이 확인할 수 있음과 동시에 난청인 단말(100)의 메시지 출력 모듈(150)로도 출력되어 난청인도 확인할 수 있도록 할 수 있다.The input module 230 is linked to the above-described input device 210 , and when writing a character through the input device 210 , it is input to the input module 230 and the character can be recognized. At this time, the text input to the input module 230 is output to the message output module 250 so that the hearing-impaired can check it, and at the same time, it is also output to the message output module 150 of the terminal 100 for the hearing-impaired so that the hearing-impaired person can also check it. can

건청인 단말(200)의 영상 출력 모듈(240)은 난청인 단말(100)의 영상 입력 모듈(130)로 인식되는 수어 영상이 전달되어 출력되는 것으로, 메시지 출력 모듈(250)로의 글자 출력과 함께 출력될 수 있다.The image output module 240 of the hard-of-hearing terminal 200 transmits and outputs a sign language image recognized by the image input module 130 of the terminal 100 for the hearing-impaired, and outputs it together with the text output to the message output module 250 . can be

즉, 난청인 단말(100)로부터 수어 영상이 입력되면 건청인 단말(200)의 영상 출력 모듈(240)과 메시지 출력 모듈(250)로의 출력이 함께 수행되어 해당 수어가 어떠한 글자를 의미하는 것인지 용이하게 확인할 수 있다.That is, when a sign language image is input from the terminal 100 for the hearing-impaired, the output to the image output module 240 and the message output module 250 of the hard-of-hearing terminal 200 is performed together, so that it is easy to determine which character the sign language means. can be checked

이를 통해, 건청인은 난청인과 대화를 하면서 알지 못했던 수어를 배우거나 이해할 수 있고, 난청인과의 이질감을 해소하며 보다 친밀감을 높일 수도 있다.Through this, the hearing-impaired person can learn or understand sign language that they did not know while having a conversation with the hearing-impaired person, resolve the sense of alienation with the hearing-impaired person, and increase intimacy.

한편, 건청인 단말(200)은 영상 저장 모듈(260)을 더 포함할 수도 있다. 영상 저장 모듈(260)은 영상 출력 모듈(240)과 연계되어 난청인 단말(100)로부터 입력되는 수어 영상의 일부분 또는 전체를 저장할 수 있고, 이를 재생하도록 마련될 수가 있다.Meanwhile, the hearing aid terminal 200 may further include an image storage module 260 . The image storage module 260 may be connected to the image output module 240 to store a part or all of a sign language image input from the terminal 100 for the hearing loss, and may be provided to reproduce it.

이를 통해, 그 당시 이해하지 못했던 수어를 용이하게 학습할 수가 있다.Through this, you can easily learn sign language that you did not understand at the time.

또한, 건청인 단말(200)은 수어 링크 접속 모듈(270)을 더 포함할 수도 있다. 수어 링크 접속 모듈(270)은 메시지 출력 모듈(250)로 출력된 글자에 대해 수어를 영상으로 확인할 수 있는 링크를 제공하여, 링크 클릭을 통해 해당 글자에 대한 수어를 확인하며 공부하도록 할 수 있다.In addition, the hearing aid terminal 200 may further include a sign language link access module 270 . The sign language link connection module 270 provides a link for checking the sign language as an image for the text output to the message output module 250, so that the sign language for the corresponding letter can be checked and studied by clicking the link.

이때, 링크는 수어 통역 서버(300)로 제공되는 수어 데이터 셋(312)에 저장된 동영상을 확인하도록 연결되거나, 다른 특정한 수어 데이터베이스에 접속을 연결하여 동영상을 확인하도록 할 수 있다.In this case, the link may be connected to check the video stored in the sign language data set 312 provided to the sign language interpretation server 300 , or connected to another specific sign language database to check the video.

수어 통역 서버(300)는 수어 데이터 셋(312)이 저장된 수어 인식 모듈(310)을 포함하여 구성될 수 있다.The sign language interpretation server 300 may be configured to include a sign language recognition module 310 in which a sign language data set 312 is stored.

여기서, 수어 인식 모듈(310)은 난청인 단말(100)의 영상 입력 모듈(130)로부터 인식된 수어 영상을 전달 받고, 해당 수어 영상을 수어 데이터 셋(312)에 포함된 수어 영상들과 비교 매칭하여 매칭된 영상에 해당되는 단어나 문장의 글자로 전환하여 건청인 단말(200)로 전송할 수 있다.Here, the sign language recognition module 310 receives the recognized sign language image from the image input module 130 of the terminal 100 for the hearing loss, and compares and matches the sign language image with sign language images included in the sign language data set 312 . Thus, it can be converted into words or sentences corresponding to the matched image and transmitted to the hearing aid terminal 200 .

이를 통해, 난청인은 자신들의 소통 수단인 수어를 사용하여도 건청인과의 대화가 원활할 수가 있다.Through this, the hearing-impaired can have a smooth conversation with the hearing-impaired even if they use sign language, which is their means of communication.

한편, 수어 인식 모듈(310)은 인공지능 분석 모듈(314)을 더 포함하여 구성될 수도 있다. Meanwhile, the sign language recognition module 310 may further include an artificial intelligence analysis module 314 .

인공지능 분석 모듈(314)은 수어 데이터 셋(312)을 통해 1차적으로 분석된 수어를 2차 분석 하기 위한 수단으로, 수어 데이터 셋(312)에서 매칭되지 않은 단어나 문장 등을 찾아내거나 수어 데이터 셋(312)에서 매칭된 단어나 문장을 검증하여 보다 정밀한 결과를 나타내도록 할 수 있다.The artificial intelligence analysis module 314 is a means for secondary analysis of the sign language primarily analyzed through the sign language data set 312, and finds unmatched words or sentences in the sign language data set 312 or sign language data A more precise result may be displayed by verifying the matched word or sentence in the set 312 .

보다 구체적으로, 인공지능 분석 모듈(314)은 카메라(110)를 통한 난청인의 수어 영상 입력 시에 양방향 LSTM(Long short-term memory) 기반의 머신러닝을 통해 도 7에 도시된 바와 같이 수어를 사용하는 난청인의 특징점을 추출하고, 특징점을 바탕으로 수어 데이터베이스로부터 수어를 분석하도록 구성될 수 있다.More specifically, the artificial intelligence analysis module 314 analyzes sign language as shown in FIG. 7 through interactive long short-term memory (LSTM)-based machine learning when a sign language image of a person with hearing loss is input through the camera 110 . It may be configured to extract the feature points of the person with hearing loss and analyze sign language from a sign language database based on the feature points.

여기서 양방향 LSTM은 음성이나 문자 등 순차적으로 등장하는 데이터 처리에 매우 유용한 순환 인공 신경망(RNN, Recurrent Neural Networks)의 장기 의존성 문제와 역전파시 일어나는 Gradient Vanishing 문제를 해결한 구조로서, RNN의 히든 state에 cell-state를 추가한 구조이다.Here, the bidirectional LSTM is a structure that solves the long-term dependency problem of Recurrent Neural Networks (RNN) and the gradient vanishing problem that occurs during backpropagation, which is very useful for processing data that appears sequentially such as speech or text. This is a structure with -state added.

이 때문에, state가 멀더라도 gradient는 비교적 잘 전파되는 장점을 지니며, 문장 내 단어 위치에 따른 의미를 처리하는 데 효과적일 수 있어 수어의 분석이 보다 정확할 수가 있다.For this reason, even if the state is far, the gradient has the advantage of propagating relatively well, and it can be effective in processing the meaning according to the position of the word in the sentence, so the analysis of sign language can be more accurate.

이러한 인공지능 분석 모듈(314)은 영상 입력 모듈(130)로 수어 영상을 입력 받을 때에 동시에 촬영되는 난청인으로부터 특징점을 추출하여 수어를 분석하게 되는데, 먼저는 수어 데이터 셋(312)에서 해당 수어 영상에 대응되는 단어나 문장 등이 발견되지 않을 시에 수어 메타 데이터베이스로부터 대응되는 수어를 찾아내 해당 글자로 변환하도록 도울 수 있다.This artificial intelligence analysis module 314 analyzes sign language by extracting feature points from the hearing-impaired person who is photographed at the same time when a sign language image is input to the image input module 130. First, the sign language image is obtained from the sign language data set 312. When a word or sentence corresponding to is not found, it is possible to find the corresponding sign language from the sign language meta database and help convert it into the corresponding letter.

한편으론, 수어 데이터 셋(312)에서 해당 수어 영상에 대응되는 단어나 문장 등이 발견될 경우에도 수어 메타 데이터베이스로부터 대응되는 수어를 찾아내어 그에 맞는 글자를 인지 하고, 이를 수어 데이터 셋(312)에서 찾은 글자와 대조하여 검증함으로써, 보다 정확한 단어로 변환되도록 할 수도 있다.On the other hand, even when a word or sentence corresponding to the sign language image is found in the sign language data set 312, the sign language corresponding to the sign language is found from the meta-database, and the corresponding letter is recognized, and this is used in the sign language data set 312. By verifying against the found letter, it can be converted into a more accurate word.

이를 통해, 수어 통역 서버(300)는 입력되는 수어에 보다 정확한 통역이 가능할 수 있으며, 수어 번역의 실패 가능성을 현저히 낮출 수 있다.Through this, the sign language interpretation server 300 may more accurately interpret the input sign language, and may significantly reduce the possibility of failure of sign language translation.

아울러, 인공지능 분석 모듈(314)은 수어 데이터 셋(312)에 저장되지 않은 수어 데이터를 발견 시에 수어 데이터 셋(312)으로 해당 자료를 저장할 수 있도록 알림을 수행할 수도 있다. 이를 통해, 수어 데이터 셋(312)의 자료도 보강할 수 있다.In addition, when the AI analysis module 314 finds sign language data that is not stored in the sign language data set 312 , it may perform a notification so that the corresponding data can be stored in the sign language data set 312 . Through this, the data of the sign language data set 312 can also be reinforced.

한편, 수어 통역 서버(300)는 AAC 모듈(320) 및 필담 모듈(330)을 더 포함하여 구성될 수도 있다.Meanwhile, the sign language interpretation server 300 may be configured to further include an AAC module 320 and a written conversation module 330 .

구체적으로, AAC 모듈(320)은 여러 상황에 맞춘 표현으로 제작된 아이콘이 저장될 수 있다. 예컨대, 도 8에 도시된 바와 같이 업무, 회의, 교육, 응급, 복지 등의 상황에 맞추어 업무 상황에서는 좋아요, 싫어요, 도와주세요, 몰라요 등의 아이콘이 저장되는 것이다.Specifically, the AAC module 320 may store icons produced with expressions tailored to various situations. For example, as shown in FIG. 8 , icons such as like, dislike, help, and do not know are stored in a work situation according to situations such as work, meeting, education, emergency, welfare, and the like.

여기서, 아이콘은 추가하고 삭제하는 것이 가능하여, 사용자의 사용 환경에 따라 맞춤형 커스터마이징을 수행할 수 있다.Here, it is possible to add and delete icons, so that customized customization can be performed according to the user's usage environment.

또한, AAC 모듈(320)은 난청인 단말(100)과 건청인 단말(200)을 통한 대화 시에 난청인 단말(100)이나 건청인 단말(200)로부터 아이콘 사용 요청이 있을 경우, 해당 사용 요청을 전송한 단말은 물론 연결된 단말로 동시에 아이콘 전송을 수행할 수 있다.In addition, the AAC module 320 transmits a corresponding use request when there is a request to use the icon from the hearing-impaired terminal 100 or the hearing-impaired terminal 200 during a conversation through the hearing-impaired terminal 100 and the hearing-impaired terminal 200 . Icon transmission may be performed simultaneously to one terminal as well as to a connected terminal.

즉, 난청인 단말(100)로부터 아이콘 사용 요청이 있을 경우 AAC 모듈(320)은 해당 사용 요청을 전송한 난청인 단말(100)과 대화를 수행 중인 건청인 단말(200)로 동시에 아이콘을 전송하여 각 메시지 출력 모듈(150, 250)이나 디스플레이 일측에 출력시킬 수 있다.That is, when there is a request to use the icon from the terminal 100 for the hearing-impaired, the AAC module 320 simultaneously transmits the icon to the terminal 200 for the hearing-impaired person who is having a conversation with the terminal 100 for the hearing loss that has transmitted the use request, The message output module 150 or 250 may be output to one side of the display.

필담 모듈(330)은 글씨를 기재하거나 그림을 그릴 수 있는 그림판을 난청인 단말(100)과 건청인 단말(200)로 각각 제공하고, 어느 한 단말로부터 그림판에 글씨나 그림이 작성되면 해당 그림을 다른 단말로 실시간 공유하도록 하는 모듈일 수 있다.The writing module 330 provides a painting board capable of writing text or drawing to the hearing-impaired terminal 100 and the hearing-impaired terminal 200, respectively. It may be a module for sharing in real time with a terminal.

즉, 도 9에 도시된 바와 같이 건청인 단말(200)로 제공되는 그림판에 글씨를 적게 되면 난청인 단말(100)로 똑같이 공유되어 확인할 수 있도록 할 수 있는 것이다.That is, as shown in FIG. 9 , when writing is written on the drawing board provided to the hearing-impaired terminal 200 , it can be shared and confirmed by the hearing-impaired terminal 100 .

이때, 필담 모듈(330)은 배경이나 글자 색상 등이 변경 가능하도록 형성되며, 그림이나 글씨를 실시간으로 공유하는 관계로 일 단말이 작성한 그림이나 글씨에 타 단말이 덧붙여 작성하거나 지우는 등 자유로운 수정이 가능할 수 있다.At this time, the writing module 330 is formed so that the background or text color can be changed, and since pictures or text are shared in real time, it is possible to freely modify, such as writing or erasing a picture or text written by one terminal by adding it to another terminal. can

상기와 같은 AAC 모듈(320) 또는 필담 모듈(330)을 통해 난청인과 건청인은 비교적 간단한 대화나 전달사항은 수어의 번역 없이도 빠르게 표현하고 대화하도록 할 수 있다.Through the AAC module 320 or the writing module 330 as described above, the hearing-impaired and the hearing-impaired can quickly express and communicate relatively simple conversations or messages without sign language translation.

또한, 수어 통역 서버(300)는 특정의 설정된 수어의 해당하는 일부분이 입력될 시에 해당 수어로 자동 인식하여 대응되는 글자로 자동으로 변환하여 주는 자동 완성 모듈(340)을 더 포함하여 구성될 수도 있다.In addition, the sign language interpretation server 300 may be configured to further include an auto-complete module 340 that automatically recognizes a corresponding sign language and automatically converts it into a corresponding character when a corresponding part of a specific set sign language is input. have.

구체적으로, 자동 완성 모듈(340)은 특정의 수어에 대해 일부 수어 형태만 입력하여도 자동으로 해당 글씨로 완성시켜주는 자동 완성 기능을 자동 또는 수동으로 설정을 하도록 구성될 수 있다.Specifically, the auto-completion module 340 may be configured to automatically or manually set an auto-completion function that automatically completes the corresponding letters even when only some sign language forms are input for a specific sign language.

즉, '맛있다'라는 수어에 대해 자동 완성 모듈(340)을 통해 자동 완성 기능을 설정해 놓으면 '맛있다'라는 수어의 한획 또는 두획 등 판단이 될 수 있는 획을 표기하면 '맛있다'라는 글자로 바로 변환하여 건청인 단말(200)로 보다 빠르게 전송할 수 있는 것이다.That is, if the auto-completion function is set for the sign language 'delicious' through the auto-completion module 340, if a stroke that can be judged, such as one or two strokes of the sign language 'delicious', is immediately converted into the word 'delicious'. Thus, it can be transmitted to the hearing aid terminal 200 more quickly.

여기서, 이러한 자동 완성 기능의 자동 설정은 난청인 단말(100)로부터 자주 입력되는 수어 즉, 일정 시간 대비 사용되는 횟수를 계수하여 사용 빈도수가 높은 수어일 경우에 자동으로 설정하는 것으로, 일정 시간 대비 사용 빈도수가 높은 것으로 확인되면 난청인 단말(100)로 자동 완성 기능 설정 여부를 전송한 후에 돌아오는 답변에 따라 자동으로 설정을 수행할 수 있다.Here, the automatic setting of the auto-complete function is to automatically set sign language frequently input from the terminal 100 for the hearing loss, that is, to count the number of times used for a certain time, and to set automatically when the sign language has a high frequency of use. When it is confirmed that the frequency is high, after transmitting whether the auto-complete function is set to the terminal 100 for the hearing loss, the setting may be performed automatically according to the answer returned.

또한, 자동 완성 기능의 수동 설정은 난청인 단말(100)의 요청에 따른 것으로, 난청인이 자주 사용하는 수어가 있을 경우 수동 설정을 통해 자동 완성 기능이 작동되도록 할 수 있다.In addition, the manual setting of the automatic completion function is at the request of the terminal 100 for the hearing impaired, and when there is a sign language frequently used by the hearing impaired, the automatic completion function may be operated through manual setting.

이를 통해, 본 발명은 자주 사용하는 수어를 일일이 재차 입력하지 않아도 빠르게 단어로 변환하여 전송함으로써 대화 속도를 향상시킬 수가 있다.Through this, the present invention can improve the speed of conversation by quickly converting and transmitting frequently used sign language without having to re-enter the frequently used sign language.

또한, 수어 통역 서버(300)는 난청인 단말(100)로부터 입력되는 수어를 외국어로 변환하거나, 건청인 단말(200)로부터 외국어로 입력된 글자를 자국어로 변환하여 전송하는 외국어 번역 모듈(350)을 더 포함할 수 있다.In addition, the sign language interpretation server 300 converts the sign language input from the hearing-impaired terminal 100 into a foreign language, or converts the letters input from the hearing-impaired terminal 200 into a foreign language into the native language and transmits the foreign language translation module 350. may include more.

구체적으로, 외국어 번역 모듈(350)은 난청인 단말(100)이나 건청인 단말(200)에 각각 더 포함될 수 있는데, 이때 난청인 단말(100)이 외국어 번역 모듈(350)을 통해 외국어 번역 요청을 하고, 수어를 입력하게 되면 먼저 해당 영상에 대해 대응되는 글자를 획득한 후, 해당 글자를 다시 변환을 요청하는 외국어로 번역하여 건청인 단말(200)로 전송할 수 있다.Specifically, the foreign language translation module 350 may be further included in the hearing-impaired terminal 100 or the hearing-impaired terminal 200, respectively. At this time, the hearing-impaired terminal 100 requests a foreign language translation through the foreign language translation module 350, , when a sign language is input, a character corresponding to the image is first obtained, and then the character is translated into a foreign language requesting conversion again and transmitted to the terminal 200 .

또한, 반대로 건청인 단말(200)이 외국어 번역 모듈(350)을 통해 번역 요청을 수행하고, 외국어로 글자를 입력 하게 되면 그 글자는 난청인이 이해할 수 있도록 자국어로 번역되어 난청인 단말(100)의 메시지 출력 모듈(150, 250)로 출력될 수 있다.In addition, on the contrary, when the hearing-impaired terminal 200 performs a translation request through the foreign language translation module 350 and inputs a letter in a foreign language, the letter is translated into the native language so that the hearing-impaired person can understand it. It may be output to the message output modules 150 and 250 .

이를 통해, 난청인은 외국인과 대화도 가능할 수 있고, 영어로 대화해야 하는 부분에 있어 어려움을 겪지 않을 수 있다.Through this, the hearing-impaired person may be able to communicate with foreigners, and may not experience difficulties in the part where they have to communicate in English.

한편, 외국어 번역 모듈(350)은 외국어 단어 메타 데이터가 저장되어 자체적으로 외국어 번역을 수행할 수도 있으나, 바람직하게는 외국어 번역 엔진과 연동되어 해당 외국어 번역 엔진을 통해 번역을 수행함으로써, 데이터량을 최소화 하는 범위 내에서 번역 수행이 가능할 수 있다.On the other hand, the foreign language translation module 350 may perform foreign language translation by itself by storing foreign language word metadata, but preferably by interworking with the foreign language translation engine and performing the translation through the foreign language translation engine, the amount of data is minimized It may be possible to perform translation within the scope of

아울러, 수어 통역 서버(300)는 건청인이 난청인 단말(100)로부터 전달된 글자를 놓치지 않고 인식하도록 돕는 글자 인식 보조 모듈(360)을 더 포함하여 구성될 수도 있다.In addition, the sign language interpretation server 300 may further include a character recognition auxiliary module 360 that helps a hearing person to recognize the characters transmitted from the hearing-impaired terminal 100 without missing them.

이를 위해, 먼저 건청인 단말(200)에는 모션 트래킹을 통해 건청인 단말(200)을 사용하는 건청인의 시선을 추적하는 시선 인식 카메라(미도시)를 구비할 수 있다. 또한, 글자 인식 보조 모듈(360)은 시선 인식 카메라와 연동될 수 있다.To this end, first, the hearing aid terminal 200 may be provided with a gaze recognition camera (not shown) that tracks the gaze of a hearing person who uses the hearing aid terminal 200 through motion tracking. Also, the character recognition auxiliary module 360 may be linked with a gaze recognition camera.

여기서, 난청인 단말(100)로부터 입력된 수어가 번역되어 건청인 단말(200)로 전송 시에는 상기 시선 인식 카메라가 실시간으로 건청인의 시선을 추적하게 되는데, 이때, 건청인의 시선이 난청인 단말(100)로부터 전달된 글자를 일정 시간 동안 인지하지 못한 것으로 판단할 경우, 인지하지 못한 해당 글자에 대해 특별함을 주어 시각적으로 확인이 용이하도록 할 수 있다.Here, when the sign language input from the terminal 100 for the hearing-impaired is translated and transmitted to the terminal 200 for the hearing-impaired, the gaze recognition camera tracks the gaze of the hearing-impaired person in real time. At this time, the gaze of the hearing-impaired terminal 100 ), if it is determined that the character has not been recognized for a certain period of time, the unrecognized character can be given specialness to make it easier to visually check.

예컨대, 난청인 단말(100)로부터 전달된 글자에 대해 건청인의 시선이 설정된 시간만큼 머무르지 않으면, 인지하지 못한 해당 글자를 확장시키거나 해당 글자의 색을 바꾸는 등 특별함을 더하여 보다 용이하게 인식하도록 할 수 있다.For example, if the sight of the hearing-impaired person does not stay for a set amount of time on the letters transmitted from the terminal 100 for the hearing-impaired, the unrecognized letters are expanded or the color of the letters is changed to make them easier to recognize. can do.

이를 통해, 실수로 인한 난청인과 건청인의 대화 단절을 방지하며, 의사가 명확히 전달되도록 할 수 있다. In this way, it is possible to prevent accidental interruption of conversation between the hearing-impaired and the hearing-impaired, and to ensure that the intention is clearly communicated.

이상으로 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고 다른 구체적인 형태로 실시할 수 있다는 것을 이해할 수 있을 것이다. 따라서 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적이 아닌 것이다.Although the embodiments of the present invention have been described above with reference to the accompanying drawings, those of ordinary skill in the art to which the present invention pertains can practice the present invention in other specific forms without changing the technical spirit or essential features of the present invention. you will be able to understand Accordingly, the embodiments described above are illustrative in all respects and not restrictive.

100 : 난청인 단말
110 : 카메라
120 : 수어 통역 요청 모듈
130 : 영상 입력 모듈
140 : 영상 출력 모듈
150 : 메시지 출력 모듈
200 : 건청인 단말
210 : 입력 장치
220 : 수어 통역 요청 모듈
230 : 입력 모듈
240 : 영상 출력 모듈
250 : 메시지 출력 모듈
260 : 영상 저장 모듈
270 : 링크 접속 모듈
300 : 수어 통역 서버
310 : 수어 인식 모듈
312 : 수어 데이터 셋
314 : 인공지능 분석 모듈
320 : AAC 모듈
330 : 필담 모듈
340 : 자동 완성 모듈
350 : 외국어 번역 모듈
360 : 글자 인식 보조 모듈100: terminal for the hearing loss
110: camera
120: sign language interpretation request module
130: video input module
140: video output module
150: message output module
200: Hearing person terminal
210: input device
220: sign language interpretation request module
230: input module
240: video output module
250: message output module
260: image storage module
270: link connection module
300: sign language interpretation server
310: sign language recognition module
312: sign language data set
314: artificial intelligence analysis module
320: AAC module
330: writing module
340: autocomplete module
350: foreign language translation module
360: character recognition auxiliary module

Claims (6)

카메라와 디스플레이를 구비하며, 수어를 인식하는 난청인 단말;
입력 장치와 디스플레이를 구비하며, 글자를 입력 받는 건청인 단말 및
다수의 수어 데이터가 저장된 수어 데이터 셋을 제공받으며 상기 난청인 단말 및 건청인 단말과 연동되어, 난청인 단말로부터 수어가 인식될 경우 기 저장된 수어와 비교 분석하여 해당 글자로 변환 후 건청인 단말로 전송하는 수어 통역 서버를 포함하고,
상기 건청인 단말은,
모션 트래킹을 통해 단말 사용 건청인의 시선을 추적하는 시선 인식 카메라를 구비하며,
상기 수어 통역 서버는,
상기 시선 인식 카메라와 연동되어, 상기 건청인이 상기 난청인 단말로부터 전달된 글자를 인지하지 못한 것으로 판단할 경우, 인지하지 못한 해당 글자에 대해 특별함을 주어 시각적으로 확인이 용이하도록 하는 글자 인식 보조 모듈을 포함하는, 수어 통역을 제공하는 양방향 대화 시스템.
a terminal having a camera and a display and recognizing sign language;
A terminal having an input device and a display and receiving text input; and
Sign language data set in which a plurality of sign language data is stored is provided, and is linked to the terminal for the hearing-impaired and the hearing-impaired terminal. including an interpretation server;
The hearing person terminal,
Equipped with a gaze recognition camera that tracks the gaze of the hearing person using the terminal through motion tracking,
The sign language interpretation server,
A character recognition auxiliary module that is linked with the gaze recognition camera to provide a special character to the unrecognized character for easy visual confirmation when it is determined that the hearing person did not recognize the character transmitted from the terminal for the hearing-impaired A two-way conversation system that provides sign language interpretation, including.
 제 1 항에 있어서,
상기 수어 통역 서버는,
양방향 LSTM(Long short-term memory) 기반의 머신러닝을 통해 상기 수어를 사용하는 난청인의 특징점을 추출하고, 상기 특징점을 바탕으로 수어 데이터베이스로부터 수어를 분석하는 인공지능 분석 모듈을 포함하며,
상기 수어 데이터 셋을 통해 1차적으로 분석된 수어를 상기 인공지능 분석 모듈을 통해 2차적으로 분석하는 것을 특징으로 하는, 수어 통역을 제공하는 양방향 대화 시스템.
The method of claim 1,
The sign language interpretation server,
An artificial intelligence analysis module that extracts the feature points of the deaf person using the sign language through bidirectional long short-term memory (LSTM)-based machine learning, and analyzes sign language from a sign language database based on the feature points,
A two-way conversation system that provides sign language interpretation, characterized in that the sign language analyzed primarily through the sign language data set is secondarily analyzed through the artificial intelligence analysis module.
 제 1 항에 있어서,
상기 수어 통역 서버는,
여러 상황에 맞춘 표현으로 제작된 아이콘이 저장되어 아이콘 사용 요청을 전송한 단말과, 연결된 단말로 아이콘 전송을 수행하는 AAC 모듈 및
글씨를 기재하거나 그림을 그릴 수 있는 그림판을 제공하여 그림판 작성을 수행한 단말과, 연결된 단말로 그림판에 작성되는 글씨 또는 그림을 실시간으로 공유하도록 하는 필담 모듈을 포함하는, 수어 통역을 제공하는 양방향 대화 시스템.
The method of claim 1,
The sign language interpretation server,
An AAC module that stores icons made with expressions tailored to various situations and transmits a request to use the icon, an AAC module that transmits icons to a connected terminal, and
A two-way conversation that provides sign language interpretation, including a terminal that created a painting by providing a painting board capable of writing text or drawing, and a handwriting module that allows a connected terminal to share the text or picture written on the painting board in real time system.
 제 1 항에 있어서,
상기 수어 통역 서버는,
상기 난청인 단말로부터 입력되는 수어에 대해 일정 시간 대비 사용되는 횟수를 계수하거나, 난청인 단말의 요청에 따라 설정된 수어의 일부분이 입력될 시에 상기 설정된 수어에 해당하는 글자로 자동으로 변환하여 건청인 단말로 전송하는 자동 완성 모듈을 포함하는, 수어 통역을 제공하는 양방향 대화 시스템.
The method of claim 1,
The sign language interpretation server,
The number of times the sign language input from the terminal for the hearing loss is used for a certain time is counted, or when a part of the sign language set according to the request of the terminal for the hearing loss is input, it is automatically converted into characters corresponding to the set sign language, and the terminal is hearing-impaired. An interactive conversation system that provides sign language interpretation, including an autocomplete module that sends
 제 1 항에 있어서,
상기 수어 통역 서버는,
상기 난청인 단말 또는 건청인 단말의 외국어 번역 요청에 따라 난청인 단말로 인식되는 수어를 외국어로 변환하여 건청인 단말로 전송하거나, 건청인 단말로 입력되는 외국어를 수어로 변환하여 난청인 단말로 전송하는 외국어 번역 모듈을 포함하는, 수어 통역을 제공하는 양방향 대화 시스템.
The method of claim 1,
The sign language interpretation server,
In response to a foreign language translation request from the hearing-impaired terminal or the hearing-impaired terminal, the sign language recognized as the hearing-impaired terminal is converted into a foreign language and transmitted to the hearing-impaired terminal, or a foreign language inputted to the hearing-impaired terminal is converted into sign language and transmitted to the hearing-impaired terminal. An interactive conversational system that provides sign language interpretation, including a module.
 삭제delete
KR1020200129558A 2020-10-07 2020-10-07 Two-way conversation system that provides sign language interpretation KR102408941B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200129558A KR102408941B1 (en) 2020-10-07 2020-10-07 Two-way conversation system that provides sign language interpretation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200129558A KR102408941B1 (en) 2020-10-07 2020-10-07 Two-way conversation system that provides sign language interpretation

Publications (2)

Publication Number Publication Date
KR20220046303A KR20220046303A (en) 2022-04-14
KR102408941B1 true KR102408941B1 (en) 2022-06-14

Family

ID=81211323

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200129558A KR102408941B1 (en) 2020-10-07 2020-10-07 Two-way conversation system that provides sign language interpretation

Country Status (1)

Country Link
KR (1) KR102408941B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102644927B1 (en) 2023-10-10 2024-03-06 한규범 Multi-directional online communication system providing sign language interpretation services

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015528120A (en) 2012-05-09 2015-09-24 インテル コーポレイション Selective enhancement of parts of the display based on eye tracking

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101542130B1 (en) * 2014-01-21 2015-08-06 박삼기 Finger-language translation providing system for deaf person
KR101777807B1 (en) * 2015-03-12 2017-09-12 주식회사 디지털스케치 Sign language translator, system and method
KR101830908B1 (en) * 2017-08-08 2018-02-21 박현주 Smart glass system for hearing-impaired communication
KR102115551B1 (en) * 2019-08-06 2020-05-26 전자부품연구원 Sign language translation apparatus using gloss and translation model learning apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015528120A (en) 2012-05-09 2015-09-24 インテル コーポレイション Selective enhancement of parts of the display based on eye tracking

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
공개특허공보 제10-2015-0086902호(2015.7.29. 공개) 1부.*
등록특허공보 제10-1830908호(2018.2.21. 공고) 1부.*
등록특허공보 제10-2115551호(2020.5.26. 공고) 1부.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102644927B1 (en) 2023-10-10 2024-03-06 한규범 Multi-directional online communication system providing sign language interpretation services

Also Published As

Publication number Publication date
KR20220046303A (en) 2022-04-14

Similar Documents

Publication Publication Date Title
CN110033659B (en) Remote teaching interaction method, server, terminal and system
KR101777807B1 (en) Sign language translator, system and method
Mehta et al. Automated 3D sign language caption generation for video
CN110853422A (en) Immersive language learning system and learning method thereof
CN117332072B (en) Dialogue processing, voice abstract extraction and target dialogue model training method
Syafaat et al. An analysis of code mixing in twitter
CN115223428A (en) Converting sign language
KR102408941B1 (en) Two-way conversation system that provides sign language interpretation
Turner et al. Doing ‘understanding’in dialogue interpreting: Advancing theory and method
KR20210073856A (en) Portable sign languauge translator and sign languauge translation method using the same
David et al. Landscape of sign language research based on smartphone apps: coherent literature analysis, motivations, open challenges, recommendations and future directions for app assessment
Srivastava et al. A smart learning assistance tool for inclusive education
Kulkarni et al. College chat-bot
Gomez-Garay et al. Dense captioning of natural scenes in spanish
KR20150095321A (en) Education system for people with hearing and speaking disability
Lee et al. AI TTS smartphone app for communication of speech impaired people
Perera et al. Intelligent mobile assistant for hearing impairers to interact with the society in Sinhala language
Amarasekara et al. Real-time interactive voice communication-For a mute person in Sinhala (RTIVC)
Ali Artificial Intelligence Techniques to Understand Braille: A Language for Visually Impaired Individuals
TR201812392A2 (en) REMOTE COMMUNICATION SYSTEM AND METHOD FOR THE Hearing Impaired
Prakash Emerging mobile applications: An app to improve literacy and communication for disabled persons
KR102644927B1 (en) Multi-directional online communication system providing sign language interpretation services
Mehta et al. Evolution in Automated Translator for Real Time Voice to Sign Language Transformation for the Deaf and Dumb People
Ladner My path to becoming an accessibility researcher
Saleem et al. System for people with hearing impairment to solve their social integration

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant