KR20220046303A - 수어 통역을 제공하는 양방향 대화 시스템 - Google Patents

수어 통역을 제공하는 양방향 대화 시스템 Download PDF

Info

Publication number
KR20220046303A
KR20220046303A KR1020200129558A KR20200129558A KR20220046303A KR 20220046303 A KR20220046303 A KR 20220046303A KR 1020200129558 A KR1020200129558 A KR 1020200129558A KR 20200129558 A KR20200129558 A KR 20200129558A KR 20220046303 A KR20220046303 A KR 20220046303A
Authority
KR
South Korea
Prior art keywords
sign language
terminal
hearing
impaired
module
Prior art date
Application number
KR1020200129558A
Other languages
English (en)
Other versions
KR102408941B1 (ko
Inventor
손철수
임은희
Original Assignee
㈜ 한국공학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ㈜ 한국공학기술연구원 filed Critical ㈜ 한국공학기술연구원
Priority to KR1020200129558A priority Critical patent/KR102408941B1/ko
Publication of KR20220046303A publication Critical patent/KR20220046303A/ko
Application granted granted Critical
Publication of KR102408941B1 publication Critical patent/KR102408941B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/04—Devices for conversing with the deaf-blind
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Child & Adolescent Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Social Psychology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 수어 통역을 제공하는 양방향 대화 시스템에 관한 것으로, 카메라와 디스플레이를 구비하며, 수어를 인식하는 난청인 단말; 입력 장치와 디스플레이를 구비하며, 글자를 입력 받는 건청인 단말 및 다수의 수어 데이터가 저장된 수어 데이터 셋을 제공받으며 상기 난청인 단말 및 건청인 단말과 연동되어, 난청인 단말로부터 수어가 인식될 경우 기 저장된 수어와 비교 분석하여 해당 글자로 변환 후 건청인 단말로 전송하는 수어 통역 서버를 포함하는, 수어 통역을 제공하는 양방향 대화 시스템에 관한 것이다.

Description

수어 통역을 제공하는 양방향 대화 시스템{Two-way conversation system that provides sign language interpretation}
본 발명은 양방향 대화 시스템에 관한 것으로, 특히 수어 통역을 제공하여 난청인과 건청인간의 대화가 실시간으로 가능하도록 하는 양방향 대화 시스템에 관한 것이다.
최근, 장애인이 직업 생활을 통하여 자립할 수 있도록 지원해야 하는 장애인고용촉진 및 직업재활법에 따라, 장애인 고용 지원 의무제도가 시행되고 있다. 이 때문에 많은 장애인의 취업 분야 폭이 넓어지기는 하였으나, 아직까지도 기업에서는 의사 소통의 어려움으로 장애인 채용을 기피하고 있는 실정이다.
한편, 손으로 대화를 하는 '수어'를 사용하는 청각장애인의 경우, 바리스타, 플로리스트, 택시 운전기사 등의 취업 분야에서 활발하게 취직이 행해지고 있으며, 나아가 공인회계사, 보험계리사, 손해사정사, 준학예사, 호텔 경영사, 호텔관리사 및 호텔 서비스사, 변리사, 군무원, 외무공무원 등 다양한 직종군에서 취직이 확대되도록 다방면의 부처에서 노력이 진행되고 있다.
그러나, '수어'라는 것은 특별히 배워야 이해가 가능한 것으로, 많은 이들이 알지 못하는 직장 내에서는 많은 타인과의 의사소통의 어려움을 발생시키고 조직 내 구성원과 상호작용하는데 문제점을 유발하며, 업무의 저하를 발생시킨다.
이 때문에, 취업의 폭을 확대하고 청각장애인의 자립도를 높이려고 하는 노력에도 불구하고 많은 청각장애인들의 취업률이 현저히 낮은 상태이다.
본 발명은 상기와 같은 '수어'의 특수성에 따른 의사소통 단절의 문제점을 해결하기 위하여 제안되는 것으로, 정확도를 높인 수어 통역을 제공하여 실시간으로 대화가 가능하도록 함으로써, 의사소통의 단절을 없애어 취업의 폭을 확대하고 자립율을 높이며 나아가 장애인들의 사회적 지위와 지속적 근로 유도를 목적으로 하는 수어 통역을 제공하는 양방향 대화 시스템을 제공하는 데 목적이 있다.
상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 수어 통역을 제공하는 양방향 대화 시스템은, 카메라와 디스플레이를 구비하며, 수어를 인식하는 난청인 단말; 입력 장치와 디스플레이를 구비하며, 글자를 입력 받는 건청인 단말 및 다수의 수어 데이터가 저장된 수어 데이터 셋을 제공받으며 상기 난청인 단말 및 건청인 단말과 연동되어, 난청인 단말로부터 수어가 인식될 경우 기 저장된 수어와 비교 분석하여 해당 글자로 변환 후 건청인 단말로 전송하는 수어 통역 서버를 포함하여 구성될 수 있다.
여기서, 상기 수어 통역 서버는, 양방향 LSTM(Long short-term memory) 기반의 머신러닝을 통해 상기 수어를 사용하는 난청인의 특징점을 추출하고, 상기 특징점을 바탕으로 수어 데이터베이스로부터 수어를 분석하는 인공지능 분석 모듈을 포함하며, 상기 수어 데이터 셋을 통해 1차적으로 분석된 수어를 상기 인공지능 분석 모듈을 통해 2차적으로 분석할 수 있다.
또한, 상기 수어 통역 서버는, 여러 상황에 맞춘 표현으로 제작된 아이콘이 저장되어 아이콘 사용 요청을 전송한 단말과, 연결된 단말로 아이콘 전송을 수행하는 AAC 모듈 및 글씨를 기재하거나 그림을 그릴 수 있는 그림판을 제공하여 그림판 작성을 수행한 단말과, 연결된 단말로 그림판에 작성되는 글씨 또는 그림을 실시간으로 공유하도록 하는 필담 모듈을 포함할 수 있다.
또한, 상기 수어 통역 서버는, 상기 난청인 단말로부터 입력되는 수어에 대해 일정 시간 대비 사용되는 횟수를 계수하거나, 난청인 단말의 요청에 따라 설정된 수어의 일부분이 입력될 시에 상기 설정된 수어에 해당하는 글자로 자동으로 변환하여 건청인 단말로 전송하는 자동 완성 모듈을 포함할 수 있다.
또한, 상기 수어 통역 서버는, 상기 난청인 단말 또는 건청인 단말의 외국어 번역 요청에 따라 난청인 단말로 인식되는 수어를 외국어로 변환하여 건청인 단말로 전송하거나, 건청인 단말로 입력되는 외국어를 수어로 변환하여 난청인 단말로 전송하는 외국어 번역 모듈을 포함할 수 있다
또한, 상기 건청인 단말은, 모션 트래킹을 통해 단말 사용 건청인의 시선을 추적하는 시선 인식 카메라를 구비하며, 상기 수어 통역 서버는, 상기 시선 인식 카메라와 연동되어, 상기 건청인이 상기 난청인 단말로부터 전달된 글자를 인지하지 못한 것으로 판단할 경우, 인지하지 못한 해당 글자에 대해 특별함을 주어 시각적으로 확인이 용이하도록 하는 글자 인식 보조 모듈을 포함할 수 있다.
본 발명의 실시 예에 따른 수어 통역을 제공하는 양방향 대화 시스템은, 정확도를 높인 수어 통역을 제공하여 실시간으로 대화가 가능하도록 함으로써, 의사소통의 단절을 없애어 취업의 폭을 확대하고 자립율을 높이며 나아가 장애인들의 사회적 지위와 지속적 근로 유도할 수 있다.
또한, 위에서 언급된 본 발명의 실시 예에 따른 효과는 기재된 내용에만 한정되지 않고, 명세서 및 도면으로부터 예측 가능한 모든 효과를 더 포함할 수 있다.
도 1은 본 발명의 실시 예에 따른 수어 통역을 제공하는 양방향 대화 시스템의 구성을 예시한 블록도이다.
도 2는 본 발명의 실시 예에 따른 수어 데이터 셋의 예시도이다.
도 3은 도 1의 양방향 대화 시스템의 일 구성인 난청인 단말의 상세도이다.
도 4는 도 1의 양방향 대화 시스템의 난청인 단말과 건청인 단말을 통한 대화 시 출력되는 인터페이스를 예시한 도면이다.
도 5는 도 1의 양방향 대화 시스템의 일 구성인 건청인 단말의 상세도이다.
도 6은 도 1의 양방향 대화 시스템의 일 구성인 수어 통역 서버의 상세도이다.
도 7은 본 발명의 실시 예에 따른 인공지능 분석 모듈을 통한 특징점 추출 예시도이다.
도 8은 본 발명의 실시 예에 따른 AAC 모듈의 활용을 예시한 도면이다.
도 9는 본 발명의 실시 예에 따른 필담 모듈의 활용을 예시한 도면이다.
이하, 도면을 참조한 본 발명의 설명은 특정한 실시 형태에 대해 한정되지 않으며, 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있다. 또한, 이하에서 설명하는 내용은 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이하의 설명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용되는 용어로서, 그 자체에 의미가 한정되지 아니하며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서 전체에 걸쳐 사용되는 동일한 참조번호는 동일한 구성요소를 나타낸다.
본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 이하에서 기재되는 "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로 해석되어야 하며, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "??부", "??기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 따른 수어 통역을 제공하는 양방향 대화 시스템을 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 수어 통역을 제공하는 양방향 대화 시스템의 구성을 예시한 블록도이며, 도 2는 본 발명의 실시 예에 따른 수어 데이터 셋의 예시도이다.
먼저, 도 1 및 도 2를 참조하면, 본 발명의 실시 예에 따른 수어 통역을 제공하는 양방향 대화 시스템은, 난청인 단말(100), 건청인 단말(200) 및 수어 통역 서버(300)를 포함하여 구성될 수 있다.
구체적으로, 난청인 단말(100)은 난청인이 사용하는 전용 단말로서 카메라(110, 도 3에 도시됨)와 디스플레이(미도시)를 구비하는 단말일 수 있으며, 구비된 카메라(110)를 통해 난청인의 수어를 인식하도록 구성될 수 있다.
또한, 건청인 단말(200)은 건청인이 사용하는 전용 단말로서 입력 장치(210, 도 4에 도시됨)와 디스플레이(미도시)를 구비하는 단말일 수 있으며, 구비된 입력 장치(210)를 통해 건청인으로부터 글자를 입력 받을 수 있다.
여기서, 건청인 단말(200)의 입력 장치(210)는 음성을 인식하는 마이크 등의 음성 인식 장치일 수도 있고, 키보드와 같은 글씨를 입력하는 장치일 수도 있다. 또한, 디스플레이와 연동되는 터치 패드나 펜일 수 있으며, 특정 모션을 인식하여 글씨가 자동으로 써지도록 하는 모션 인식 장치일 수도 있다. 이외에도 입력 장치(210)는 설명되지 아니하였으나 글자를 입력할 수 있는 형태라면 다양한 입력 장치가 사용될 수 있다.
입력 장치(210)를 통해 건청인 단말(200)로부터 입력된 글자는 수어 통역 서버(300)를 거치거나 난청인 단말(100)로 바로 전송될 수 있다.
수어 통역 서버(300)는 난청인 단말(100)과 건청인 단말(200) 사이에서 서로가 이해할 수 있는 인식 형태로 변환 즉, 수어를 글자로 변환시켜 주어 대화가 가능하도록 하는 통역 서버로서, 다수의 수어 데이터가 저장된 수어 데이터 셋(312)을 제공받아 저장할 수 있다.
이때, 수어 통역 서버(300)는 난청인 단말(100)로부터 인식되는 수어를 전달 받아 상기 수어 데이터 셋(312)에 저장된 수어와 비교 분석하여 해당 글자로 변환 후 건청인 단말(200)로 전송하거나, 건청인 단말(200)로부터 입력 받은 글자는 난청인 단말(100)로 그대로 전송하도록 구성될 수 있다.
즉, 난청인이 난청인 단말(100)로 수어를 입력하여도 건청인 단말(200)로는 글자로 변환하여 전송함으로써, 난청인과 건청인간의 글자를 통해 대화가 수월할 수가 있도록 하는 것이다.
한편, 수어 통역 서버(300)로 제공되는 수어 데이터 셋(312)의 경우, 도 2에 도시된 바와 같이 다양한 각도에서 단어 또는 문장 단위로 수어를 구현한 수어 영상 데이터를 포함할 수 있으며, 이는 자체적으로 제작되거나 오픈 데이터를 통해 제공되는 CSV 포맷 파일 등을 통해 마련될 수 있으며, 자체적 제작 또는 제공되는 수어 영상 데이터는 모두 수정이 가능하도록 형성될 수 있어, 난청인의 커스터마이징이 가능할 수도 있다.
도 3은 도 1의 양방향 대화 시스템의 일 구성인 난청인 단말의 상세도이며, 도 4는 도 1의 양방향 대화 시스템의 난청인 단말과 건청인 단말을 통한 대화 시 출력되는 인터페이스를 예시한 도면이고, 도 5는 도 1의 양방향 대화 시스템의 일 구성인 건청인 단말의 상세도이다.
또한, 도 6은 도 1의 양방향 대화 시스템의 일 구성인 수어 통역 서버의 상세도이며, 도 7은 본 발명의 실시 예에 따른 인공지능 분석 모듈을 통한 특징점 추출 예시도이고, 도 8은 본 발명의 실시 예에 따른 AAC 모듈의 활용을 예시한 도면이며, 도 9는 본 발명의 실시 예에 따른 필담 모듈의 활용을 예시한 도면이다.
도 3 내지 도 9를 참조하여 본 발명의 실시 예에 따른 수어 통역을 제공하는 양방향 대화 시스템을 보다 구체적으로 살펴보면, 난청인 단말(100)은 수어 통역 요청 모듈(120), 영상 입력 모듈(130), 영상 출력 모듈(140), 메시지 출력 모듈(150)을 포함하여 구성될 수 있고, 건청인 단말(200)은 수어 통역 요청 모듈(220), 입력 모듈(230), 영상 출력 모듈(240) 및 메시지 출력 모듈(250)을 포함하여 구성될 수 있으며, 수어 통역 서버(300)는 수어 데이터 셋(312)이 저장된 수어 인식 모듈(310)을 포함하여 구성될 수 있다.
여기서, 난청인 단말(100)의 수어 통역 요청 모듈(120)은 건청인과 대화를 요청하는 모듈로서, 요청 시 수어 통역 서버(300)를 통해 건청인 단말(200)로 페어링을 요청하고, 건청인 단말(200)의 요청 수락 시 난청인 단말(100)은 건청인 단말(200)과 연결되어 대화를 수행하도록 형성될 수 있다.
영상 입력 모듈(130)은 자신의 수어를 입력하는 모듈로서, 카메라(110)와 연동되어 작동 시 카메라(110)를 통해 수어를 촬영할 수 있고, 촬영되는 수어는 영상 입력 모듈(130)로 입력되어 인식될 수 있다.
이때, 영상 입력 모듈(130)은 영상 출력 모듈(140)과도 연계되어 영상 입력과 동시에 영상이 디스플레이로 출력되도록 할 수 있으며, 난청인은 영상이 출력되는 자신의 수어 모습을 직접 보면서 수어 영상을 입력할 수 있다.
메시지 출력 모듈(150)은 건청인 단말(200)로부터 입력된 글자가 그대로 출력되는 모듈로서, 바람직하게는 한 인터페이스 상에서 영상 출력 모듈(140)과 함께 출력되도록 할 수 있다.
이를 통해, 도 4에 도시된 바와 같이 난청인은 수어 영상을 입력 하여 건청인 단말(200)로 전송함과 동시에 입력되는 자신의 수어 영상을 확인할 수 있고, 이와 동시에 메시지 출력 모듈(150)로 출력되는 건청인의 입력 글자를 동시에 확인할 수 있다.
건청인 단말(200)의 수어 통역 요청 모듈(220)은 난청인과 대화를 요청하는 모듈로서, 요청 시 수어 통역 서버(300)를 통해 난청인 단말(100)로 페어링을 요청하고, 난청인 단말(100)의 요청 수락 시 건청인 단말(200)은 난청인 단말(100)과 연결되어 대화를 수행하도록 형성될 수 있다.
입력 모듈(230)은 상술한 입력 장치(210)와 연계되는 것으로, 입력 장치(210)를 통해 글자를 작성 시 입력 모듈(230)로 입력되어 글자가 인식될 수 있다. 이때, 입력 모듈(230)로 입력된 글자는 메시지 출력 모듈(250)로 출력되어 건청인이 확인할 수 있음과 동시에 난청인 단말(100)의 메시지 출력 모듈(150)로도 출력되어 난청인도 확인할 수 있도록 할 수 있다.
건청인 단말(200)의 영상 출력 모듈(240)은 난청인 단말(100)의 영상 입력 모듈(130)로 인식되는 수어 영상이 전달되어 출력되는 것으로, 메시지 출력 모듈(250)로의 글자 출력과 함께 출력될 수 있다.
즉, 난청인 단말(100)로부터 수어 영상이 입력되면 건청인 단말(200)의 영상 출력 모듈(240)과 메시지 출력 모듈(250)로의 출력이 함께 수행되어 해당 수어가 어떠한 글자를 의미하는 것인지 용이하게 확인할 수 있다.
이를 통해, 건청인은 난청인과 대화를 하면서 알지 못했던 수어를 배우거나 이해할 수 있고, 난청인과의 이질감을 해소하며 보다 친밀감을 높일 수도 있다.
한편, 건청인 단말(200)은 영상 저장 모듈(260)을 더 포함할 수도 있다. 영상 저장 모듈(260)은 영상 출력 모듈(240)과 연계되어 난청인 단말(100)로부터 입력되는 수어 영상의 일부분 또는 전체를 저장할 수 있고, 이를 재생하도록 마련될 수가 있다.
이를 통해, 그 당시 이해하지 못했던 수어를 용이하게 학습할 수가 있다.
또한, 건청인 단말(200)은 수어 링크 접속 모듈(270)을 더 포함할 수도 있다. 수어 링크 접속 모듈(270)은 메시지 출력 모듈(250)로 출력된 글자에 대해 수어를 영상으로 확인할 수 있는 링크를 제공하여, 링크 클릭을 통해 해당 글자에 대한 수어를 확인하며 공부하도록 할 수 있다.
이때, 링크는 수어 통역 서버(300)로 제공되는 수어 데이터 셋(312)에 저장된 동영상을 확인하도록 연결되거나, 다른 특정한 수어 데이터베이스에 접속을 연결하여 동영상을 확인하도록 할 수 있다.
수어 통역 서버(300)는 수어 데이터 셋(312)이 저장된 수어 인식 모듈(310)을 포함하여 구성될 수 있다.
여기서, 수어 인식 모듈(310)은 난청인 단말(100)의 영상 입력 모듈(130)로부터 인식된 수어 영상을 전달 받고, 해당 수어 영상을 수어 데이터 셋(312)에 포함된 수어 영상들과 비교 매칭하여 매칭된 영상에 해당되는 단어나 문장의 글자로 전환하여 건청인 단말(200)로 전송할 수 있다.
이를 통해, 난청인은 자신들의 소통 수단인 수어를 사용하여도 건청인과의 대화가 원활할 수가 있다.
한편, 수어 인식 모듈(310)은 인공지능 분석 모듈(314)을 더 포함하여 구성될 수도 있다.
인공지능 분석 모듈(314)은 수어 데이터 셋(312)을 통해 1차적으로 분석된 수어를 2차 분석 하기 위한 수단으로, 수어 데이터 셋(312)에서 매칭되지 않은 단어나 문장 등을 찾아내거나 수어 데이터 셋(312)에서 매칭된 단어나 문장을 검증하여 보다 정밀한 결과를 나타내도록 할 수 있다.
보다 구체적으로, 인공지능 분석 모듈(314)은 카메라(110)를 통한 난청인의 수어 영상 입력 시에 양방향 LSTM(Long short-term memory) 기반의 머신러닝을 통해 도 7에 도시된 바와 같이 수어를 사용하는 난청인의 특징점을 추출하고, 특징점을 바탕으로 수어 데이터베이스로부터 수어를 분석하도록 구성될 수 있다.
여기서 양방향 LSTM은 음성이나 문자 등 순차적으로 등장하는 데이터 처리에 매우 유용한 순환 인공 신경망(RNN, Recurrent Neural Networks)의 장기 의존성 문제와 역전파시 일어나는 Gradient Vanishing 문제를 해결한 구조로서, RNN의 히든 state에 cell-state를 추가한 구조이다.
이 때문에, state가 멀더라도 gradient는 비교적 잘 전파되는 장점을 지니며, 문장 내 단어 위치에 따른 의미를 처리하는 데 효과적일 수 있어 수어의 분석이 보다 정확할 수가 있다.
이러한 인공지능 분석 모듈(314)은 영상 입력 모듈(130)로 수어 영상을 입력 받을 때에 동시에 촬영되는 난청인으로부터 특징점을 추출하여 수어를 분석하게 되는데, 먼저는 수어 데이터 셋(312)에서 해당 수어 영상에 대응되는 단어나 문장 등이 발견되지 않을 시에 수어 메타 데이터베이스로부터 대응되는 수어를 찾아내 해당 글자로 변환하도록 도울 수 있다.
한편으론, 수어 데이터 셋(312)에서 해당 수어 영상에 대응되는 단어나 문장 등이 발견될 경우에도 수어 메타 데이터베이스로부터 대응되는 수어를 찾아내어 그에 맞는 글자를 인지 하고, 이를 수어 데이터 셋(312)에서 찾은 글자와 대조하여 검증함으로써, 보다 정확한 단어로 변환되도록 할 수도 있다.
이를 통해, 수어 통역 서버(300)는 입력되는 수어에 보다 정확한 통역이 가능할 수 있으며, 수어 번역의 실패 가능성을 현저히 낮출 수 있다.
아울러, 인공지능 분석 모듈(314)은 수어 데이터 셋(312)에 저장되지 않은 수어 데이터를 발견 시에 수어 데이터 셋(312)으로 해당 자료를 저장할 수 있도록 알림을 수행할 수도 있다. 이를 통해, 수어 데이터 셋(312)의 자료도 보강할 수 있다.
한편, 수어 통역 서버(300)는 AAC 모듈(320) 및 필담 모듈(330)을 더 포함하여 구성될 수도 있다.
구체적으로, AAC 모듈(320)은 여러 상황에 맞춘 표현으로 제작된 아이콘이 저장될 수 있다. 예컨대, 도 8에 도시된 바와 같이 업무, 회의, 교육, 응급, 복지 등의 상황에 맞추어 업무 상황에서는 좋아요, 싫어요, 도와주세요, 몰라요 등의 아이콘이 저장되는 것이다.
여기서, 아이콘은 추가하고 삭제하는 것이 가능하여, 사용자의 사용 환경에 따라 맞춤형 커스터마이징을 수행할 수 있다.
또한, AAC 모듈(320)은 난청인 단말(100)과 건청인 단말(200)을 통한 대화 시에 난청인 단말(100)이나 건청인 단말(200)로부터 아이콘 사용 요청이 있을 경우, 해당 사용 요청을 전송한 단말은 물론 연결된 단말로 동시에 아이콘 전송을 수행할 수 있다.
즉, 난청인 단말(100)로부터 아이콘 사용 요청이 있을 경우 AAC 모듈(320)은 해당 사용 요청을 전송한 난청인 단말(100)과 대화를 수행 중인 건청인 단말(200)로 동시에 아이콘을 전송하여 각 메시지 출력 모듈(150, 250)이나 디스플레이 일측에 출력시킬 수 있다.
필담 모듈(330)은 글씨를 기재하거나 그림을 그릴 수 있는 그림판을 난청인 단말(100)과 건청인 단말(200)로 각각 제공하고, 어느 한 단말로부터 그림판에 글씨나 그림이 작성되면 해당 그림을 다른 단말로 실시간 공유하도록 하는 모듈일 수 있다.
즉, 도 9에 도시된 바와 같이 건청인 단말(200)로 제공되는 그림판에 글씨를 적게 되면 난청인 단말(100)로 똑같이 공유되어 확인할 수 있도록 할 수 있는 것이다.
이때, 필담 모듈(330)은 배경이나 글자 색상 등이 변경 가능하도록 형성되며, 그림이나 글씨를 실시간으로 공유하는 관계로 일 단말이 작성한 그림이나 글씨에 타 단말이 덧붙여 작성하거나 지우는 등 자유로운 수정이 가능할 수 있다.
상기와 같은 AAC 모듈(320) 또는 필담 모듈(330)을 통해 난청인과 건청인은 비교적 간단한 대화나 전달사항은 수어의 번역 없이도 빠르게 표현하고 대화하도록 할 수 있다.
또한, 수어 통역 서버(300)는 특정의 설정된 수어의 해당하는 일부분이 입력될 시에 해당 수어로 자동 인식하여 대응되는 글자로 자동으로 변환하여 주는 자동 완성 모듈(340)을 더 포함하여 구성될 수도 있다.
구체적으로, 자동 완성 모듈(340)은 특정의 수어에 대해 일부 수어 형태만 입력하여도 자동으로 해당 글씨로 완성시켜주는 자동 완성 기능을 자동 또는 수동으로 설정을 하도록 구성될 수 있다.
즉, '맛있다'라는 수어에 대해 자동 완성 모듈(340)을 통해 자동 완성 기능을 설정해 놓으면 '맛있다'라는 수어의 한획 또는 두획 등 판단이 될 수 있는 획을 표기하면 '맛있다'라는 글자로 바로 변환하여 건청인 단말(200)로 보다 빠르게 전송할 수 있는 것이다.
여기서, 이러한 자동 완성 기능의 자동 설정은 난청인 단말(100)로부터 자주 입력되는 수어 즉, 일정 시간 대비 사용되는 횟수를 계수하여 사용 빈도수가 높은 수어일 경우에 자동으로 설정하는 것으로, 일정 시간 대비 사용 빈도수가 높은 것으로 확인되면 난청인 단말(100)로 자동 완성 기능 설정 여부를 전송한 후에 돌아오는 답변에 따라 자동으로 설정을 수행할 수 있다.
또한, 자동 완성 기능의 수동 설정은 난청인 단말(100)의 요청에 따른 것으로, 난청인이 자주 사용하는 수어가 있을 경우 수동 설정을 통해 자동 완성 기능이 작동되도록 할 수 있다.
이를 통해, 본 발명은 자주 사용하는 수어를 일일이 재차 입력하지 않아도 빠르게 단어로 변환하여 전송함으로써 대화 속도를 향상시킬 수가 있다.
또한, 수어 통역 서버(300)는 난청인 단말(100)로부터 입력되는 수어를 외국어로 변환하거나, 건청인 단말(200)로부터 외국어로 입력된 글자를 자국어로 변환하여 전송하는 외국어 번역 모듈(350)을 더 포함할 수 있다.
구체적으로, 외국어 번역 모듈(350)은 난청인 단말(100)이나 건청인 단말(200)에 각각 더 포함될 수 있는데, 이때 난청인 단말(100)이 외국어 번역 모듈(350)을 통해 외국어 번역 요청을 하고, 수어를 입력하게 되면 먼저 해당 영상에 대해 대응되는 글자를 획득한 후, 해당 글자를 다시 변환을 요청하는 외국어로 번역하여 건청인 단말(200)로 전송할 수 있다.
또한, 반대로 건청인 단말(200)이 외국어 번역 모듈(350)을 통해 번역 요청을 수행하고, 외국어로 글자를 입력 하게 되면 그 글자는 난청인이 이해할 수 있도록 자국어로 번역되어 난청인 단말(100)의 메시지 출력 모듈(150, 250)로 출력될 수 있다.
이를 통해, 난청인은 외국인과 대화도 가능할 수 있고, 영어로 대화해야 하는 부분에 있어 어려움을 겪지 않을 수 있다.
한편, 외국어 번역 모듈(350)은 외국어 단어 메타 데이터가 저장되어 자체적으로 외국어 번역을 수행할 수도 있으나, 바람직하게는 외국어 번역 엔진과 연동되어 해당 외국어 번역 엔진을 통해 번역을 수행함으로써, 데이터량을 최소화 하는 범위 내에서 번역 수행이 가능할 수 있다.
아울러, 수어 통역 서버(300)는 건청인이 난청인 단말(100)로부터 전달된 글자를 놓치지 않고 인식하도록 돕는 글자 인식 보조 모듈(360)을 더 포함하여 구성될 수도 있다.
이를 위해, 먼저 건청인 단말(200)에는 모션 트래킹을 통해 건청인 단말(200)을 사용하는 건청인의 시선을 추적하는 시선 인식 카메라(미도시)를 구비할 수 있다. 또한, 글자 인식 보조 모듈(360)은 시선 인식 카메라와 연동될 수 있다.
여기서, 난청인 단말(100)로부터 입력된 수어가 번역되어 건청인 단말(200)로 전송 시에는 상기 시선 인식 카메라가 실시간으로 건청인의 시선을 추적하게 되는데, 이때, 건청인의 시선이 난청인 단말(100)로부터 전달된 글자를 일정 시간 동안 인지하지 못한 것으로 판단할 경우, 인지하지 못한 해당 글자에 대해 특별함을 주어 시각적으로 확인이 용이하도록 할 수 있다.
예컨대, 난청인 단말(100)로부터 전달된 글자에 대해 건청인의 시선이 설정된 시간만큼 머무르지 않으면, 인지하지 못한 해당 글자를 확장시키거나 해당 글자의 색을 바꾸는 등 특별함을 더하여 보다 용이하게 인식하도록 할 수 있다.
이를 통해, 실수로 인한 난청인과 건청인의 대화 단절을 방지하며, 의사가 명확히 전달되도록 할 수 있다.
이상으로 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고 다른 구체적인 형태로 실시할 수 있다는 것을 이해할 수 있을 것이다. 따라서 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적이 아닌 것이다.
100 : 난청인 단말
110 : 카메라
120 : 수어 통역 요청 모듈
130 : 영상 입력 모듈
140 : 영상 출력 모듈
150 : 메시지 출력 모듈
200 : 건청인 단말
210 : 입력 장치
220 : 수어 통역 요청 모듈
230 : 입력 모듈
240 : 영상 출력 모듈
250 : 메시지 출력 모듈
260 : 영상 저장 모듈
270 : 링크 접속 모듈
300 : 수어 통역 서버
310 : 수어 인식 모듈
312 : 수어 데이터 셋
314 : 인공지능 분석 모듈
320 : AAC 모듈
330 : 필담 모듈
340 : 자동 완성 모듈
350 : 외국어 번역 모듈
360 : 글자 인식 보조 모듈

Claims (6)

  1. 카메라와 디스플레이를 구비하며, 수어를 인식하는 난청인 단말;
    입력 장치와 디스플레이를 구비하며, 글자를 입력 받는 건청인 단말 및
    다수의 수어 데이터가 저장된 수어 데이터 셋을 제공받으며 상기 난청인 단말 및 건청인 단말과 연동되어, 난청인 단말로부터 수어가 인식될 경우 기 저장된 수어와 비교 분석하여 해당 글자로 변환 후 건청인 단말로 전송하는 수어 통역 서버를 포함하는, 수어 통역을 제공하는 양방향 대화 시스템.
  2. 제 1 항에 있어서,
    상기 수어 통역 서버는,
    양방향 LSTM(Long short-term memory) 기반의 머신러닝을 통해 상기 수어를 사용하는 난청인의 특징점을 추출하고, 상기 특징점을 바탕으로 수어 데이터베이스로부터 수어를 분석하는 인공지능 분석 모듈을 포함하며,
    상기 수어 데이터 셋을 통해 1차적으로 분석된 수어를 상기 인공지능 분석 모듈을 통해 2차적으로 분석하는 것을 특징으로 하는, 수어 통역을 제공하는 양방향 대화 시스템.
  3. 제 1 항에 있어서,
    상기 수어 통역 서버는,
    여러 상황에 맞춘 표현으로 제작된 아이콘이 저장되어 아이콘 사용 요청을 전송한 단말과, 연결된 단말로 아이콘 전송을 수행하는 AAC 모듈 및
    글씨를 기재하거나 그림을 그릴 수 있는 그림판을 제공하여 그림판 작성을 수행한 단말과, 연결된 단말로 그림판에 작성되는 글씨 또는 그림을 실시간으로 공유하도록 하는 필담 모듈을 포함하는, 수어 통역을 제공하는 양방향 대화 시스템.
  4. 제 1 항에 있어서,
    상기 수어 통역 서버는,
    상기 난청인 단말로부터 입력되는 수어에 대해 일정 시간 대비 사용되는 횟수를 계수하거나, 난청인 단말의 요청에 따라 설정된 수어의 일부분이 입력될 시에 상기 설정된 수어에 해당하는 글자로 자동으로 변환하여 건청인 단말로 전송하는 자동 완성 모듈을 포함하는, 수어 통역을 제공하는 양방향 대화 시스템.
  5. 제 1 항에 있어서,
    상기 수어 통역 서버는,
    상기 난청인 단말 또는 건청인 단말의 외국어 번역 요청에 따라 난청인 단말로 인식되는 수어를 외국어로 변환하여 건청인 단말로 전송하거나, 건청인 단말로 입력되는 외국어를 수어로 변환하여 난청인 단말로 전송하는 외국어 번역 모듈을 포함하는, 수어 통역을 제공하는 양방향 대화 시스템.
  6. 제 1 항에 있어서,
    상기 건청인 단말은,
    모션 트래킹을 통해 단말 사용 건청인의 시선을 추적하는 시선 인식 카메라를 구비하며,
    상기 수어 통역 서버는,
    상기 시선 인식 카메라와 연동되어, 상기 건청인이 상기 난청인 단말로부터 전달된 글자를 인지하지 못한 것으로 판단할 경우, 인지하지 못한 해당 글자에 대해 특별함을 주어 시각적으로 확인이 용이하도록 하는 글자 인식 보조 모듈을 포함하는, 수어 통역을 제공하는 양방향 대화 시스템.

KR1020200129558A 2020-10-07 2020-10-07 수어 통역을 제공하는 양방향 대화 시스템 KR102408941B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200129558A KR102408941B1 (ko) 2020-10-07 2020-10-07 수어 통역을 제공하는 양방향 대화 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200129558A KR102408941B1 (ko) 2020-10-07 2020-10-07 수어 통역을 제공하는 양방향 대화 시스템

Publications (2)

Publication Number Publication Date
KR20220046303A true KR20220046303A (ko) 2022-04-14
KR102408941B1 KR102408941B1 (ko) 2022-06-14

Family

ID=81211323

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200129558A KR102408941B1 (ko) 2020-10-07 2020-10-07 수어 통역을 제공하는 양방향 대화 시스템

Country Status (1)

Country Link
KR (1) KR102408941B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240086912A (ko) 2022-12-09 2024-06-19 주식회사 피엑스디 양방향 통역 디스플레이장치 및 그 장치의 구동방법
KR102644927B1 (ko) 2023-10-10 2024-03-06 한규범 수어 통역 서비스를 제공하는 온라인 다방향 소통 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150086902A (ko) * 2014-01-21 2015-07-29 박삼기 청각 장애인용 수화 자동 번역 제공 시스템
JP2015528120A (ja) * 2012-05-09 2015-09-24 インテル コーポレイション 目のトラッキングに基づくディスプレイの一部の選択的強調
KR20160109708A (ko) * 2015-03-12 2016-09-21 주식회사 디지털스케치 수화 번역기, 시스템 및 방법
KR101830908B1 (ko) * 2017-08-08 2018-02-21 박현주 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템
KR102115551B1 (ko) * 2019-08-06 2020-05-26 전자부품연구원 글로스를 이용한 수어 번역 장치 및 번역모델 학습장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015528120A (ja) * 2012-05-09 2015-09-24 インテル コーポレイション 目のトラッキングに基づくディスプレイの一部の選択的強調
KR20150086902A (ko) * 2014-01-21 2015-07-29 박삼기 청각 장애인용 수화 자동 번역 제공 시스템
KR20160109708A (ko) * 2015-03-12 2016-09-21 주식회사 디지털스케치 수화 번역기, 시스템 및 방법
KR101830908B1 (ko) * 2017-08-08 2018-02-21 박현주 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템
KR102115551B1 (ko) * 2019-08-06 2020-05-26 전자부품연구원 글로스를 이용한 수어 번역 장치 및 번역모델 학습장치

Also Published As

Publication number Publication date
KR102408941B1 (ko) 2022-06-14

Similar Documents

Publication Publication Date Title
KR101777807B1 (ko) 수화 번역기, 시스템 및 방법
KR102408941B1 (ko) 수어 통역을 제공하는 양방향 대화 시스템
Mehta et al. Automated 3D sign language caption generation for video
KR102104294B1 (ko) 디스플레이 장치로 읽을 수 있는 저장매체에 저장된 수화 영상 챗봇 애플리케이션
CN117332072B (zh) 对话处理、语音摘要提取以及目标对话模型训练方法
Nasereddin MMLSL: modelling mobile learning for sign language
Sobhan et al. A communication aid system for deaf and mute using vibrotactile and visual feedback
Turner et al. Doing ‘understanding’in dialogue interpreting: Advancing theory and method
Srivastava et al. A smart learning assistance tool for inclusive education
David et al. Landscape of sign language research based on smartphone apps: coherent literature analysis, motivations, open challenges, recommendations and future directions for app assessment
Dokania et al. An assistive interface protocol for communication between visually and hearing-speech impaired persons in internet platform
KR20210073856A (ko) 휴대용 수화 번역기 및 수화 번역 방법
Bhinder The Reshaping of Professional Discourse among Young Military Leaders during the COVID-19 Pandemic in Ukraine
Gayathri et al. Sign language recognition for deaf and dumb people using android environment
Lee et al. AI TTS smartphone app for communication of speech impaired people
Chen et al. Towards Co-Creating Access and Inclusion: A Group Autoethnography on a Hearing Individual's Journey Towards Effective Communication in Mixed-Hearing Ability Higher Education Settings
Gomez-Garay et al. Dense captioning of natural scenes in spanish
Perera et al. Intelligent mobile assistant for hearing impairers to interact with the society in Sinhala language
JP2005222316A (ja) 会話支援装置、会議支援システム、受付業務支援システム及びプログラム
Amarasekara et al. Real-time interactive voice communication-For a mute person in Sinhala (RTIVC)
Ali Artificial intelligence techniques to understand braille: a language for visually impaired individuals
TR201812392A2 (tr) İşi̇tme engelli̇ler i̇çi̇n uzaktan i̇leti̇şi̇m si̇stemi̇ ve yöntemi̇
Lazarova et al. Assimilating the skills of people with specific needs for the IT labor market by utilizing the information technologies for the workplace
Saleem et al. System for people with hearing impairment to solve their social integration
KR102644927B1 (ko) 수어 통역 서비스를 제공하는 온라인 다방향 소통 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant