KR101542130B1 - 청각 장애인용 수화 자동 번역 제공 시스템 - Google Patents

청각 장애인용 수화 자동 번역 제공 시스템 Download PDF

Info

Publication number
KR101542130B1
KR101542130B1 KR1020140007097A KR20140007097A KR101542130B1 KR 101542130 B1 KR101542130 B1 KR 101542130B1 KR 1020140007097 A KR1020140007097 A KR 1020140007097A KR 20140007097 A KR20140007097 A KR 20140007097A KR 101542130 B1 KR101542130 B1 KR 101542130B1
Authority
KR
South Korea
Prior art keywords
sign language
information
data
unit
terminal
Prior art date
Application number
KR1020140007097A
Other languages
English (en)
Other versions
KR20150086902A (ko
Inventor
박삼기
Original Assignee
박삼기
주식회사 한국네쇼날컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박삼기, 주식회사 한국네쇼날컴퍼니 filed Critical 박삼기
Priority to KR1020140007097A priority Critical patent/KR101542130B1/ko
Publication of KR20150086902A publication Critical patent/KR20150086902A/ko
Application granted granted Critical
Publication of KR101542130B1 publication Critical patent/KR101542130B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/04—Devices for conversing with the deaf-blind
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/47—Machine-assisted translation, e.g. using translation memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명의 일 실시예는 청각 장애인용 수화 자동 번역 제공 시스템에 관한 것으로, 해결하고자 하는 기술적 과제는 청각 장애인에게 원격으로 실시간 강의 영상을 제공할 수 있게 하는데 있다.
이를 위해 본 발명의 일 실시예는 유무선 통신망을 통하여 연결되어 강의 영상 및 음성 정보를 포함하는 강의 영상 데이터를 제공하는 수화 서비스 제공 서버; 상기 수화 서비스 제공 서버에 접속하여 원하는 강의 영상 데이터를 수신하여 출력하는 장애인 단말; 및 상기 장애인 단말에 의하여 원하는 강의 영상 및 음성 정보를 수화 및 자막 데이터로 변환하여 상기 강의 영상과 함께 상기 장애인 단말로 전송하는 수화 지원사 단말을 포함하는 청각 장애인용 수화 자동 번역 제공 시스템을 개시한다.

Description

청각 장애인용 수화 자동 번역 제공 시스템{FINGER-LANGUAGE TRANSLATION PROVIDING SYSTEM FOR DEAF PERSON}
본 발명의 일 실시예는 음성에 대하여 수화로 변환된 영상 정보를 자동으로 제공하는 청각 장애인용 수화 자동 번역 제공 시스템에 관한 것이다.
일반적으로 청각장애인 또는 청각장애우는 청각기능이 이상 또는 발달하지 못하여 소리를 귀로 인식하지 못하는 사람을 일컫는다. 따라서 청각장애인은 미리 정해진 손의 모양의 집합인 수화를 보고 상대방에게 의사를 전달하거나 의사를 전달받는다. 또한, 청각장애인의 교육도 수화를 이용하여 교육을 받는다.
현재 우리나라에는 약 35만여명 이상의 청각장애인이 있는 것으로 추산되며, 전 세계적으로 각 국에는 많은 청각 장애인이 있으나, 청각 장애인의 의사 소통 수단인 수화를 모르는 일반인이 청각 장애인들과 의사 소통하기에는 많은 어려움이 있다. 특히, 기업이나 공공 기관에 고용된 많은 장애인이 동료나 상사와 의사 소통의 어려움을 겪고 있으며, 수화를 모르는 일반 직장 동료나 상사들로서는 청각 장애인과 의사 소통이 수월하지 않아 업무에 지장을 초래하기도 한다.
더욱이 컴퓨터, 인터넷 및 스마트폰의 기술의 발달로 다양한 실시간 교육이 가능해진 현재에도 청각장애인을 위한 이러닝(e-learning) 시스템이 제대로 갖추어지고 있지는 않은 현실이다.
전술한 바와 같이 청각장애인을 위하여 제작되는 온라인 콘텐츠가 부족한 것이 현실적인 문제이고 설사 청각장애인을 위한 온라인 수화교육프로그램이 있다 하더라도 실시간으로 강사와 학생 간에 교육이 어려운 문제점이 있었다.
그리고 청각장애인을 위한 선생님과 청각장애인이 온라인에서 실시간으로 교육을 하는 경우를 가정하더라도 강사의 음성을 수화로 실시간으로 번역할 수 없는 현실적인 어려움으로 현재에는 이러한 선생님과 청각장애인 간의 실시간 교육이 어려운 실정이다.
또한, 청각장애인을 자녀로 둔 정상적인 청각기능이 있는 가족 또는 친구간의 경우에도 수화를 모르는 경우가 많다. 따라서 이러한 청각장애인의 가족 또는 친구들이 수화를 모르는 경우라도 효과적으로 음성을 수화로 표시하여 이를 청각장애인에게 전달할 수 있는 수단이 요청되고 있는 실정이다.
등록특허공보 제10-1151865호 '청각장애인용 휴대용 대화 장치' 등록실용신안공보 제20-0318046호 '청각장애인 교육용 시스템'
본 발명의 일 실시예는 청각 장애인에게 음성에 대하여 수화로 변환된 영상 정보를 자동으로 제공하여, 수화를 모르는 비장애인과 청각 장애인과의 의사 소통을 가능하게 하는 청각 장애인용 수화 자동 번역 제공 시스템을 제공한다.
본 발명의 일 실시예에 의한 청각 장애인용 수화 자동 번역 제공 시스템은 단어 정보에 대한 수화 영상 정보가 미리 저장되어 있고, 외부로부터 제공된 단어 정보와 매칭되는 수화 영상 정보를 추출하여 상기 추출된 수화 영상 정보를 제공하는 수화 서비스 제공 서버; 및 수화 자동 번역 어플리케이션을 탑재하고, 상기 수화 자동 어플리케이션의 실행에 의하여 외부에서 입력되는 음성 정보를 인식하고, 상기 음성 정보를 단어 정보로 변환하여 상기 수화 서비스 제공 서버에 제공하며, 상기 수화 서비스 제공 서버로부터 상기 단어 정보에 대한 수화 영상 정보를 수신하여 출력하는 장애인 단말;을 포함할 수 있다.
상기 수화 영상 정보는 수화 영상 데이터와 상기 수화 영상 데이터에 대한 자막 데이터를 포함할 수 있다.
상기 단어 정보에 대한 수화 영상 데이터 및 자막 데이터를 생성하여 상기 수화 서비스 제공 서버에 제공하는 수화 지원사 단말을 더 포함할 수 있다.
상기 수화 서비스 제공 서버는 상기 장애인 단말 및 수화 지원사 단말과의 데이터 송수신을 위한 통신 모듈; 상기 수화 지원사 단말에 의하여 업로드된 상기 수화 영상 데이터 및 자막 데이터를 신호처리하는 신호처리모듈; 상기 신호처리된 수화 영상 데이터 및 자막 데이터를 상기 장애인 단말로 스트리밍하는 스트리밍 제공모듈; 수화표준사전에 기록된 단어 정보가 포함된 단어정보 DB; 상기 통신 모듈에 의하여 송수신되는 데이터를 저장하되, 상기 장애인 및 수화 지원사의 등록 정보, 상기 수화 지원사 단말에 의하여 업로드되는 단어 정보 별 수화 영상 데이터 및 자막 데이터를 저장하는 저장 모듈; 상기 장애인 단말로부터 제공된 단어 정보와 상기 단어정보 DB에 저장된 단어 정보를 비교 분석하여 매칭되는 단어 정보를 추출하는 단어 정보 추출 모듈; 상기 추출된 단어 정보와 상기 저장 모듈에 저장된 단어 정보별 수화 영상 데이터 및 자막 데이터를 비교 분석하여 매칭되는 수화 영상 데이터 및 자막 데이터를 추출하는 수화 영상 정보 추출 모듈; 상기 수화 영상 정보를 요청하는 장애인 정보를 등록 및 관리하되, 그림판 및 웹공유 기능을 포함하는 편의기능을 상기 장애인 단말에 제공하는 장애인 관리 모듈; 및 상기 장애인 단말과 수화 지원사 단말에 수화 자동 번역 어플리케이션을 제공하고, 각 구성들의 동작을 제어하는 제어 모듈을 포함할 수 있다
상기 장애인 단말은 상기 수화 서비스 제공 서버와의 데이터 송수신을 위한 제1 통신부; 외부에서 입력되는 음성 정보를 인식하는 음성인식부; 상기 인식된 음성 정보를 띄어쓰기 단위로 분리하여 객체화하는 음성분리부; 상기 장애인의 영상을 촬영하는 제1 촬영부; 상기 촬영된 영상과 출력되는 영상에 대한 장애인의 질문 영상을 전송하는 영상 정보 전송부; 상기 장애인의 등록 정보를 입력하고, 상기 장애인이 원하는 질문 데이터를 입력하는 제1 정보 입력부; 상기 장애인의 등록 정보를 기초로 사용자를 인증하는 사용자 인증부; 상기 제1 통신부에 의하여 송수신되는 데이터를 표시하는 제1 디스플레이부; 및 수화 자동 번역 어플리케이션이 탑재되고, 상기 수화 자동 번역 어플리케이션의 실행에 의하여 각 구성들의 동작을 제어하는 제1 제어부를 포함할 수 있다.
상기 단어 정보 추출 모듈은 상기 음성 분리부에 의하여 객체화된 단위별로 상기 단어정보 DB에 저장된 단어 정보와 매칭되는 부분을 비교 검색하고, 상기 음성 분리부에 의하여 객체화된 단위별로 상기 비교 검색된 단어 정보에 일치하도록 파싱처리하여 매칭되는 단어 정보를 추출할 수 있다.
상기 음성인식부는 외부로부터 입력되는 음성 정보 중 특정 주파수 대역의 음성을 제거하고, 상기 제거된 음성 정보를 인식할 수 있다.
상기 수화 지원사 단말은 상기 수화 서비스 제공 서버와의 데이터 송수신을 위한 제2 통신부; 상기 단어 정보 별로 수화 지원사가 수행하는 수화 영상을 촬영하는 제2 촬영부; 상기 수화 서비스 제공 서버에 접속하여 상기 수화 지원사의 등록 정보 및 인증 정보를 입력하고, 상기 수화 영상에 대한 교육 정보를 입력하는 제2 정보 입력부; 상기 수화 영상에 대한 부연 설명을 자막 데이터로 변환하는 자막 지원부; 상기 수화 영상 및 자막 데이터를 편집하여 상기 수화 영상 정보를 생성하는 디지털 편집부; 상기 수화 영상 정보를 상기 수화 서비스 제공 서버에 업로드하는 수화 영상 업로드부; 상기 제2 통신부에 의하여 송수신되는 데이터를 표시하는 제2 디스플레이부; 및 수화 자동 번역 어플리케이션이 탑재되고, 상기 수화 자동 번역 어플리케이션의 실행에 의하여 각 구성들의 동작을 제어하는 제2 제어부를 포함할 수 있다.
상기 수화 서비스 제공 서버는 상기 장애인 단말로부터 제1 암호화 정보를 수신하고, 제1 암호화 정보에 포함된 암호화 키를 복원하고, 상기 복원된 암호화 키와 장애인 단말에 위하여 요청된 수화 영상 정보를 암호화하여 장애인 단말에 제공하는 보안 모듈을 더 포함할 수 있다.
상기 보안 모듈은 상기 장애인 단말로부터 요청된 수화 영상 정보의 공유 여부를 결정하는 공유 여부 결정부; 상기 장애인 단말로부터 수신된 제1 암호화 정보를 분석하는 암호화 정보 분석부; 상기 제1 암호화 정보의 분석 결과에 따라 암호화 명령을 생성하는 암호화 명령 생성부; 및 상기 제1 암호화 정보에 포함된 암호화키와 장애인 단말로부터 공유 요청된 데이터를 암호화하여 데이터를 생성하는 암호화 데이터 생성부를 포함하고, 상기 암호화된 데이터는 변형 키를 생성하는 레퍼런스 데이터를 포함할 수 있다.
상기 장애인 단말은 상기 수화 서비스 제공 서버에 원하는 수화 영상 정보에 대한 공유를 요청하는 데이터 공유 요청부; 상기 수화 서비스 제공 서버로부터 전송된 암호화된 데이터를 분석하는 암호화 데이터 분석부; 상기 수화 서비스 제공 서버로부터 전송된 암호화된 데이터의 분석 결과에 따라 복호화 명령을 생성하는 복호화 명령 생성부; 상기 수화 서비스 제공 서버로부터 전송된 암호화된 데이터에 포함된 암호화 키와 장애인 단말의 암호화 키를 비교하는 일련번호 비교부; 및 상기 수화 서비스 제공 서버로부터 전송된 암호화된 데이터에 포함된 암호화 키와 장애인 단말의 암호화 키가 일치하는 경우, 암호화된 데이터를 복호화하는 데이터 복호화부를 포함할 수 있다.
본 발명의 일 실시예에 따른 청각 장애인용 수화 자동 번역 제공 시스템에 따르면, 청각 장애로 인하여 비장애인과 대화에 어려워하는 장애인의 어려움을 덜어 주고자 청각 장애인에게 음성에 대하여 수화로 변환된 영상 정보를 자동으로 제공하여, 수화를 모르는 비장애인과 청각 장애인과의 의사 소통을 가능하게 할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 청각 장애인이 환경적 조건에 관계없이 웹에 접근하여 원격 지원을 통하여 비장애인과의 원활한 의사 소통을 위한 서비스를 제공받을 수 있다.
도 1은 본 발명의 일 실시예에 따른 청각 장애인용 수화 자동 번역 제공 시스템을 개략적으로 나타내는 도면이다.
도 2는 도 1의 수화 서비스 제공 서버의 구성을 개략적으로 나타내는 블록도이다.
도 3은 도 2의 보안 모듈의 구성을 개략적으로 나타내는 블록도이다.
도 4는 도 2의 단어 정보 추출 모듈과 수화 영상 정보 추출 모듈의 동작의 일 예를 설명하기 위한 도면이다.
도 5는 도 1의 장애인 단말의 구성을 개략적으로 나타내는 블록도이다.
도 6은 도 1의 수화 지원사 단말의 구성을 개략적으로 나타내는 블록도이다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 본 발명의 바람직한 일 실시예를 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다.
도 1은 본 발명의 일 실시예에 따른 청각 장애인용 수화 자동 번역 제공 시스템을 개략적으로 나타내는 도면이고, 도 2는 도 1의 수화 서비스 제공 서버의 구성을 개략적으로 나타내는 블록도이며, 도 3은 도 2의 보안 모듈의 구성을 개략적으로 나타내는 블록도이고, 도 4는 도 2의 단어 정보 추출 모듈과 수화 영상 정보 추출 모듈의 동작의 일 예를 설명하기 위한 도면이며, 도 5는 도 1의 장애인 단말의 구성을 개략적으로 나타내는 블록도이고, 도 6은 도 1의 수화 지원사 단말의 구성을 개략적으로 나타내는 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 청각 장애인용 수화 자동 번역 제공 시스템은 수화 서비스 제공 서버(10), 장애인 단말(20) 및 수화 지원사 단말(30)을 포함한다. 본 청각 장애인용 수화 자동 번역 제공 시스템은 장애인 단말(20) 및 수화 지원사 단말(30)을 수화 서비스 제공 서버(10)에 유무선 통신망을 통하여 연결하여 장애인이 유무선 인터넷이 되는 어떤 장소에서도 수화를 모르는 비장애인(1)과의 의사 소통을 가능하게 하는 시스템이다.
상기 수화 서비스 제공 서버(10)는 유무선 통신망을 통하여 장애인 단말(20) 및 수화 지원사 단말(30)에 연결되어, 음성 정보에 대한 단어 정보와 매칭되는 수화 영상 데이터 및 자막 데이터를 포함하는 수화 영상 정보를 제공 및 관리하는 웹 서버 장치이다. 상기 자막 데이터는 수화 영상 데이터를 자막 문자로 설명하기 위한 데이터이다. 또한, 상기 수화 서비스 제공 서버(10)는 수화 지원사 단말(30)에 의하여 업로드된 단어 정보에 대한 수화 영상 정보가 미리 저장되어 있고, 외부로부터 제공된 단어 정보와 매칭되는 수화 영상 정보를 추출하여 상기 추출된 수화 영상 정보를 장애인 단말(20)로 제공한다.
상기 수화 서비스 제공 서버(10)는 통신 모듈(110), 신호처리모듈(120), 스트리밍 제공모듈(130), 단어정보 DB(140), 저장 모듈(145), 보안 모듈(150), 단어 정보 추출 모듈(160), 수화 영상 정보 추출 모듈(170), 장애인 관리 모듈(180) 및 제어 모듈(190)을 포함한다.
상기 통신 모듈(110)은 장애인 단말(20) 및 수화 지원사 단말(30)과의 데이터 송수신을 위한 장치로서, 통신망에 정의된 프로토콜 스택을 기반으로 장애인 단말(20) 및 수화 지원사 단말(30)과 소정의 통신채널을 연결하고, 수화 서비스 제공 서버(10)에 구비된 통신 프로그램에 정의된 통신 프로토콜을 이용하여 수화 영상 정보, 장애인 단말(20)의 요청 정보, 수화 지원사 단말(30)의 지원 정보, 수화 영상 데이터 및 자막 데이터 등을 송수신하게 된다. 본 발명에서는 장애인 단말(20) 및 수화 지원사 단말(30)과 데이터 송수신을 위하여 이더넷(ethernet), RS-232C, RS-485, TCP/IP, RS-232, IEEE 1394 등과 같은 유선기술과, IEEE 802.11 WLAN(Wireless Local Area Network), IEEE 802.15 WPAN(Wireless Personal Area Network), UWB(Ultra-WideBand), 와이파이 방식, 지그비 방식, 블루투스 방식, 3G 방식, 4G 방식, LTE 방식 및 그 등가 방식 등의 무선 기술을 적용할 수도 있다.
상기 신호처리모듈(120)은 수화 지원사 단말(30)에 의하여 업로드된 수화 영상 데이터 및 자막 데이터를 신호처리하는 장치이다. 예를 들면, 상기 신호처리모듈(120)은 수화 영상 데이터 및 자막 데이터에 포함된 노이즈 등을 제거할 수 있다.
상기 스트리밍 제공모듈(130)은 신호처리모듈(120)에 의하여 신호처리된 수화 영상 데이터 및 자막 데이터를 장애인 단말(20)로 스트리밍하는 장치이다. 즉, 상기 스트리밍 제공모듈(130)은 단어 정보에 대한 수화 영상 데이터 및 자막 데이터를 인코딩하여 상기 인코딩된 데이터를 스트리밍(streaming) 방식으로 장애인 단말(20)에 제공한다.
상기 단어정보 DB(140)는 수화표준사전에 기록된 단어 정보가 포함되어 있다. 또한, 상기 단어정보 DB(140)는 수화표준사전에 기록된 단어정보가 포함된 단어정보가 저장됨과 아울러, 수화표준사전에 기록되지 않은 방언, 사투리, 외래어 및 외극어에 대한 특수단어정보도 저장될 수 있다.
상기 저장 모듈(145)은 통신 모듈(110)에 의하여 송수신되는 데이터를 저장하되, 장애인 및 수화 지원사의 등록 정보, 수화 지원사 단말(30)에 의하여 업로드되는 단어 정보 별 수화 영상 데이터 및 자막 데이터를 저장하는 장치이다. 상기 저장 모듈(145)은 RAM, ROM, EEPROM(Electrically Erasable and Programmable Read Only Memory), SDRAM(Synchronous Dynamic Random Access Memory) 또는 HDD로 구성될 수 있으나, 이는 본 발명은 저장 장치의 종류를 한정하는 것은 아니다.
상기 보안 모듈(150)은 장애인 단말(20)로부터 제1 암호화 정보를 수신하고, 제1 암호화 정보에 포함된 암호화 키를 복원하고, 상기 복원된 암호화 키와 장애인 단말(20)에 의하여 요청된 수화 영상 정보를 암호화하여 장애인 단말(20)에 제공한다.
상기 보안 모듈(150)은 공유 여부 결정부(151), 암호화 정보 분석부(152), 암호화 명령 생성부(153) 및 암호화 데이터 생성부(154)를 포함할 수 있다.
상기 공유 여부 결정부(151)는 장애인 단말(20)로부터 요청된 수화 영상 정보의 공유 여부를 결정한다. 상기 수화 서비스 제공 서버(10)가 장애인 단말(20)로부터 요청된 데이터의 공유를 원하지 않는 경우에는 요청된 데이터를 일반 데이터를 암호화하는 방식으로 암호화하게 된다.
상기 암호화 정보 분석부(152)는 장애인 단말(20)로부터 수신된 제1 암호화 정보를 분석한다. 즉, 상기 암호화 정보 분석부(152)는 제1 암호화 정보에 포함된 칩 일련번호 정보를 조회하고, 해당 위치 정보를 생성한다.
상기 암호화 명령 생성부(153)는 제1 암호화 정보의 분석 결과에 따라 암호화 명령을 생성한다. 즉, 상기 암호화 명령 생성부(153)는 제1 암호화 정보에 포함된 칩 일련번호가 조회되어 해당 위치 정보가 생성되는 경우, 암호화 명령을 생성한다.
상기 암호화 데이터 생성부(154)는 제1 암호화 정보에 포함된 암호화키와 장애인 단말(20)로부터 공유 요청된 데이터를 암호화하여 데이터를 생성한다. 상기 암호화된 데이터는 변형 키를 생성하는 레퍼런스 데이터를 포함할 수 있다. 상기 암호화된 데이터는 아이디, 칩 일련번호, 위치정보, 및 장애인 단말(20)의 공유 요청 데이터를 포함할 수 있다.
또한, 상기 암호화 데이터 생성부(154)는 상기 암호화된 데이터에 매번 다른 레퍼런스 데이터를 다른 위치에 패딩시켜 세션 키 사용효과를 가질 수 있다. 이와 같이, 상기 암호화 데이터 생성부(154)에 의하여 암호화가 정상적으로 동작되면 암호화된 데이터에 헤더를 구성하고, 통신 모듈(110)을 통하여 헤더가 부가된 암호화 데이터를 장애인 단말(20)로 전송하게 된다.
상기 단어 정보 추출 모듈(160)은 장애인 단말(20)로부터 제공된 단어 정보와 단어정보 DB(140)에 저장된 단어 정보를 비교 분석하여 매칭되는 단어 정보를 추출하는 장치이다. 즉, 상기 단어 정보 추출 모듈(160)은 장애인 단말(20)의 음성 분리부(230)에 의하여 객체화된 단위별로 단어정보 DB(140)에 저장된 단어 정보와 매칭되는 부분을 비교 검색하고, 장애인 단말(20)의 음성 분리부(230)에 의하여 객체화된 단위별로 비교 검색된 단어 정보에 일치하도록 파싱처리하여 매칭되는 단어 정보를 단어정보 DB(140)에서 추출할 수 있다.
상기 수화 영상 정보 추출 모듈(170)은 단어 정보 추출 모듈(160)에 의하여 추출된 단어 정보와 저장 모듈(145)에 저장된 단어 정보별 수화 영상 데이터 및 자막 데이터를 비교 분석하여 매칭되는 수화 영상 데이터 및 자막 데이터를 추출한다. 이와 같이 추출된 수화 영상 데이터 및 자막 데이터는 본 수화 자동 번역 서비스를 요청한 장애인 단말(20)에 제공된다.
상기 장애인 관리 모듈(180)은 수화 영상 정보를 요청하는 장애인 정보를 등록 및 관리하는 장치로서, 본 서비스를 이용하는 장애인의 인증 및 권한 부여 등에 관하여 총체적으로 관리할 수 있다. 또한, 상기 장애인 관리 모듈(180)은 장애인의 아이디에 따라 장애인과 비장애인으로 자동으로 나뉘어 로그인되도록 할 수 있다. 또한, 상기 장애인 관리 모듈(180)은 그림판 및 웹공유 기능을 포함하는 편의기능을 장애인 단말(20)에 제공할 수 있다. 즉, 상기 장애인 관리 모듈(180)은 장애인의 정보를 등록 및 관리하는 기능 이외에도, 그림판 또는 웹 공유 기능을 추가하여 수화 영상 정보에 필요한 외부 데이터를 사용하도록 할 수 있다. 아울러, 상기 장애인 관리 모듈(180)은 정보 검색, 커뮤니티, 메일, 메신저, SMS, 블로그(컨텐츠 제작) 등의 기능을 두어 활용도를 높이고 장애인의 편의를 도모할 수 있다.
상기 제어 모듈(190)은 장애인 단말(20)과 수화 지원사 단말(30)에 수화 자동 번역 어플리케이션을 제공하고, 각 구성들(즉, 통신 모듈(110), 신호처리모듈(120), 스트리밍 제공모듈(130), 단어정보 DB(140), 저장 모듈(145), 보안 모듈(150), 단어 정보 추출 모듈(160), 수화 영상 정보 추출 모듈(170), 장애인 관리 모듈(180))의 동작을 제어하는 장치이다. 상기 수화 자동 번역 어플리케이션은 본 수화 자동 번역 서비스를 제공하는 업체가 프로그래밍하여 앱스토어 또는 안드로이드 마켓 등과 같은 웹 마켓 상에 업로드되는 것으로서, 해당 웹 마켓 상에서 장애인 단말(20) 또는 수화 지원사 단말(30)이 이를 다운로드받아 설치한 후, 본 수화 자동 번역 서비스를 제공받게 된다.
상기 장애인 단말(20)은 수화 서비스 제공 서버(10)에 접속하여 수화 자동 번역 서비스를 요청하고, 수화 지원사 단말(30)에 의하여 업로드된 수화 영상 정보 중 원하는 단어 정보에 매칭되는 수화 영상 정보를 수신하여 출력하는 장치이다. 즉, 상기 장애인 단말(20)은 수화 자동 번역 어플리케이션을 탑재하고, 수화 자동 어플리케이션의 실행에 의하여 외부에서 입력되는 음성 정보를 인식하고, 음성 정보를 단어 정보로 변환하여 수화 서비스 제공 서버(10)에 제공하며, 수화 서비스 제공 서버(10)로부터 단어 정보에 대한 수화 영상 정보를 수신하여 출력한다. 이러한 장애인 단말(20)은 유무선 인터페이스를 구비하여 유무선 인터넷 통신이 가능하도록 웹의 내용을 디스플레이 할 수 있는 인터넷 브라우저를 구비하고 있고, 외부 단말 장치와 연결되어 이미지, 동영상, 음향 데이터의 송수신이 가능하며, 이러한 동작을 구현하는 어플리케이션 구동이 가능한 장치로서, 스마트폰 뿐만 아니라 PDA(Personal Digital Assistant), HPC(Hand Personal Computer), 웹패드, 노트북, WAP(Wireless Application Protocol)폰, 팜PC, e-Book단말기, HHT(Hand Held Terminal) 등의 개인 정보 단말기를 포함할 수 있다.
상기 장애인 단말(20)은 제1 통신부(210), 음성인식부(220), 음성분리부(230), 제1 촬영부(240), 영상 정보 전송부(245), 제1 정보 입력부(250), 데이터 공유 요청부(251), 암호화 데이터 분석부(252), 복호화 명령 생성부(253), 일련번호 비교부(254), 데이터 복호화부(260), 사용자 인증부(270), 제1 디스플레이부(280) 및 제1 제어부(290)를 포함한다.
상기 제1 통신부(210)는 수화 서비스 제공 서버(10)와의 데이터 송수신을 위한 장치로서, 통신망에 정의된 프로토콜 스택을 기반으로 수화 서비스 제공 서버(10)와 소정의 통신채널을 연결하고, 수화 서비스 제공 서버(10)에 구비된 통신 프로그램에 정의된 통신 프로토콜을 이용하여 장애인 단말(20)의 요청 정보, 수화 영상 데이터 및 자막 데이터 등을 송수신하게 된다. 본 발명에서는 수화 서비스 제공 서버(10)와 데이터 송수신을 위하여 이더넷, RS-232C, RS-485, TCP/IP, RS-232, IEEE 1394 등과 같은 유선기술과, IEEE 802.11 WLAN, IEEE 802.15 WPAN, UWB, 와이파이 방식, 지그비 방식, 블루투스 방식, 3G 방식, 4G 방식, LTE 방식 및 그 등가 방식 등의 무선 기술을 적용할 수도 있다. 상기 음성인식부(220)는 일상 대화 등의 상황에서 외부에서 입력되는 음성 정보를 마이크 등의 입력수단을 통하여 인식하는 장치이다. 상기 음성인식부(220)는 음성 정보를 특정의 단어 또는 문장으로 인식하는 기능을 수행한다. 상기 음성인식부(220)는 공지의 다양한 방법을 이용하여 음성 정보를 인식할 수 있다. 예를 들면, 상기 음성인식부(220)는 HMM 방법에 의해 인식할 수 있다. 상기 HMM(Hidden Markov Model)방법은 음성 인식을 위한 기본 단위(음소)를 모델링하는 방법으로서, 음성인식부(220)로 인식되는 음소와 음성인식부(220) 내에 별도로 마련되는 데이터베이스 등이 갖고 있는 음소를 결합해 단어와 문장을 만드는 방법으로 음성을 인식할 수 있다. 이러한 HMM방법은 관측 불가능한 프로세스를 관측 가능한 다른 프로세스를 통해 추정하는 이중 확률처리 방법으로 음성을 인식하는 방식으로서, 음성 인식의 최소단위(음소)를 모델링하므로 다른 방법보다 인식률이 높다는 장점이 있다. 또한, 상기 음성인식부(220)는 외부로부터 입력되는 음성 정보 중 특정 주파수 대역의 음성을 제거하고, 상기 제거된 음성 정보를 인식할 수 있다.
상기 음성분리부(230)는 음성인식부(220)에 의하여 인식된 음성 정보를 띄어쓰기 단위로 분리하여 객체화하는 장치이다. 예를 들면, 상기 음성분리부(230)는 음성인식부(220)에 의하여 인식된 문구가 "아버지가 방에 들어가신다"인 경우, "아버지", "방", "들어가신다"로 분리하여 객체화할 수 있다.
상기 제1 촬영부(240)는 본 수화 자동 번역 서비스를 요청하는 장애인의 영상을 촬영하는 장치로서, 적어도 하나의 웹 캠 카메라일 수 있다. 상기 제1 촬영부(240)는 장애인과 수화 서비스 제공 서버(10)의 관리자 또는 수화 지원사와 일대일로 영상을 보면서 대화 가능하도록 할 수 있다. 본 발명에서는 제1 촬영부(240)를 통하여 장애인으로 하여금 상황 설명 또는 문의 사항 질의가 가능하도록 할 수 있고, 이를 통하여 장애인 스스로 적극적으로 대화에 참여할 수 있도록 할 수 있다.
상기 영상 정보 전송부(245)는 제1 촬영부(240)에 의하여 촬영된 영상과 출력되는 영상에 대한 장애인의 질문 영상을 수화 서비스 제공 서버(10)에 전송한다.
상기 제1 정보 입력부(250)는 장애인의 등록 정보를 입력하고, 장애인이 원하는 질문 데이터를 입력하는 장치이다. 본 발명에서는 제1 정보 입력부(250)를 통하여 장애인이 원하는 질문 데이터를 입력하도록 하여, 그 질문 데이터에 따라 수화 지원사 단말(30)에 의하여 변환된 수화 영상 데이터 및 자막 데이터를 제공받을 수 있다.
상기 데이터 공유 요청부(251)는 수화 서비스 제공 서버(10)에 원하는 수화 영상 정보에 대한 공유를 요청한다. 이러한 데이터 공유 요청부(251)는 본 수화 자동 번역 서비스를 제공받기 위한 수화 영상 정보 중 원하는 수화 영상 데이터와 자막 데이터의 공유 요청 정보를 수화 서비스 제공 서버(10)로 전송할 수 있다.
상기 암호화 데이터 분석부(252)는 수화 서비스 제공 서버(10)로부터 전송된 암호화된 데이터를 분석한다. 즉, 상기 암호화 데이터 분석부(252)는 수화 서비스 제공 서버(10)에 의하여 칩 일련번호를 이용한 암호화 키와 장애인이 원하는 데이터를 암호화된 데이터를 수신하여 데이터 헤더 등을 분석한다.
상기 복호화 명령 생성부(253)는 수화 서비스 제공 서버(10)로부터 전송된 암호화된 데이터의 분석 결과에 따라 복호화 명령을 생성한다. 즉, 상기 복호화 명령 생성부(253)는 암호화 데이터 분석부(252)에 의하여 데이터 헤더 등이 정상인 것으로 판단되는 경우 복호화 명령을 생성하게 된다.
상기 일련번호 비교부(254)는 수화 서비스 제공 서버(10)로부터 전송된 암호화된 데이터에 포함된 암호화 키와 장애인 단말(20)의 암호화 키를 비교한다. 즉, 상기 일련번호 비교부(254)는 수화 서비스 제공 서버(10)에 의하여 암호화된 데이터에 포함되어 있는 암호화 키에서의 칩 일련번호와 장애인 단말(20)에 저장되어 있는 칩 일련번호가 일치하는지 여부를 비교 판단한다. 상기 암호화 키는 장애인 단말(20)에 구비된 스마트 카드의 칩 일련번호일 수 있다.
상기 데이터 복호화부(260)는 수화 서비스 제공 서버(10)로부터 전송된 암호화된 데이터에 포함된 암호화 키와 장애인 단말(20)의 암호화 키가 일치하는 경우, 암호화된 데이터를 복호화한다.
상기 사용자 인증부(270)는 장애인의 등록 정보를 기초로 사용자를 인증하는 장치로서, 수화 서비스 제공 서버(10)에 로그인 또는 자동 로그인되도록 하는 장치이다. 이를 위하여 상기 사용자 인증부(270)는 장애인 정보(예를 들면 아이디, 패스워드 등)의 입력을 통하여 로그인될 수 있다.
상기 제1 디스플레이부(280)는 제1 통신부(210)에 의하여 송수신되는 데이터를 표시하는 장치로서, LCD(Liquid Crystal Display), LED(Liquid Emitting Diode), OLED(Organic LED), AMOLED(Active Matrix OLED) 방식을 사용할 수 있다. 또한, 상기 제1 디스플레이부(280)는 수화 영상 데이터 및 자막 데이터를 출력할 수 있고, 특히 확대 및 축소 버튼을 통하여 글씨 크기 및 창 크기 등을 장애인의 기호에 맞게 조절할 수 있도록 설계되어 있다. 또한, 상기 제1 디스플레이부(280)는 전체적으로 시각적인 효과를 주기 위하여 심플하고 컬러감있게 구성될 수 있고, 또한 기본 메뉴는 아이콘으로 구분되도록 설계될 수 있다.
상기 제1 제어부(290)는 수화 자동 번역 어플리케이션이 탑재되고, 상기 수화 자동 번역 어플리케이션의 실행에 의하여 각 구성들(즉, 제1 통신부(210), 음성인식부(220), 음성분리부(230), 제1 촬영부(240), 영상 정보 전송부(245), 제1 정보 입력부(250), 데이터 공유 요청부(251), 암호화 데이터 분석부(252), 복호화 명령 생성부(253), 일련번호 비교부(254), 데이터 복호화부(260), 사용자 인증부(270), 제1 디스플레이부(280))의 동작을 제어하는 장치이다.
상기 수화 지원사 단말(30)은 장애인 단말(20)에 의하여 요청된 단어 정보에 대한 수화 영상 데이터 및 자막 데이터를 생성하여 수화 서비스 제공 서버(10)에 제공하는 장치이다. 이러한 수화 지원사 단말(30)은 수화 자동 번역 어플리케이션을 실행할 수 있는 이동 통신단말기, 이동 전화기, 개인 정보 단말기(PDA: Personal Digital Assistant), 스마트 폰(Smart Phone), IMT-2000(International Mobile Telecommunication 2000) 단말기, CDMA-2000(Code Division Multiple Access 2000) 단말기, UMTS(Universal Mobile Telecommunication Service), 노트북(Notebook), 퍼스널 컴퓨터(Personal Computer) 및 PMP(Potable Multimedia Player)등과 같은 정보통신 기기 및 멀티미디어 기기와, 그에 대한 응용에도 적용될 수 있음을 자명할 것이다.
상기 수화 지원사 단말(30)은 제2 통신부(310), 제2 촬영부(320), 제2 정보 입력부(330), 자막 지원부(340), 디지털 편집부(350), 수화 영상 업로드부(360), 제2 디스플레이부(370) 및 제2 제어부(380)를 포함한다.
상기 제2 통신부(310)는 수화 서비스 제공 서버(10)와의 데이터 송수신을 위한 장치로서, 통신망에 정의된 프로토콜 스택을 기반으로 수화 서비스 제공 서버(10)와 소정의 통신채널을 연결하고, 수화 서비스 제공 서버(10)에 구비된 통신 프로그램에 정의된 통신 프로토콜을 이용하여 오디오 데이터 등을 송수신하게 된다. 본 발명에서는 수화 서비스 제공 서버(10)와 데이터 송수신을 위하여 이더넷, RS-232C, RS-485, TCP/IP, RS-232, IEEE 1394 등과 같은 유선기술과, IEEE 802.11 WLAN, IEEE 802.15 WPAN, UWB, 와이파이 방식, 지그비 방식, 블루투스 방식, 3G 방식, 4G 방식, LTE 방식 및 그 등가 방식 등의 무선 기술을 적용할 수도 있다.
상기 제2 촬영부(320)는 단어 정보 별로 수화 지원사가 수행하는 수화 영상을 촬영하는 장치로서, 적어도 하나의 웹 캠 카메라일 수 있다.
상기 제2 정보 입력부(330)는 수화 서비스 제공 서버(10)에 접속하여 수화 지원사의 등록 정보 및 인증 정보를 입력하고, 수화 영상에 대한 교육 정보(즉, 수화 영상 정보 또는 질문에 대한 대화 영상 정보 등)를 입력하는 장치이다. 상기 제2 정보 입력부(330)는 수화 지원사로부터 장애인의 대화 활동을 돕기 위한 지원 및 등록 정보를 입력받는다.
상기 자막 지원부(340)는 수화 영상에 대한 부연 설명을 자막 데이터로 변환하는 장치로서, 수화 영상 데이터를 수화 지원사에 위하여 자막 데이터로 변환하여 입력된다.
상기 디지털 편집부(350)는 수화 영상 및 자막 데이터를 편집하여 수화 수화 서비스 제공 서버(10)에 제공될 영상 정보를 생성하는 장치이다. 상기 디지털 편집부(350)는 디지털 편집 시스템을 구축하여 제2 촬영부(320)에 의한 영상 및 음성 정보를 편집할 수 있다.
상기 수화 영상 업로드부(360)는 수화 영상 정보를 수화 서비스 제공 서버(10)에 업로드하는 장치이다.
상기 제2 디스플레이부(370)는 제2 통신부(310)에 의하여 송수신되는 데이터를 표시하는 장치로서, LCD, LED, OLED, AMOLED 방식이 사용될 수 있다.
상기 제2 제어부(380)는 수화 자동 번역 어플리케이션이 탑재되고, 상기 수화 자동 번역 어플리케이션의 실행에 의하여 각 구성들(즉, 제2 통신부(310), 제2 촬영부(320), 제2 정보 입력부(330), 자막 지원부(340), 디지털 편집부(350), 수화 영상 업로드부(360), 제2 디스플레이부(370))의 동작을 제어하는 장치이다.
이상에서 설명한 것은 본 발명에 의한 청각 장애인용 수화 자동 번역 제공 시스템을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
10: 수화 서비스 제공 서버 20: 장애인 단말
30: 수화 지원사 단말 110: 통신 모듈
120: 신호처리모듈 130: 스트리밍 제공모듈
140: 단어정보 DB 145: 저장 모듈
150: 보안 모듈 151: 공유 여부 결정부
152: 암호화 정보 분석부 153: 암호화 명령 생성부
154: 암호화 데이터 생성부 160: 단어 정보 추출 모듈
170: 수화 영상 정보 추출 모듈 180: 장애인 관리 모듈
190: 제어 모듈 210: 제1 통신부
220: 음성인식부 230: 음성분리부
240: 제1 촬영부 245: 영상 정보 전송부
250: 제1 정보 입력부 251: 데이터 공유 요청부
252: 암호화 데이터 분석부 253: 복호화 명령 생성부
254: 일련번호 비교부 260: 데이터 복호화부
270: 사용자 인증부 280: 제1 디스플레이부
290: 제1 제어부 310: 제2 통신부
320: 제2 촬영부 330: 제2 정보 입력부
340: 자막 지원부 350: 디지털 편집부
360: 수화 영상 업로드부 370: 제2 디스플레이부
380: 제2 제어부

Claims (11)

  1. 단어 정보에 대한 수화 영상 정보가 미리 저장되어 있고, 외부로부터 제공된 단어 정보와 매칭되는 수화 영상 정보를 추출하여 상기 추출된 수화 영상 정보를 제공하는 수화 서비스 제공 서버; 및
    수화 자동 번역 어플리케이션을 탑재하고, 상기 수화 자동 어플리케이션의 실행에 의하여 외부에서 입력되는 음성 정보를 인식하고, 상기 음성 정보를 단어 정보로 변환하여 상기 수화 서비스 제공 서버에 제공하며, 상기 수화 서비스 제공 서버로부터 상기 단어 정보에 대한 수화 영상 정보를 수신하여 출력하는 장애인 단말;을 포함하고,
    상기 수화 서비스 제공 서버는
    상기 장애인 단말로부터 제1 암호화 정보를 수신하고, 제1 암호화 정보에 포함된 암호화 키를 복원하고, 상기 복원된 암호화 키와 장애인 단말에 위하여 요청된 수화 영상 정보를 암호화하여 장애인 단말에 제공하는 보안 모듈을 포함하며,
    상기 보안 모듈은
    상기 장애인 단말로부터 요청된 수화 영상 정보의 공유 여부를 결정하되, 상기 장애인 단말로부터 요청된 데이터의 공유를 원하지 않는 경우 상기 요청된 데이터를 일반 데이터를 암호화하는 방식으로 암호화하는 공유 여부 결정부;
    상기 장애인 단말로부터 수신된 제1 암호화 정보를 분석하되, 제1 암호화 정보에 포함된 칩 일련번호 정보를 조회하고, 해당 위치 정보를 생성하는 암호화 정보 분석부;
    상기 제1 암호화 정보의 분석 결과에 따라 암호화 명령을 생성하되, 제1 암호화 정보에 포함된 칩 일련번호가 조회되어 해당 위치 정보가 생성되는 경우에 암호화 명령을 생성하는 암호화 명령 생성부; 및
    상기 제1 암호화 정보에 포함된 암호화키와 장애인 단말로부터 공유 요청된 데이터를 암호화하여 데이터를 생성하는 암호화 데이터 생성부를 포함하고,
    상기 암호화된 데이터는 변형 키를 생성하는 레퍼런스 데이터를 포함하며,
    상기 장애인 단말은
    상기 수화 서비스 제공 서버에 원하는 수화 영상 정보에 대한 공유를 요청하는 데이터 공유 요청부;
    상기 수화 서비스 제공 서버로부터 전송된 암호화된 데이터를 분석하는 암호화 데이터 분석부;
    상기 수화 서비스 제공 서버로부터 전송된 암호화된 데이터의 분석 결과에 따라 복호화 명령을 생성하는 복호화 명령 생성부;
    상기 수화 서비스 제공 서버로부터 전송된 암호화된 데이터에 포함된 암호화 키와 장애인 단말의 암호화 키를 비교하는 일련번호 비교부; 및
    상기 수화 서비스 제공 서버로부터 전송된 암호화된 데이터에 포함된 암호화 키와 장애인 단말의 암호화 키가 일치하는 경우, 암호화된 데이터를 복호화하는 데이터 복호화부를 포함하는 것을 특징으로 하는 청각 장애인용 수화 자동 번역 제공 시스템.
  2. 청구항 1에 있어서,
    상기 수화 영상 정보는 수화 영상 데이터와 상기 수화 영상 데이터에 대한 자막 데이터를 포함하는 것을 특징으로 하는 청각 장애인용 수화 자동 번역 제공 시스템.
  3. 청구항 1에 있어서,
    상기 단어 정보에 대한 수화 영상 데이터 및 자막 데이터를 생성하여 상기 수화 서비스 제공 서버에 제공하는 수화 지원사 단말을 더 포함하는 것을 특징으로 하는 청각 장애인용 수화 자동 번역 제공 시스템.
  4. 청구항 3에 있어서,
    상기 수화 서비스 제공 서버는
    상기 장애인 단말 및 수화 지원사 단말과의 데이터 송수신을 위한 통신 모듈;
    상기 수화 지원사 단말에 의하여 업로드된 상기 수화 영상 데이터 및 자막 데이터를 신호처리하는 신호처리모듈;
    상기 신호처리된 수화 영상 데이터 및 자막 데이터를 상기 장애인 단말로 스트리밍하는 스트리밍 제공모듈;
    수화표준사전에 기록된 단어 정보가 포함된 단어정보 DB;
    상기 통신 모듈에 의하여 송수신되는 데이터를 저장하되, 상기 장애인 및 수화 지원사의 등록 정보, 상기 수화 지원사 단말에 의하여 업로드되는 단어 정보 별 수화 영상 데이터 및 자막 데이터를 저장하는 저장 모듈;
    상기 장애인 단말로부터 제공된 단어 정보와 상기 단어정보 DB에 저장된 단어 정보를 비교 분석하여 매칭되는 단어 정보를 추출하는 단어 정보 추출 모듈;
    상기 추출된 단어 정보와 상기 저장 모듈에 저장된 단어 정보별 수화 영상 데이터 및 자막 데이터를 비교 분석하여 매칭되는 수화 영상 데이터 및 자막 데이터를 추출하는 수화 영상 정보 추출 모듈;
    상기 수화 영상 정보를 요청하는 장애인 정보를 등록 및 관리하되, 그림판 및 웹공유 기능을 포함하는 편의기능을 상기 장애인 단말에 제공하는 장애인 관리 모듈; 및
    상기 장애인 단말과 수화 지원사 단말에 수화 자동 번역 어플리케이션을 제공하고, 상기 수화 서비스 제공 서버를 구성하는 각 구성들의 동작을 제어하는 제어 모듈을 더 포함하는 것을 특징으로 하는 청각 장애인용 수화 자동 번역 제공 시스템.
  5. 청구항 4에 있어서,
    상기 장애인 단말은
    상기 수화 서비스 제공 서버와의 데이터 송수신을 위한 제1 통신부;
    외부에서 입력되는 음성 정보를 인식하는 음성인식부;
    상기 인식된 음성 정보를 띄어쓰기 단위로 분리하여 객체화하는 음성분리부;
    상기 장애인의 영상을 촬영하는 제1 촬영부;
    상기 촬영된 영상과 출력되는 영상에 대한 장애인의 질문 영상을 전송하는 영상 정보 전송부;
    상기 장애인의 등록 정보를 입력하고, 상기 장애인이 원하는 질문 데이터를 입력하는 제1 정보 입력부;
    상기 장애인의 등록 정보를 기초로 사용자를 인증하는 사용자 인증부;
    상기 제1 통신부에 의하여 송수신되는 데이터를 표시하는 제1 디스플레이부; 및
    수화 자동 번역 어플리케이션이 탑재되고, 상기 수화 자동 번역 어플리케이션의 실행에 의하여 각 구성들의 동작을 제어하는 제1 제어부를 포함하는 것을 특징으로 하는 청각 장애인용 수화 자동 번역 제공 시스템.
  6. 청구항 5에 있어서,
    상기 단어 정보 추출 모듈은 상기 음성 분리부에 의하여 객체화된 단위별로 상기 단어정보 DB에 저장된 단어 정보와 매칭되는 부분을 비교 검색하고, 상기 음성 분리부에 의하여 객체화된 단위별로 상기 비교 검색된 단어 정보에 일치하도록 파싱처리하여 매칭되는 단어 정보를 추출하는 것을 특징으로 하는 청각 장애인용 수화 자동 번역 제공 시스템.
  7. 청구항 5에 있어서,
    상기 음성인식부는 외부로부터 입력되는 음성 정보 중 특정 주파수 대역의 음성을 제거하고, 상기 제거된 음성 정보를 인식하는 것을 특징으로 하는 청각 장애인용 수화 자동 번역 제공 시스템.
  8. 청구항 3에 있어서,
    상기 수화 지원사 단말은
    상기 수화 서비스 제공 서버와의 데이터 송수신을 위한 제2 통신부;
    상기 단어 정보 별로 수화 지원사가 수행하는 수화 영상을 촬영하는 제2 촬영부;
    상기 수화 서비스 제공 서버에 접속하여 상기 수화 지원사의 등록 정보 및 인증 정보를 입력하고, 상기 수화 영상에 대한 교육 정보를 입력하는 제2 정보 입력부;
    상기 수화 영상에 대한 부연 설명을 자막 데이터로 변환하는 자막 지원부;
    상기 수화 영상 및 자막 데이터를 편집하여 상기 수화 영상 정보를 생성하는 디지털 편집부;
    상기 수화 영상 정보를 상기 수화 서비스 제공 서버에 업로드하는 수화 영상 업로드부;
    상기 제2 통신부에 의하여 송수신되는 데이터를 표시하는 제2 디스플레이부; 및
    수화 자동 번역 어플리케이션이 탑재되고, 상기 수화 자동 번역 어플리케이션의 실행에 의하여 각 구성들의 동작을 제어하는 제2 제어부를 포함하는 것을 특징으로 하는 청각 장애인용 수화 자동 번역 제공 시스템.
  9. 삭제
  10. 삭제
  11. 삭제
KR1020140007097A 2014-01-21 2014-01-21 청각 장애인용 수화 자동 번역 제공 시스템 KR101542130B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140007097A KR101542130B1 (ko) 2014-01-21 2014-01-21 청각 장애인용 수화 자동 번역 제공 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140007097A KR101542130B1 (ko) 2014-01-21 2014-01-21 청각 장애인용 수화 자동 번역 제공 시스템

Publications (2)

Publication Number Publication Date
KR20150086902A KR20150086902A (ko) 2015-07-29
KR101542130B1 true KR101542130B1 (ko) 2015-08-06

Family

ID=53876341

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140007097A KR101542130B1 (ko) 2014-01-21 2014-01-21 청각 장애인용 수화 자동 번역 제공 시스템

Country Status (1)

Country Link
KR (1) KR101542130B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102142033B1 (ko) * 2019-06-26 2020-08-06 주식회사 샘물정보통신 수화 통역 검증 시스템
KR102644927B1 (ko) 2023-10-10 2024-03-06 한규범 수어 통역 서비스를 제공하는 온라인 다방향 소통 시스템

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102450803B1 (ko) * 2016-02-11 2022-10-05 한국전자통신연구원 양방향 수화 번역 장치 및 장치가 수행하는 양방향 수화 번역 방법
CN106254960A (zh) * 2016-08-30 2016-12-21 福州瑞芯微电子股份有限公司 一种用于沟通障碍的视频通话方法和系统
CN106375307A (zh) * 2016-08-30 2017-02-01 安徽易辰无障碍科技有限公司 一种抢单式视频云服务无障碍交流方法及系统
KR102408941B1 (ko) * 2020-10-07 2022-06-14 ㈜ 한국공학기술연구원 수어 통역을 제공하는 양방향 대화 시스템
KR102440894B1 (ko) * 2021-12-10 2022-09-06 주식회사 위아프렌즈 수어 동영상에 자막을 추가하는 시스템용 데이터베이스 구축 방법 및 이를 이용한 데이터베이스 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102142033B1 (ko) * 2019-06-26 2020-08-06 주식회사 샘물정보통신 수화 통역 검증 시스템
KR102644927B1 (ko) 2023-10-10 2024-03-06 한규범 수어 통역 서비스를 제공하는 온라인 다방향 소통 시스템

Also Published As

Publication number Publication date
KR20150086902A (ko) 2015-07-29

Similar Documents

Publication Publication Date Title
KR101542130B1 (ko) 청각 장애인용 수화 자동 번역 제공 시스템
JP6902136B2 (ja) システムの制御方法、システム、及びプログラム
US10885318B2 (en) Performing artificial intelligence sign language translation services in a video relay service environment
KR101917648B1 (ko) 단말 및 그 제어 방법
US11114091B2 (en) Method and system for processing audio communications over a network
US20200265197A1 (en) Language translation device and language translation method
WO2016165590A1 (zh) 语音翻译方法及装置
JP2006190296A (ja) マルチメディア通信システムにおけるコンテキスト抽出及びこれを用いた情報提供装置及び方法
US9110888B2 (en) Service server apparatus, service providing method, and service providing program for providing a service other than a telephone call during the telephone call on a telephone
KR102263154B1 (ko) 스마트 미러 기반 얼굴 감성 표현 시스템 및 그 운용방법
KR102549204B1 (ko) 음성인식 서비스를 제공하는 단말, 서버 및 방법
JP2016006607A (ja) 対話型通信システム、端末装置およびプログラム
CN110915239B (zh) 用于助听器用户的在线自动音频转录
US20130262079A1 (en) Machine language interpretation assistance for human language interpretation
CN104135569B (zh) 进行求助的方法、处理求助的方法及智能移动设备
CN207718803U (zh) 多信源语音区分识别系统
KR20200062004A (ko) 외국어 자가학습 지원 단말 및 그 방법
KR101351264B1 (ko) 음성인식 기반의 메시징 통역서비스 제공 시스템 및 그 방법
US10008128B1 (en) Systems and methodologies for assisting communications
US9277051B2 (en) Service server apparatus, service providing method, and service providing program
US11848026B2 (en) Performing artificial intelligence sign language translation services in a video relay service environment
KR20190002386A (ko) 캐릭터 서비스 시스템에서의 캐릭터 서비스를 제공하기 위한 장치
KR102207006B1 (ko) 글로벌 소셜 외국어 학습 제공 방법, 이를 수행하는 글로벌 소셜 외국어 학습 제공 서버, 및 이를 저장하는 기록매체
KR20130106235A (ko) 청각장애인을 위한 의사 소통장치
WO2020026360A1 (ja) コンピュータシステム、画面共有方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
LAPS Lapse due to unpaid annual fee