KR20200046665A - 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템 - Google Patents
동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템 Download PDFInfo
- Publication number
- KR20200046665A KR20200046665A KR1020180128143A KR20180128143A KR20200046665A KR 20200046665 A KR20200046665 A KR 20200046665A KR 1020180128143 A KR1020180128143 A KR 1020180128143A KR 20180128143 A KR20180128143 A KR 20180128143A KR 20200046665 A KR20200046665 A KR 20200046665A
- Authority
- KR
- South Korea
- Prior art keywords
- translation
- language
- sign language
- interpretation
- avatar
- Prior art date
Links
- 238000013519 translation Methods 0.000 title claims abstract description 163
- 230000033001 locomotion Effects 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 claims description 15
- 230000005057 finger movement Effects 0.000 claims 1
- 241000251468 Actinopterygii Species 0.000 description 17
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 8
- 238000003908 quality control method Methods 0.000 description 7
- 238000003326 Quality management system Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 206010041235 Snoring Diseases 0.000 description 5
- 230000009471 action Effects 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000001771 impaired effect Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000036571 hydration Effects 0.000 description 1
- 238000006703 hydration reaction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
-
- G06K9/00355—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Child & Adolescent Psychology (AREA)
- Educational Administration (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
- Information Transfer Between Computers (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 농인에게 동작인식 센서들이 부착된 장갑형태의 수어인식장치를 착용하도록 하거나 농인들의 손모양에 의한 수어를 인식하는 동작인식 센서를 통해 농인들의 수어를 통역하여 아바타 형태로 디스플레이 장치에 표현하고, 일반인이나 민원 담당자의 답변을 아바타 형태의 인물을 손을 통해 디스플레이 장치에서 농인에게 디스플레이하도록 하여 농인과 일반인이나 민원담당자간 원할한 수어 통역 및 번역 서비스가 가능한 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템에 관한 것으로, 게시판(홈페이지)이 선택되거나, 텍스트를 입력하면 수어를 애니메이션으로 구성하여 아바타로 재생하는 수어 번역 시스템; 수어를 못하는 일반인이 텍스트를 입력하면 아바타 에니메이션을 통해 디스플레이하고, 농인의 손가락 움직임에 대하여 이를 텍스트로 전환하여 디스플레이하는 수어 통역 시스템; 상기 수어 번역 시스템과 수어 통역 시스템의 품질 향상에 이용되는 수어 통역/번역 서버; 상기 수어 번역 시스템과 수어 통역 시스템의 수어 번역과 통역에 필요한 각종 데이터를 제공하는 데이터베이스; 및 농인이 손에 착용하는 것으로, 내장된 센서에서 손동작의 움직임을 인식하는 다수의 동작인식센서로 구성되어 농인이 손에 착용한 후 수어를 구사하면 상기 수어 통역 시스템에서 해당 동작을 인식하여 텍스트로 통역될 수 있도록 하는 동작인식장치;를 포함하여 구성된다.
Description
본 발명은 한국수화언어(이하, 한국수어) 통역/번역 서비스에 관한 것으로, 더욱 상세하게는 동작인식(Motion Recognition)장치를 통해 입력된 한국수어의 동작을 한국어로 변환하여 청인에게 제공하고 또한 청인이 문장이나 단어로 표현하는 한국어를 한국수어로 변환하여 농인이 이해할 수 있는 3D 아바타의 디스플레이를 통해 제공하는 한국수어 통역/번역 서비스 시스템에 관한 것이다.
한국수어는 손의 모양과 움직임, 몸동작 및 표정 등으로 표현하는 농인의 의사전달 방법이다. 그러나 대부분의 청인들은 한국수어를 이해하지 못하기 때문에 농인과 의사 소통을 하기 위해서는 통역사가 필요하다. 그러나, 통역사의 수가 절대적으로 부족하기 때문에 농인들이 일상 생활에서 상시적인 통역사의 도움을 받는다는 것은 현실적으로 많은 어려움이 존재한다.
또한, 한국수어는 손의 모양과 움직임을 이용하는 의사 표시 방법일 뿐 아니라 농인들이 이해하는 고유의 언어이다. 농인에게 국어, 영어 등 청인이 사용하는 언어는 외국어와 마찬가지이기 때문에, 신문, 웹페이지 등 시각적인 문자로 내용을 전달하는 매체일지라도 농인들이 읽고 이해하기 어려운 점이 있다.
다시 말하면 농인이 의사소통을 위해서 사용할 수 있는 수단은 문자와 한국수어를 들 수 있다. 하지만 소리를 듣는 능력이 떨어지는 농인은 소리를 표현하는 문자를 이해하는 것이 매우 어렵기 때문에 문자를 읽고 그 의미를 이해(해독)하는 능력도 떨어진다. 통상적으로 농인이 정상인에 비하여 독해능력 향상 속도가 1/3 수준에 불과한 것으로 보고되어 있다.
즉, 농인에게 한국수어는 문자보다 강력한 의사소통수단 및 정보전달수단이다. 특히 선천적인 농인의 경우 농인을 위한 한국어 교육을 별도로 받지 않으면 한글의 읽기 및 의미해독에 큰 어려움이 있기 때문에 한국수어는 의사소통에 더욱 중요한 수단이 된다.
오늘날 컴퓨터나 스마트폰의 보급 및 인터넷의 사용이 보편화 됨에 따라 청인들은 온라인을 이용하여 인터넷 뱅킹, e-러닝, 민원업무 해결 등 다양한 서비스를 선택할 수 있고 이를 통해 많은 정보를 습득할 수 있지만, 문자로 표현된 온라인상의 정보의 해독이 어려운 농인들은 청인에 비해 정보의 접근 및 취득에 큰 차별을 느낄 수 있다.
최근 이에 따라 모든 공공기관 및 민간 웹사이트의 운영주체는 농인 등 취약계층이 웹사이트를 통하여 원하는 서비스를 이용할 수 있도록 이른바 웹 접근성(web accessibility)을 높이고, 이를 의무적으로 준수하여야 한다.
즉, 웹사이트에서의 정보전달은 대부분 음성과 문자로 표현되는 말과 글로 이루어져서 수어를 주로 사용하는 농인의 교육/학습권, 노동권, 문화향유권, 정보접근권 등을 제한하고, 이러한 제한은 농인들이 사회에서 청인처럼 활동하는 것을 어렵게 하므로 말과 글로 표현된 정보를 수어로 바꾸어 표현 및 전달하여야 한다.
한편, 농인의 웹 접근성을 보장할 수 있는 콘텐츠를 웹 페이지 제작자가 만들기 위해서는 한국어문장을 수어로 번역하는 시스템이 필요하다.
대한민국 등록특허공보 제10-1104777호의 "수어 애니메이션 생성을 위한 시스템 및 방법"에서는 수어 생성 엔진이 3D로 된 아바타 애니메이션을 랜더링(rendering)하기 때문에 그래픽 카드 등에 대한 종속성이 있어서 전용 하드웨어 및 소프트웨어를 갖추어야만 하고, 웹 페이지 제작자가 수어를 직접 습득하거나 수어 통역사의 도움을 받아야만 하는 등 물리적 및 현실적인 한계가 있을 수밖에 없다는 문제가 있었다.
또한 대한민국 공개특허 10-2015-0102148호의 "3D 아바타를 활용한 웹 콘텐츠 기반의 수어 통역 시스템 및 방법"에서는 웹 페이지 제작자가 수어 통역사나 별도의 전용 하드웨어 및 소프트웨어를 구축할 필요 없이 청각, 언어장애인용 수어 웹페이지를 용이하게 제작할 수 있고, 아울러 청각·언어장애인이 인터넷 웹 페이지를 편리하게 이용할 수 있도록 하고 있으나, 이는 단지 청각, 언어장애인이 웹 페이지를 편리하게 이용하는 데만 한정되어 있을 뿐, 청각, 언어 장애인이 민원창구와 같은 현장에 방문했을 경우에는 민원담당자가 청인인 경우 별도의 수어 통역사의 도움을 여전히 받아야 한다는 문제점은 해결하지 못하고 있는 실정이다.
그러므로, 수어를 제1언어로 사용하는 농인은 공공기관 정보에 대한 접근 및 취득이 어렵기 때문에 홈페이지 정보를 수어로 번역하여 제공하는 체계를 개발하여 정보취득 차별화를 해소할 필요가 있고, 또한 공공기관은 방문하는 농인을 위하여 의무적으로 통역사를 배정, 행정 서비스를 제공하여야 하지만 통역사 부족 등의 이유로 그 효과는 미미한 상태이므로, 전용 민원창구를 구축, 농인들이 수어로 의사를 전달하면 이를 통역하여 답변을 즉시 전달할 수 있는 ICT기반의 통역 시스템의 개발이 필요하다.
따라서, 본 발명은 상기와 같은 종래 기술의 제반 단점과 문제점을 해결하기 위한 것으로, 공공기관 민원창구를 방문한 농인은 센서들이 부착된 장갑형태의 동작인식 장치를 착용, 민원내용을 수어를 입력하면 한국수어 통번역 시스템에서는 입력된 농인의 수어를 한국어로 변환하여 민원담당자에게 전달한다.
민원담당자는 전달받은 농인의 민원에 대한 답변을 한국어로 입력하게 되고 이는 한국수어 통번역 시스템을 통해 다시 한국수어로 변환 되어 출력장치를 통해 아바타로 구연된다.
본 발명의 목적은 농인과 일반인이나 민원담당자 등 청인과의 원할한 의사소통이 가능하게 하는 동작인식장치와 아바타를 이용한 한국수어 통역/번역 서비스 시스템을 제공하는데 그 목적이 있다.
상기한 목적을 달성하기 위하여 본 발명의 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템은 한국어로 표현된 게시판(홈페이지)을 선택하거나, 한국어로 텍스트를 입력하면 이를 수어로 변환하고 변환된 수어를 애니메이션으로 구성하여 아바타로 재생하는 수어 번역 시스템; 공공기관 민원상담 창구를 방문한 농인이 표현한 수어를 한국어로 변환하여 민원담당자에게 출력해주는 수어 통역 시스템; 상기 수어 번역 시스템과 수어 통역 시스템의 품질 향상에 이용되는 수어 통역/번역 서버; 상기 수어 번역 시스템과 수어 통역 시스템의 수어 번역과 통역에 필요한 각종 데이터를 제공하는 데이터베이스; 및 농인이 손에 착용하는 것으로, 내장된 다수의 센서에서 손동작의 움직임을 인식하여 농인이 수어를 표현하면 상기 수어 통역 시스템에서 해당 동작을 인식하여 텍스트로 통역될 수 있도록 하는 동작인식장치;를 포함하여 구성됨을 특징으로 한다.
본 발명에 의하면 다음과 같은 효과가 있다.
첫째, 농인이 센서들이 부착된 장갑형태의 동작인식장치를 착용하고 수어를 구현하면 한국수어 통번역 시스템에서는 수어의 인식결과를 한국어로 변환하여 디스플레이 장치에 출력하여 민원담당자에게 제공하고, 농인의 민원에 대한 민원 담당자의 답변 또한 한국수어 통번역 시스템을 통해 수어로 변환되어 아바타 형태의 인물로 출력 장치에서 농인에게 수어로 디스플레이하도록 하여 농인과 일반인이나 민원담당자간 원할한 수어 통역 및 번역 서비스 제공이 가능하다.
둘째, 수어를 제1언어로 사용하는 농인은 공공기관 정보에 대한 접근 및 취득이 용이해지고, 공공기관은 물론 일반기관의 홈페이지 정보를 수어로 번역하여 정보취득 차별화를 해소할 수 있다.
셋째, 공공기관은 방문하는 농인을 위하여 의무적으로 통역사를 배정, 행정 서비스를 제공하는데, 농인들을 위한 전용 민원창구를 구축, 농인들이 수어로 의사를 전달하면 이를 통역한 답변을 즉시 전달할 수 있다.
넷째, 농인 전문 번역사들이 많지 않은 지방 관공서(경찰서, 파출도, 동사무소 등)의 경우 민원인들의 고충을 보다 많이 해결할 수 있다.
도 1은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 수어 번역 시스템을 설명하기 위한 도면이다.
도 3은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템에서 한국어→수어 변환을 위한 형태소 분석 엔진을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 3D 아바타 수어 영상 관리 서비스를 설명하기 위한 도면이다.
도 5는 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 통역 시스템을 설명하기 위한 도면이다.
도 6은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템에서 농인의 수어 동작 수신을 설명하기 위한 도면이다.
도 7은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템에서 농인의 수어 동작 분석을 설명하기 위한 도면이다.
도 8은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 민원관리 서비스를 설명하기 위한 도면이다.
도 9는 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 3D 아바타 수어 영상 관리 서비스를 설명하기 위한 도면이다.
도 10은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 수어 통역/번역 서버에서의 품질관리를 설명하기 위한 도면이다.
도 11은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 단어, 수어 동작 등록 관리의 실시예를 설명하기 위한 도면이다.
도 12는 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 수어 영상, 동영상 오류 등록 관리의 실시예를 설명하기 위한 도면이다.
도 13은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 동작 로그 및 통계 관리 등록의 실시예를 설명하기 위한 도면이다.
도 14는 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 서비스 모니터링 실시 예를 설명하기 위한 도면이다.
도 15는 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 제1실시예를 설명하기 위한 블록 구성도이다.
도 16은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 제2실시예를 설명하기 위한 블록 구성도이다.
도 17은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 수어 통·번역 서버의 실시 예를 설명하기 위한 블록 구성도이다.
도 2는 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 수어 번역 시스템을 설명하기 위한 도면이다.
도 3은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템에서 한국어→수어 변환을 위한 형태소 분석 엔진을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 3D 아바타 수어 영상 관리 서비스를 설명하기 위한 도면이다.
도 5는 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 통역 시스템을 설명하기 위한 도면이다.
도 6은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템에서 농인의 수어 동작 수신을 설명하기 위한 도면이다.
도 7은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템에서 농인의 수어 동작 분석을 설명하기 위한 도면이다.
도 8은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 민원관리 서비스를 설명하기 위한 도면이다.
도 9는 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 3D 아바타 수어 영상 관리 서비스를 설명하기 위한 도면이다.
도 10은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 수어 통역/번역 서버에서의 품질관리를 설명하기 위한 도면이다.
도 11은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 단어, 수어 동작 등록 관리의 실시예를 설명하기 위한 도면이다.
도 12는 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 수어 영상, 동영상 오류 등록 관리의 실시예를 설명하기 위한 도면이다.
도 13은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 동작 로그 및 통계 관리 등록의 실시예를 설명하기 위한 도면이다.
도 14는 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 서비스 모니터링 실시 예를 설명하기 위한 도면이다.
도 15는 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 제1실시예를 설명하기 위한 블록 구성도이다.
도 16은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 제2실시예를 설명하기 위한 블록 구성도이다.
도 17은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 수어 통·번역 서버의 실시 예를 설명하기 위한 블록 구성도이다.
본 발명의 바람직한 실시 예를 첨부된 도면에 의하여 상세히 설명하면 다음과 같다.
아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며 이 경우는 해당되는 발명의 설명부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀두고자 한다. 또한 실시 예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고, 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
본 발명에 따른 수어 통역/번역 서비스 시스템은 수어를 제1언어로 사용하는 농인이 공공기관 정보에 대한 접근 및 취득이 어렵기 때문에 홈페이지 정보를 수어로 번역하여 제공하는 체계를 개발하여 정보취득 차별화를 해소함은 물론, 공공기관을 방문하는 농인을 위하여 전용 민원창구를 구축, 농인들이 수어로 의사를 전달하면 이를 통역하여 답변을 즉시 전달할 수 있는 ICT기반의 통역 시스템에 관한 것이다.
이를 위하여 기본적으로 수어 번역 시스템, 수어 통역 시스템 및 수어 DB의 구축이 필수적이다.
여기서, 수어 번역 시스템은 형태소 분석 엔진을 활용 한국어 단어를 의미가 통하는 수어로 도출하는 번역 프로세스와, 도출된 수어를 3D 동작 애니메이션 표현 프로세스 및 3D 동작애니메이션으로 표현된 영상을 사용자가 재생할 수 있는 UI가 필요하다.
또한 수어 통역 시스템은, 농인의 수어를 인식 가능한 센서식 모션 캡쳐 프로세스와, 인식한 농인의 수어를 기 구축된 수어 DB와 비교, 한국어로 변환하여 민원 담당자에게 전달하는 통역 프로세스 개발이 필요하다.
도 1은 본 발명에 따른 수어 통역/번역 서비스를 설명하기 위한 도면이고, 도 2는 본 발명에 따른 수어 통역/번역 서비스의 홈페이지 번역 시스템의 실시 예를 나타낸 도면이다.
본 발명에 따른 수어 통역/번역 서비스 시스템은 도 1 내지 도 2에 나타낸 바와 같이, 각각 독립된 통역과 번역 두 개의 어플리케이션인 수어 번역 시스템(100), 수어 통역 시스템(200)과 두 어플리케이션을 지원하기 위한 서버인 수어 통역/번역 서버(300), 데이터베이스(400) 및 동작인식장치(500)로 구성된다.
여기서, 수어 번역 시스템(홈페이지 번역 서비스)(100)과 수어 통역 시스템(200)은 미리 정의된 API를 통해 번역과 통역에 필요한 데이터베이스(DB)(400)에 접근하거나 각종 외부 접속 사이트(예를 들면, 대덕구 홈페이지) DB에 접근할 수 있도록 구성된다.
여기서 수어 번역 시스템(100)에서는 공공기관 홈페이지를 상시적으로 정보가 변하지 않는 웹페이지 부분과 정보의 변화가 큰 웹게시판 부분으로 구분하고, 공공기관의 담당자가 각 부분의 정보를 농인이 이해하기 쉬운 한국어로 요약 입력하면 이를 수어로 번역하는 요약분석 엔진(게시판 요약 입력)과 엔진에서 도출된 수어를 수어동작 DB를 참조하여 연속되는 수어(수화)영상을 생성하고 저장하는 수어 영상 생성부(수화영상 서비스)로 구성될 수 있다.
그리고 수어 통역 시스템(200)은 민원창구를 방문한 농인이 민원담당자와 대화를 통한 즉시적인 의사소통을 위한 시스템으로, 기준점 초기화 요청부, 동작모방부, 수어동작 분석 모듈인 통역 요청부, 한국어를 입력하여 한국어를 수어로 번역하기 위한 번역요청부, 아바타 애니메이션이 저장되어 있는 파일 추출부 및 애니메이션을 구성하고 재생하는 수어 재생부로 구성되는 수어 통역 서비스부(210)와, 동작인식장치(500)의 동작인식 센서를 초기화하는 기준점 초기화부와 기준점 정렬부 및 수어인식 센서의 신호를 해석하는 수어인식센서 신호 해석부로 구성되는 WiFi 신호 해석 엔진부(수화인식장치 신호 해석 엔진)(220)로 구성될 수 있다.
수어 통역/번역 서버(300)는 입력된 요약문장의 번역 요청을 받고 분석하는 요약분석 API 모듈, 요약된 한국어 문장의 형태소를 분석하는 모듈과 도출된 한국어 형태소에 상응하는 수어 단어를 추출하는 수화동작 DB매핑 모듈로 구성되는 요약분석 엔진부, 추출된 수어단어를 영상으로 만드는 수화영상 생성부 및 동작인식 장치를 착용한 농인의 수어를 인식하여 수어단어를 추출하고 추출된 수어에 상응하는 한국어로 변환하는 수화통역 엔진부로 구성되는 수어 통·번역 시스템(310)과, 수어단어 관리, 수어동작 관리, 관용적 수어관리, 영상관리, 오류리포팅 관리, 동작로그 관리, 통계 관리 및 시스템 상태 모니터링이 포함되는 수어 통·번역 품질관리 시스템(320)으로 구성된다. 이러한 오류 리포팅, 수어영상 관리는 등록, 수정, 삭제 및 조회가 가능하다.
그에 따라 민원담당자가 입력장치를 통해 텍스트를 입력하면 수어 통·번역 서버(300)에서 형태소를 분석하여 수어로 변환이 가능한 한국어를 도출하고 데이터베이스(400)를 참조하여 상응하는 수어를 출력하는 수어 통역 서비스를 제공하며 이때, 도 4에서와 같이 아바타를 애니메이션으로 구성하여 모니터 등을 통해 디스플레이 한다. 이때, 한국어 형태소 분석은 번역을 요청한 텍스트를 수어에 적합한 형태로 분석-변환하여 미리 구축된 DB로부터 수어 3D 애니메이션 영상의 구성과 재생에 필요한 데이터를 불러올 수 있도록 한다. 그리고 DB에는 수어의 동작 단위를 구성하는 수어동작 DB와 수어동작의 시간별 목록이 들어있는 수어 단어DB로 구성할 수 있다.
데이터베이스(400)는 수어동작을 저장하는 수어 동작 스토리지, 수어영상 스토리지, 수어단어 DB, 수어 동작 DB, 관용적 수어DB, 영상DB, 로그DB 및 통계 DB로 구성된다.
동작인식장치(500)는 농인이 착용하는 것으로, 공공기관이나 은행 등에서 업무를 보고자 하는 경우 농인이 손에 착용한 후 수어를 구사하면 내장된 센서에서 손동작의 움직임을 인식하는 다수의 동작인식센서로 구성되어 있다.
수어 통·번역 시스템(310)은 형태소 분석 엔진(형태소 분석)을 통해 입력된 한국어 품사를 분석하여, 의미를 포함하는 단어의 원형과 고유명사, 시제, 어미, 접사 등으로 분류한다. 형태소 분석 결과를 활용하여 번역이 가능한 수어 단어와 불가능한 비수어 단어로 분리 한다. 수어로 번역이 가능한 한국어 단어는 기 구축된 수어 동작DB를 참조하여 수어로 변환, 영상으로 생성된다. 공공기관 담당자는 예를 들면 PC를 통해 홈페이지 콘텐츠 중 수어정보 제공이 필요한 것으로 판단되는 웹페이지 및 웹게시판을 선택, 내용을 요약하여 입력한다. 입력 내용은 번역 시스템에서 수어로 번역되고 수어 영상은 해당되는 웹 페이지 및 웹 게시판에 아이콘을 통해 수어영상이 있음을 사용자에게 알리게 된다. 사용자가 해당 아이콘은 선택하면 홈페이지상에 수어 영상을 출력하는 플레이어가 별도의 페이지로 나타나고 이를 통해 사용자는 번역 영상을 확인할 수 있고 영상의 오류가 있을 시에는 오류를 등록하고 수정을 요청할 수 있다. 또한 어플리케이션의 품질개선을 위해 관리자는 추출된 동영상 파일을 웹 서버에 업로드하여 오류를 리포팅 하거나 관리할 수 있다. 또한 오류보고나 관리의 오용 및 악의적인 이용을 방지하기 위해 해당 홈페이지의 회원 정보를 활용할 수 있다.
도 3은 본 발명에 따른 수어 통역/번역 서비스 시스템의 형태소 분석 엔진을 설명하기 위한 도면이고, 도 4는 본 발명에 따른 수어 통역/번역 서비스 시스템의 3D 아바타 수어 영상 관리 서비스를 설명하기 위한 도면이다.
본 발명에 따른 수어 통역/번역 서비스 시스템의 형태소 분석 엔진은 도 3에 나타낸 바와 같은데, 한국수어 형태소 변환의 프로세스는 문장단위로 입력된 텍스트를 통상적으로 사용되는 형태소 단위로 분류한 후, 복수의 수어 단어와 수어로 표현할 수 없는 비수어 단어로 분리해서 추출한다. 그리고 추출된 단어는 수어 단어 DB에 들어있는 수어 데이터와 매칭되고 비수어 단어는 표현이 가능한 지화 데이터와 매칭된다. 이를 위하여 앞에서와 같이 수어동작 DB와 수어단어 DB를 구축하였다.
한편 이러한 변환 엔진의 실시 예는 한국어 문장에서 형태소를 분석하여 문장의 단어 및 품사 리스트를 추출한다.
또한 부가정보로 동음이의어 사전(DB에 구축)을 이용하여 동음 이의어를 구분할 필요가 있다.
그에 따라 단어의 의미와 정의되고, 품사 리스트와 부가 정보에 따라 추측, 강조 및 시제가 정리된다.
그에 따라 수어 영상 관리는 수어번역 어플리케이션이 최종적으로 재생한 포멧의 영상을 일반적으로 통용되는 영상 포멧(mp3, avi)으로 변환한 파일로 업로드하여 아바타 디스플레이를 통해 서비스를 제공할 수 있게 된다. 이때, 관리자는 공공기관 홈페이지로부터 파일을 등록, 삭제, 수정, 조회하는 권한을 받고 이 권한을 통해 필요한 영상을 업로드 하거나 오류를 보고할 수 있다.
도 5는 본 발명에 따른 수어 통역/번역 서비스 시스템의 통역 시스템을 설명하기 위한 도면이고, 도 6은 본 발명에 따른 수어 통역/번역 서비스 시스템의 농인의 수어 동작 수신을 설명하기 위한 도면이며, 도 7은 본 발명에 따른 수어 통역/번역 서비스 시스템에서 농인의 수어 동작 분석을 설명하기 위한 도면이다.
본 발명에 따른 수어 통역/번역 서비스 시스템의 통역 시스템은 도 5에 나타낸 바와 같은데, 센서가 장착된 동작인식장치로부터 받아들인 농인의 동작 정보를 바탕으로 미리 구축한 수어 단어DB 및 수어 동작DB와 매칭하여 한국어로 통역하여 주는 것으로, 2분할 화면 출력이 가능한 홀로그램 디스플레이장치를 활용하여 민원담당자와 농인이 각자에게 필요한 화면을 보면서 상호소통이 가능하도록 할 수 있다
이를 위하여 앞에서 설명한 바와 같은 통역 시스템은 민원인인 농인과 민원담당자인 청인 간 민원현장에서 즉시적인 의사소통에 적합한 것으로 신호해석 엔진과 통역 어플리케이션으로 구분된다. 신호해석엔진은 동작인식장치의 초기화를 위한 기준점 초기화부 및 정렬부 그리고 입력된 센서를 통해 인식된 수어의 동작신호 해석부로 구성되어 있다. 그리고 퉁역 어플리케이션은 해석된 동작신호를 다시 수어로 재현하여 농인에게 보여주는 동작모방 모듈과 입력된 수어 동작을 수화소(수형, 수향, 수위, 수동) 단위로 분석하고 기 구축된 수어 단어와 동작DB를 참조하여 농인이 입력한 수어의 한국어 의미를 추출하는 수화소 분석 모듈, 추출된 한국어를 민원담당자가 확인할 수 있도록 디스플레이장치에 자막을 삽입하고, 민원담당자가 한국어를 입력하면 한국어를 수어로 번역하여 농인이 확인할 수 있는 디스플레이 장치에 애니메이션으로 재생하는 수어 재생/자막 삽입 모듈로 구성된다.
도 8은 본 발명에 따른 수어 통역/번역 서비스 시스템의 민원관리 서비스를 설명하기 위한 도면이다.
본 발명에 따른 수어 통역/번역 서비스 시스템의 민원관리 서비스는 도 8에 나타낸 바와 같이, 수어 통역 어플리케이션을 통해 일어난 대화들은 민원 종료 시 자동으로 수어 통번역 서버(300)에 업로드 된다. 업로드된 내용은 DB(품질관리 DB)에 저장되며 저장된 내용들은 통계관리 서비스 예시에 나타낸 바와 같으며, 관리자들이 웹 페이지를 통해 그 로그나 통계를 열람할 수 있도록 한다.
도 9는 본 발명에 따른 수어 통역/번역 서비스 시스템의 3D 아바타 수어 영상 관리 서비스를 설명하기 위한 도면이다.
본 발명에 따른 수어 통역/번역 서비스 시스템의 3D 아바타 수어 영상 관리 서비스는 도 9에 나타낸 바와 같은데, 수어 영상 관리는 수어 통역 어플리케이션이 최종적으로 재생한 포멧의 영상을 일반적으로 통용되는 영상포멧(mp3, avi)으로 변환한 파일로 업로드하는 것으로 관리자는 홈페이지로부터 파일을 등록, 삭제, 수정, 조회하는 권한을 받고 이 권한을 통해 필요한 영상을 업로드 하거나 오류를 보고하도록 구성된다.
도 10은 본 발명에 따른 수어 통역/번역 서비스 시스템의 수어 통역/번역 서버에서의 품질 관리를 설명하기 위한 도면이고, 도 11는 본 발명에 따른 수어 통역/번역 서비스 시스템의 단어, 수어 동작 등록 관리의 실시 예를 설명하기 위한 도면이며, 도 12는 본 발명에 따른 수어 통역/번역 서비스 시스템의 동영상 오류 등록 관리 및 수어영상 관리의 실시 예를 설명하기 위한 도면이고, 도 13은 본 발명에 따른 수어 통역/번역 서비스 시스템의 동작 로그 및 통계 관리 등록의 실시 예를 설명하기 위한 도면이다.
본 발명에 따른 수어 통역/번역 서비스 시스템의 수어 통역/번역 서버300)에서의 품질관리는 지속적으로 단어DB의 업데이트와 이에 따른 동작단위DB의 업데이트에 따라 더 나은 통-번역 서비스를 제공하기 위한 것으로 이러한 품질관리 시스템(320)은 단어와 수어동작의 관리를 지원하고 실제 사용한 유형을 분석할 수 있는 로그와 이를 한 눈에 확인할 수 있는 통계 관리 기능이 제공되어야 한다.
이를 위하여 수어 단어 및 동작 등록 관리, 동영상 오류 리포팅, 수어 영상 관리 및 동작 로그 및 통계 관리를 포함하는 수어 통·번역 품질관리 기능과, 한국수어 통·번역 시스템과 연계되는 시스템 모니터링 및 오류 발생 즉시 원인 분석이 가능한 로그 제공하는 시스템 모니터링 기능 및 일반인/민원 담당자/관리자로 권한 부여와 개인별 등록된 정보 관리(오류리포트, 동영상, 동작로그, 통계 등)를 포함하는 권한 관리로 데이터 보안 강화 기능이 요구된다.
이와 같은 기능들을 위하여 도 10에서와 같이, 한국수어 통역시스템(200)으로부터 민원 내용(동작로그, 통계)이 자동 저장과, 한국수어 단어 및 수어 동작 등록 관리, 수어영상 오류 및 수어 동영상 등록 관리, 민원 대화 내용 자동 저장 및 조회 관리 및 한국수어 통·번역 시스템의 서비스 모니터링 기능이 구성(제공)된다.
또한 단어와 수어 동작의 등록 및 관리를 통해, 활용 범위를 확장하고 검색의 정확도를 향상시킬 수 있다. 이 둘은 도 11에서와 같이 별도의 DB에서 관리되고 업데이트시 즉시 서비스에 반영된다.
그리고 관리자가 보고한 오류 영상이나 재활용을 위한 저장한 영상의 관리를 통해 도 12에서와 같이 발생한 오류를 개선하고 사용성을 확장하는 기능을 제공한다.
한편 자동으로 수집된 로그로부터 사용된 단어에 따라 조회하거나 해당 단어별 통계를 도 13에서와 같이 디스플레이한다. 관리자는 이를 통해 단어별 중요도를 파악할 수 있어, 이에 따른 보완의 중요도를 결정할 수 있게 할 수 있다.
도 14는 본 발명에 따른 수어 통역/번역 서비스 시스템의 모니터링 실시예를 설명하기 위한 도면이다.
본 발명에 따른 수어 통역/번역 서비스 시스템의 모니터링 실시 예는 도 14에 나타낸 바와 같이, 공공기관(예로써, 대덕구청, 주민센터, 보건소)에 비치된 어플리케이션으로부터 해당 시점의 동작상태를 수신 받으며 프로세스 진행 중 병목구간이나 오류지점을 파악할 수 있게 하고, 연결 상태를 빠르게 파악하여 즉각적인 진단 및 조치가 가능하도록 하는 것이 바람직하다.
도 15은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 제1실시예를 설명하기 위한 블록 구성도이다.
본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 제1실시예는 도 15에 나타낸 바와 같이, 수어번역 시스템(100)과, 수어 통역 시스템(200), 동작인식장치(500), 입력장치(600) 및 디스플레이 장치(700)로 구성되는 수어 통·번역 장치(1000)와 수어 통·번역 서버(300)로 구성된다.
여기서, 수어 번역 시스템(100)과 수어 통역 시스템(200)은 앞에서도 설명한 바와 같이 미리 정의된 API를 통해 번역과 통역에 필요한 DB(400)에 접근하거나 각종 외부 접속 사이트(예를 들면 대덕구 홈페이지) DB에 접근할 수 있도록 구성된다.
여기서, 수어 번역 시스템(100)은 사용자가 농인인 경우 게시판(홈페이지)을 선택하거나, 자신이 궁금해하는 내용에 대하여 한국어를 입력하면 수어번역을 요청하는 수어번역 요청부, 수어를 애니메이션으로 구성하여 아바타로 재생하는 수어재생부 및 재생되는 애니메이션이 저장되는 파일 추출부로 구성될 수 있다. 그에 따라 농인은 게시판의 내용을 아바타 애니메이션을 통해 정확히 이해할 수 있고, 자신이 궁금해하는 단어나 문장에 대하여 아바타 에니메이션을 통해 정확한 의미를 이해할 수 있게 된다.
그리고 수어 통역 시스템(200)은 수어를 못하는 일반인과 수어를 할 수 있는 농인간 텍스트와 아바타 에니메이션을 통한 내용 전달에 이용하기 적합한 것으로, 기준점 초기화 요청부, 동작모방부, 수어동작 분석 모듈인 통역 요청부, 한국어를 입력하여 한국어를 수어로 번역하기 위한 번역요청부, 아바타 애니메이션이 저장되어 있는 파일추출부 및 애니메이션을 구성하고 재생하는 수어 재생부로 구성되는 수어 통역 서비스부(210)와, 동작인식장치(500)의 기준점을 초기화하는 기준점 초기화부, 기준점을 정렬하는 기준점 정렬부 및 수어인식 신호의 신호를 해석하는 수어인식센서 신호 해석부로 구성되는 블루투스 신호 해석 엔진부(220)로 구성될 수 있다.
수어 통역/번역 서버(300)는 도 1에서도 설명한 바와 같이 수어동작 매칭 모듈과, 문장 유연화 모듈로 구성되는 한국수어-한국어 변환부와, 형태소 분석, 단어원형 변환 및 고유명사를 추출하는 고유명사 추출부로 구성되는 한국어-한국수어 변환부 및 번역 요청 API로 구성되는 수어 통·번역 시스템(310)과, 동영상 오류 리포팅, 수어영상관리, 단어등록관리, 수어동작 등록관리, 동작 로그 관리, 통계관리, 시스템 상태 모니터링, 통계관리 API 및 동작 로그 관리 API로 구성되는 수어 통·번역 품질관리 시스템(320)으로 구성되어 수어 번역 시스템(100)과 수어 통역 시스템(200)의 품질 향상에 이용된다.
데이터베이스(400)는 수어동작을 저장하는 수어 동작 스토리지, 수어 통계 DB, 수어단어 DB, 수어 동작 DB 및 품질관리 DB로 구성되어 수어 번역 시스템(100)과 수어 통역 시스템(200)의 수어 번역과 통역에 필요한 각종 데이터를 제공한다.
동작인식장치(500)는 농인이 착용하는 것으로, 공공기관이나 은행 등에서 업무를 보고자 하는 경우 농인이 손에 착용한 후 수어를 구사하면 내장된 센서에서 손동작의 움직임을 인식하는 다수의 동작인식센서가 구성되어 수어 통역 시스템(200)에서 해당 동작을 인식하여 일반인(민원담당자)에게 농인의 수어를 번역한다.
입력장치(600)는 일반인이나 농인이 텍스트를 입력할 수 있는 입력장치로 대표적으로는 키보드일 수 있다.
디스플레이 장치(700)는 농인과 일반인에게 농인의 수화를 텍스트로 표시하거나, 일반인의 텍스트 입력을 아바타 디스플레이로 디스플레이한다.
한편 이러한 제1실시예에서는 동작인식장치(500)가 수어 통·번역 장치(1000)와 일체로 구성되는 것을 나타내고 있다.
도 16은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 제2실시예를 설명하기 위한 블록 구성도이다.
본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 제2실시예는 도 16에 나타낸 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 제1실시에서와는 달리 동작인식장치(500)가 분리형 형태로 수어 통·번역 장치(1000A)가 구성되는 것으로, 이는 농인이 개별적으로 소지하면서 이용할 수 있는 것을 설명하기 위한 것으로, 다수의 사람이 공용으로 동작인식장치(500)를 이용할 수도 있지만 개별적으로 구비할 수도 있는 것을 나타내고 있다. 이와 같이 동작인식장치(500)를 개별적으로 구비하는 경우 농인들에게 휴대가 가능하며, 해당 농인의 식별(별도의 식별자(ID) 부여)이 가능한 장갑형태의 동작인식장치를 제공하고, 해당 농인의 수어의 특성에 대하여 미리 등록시켜 놓거나, 업데이트하여 해당 농인이 공공기관이나 민간 기관 방문 시 해당 농인의 식별가능한 동작인식 장치를 이용하여 수어를 하는 경우 농인들마다 다를 수 있는 수어 동작에 대한 개별적인 인식이 가능하여 수어 통·번역 오류를 최소화하거나, 해당 농인의 특성에 따른 통역을 할 수 있다.
한편 이러한 동작인식장치(500)는 기본적으로 한 쌍으로 구비되며, 자이로 센서 외에도 각각의 동작인식장치를 개별적으로 식별하기 위한 식별자(RFID 칩 등)이 더 구비될 수 있으며, 기본적인 통신방식으로는 무선(블루투스) 방식을 이용하지만 유무선 겸용으로 구성될 수도 있다.
도 17은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 수어 통·번역 서버의 실시예를 설명하기 위한 블록 구성도이다.
동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 수어 통·번역 서버는 도 17에 나타낸 바와 같이, 수어 통·번역 시스템(310), 수어 통·번역 품질관리 시스템(320), 수어 통·번역 장치 정보 DB(330), 수어 통·번역 장치 담당자 DB(340), 동작인식장치 사용자 정보 및 식별정보 DB(350), 동작인식장치 사용자 정보별 수어 특성 DB(360), 동작인식장치 사용자 수어정보 분석부(370), 통신부(380) 및 제어부(390)로 구성된다.
수어 통·번역 시스템(310), 수어 통·번역 품질관리 시스템(320)과 수어의 통·번역과 품질관리를 각각 수행한다.
수어 통·번역 장치 정보 DB(330)는 수어 통·번역 장치(1000)가 여러 장소에 복수개 설치될 수 있으므로 그러한 경우 각각의 수어 통·번역 장치(1000)의 설치정보, 위치정보, 이력 정보 등을 데이터베이스화한다.
수어 통·번역 장치 담당자 DB(340)는 각각의 수어 통·번역 장치(1000)를 관리하는 관리자의 정보(이름, 전화번호, 스마트폰 번호 등)를 데이터베이스화하여 점검, 수리 등의 경우에 이용된다.
동작인식장치 사용자 정보 및 식별정보 DB(350)는 동작인식장치를 식별하기 위한 정보와 동작인식장치를 개별적으로 이용하는 경우 해당 사용자 정보를 데이터베이스화한 것이다.
동작인식장치 사용자정보별 수어 특성 DB(360)는 일반인의 경우에도 지역이나 성별에 따라 목소리가 다르거나 발음에 차이가 있는 것처럼, 농인들도 같은 내용이나 단어에 대하여 손가락의 움직임에 약간의 차이가 있으므로 이를 감안하기 위한 것이다. 또한 이러한 특성에 따라서 수어 번역 시스템(100)과 수어 통역 시스템(200)의 품질 향상에 이용될 수 있다. 즉 서로 동일한 단어나 내용에 대하여 서로 다른 농인의 미세한 동작의 차이에 대하여 데이터베이스화하고 이를 통해 농인의 수어 동작인식에 대하여 보다 유연하게 대처할 수 있게 되는 자료를 수집하는데 이용될 수 있다. 또한 농인 사용자가 이용하는 동작인식장치가 개별적으로 구비한 경우에는 해당 농인 사용자의 동작에 대한 번역 인식률을 높일 수 있다.
동작인식장치 사용자 수어정보 분석부(370)는 동작인식장치를 사용한 사용자의 수어를 분석한다.
통신부(380)는 다수의 제1내지 제N지역 수어 통·번역 장치와 각종 데이터를 송수신한다.
제어부(390)는 수어 통·번역 시스템(310), 수어 통·번역 품질관리 시스템(320), 수어 통·번역 장치 정보 DB(330), 수어 통·번역 장치 담당자 DB(340), 동작인식장치 사용자 정보 및 식별정보 DB(350), 동작인식장치 사용자정보별 수어 특성 DB(360), 동작인식장치 사용자 수어정보 분석부(370) 및 통신부(380)를 포함하는 수어 통·번역 서버(300)를 제어하며, 개별적으로 구비한 동작인식장치(500)로부터 수어관련 데이터가 전송되는 경우 이를 식별하여 수어 통·번역에 이용되거나 동작인식장치에서 전송된 동작인식 센싱 데이터의 이상을 감지한다. 즉 동작인식장치의 식별자와 함께 전송되는 수어 데이터의 이상을 감지하여 해당 지역의 수어 통·번역 담당자에게 동작인식장치의 이상을 알려 수리나 점검을 받도록 하거나, 개별적으로 구비한 동작인식장치의 이상을 해당 농인의 스마트폰으로 점검, 수리 등의 요청을 전송할 수 있다.
이상과 같은 예로 본 발명을 설명하였으나, 본 발명은 반드시 이러한 예들에 국한되는 것이 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서 본 발명에 개시된 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 예들에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.
100 : 수어 번역 시스템
200 : 수어 통역 시스템
300 : 수어 통·번역 서버 310 : 수어 통·번역 시스템
320 : 수어 통·번역 품질관리 시스템
330 : 수어 통·번역 장치 정보 DB
340 : 수어 통·번역 장치 담당자 DB
350 : 동작인식장치 사용자 정보 및 식별정보 DB
360 : 동작인식장치 사용자정보별 수어 특성 DB
370 : 동작인식장치 사용자 수어정보 분석부
380 : 통신부 390 : 제어부
400 : 데이터베이스 500 : 동작인식장치
600 : 입력장치 700 : 디스플레이 장치
1000, 1000A : 수어 통·번역 장치
300 : 수어 통·번역 서버 310 : 수어 통·번역 시스템
320 : 수어 통·번역 품질관리 시스템
330 : 수어 통·번역 장치 정보 DB
340 : 수어 통·번역 장치 담당자 DB
350 : 동작인식장치 사용자 정보 및 식별정보 DB
360 : 동작인식장치 사용자정보별 수어 특성 DB
370 : 동작인식장치 사용자 수어정보 분석부
380 : 통신부 390 : 제어부
400 : 데이터베이스 500 : 동작인식장치
600 : 입력장치 700 : 디스플레이 장치
1000, 1000A : 수어 통·번역 장치
Claims (4)
- 게시판(홈페이지)이 선택되거나, 텍스트를 입력하면 수어를 애니메이션으로 구성하여 아바타로 재생하는 수어 번역 시스템(100);
수어를 못하는 일반인이 텍스트를 입력하면 아바타 에니메이션을 통해 디스플레이하고, 농인의 손가락 움직임에 대하여 이를 텍스트로 전환하여 디스플레이하는 수어 통역 시스템(200);
상기 수어 번역 시스템(100)과 수어 통역 시스템(200)의 품질 향상에 이용되는 수어 통역/번역 서버(300);
상기 수어 번역 시스템(100)과 수어 통역 시스템(200)의 수어 번역과 통역에 필요한 각종 데이터를 제공하는 데이터베이스(400); 및
농인이 손에 착용하는 것으로, 내장된 센서에서 손동작의 움직임을 인식하는 다수의 동작인식센서로 구성되어 농인이 손에 착용한 후 수어를 구사하면 상기 수어 통역 시스템(200)에서 해당 동작을 인식하여 텍스트로 통역될 수 있도록 하는 동작인식장치(500);를 포함하여 구성됨을 특징으로 하는 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템.
- 청구항 1에 있어서,
상기 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템은,
상기 수어 번역 시스템(100), 상기 수어 통역 시스템(200) 및 상기 데이터베이스(400)에
텍스트를 입력받는 입력장치(600)와,
농인과 일반인에게 농인의 수화를 텍스트로 표시하거나, 일반인의 텍스트 입력을 아바타 디스플레이로 디스플레이하는 디스플레이 장치(700)를 더 포함하여 수어 통·번역 장치(1000)를 구성하는 것을 특징으로 하는 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템.
- 청구항 2에 있어서,
상기 수어 통·번역 장치(1000)는 동작인식장치(500)를 더 포함하는 것을 특징으로 하는 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템.
- 청구항 1에 있어서,
상기 동작인식장치(500)는 상기 동작인식장치(500)를 이용하는 농인의 개인 사용자 정보와, 상기 동작인식장치(500)를 식별하기 위한 식별정보가 포함된 것을 특징으로 하는 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180128143A KR102304608B1 (ko) | 2018-10-25 | 2018-10-25 | 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180128143A KR102304608B1 (ko) | 2018-10-25 | 2018-10-25 | 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200046665A true KR20200046665A (ko) | 2020-05-07 |
| KR102304608B1 KR102304608B1 (ko) | 2021-09-24 |
Family
ID=70734259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180128143A KR102304608B1 (ko) | 2018-10-25 | 2018-10-25 | 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102304608B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102589845B1 (ko) * | 2022-10-20 | 2023-10-17 | 주식회사 인피닉 | 수어 영상 번역 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230114955A (ko) | 2022-01-26 | 2023-08-02 | 주식회사 숨이노베이션 | 수어 영상 데이터 제작의 아웃 소싱을 통한 번역 영상 데이터 제작 시스템 |
| KR102644927B1 (ko) | 2023-10-10 | 2024-03-06 | 한규범 | 수어 통역 서비스를 제공하는 온라인 다방향 소통 시스템 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101104777B1 (ko) | 2010-02-04 | 2012-01-17 | 한국과학기술원 | 수화 애니메이션 생성을 위한 시스템 및 방법 |
| KR20150102148A (ko) | 2014-02-27 | 2015-09-07 | 김조웅 | 3ｄ 아바타를 활용한 웹 콘텐츠 기반의 수화통역 시스템 및 방법 |
| JP2015169814A (ja) * | 2014-03-07 | 2015-09-28 | サカタインクス株式会社 | 意思疎通支援方法および意思疎通支援システム |
| KR20150115522A (ko) * | 2014-04-04 | 2015-10-14 | 계명대학교 산학협력단 | 수화 동작 획득 장치 및 이를 이용한 수화 동작의 텍스트 변환 시스템 |
-
2018
- 2018-10-25 KR KR1020180128143A patent/KR102304608B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101104777B1 (ko) | 2010-02-04 | 2012-01-17 | 한국과학기술원 | 수화 애니메이션 생성을 위한 시스템 및 방법 |
| KR20150102148A (ko) | 2014-02-27 | 2015-09-07 | 김조웅 | 3ｄ 아바타를 활용한 웹 콘텐츠 기반의 수화통역 시스템 및 방법 |
| JP2015169814A (ja) * | 2014-03-07 | 2015-09-28 | サカタインクス株式会社 | 意思疎通支援方法および意思疎通支援システム |
| KR20150115522A (ko) * | 2014-04-04 | 2015-10-14 | 계명대학교 산학협력단 | 수화 동작 획득 장치 및 이를 이용한 수화 동작의 텍스트 변환 시스템 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102589845B1 (ko) * | 2022-10-20 | 2023-10-17 | 주식회사 인피닉 | 수어 영상 번역 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102304608B1 (ko) | 2021-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bragg et al. | Sign language recognition, generation, and translation: An interdisciplinary perspective | |
| CN108351871B (zh) | 通用翻译 | |
| US20180302687A1 (en) | Personalizing closed captions for video content | |
| Farooq et al. | Advances in machine translation for sign language: approaches, limitations, and challenges | |
| Jiménez Hurtado et al. | Multimodality, translation and accessibility: a corpus-based study of audio description | |
| US11347801B2 (en) | Multi-modal interaction between users, automated assistants, and other computing services | |
| Camgöz et al. | BosphorusSign: A Turkish sign language recognition corpus in health and finance domains | |
| US10678855B2 (en) | Generating descriptive text contemporaneous to visual media | |
| EP3465462A1 (en) | Unknown word predictor and content-integrated translator | |
| US11928985B2 (en) | Content pre-personalization using biometric data | |
| KR102304608B1 (ko) | 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템 | |
| KR101612873B1 (ko) | 3ｄ 아바타를 활용한 웹 콘텐츠 기반의 수화통역 시스템 및 방법 | |
| KR20200093029A (ko) | 보안 처리 환경에서의 데이터 전송 | |
| US11756567B2 (en) | Autocreation of conversational image representation | |
| Hermawati et al. | Assistive technologies for severe and profound hearing loss: Beyond hearing aids and implants | |
| Ogundokun et al. | An android based language translator application | |
| Salvaris et al. | Cognitive services and custom vision | |
| Abdullah et al. | TeBook A mobile holy Quran memorization tool | |
| US11907677B1 (en) | Immutable universal language assistive translation and interpretation system that verifies and validates translations and interpretations by smart contract and blockchain technology | |
| Baumgärtner et al. | Automated Sign Language Translation: The Role of Artificial Intelligence Now and in the Future. | |
| Spence | Disrupting Digital Monolingualism: A report on multilingualism in digital theory and practice | |
| Wise | Towards a minor assemblage: An introduction to the clickable world | |
| CN105702130A (zh) | 手语翻译器 | |
| El-Gayyar et al. | The ArSL keyboard for android | |
| KR102644927B1 (ko) | 수어 통역 서비스를 제공하는 온라인 다방향 소통 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |