KR101612873B1 - 3ｄ 아바타를 활용한 웹 콘텐츠 기반의 수화통역 시스템 및 방법 - Google Patents

3ｄ 아바타를 활용한 웹 콘텐츠 기반의 수화통역 시스템 및 방법 Download PDF

Info

Publication number
KR101612873B1
KR101612873B1 KR1020140023260A KR20140023260A KR101612873B1 KR 101612873 B1 KR101612873 B1 KR 101612873B1 KR 1020140023260 A KR1020140023260 A KR 1020140023260A KR 20140023260 A KR20140023260 A KR 20140023260A KR 101612873 B1 KR101612873 B1 KR 101612873B1
Authority
KR
South Korea
Prior art keywords
sign language
web page
avatar
animation
client
Prior art date
Application number
KR1020140023260A
Other languages
English (en)
Other versions
KR20150102148A (ko
Inventor
김조웅
박성욱
Original Assignee
김조웅
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김조웅 filed Critical 김조웅
Priority to KR1020140023260A priority Critical patent/KR101612873B1/ko
Publication of KR20150102148A publication Critical patent/KR20150102148A/ko
Application granted granted Critical
Publication of KR101612873B1 publication Critical patent/KR101612873B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 3D 아바타를 활용한 웹 콘텐츠 기반의 수화통역 시스템에 관한 것으로서, 특히 웹 페이지 제작자가 청각·언어장애인용 수화 웹 페이지를 용이하게 제작할 수 있도록 하는 웹 기반의 수화 웹 페이지 제작 시스템을 제공하기 위한 것이다.
이를 위해 본 발명에서는 웹 페이지 제작자가 인터넷을 통하여 수화로 통역하고자 하는 텍스트를 입력 및 요청하기 위한 인터페이스를 갖는 클라이언트 PC; 및 상기 클라이언트 PC의 인터페이스를 통하여 요청된 텍스트를 수화사전에 기초하여 3차원 아바타 수화 애니메이션을 생성 및 동영상으로 변환하는 수화통역부와, 상기 수화통역부에서 변환된 동영상 파일을 저장하는 동영상 저장부와, 상기 동영상 저장부에 저장된 동영상 파일을 웹 페이지 제작자가 제작하는 수화 웹 페이지에 삽입할 수 있도록 해당 동영상 파일의 이름 및 인터넷 주소를 생성하여 상기 클라이언트 PC의 인터페이스에 제공하는 주소 생성부와, 상기 동영상 저장부에 저장된 동영상 파일을 웹 페이지 제작자가 제작하는 수화 웹 페이지 상에서 동영상 재생기를 통해 스트리밍으로 열람할 수 있도록 해당 동영상 파일을 제공하는 스트리밍 서버를 포함하여 구성되는 수화통역 서버를 포함하는 수화통역 시스템을 개시한다.

Description

3Ｄ 아바타를 활용한 웹 콘텐츠 기반의 수화통역 시스템 및 방법{SIGN LANGUAGE INTERPRETING SYSTEM OF BASED ON WEB CONTENTS AND METHOD FOR SIGN LANGUAGE INTERPRETING SYSTEM}
본 발명은 3D 아바타를 활용한 웹 콘텐츠 기반의 수화통역 시스템에 관한 것으로서, 더욱 상세하게는 웹 페이지 제작자가 수화통역사나 별도의 전용 하드웨어 및 소프트웨어를 구축할 필요 없이 청각·언어장애인용 수화 웹 페이지를 용이하게 제작할 수 있고, 아울러 청각·언어장애인이 인터넷 웹 페이지를 편리하게 이용할 수 있는 웹 기반의 청각·언어장애인용 수화 웹 페이지 제작 시스템 및 방법에 관한 것이다.
청각·언어장애인이 의사소통을 위해서 사용할 수 있는 수단은 문자와 수화를 들 수 있다. 하지만 소리를 듣는 능력이 떨어지는 청각·언어장애인은 소리를 표현하는 문자를 이해하는 것이 매우 어렵기 때문에 문자를 읽고 그 의미를 이해(해독)하는 능력도 떨어진다. 통상적으로 청각·언어장애인이 정상인에 비하여 독해능력 향상 속도가 1/3 수준에 불과한 것으로 보고되어 있다.
즉, 청각·언어장애인에게 수화는 문자보다 강력한 의사소통수단 및 정보전달수단이다. 특히 선천적인 청각·언어장애인은 문자를 거의 읽을 수 없어서 수화는 더욱 중요한 수단이다.
오늘날 컴퓨터나 스마트폰의 보급 및 인터넷의 사용이 보편화 됨에 따라 웹을 이용한 정상인의 인터넷 뱅킹, e-러닝, 민원업무 등의 다양한 서비스나 정보 습득량은 크게 늘었지만, 글로 표현된 인터넷을 이해하기 어려운 청각·언어장애인들은 인터넷 정보에 접근하는데 어려움이 많다.
최근 장애인이 디지털 정보에 접근하고 지식을 넓혀 직업 등을 갖는데 큰 어려움이 있고, 이로 인해 발생되는 경제적·사회적 격차가 사회적 문제로 대두되면서 2008년부터 시행된『장애인차별금지 및 권리구제 등에 관한 법률』에서는 장애를 가진 사람들이 장애를 가지지 않은 사람과 마찬가지로 동등한 서비스에 접근할 권리가 있고, 질적으로 동등한 서비스를 받을 권리가 있다고 보장하고 있다.
이에 따라 모든 공공기관 및 민간 웹사이트의 운영주체는 청각·언어장애인 등의 취약계층이 웹사이트를 통하여 원하는 서비스를 이용할 수 있도록 이른바 웹 접근성(web accessibility)을 높이고, 이를 의무적으로 준수하여야 한다.
즉, 웹사이트에서의 정보전달은 대부분 음성과 문자로 표현되는 말과 글로 이루어져서 수화를 주로 사용하는 청각·언어장애인의 교육/학습권, 노동권, 문화향유권, 정보접근권 등을 제한하고, 이러한 제한은 청각·언어장애인들이 사회에서 정상인처럼 활동하는 것을 어렵게 하므로 말과 글로 표현된 정보를 수화로 바꾸어 표현 및 전달하여야 한다.
한편, 청각·언어장애인의 웹 접근성을 보장할 수 있는 웹 콘텐츠를 웹 페이지 제작자가 만들기 위해서는 문장을 수화로 통역하는 시스템이 필요하다.
예컨대, 대한민국 등록특허공보 제10-1104777호에 "수화 애니메이션 생성을 위한 시스템 및 방법"이 개시된 바 있다.
그런데 이와 같은 종래의 시스템은 수화 생성 엔진이 3D로 된 아바타 애니메이션을 랜더링(rendering)하기 때문에 그래픽 카드 등에 대한 종속성이 있어서 전용 하드웨어 및 소프트웨어를 갖추어야만 하고, 웹 페이지 제작자가 수화를 직접 습득하거나 수화통역사의 도움을 받아야만 하는 등 물리적 및 현실적인 한계가 있을 수밖에 없다.
KR1020100111084 A KR1020020041379 A KR100443365 B1 KR1020020036280 A KR101288900 B1 KR101104777 B1
오영준, 장훈, "수화통역시스템 설계 및 구현", 한국정보과학회 논문집, Vol. 29. No.2, 2002년. 오영준, 장효영, 정진우, 박광현, 김대진, 변증남, "3D 아바타의 자연스러운 수화 동작 표현 방법", 한국정보처리학회 논문지, 제14-B권, 제2호, p107~118, 2007년 4월. 나길항, 이병호, 김종헌, 김종남, 정영기, "수화 통역을 위한 VR 콘텐츠 개발", 한국HCL학회 학술발표자료, 2009년. 이원경, 서은경, "장애인의 웹 접근성 향상을 위한 웹사이트 설계", 정보관리학회지, 30(1), 193~219. 2013. 3월.
이에 본 발명자들은 상술한 제반 사항을 종합적으로 고려 및 문제점의 해결에 역점을 두어 웹 페이지 제작자가 수화통역사나 별도의 하드웨어 및 소프트웨어를 구축할 필요가 없음은 물론 수화통역사 등의 도움 없이 혼자서도 청각·언어장애인용 인터넷 웹 페이지를 용이하게 제작할 수 있도록 함으로써 웹 페이지 제작의 편의성 및 사용성을 제고할 수 있는 웹 기반의 수화통역 시스템을 개발하고자 부단한 노력을 기울여 연구하던 중 그 결과로서 본 발명을 창안하게 되었다.
따라서 본 발명의 기술적 해결 과제 및 목적은 웹 페이지 제작자가 청각·언어장애인용 수화 웹 페이지를 쉽고 용이하게 제작할 수 있도록 하는 웹 기반의 수화통역 방법을 제공하는 데 있는 것이다.
상술한 바와 같은 해결 과제 및 목적을 달성하기 위하여 본 발명의 실시 양태는, 웹 페이지 제작자가 인터넷을 통하여 수화로 통역하고자 하는 텍스트를 입력 및 요청하기 위한 인터페이스를 갖는 클라이언트 PC 및 상기 클라이언트 PC의 인터페이스를 통하여 요청된 텍스트를 수화사전에 기초하여 3차원 아바타 수화 애니메이션을 생성 및 동영상으로 변환하는 수화통역부와, 상기 수화통역부에서 변환된 3차원 아바타 수화 애니메이션 동영상 파일을 저장하는 동영상 저장부와, 상기 동영상 저장부에 저장된 3차원 아바타 수화 애니메이션 동영상 파일을 웹 페이지 제작자가 제작하는 수화 웹 페이지에 삽입할 수 있도록 해당 동영상 파일의 이름 및 인터넷 주소를 생성하여 상기 클라이언트 PC의 인터페이스에 제공하는 주소 생성부와, 상기 동영상 저장부에 저장된 3차원 아바타 수화 애니메이션 동영상 파일을 웹 페이지 제작자가 제작하는 수화 웹 페이지 상에서 동영상 재생기를 통해 스트리밍으로 시청할 수 있도록 해당 동영상 파일을 제공하는 스트리밍 서버를 포함하여 구성되는 수화통역 서버를 포함하는 것을 특징으로 하는 수화통역 시스템을 제시한다.
이로써 본 발명은 웹 페이지 제작자가 수화통역사나 별도의 전용 하드웨어 없이도 청각·언어장애인용 수화 웹 페이지를 편리하고 용이하게 제작할 수 있다.
본 발명의 바람직한 실시 양태로, 상기 클라이언트 PC의 인터페이스는, 수화로 통역하고자 하는 텍스트를 입력하는 텍스트 입력모듈과, 상기 텍스트 입력모듈에 입력된 텍스트를 상기 수화통역부로 전송하는 수화통역 요청모듈과, 상기 수화통역부에서 3차원 아바타 수화 애니메이션 동영상으로 통역이 완료된 목록 정보를 요청하는 통역정보 요청모듈 및 상기 동영상 저장부에 저장된 3차원 아바타 수화 애니메이션 동영상 파일의 해당 인터넷 주소로 링크되도록 하는 동영상링크 요청모듈을 포함하여 구성될 수 있다.
본 발명의 바람직한 다른 실시 양태로, 상기 수화통역부는, 상기 클라이언트 PC의 인터페이스로부터 입력되는 문장을 어절 단위로 분리한 후 형태소별로 분류하여 분석하는 형태소 분석기와, 상기 형태소 분석기에 의해 분석된 형태소와 매칭되는 수화 동작을 수화사전 DB에서 추출하는 수화 변환기와, 상기 수화 변환기에 의해 추출된 수화 동작을 순차적으로 3차원 아바타 수화 애니메이션으로 생성하는 아바타 생성기 및 상기 아바타 생성기에 의해 생성된 3차원 아바타 수화 애니메이션을 동영상으로 변환하는 비디오 인코더를 포함하여 구성될 수 있다.
그리고 본 발명의 다른 실시 양태는, (A) 웹 페이지 제작자가 클라이언트 PC의 인터페이스를 통하여 수화로 통역하고자 하는 텍스트를 입력 및 요청하면, 상기 클라이언트 PC의 인터페이스로부터 입력되는 문장을 어절 단위로 분리한 후 형태소별로 분류하여 분석하는 형태소 분석기와, 상기 형태소 분석기에 의해 분석된 형태소와 매칭되는 수화 동작을 수화사전 DB에서 추출하는 수화 변환기와, 상기 수화 변환기에 의해 추출된 수화 동작을 순차적으로 3차원 아바타 수화 애니메이션으로 생성하는 아바타 생성기 및 상기 아바타 생성기에 의해 생성된 3차원 아바타 수화 애니메이션을 동영상으로 변환하는 비디오 인코더를 포함하는 수화통역부에서 3차원 아바타 수화 애니메이션을 생성 및 동영상으로 변환하는 단계, (B) 상기 수화통역부에서 변환된 3차원 아바타 수화 애니메이션 동영상 파일을 동영상 저장부에 저장하고, 상기 동영상 저장부에 저장된 3차원 아바타 수화 애니메이션 동영상 파일을 웹 페이지 제작자가 제작하는 수화 웹 페이지에 삽입할 수 있도록 주소 생성부에서 해당 동영상 파일의 이름 및 인터넷 주소를 생성하여 상기 클라이언트 PC로 제공하는 단계, (C) 상기 동영상 저장부에 저장된 3차원 아바타 수화 애니메이션 동영상 파일을 웹 페이지 제작자가 제작하는 수화 웹 페이지 상에서 동영상 재생기를 통해 스트리밍으로 시청할 수 있도록 상기 클라이언트 PC에 제공된 동영상 파일의 인터넷 주소를 웹 페이지 제작자가 제작하는 수화 웹 페이지 상에 링크시켜 스트리밍 서버가 해당 동영상 파일을 제공하는 단계로 이루어지는 수화통역 방법을 제시한다.
이로써 본 발명은 웹 페이지 제작자가 수화통역사나 별도의 전용 하드웨어 없이도 청각·언어장애인용 수화 웹 페이지를 편리하고 용이하게 제작할 수 있다.
상술한 바와 같은 기술적 과제를 해결하기 위한 수단 및 구성을 갖춘 본 발명은, 웹 페이지 제작자가 클라이언트 PC에서 원격지의 수화통역 서버에 접속하여 원하는 문장을 수화로 통역 및 3차원 아바타 애니메이션으로 구현한 수화 동영상을 제작하고, 수화통역 서버에 저장된 수화 동영상을 수화 웹 페이지 상에 하이퍼링크를 거는 방식으로 삽입하여 청각·언어장애인이 그 수화 웹 페이지에 접속한 상에서 동영상 재생기를 통해 스트리밍으로 시청 가능하도록 함으로써 웹 페이지 제작자가 청각·언어장애인용 수화 웹 페이지를 제작하기 위해 수화통역사나 별도의 전용 하드웨어 및 소프트웨어 환경을 갖출 필요 없이 편리하고 용이하게 수화 웹 페이지를 제작할 수 있다.
따라서 수화 웹 페이지 제작에 따른 편의성과 효율성 및 경제성을 제고할 수 있다.
도 1은 본 발명의 실시 예에 따른 수화통역 시스템의 구성을 개략적으로 나타낸 블록도이다.
도 2는 본 발명의 실시 예에 따른 수화통역 시스템 중 클라이언트 PC의 인터페이스를 나타낸 예시도이다.
도 3은 본 발명의 실시 예에 따른 수화통역 시스템 중 수화변환기를 나타낸 예시도이다.
도 4는 본 발명의 실시 예에 따른 수화통역 시스템 중 아바타 생성기를 나타낸 예시도이다.
도 5는 본 발명의 실시 예에 따른 수화통역 시스템에 의해 구현되는 3차원 아바타 수화 애니메이션 동영상을 나타낸 예시도이다.
도 6은 본 발명의 실시 예에 따른 수화통역 시스템이 적용된 수화 웹 페이지의 예시도이다.
이하, 본 발명에 따른 실시 예를 첨부된 도면을 참조하여 보다 구체적으로 설명한다.
이에 앞서, 후술하는 용어들은 본 발명에서의 기능을 고려하여 정의된 것으로서, 이는 본 발명의 기술적 사상에 부합되는 개념과 당해 기술분야에서 통용 또는 통상적으로 인식되는 의미로 해석하여야 함을 명시한다.
또한, 본 발명과 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
여기서, 명세서 전체에서 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1을 참조하면, 본 발명의 실시 예에 다른 수화통역 시스템은 크게 클라이언트 PC(100)와 유무선 인터넷을 매개로 연결되는 수화통역 서버(200)를 포함하여 구성된다.
클라이언트 PC(100)는 수화통역 서버(200)와 유무선 인터넷을 통하여 상호 통신 가능하게 연결되는 개인용 컴퓨터, 스마트폰, 휴대용 단말기 등 모든 형태를 포괄한다.
또한, 클라이언트 PC(100)는 유무선 인터넷을 통하여 수화통역 서버(200)에 접속 시 회원등록 과정(비회원인 경우)나 회원인증 과정(회원인 경우) 등을 거칠 수 있다.
클라이언트 PC(100)는 웹 페이지 제작자가 유무선 인터넷을 통하여 수화로 통역하고자 하는 텍스트를 입력 및 이를 수화통역 서버(200)에 요청하기 위한 인터페이스(110)를 포함한다.
여기서, 인터페이스(110)는 HTML과 Java script에 기반을 둔 게시판 형태로 제공한다. 예를 들면, CGI(Common Gateway Interface) 또는 API(Application Programming Interface) 등일 수 있다.
도 1 및 도 2를 참조하면, 인터페이스(110)는 수화로 통역하고자 하는 텍스트를 입력하는 텍스트 입력모듈(111)과, 이 텍스트 입력모듈(111)에 입력된 텍스트를 수화통역부(210)로 전송하는 수화통역 요청모듈(113)과, 수화통역부(210)에서 3차원 아바타 수화 애니메이션 동영상으로 통역이 완료된 목록 정보를 요청하는 통역정보 요청모듈(115) 및 동영상 저장부(220)에 저장된 3차원 아바타 수화 애니메이션 동영상 파일의 해당 인터넷 주소로 링크되도록 하는 동영상링크 요청모듈(117)을 포함한다.
Figure 112014019451335-pat00001
아울러 상기의 표 1에서와 같이, 인터페이스(110)는 HTTP Socket 인터페이스로 구현되어 있다.
도 2와 표 1에서의 No는 인터페이스(110)에서 항목 번호, Title은 동영상 저장부(220)에 저장된 파일이름, MSG는 통역요청된 한글문장, Link는 스트리밍할 파일의 인터넷 주소가 연결된 하이퍼링크를 의미한다.
또한, 표 1에서의 slaorder는 수화통역부(210)를 호출하는 웹 페이지이고, list는 목록 정보를 요청하는 웹 페이지이며, movie는 동영상 파일을 요청하는 웹 페이지이다.
수화통역 서버(200)는 클라이언트 PC(100)로부터 텍스트를 입력받아 3차원 아바타 수화 애니메이션 동영상으로 변환 및 파일로 저장하고, 이의 인터넷 주소를 생성하여 클라이언트 PC(100)로 보내고, 아울러 인터넷 웹 페이지 상에서 동영상 재생기를 통해 스트리밍으로 시청할 수 있도록 해당 파일을 제공하는 컴퓨터 시스템 및 이를 구동하기 위한 컴퓨터 프로그램 또는 응용 프로그램이나 데이터베이스 등 모든 형태를 포괄한다.
또한, 수화통역 서버(200)는 클라이언트 PC(100)와 WEB 기반의 데이터 통신 및 애플리케이션 간의 상호 연동 및 특정 서블릿에 대한 URL 맵핑 등의 처리가 가능하도록 하기 위한 웹 컨테이너(250)를 포함한다.
즉, 클라이언트 PC(100)에서 전송되어 온 텍스트는 웹 컨테이너(250)를 통하여 수화통역 서버(200)에 입력되어 수화통역기(210)로 전달된다.
여기서, 웹 컨테이너(250)는 웹 인터페이스 모듈이나 오픈 소스(open soure) 기반의 톰캣(Tomcat), 레진(Resin), 제이런(JRun), 제우스, 웹로직, 웹스피어 등의 웹 애플리케이션 서버 프로그램을 채용할 수 있다.
그리고 유무선 인터넷은 WWW(WorldWide Web), WAP(Wireless Application Protocol)을 기반으로 하는 유무선 인터넷뿐만 아니라 조직 내부의 업무를 인터넷 기술로 처리하는 인트라넷 및 LAN(Local Area Network)이나 WAN(Wide Area Network) 등을 포괄한다.
또한, 수화통역 서버(200)는 HTML 형태의 정보를 클라이언트 PC(100)의 웹브라우저로 제공한다. 아울러 수화통역 서버(200)는 동시접속자가 많더라도 수화통역이 원활하게 이루어지도록 텍스트 입력에서 파일의 저장까지 다중 입력을 받을 수 있도록 구비되어 있다.
여기서, 수화통역 서버(200)는 클라이언트 PC의 인터페이스(110)를 통하여 요청된 텍스트를 수화사전에 기초하여 3차원 아바타 수화 애니메이션을 생성 및 동영상으로 변환하는 수화통역부(210)와, 이 수화통역부(210)에서 생성 및 변환된 3차원 아바타 수화 애니메이션 동영상을 저장하는 동영상 저장부(220)와, 이 동영상 저장부(220)에 저장된 3차원 아바타 수화 애니메이션 동영상을 웹 페이지 제작자가 제작하는 수화 웹 페이지에 삽입할 수 있도록 해당 파일의 이름 및 인터넷 주소를 생성하여 클라이언트 PC의 인터페이스(110)에 표시하는 주소 생성부(230) 및 동영상 저장부(220)에 저장된 3차원 아바타 수화 애니메이션 동영상을 웹 페이지 제작자가 제작하는 수화 웹 페이지 상에서 동영상 재생기를 통해 스트리밍으로 시청할 수 있도록 해당 파일을 제공하는 스트리밍 서버(240)를 포함한다.
수화통역부(210)는 클라이언트 PC의 인터페이스(110)로부터 입력되는 문장을 형태소 분석 어휘 DB(215)에 기초하여 어절 단위로 분리한 후 형태소별로 분류하여 분석하는 형태소 분석기(211)와, 이 형태소 분석기(211)에 의해 분석된 형태소와 매칭되는 수화 동작을 수화사전 DB(216)에서 추출하는 수화 변환기(212)와, 이 수화 변환기(212)에 의해 추출된 수화 동작을 플래시 3차원 렌더러(renderer)를 이용하여 순차적으로 3차원 아바타 수화 애니메이션으로 렌더링하는 아바타 생성기(213) 및 이 아바타 생성기(213)에 의해 생성된 3차원 아바타 수화 애니메이션을 WMV, 3GP, MP4, AVI, MPEG 형식의 동영상으로 변환하는 비디오 인코더(214)를 포함한다.
형태소 분석기(211)는 한글 문장을 어절 단위로 분리, 관용어 검출, 규칙 및 불규칙 변형 검출, 지화 표현 어휘 검출 등의 단계와, 수화 표현을 위한 핵심적인 의미 단위를 추출하는 단계 및 수화로 표현하도록 의미 단위를 추출하는 형태소 분류 과정을 거쳐 수화를 표현하는 최소 단위인 수화 형태소별로 분석한다.
여기서, 형태소 분석기(211)는 수화 형태소를 형태소 분석 어휘 DB(215)에 기초한 어휘별 품사 정보로 분류함으로써 동음이의어의 처리에 의한 단어의 구분이 가능하다.
예를 들어, 클라이언트 PC의 인터페이스(110)로부터 "우리 만남은 우연히 아닙니다"라는 문장을 입력받으면 형태소 분석 어휘 DB(215)에 기초하여 어절 단위로 분리한 후 형태소별로 분류 및 분석하여 단어별 형태에 아래의 표 2의 품사 집합 목록을 토대로 하는 기호를 부여한다.
즉, 우리(NP)/ 만남(NNG)/ 은(JX)/ 우연히(MAG)/ 아니(VCN)/ ㅂ니다(EF)/ .(SF) 로 파싱(parsing)한다. 이 중에서 관용어인 우리(NP)/ 만남(NNG)/ 우연히(MAG)는 "우리", "만남", "우연히"로 체크하여 수화 변환기(212)로 전달한다.
그리고 규칙변형 어미가 있는 용언 아니(VCN)/ ㅂ니다(EF)/ .(SF)는 "아니다"로 체크하여 수화변환기(212)로 전달하고, 조사인 은(JX)/은 체언분석을 통해 삭제한다. 이때, 불규칙변형 어미가 있는 용언의 경우는 유사성 검사를 통해 해당 단어로 체크하여 수화 변환기(212)로 전달하며, 최종적으로 체크되지 않는 단어는 지화로 표현하도록 수화 변환기(212)에 전달한다.
Figure 112014019451335-pat00002
<품사 집합 목록>
도 1 및 도 3을 참조하면, 수화 변환기(212)는 형태소 분석기(211)에 의해 분석된 형태소가 수화 형태소이면 수화사전 DB(216)에서 해당 단어를 탐색하여 매칭되는 수화 동작을 추출한다.
여기서, 수화사전 DB(216)은 각 단어별로 매칭되는 수화 동작이 동영상 및 그림, 문자로 설명 및 저장된 한국수화사전과, 지화사전, 사회분야별 용어사전 등을 포함한다.
도 1 및 도 4를 참조하면, 아바타 생성기(213)는 인간친화적인 3차원 아바타를 생성하기 위해 3D 모델링의 기본 구성인 폴리곤을 자세하게 하여 인간과 유사한 형상으로 자연스러운 움직임을 제공하며, 손뿐만 아니라 입모양, 표정, 머리와 몸의 방향 등 비수지 언어를 표현하도록 수화사전 DB(216)의 해당 단어와 연동하여 동작한다.
도 1 및 도 5를 참조하면, 비디오 인코더(214)는 아바타 생성기(213)에 의해 생성된 3차원 아바타 수화 애니메이션을 동영상 파일로 변환하여 동영상 저장부(220)로 전달한다.
동영상 저장부(220)는 수화통역부(210)에서 변환된 3차원 아바타 수화 애니메이션 동영상 파일을 저장한다. 즉, 동영상 저장부(220)는 각 단어에 대한 3차원 아바타 수화 애니메이션 동영상을 WMV, 3GP, MP4, AVI, MPEG 중 어느 하나의 형식을 갖는 파일로 저장하며, 각 동영상 파일은 주소 생성부(230)에 의해 생성된 고유의 주소를 갖는다.
또한, 동영상 저장부(220)는 스트리밍 서버(240)와 스트리밍을 연동한다.
여기서, 동영상 저장부(220)는 예를 들면, HDD 또는 외장형 메모리 등일 수 있다.
주소 생성부(230)는 동영상 저장부(220)에 저장된 3차원 아바타 수화 애니메이션 동영상 파일을 웹 페이지 제작자가 제작하는 수화 웹 페이지에 삽입할 수 있도록 해당 동영상 파일의 이름 및 인터넷 주소를 생성하여 클라이언트 PC의 인터페이스(110)에 제공한다.
여기서, 인터넷 주소는 실시간으로 스트리밍이 가능하도록 RTSP 형식의 주소로 저장할 수 있다.
스트리밍 서버(240)는 동영상 저장부(200)의 동영상 파일 중 선택된 3차원 아바타 수화 애니메이션 동영상 파일을 동영상 재생기가 탑재된 개인용 컴퓨터나 스마트폰 등에서 웹 페이지 제작자가 제작하는 수화 웹 페이지에 접속하여 스트리밍 서비스로 재생할 수 있도록 스트리밍 파일 형태로 제공한다.
여기서, 동영상 파일의 변환에는 HTML5에서 대표적으로 사용하는 H.264/Theora… 등의 코덱을 활용할 수 있고, 아울러 변환된 동영상 파일은 HTML5 <video>, <audio> 태그로 재생시킬 수 있고, 제어는 스크립트 API를 사용할 수 있으며, 재생시작, 중지, 일시정지, 재생위치파악, 재생길이, 재생속도, 볼륨 크기, 음소거 등을 처리할 수 있다.
또한, 스트리밍 서버(240)는 Adobe RTMP(Real Time Messaging Protocol)를 지원하는 Wowza Media Server 또는 오픈 소스(open soure) 기반의 RED5 스트리밍 서버를 사용할 수 있으나, 이에 한정하지 않으며, 동영상 컨테이너에 대한 DEMUX/MUX 및 동영상 코덱에 대한 디코딩/인코딩(DECODING/ENCODING)을 수행하지 않고도 스트리밍 처리가 가능한 HTTP LIVE STREAMING 프로토콜이나, MS Smooth Streaming, Adobe HTTP Dynamic Streaming 등 동영상 파일을 HTTP 프로토콜로 전송하는 방식을 기반으로 하는 다른 프로토콜을 사용하여 3차원 아바타 수화 애니메이션 동영상 파일의 스트리밍 영상을 수화 웹 페이지로 제공할 수 있다.
이와 같이 구성된 본 발명의 실시 예에 따른 수화통역 시스템은 웹 페이지 제작자가 클라이언트 PC의 인터페이스(110)를 통하여 수화로 통역하고자 하는 텍스트를 입력 및 요청하면, 수화통역 서버(200)의 수화통역부(210)에서 수화통역 요청된 텍스트를 수화사전 DB(216)에 기초하여 3차원 아바타 수화 애니메이션을 생성 및 동영상으로 변환하고, 이를 동영상 저장부(220)에 저장함과 동시에 주소 생성부(230)에서 해당 동영상 파일의 이름 및 인터넷 주소를 생성하여 클라이언트 PC(100)로 제공하게 된다.
이렇게 되면 동영상 저장부(220)에 저장된 3차원 아바타 수화 애니메이션 동영상 파일을 웹 페이지 제작자가 제작하는 수화 웹 페이지 상에 하이퍼링크를 거는 방식으로 삽입할 수 있다.
도 6을 참조하면, 청각·언어장애인 등의 방문자가 수화 웹 페이지에 접속하여 특정 항목에 대한 수화통역을 원할 경우 손모양의 수화 재생 아이콘을 클릭하면, 그 특정 항목을 수화로 보여주기 위해 수화통역 서버의 동영상 저장부(220)에 저장된 3차원 아바타 수화 애니메이션 동영상 파일이 스트리밍 서버(240) 및 동영상 재생기를 통해 재생되게 된다.
이때, 수화 웹 페이지는 MP4 파일을 RTMP 스트리밍으로 재생할 수 있는 JWPlayer 또는 Flowplayer가 임베디드된 웹 페이지 창을 새로 열고 수화 동영상을 재생하도록 함으로써 Adobe Flash player가 설치된 웹 브라우징 환경에서 별도의 동영상 재생기를 설치하지 않고 동영상을 시청할 수 있다.
이처럼 수화통역 서버(200)에 미리 저장된 수화 동영상을 청각·언어장애인이 접속한 수화 웹 페이지 상에서 동영상 재생기를 통해 스트리밍으로 시청 가능함으로써 웹 페이지 제작자가 청각·언어장애인용 수화 웹 페이지를 더욱 편리하고 용이하게 제작할 수 있다.
한편, 본 발명은 상술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 안에서 예시되지 않은 여러 가지 변형과 응용이 가능함은 물론 구성요소의 치환 및 균등한 타 실시 예로 변경하여 폭넓게 적용할 수도 있음은 본 발명이 속하는 기술분야에서 통상의 지식을 가진자에게 있어서 명백하다.
그러므로 본 발명의 특징에 대한 변형과 응용에 관계된 내용은 본 발명의 기술사상 및 범위 내에 포함되는 것으로 해석하여야 할 것이다.
100: 클라이언트 PC 110: 인터페이스
200: 수화통역 서버 210: 수화통역부
220: 동영상 저장부 230: 주소 생성부
240: 스트리밍 서버

Claims (4)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 다음의 각 단계로 이루어지는 3Ｄ 아바타를 활용한 웹 콘텐츠 기반의 수화통역 방법.
    (A) 웹 페이지 제작자가 클라이언트 PC의 인터페이스를 통하여 수화로 통역하고자 하는 텍스트를 입력 및 요청하면, 상기 클라이언트 PC의 인터페이스로부터 입력되는 문장을 어절 단위로 분리한 후 형태소별로 분류하여 분석하는 형태소 분석기와, 상기 형태소 분석기에 의해 분석된 형태소와 매칭되는 수화 동작을 수화사전 DB에서 추출하는 수화 변환기와, 상기 수화 변환기에 의해 추출된 수화 동작을 순차적으로 3차원 아바타 수화 애니메이션으로 생성하는 아바타 생성기 및 상기 아바타 생성기에 의해 생성된 3차원 아바타 수화 애니메이션을 동영상으로 변환하는 비디오 인코더를 포함하는 수화통역부에서 3차원 아바타 수화 애니메이션을 생성 및 동영상으로 변환하는 단계
    (B) 상기 수화통역부에서 변환된 3차원 아바타 수화 애니메이션 동영상 파일을 동영상 저장부에 저장하고, 상기 동영상 저장부에 저장된 3차원 아바타 수화 애니메이션 동영상 파일을 웹 페이지 제작자가 제작하는 수화 웹 페이지에 삽입할 수 있도록 주소 생성부에서 해당 동영상 파일의 이름 및 인터넷 주소를 생성하여 상기 클라이언트 PC로 제공하는 단계
    (C) 상기 동영상 저장부에 저장된 3차원 아바타 수화 애니메이션 동영상 파일을 웹 페이지 제작자가 제작하는 수화 웹 페이지 상에서 동영상 재생기를 통해 스트리밍으로 시청할 수 있도록 상기 클라이언트 PC에 제공된 동영상 파일의 인터넷 주소를 웹 페이지 제작자가 제작하는 수화 웹 페이지 상에 링크시켜 스트리밍 서버가 해당 동영상 파일을 제공하는 단계
KR1020140023260A 2014-02-27 2014-02-27 3ｄ 아바타를 활용한 웹 콘텐츠 기반의 수화통역 시스템 및 방법 KR101612873B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140023260A KR101612873B1 (ko) 2014-02-27 2014-02-27 3ｄ 아바타를 활용한 웹 콘텐츠 기반의 수화통역 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140023260A KR101612873B1 (ko) 2014-02-27 2014-02-27 3ｄ 아바타를 활용한 웹 콘텐츠 기반의 수화통역 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20150102148A KR20150102148A (ko) 2015-09-07
KR101612873B1 true KR101612873B1 (ko) 2016-04-18

Family

ID=54242966

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140023260A KR101612873B1 (ko) 2014-02-27 2014-02-27 3ｄ 아바타를 활용한 웹 콘텐츠 기반의 수화통역 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101612873B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210068790A (ko) 2019-12-02 2021-06-10 (주)이투엘네트웍 수화통역 시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102304608B1 (ko) 2018-10-25 2021-09-24 주식회사 멀틱스 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템
KR102110445B1 (ko) * 2018-11-09 2020-05-13 주식회사 이큐포올 표준문안 기반 수어번역시스템과 이를 이용한 재난/응급방송시스템, 수어번역 전송방법과 시스템 및 재난문자 발송시스템
KR102104294B1 (ko) * 2019-10-31 2020-04-24 주식회사 멀틱스 디스플레이 장치로 읽을 수 있는 저장매체에 저장된 수화 영상 챗봇 애플리케이션
CN114708367A (zh) * 2022-03-28 2022-07-05 长沙千博信息技术有限公司 基于WebGL的手语数字人驱动及实时渲染系统
KR102636708B1 (ko) * 2022-09-16 2024-02-14 주식회사 한글과컴퓨터 프레젠테이션 문서에 대한 수어 발표 영상을 제작할 수 있는 전자 단말 장치 및 그 동작 방법
KR102644927B1 (ko) * 2023-10-10 2024-03-06 한규범 수어 통역 서비스를 제공하는 온라인 다방향 소통 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101104777B1 (ko) * 2010-02-04 2012-01-17 한국과학기술원 수화 애니메이션 생성을 위한 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101104777B1 (ko) * 2010-02-04 2012-01-17 한국과학기술원 수화 애니메이션 생성을 위한 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210068790A (ko) 2019-12-02 2021-06-10 (주)이투엘네트웍 수화통역 시스템

Also Published As

Publication number Publication date
KR20150102148A (ko) 2015-09-07

Similar Documents

Publication Publication Date Title
KR101612873B1 (ko) 3ｄ 아바타를 활용한 웹 콘텐츠 기반의 수화통역 시스템 및 방법
US20210256201A1 (en) Modular systems and methods for selectively enabling cloud-based assitive technologies
US10991380B2 (en) Generating visual closed caption for sign language
US9275150B2 (en) System and method for search and display of content in the form of audio, video or audio-video
US9177551B2 (en) System and method of providing speech processing in user interface
WO2012086356A1 (ja) ファイルフォーマット、サーバ、電子コミックのビューワ装置および電子コミック生成装置
JPH11249867A (ja) 音声ブラウザシステム
US10600337B2 (en) Intelligent content parsing with synthetic speech and tangible braille production
De Sisto et al. Challenges with sign language datasets for sign language recognition and translation
KR102304608B1 (ko) 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템
US11776578B2 (en) Automatic modification of values of content elements in a video
KR20220130863A (ko) 음성-텍스트 변환 영상 리소스 매칭 기반 멀티미디어 변환 콘텐츠 제작 서비스 제공 장치
Abdullah et al. TeBook A mobile holy Quran memorization tool
Spence Disrupting Digital Monolingualism: A report on multilingualism in digital theory and practice
Liu et al. The Study of Non-verbal Allusion Translation in Film Subtitle: Based on Relevance Theory.
JP2010230948A (ja) コンテンツ配信システムおよびテキスト表示方法
CN113518160A (zh) 视频生成方法、装置、设备及存储介质
CN105702130A (zh) 手语翻译器
Jiang SDW-ASL: A Dynamic System to Generate Large Scale Dataset for Continuous American Sign Language
KR102435243B1 (ko) 음성 정보로부터 변환된 텍스트의 영상 리소스 매칭을 이용한 멀티미디어 변환 콘텐츠 제작 서비스 제공 방법
CN116419005A (zh) 一种视频合成方法、装置以及可读存储介质
LI An Inter-Linguistic Analysis on Multimodal Coupling of German and Chinese Tourism Video Commercials–A comparative Study based on ELAN
JP2008216397A (ja) 情報を提示する装置と方法及びその提示情報を作成する装置と方法
Oak et al. RETRACTED CHAPTER: Literature Review on Sign Language Generation
Bhardwaj et al. Real-Time Sign Language Detector in a Chatbot

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181206

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191105

Year of fee payment: 5