KR100730573B1 - 수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템 - Google Patents

수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템 Download PDF

Info

Publication number
KR100730573B1
KR100730573B1 KR1020050052893A KR20050052893A KR100730573B1 KR 100730573 B1 KR100730573 B1 KR 100730573B1 KR 1020050052893 A KR1020050052893 A KR 1020050052893A KR 20050052893 A KR20050052893 A KR 20050052893A KR 100730573 B1 KR100730573 B1 KR 100730573B1
Authority
KR
South Korea
Prior art keywords
sign language
hand
unit
data
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020050052893A
Other languages
English (en)
Other versions
KR20060133190A (ko
Inventor
오영준
정성훈
장효영
정진우
변증남
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020050052893A priority Critical patent/KR100730573B1/ko
Publication of KR20060133190A publication Critical patent/KR20060133190A/ko
Application granted granted Critical
Publication of KR100730573B1 publication Critical patent/KR100730573B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은, 제공되는 수화영상데이터에 대응하는 한글 문장을 발생하는 문장발생부와, 상기 문장발생부로부터 제공되는 한글 문장에 대응하는 음성소를 사용해서 음성을 합성하여 통신회선부로 제공하는 음성발생부와, 상기 통신회선부로부터 제공되는 음성에 대응하는 한글 문장을 생성하는 문장생성부와, 상기 문장생성부로부터 제공되는 한글 문장에 대응하는 수화를 수행하는 아바타를 표현하는 수화발생부를 구비한다.
수화, 손인식, 손자세, 손이동, 손모양, 형태소 분석, 자음변환, 입술모양, 3차원 애니메이션, DB, 통신, 전화, 정보, 보조기술, 농아

Description

수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템{Sign Language Phone System using Sign Recconition and Sign Generation}
도 1은 본 발명에 따른 수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템의 일 실시예를 나타낸 블록도,
도 2는 도 1에 도시된 수화발생부의 일 실시예를 나타낸 블록도,
도 3은 도 1에 도시된 문장발생부의 일 실시예를 나타낸 블록도,
도 4는 도 1에 도시된 음성발생부의 일 실시예를 나타낸 블록도,
도 5는 도 1에 도시된 문장생성부의 일 실시예를 나타낸 블록도,
도 6은 도 2에 도시된 자음변환기의 동작을 단계별로 나타낸 순서도,
도 7은 수화형태소/3차원수화애니메이션DB, 수화단어DB, 및 손모양DB의 종속관계를 나타낸 도면,
도 8은 도 2에 도시된 자음변환기에서 자음변환하기 전의 음절과 입술모양을 구현할 모음을 나타낸 도면,
도 9는 도 2에 도시된 자음변환기의 동작에 따른 다양한 입술모양을 나타낸 도면,
도 10은 고개운동DB를 나타낸 도면,
도 11은 수화단어DB의 얼굴표정값 정보에 따른 3차원 수화자 모델의 다양한 얼굴표정을 나타낸 도면,
도 12는 손운동DB에 저장되어 있는 손운동 데이터를 나타낸 도면,
도 13은 손자세DB에 저장되어 있는 손자세 데이터에 대응하는 손방향을 나타낸 도면,
도 14는 손자세DB에 저장되어 있는 손자세 데이터에 대응하는 손모양을 나타낸 도면,
도 15는 수화자의 손 위치 이미지 세부분할과 손 위치 데이터내용을 나타낸 도면,
도 16은 수화자 얼굴 안에 손이 위치할 경우, 수화자 얼굴 분할 이미지와 수화자 얼굴 영역 분할에 의하여 생성한 손 위치 정보값을 나타낸 도면,
도 17은 수화소DB의 수화소 구성내용을 나타낸 도면,
도 18은 수화소DB의 자음지화소 구성내용을 나타낸 도면,
도 19는 수화소DB의 모음지화소 구성내용을 나타낸 도면,
도 20은 수화소DB의 문자배열 구성내용을 나타낸 도면,
도 21은 청각장애인모드 화면배치를 나타낸 도면,
도 22는 건청인모드 화면배치를 나타낸 도면.
본 발명은 수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템(Sign Language Phone System)에 관한 것으로, 특히, 청각장애인이 건청인에게 전화를 걸 때 청각장애인이 표현한 수화 특징을 추출해서 수화영상DB(DataBase)를 참조하여 그 수화를 문장이나 음성으로 표현하도록 하고, 건청인이 청각장애인에게 전화를 걸 때는 건청인이 발성한 음성을 추출하여 문자로 변환하고 각종 전처리 알고리즘(algorithm)을 통하여 수화식 표현으로 변환하고 수화 애니메이션DB를 참조하여 3차원 수화 애니메이션으로 표현함으로써 청각장애인들의 정보 접근을 증진시키는 수화 전화 시스템에 관한 것이다.
공개특허공보 제2004-0010945호, 제2004-0076907호 및 등록특허공보 제0397692호, 등록실용신안공보 제0234151호를 통하여 청각장애인용 화상전화, 필기인식전화, 손동작인식 화상통신 등이 잘 알려져 있다. 그러나 이들은 음성신호 - 수화 애니메이션 화면의 변환 및 수화인식 - 음성합성 변환 기술에 대하여는 전혀 고려하지 않다. 또한 이들 문헌에는 수화기능의 표시를 위한 3차원 수화 애니메이션 기법과 수화 인식 기법, 손 위치 기법, 고개운동 기법, 입술모양 변형 기법에 대하여 제시 하지 못하고 있다. 따라서 수화 전화 시스템 개발을 위한 구 체적인 방안을 고려하지 못하고 있다.
본 발명은 상기한 종래 기술의 문제점을 해소하기 위하여 안출한 것으로, 청각장애인이 표현한 수화에 대응하는 영상데이터를 특징 추출과 손동작 변화, 손 위치 시작점으로 분류해서 수화DB 검색을 통하여 텍스트로 변환하고 이를 다시 음성합성할 수 있고, 통신회선을 통해 상대방 건청인에게 전송하면서 건청인이 발성한 음성을 추출해서 음성인식기에 의해 문장으로 변환해서 수화식 전처리 알고리즘으로 처리하여 입술모양과 얼굴표정감정, 고개운동과 함께 3차원 수화 애니메이션을 발생할 수 있는 양방향 수화전화시스템을 제공하는 데 그 목적이 있다.
이와 같은 목적을 달성하기 위한 본 발명은, 제공되는 수화영상데이터에 대응하는 한글 문장을 발생하는 문장발생부와, 상기 문장발생부로부터 제공되는 한글 문장에 대응하는 음성소를 사용해서 음성을 합성하여 통신회선부로 제공하는 음성발생부와, 상기 통신회선부로부터 제공되는 음성에 대응하는 한글 문장을 생성하는 문장생성부와, 상기 문장생성부로부터 제공되는 한글 문장에 대응하는 수화를 수행하는 아바타를 표현하는 수화발생부를 포함하는 것을 특징으로 한다.
이와 같은 본 발명의 실시예를 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.
도 1은 본 발명에 따른 수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템의 일 실시예를 나타낸 블록도로, 시스템처리부(100), 수화입력부(110), 수화출력부(120), 통신회선부(130), 및 DB그룹(140)으로 구성된다. 상기 시스템처리 부(100)는 문장발생부(200), 음성발생부(400), 문장생성부(500), 및 수화발생부(300)를 구비한다.
동 도면에 있어서, 수화입력부(110)는 카메라를 사용하여 수화동작이나 수화모양을 인식해서 이에 대응하는 수화영상데이터를 시스템처리부(100) 내의 문장발생부(200)로 제공한다.
문장발생부(200)는 수화입력부(110)로부터 제공되는 수화영상데이터에 대응하는 문장을 DB그룹(140) 내의 수화DB에서 탐색하여 음성발생부(400)로 제공한다.
음성발생부(400)는 문장발생부(200)로부터 제공되는 문장에 대응하는 음성소를 DB그룹(140) 내의 음성DB에서 탐색해서 해당 음성을 합성하여 통신회선부(전화망 또는, 데이터 통신망)(130)로 제공한다.
문장생성부(500)는 통신회선부(130)로부터 제공되는 음성에 대응하는 문장을 DB그룹(140) 내의 음성인식DB에서 탐색하여 수화발생부(300)로 제공한다.
수화발생부(300)는 문장생성부(500)로부터 제공되는 문장에 대응하는 수화를 DB그룹(140) 내의 수화소DB에서 탐색하여 화면 표시용 데이터로 바꾸어서 수화출력부(120)로 제공한다.
수화출력부(120)는 수화발생부(300)로부터 제공되는 화면 표시용 데이터를 사용하여 화면 출력장치에 해당 수화를 수행하는 아바타를 디스플레이하여 이용자가 볼 수 있도록 한다.
도 2는 도 1에 도시된 수화발생부(300)의 일 실시예를 나타낸 블록도이다. 이때, 각 DB(211, 212, 213, 214, 215, 221, 222, 223)는 도 1에 도시된 DB그룹(140) 내에 구성된다.
동 도면에 있어서, 수화발생부(300) 내의 형태소 분석부(201)는 문장생성부(500)로부터 제공되는 문장을 분석하여 각 형태소로 분해한다. 이때, 본 발명에서 사용되는 문장은 한글 문장으로서, 형태소 분석부(201)는 한글 문장을 분석하여 각 한글 형태소로 분해한다.
수화DB검색부(203)는 형태소 분석부(201)로부터 제공되는 분해된 각 한글 형태소에 대응하는 수화단어가 수화형태소/3차원수화애니메이션DB(221) 및 도 11과 같은 수화단어DB(222)에서 검색되면, 수화단어DB(222)와 손모양DB(223)에서 검색된 수화단어에 대응하는 모델링정보값을 추출하여 3차원 수화 그래픽으로 표현한다. 상기 도 11은 수화단어DB(222)의 얼굴표정값 정보에 따른 3차원 수화자 모델의 다양한 얼굴표정을 나타낸 도면이다.
얼굴표현추가부(206)는 수화DB검색부(203)에 접속되어, 수화DB검색부(203)가 해당 수화단어를 검색했을 경우, 그 검색된 수화단어의 얼굴 표정값을 표정DB(212)로부터 검색하고, 그 검색된 수화단어의 고개운동을 도 10과 같은 고개운동DB(213)로부터 검색하여 그 고개운동을 통해서 수화의 생동감을 표현한다. 예로, 머리를 숙이거나, 놀란 모습을 표현하듯이 고개를 뒷쪽으로 약간 내미는 등의 고개운동을 3차원 수화 애니메이션으로 표현할 수 있다.
반면, 수화DB검색부(203)는 형태소 분석부(201)로부터 제공되는 분해된 각 한글 형태소에 대응하는 수화단어가 수화형태소/3차원수화애니메이션DB(221) 및 수 화단어DB(222)에서 검색되지 않으면, 이와 같이 검색되지 않은 상황을 미등록처리부(205)에게 보고하여, 미등록처리부(205)가 3차원지화애니메이션DB(211)를 검색하여 수화단어의 초/중/종성에 해당하는 3차원지화애니메이션을 표현하도록 한다.
자음변환기(202)는 형태소분석부(201)에 접속되어, 한글 형태소에 있는 초성의 자음을 "ㅇ"으로 바꾸고 형태소에서 종성을 제거한다. 이때, 자음변환기(202)에서 자음변환하기 전의 음절과 입술모양을 구현할 모음은 도 8과 같다. 자음변환기(202)의 동작에 따른 다양한 입술모양은 도 9와 같으며, 수화 아바타 모델은 자음변환기(202)의 결과에서 나온 각 모음을 각 입술모양으로 표현한다. 즉, 입모양을 이용해서 수화를 보조하여 수화정보에 대한 시각적 이해를 전달 할 수 있는 아바타 모델이 표현되는 것이다.
즉, 입술표현추가부(204)는 입술모양DB(214)로부터 자음변환기(202)의 출력에 대응하는 해당 입술모양을 검색하여 아바타의 입술모양을 생성한다.
3D 수화 그래픽 발생부(207)는 얼굴표현추가부(206), 미등록처리부(205), 입술표현추가부(204), 및 인체모델DB(215)에 접속되어, 수화아바타를 3차원 수화 애니메이션으로 표현하여 사용자가 수화아바타의 발음을 이해할 수 있도록 한다.
표현부(208)는 3D 수화 그래픽 발생부(207)의 3차원 수화 애니메이션 출력을 화면 표시용 데이터로 바꾸어서 수화출력부(120)로 제공한다.
도 3은 도 1에 도시된 문장발생부(200)의 일 실시예를 나타낸 블록도이다. 이때, 각 DB(311, 312, 313, 314)는 도 1에 도시된 DB그룹(140) 내에 구성된다.
동 도면에 있어서, 문장발생부(200) 내의 데이터 획득부(301)는 수화입력부(110)로부터 수화영상데이터를 제공받아 수화자의 손동작을 실시간으로 인식하고 칼라 영상 데이터를 생성하여 영상 전처리부(302)로 제공한다.
영상 전처리부(302)는 데이터 획득부(301)로부터 제공되는 손 영상데이터를 처리하여 손궤적 데이터, 손자세 데이터, 및 손위치 데이터로 분류한다.
손운동분류부(303)는 영상 전처리부(302)로부터 제공되는 손궤적 데이터와 손운동DB(311)에서 검색된 손운동데이터를 비교하여 손운동정보값을 생성한다.
손자세분류부(304)는 영상 전처리부(302)로부터 제공되는 손자세 데이터와 손자세DB(312)의 데이터를 비교하여 손자세정보값을 생성한다.
손위치분류부(305)는 수화자의 중심에 맞추고 수화자의 얼굴을 기준으로 하여, 영상 전처리부(302)로부터 제공되는 손위치 데이터의 이미지를 7X5 하부이미지로 분할하고, 그 데이터를 손위치DB(313)의 손위치 이미지 데이터와 비교하고 손위치정보값을 생성한다. 이때, 손위치 데이터의 손가락이 위치 데이터의 얼굴 부분에 접할 경우 사용자의 코를 중심으로 하여 얼굴 이미지를 다시 분할하고, 그 분할된 위치 이미지 데이터를 손위치DB(313)의 위치 이미지 데이터와 비교하여 손위치 정보값을 생성한다.
수화데이터구성부(306)는 손운동분류부(303)로부터 제공되는 손운동정보값, 손자세분류부(304)로부터 제공되는 손자세정보값, 및 손위치분류부(305)로부터 제공되는 손위치정보값을 수화소DB(314)에 저장된 손운동정보값, 손자세정보값, 및 손위치정보값에 비교하여 수화소DB(314) 안의 수화소단어이름에 해당하는 텍스트단 어이름을 생성한다.
문장구성부(307)는 수화데이터구성부(306)로부터 제공되는 텍스트단어이름을 사용하여 문장을 다시 구성하여 출력한다.
이때, 손운동분류부(303)는 손이 운동하지 않고 정지상태로 있을 경우, 손운동정보값을 발생하지 않는다. 이에, 수화데이터구성부(306)는 손운동데이터를 정지상태로 처리하고, 그 손운동데이터가 정지상태이고 손자세데이터에 고유한 값이 들어 있을 경우, 수화소 데이터가 수화소DB(314) 안의 수화소이름에 해당하는 자음/모음에 일치하면 자모/모음을 생성하고, 그 생성된 자음/모음을 조합하여 고유명사를 생성한다.
도 4는 도 1에 도시된 음성발생부(400)의 일 실시예를 나타낸 블록도이다.
동 도면에 있어서, 음성 합성부(401)는 문장발생부(200)로부터 제공되는 문장에 대응하여 음성합성DB(411)에 저장된 음성데이터를 탐색해서 출력함으로써 청각장애인의 수화 정보를 비수화자에게 전달할 수 있도록 한다.
도 5는 도 1에 도시된 문장생성부(500)의 일 실시예를 나타낸 블록도이다.
동 도면에 있어서, 음성 인식부(501)는 통신회선부(130)로부터 제공되는 음성에 대응하여, 음성인식DB(511)에서 미리 학습된 음성 데이터를 적절하게 비교해서 문장을 발생시켜 수화발생부(300)로 제공한다.
도 6은 도 2에 도시된 자음변환기의 동작을 단계별로 나타낸 순서도이다.
먼저, 수화동작과 입술모양의 변화를 구현하기 위해 현재 어절을 한 음절씩 분리한다(단계 S2).
분리된 각 음절을 초/중/종성으로 변환한다(단계 S4).
초성의 자음을 'ㅇ'으로 변환한다(단계 S6).
한 음절에서 종성을 제거하고, 입술모양을 구현할 수 있도록 모음만 표현한다(단계 S8). 이때, 모음이 이중모음일 경우 이중모음을 각각 단순모음으로 분리한다.
음절이 남아 있을 경우 상기 단계(S4)부터 다시 수행한다(단계 S10).
도 7은 수화형태소/3차원수화애니메이션DB(221), 수화단어DB(222), 및 손모양DB(223)의 종속관계를 나타낸 도면으로, 수화DB검색부(203)의 동작에 따라 수화형태소/3차원수화애니메이션DB(221) 검색에 의해 입력된 형태소단어가 각각 수화단어로 분리되고, 아바타를 구현하기 위하여 수화단어DB(222)와 손모양DB(223)로부터 얻은 모델링 값 정보를 추출한다.
도 12는 손운동DB(311)에 저장되어 있는 손운동 데이터를 나타낸 도면이다.
도 13은 손자세DB(312)에 저장되어 있는 손자세 데이터에 대응하는 손방향을 나타낸 도면이다.
도 14는 손자세DB(312)에 저장되어 있는 손자세 데이터에 대응하는 손모양을 나타낸 도면이다.
도 15는 수화자의 손 위치 이미지 세부분할과 손 위치 데이터내용을 나타낸 도면으로, 얼굴 밖에 손이 위치할 경우 수화자 분할 이미지와 수화자 영역 분할에 의하여 생성한 손 위치 정보값을 나타낸다.
도 16은 수화자 얼굴 안에 손이 위치할 경우, 수화자 얼굴 분할 이미지와 수화자 얼굴 영역 분할에 의하여 생성한 손 위치 정보값을 나타낸 도면이다.
도 17은 수화소DB(314)의 수화소 구성내용을 나타낸 도면으로, 수화데이터구성부(306)는 손운동분류부(303)로부터 제공되는 손운동정보값, 손자세분류부(304)로부터 제공되는 손자세정보값, 및 손위치분류부(306)로부터 제공되는 손위치정보값을 받아 그 3개의 정보값이 수화소DB(314)에 미리 저장한 데이터에 일치되면 해당 텍스트단어를 생성한다.
도 18은 수화소DB(314)의 자음지화소 구성내용을 나타낸 도면으로, 수화데이터구성부(306)는 모든 손운동데이터가 정지상태이면 자음을 생성할 수 있다.
도 19는 수화소DB(314)의 모음지화소 구성내용을 나타낸 도면으로, 수화데이터구성부(306)는 모든 손운동데이터가 정지상태이면 모음을 생성한다.
도 20은 수화소DB(314)의 문자배열 구성내용을 나타낸 도면으로, 수화사용자의 지화표현순서대로 모음지화소와 자음지화소를 함께 조합하고 문자를 생성할 수 있다. 많이 구성하면 문자 두 개 이상을 모아 고유명사를 발생할 수 있다.
도 21은 수화 전화 시스템의 청각장애인모드 화면배치를 나타낸 도면이고, 도 22는 수화 전화 시스템의 건청인모드 화면배치를 나타낸 도면으로, 수화 전화 시스템은 장애인모드 전환 버튼기능을 갖추어서 청각장애인모드일 경우 수화 애니메이션을 상대방 비수화자 영상화면 영역에 표시하도록 할 수 있다.
이상에서 본 발명에 대한 기술사상을 첨부도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술분야의 통상의 지식을 가진 자라면 누구나 본 발명의 기술사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.
본 발명은 수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템을 통하여, 청각장애인들의 의사소통에 대한 이해를 돕고 화상 전화 시스템 프로그램을 통해 여가 생활을 영위하거나 사회 활동 및 교육에 필요한 정보를 제공하는데 유용하게 사용될 수 있다.

Claims (5)

  1. 수화영상데이터에 대응하는 한글 문장을 발생하는 문장발생부와, 상기 문장발생부로부터 제공되는 한글 문장에 대응하는 음성소를 사용해서 음성을 합성하여 통신회선부로 제공하는 음성발생부와, 상기 통신회선부로부터 제공되는 음성에 대응하는 한글 문장을 생성하는 문장생성부와, 상기 문장생성부로부터 제공되는 한글 문장에 대응하는 수화를 수행하는 아바타를 표현하는 수화발생부를 포함하는 수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템에 있어서,
    상기 문장발생부는,
    상기 수화영상데이터를 제공받아 수화자의 손동작을 인식하고 손 영상 데이터를 생성하는 데이터 획득부와,
    상기 데이터 획득부로부터 제공되는 손 영상 데이터로부터 손궤적 데이터, 손자세 데이터, 및 손위치 데이터를 분류하는 영상 전처리부와,
    상기 영상 전처리부로부터 제공되는 손궤적 데이터와 기저장된 손운동 목록을 비교하여 상기 손 영상 데이터의 손운동정보값을 얻는 손운동분류부와,
    상기 영상 전처리부로부터 제공되는 손자세 데이터와 기저장된 손자세 목록을 비교하여 상기 손 영상 데이터의 손자세정보값을 얻는 손자세분류부와,
    상기 영상 전처리부로부터 제공되는 손위치 데이터와 기저장된 손위치 목록을 비교하여 상기 손 영상 데이터의 손위치정보값을 얻는 손위치분류부와,
    상기 손운동정보값과 손자세정보값과 손위치정보값으로부터 수화소단어이름에 해당하는 텍스트단어이름을 생성하는 수화데이터구성부와,
    상기 수화데이터구성부로부터 제공되는 텍스트단어이름을 사용하여 문장을 구성하는 문장구성부를 포함하는 수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템.
  2. 제 1 항에 있어서,
    상기 수화발생부는, 상기 문장생성부로부터 제공되는 문장을 각 형태소로 분해하는 형태소분석부와,
    상기 형태소 분석부로부터 제공되는 각 형태소에 대응하는 수화단어가 구비되어 있을 경우, 상기 구비된 수화단어에 대응하는 모델링정보값을 추출하여 3차원 수화 그래픽으로 표현하고, 상기 형태소 분석부로부터 제공되는 각 형태소에 대응하는 수화단어가 구비되어 있지 않을 경우, 미등록처리부가 상기 수화단어의 초/중/종성에 해당하는 3차원지화애니메이션을 표현하도록 하는 수화검색부와,
    상기 수화검색부에 접속되어, 상기 수화검색부가 해당 수화단어를 구비하고 있었을 경우, 상기 수화단어의 얼굴 표정과 고개운동을 표현하는 얼굴표현추가부와,
    상기 형태소분석부에 접속되어, 형태소에 있는 초성의 자음을 "ㅇ"으로 바꾸고 형태소에서 종성을 제거하는 자음변환기와,
    상기 자음변환기의 출력에 대응하는 입술모양을 생성하는 입술표현추가부와,
    상기 얼굴표현추가부, 미등록처리부, 및 입술표현추가부에 접속되어, 수화아바타를 3차원 수화 애니메이션으로 표현하는 3D 수화 그래픽 발생부를 포함하는 수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 손위치분류부는, 상기 손위치 데이터의 손가락이 위치 데이터의 얼굴 부분에 접할 경우 사용자의 코를 중심으로 하여 얼굴 이미지를 다시 분할하고, 상기 분할된 위치 이미지 데이터를 구비된 위치 이미지 데이터와 비교하여 손위치 정보값을 생성하는 것을 특징으로 하는 수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템.
  5. 제 1 항에 있어서,
    상기 손운동분류부는, 손이 운동하지 않고 정지상태로 있을 경우, 손운동정보값을 발생하지 않으며,
    상기 수화데이터구성부는, 상기 손운동분류부가 손운동정보값을 발생하지 않을 경우, 손운동데이터를 정지상태로 처리하고, 상기 손운동데이터가 정지상태이면서 손자세데이터에 고유한 값이 들어 있을 경우, 구비된 수화소이름에 해당하는 자음/모음에 일치하면 자모/모음을 생성하고, 상기 생성된 자음/모음을 조합하여 고유명사를 생성하는 것을 특징으로 하는 수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템.
KR1020050052893A 2005-06-20 2005-06-20 수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템 Expired - Fee Related KR100730573B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050052893A KR100730573B1 (ko) 2005-06-20 2005-06-20 수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050052893A KR100730573B1 (ko) 2005-06-20 2005-06-20 수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템

Publications (2)

Publication Number Publication Date
KR20060133190A KR20060133190A (ko) 2006-12-26
KR100730573B1 true KR100730573B1 (ko) 2007-06-20

Family

ID=37812129

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050052893A Expired - Fee Related KR100730573B1 (ko) 2005-06-20 2005-06-20 수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템

Country Status (1)

Country Link
KR (1) KR100730573B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101765154B1 (ko) * 2015-04-14 2017-08-07 한국철도공사 음성을 사이버 수화로 제공하는 방법
US10896298B2 (en) 2017-12-04 2021-01-19 Verizon Patent And Licensing Inc. Systems and methods for configuring an automatic translation of sign language in a video conference
US12062125B2 (en) 2021-10-29 2024-08-13 Kara Technologies Limited Method for generating animated sentences for sign language translation
US12368691B2 (en) 2023-10-24 2025-07-22 Bank Of America Corporation System and method for generating alternative information formats using advanced computational models for data analysis and automated processing

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101104777B1 (ko) * 2010-02-04 2012-01-17 한국과학기술원 수화 애니메이션 생성을 위한 시스템 및 방법
KR102167760B1 (ko) * 2020-07-24 2020-10-19 주식회사 멀틱스 수어동작 인식 처리절차 및 움직임 추적 Pre-trained 모델을 이용한 수어동작 분석 알고리즘 시스템
CN114120770A (zh) * 2021-03-24 2022-03-01 张银合 一种听障人员无障碍交流的方法
KR102743455B1 (ko) * 2022-10-07 2024-12-16 전남대학교산학협력단 지화 통역 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0775075A (ja) * 1993-08-31 1995-03-17 Tamura Electric Works Ltd テレビ電話装置
US5953693A (en) 1993-02-25 1999-09-14 Hitachi, Ltd. Sign language generation apparatus and sign language translation apparatus
KR20000017756A (ko) * 1999-11-12 2000-04-06 황병익 수화 번역 장치
US6181778B1 (en) 1995-08-30 2001-01-30 Hitachi, Ltd. Chronological telephone system
KR20010107877A (ko) * 2001-11-09 2001-12-07 이창선 음성인식을 통한 쓰리디 애니메이션 수화표현 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953693A (en) 1993-02-25 1999-09-14 Hitachi, Ltd. Sign language generation apparatus and sign language translation apparatus
JPH0775075A (ja) * 1993-08-31 1995-03-17 Tamura Electric Works Ltd テレビ電話装置
US6181778B1 (en) 1995-08-30 2001-01-30 Hitachi, Ltd. Chronological telephone system
KR20000017756A (ko) * 1999-11-12 2000-04-06 황병익 수화 번역 장치
KR20010107877A (ko) * 2001-11-09 2001-12-07 이창선 음성인식을 통한 쓰리디 애니메이션 수화표현 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101765154B1 (ko) * 2015-04-14 2017-08-07 한국철도공사 음성을 사이버 수화로 제공하는 방법
US10896298B2 (en) 2017-12-04 2021-01-19 Verizon Patent And Licensing Inc. Systems and methods for configuring an automatic translation of sign language in a video conference
US12062125B2 (en) 2021-10-29 2024-08-13 Kara Technologies Limited Method for generating animated sentences for sign language translation
US12368691B2 (en) 2023-10-24 2025-07-22 Bank Of America Corporation System and method for generating alternative information formats using advanced computational models for data analysis and automated processing

Also Published As

Publication number Publication date
KR20060133190A (ko) 2006-12-26

Similar Documents

Publication Publication Date Title
CN110688911B (zh) 视频处理方法、装置、系统、终端设备及存储介质
KR102098734B1 (ko) 대화 상대의 외형을 반영한 수어 영상 제공 방법, 장치 및 단말
CN106653052B (zh) 虚拟人脸动画的生成方法及装置
KR102167760B1 (ko) 수어동작 인식 처리절차 및 움직임 추적 Pre-trained 모델을 이용한 수어동작 분석 알고리즘 시스템
KR101777807B1 (ko) 수화 번역기, 시스템 및 방법
KR102174922B1 (ko) 사용자의 감정 또는 의도를 반영한 대화형 수어-음성 번역 장치 및 음성-수어 번역 장치
CN111260761B (zh) 一种生成动画人物口型的方法及装置
Yusnita et al. Implementation of real-time static hand gesture recognition using artificial neural network
Kanvinde et al. Bidirectional sign language translation
Sonawane et al. Speech to Indian sign language (ISL) translation system
KR101981091B1 (ko) 감정시각화자막 생성장치
CN104538025A (zh) 手势到汉藏双语语音转换方法及装置
Dweik et al. Read my lips: Artificial intelligence word-level arabic lipreading system
CN115409923A (zh) 生成三维虚拟形象面部动画的方法、装置及系统
Dixit et al. Audio to indian and american sign language converter using machine translation and nlp technique
KR100730573B1 (ko) 수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템
Krishnaraj et al. A Glove based approach to recognize Indian Sign Languages
KR100348823B1 (ko) 수화 번역 장치
KR20210073856A (ko) 휴대용 수화 번역기 및 수화 번역 방법
Dias et al. SignEnd: an Indian sign language assistant
Reda et al. Svbicomm: sign-voice bidirectional communication system for normal,“deaf/dumb” and blind people based on machine learning
Sivamohan et al. Hand Gesture Recognition and Translation for International Sign Language Communication using Convolutional Neural Networks
Regulwar et al. Audio to sign language translator
Prashanth et al. Lip reading with 3D convolutional and bidirectional LSTM networks on the GRID corpus
Chanda et al. Automatic hand gesture recognition with semantic segmentation and deep learning

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

S14-X000 Exclusive voluntary license recorded

St.27 status event code: A-4-4-S10-S14-lic-X000

FPAY Annual fee payment

Payment date: 20130823

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

FPAY Annual fee payment

Payment date: 20140701

Year of fee payment: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20150601

Year of fee payment: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20160615

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20160615

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000