KR102524337B1 - 인공지능을 이용한 청각장애인을 위한 실시간 수어 영상 스트림 생성 방법 - Google Patents

인공지능을 이용한 청각장애인을 위한 실시간 수어 영상 스트림 생성 방법 Download PDF

Info

Publication number
KR102524337B1
KR102524337B1 KR1020220099081A KR20220099081A KR102524337B1 KR 102524337 B1 KR102524337 B1 KR 102524337B1 KR 1020220099081 A KR1020220099081 A KR 1020220099081A KR 20220099081 A KR20220099081 A KR 20220099081A KR 102524337 B1 KR102524337 B1 KR 102524337B1
Authority
KR
South Korea
Prior art keywords
sign language
word
array
animation
headword
Prior art date
Application number
KR1020220099081A
Other languages
English (en)
Inventor
유승수
Original Assignee
(주)멀틱스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)멀틱스 filed Critical (주)멀틱스
Priority to KR1020220099081A priority Critical patent/KR102524337B1/ko
Application granted granted Critical
Publication of KR102524337B1 publication Critical patent/KR102524337B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 청각장애인을 위한 실시간 수어 영상 스트림 생성 방법에 관한 것으로 수어 단어 배열 생성부(100)가, 입력되는 한국어 문장에 대해 형태소 분석 또는 전처리를 통하여 한국어 수어 사전 그룹(라이브러리)에 속하는 단어(수어 표제어) 배열들로 변환 생성하는, 수어 단어 배열 생성단계(S100)와; 단어 애니메이션 생성부(200)가, 상기 각 단어에 대하여 매칭되는 수어 애니메이션 영상을 부여하는, 배열 단어들 수어 애니메이션 생성 단계(S200)와; 수어 문장 애니메이션 생성부(300)가, 배열 단어들에 대한 수어 애니메이션들을 순차적으로 연결(블렌딩)하여 문장에 대한 수어 애니메에션 영상을 생성하는, 수어 문장 애니메이션 생성 단계(S300);로 구성되는 것을 특징으로 하는 청각장애인을 위한 실시간 수어 영상 스트림 생성 방법에 관한 것이다.

Description

인공지능을 이용한 청각장애인을 위한 실시간 수어 영상 스트림 생성 방법 { Hand language animation producing method for hearing impairment people }
본 발명은 청각장애인을 위한 실시간 수어 영상 스트림 생성 방법에 관한 것이다.
종래 기술 공개 공개특허 제10-2021-0026006호 영상의 음성을 아바타 및 애니메이션으로 변환하는 수화번역 시스템 및 방법은, 수화 번역 프로그램에 있어서,
영상에서 음성을 추출할 수 있게 201번을 이용하여 구성한 (101)음성 추출부, 추출한 영상의 음성을 텍스트로 변환할 수 있게 추출한 음성에서 특징추출하여 구성한 (102)텍스트 변환부, 변환된 텍스트를 정확한 정보를 출력할 수 있게 변환된 텍스트를 정제하여 형태소로 구성한 (103)텍스트 정제부, 정제된 텍스트를 수어로 번역할 수 있게 정제된 텍스트를 딥러닝 기술을 활용하여 수어로 번역한 모델로 구성한 (104)수어 번역부, 번역된 수어를 아바타 및 애니메이션으로 생성할 수 있게 수화에 대한 데이터를 모델에 학습을 시켜 수어를 애니메이션으로 변환하는 것으로 구성한 (105)수화 애니메이션 변환부, 생성된 아바타 및 애니메이션을 출력할 수 있게 변환된 애니메이션을 화면 하단에 위치하는 것으로 구성한 (106)출력부, 음성 신호를 분석할 수 있게 영상의 음성을 추출하는 것으로 구성한 (201)신호 분석부, 분석한 음성을 정제할 수 있게 분석한 음성을 정확한 데이터로 구성한(202)음성부, 분석한 음성의 특징을 추출할 수 있게 음성 데이터에서 연관성이 있는 음성의 특징을 추출하는 것으로 구성한 (203)특징 추출부, 음성 특징에 대한 SCORE를 계산할 수 있게 음성 데이터에서 추출한 특징들을 score 계산을 하는 것으로 구성한 (204)SCORE 추출부, 최대의 SCORE를 가진 특징을 선택할 수 있게 score 계산한 결과에서 최대값을 가지는 score을 선택하는 것으로 구성한 (205)SCORE 선택부, 선택된 특징들을 조합할 수 있게 score 계산을 하여 최대값 score들을 가진 요소들을 조합하는 것으로 구성한 (206)후처리부, 조합한 결과를 출력할 수 있게 요소들을 조합하여 조합한 결과를 화면에 출력하는 것으로 구성한 (207)출력부로 구성 된 것을 특징으로 하는 영상의 음성을 아바타 및 애니메이션으로 변환하는 수화번역 시스템 및 방법을 개시한다.
본 발명은, 국어 문자 입력을 정확하게 수어 문법으로 변환배열할 수 있는 인공지능 모델을 학습시키고 이를 이용하여 자막 또는 한국어 문자 표현을 실제 전문 통역사와 같은 수준으로 정확하게 의미를 전달할 수 있는 실시간 수어 영상 스트림 생성 방법 및 시스템을 제공하기 위한 것이다.
본 발명은 정밀한 국어 단어의 수어 애니메이션 변환을 위해 2만개 이상의 단어(표제어) 표현이 필요한데 이를 5천개 수준의 대표 표제어와 연결시켜서 연결된 대표 표제어의 수어 애니메이션 영상(미리 생성)을 이용하여 단어(표제어)의 수어 애니메에션 영상을 생성하는 과정을 거침으로써 구현 과정이 명료하면서 정화하고 세밀한 표현이 가능한 청각장애인을 위한 실시간 수어 영상 스트림 생성 방법 및 시스템을 제공하기 위한 것이다.
본 발명의 청각장애인을 위한 실시간 수어 영상 스트림 생성 방법 및 시스템은, 수어 단어 배열 생성부(100)가, 입력되는 한국어 문장에 대해 형태소 분석 또는 전처리를 통하여 한국어 수어 사전 그룹에 속하는 단어(수어 표제어) 배열들로 변환 생성하는, 수어 단어 배열 생성단계(S100)와; 단어 애니메이션 생성부(200)가, 상기 각 단어에 대하여 매칭되는 수어 애니메이션 영상을 부여하는, 배열 단어들 수어 애니메이션 생성 단계(S200)와; 수어 문장 애니메이션 생성부(300)가, 배열 단어들에 대한 수어 애니메이션들을 순차적으로 연결(블렌딩)하여 문장에 대한 수어 애니메에션 영상을 생성하는, 수어 문장 애니메이션 생성 단계(S300);로 구성되는 것을 특징으로 한다.
수어 단어 배열 생성단계(S100)에서 수어 단어 배열 생성부(100)는 미리 학습된 AI 수어 단어 배열 생성 모델(100a, M2)이고, 상기 AI 수어 단어 배열 생성 모델(100a, M2)은 한국어 자막과 수화 통역사 수화 영상이 포함된 영상으로 학습하되 상기 AI 수어 단어 배열 생성 모델(100a, M2)의 학습단계는,
a) 미리 학습된 수어 모션 인식 모델(110, M1)이, 수화자의 수화 영상에 포함된 수어 모션 및 표정(수지 및 비수지 표현)을 인식하여 수어 사전 그룹에 속하는 수어 단어(표제어) 배열을 텍스트 형태로 출력하는, 수어 어순을 갖는 표제어 배열 출력 단계(S110)와;
b) 형태소 분석부(121)가 한국어 자막 데이터를 형태소 분석하면, 한국어 어순 배열 생성부(120)가 각 형태소에 매칭되고 "한국어 어순을 갖는 표제어 배열"을 생성(형태소가 한국어 수어 사전 그룹에 속하는 수어 표제어들과 일치하면 그 수어 표제어로 치환하고, 형태소가 일치하는 표제어가 없으면 유사도가 높은 수어 표제어로 치환함)하는 단계(S120)와;
c) 상기 AI 수어 단어 배열 생성 모델(100a, M2)이 상기 "한국어 어순을 갖는 표제어 배열"을 입력(인코딩)으로 하고 상기 수어 모션 인식 모델(110, M1)에 출력된 "수어 어순을 갖는 표제어 배열"을 출력(디코딩)으로 학습하는 단계(S130);로 구성되는 것이 특징이다.
본 발명에 따르는 경우, 국어 문자 입력을 정확하게 수어 문법으로 변환배열할 수 있는 인공지능 모델을 학습시키고 이를 이용하여 자막 또는 한국어 문자 표현을 실제 전문 통역사와 같은 수준으로 정확하게 의미를 전달할 수 있는 실시간 수어 영상 스트림 생성 방법 및 시스템이 제공된다.
또한, 정밀한 국어 단어의 수어 애니메이션 변환을 위해 2만개 이상의 단어(표제어) 표현이 필요한데 이를 5천개 수준의 대표 표제어와 연결시켜서 연결된 대표 표제어의 수어 애니메이션 영상을 이용하여 단어(표제어)의 수어 애니메에션 영상을 생성하는 과정을 거침으로써, 구현 과정이 명료하면서 정화하고 세밀한 표현이 가능한 청각장애인을 위한 청각장애인을 위한 실시간 수어 영상 스트림 생성 방법 및 시스템을 제공하기 위한 것이다.
도 1은 본 발명의 청각장애인을 위한 수어 영상 애니메이션 생성 방법 전체 흐름도.
도 2는 본 발명의 AI 수어 단어 배열 생성 모델 학습 방법 흐름도.
도 3은 본 발명의 청각장애인을 위한 실시간 수어 영상 스트림 생성 시스템 상세 구성도.
도 4는 본 발명의 청각장애인을 위한 수어 영상 애니메이션 생성 시스템 전체 구성도.
도 5는 본 발명의 배열 단어들 수어 애니메이션 생성단계(200) 상세 흐름도.
도 6은 본 발명의 배열 단어들 수어 애니메이션 생성단계 중 단어 분류 및 연결 단계 개념 설명도.
도 7은 본 발명의 배열 단어들 수어 애니메이션 생성단계 상세 설명도.
도 8은 본 발명의 청각장애인을 위한 수어 영상 애니메이션 생성 방법 및 시스템 및 배열 단어 개념 설명도.
이하에서 본 발명의 일실시예에 따른 청각장애인을 위한 수어 영상 애니메이션 생성 방법 및 시스템에 대하여 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 청각장애인을 위한 수어 영상 애니메이션 생성 방법 전체 흐름도, 도 2는 본 발명의 AI 수어 단어 배열 생성 모델 학습 방법 흐름도, 도 3은 본 발명의 청각장애인을 위한 실시간 수어 영상 스트림 생성 시스템 상세 구성도, 도 4는 본 발명의 청각장애인을 위한 수어 영상 애니메이션 생성 시스템 전체 구성도, 도 5는 본 발명의 배열 단어들 수어 애니메이션 생성단계(200) 상세 흐름도, 도 6은 본 발명의 배열 단어들 수어 애니메이션 생성단계 중 단어 분류 및 연결 단계 개념 설명도, 도 7은 본 발명의 배열 단어들 수어 애니메이션 생성단계 상세 설명도, 도 8은 본 발명의 청각장애인을 위한 수어 영상 애니메이션 생성 방법 및 시스템 및 배열 단어 개념 설명도이다.
도 1 내지 도 4에 도시된 바와 같이, 본 발명의 청각장애인을 위한 수어 영상 애니메이션 생성 방법은, 단어 배열 생성단계(S100)와 배열 단어들 수어 애니메이션 생성 단계(S200)와 수어 문장 애니메이션 생성 단계(S300)를 포함하여 구성된다.
먼저 단어 배열 생성단계(S100)에서, 수어 단어 배열 생성부(100)가 입력되는 한국어 문장에 대해 형태소 분석 또는 전처리를 통하여 한국어 수어 사전 그룹에 속하는 단어(수어 표제어) 배열들로 변환 생성한다.
다음으로 배열 단어들 수어 애니메이션 생성 단계(S200)에서, 배열 단어들 수어 애니메이션 생성부(200)가, 배열에 속하는 단어 각각에 대하여 매칭되는 수어 애니메이션 영상을 부여한다. 배열에 있는 각각의 단어에 대한 수어 영상을 매칭하는 단계이다. 여기에 대해서 아래에서 다시 상세히 설명하기로 한다.
마지막으로, 수어 문장 애니메이션 생성 단계(S300)에서 수어 문장 애니메이션 생성부(300)가, 배열 단어들에 대한 수어 애니메이션들을 순차적으로 연결(블렌딩)하여 문장에 대한 수어 애니메에션 영상을 생성한다.
도 1, 도4에 도시된 바와 같이, 수어 문장 애니메이션 생성 단계(S300)는 배열 단어들에 대한 수어 애니메이션들을 순차적으로 연결하는 애니메이션 블렌딩, 렌더링, 및 비디오 캡춰 단계를 거쳐서 최종적으로 수어 문장에 대한 애니메이션 영상을 생성한다.
<수어 단어 배열 생성단계>
단어 배열 생성단계(S100)에서 생성되는 문장은 도 8에 도시된 바와 같이, 국어 문장이 수어의 표현 문법에 맞는 전처리된 수어 문장이다. 국어 문장이 수어의 표현 문법에 맞게 토씨 등이 제거되고 어순이 변형되는(어떤 경우에는 어순을 그대로 유지하는) 과정을 거친다. 국어 문장은 자판 입력 인터페이스 수단을 이용한 문자 입력일 것이나, 음성 입력에 의해 생성된 음성 파일을 음성 인식에 의해 텍스트로 변환된 것일 수 있다. 도 8에는 일예로서 "우리 아이가 갑자기 의식을 잃었어요"라는 국어 문장이 게시되며 여기에 해당하는 수어문장 "아동 갑자기 머리 구멍"이라는 단어 배열을 보여준다.
도 2에 도시된 바와 같이, 수어 단어 배열 생성부(100)는 미리 학습된 AI 수어 단어 배열 생성 모델(100a, M2)이고 수어 단어 배열 생성단계는 AI 수어 단어 배열 생성 모델(100a, M2)에 의해 수행된다.
AI 수어 단어 배열 생성 모델(100a, M2)은 한국어 자막과 수화 통역사 수화 영상이 포함된 영상으로 학습하되 상기 AI 수어 단어 배열 생성 모델(100a, M2)의 학습단계는 수화 통역사의 수어 모션 영상을 이용하여 수어 어순을 갖는 표제어 배열 출력 단계(S110)와 자막 문자 데이터를 이용하여 한국어 어순을 갖는 표제어 배열"을 생성하는 단계를 포함하여 구성된다.
a) 영상을 이용한 수어 어순을 갖는 표제어 배열 출력 단계(S110)에서, 미리 학습된 수어 모션 인식 모델(110, M1)이, 수화자의 수화 영상에 포함된 수어 모션 및 표정(수지 및 비수지 표현)을 인식하여 수어 사전 그룹에 속하는 수어 단어(표제어) 배열을 텍스트 형태로 출력하여 학습데이터를 준비한다.
b) 자막을 이용한 "한국어 어순을 갖는 표제어 배열"을 생성 단계에서, 형태소 분석부(121)가 한국어 자막 데이터를 형태소 분석하면, 한국어 어순 배열 생성부(120)가 각 형태소에 매칭되고 "한국어 어순을 갖는 표제어 배열"을 생성(형태소가 한국어 수어 사전 그룹에 속하는 수어 표제어들과 일치하면 그 수어 표제어로 치환하고, 형태소가 일치하는 표제어가 없으면 유사도가 높은 수어 표제어로 치환함)함으로써 학습데이터를 준비한다.
c) 학습하는 단계(S130)에서 AI 수어 단어 배열 생성 모델(100a, M2)은 AI 수어 단어 배열 생성 모델(100a, M2)이 상기 "한국어 어순을 갖는 표제어 배열"을 입력(인코딩)으로 하고 수어 모션 인식 모델(110, M1)에 출력된 "수어 어순을 갖는 표제어 배열"을 출력(디코딩)으로 학습한다.
AI 수어 단어 배열 생성 모델(100a, M2)은 "수어 어순을 갖는 표제어 배열"을 출력하되,이에 더하여 문장의 종류, 즉, 문장 유형(평서문, 의문문), 문장 태(수동태, 능동태), 문장 시제(과거, 현재, 미래), 부정 표현 여부(부정문) 중 에서 선택되는 적어도 하나의 제1 추가 분류를 더 출력할 수 있다. 이를 위하여 AI 수어 단어 배열 생성 모델(100a, M2)은 문장 종류를 인식하는 미리 학습된 문장 종류 인식부(101)를 더 구비할 수 있다. 문장 종류 인식부(101)는 한국어 자막을 입력으로 하여 문장의 종류, 즉, 문장 유형(평서문, 의문문), 문장 태(수동태, 능동태), 문장 시제(과거, 현재, 미래), 부정 표현 여부(부정문)를 분류하여 단어 애니메이션 생성부(200) 또는 수어 문장 애니메이션 생성부(300)에게 출력 전달한다.
또한, AI 수어 단어 배열 생성 모델(100a, M2)은 "수어 어순을 갖는 표제어 배열"에 포함된 각 단어의 "품사(명사, 동사, 부사, 고유명사, 숫자), 성분(주어, 보어, 목적어) 중에서 선택되는 적어도 하나의 제2 추가 분류로 하여 더 출력할 수 있다. 이를 위하여 AI 수어 단어 배열 생성 모델(100a, M2)은 문장의 품사, 성분을 인식하는 미리 학습된 단어 종류 인식부(102)를 더 구비할 수 있다. 단어 종류 인식부(102)는 한국어 자막을 입력으로 형태소 분석된 형태소를 구성하는 단어의 종류, 즉, 품사(명사, 동사, 부사, 고유명사, 숫자), 성분(주어, 보어, 목적어)을 분류하여 단어 애니메이션 생성부(200)에게 출력 전달한다.
<배열 단어들 수어 애니메이션 생성단계>
도 1, 도3 내지 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 청각장애인을 위한 실시간 수어 영상 스트림 생성 방법에 있어서, 배열 단어들 수어 애니메이션 생성단계(S200)는, 대표 표제어 수어 애니메이션 영상 로딩하는 단계(S210)와 관련 대표 표제어와 연결시키는, 단어 연결 단계(S230)와 배열 단어 수어 애니메이션 영상 매칭 단계(S250)로 구성된다.
먼저, 대표 표제어 수어 애니메이션 영상 로딩하는 단계(S210)에서 대표 표제어 수어 애니메이션 영상 로딩부(210)가, 수어 사전 그룹에 속하는 전체 단어보다 적은 갯수를 갖는 대표 표제어에 매칭되는 미리 저장된 수어 애니메이션 영상을 라이브러리에서 로딩(하여 생성)한다.
도 4에 도시된 바와 같이, 본 발명의 일실시예에서 수어 관리 시스템에 의해 제1 라이브러리(제1 저장부, 대표 표제어 및 수어 영상 저장부 : 201)에 예들들어, 5,300개의 대표 표제어에 대한 수어 애니메이션 영상이 미리 생성되어 저장된다. 대표 표제어 수어 애니메이션 영상 로딩부(210)는 5,300개의 대표 표제어와 각각 매칭되는 수어 애니메이션 영상을 로딩한다.
다음으로, 단어 연결 단계(S230)에서, 단어 연결부(230)가, 배열 단어 각각에 대하여 대표 표제어, 대표 표제어와 동형의 수어 동작을 갖는 동형어, 및 복수의 대표 표제어의 조합으로 이루어진 합성어 중 하나로 분류로 분류하고, 관련 대표 표제어와 연결시킨다.
또는 단어 연결 단계에서, 단어 연결부가, 배열 단어 각각에 대하여 대표 표제어, 대표 표제어와 동형의 수어 동작을 갖는 동형어, 및 복수의 대표 표제어의 조합으로 이루어진 합성어 분류 관계를 이용하여 관련 대표 표제어와 연결시킨다.
여기서 배열 단어(또는, 도 6에서 표제어, 수어 단어)는 대표 표제어의 수보다 3 ~ 6배 많은 예를들어 23,279개 이다. 배열 단어는 대표 표제어와, 수어(수화) 동작이 특정한 대표 표제어와 동형(수어 동작이 동형임을 의미함)인 동형어, 및 두개 이상의 대표 표제어 또는 동형어의 합성으로 이루어진 합성어로 분류되어 연결관계와 함께 제2 라이브러리(제2 저장부, 표제어 분류 및 연결관계 저장부 : 203)에 저장된다.
도 6에 도시된 바와 같이, 본 발명의 일실시예에서 "가로되"는 코드PLGI00005가 부여되고 특정 코드를 갖는 대표 표제어 "가라사대"와 같은 동형어로 분류 지정되어 분류 및 연결관계가 저장된다. "가로채다"는 코드 PLET 00043이 부여되고 "추징, 약탈, 박탈, 강탈, 빼았기다"와 동형어 인 것으로 분류 및 연결 관계가 저장된다.
도 6을 참조하여 합성어에 대해서 설명하면, "가로 세로"는 PLET 00040 코드가 부여되고, PLCC 00008 코드를 갖는 "가로"와 PLC 00543 코드를 갖는 "세로"라는 2개의 단어의 합성어이며 이러한 분류 및 연결관계가 제2 라이브러리(제2 저장부, 표제어 분류 및 연결관계 저장부 : 203)에 저장된다.
또한, PLHL 00002 코드를 갖는 "가루비누"는 PLCC 00009 코드를 갖는 "가루"와 PLHL00075 코드를 갖는 "비누"의 합성어 이며 이러한 분류 및 연결관계가 제2 라이브러리(제2 저장부, 표제어 분류 및 연결관계 저장부 : 203)에 저장된다.
다음에 배열 단어 수어 애니메이션 영상 매칭부(250)가, 단어의 분류가 대표 표제어에 해당하는 경우 대표 표제어(단어)에 대한 수어 애니메이션 영상으로 매칭하고, 주어진 단어의 분류가 동형어에 해당하는 경우 연결되는 관련 대표 표제어의 수어 동작을 해당 단어의 수어 동작으로 매칭한다. 배열 단어 수어 애니메이션 영상 매칭부(250)는 주어진 단어의 분류가 합성어에 해당하는 경우 연결되는 적어도 2개의 관련 대표 표제어들의 수어 동작을 순차적으로 결합시켜서 해당 단어의 수어 동작으로 매칭한다.
도 7에 도시된 바와 같이, 단어 연결 단계(S230)에서 로딩된 정보에 의하여 "가시"와 "나무"의 합성어로 분류 연결되고, 배열 단어 수어 애니메이션 영상 매칭부(250)에 의하여 "가시"에 대한 수어 애니메이션 영상과 "나무"에 대한 수어 애니메에션 영상이 순차적으로 매칭되고 합성됨으로써, 단어에 대한 애니메이션 영상이 생성된다.
단어 애니메이션 생성부(200)는, 문장 종류 인식부(101)로부터 문장 유형(평서문, 의문문), 문장 태(수동태, 능동태), 문장 시제(과거, 현재, 미래), 부정 표현 여부에 대한 제1 추가 분류를 수신하면, 라이브러리에서 관련되는 비수지 표현에 대한 수어 영상을 추출하여 수어 문장 애니메이션 생성부(300)에 전달한다.
단어 애니메이션 생성부(200)는, 제1 추가 분류에 문장 종류 인식부(101)로부터 문장의 종류가 "부정문" 이라는 정보가 포함되고, 제2 추가 분류(단어 종류)에 전달받은 수어 배열 단어들의 중에서 하나가 "동사"라고 분류된 경우, 해당 동사에 대한 수어 영상에 더하여 부정을 표현하는 비수지(얼굴) 표현을 추출하여 수어 문장 애니메이션 생성부(300)에 전달한다. 수어 문장 애니메이션 생성부(300)는 수지 표현중에 해당 단어(동사의 부정) 순서가 오면 해당 단어의 수지 표현과 함께 부정에 대한 비수지 표현을 블렌딩하여 스트리밍한다.
단어 애니메이션 생성부(200)는, 단어 종류 인식부(102)에서 전달된 제2 추가 분류의 정보에 단어의 종류가 고유명사나 숫자에 해당하는 분류를 수신하는 경우 행당 단어에 대해 라이브러리의 글자의 지문자 표현 또는 숫자 표현 수어 영상과 연결시킨다.
이하에서 본 발명의 청각장애인을 위한 청각장애인을 위한 실시간 수어 영상 스트림 생성 시스템에 대하여 첨부된 도면을 참조하여 상세하게 설명한다. 도 3, 도4에 도시된 바와 같이, 청각장애인을 위한 실시간 수어 영상 스트림 생성 시스템은, 단어 배열 생성부(100)와 배열 단어들 수어 애니메이션 생성부(200)와 수어 문장 애니메이션 생성부(300)로 구성된다.
단어 배열 생성부(100)는, 수어 단어 배열 생성부(100)가, 입력되는 한국어 문장에 대해 형태소 분석 또는 전처리를 통하여 한국어 수어 사전 그룹(미리 지정된 라이브러리)에 속하는 단어(수어 표제어) 배열들로 변환 생성한다.
배열 단어들 수어 애니메이션 생성부(200)는, 배열에 속하는 단어 각각에 대하여 매칭되는 수어 애니메이션 영상을 부여한다. 수어 문장 애니메이션 생성부(300)는, 배열 단어들에 대한 수어 애니메이션들을 순차적으로 연결(블렌딩)하여 문장에 대한 수어 애니메에션 영상을 생성한다.
본 발명은 상기에서 언급한 바람직한 실시예와 관련하여 설명됐지만, 본 발명의 범위가 이러한 실시예에 한정되는 것은 아니며, 본 발명의 범위는 이하의 특허청구범위에 의하여 정하여지는 것으로 본 발명과 균등 범위에 속하는 다양한 수정 및 변형을 포함할 것이다.
아래의 특허청구범위에 기재된 도면부호는 단순히 발명의 이해를 보조하기 위한 것으로 권리범위의 해석에 영향을 미치지 아니함을 밝히며 기재된 도면부호에 의해 권리범위가 좁게 해석되어서는 안될 것이다.
100 : 단어 배열 생성부
200 : 배열 단어들 수어 애니메이션 생성부
300 : 수어 문장 애니메이션 생성부
100a : AI 수어 단어 배열 생성 모델 M2
101 : 문장 종류 인식부
102 단어 종류 인식부
110 : 수어 모션 인식 모델 M1
121 : 형태소 분석부
201 : 대표 표제어 및 수어 영상 저장부
203 : 표제어 분류 및 연결관계 저장부
210 : 대표 표제어 수어 애니메이션 영상 로딩부
230 : 단어 분류 및 연결부
250 : 배열 단어 수어 애니메이션 영상 매칭부

Claims (9)

  1. 수어 단어 배열 생성부(100)가, 입력되는 한국어 문장에 대해 형태소 분석 또는 전처리를 통하여 한국어 수어 사전 그룹(라이브러리)에 속하는 단어(수어 표제어) 배열들로 변환 생성하는, 수어 단어 배열 생성단계(S100)와,
    단어 애니메이션 생성부(200)가, 각 단어에 대하여 매칭되는 수어 애니메이션 영상을 부여하는, 배열 단어들 수어 애니메이션 생성 단계(S200)와,
    수어 문장 애니메이션 생성부(300)가, 배열 단어들에 대한 수어 애니메이션들을 순차적으로 연결(블렌딩)하여 문장에 대한 수어 애니메에션 영상을 생성하는, 수어 문장 애니메이션 생성 단계(S300)로 구성되되,
    상기 수어 단어 배열 생성부(100)는 미리 학습된 인공지능 AI 수어 단어 배열 생성 모델(100a, M2)이고;

    상기 AI 수어 단어 배열 생성 모델(100a, M2)은 한국어 자막과 수화 통역사 수화 영상이 포함된 영상으로 학습하되 상기 AI 수어 단어 배열 생성 모델(100a, M2)의 학습단계는,
    a) 미리 학습된 수어 모션 인식 모델(110, M1)이, 수화자의 수화 영상에 포함된 수어 모션 및 표정(수지 및 비수지 표현)을 인식하여 수어 사전 그룹에 속하는 수어 단어(표제어) 배열을 텍스트 형태로 출력하는, 수어 어순을 갖는 표제어 배열 출력 단계(S110)와,
    b) 형태소 분석부(121)가 한국어 자막 데이터를 형태소 분석하면, 한국어 어순 배열 생성부(120)가 각 형태소에 매칭되고 "한국어 어순을 갖는 표제어 배열"을 생성(형태소가 한국어 수어 사전 그룹에 속하는 수어 표제어들과 일치하면 그 수어 표제어로 치환하고, 형태소가 일치하는 표제어가 없으면 유사도가 높은 수어 표제어로 치환함)하는 단계(S120)와,
    c) 상기 AI 수어 단어 배열 생성 모델(100a, M2)이 상기 "한국어 어순을 갖는 표제어 배열"을 입력(인코딩)으로 하고 상기 수어 모션 인식 모델(110, M1)에 출력된 "수어 어순을 갖는 표제어 배열"을 출력(디코딩)으로 학습하는 단계(S130)로 구성되고;

    상기 AI 수어 단어 배열 생성 모델(100a, M2)은
    상기 "한국어 어순을 갖는 표제어 배열"에 포함된 단어를 제1 특징 벡터로 하고,
    한국어 자막 데이터의 "문장 유형, 문장 태, 문장 시제, 부정 표현 여부" 중 에서 선택되는 적어도 하나의 분류를 추가 특징 벡터로 하고,
    한국어 어순을 갖는 표제어 배열"에 포함된 각 단어의 "품사(명사, 동사, 부사, 고유명사), 성분(주어, 보어, 목적어) 중 에서 선택되는 적어도 하나의 분류를 추가 특징 벡터로 하여 학습하고;

    상기 수어 단어 배열 생성단계(S100)에서 AI 수어 단어 배열 생성 모델(100a, M2)은 "수어 어순을 갖는 표제어 배열"을 출력하되, 문장 종류 인식부(101) 및 단어 종류 인식부(102)를 더 구비하고,
    상기 문장 종류 인식부(101)는 "평서문 또는 의문문으로 구분되는 문장 유형, 수동태 또는 능동태로 구분되는 문장 태, 과거, 현재 또는 미래로 구분되는 문장 시제, 부정 표현 여부" 중 에서 선택되는 적어도 하나의 제1 추가 분류를 출력하고,
    상기 단어 종류 인식부(102)는 "수어 어순을 갖는 표제어 배열"에 포함된 각 단어의 "품사(명사, 동사, 부사, 고유명사, 숫자), 성분(주어, 보어, 목적어) 중에서 선택되는 적어도 하나의 제2 추가 분류를 더 출력하고;

    상기 배열 단어들 수어 애니메이션 생성단계(S200)는, 대표 표제어 수어 애니메이션 영상 로딩부(210)가, 수어 사전 그룹에 속하는 전체 단어보다 적은 갯수를 갖는 대표 표제어에 매칭되는 미리 저장된 수어 애니메이션 영상을 라이브러리에서 로딩(하여 생성)하는, 대표 표제어 수어 애니메이션 영상 로딩하는 단계(S210)와,
    단어 연결부(230)가, 라이브러리(제2 저장부)의 로딩된 정보를 이용하여, 배열 단어 각각에 대하여 대표 표제어, 대표 표제어와 동형의 수어 동작을 갖는 동형어, 및 복수의 대표 표제어의 조합으로 이루어진 합성어 중 하나로 분류하고, 관련 대표 표제어와 연결시키는, 단어 연결 단계(S230)와,
    배열 단어 수어 애니메이션 영상 매칭부(250)가, 단어의 분류가 대표 표제어에 해당하는 경우 대표 표제어(단어)에 대한 수어 애니메이션 영상으로 매칭하고, 주어진 단어의 분류가 동형어에 해당하는 경우 연결되는 관련 대표 표제어의 수어 동작을 해당 단어의 수어 동작으로 매칭하고, 주어진 단어의 분류가 합성어에 해당하는 경우 연결되는 적어도 2개의 관련 대표 표제어들의 수어 동작을 순차적으로 결합시켜서 해당 단어의 수어 동작으로 매칭하는 배열 단어 수어 애니메이션 영상 매칭 단계(S250)로 구성되는 것을 특징으로 하는 인공지능을 이용한 청각장애인을 위한 실시간 수어 영상 스트림 생성 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서
    상기 라이브러리는 대표 표제어와 상기 대표 표제어 각각에 해당하는 수어 영상이 저장된 대표 표제어 및 수어 영상 저장부(201)와,
    단어(또는 표제어)에 대한 분류 및 대표 표제어 연결관계가 저장된 표제어 분류 및 연결관계 저장부(203)로 구성되고,
    상기 대표 표제어 수어 애니메이션 영상 로딩부(210)는 상기 대표 표제어 및 수어 영상 저장부(201)에서 대표 표제어 및 수어 영상을 로딩하고,
    상기 단어 연결부(230)는 표제어 분류 및 연결관계 저장부(203)에서 표제어 분류 및 연결관계 정보를 로딩하여 해당 단어를 스캔하여 대표 표제어 연결관계를 생성하는 것을 특징으로 하는 인공지능을 이용한 청각장애인을 위한 실시간 수어 영상 스트림 생성 방법.
  6. 삭제
  7. 제5항에 있어서,
    상기 라이브러리의 대표 표제어 및 수어 영상 저장부(201)는 고유명사 및 숫자 표현에 사용되는 지문자 표현을 미리 저장하고,
    상기 AI 수어 단어 배열 생성 모델(100a, M2)에서 전달된 "수어 어순을 갖는 표제어 배열" 중에서 고유명사 또는 숫자 분류로 지정된 단어가 포함된 경우,
    상기 배열 단어 수어 애니메이션 영상 매칭부(250)는,
    주어진 단어의 분류가 고유명사에 해당하는 경우 연결되는 고유명사 지문자 표현을 해당 단어의 수어 동작으로 매칭하고,
    주어진 단어의 분류가 숫자에 해당하는 경우 연결되는 숫자 지문자 표현을 해당 단어의 수어 동작으로 매칭하는 것을 특징으로 하는 인공지능을 이용한 청각장애인을 위한 실시간 수어 영상 스트림 생성 방법.
  8. 제5항에 있어서,
    단어 애니메이션 생성부(200)는, 제1 추가 분류에 문장 종류 인식부(101)로부터 문장의 종류가 "부정문" 이라는 정보가 포함되고, 제2 추가 분류(단어 종류)에 전달받은 수어 배열 단어들의 중에서 하나가 "동사"라고 분류된 경우, 해당 동사에 대한 수어 영상에 더하여 부정을 표현하는 비수지(얼굴) 표현을 추출하여 수어 문장 애니메이션 생성부(300)에 전달하고,
    수어 문장 애니메이션 생성부(300)는 수지 표현중에 해당 단어(동사의 부정) 순서가 오면 해당 단어의 수지 표현과 함께 부정에 대한 비수지 표현을 블렌딩하여 스트리밍하는 것을 특징으로 하는 인공지능을 이용한 청각장애인을 위한 실시간 수어 영상 스트림 생성 방법.
  9. 삭제
KR1020220099081A 2022-08-09 2022-08-09 인공지능을 이용한 청각장애인을 위한 실시간 수어 영상 스트림 생성 방법 KR102524337B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220099081A KR102524337B1 (ko) 2022-08-09 2022-08-09 인공지능을 이용한 청각장애인을 위한 실시간 수어 영상 스트림 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220099081A KR102524337B1 (ko) 2022-08-09 2022-08-09 인공지능을 이용한 청각장애인을 위한 실시간 수어 영상 스트림 생성 방법

Publications (1)

Publication Number Publication Date
KR102524337B1 true KR102524337B1 (ko) 2023-04-21

Family

ID=86098724

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220099081A KR102524337B1 (ko) 2022-08-09 2022-08-09 인공지능을 이용한 청각장애인을 위한 실시간 수어 영상 스트림 생성 방법

Country Status (1)

Country Link
KR (1) KR102524337B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102660366B1 (ko) * 2023-11-15 2024-04-25 주식회사 케이엘큐브 수어 조립 장치 및 그의 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100953979B1 (ko) * 2009-02-10 2010-04-21 김재현 수화 학습 시스템
KR20110090675A (ko) * 2010-02-04 2011-08-10 한국과학기술원 수화 애니메이션 생성을 위한 시스템 및 방법
KR20210138311A (ko) * 2020-05-12 2021-11-19 한국전자통신연구원 언어 및 수어의 병렬 말뭉치 데이터의 생성 장치 및 방법
KR102374599B1 (ko) * 2021-04-26 2022-03-16 (주)멀틱스 청각장애인을 위한 수어 영상 애니메이션 생성 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100953979B1 (ko) * 2009-02-10 2010-04-21 김재현 수화 학습 시스템
KR20110090675A (ko) * 2010-02-04 2011-08-10 한국과학기술원 수화 애니메이션 생성을 위한 시스템 및 방법
KR20210138311A (ko) * 2020-05-12 2021-11-19 한국전자통신연구원 언어 및 수어의 병렬 말뭉치 데이터의 생성 장치 및 방법
KR102374599B1 (ko) * 2021-04-26 2022-03-16 (주)멀틱스 청각장애인을 위한 수어 영상 애니메이션 생성 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102660366B1 (ko) * 2023-11-15 2024-04-25 주식회사 케이엘큐브 수어 조립 장치 및 그의 동작 방법

Similar Documents

Publication Publication Date Title
Huang et al. Image captioning with end-to-end attribute detection and subsequent attributes prediction
CN112115687B (zh) 一种结合知识库中的三元组和实体类型的生成问题方法
CN111247581A (zh) 一种多语言文本合成语音方法、装置、设备及存储介质
JP2009139390A (ja) 情報処理システム、処理方法及びプログラム
CN114911932A (zh) 基于主题语义增强的异构图结构多会话者情感分析方法
CN111985243B (zh) 情感模型的训练方法、情感分析方法、装置及存储介质
CN113095405B (zh) 基于预训练及双层注意力的图像描述生成系统的构建方法
KR102524337B1 (ko) 인공지능을 이용한 청각장애인을 위한 실시간 수어 영상 스트림 생성 방법
Chou et al. Exploiting annotators’ typed description of emotion perception to maximize utilization of ratings for speech emotion recognition
CN113657123A (zh) 基于目标模板指导和关系头编码的蒙语方面级情感分析方法
CN114612891A (zh) 基于对比学习和自适应注意力的图像描述生成方法及介质
KR102374599B1 (ko) 청각장애인을 위한 수어 영상 애니메이션 생성 방법
CN115204143B (zh) 一种基于prompt的文本相似度计算方法及系统
CN115171176A (zh) 对象情绪的分析方法、装置和电子设备
Dweik et al. Read my lips: Artificial intelligence word-level arabic lipreading system
KR100897149B1 (ko) 텍스트 분석 기반의 입 모양 동기화 장치 및 방법
CN111968646B (zh) 一种语音识别方法及装置
CN116611459B (zh) 翻译模型的训练方法、装置、电子设备及存储介质
CN110825869A (zh) 一种基于复制机制的变分生成解码器的文本摘要生成方法
Monga et al. Speech to Indian Sign Language Translator
US20200387806A1 (en) Idea generation support device, idea generation support system, and recording medium
Periasamy et al. Generating image description aiding blind people interpretation
Bowden A Review of Textual and Voice Processing Algorithms in the Field of Natural Language Processing
JP7191054B2 (ja) マルチメディアデータからテキストを推論するプログラム、装置及び方法
KR20240057086A (ko) 딥러닝 기반 한국어 문장에 대한 수어 배열 생성 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant