KR20200001902A - 수어 인식 인공신경망 학습데이터 생성방법과 시스템 및 변형 애니메이션 데이터 생성시스템 - Google Patents

수어 인식 인공신경망 학습데이터 생성방법과 시스템 및 변형 애니메이션 데이터 생성시스템 Download PDF

Info

Publication number
KR20200001902A
KR20200001902A KR1020180075008A KR20180075008A KR20200001902A KR 20200001902 A KR20200001902 A KR 20200001902A KR 1020180075008 A KR1020180075008 A KR 1020180075008A KR 20180075008 A KR20180075008 A KR 20180075008A KR 20200001902 A KR20200001902 A KR 20200001902A
Authority
KR
South Korea
Prior art keywords
animation
deformation
data
character
word
Prior art date
Application number
KR1020180075008A
Other languages
English (en)
Inventor
고승용
이인구
Original Assignee
주식회사 이큐포올
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이큐포올 filed Critical 주식회사 이큐포올
Priority to KR1020180075008A priority Critical patent/KR20200001902A/ko
Publication of KR20200001902A publication Critical patent/KR20200001902A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G06K9/00355—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

수어 인식 인공신경망의 학습에 필요한 양질의 애니메이션을 생성할 수 있고, 이를 기반으로 한 학습을 통해 인공신경망에서의 수어 인식률을 높일 수 있는 수어 인식 인공신경망 학습데이터 생성방법이 개시된다. 상기 수어 인식 인공신경망 학습데이터 생성방법은 단어별 기본 수어 애니메이션 데이터를 준비하는 단어별 기본 수어 애니메이션 데이터 준비과정, 상기 단어별 기본 수어 애니메이션 데이터에 따른 수어 동작에 다양한 변형을 발생시켜 변형 수어 애니메이션 데이터를 생성하는 변형 수어 애니메이션 데이터 생성과정 및 상기 변형 수어 애니메이션 데이터가 포함된 애니메이션 데이터로부터 수어 인식 인공신경망의 학습에 필요한 학습데이터를 추출하는 학습데이터 추출과정을 포함하는 구성을 한다.

Description

수어 인식 인공신경망 학습데이터 생성방법과 시스템 및 변형 애니메이션 생성시스템{Method and system for generating learning data of sign language recognition artificial neural network, and system for generating modified animation}
본 발명은 카메라 등의 센서를 통해 입력되는 수어를 구어로 통번역하는 어플리케이션 개발에 있어, 수어 동작 인식 인공신경망을 구현하는 데 필요한 수어 인식률 향상을 위한 수어 인식 인공신경망 학습데이터 생성방법과 시스템 및 이에 적합하게 사용될 수 있는 변형 애니메이션 생성시스템에 관한 것이다.
의미와 문맥을 반영하는 신경망을 이용한 일반 언어 간의 기계 번역(Neural Machine Translation)은 이미 다수의 인터넷 서비스 사업자를 통해 서비스 되고 있으며, 딥 러닝(deep learning)을 통해 발전하고 있다.
수어는 동작에 기반 한 언어이고, 이러한 동작을 3차원으로 인식할 수 있는 각종 3차원 센서는 이미 개발되어 사용되고 있다.
실제 수어 영상(3차원 센서를 통한 동작의 3차원 정보)으로 인공신경망을 학습시킴으로써, 수어 동작 시 신체의 각 포인트 정보(동역학 정보)를 획득하고, 이를 토대로 수어의 단어 또는 지화(Finger Spelling)를 인식하고, 수어 어휘의 나열로 변환하여 일반 언어 간의 기계번역 단계로 넘어갈 수 있다.
청각장애인은 부족한 수어 통역사에 의존하여 일반 청인과 커뮤니케이션을 하고 있어, 청각 장애인의 사회 참여에 어려움을 겪고 있다.
구어의 발화를 사용자 인터페이스의 기본으로 하는 각종 디바이스들이 증가하고 있고, 이러한 디바이스들의 사용에 청각 장애인들은 소외되어 가고 있다. 예를 들면, 휴머노이드 로봇이나, 자율주행 차량이 대표적이다.
이를 해결하기 위한 기존 해외에서의 연구는 대부분 장갑 형태나 다수의 카메라 또는 센서를 기반으로 연구되어, 수어의 통역에 있어 공간적인 한계를 가진다.
본 발명의 목적은 단일 센서(깊이 카메라) 또는 더 나아가서 일반 카메라를 통해 수어를 인식하고 통번역 할 수 있게 함으로써, 청각장애인이 일반 사회에 참여하는 데 있어서 커뮤니케이션의 불편을 줄이는 데 있다.
이와 같이 수어를 인식하고 통번역 할 수 있게 하는 데 있어서, 수어 인식 인공신경망을 통한 수어의 인식률을 높이는 것이 중요한데, 이 인식률은 인공신경망이 학습한 수어 영상 데이터(3차원 정보 포함한)의 양과 가장 높은 상관관계를 가진다.
하지만, 유의미한 결과를 추출할 만큼의 양과 질을 가진 학습데이터는 현재 존재하지 않으며, 일부 방송사의 수화방송 자료, 국립국어원의 사전 자료 그리고 유튜브 등에 올라온 수어 강의 자료가 있으나, 이들 자료는 일반 2D 영상 정보만을 담고 있어, 개발하고자 하는 인공신경망을 학습 시키는 데에 적합하지 않고, 데이터량도 부족하다.
사람마다 손가락의 길이, 모양, 반지 유무, 팔의 길이, 얼굴 요소의 형태만이 아니라, 각자 수어를 하는 동작이 미세하게 다른 바, 다양한 사람의 다양한 모션 데이터를 확보해야 하는데, 이를 위해 수어 가능 인력을 통해 해결하는 방법에는 시간적으로 그리고 비용적으로 한계가 있다.
예를 들어, 수어 통역사 한 사람이 하루에 80개 단어에 대한 애니메이션 데이터를 만들 수 있다고 가정하면, 200,000개 단어에 대한 애니메이션 데이터를 생성하는 데, 수어 통역사 100명이 작업을 하더라도 250일이 걸린다.
본 발명의 다른 목적은 다수의 수어 통역사 없이 수어 인식률 향상을 위한 다량의 수어 인식 인공신경망 학습데이터를 생성할 수 있는 방법 및 시스템을 제공하는 데 있다.
본 발명의 또 다른 목적은 수어 인식률 향상을 위한 다량의 수어 인식 인공신경망 학습데이터를 생성할 수 있는 방법 및 시스템에 적합하게 사용될 수 있는 변형 애니메이션 생성시스템을 제공하는 데 있다.
본 발명에 따른 수어 인식 인공신경망 학습데이터 생성방법은 단어별 기본 수어 애니메이션 데이터를 준비하는 단어별 기본 수어 애니메이션 데이터 준비과정; 상기 단어별 기본 수어 애니메이션 데이터에 따른 수어 동작에 다양한 변형을 발생시켜 변형 수어 애니메이션 데이터를 생성하는 변형 수어 애니메이션 데이터 생성과정; 및 상기 변형 수어 애니메이션 데이터가 포함된 애니메이션 데이터로부터 수어 인식 인공신경망의 학습에 필요한 학습데이터를 추출하는 학습데이터 추출과정을 포함하는 구성을 한다.
상기 변형 수어 애니메이션 데이터 생성과정은, 상기 단어별 기본 수어 애니메이션 데이터를 서로 다른 복수의 신체조건의 캐릭터들에 각각 적용하여, 상기 복수의 신체조건의 캐릭터들에 대한 캐릭터별 수어 애니메이션 데이터를 생성하는 캐릭터별 수어 애니메이션 데이터 생성과정; 및 상기 캐릭터별 수어 애니메이션 데이터에 따른 수어 동작에 다양한 변형을 발생시켜 다양한 변형이 적용된 캐릭터별 변형 수어 애니메이션 데이터를 생성하는 캐릭터별 변형 수어 애니메이션 데이터 생성과정을 포함하는 것이 바람직하다.
상기 캐릭터별 변형 수어 애니메이션 데이터 생성과정은 상기 복수의 신체조건의 캐릭터들에 대한 신체의 변위 한계치 정보를 토대로 일정 범위 내에서 상기 캐릭터별 수어 애니메이션 데이터의 수어 동작에 다양한 변형을 발생시키는 과정을 포함하는 것이 좋다.
상기 단어별 기본 수어 애니메이션 데이터 준비과정은, 수어의 단어별 동작을 깊이 인식 카메라로 촬영하여 상기 단어별 영상 데이터를 얻은 후 상기 단어별 영상 데이터를 애니메이션 캐릭터에 적용할 수 있는 애니메이션 데이터로 변환하여 상기 단어별 기본 수어 애니메이션 데이터를 준비하는 제1과정과, 단어별 애니메이션을 제작하여 또는 제작된 단어별 애니메이션으로부터 상기 단어별 기본 수어 애니메이션 데이터를 준비하는 제2과정 중 어느 하나의 과정을 포함하는 것이 바람직하다.
상기 학습데이터 추출과정에서 추출하는 상기 데이터는 상기 복수의 신체조건의 캐릭터들의 손과 팔에 대한 동역학정보를 포함하는 것이 좋다.
상기 변형 수어 애니메이션 데이터 생성과정은, 상기 단어별 기본 수어 애니메이션 데이터의 배경, 조명, 촬영각 중 적어도 어느 하나에 다양한 변화를 주는 과정을 포함하는 것이 바람직하다.
본 발명에 따른 수어 인식 인공신경망 학습데이터 생성시스템은 단어별 기본 수어 애니메이션 데이터가 저장된 기본 수어 애니메이션 데이터베이스; 상기 기본 수어 애니메이션 데이터베이스에 저장된 상기 단어별 기본 수어 애니메이션 데이터를 애니메이션 캐릭터에 적용하기 위한 애니메이션 캐릭터 조합기; 상기 애니메이션 캐릭터에 대한 신체의 변위 한계치 정보를 토대로 일정 범위 내에서 상기 애니메이션 캐릭터 조합기에서 생성된 상기 애니메이션 캐릭터의 수어 동작에 대한 변형 애니메이션 데이터를 생성하기 위한 변형 애니메이션 데이터 생성기; 상기 변형 애니메이션 데이터가 적용된 애니메이션을 재생하기 위한 애니메이션 재생기; 상기 애니메이션 재생기에서 재생되는 애니메이션을 캡처하기 위한 캡처유닛; 및 상기 캡처유닛에서 캡처된 애니메이션 데이터가 저장된 애니메이션 학습용 데이터베이스를 포함하는 구성을 한다.
상기 애니메이션 캐릭터 조합기는 상기 단어별 기본 수어 애니메이션 데이터를 서로 다른 복수의 신체조건의 애니메이션 캐릭터들에 각각 조합하여 캐릭터별 수어 애니메이션 데이터를 생성하는 것이 바람직하다.
상기 변형 애니메이션 데이터 생성기는, 상기 애니메이션 캐릭터 조합기에서 생성된 상기 애니메이션 캐릭터에 대한 신체의 변위 한계치 정보를 제공하는 애니메이션 변형정보 생성기; 및 상기 애니메이션 변형정보 생성기에서 생성된 변형정보에 따라 상기 애니메이션 캐릭터 조합기에서 생성된 상기 애니메이션 캐릭터의 동작을 변형한 변형 애니메이션 데이터를 생성하는 애니메이션 동작 변형 생성기를 포함하는 것이 좋다.
때에 따라, 상기 변형 애니메이션 데이터 생성기는, 상기 애니메이션 캐릭터 조합기에서 생성된 상기 애니메이션 캐릭터에 대한 신체의 변위 한계치 정보와 애니메이션 배경, 조명, 촬영각 중 적어도 어느 하나의 변형을 위한 정보를 제공하는 애니메이션 변형정보 생성기; 상기 애니메이션 변형정보 생성기에서 생성된 변형정보에 따라 상기 애니메이션 캐릭터 조합기에서 생성된 상기 애니메이션 캐릭터의 동작을 변형한 변형 애니메이션 데이터를 생성하는 애니메이션 동작 변형 생성기; 및 상기 애니메이션 변형정보 생성기에서 생성된 변형정보에 따라 상기 애니메이션 캐릭터 조합기에서 생성된 상기 애니메이션 캐릭터의 애니메이션 배경과 조명 및 촬영각 중 적어도 어느 하나를 변형한 변형 애니메이션 데이터를 생성하는 환경 변형 생성기를 포함하는 것이 바람직하다.
상기 캡처유닛은 상기 애니메이션 재생기에서 재생되는 애니메이션의 동영상과 해당 동영상의 라벨링 정보(동역학 정보)를 포함하여 캡처하는 것이 좋다.
본 발명에 따른 변형 애니메이션 생성시스템은 단어별 기본 수어 애니메이션 데이터가 저장된 기본 수어 애니메이션 데이터베이스; 상기 기본 수어 애니메이션 데이터베이스에 저장된 상기 단어별 기본 수어 애니메이션 데이터를 애니메이션 캐릭터에 적용하기 위한 애니메이션 캐릭터 조합기; 상기 애니메이션 캐릭터에 대한 신체의 변위 한계치 정보를 토대로 일정 범위 내에서 상기 애니메이션 캐릭터 조합기에서 생성된 상기 애니메이션 캐릭터의 수어 동작에 대한 변형 애니메이션 데이터를 생성하기 위한 변형 애니메이션 데이터 생성기; 및 생성된 상기 변형 애니메이션 데이터를 저장하기 위한 변형 애니메이션 데이터베이스를 포함하는 구성을 한다.
상기 애니메이션 캐릭터 조합기는 상기 단어별 기본 수어 애니메이션 데이터를 서로 다른 복수의 신체조건의 애니메이션 캐릭터들에 각각 조합하여 캐릭터별 수어 애니메이션 데이터를 생성하는 것이 바람직하다.
상기 변형 애니메이션 데이터 생성기는, 상기 애니메이션 캐릭터 조합기에서 생성된 상기 애니메이션 캐릭터에 대한 신체의 변위 한계치 정보를 제공하는 애니메이션 변형정보 생성기; 및 상기 애니메이션 변형정보 생성기에서 생성된 변형정보에 따라 상기 애니메이션 캐릭터 조합기에서 생성된 상기 애니메이션 캐릭터의 동작을 변형한 변형 애니메이션 데이터를 생성하는 애니메이션 동작 변형 생성기를 포함하는 것이 좋다.
때에 따라, 상기 변형 애니메이션 데이터 생성기는, 상기 애니메이션 캐릭터 조합기에서 생성된 상기 애니메이션 캐릭터에 대한 신체의 변위 한계치 정보와 애니메이션 배경, 조명, 촬영각 중 적어도 어느 하나의 변형을 위한 정보를 제공하는 애니메이션 변형정보 생성기; 상기 애니메이션 변형정보 생성기에서 생성된 변형정보에 따라 상기 애니메이션 캐릭터 조합기에서 생성된 상기 애니메이션 캐릭터의 동작을 변형한 변형 애니메이션 데이터를 생성하는 애니메이션 동작 변형 생성기; 및 상기 애니메이션 변형정보 생성기에서 생성된 변형정보에 따라 상기 애니메이션 캐릭터 조합기에서 생성된 상기 애니메이션 캐릭터의 애니메이션 배경과 조명 및 촬영각 중 적어도 어느 하나를 변형한 변형 애니메이션 데이터를 생성하는 환경 변형 생성기를 포함하는 것이 바람직하다.
본 발명에 따르면, 애니메이션 대상물의 3차원 동작 좌표 정보를 포함하는 기본 애니메이션 데이터를 입력 받아 애니메이션 캐릭터에 대한 고품질의 다양한 변형 애니메이션을 생성할 수 있다.
본 발명에 따르면, 애니메이션 캐릭터 조합기에서 생성하는 애니메이션 데이터에 작은 변화(Noise)를 발생시켜, 애니메이션 캐릭터마다 조금씩 다른 수어 동작을 구현해 낼 수 있다.
또한 본 발명에 따르면, 애니메이션 캐릭터 조합기에서 생성하는 애니메이션 데이터에 다양한 신체 조건의 캐릭터를 적용시켜, 신체조건의 변형도 반영이 가능하다.
본 발명에 따르면, 수어 인식 인공신경망의 학습에 필요한 양질의 애니메이션을 생성할 수 있고, 이를 기반으로 한 학습을 통해 인공신경망에서의 수어 인식률을 높일 수 있다.
도 1은 본 발명에 따른 수어 인식률 향상을 위한 수어 인식 인공신경망 학습데이터 생성시스템을 설명하기 위한 블록도,
도 2는 본 발명에 따른 수어 인식률 향상을 위한 수어 인식 인공신경망 학습데이터 생성과정을 나타낸 공정도,
도 3은 촬영된 손의 이미지를 이용하여 애니메이션 데이터를 생성하는 과정을 나타낸 도면이고,
도 4는 애니메이션 캐릭터 조합기의 애니메이션 캐릭터들의 예들을 나타낸 도면,
도 5는 알파벳 R에 대한 지화의 변형 예들을 나타낸 도면,
도 6은 애니메이션 데이터의 배경 변형의 예를 나타낸 도면,
도 7은 촬영각 변형 등의 예를 나타낸 도면이다.
이하, 첨부된 도면을 참고하여 본 발명의 바람직한 실시 예를 상세하게 설명한다.
도 1을 참고하면, 본 발명에 따른 수어 인식률 향상을 위한 수어 인식 인공신경망 학습데이터 생성시스템(100)은 기본 수어 애니메이션 데이터베이스(102)를 갖춘다. 이 기본 수어 애니메이션 데이터베이스(102)에는 라벨링(labeling) 된 단어별 기본 수어 애니메이션 데이터가 저장되어 있다.
단어별 기본 수어 애니메이션 데이터는 수어 통역자(ST)의 수어 단어별 동작을 깊이 인식 카메라(CA)로 촬영하여 단어별 영상 데이터를 얻은 후 단어별 애니메이션 데이터 생성기(101) 프로그램을 이용하여 단어별 영상 데이터를 애니메이션 캐릭터에 적용할 수 있는 단어별 기본 수어 애니메이션 데이터로 변환하여 얻는 것이 바람직하다. 예를 들어, 도 1에서와 같이 깊이 인식 카메라(CA)로 촬영된 손의 이미지를 도 3의 화살표로 나타낸 바와 같이 그레이스케일의 이미지로 변환하여 데이터 크기를 줄인 다음 애니메이션 데이터 생성에 필요한 손의 골격정보를 적용시켜 기본이 되는 단어별 기본 수어 애니메이션 데이터를 생성할 수 있다. 이러한 기법은 기존에 알려진 기술을 이용하는 것으로, 본 발명의 특징적인 기술은 아니다.
때에 따라, 깊이 인식 카메라(CA)를 이용한 수어 통역자(ST)의 수어 단어별 동작에 대한 촬영 없이 단어별 애니메이션을 직접 제작(기존에 제작되어 있던 것 포함)하여 기본이 되는 단어별 기본 수어 애니메이션 데이터를 준비할 수 있음은 물론이다.
여기에서, 한글의 자음과 모음, 영어 알파벳 등의 기호를 나타내는 "지화"도 하나의 단어에 대한 것으로 간주되어, 바람직하게, 본 발명에서의 "단어별 기본 수어 애니메이션 데이터"에 포함된다.
본 발명에 따른 수어 인식률 향상을 위한 수어 인식 인공신경망 학습데이터 생성시스템(100)은 애니메이션 캐릭터 조합기(104)를 가진다. 이 애니메이션 캐릭터 조합기(104)는 기본 수어 애니메이션 데이터베이스(102)에 저장된 단어별 기본 수어 애니메이션 데이터를 애니메이션 캐릭터에 적용하기 위한 것이다. 이 애니메이션 캐릭터 조합기(104)는 바람직하게, 단어별 기본 수어 애니메이션 데이터를 도 4에 나타낸 바와 같이 서로 다른 복수의 신체조건의 애니메이션 캐릭터(C1, C2, C3)들에 각각 조합하여 캐릭터별 수어 애니메이션 데이터를 생성한다.
서로 다른 복수의 신체조건의 애니메이션 캐릭터(C1, C2, C3)들에의 적용은, 깊이 인식 카메라(CA)를 통해 입력 받은 동작에서 동역학 정보를 추출하고, 이 동역학정보를 각각의 애니메이션 캐릭터(C1, C2, C3)에 모션 리타겟팅(Motion retargeting) 기법을 통해 매핑하여 이루어진다.
모션 리타겟팅 기법은 서로 다른 형태의 물체에 동일한 동역학 정보(손가락의 경우 각 손가락 4개점과 손바닥 아래의 1개의 점을 포함하여 총 21개의 점으로 이루어진다)를 매핑하는 기법이다.
또한, 본 발명에 따른 수어 인식률 향상을 위한 수어 인식 인공신경망 학습데이터 생성시스템(100)은 변형 애니메이션 데이터 생성기(110)를 가진다. 이 변형 애니메이션 데이터 생성기(110)는 애니메이션 캐릭터(C1, C2, C3)들에 대한 신체의 변위 한계치 정보를 토대로 일정 범위 내에서 애니메이션 캐릭터 조합기(104)에서 생성된 애니메이션 캐릭터(C1, C2, C3)들의 수어 동작에 대한 변형 애니메이션 데이터를 생성하기 위한 것이다.
예를 들어, 알파벳 R에 대한 지화는 도 5에 나타낸 바와 같이, 다양할 수 있는 데, 이런 다양한 지화나 수어들에 대한 인식률을 높이기 위해서는 도 5에 나타낸 지화들에 대응하는 다양한 변형 예들을 포함할 수 있도록 신체의 변위 한계치 정보를 정한다.
신체의 변위 한계치 정보로는, 예를 들면, "손가락이 바깥쪽으로는 5도 이상 구부러질 수 없다" 등이 될 수 있다. 또한, 다양한 연령층의 손가락의 길이의 범위, 팔의 변위 가능한 각도 등도 신체의 변위 한계치 정보로 사용될 수 있다.
그리고 "검지와 중지 두 개를 턱 아래 위치에서 턱 방향(45도 방향)으로 두번 폈다 접었다를 반복하는 수어 단어는 "다시"의 의미인데, 여기서 변위 한계치 정보로는 동작 시작 위치, 동작의 방향(40도~50도), 손가락이 펴지는 정도 (90%~110%) 등일 수 있다.
위와 같은 변형 애니메이션 데이터 생성기(110)는 애니메이션 변형정보 생성기(112)와 애니메이션 동작 변형 생성기(114)를 구비한다.
애니메이션 변형정보 생성기(112)는 애니메이션 캐릭터 조합기(104)에서 생성된 애니메이션 캐릭터(C1, C2, C3)들에 대한 신체의 변위 한계치 정보 등 변형에 필요한 정보를 제공하기 위한 것이고, 애니메이션 동작 변형 생성기(114)는 애니메이션 변형정보 생성기(112)에서 생성된 변형정보에 따라 애니메이션 캐릭터 조합기(104)에서 생성된 애니메이션 캐릭터(C1, C2, C3)들의 동작을 변형한 변형 애니메이션 데이터를 생성하기 위한 것이다.
애니메이션 변형정보 생성기(112)는 단어별 기본 수어 애니메이션 데이터의 배경, 조명, 촬영각 중 적어도 어느 하나의 변형에 대한 정보를 제공할 수도 있다.
이에 따라, 변형 애니메이션 데이터 생성기(110)는 바람직하게, 애니메이션 환경 변형 생성기(116)를 가진다. 애니메이션 환경 변형 생성기(116)는 애니메이션 변형정보 생성기(112)에서 인가되는 환경 변형정보에 따라 애니메이션 캐릭터 조합기(104)에서 생성된 애니메이션 캐릭터(C1, C2, C3)들에 대한 애니메이션 배경, 조명, 촬영각 등에 대한 변형을 가하는 기능을 한다.
예를 들어, 도 6에 나타낸 바와 같이 카메라에 의해 촬영되는 수어자(SL1, SL2, SL3) 뒤쪽의 배경(BG1, BG2, BG3)은 다양할 수 있는 데, 이러한 다양한 배경(BG1, BG2, BG3)의 수어자(SL1, SL2, SL3)의 수어동작에 대한 인식률을 높이기 위해서는, 다양한 배경이 적용된 학습데이터도 필요하므로, 애니메이션 변형정보 생성기(112)에서 애니메이션 환경 변형 생성기(116)로 다양한 배경정보를 제공하여 배경이 다양하게 변형된 애니메이션 데이터를 생성하도록 할 수 있다.
또한, 도 7에 화살표로 나타낸 바와 같이 촬영각과 조명에 대한 값을 변형할 수 있도록 애니메이션 변형정보 생성기(112)에서 애니메이션 환경 변형 생성기(116)로 촬영각의 변형에 대한 정보와 조명 값의 변형에 대한 정보 등을 제공하여 애니메이션 환경 변형 생성기(116)에서 다양한 촬영각과 다양한 밝기의 조명 등이 적용된 애니메이션 데이터를 생성하도록 할 수 있다.
위와 같은 애니메이션 동작 변형 생성기(114)와 애니메이션 환경 변형 생성기(116)는 애니메이션 변형정보 생성기(112)에서 변형정보가 인가되면 정해진 변형 로직에 따라 변형된 애니메이션 데이터를 자동으로 생성하도록 프로그래밍 하여 이루어질 수 있다.
본 발명에 따른 수어 인식률 향상을 위한 수어 인식 인공신경망 학습데이터 생성시스템(100)은 애니메이션 재생기(120)와 애니메이션 캡처유닛(130) 및 애니메이션 학습용 데이터베이스(140)를 가진다.
애니메이션 재생기(120)는 애니메이션 동작 변형 생성기(114)와 애니메이션 환경 변형 생성기(116)에서 생성된 최종 변형 애니메이션 데이터를 인가받아서 변형 애니메이션 데이터가 적용된 애니메이션을 재생하고, 애니메이션 캡처유닛(130)은 애니메이션 재생기(120)에서 재생되는 애니메이션을 캡처하여 애니메이션 학습용 데이터베이스(140)에 저장하는 역할을 한다. 애니메이션 캡처유닛(130)은 애니메이션 재생기(120)에서 재생되는 애니메이션의 동영상과 해당 동영상의 라벨링 정보(동역학 정보)를 포함하여 수어 인식 인공신경망의 학습에 필요한 정보를 캡처한다.
이렇게 하여 캡처된 애니메이션 학습용 데이터는 애니메이션 학습용 데이터베이스(140)에 저장된다. 애니메이션 학습용 데이터베이스(140)에 저장된 애니메이션 학습용 데이터는 수어인식 인공신경망 학습기(200)의 학습데이터로 제공된다.
때에 따라, 본 발명에 따른 수어 인식률 향상을 위한 수어 인식 인공신경망 학습데이터 생성시스템(100)은 애니메이션 동작 변형 생성기(114)와 애니메이션 환경 변형 생성기(116)에서 생성된 최종 변형 애니메이션 데이터를 별도로 저장하기 위한 변형 애니메이션 데이터베이스(150)를 구비할 수 있다. 최종 변형 애니메이션 데이터는 변형 애니메이션 데이터베이스(150)에 저장되었다가 필요할 때 애니메이션 재생기(120)로 제공될 수 있다.
위에서 기본 수어 애니메이션 데이터베이스(102), 애니메이션 캐릭터 조합기(104), 변형 애니메이션 데이터 생성기(110) 및 변형 애니메이션 데이터베이스(150)는 기본 애니메이션 데이터로부터 변형된 애니메이션 데이터를 생성하기 위한 본 발명에 따른 변형 애니메이션 생성시스템으로서, 본 발명의 수어 인식률 향상을 위한 수어 인식 인공신경망 학습데이터 생성시스템(100)에 적합하게 사용될 수 있다.
또한, 본 발명에 따른 변형 애니메이션 생성시스템(100)은 한 종류의 기본 수어 애니메이션 데이터를 이용하여 다양한 캐릭터에 적용된 애니메이션을 생성하는 데에도 사용될 수 있다.
도 1 내지 7을 함께 참고하면서, 본 발명에 따른 수어 인식률 향상을 위한 수어 인식 인공신경망 학습데이터 생성과정을 설명한다.
먼저, 깊이 인식 카메라(CA)를 이용하여 수어 통역자(ST)의 단어별 수어동작을 촬영한다(S1). 이때, 바람직하게, 한글 자모나 영어 알파벳 등에 대한 지화동작도 함께 촬영한다.
때에 따라, 깊이 인식 카메라(CA)를 이용하여 수어 통역자(ST)를 촬영하는 작업 없이 애니메이션 캐릭터를 이용하여 단어별 수어동작에 대한 애니메이션을 제작할 수 있다. 기존에 제작된 것도 이용될 수 있다(S2).
S1 또는 S2의 과정으로 만들어진 동영상 또는 애니메이션 데이터에 라벨링(labeling) 작업을 하여 라벨링된 단어별 기본 수어 애니메이션 데이터를 생성하여 기본 수어 애니메이션 데이터베이스(102)에 저장한다(S3).
기존에 만들어진 라벨링된 기본 수어 애니메이션 데이터가 기본 수어 애니메이션 데이터베이스(102)에 저장되어 사용될 수 있다. 새로 만든 기본 수어 애니메이션 데이터와 기존에 만들어진 기본 수어 애니메이션 데이터가 함께 기본 수어 애니메이션 데이터베이스(102)에 저장되어 사용될 수 있음은 물론이다. 이렇게 하여 단어별 기본 수어 애니메이션 데이터가 준비된다.
그런 다음 애니메이션 캐릭터 조합기(104)는 각 단어(지화 포함)에 대한 기본 수어 애니메이션 데이터를 다양한 신체특성의 애니메이션 캐릭터(C1, C2, C3)들에 각각 적용하여 캐릭터별 수어 애니메이션 데이터를 생성한다(S4).
변형 애니메이션 데이터 생성기(110)는 캐릭터별 수어 애니메이션 데이터에 따른 수어동작에 다양한 변형을 발생시켜 캐릭터별 변형 수어 애니메이션 데이터를 생성한다(S5).
수어동작에 다양한 변형은 애니메이션 변형정보 생성기(112)에서의 출력 값에 따라 이루어지며, 변형 값을 생성하는 로직에는 임계값 내의 정규분포형과, 임의 확률 분포, 균등 분포 등이 있으며, 이는 인공신경망의 학습 결과(테스트한 인식률 결과)에 따라 각 항목 별로 적용한다.
위와 같이 신체조건의 변화와 수어 동작의 다양한 변형이 반영된 애니메이션으로부터 동작 인식 학습에 필요한 데이터(동역학 정보)를 추출할 수 있다.
바람직하게, 캐릭터별 수어 애니메이션 데이터의 배경, 조명, 촬영각 등에도 변화를 주어 캐릭터별 최종 변형 애니메이션 데이터를 생성한다(S6).
다양한 배경에서의 인식률 상승을 위해, 실생활에서 발생할 수 있는 다양한 배경 상황(예를 들어 차 내부, 책상 위 등)을 연출해 내고, 이를 애니메이션 변형정보 생성기(112)로 제공하여 변형 애니메이션 데이터에 추가되도록 할 수 있다.
또한, 수어는 바로 앞에서 상대방의 키에 맞게 보이도록 하는 것이 표준이나, 수어를 인식하는 센서의 위치는 틀어질 수 있으므로, 카메라의 촬영각에 변화를 주고, 또한 조명에 따라 각종 센서의 입력 값에 미세한 변화가 일어나므로, 조명에도 변화를 주어 변형된 애니메이션 데이터를 생성할 수 있도록 한다.
바람직하게, 생성된 캐릭터별 최종 변형 애니메이션 데이터는 변형 애니메이션 데이터베이스(150)에 저장해둔다(S7).
애니메이션 재생기(120)는 최종 변형 애니메이션 데이터에 대한 애니메이션을 재생하고(S8), 애니메이션 캡처유닛(130)에서 캡처하여(S9) 수어 단어별 애니메이션 학습용 데이터베이스(140)에 저장한다(S10).
이러한 변형 애니메이션 데이터를 애니메이션으로 재생하고 캡처하면, 수어 가능자가 각 단어별로 센서 앞에서 촬영한 것과 동일한 영상 데이터를 추출 할 수 있고, 이러한 영상 데이터는 수어 인식을 위한 수어 인식 인공신경망의 학습에 효과적으로 사용될 수 있다.
위와 같은 변형 애니메이션 데이터는 기본 수어 애니메이션 데이터에 비해 신체 특성, 동작 변형, 배경 정보, 센서의 촬영각 그리고 조명 위치 등의 곱만큼 생성할 수 있으므로 인공신경망 학습에 충분한 데이터를 생성해 낼 수 있다.
애니메이션 캡처를 위해서는 실제 인식에 사용될 깊이 인식 카메라(CA)의 FOV(Field of View)와 해상도, 동영상의 X/Y축 비율, 깊이의 인식 범위와 해상도, 컬러의 깊이 수(예를 들면, 그레이 스케일에 깊이는 16비트 등으로 설정) 등을 맞춰 설정한다.
캡처는 애니메이션 제작 어플리케이션에서 하게 되며, 캡처되는 데이터는 각각의 동영상 데이터와 해당 동영상의 라벨링 정보(동역학 정보)를 포함한다.
이렇게 하여 추출된 학습데이터는 수어 인식 인공신경망 학습기로 제공되어 학습데이터로 이용될 수 있다(S11).
이러한 학습데이터를 이용하여 수어 인식 인공신경망을 학습시켜, 수어동작 인식률(수어의 동작에서 올바른 어휘 또는 문자를 추출해 내는 비율)을 높일 수 있다. 어휘 및 문자에 대한 수어 인식은 수어를 구어로 변역 하는 기계 번역(Neural machine translation) 시스템을 통해 구어로 변환된다. 이렇게 하면 수어로 차량에 설치된 내비게이터에 주소나 각종 명령어를 입력할 수 있다.
본 발명은 수어 동작 인식 인공신경망을 구현하는 데 필요한 수어 인식률 향상을 위한 수어 인식 인공신경망 학습데이터를 생성하는 데 이용될 가능성이 있다. 또한, 본 발명은 기본 애니메이션 데이터를 이용하여 변형된 다양한 애니메이션을 생성하는 데에도 이용될 가능성이 있다.
100: 수어 인식 인공신경망 학습데이터 생성 시스템
102: 기본 수어 애니메이션 데이터베이스
104: 애니메이션 캐릭터 조합기 110: 변형 애니메이션 데이터 생성기
112: 애니메이션 변형정보 생성기 114: 애니메이션 동작 변형 생성기
116: 애니메이션 환경 변형 생성기 120: 애니메이션 재생기
130: 애니메이션 캡처유닛 140: 애니메이션 학습용 데이터베이스
150: 변형 애니메이션 데이터베이스 200: 수어 인식 인공신경망 학습기

Claims (15)

  1. 단어별 기본 수어 애니메이션 데이터를 준비하는 단어별 기본 수어 애니메이션 데이터 준비과정;
    상기 단어별 기본 수어 애니메이션 데이터에 따른 수어 동작에 다양한 변형을 발생시켜 변형 수어 애니메이션 데이터를 생성하는 변형 수어 애니메이션 데이터 생성과정; 및
    상기 변형 수어 애니메이션 데이터가 포함된 애니메이션 데이터로부터 수어 인식 인공신경망의 학습에 필요한 학습데이터를 추출하는 학습데이터 추출과정을 포함하는 것을 특징으로 하는 수어 인식 인공신경망 학습데이터 생성방법.
  2. 제1항에서, 상기 변형 수어 애니메이션 데이터 생성과정은,
    상기 단어별 기본 수어 애니메이션 데이터를 서로 다른 복수의 신체조건의 캐릭터들에 각각 적용하여, 상기 복수의 신체조건의 캐릭터들에 대한 캐릭터별 수어 애니메이션 데이터를 생성하는 캐릭터별 수어 애니메이션 데이터 생성과정; 및
    상기 캐릭터별 수어 애니메이션 데이터에 따른 수어 동작에 다양한 변형을 발생시켜 다양한 변형이 적용된 캐릭터별 변형 수어 애니메이션 데이터를 생성하는 캐릭터별 변형 수어 애니메이션 데이터 생성과정을 포함하는 것을 특징으로 하는 수어 인식 인공신경망 학습데이터 생성방법.
  3. 제2항에서, 상기 캐릭터별 변형 수어 애니메이션 데이터 생성과정은 상기 복수의 신체조건의 캐릭터들에 대한 신체의 변위 한계치 정보를 토대로 일정 범위 내에서 상기 캐릭터별 수어 애니메이션 데이터의 수어 동작에 다양한 변형을 발생시키는 과정을 포함하는 것을 특징으로 하는 수어 인식 인공신경망 학습데이터 생성방법.
  4. 제1항에서, 상기 단어별 기본 수어 애니메이션 데이터 준비과정은,
    수어의 단어별 동작을 깊이 인식 카메라로 촬영하여 상기 단어별 영상 데이터를 얻은 후 상기 단어별 영상 데이터를 애니메이션 캐릭터에 적용할 수 있는 애니메이션 데이터로 변환하여 상기 단어별 기본 수어 애니메이션 데이터를 준비하는 제1과정과,
    단어별 애니메이션을 제작하여 또는 제작된 단어별 애니메이션으로부터 상기 단어별 기본 수어 애니메이션 데이터를 준비하는 제2과정 중 어느 하나의 과정을 포함하는 것을 특징으로 하는 수어 인식 인공신경망 학습데이터 생성방법.
  5. 제2항에서, 상기 학습데이터 추출과정에서 추출하는 상기 데이터는 상기 복수의 신체조건의 캐릭터들의 손과 팔에 대한 동역학정보를 포함하는 것을 특징으로 하는 수어 인식 인공신경망 학습데이터 생성방법.
  6. 제1항에서, 상기 변형 수어 애니메이션 데이터 생성과정은,
    상기 단어별 기본 수어 애니메이션 데이터의 배경, 조명, 촬영각 중 적어도 어느 하나에 다양한 변화를 주는 과정을 포함하는 것을 특징으로 하는 수어 인식 인공신경망 학습데이터 생성방법.
  7. 단어별 기본 수어 애니메이션 데이터가 저장된 기본 수어 애니메이션 데이터베이스;
    상기 기본 수어 애니메이션 데이터베이스에 저장된 상기 단어별 기본 수어 애니메이션 데이터를 애니메이션 캐릭터에 적용하기 위한 애니메이션 캐릭터 조합기;
    상기 애니메이션 캐릭터에 대한 신체의 변위 한계치 정보를 토대로 일정 범위 내에서 상기 애니메이션 캐릭터 조합기에서 생성된 상기 애니메이션 캐릭터의 수어 동작에 대한 변형 애니메이션 데이터를 생성하기 위한 변형 애니메이션 데이터 생성기;
    상기 변형 애니메이션 데이터가 적용된 애니메이션을 재생하기 위한 애니메이션 재생기;
    상기 애니메이션 재생기에서 재생되는 애니메이션을 캡처하기 위한 캡처유닛; 및
    상기 캡처유닛에서 캡처된 애니메이션 데이터가 저장된 애니메이션 학습용 데이터베이스를 포함하는 것을 특징으로 하는 수어 인식 인공신경망 학습데이터 생성시스템.
  8. 제7항에서, 상기 애니메이션 캐릭터 조합기는 상기 단어별 기본 수어 애니메이션 데이터를 서로 다른 복수의 신체조건의 애니메이션 캐릭터들에 각각 조합하여 캐릭터별 수어 애니메이션 데이터를 생성하는 것을 특징으로 하는 수어 인식 인공신경망 학습데이터 생성시스템.
  9. 제7항 또는 제8항에서, 상기 변형 애니메이션 데이터 생성기는,
    상기 애니메이션 캐릭터 조합기에서 생성된 상기 애니메이션 캐릭터에 대한 신체의 변위 한계치 정보를 제공하는 애니메이션 변형정보 생성기; 및
    상기 애니메이션 변형정보 생성기에서 생성된 변형정보에 따라 상기 애니메이션 캐릭터 조합기에서 생성된 상기 애니메이션 캐릭터의 동작을 변형한 변형 애니메이션 데이터를 생성하는 애니메이션 동작 변형 생성기를 포함하는 것을 특징으로 하는 수어 인식 인공신경망 학습데이터 생성시스템.
  10. 제7항 또는 제8항에서, 상기 변형 애니메이션 데이터 생성기는,
    상기 애니메이션 캐릭터 조합기에서 생성된 상기 애니메이션 캐릭터에 대한 신체의 변위 한계치 정보와 애니메이션 배경, 조명, 촬영각 중 적어도 어느 하나의 변형을 위한 정보를 제공하는 애니메이션 변형정보 생성기;
    상기 애니메이션 변형정보 생성기에서 생성된 변형정보에 따라 상기 애니메이션 캐릭터 조합기에서 생성된 상기 애니메이션 캐릭터의 동작을 변형한 변형 애니메이션 데이터를 생성하는 애니메이션 동작 변형 생성기; 및
    상기 애니메이션 변형정보 생성기에서 생성된 변형정보에 따라 상기 애니메이션 캐릭터 조합기에서 생성된 상기 애니메이션 캐릭터의 애니메이션 배경과 조명 및 촬영각 중 적어도 어느 하나를 변형한 변형 애니메이션 데이터를 생성하는 환경 변형 생성기를 포함하는 것을 특징으로 하는 수어 인식 인공신경망 학습데이터 생성시스템.
  11. 제7항에서, 상기 캡처유닛은 상기 애니메이션 재생기에서 재생되는 애니메이션의 동영상과 해당 동영상의 라벨링 정보(동역학 정보)를 포함하여 캡처하는 것을 특징으로 하는 수어 인식 인공신경망 학습데이터 생성시스템.
  12. 단어별 기본 수어 애니메이션 데이터가 저장된 기본 수어 애니메이션 데이터베이스;
    상기 기본 수어 애니메이션 데이터베이스에 저장된 상기 단어별 기본 수어 애니메이션 데이터를 애니메이션 캐릭터에 적용하기 위한 애니메이션 캐릭터 조합기;
    상기 애니메이션 캐릭터에 대한 신체의 변위 한계치 정보를 토대로 일정 범위 내에서 상기 애니메이션 캐릭터 조합기에서 생성된 상기 애니메이션 캐릭터의 수어 동작에 대한 변형 애니메이션 데이터를 생성하기 위한 변형 애니메이션 데이터 생성기; 및
    생성된 상기 변형 애니메이션 데이터를 저장하기 위한 변형 애니메이션 데이터베이스를 포함하는 것을 특징으로 하는 변형 애니메이션 생성시스템.
  13. 제12항에서, 상기 애니메이션 캐릭터 조합기는 상기 단어별 기본 수어 애니메이션 데이터를 서로 다른 복수의 신체조건의 애니메이션 캐릭터들에 각각 조합하여 캐릭터별 수어 애니메이션 데이터를 생성하는 것을 특징으로 하는 변형 애니메이션 생성시스템.
  14. 제12항 또는 제13항에서, 상기 변형 애니메이션 데이터 생성기는,
    상기 애니메이션 캐릭터 조합기에서 생성된 상기 애니메이션 캐릭터에 대한 신체의 변위 한계치 정보를 제공하는 애니메이션 변형정보 생성기; 및
    상기 애니메이션 변형정보 생성기에서 생성된 변형정보에 따라 상기 애니메이션 캐릭터 조합기에서 생성된 상기 애니메이션 캐릭터의 동작을 변형한 변형 애니메이션 데이터를 생성하는 애니메이션 동작 변형 생성기를 포함하는 것을 특징으로 하는 변형 애니메이션 생성시스템.
  15. 제12항 또는 제13항에서, 상기 변형 애니메이션 데이터 생성기는,
    상기 애니메이션 캐릭터 조합기에서 생성된 상기 애니메이션 캐릭터에 대한 신체의 변위 한계치 정보와 애니메이션 배경, 조명, 촬영각 중 적어도 어느 하나의 변형을 위한 정보를 제공하는 애니메이션 변형정보 생성기;
    상기 애니메이션 변형정보 생성기에서 생성된 변형정보에 따라 상기 애니메이션 캐릭터 조합기에서 생성된 상기 애니메이션 캐릭터의 동작을 변형한 변형 애니메이션 데이터를 생성하는 애니메이션 동작 변형 생성기; 및
    상기 애니메이션 변형정보 생성기에서 생성된 변형정보에 따라 상기 애니메이션 캐릭터 조합기에서 생성된 상기 애니메이션 캐릭터의 애니메이션 배경과 조명 및 촬영각 중 적어도 어느 하나를 변형한 변형 애니메이션 데이터를 생성하는 환경 변형 생성기를 포함하는 것을 특징으로 하는 변형 애니메이션 생성시스템.
KR1020180075008A 2018-06-28 2018-06-28 수어 인식 인공신경망 학습데이터 생성방법과 시스템 및 변형 애니메이션 데이터 생성시스템 KR20200001902A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180075008A KR20200001902A (ko) 2018-06-28 2018-06-28 수어 인식 인공신경망 학습데이터 생성방법과 시스템 및 변형 애니메이션 데이터 생성시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180075008A KR20200001902A (ko) 2018-06-28 2018-06-28 수어 인식 인공신경망 학습데이터 생성방법과 시스템 및 변형 애니메이션 데이터 생성시스템

Publications (1)

Publication Number Publication Date
KR20200001902A true KR20200001902A (ko) 2020-01-07

Family

ID=69153661

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180075008A KR20200001902A (ko) 2018-06-28 2018-06-28 수어 인식 인공신경망 학습데이터 생성방법과 시스템 및 변형 애니메이션 데이터 생성시스템

Country Status (1)

Country Link
KR (1) KR20200001902A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329690A (zh) * 2020-11-16 2021-02-05 河北工业大学 基于时空残差网络和时序卷积网络的连续手语识别方法
KR20240040825A (ko) 2022-09-21 2024-03-29 전남대학교산학협력단 한국어-한국 수어 번역 데이터 증강 및 평가 방법과 이를 수행하기 위한 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329690A (zh) * 2020-11-16 2021-02-05 河北工业大学 基于时空残差网络和时序卷积网络的连续手语识别方法
KR20240040825A (ko) 2022-09-21 2024-03-29 전남대학교산학협력단 한국어-한국 수어 번역 데이터 증강 및 평가 방법과 이를 수행하기 위한 장치

Similar Documents

Publication Publication Date Title
Bheda et al. Using deep convolutional networks for gesture recognition in american sign language
Yang et al. Sf-net: Structured feature network for continuous sign language recognition
Rastgoo et al. Sign language production: A review
Zheng et al. Recent advances of deep learning for sign language recognition
WO2021248473A1 (en) Personalized speech-to-video with three-dimensional (3d) skeleton regularization and expressive body poses
US11482134B2 (en) Method, apparatus, and terminal for providing sign language video reflecting appearance of conversation partner
Kadhim et al. A Real-Time American Sign Language Recognition System using Convolutional Neural Network for Real Datasets.
Ojha et al. Sign language to text and speech translation in real time using convolutional neural network
KR102167760B1 (ko) 수어동작 인식 처리절차 및 움직임 추적 Pre-trained 모델을 이용한 수어동작 분석 알고리즘 시스템
KR102174922B1 (ko) 사용자의 감정 또는 의도를 반영한 대화형 수어-음성 번역 장치 및 음성-수어 번역 장치
CN110992783A (zh) 一种基于机器学习的手语翻译方法及翻译设备
Tolba et al. Recent developments in sign language recognition systems
Mattos et al. Improving CNN-based viseme recognition using synthetic data
Khan et al. A sign language to text converter using leap motion
Fowley et al. Sign Language Fingerspelling Recognition using Synthetic Data.
KR20200001902A (ko) 수어 인식 인공신경망 학습데이터 생성방법과 시스템 및 변형 애니메이션 데이터 생성시스템
Fatima et al. Different approaches to convert speech into sign language
Baumgärtner et al. Automated Sign Language Translation: The Role of Artificial Intelligence Now and in the Future.
Akmeliawati et al. Assistive technology for relieving communication lumber between hearing/speech impaired and hearing people
Putra et al. Designing translation tool: Between sign language to spoken text on kinect time series data using dynamic time warping
Enikeev et al. Russian Fingerspelling Recognition Using Leap Motion Controller
Patel et al. Hand-gesture recognition for automated speech generation
Mattos et al. Towards view-independent viseme recognition based on CNNs and synthetic data
Kowshik et al. Assistance For Visually Impaired Using Finger-Tip Text Reader Using Machine Learning
Bin Munir et al. A machine learning based sign language interpretation system for communication with deaf-mute people

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application