KR102195401B1 - Rgb 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법 - Google Patents

Rgb 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법 Download PDF

Info

Publication number
KR102195401B1
KR102195401B1 KR1020200129594A KR20200129594A KR102195401B1 KR 102195401 B1 KR102195401 B1 KR 102195401B1 KR 1020200129594 A KR1020200129594 A KR 1020200129594A KR 20200129594 A KR20200129594 A KR 20200129594A KR 102195401 B1 KR102195401 B1 KR 102195401B1
Authority
KR
South Korea
Prior art keywords
image
rgb
sign language
keypoint
hand
Prior art date
Application number
KR1020200129594A
Other languages
English (en)
Inventor
유승수
Original Assignee
(주)멀틱스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)멀틱스 filed Critical (주)멀틱스
Priority to KR1020200129594A priority Critical patent/KR102195401B1/ko
Application granted granted Critical
Publication of KR102195401B1 publication Critical patent/KR102195401B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06K9/00355—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G06K2209/055—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 수어 영상 스트림 인식 방법에 있어서, 영상 생성부가 광학 카메라, RGB 카메라(100) 또는 뎁스 카메라를 이용하여 사람의 수어 동작을 촬상하고 제1 시간 간격(예를들어, △T1 = 1 / 10~30 sec)으로 수어 영상 프레임(Frame)들을 생성하는, 수어 영상 생성 단계(S100)와; 키 포인트 추출부(200)가, RGB 색소들로 이루어진 2차원 매트릭스 형태의 키포인트 이미지(Image, Rtn, i = i = 1, 2, 3,...N, t = 1, 2, 3, ..., T) 매트릭스를 생성하는, 키포인트 매트릭스 이미지 생성 단계(S300)와; 인공지능 인식부(400)가, 상기 키포인트 이미지 변환부(300)로부터 입력되는 RGB 형태의 키포인트 이미지를 기초로하여, 매칭되는 단어 및 문장을 출력하는 수어 번역 단계(S400)와; 텍스트 출력부(500)가, 단어 또는 문장을 문자로 출력하는 텍스트 출력 단계(S500);를 포함하여 구성되는 것을 특징으로 하는 RGB 키포인트 매트릭스 이미지 를 이용한 실시간 수어 영상 스트림 인식 방법에 관한 것이다.

Description

RGB 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법 { hand language recognition method for hearing impairment people }
본 발명은 RGB 키포인트 이미지를 이용한 실시간 수어 영상 스트림 인식 및 반응 영상 출력 방법에 관한 것이다.
공개 특허 제10-2019-0092777호는, 사용자 손에 착용하는 글러브형 모션인식 장치로서, 글러브 형상의 본체; 상기 본체의 손가락 관절 부분에 장착된 복수 개의 스트레인 게이지 모듈을 구비하여 상기 본체의 손가락 관절 부분의 굽힘 정도를 인식하는 제1 센서부; 상기 본체의 손가락 끝부분에 장착된 복수 개의 압력센서를 구비하여 상기 손가락 끝부분에 접촉하는 압력을 인식하는 제2 센서; 상기 제1 센서부의 출력 패턴을 기초로 손의 모양(제1 동작)을 인식하고 상기 제2 센서부의 출력을 기초로 상기 손가락의 끝부분의 접촉 여부(제2 동작)를 인식하여 상기 적어도 하나의 제1 동작과 적어도 하나의 제2 동작이 기설정된 조합인 경우에 이벤트가 발생한 것으로 인식하는 제어부를 포함하는 것을 특징으로 하는 글러브형 모션인식 장치를 제공한다.
종래 기술은 수어를 하는 사람이 움직임 센서를 착용하여야 하고 그럼에도 불구하고 센서 인식 알고리즘의 오차 발생으로 동작 인식률이 떨어지는 문제점이 있었다.
본 발명은 키 포인트 추출부의 좌표 정보와 각 좌표의 신뢰도 정보를 키포인트 이미지 변환부가 RGB 키포인트 이미지로 변환하고 이를 인공지능 인식부에 학습 인식시킴으로써 수어 영상의 텍스트화를 가능하게 하는 RGB 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법을 제공하기 위한 것이다.
본 발명의 RGB 키포인트 매트릭스 이미지 를 이용한 실시간 수어 영상 스트림 인식 방법은, 수어 영상 스트림 인식 방법에 있어서,
영상 생성부가 광학 카메라, RGB 카메라(100) 또는 뎁스 카메라를 이용하여 사람의 수어 동작을 촬상하고 제1 시간 간격(예를들어, △T1 = 1 / 10~30 sec)으로 수어 영상 프레임(Frame)들을 생성하는, 수어 영상 생성 단계(S100)와;
키 포인트 추출부(200)가, 상기 시간적으로 연속되어 스트림을 형성하는 영상 프레임(Frame)들로부터 손(손가락 마디, 손목 관절)의 관절점, 손의 중요부(손가락 끝, 손등 중심)를 포함하는 손의 지점들의 적어도 2차원 좌표(Xtn, Ytn, 지점 n = 1, 2, 3,...N, t = 스트림 이산 시간)들로 이루어진, 키 포인트들을 추출하는 단계(S200)와;
키포인트 이미지 변환부(300)가, 상기 하나의 적어도 2차원 좌표(X, Y)를 포함하는 하나의 키 포인트를 하나의 RGB 색소로 변환하고, 제1 축(n축)을 따라서 하나의 프레임(하나의 시간, t)에서 추출된 손의 지점들의 키포인트들이 변환된 RGB 색소들(Rtn, i = i = 1, 2, 3,...N, t = 고정)을 배치하고, 상기 제1 축(n, 주요지점 축)과 직교하는 제2 축(t, 시간 축)을 따라서, 하나의 손의 지점에서 다른 시간에 얻어진 키 포인트들이 변환된 RGB 색소들(Rtn, i = 고정, t = 1, 2, 3, ..., T)을 배치하여, RGB 색소들로 이루어진 2차원 매트릭스 형태의 키포인트 이미지(Image, Rtn, i = i = 1, 2, 3,...N, t = 1, 2, 3, ..., T) 매트릭스를 생성하는, 키포인트 매트릭스 이미지 생성 단계(S300)와;
인공지능 인식부(400)가, 상기 키포인트 이미지 변환부(300)로부터 입력되는 RGB 형태의 키포인트 이미지를 기초로하여, 매칭되는 단어 및 문장을 출력하는 수어 번역 단계(S400)와; 텍스트 출력부(500)가, 단어 또는 문장을 문자로 출력하는 텍스트 출력 단계(S500);를 포함하여 구성되는 것을 특징으로 한다.
본 발명에 따르는 경우, 키 포인트 추출부의 좌표 정보와 각 좌표의 신뢰도 정보를 키포인트 이미지 변환부가 RGB 키포인트 이미지로 변환하고 이를 인공지능 인식부에 학습 인식시킴으로써 수어 영상의 텍스트화를 가능하게 하는 RGB 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법이 제공된다.
또한, 좌우 손 뿐 아니라 얼굴까지 인식 대상으로 함으로써 보다 정확한 구어 번역이 가능한 RGB 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법이 제공된다,
도 1은 본 발명의 RGB 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법 전체 구성도.
도 2는 본 발명의 RGB 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법 흐름도.
도 3은 본 발명의 RGB 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법 과정 예시도.
도 4는 종래 기술에 따른 센서 사용 수어 인식 방법 설명도.
이하에서 본 발명의 RGB 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법에 대하여 첨부된 도면을 참조하여 상세하게 설명한다. 도 1은 본 발명의 RGB 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법 전체 구성도, 도 2는 본 발명의 RGB 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법 흐름도이고, 도 3은 본 발명의 RGB 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법 과정 예시도이다.
도 1 내지 도 3에 도시된 바와 같이, 본 발명의 RGB 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법은, 수어 영상 생성 단계(S100)와 키 포인트들을 추출하는 단계(S200)와 키포인트 매트릭스 이미지 생성 단계(S300)와 수어 번역 단계(S400)와 텍스트 출력 단계(S500)를 포함하여 구성된다.
도시된 바와 같이, 수어 영상 생성 단계(S100)에서, 영상 생성부가 광학 카메라, RGB 카메라 또는 뎁스 카메라를 이용하여 사람의 수어 동작을 촬상하고 제1 시간 간격(예를들어, △T1 = 1 / 10~30 sec)으로 수어 영상 프레임(Frame)들을 생성한다.
키 포인트들을 추출하는 단계(S200)에서, 키 포인트 추출부(200)가, 상기 시간적으로 연속되어 스트림을 형성하는 영상 프레임(Frame)들로부터 손(손가락 마디, 손목 관절)의 관절점, 손의 중요부(손가락 끝, 손등 중심)를 포함하는 손의 지점들의 적어도 2차원 좌표(Xtn, Ytn, 지점 n = 1, 2, 3,...N, t = 스트림 이산 시간)들로 이루어진 키 포인트들을 추출한다.
키포인트 매트릭스 이미지 생성 단계(S300)에서, 키포인트 이미지 변환부(300)가, 하나의 적어도 2차원 좌표(X, Y)를 포함하는 하나의 키 포인트를 하나의 RGB 색소로 변환하고, 제1 축(n축)을 따라서 하나의 프레임(하나의 시간, t)에서 추출된 손의 지점들의 키포인트들이 변환된 RGB 색소들(Rtn, i = i = 1, 2, 3,...N, t = 고정)을 배치하고, 상기 제1 축(n, 주요지점 축)과 직교하는 제2 축(t, 시간 축)을 따라서, 하나의 손의 지점에서 다른 시간에 얻어진 키 포인트들이 변환된 RGB 색소들(Rtn, i = 고정, t = 1, 2, 3, ..., T)을 배치하여, RGB 색소들로 이루어진 2차원 매트릭스 형태의 키포인트 이미지(Image, Rtn, i = i = 1, 2, 3,...N, t = 1, 2, 3, ..., T) 매트릭스를 생성한다.
수어 번역 단계(S400)에서, 인공지능 인식부(400)가, 키포인트 이미지 변환부(300)로부터 입력되는 RGB 형태의 키포인트 이미지를 기초로하여, 매칭되는 단어 및 문장을 출력한다.
다음으로, 텍스트 출력 단계(S500)에서, 텍스트 출력부(500)가, 단어 또는 문장을 문자로 출력한다. 여기서 출력이란 화상 디스플레이 일 수 있고, 문자정보의 다른 디바이스로의 전송을 의미할 수도 있다.
본 발명의 일실시예에 따른 RGB 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법에 있어서, 도 1 내지 도 3에 도시된 바와 같이, 키 포인트 추출부(200)는, 수어 영상으로부터 딥 러닝 기법에 의해 생성된 2차원 좌표(Xtn, Ytn, 지점 n = 1, 2, 3,...N, t = 스트림 이산 시간) 또는 3차원 좌표(Xtn, Ytn, Ztn) 중에서 선택된 하나의 위치 좌표뿐 아니라, 위치 좌표의 신뢰도를 평가한 신뢰성 지수(Ctn)을 더 포함하여 구성될 수 있다.
예를들어, 지점들의 상호 위치를 분석한 결과 하나의 특정 지점의 좌표가 상식적의 인체(골격)의 거동이 불가능한 지점에 있다고 판단될 때 그 특정 지점의 좌표에 신뢰도 지수는 낮게 부여되고, 이러한 신뢰도가 분석 결과에 영향을 미치도록 할 수 있다.
본 발명의 일실시예에서, 수어 영상은 손가락 마디들과 손가락 끝지점 손 바닥 일부 지점을 포함하는 양손의 영상 뿐 아니라, 인중, 코, 양 눈, 턱 중앙, 입술을 포함하는 얼굴의 영상을 포함한다. 키 포인트 추출부(200)는, 수어 영상으로부터 손동작 및 얼굴의 2차원 좌표(Xtn, Ytn, 지점 n = 1, 2, 3,...N, t = 스트림 이산 시간) 또는 3차원 좌표(Xtn, Ytn, Ztn)를 생성한다.
도 1 내지 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 RGB 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법에 있어서, 인공지능 인식부(400)는 수어 번역 단계(S400)에서, 인코더(Encoder)와 디코더(Decoder)를 포함하는 시퀀스 구조인 것이 바람직하다. 인코더(Encoder)는 손동작 및 비수지(얼굴) 주요부의 시간의 흐름에 따른 위치정보 및 위치변화 정보를 모두 포함하는 RGB 키포인트 매트릭스 이미지를 입력받아 단어(Word)를 추론하는 콘볼루션 신경망 네트워크(또는 VGGNet)이다. 여기서, 디코더(Decoder)는 GRU 또는 LSTM 구조의 순환신경망 구조인 것이 바람직하다.
도 1 내지 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 RGB 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법에 있어서, 키포인트 이미지 변환부(300)에서 생성되는 RGB 키포인트 매트릭스 이미지의 제2 축인 시간축의 최고 시간 길이(△T2)는 0.2 ~ 3 sec 이고, △T1 = 1 / 10 ~ 1/ 30 sec 이고, 제2 축인 시간축의 최대 행의 수(T)는 = △T2 / △T1으로서 T = 10 ~ 1000 이다. 손의 지점의 수 N은 한쪽 손 또는 팔에서 21 ~ 30, 양쪽 합하여 N은 한쪽 손 또는 팔에서 42 ~ 60 개 인 것이 바람직하다.
도 1 내지 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 RGB 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법에 있어서, 지점은, 양손 손가락 마디들, 양 손목 관절점, 양 어깨 관절점, 양 팔꿈치 관절점, 골반뼈 중앙, 골반뼈 양측, 인중, 코, 양 눈, 턱 중앙의 위치에 해당하는 지점 중에서 선택된 적어도 21개 이상인 것이 바람직하다.
도 4(a, b)에 도시된 바와 같이, 지점은, 손가락 마디들과, 손가락 끝지점, 손 바닥 일부 지점을 포함하는 일측 손당 21개의 지점, 양손 42개의 지점과, 인중, 코, 양 눈, 턱 중앙, 입술의 위치에 해당하는 지점을 포함하는 얼굴 부위 70지점인 것이 바람직하다.
본 발명은 상기에서 언급한 바람직한 실시예와 관련하여 설명됐지만, 본 발명의 범위가 이러한 실시예에 한정되는 것은 아니며, 본 발명의 범위는 이하의 특허청구범위에 의하여 정하여지는 것으로 본 발명과 균등 범위에 속하는 다양한 수정 및 변형을 포함할 것이다.
아래의 특허청구범위에 기재된 도면부호는 단순히 발명의 이해를 보조하기 위한 것으로 권리범위의 해석에 영향을 미치지 아니함을 밝히며 기재된 도면부호에 의해 권리범위가 좁게 해석되어서는 안될 것이다.
100 : 카메라
200 : 키 포인트 추출부
300 : 키포인트 이미지 변환부
400 : 인공지능 인식부
500 : 텍스트 출력부

Claims (7)

  1. 수어 영상 스트림 인식 방법에 있어서,
    영상 생성부가 광학 카메라 또는 뎁스 카메라를 이용하여 사람의 수어 동작을 촬상하고 제1 시간 간격으로 수어 영상 프레임(Frame)들을 생성하는,
    수어 영상 생성 단계(S100)와;

    키 포인트 추출부(200)가, 시간적으로 연속되어 스트림을 형성하는 영상 프레임(Frame)들로부터 손가락 마디와 손목 관절을 포함하는 손의 지점의 적어도 2차원 좌표(Xtn, Ytn, 지점 n = 1, 2, 3,...N, t = 스트림 이산 시간)들로 이루어진,
    키 포인트들을 추출하는 단계(S200)와;

    키포인트 이미지 변환부(300)가,
    하나의 적어도 2차원 좌표(X, Y)를 포함하는 하나의 키 포인트를 하나의 RGB 색소로 변환하고, 제1 축(n축)을 따라서 하나의 프레임(하나의 시간, t)에서 추출된 손의 지점들의 키포인트들이 변환된 RGB 색소들(Rtn, i = i = 1, 2, 3,...N, t = 고정)을 배치하고, 상기 제1 축(n, 주요지점 축)과 직교하는 제2 축(t, 시간 축)을 따라서, 하나의 손의 지점에서 다른 시간에 얻어진 키 포인트들이 변환된 RGB 색소들(Rtn, i = 고정, t = 1, 2, 3, ..., T)을 배치하여,
    RGB 색소들로 이루어진 2차원 매트릭스 형태의 키포인트 이미지(Image, Rtn, i = i = 1, 2, 3,...N, t = 1, 2, 3, ..., T) 매트릭스를 생성하는, 키포인트 매트릭스 이미지 생성 단계(S300)와;

    인공지능 인식부(400)가,
    상기 키포인트 이미지 변환부(300)로부터 입력되는 RGB 형태의 키포인트 이미지를 기초로하여, 매칭되는 단어 및 문장을 출력하는 수어 번역 단계(S400)와;

    텍스트 출력부(500)가, 단어 또는 문장을 문자로 출력하는 텍스트 출력 단계(S500);를 포함하여 구성되는 것을 특징으로 하는 RGB 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법.
  2. 제1항에 있어서,
    상기 키 포인트 추출부(200)는,
    상기 수어 영상으로부터 딥 러닝 기법에 의해 생성된 2차원 좌표(Xtn, Ytn, 지점 n = 1, 2, 3,...N, t = 스트림 이산 시간) 또는 3차원 좌표(Xtn, Ytn, Ztn) 중에서 선택된 하나의 위치 좌표뿐 아니라, 상기 위치 좌표의 신뢰도를 평가한 신뢰성 지수(Ctn)을 더 포함하여 구성되는 것을 특징으로 하는 RGB 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법.
  3. 제1항에 있어서,
    상기 수어 영상은,
    손가락 마디들과 손가락 끝지점 손 바닥 일부 지점을 포함하는 양손의 영상 뿐 아니라, 인중, 코, 양 눈, 턱 중앙, 입술을 포함하는 얼굴의 영상을 포함하고,

    상기 키 포인트 추출부(200)는,
    상기 수어 영상으로부터 손의 지점 및 얼굴의 2차원 좌표(Xtn, Ytn, 지점 n = 1, 2, 3,...N, t = 스트림 이산 시간) 또는 3차원 좌표(Xtn, Ytn, Ztn)를 생성하는 것을 특징으로 하는 RGB 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법.
  4. 제2항에 있어서,
    상기 인공지능 인식부(400)는 수어 번역 단계(S400)에서, 인코더(Encoder)와 디코더(Decoder)를 포함하는 시퀀스 구조이며,

    상기 인코더(Encoder)는 손의 지점 및 얼굴의 시간의 흐름에 따른 위치정보 및 위치변화 정보를 모두 포함하는 RGB 키포인트 매트릭스 이미지를 입력받아 단어(Word)를 추론하는 콘볼루션 신경망 네트워크이고,

    상기 디코더(Decoder)는 GRU 또는 LSTM 구조의 순환신경망 구조인 것을 특징으로 하는 RGB 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법.
  5. 제1항에 있어서,
    상기 키포인트 이미지 변환부(300)에서 생성되는 RGB 키포인트 매트릭스 이미지의 제2 축인 시간축의 최고 시간 길이(△T2)는 0.2 ~ 3 sec 이고,

    제1 시간 간격(△T1)은 1 / 10 ~ 1/ 30 sec 이고, 제2 축인 시간축의 최대 행의 수(T)는 10 ~ 1000 이고,

    손의 지점은, 한쪽 손 또는 팔에서 21 ~ 30, 양쪽 합하여 한쪽 손 또는 팔에서 42 ~ 60 개 인 것을 특징으로 하는 RGB 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법.
  6. 제3항에 있어서,
    손의 지점은, 손가락 마디들과, 손가락 끝지점, 손 바닥 일부 지점을 포함하는 일측 손당 21개의 지점, 양손 42개의 지점이고,

    상기 키 포인트 추출부(200)가 생성하는 얼굴의 좌표는,
    인중, 코, 양 눈, 턱 중앙, 입술의 위치에 해당하는 지점을 포함하는 얼굴 70 지점의 것을 특징으로 하는 RGB 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법.
  7. 삭제
KR1020200129594A 2020-10-07 2020-10-07 Rgb 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법 KR102195401B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200129594A KR102195401B1 (ko) 2020-10-07 2020-10-07 Rgb 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200129594A KR102195401B1 (ko) 2020-10-07 2020-10-07 Rgb 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법

Publications (1)

Publication Number Publication Date
KR102195401B1 true KR102195401B1 (ko) 2020-12-24

Family

ID=74087408

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200129594A KR102195401B1 (ko) 2020-10-07 2020-10-07 Rgb 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법

Country Status (1)

Country Link
KR (1) KR102195401B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113589928A (zh) * 2021-07-27 2021-11-02 东莞理工学院 一种面向智能电视的手势识别方法
WO2023277421A1 (ko) * 2021-06-29 2023-01-05 한국전자기술연구원 수어의 형태소 단위 분할 방법, 형태소 위치 예측 방법 및 데이터 증강 방법
KR20230040849A (ko) 2021-09-16 2023-03-23 국민대학교산학협력단 손 추적 기반 행위 분류 방법 및 장치
KR20230089466A (ko) * 2021-12-13 2023-06-20 조선대학교산학협력단 앙상블 기반의 신경망을 이용한 행동 인식 방법
KR102589845B1 (ko) * 2022-10-20 2023-10-17 주식회사 인피닉 수어 영상 번역 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101636171B1 (ko) * 2014-12-19 2016-07-05 동국대학교 경주캠퍼스 산학협력단 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템
KR20170112857A (ko) * 2016-03-25 2017-10-12 한국과학기술원 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
KR20190067662A (ko) * 2017-12-07 2019-06-17 한국생산기술연구원 로봇을 이용한 수화통역시스템
KR20190067663A (ko) * 2017-12-07 2019-06-17 한국생산기술연구원 웨어러블 수화통역장치
KR20190115509A (ko) * 2018-03-15 2019-10-14 전자부품연구원 자동 수어 인식 방법 및 시스템
KR20200075149A (ko) * 2018-12-13 2020-06-26 한동대학교 산학협력단 인공지능 기반의 사용자 동작 인식을 통한 브라우저 제어 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101636171B1 (ko) * 2014-12-19 2016-07-05 동국대학교 경주캠퍼스 산학협력단 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템
KR20170112857A (ko) * 2016-03-25 2017-10-12 한국과학기술원 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
KR20190067662A (ko) * 2017-12-07 2019-06-17 한국생산기술연구원 로봇을 이용한 수화통역시스템
KR20190067663A (ko) * 2017-12-07 2019-06-17 한국생산기술연구원 웨어러블 수화통역장치
KR20190115509A (ko) * 2018-03-15 2019-10-14 전자부품연구원 자동 수어 인식 방법 및 시스템
KR20200075149A (ko) * 2018-12-13 2020-06-26 한동대학교 산학협력단 인공지능 기반의 사용자 동작 인식을 통한 브라우저 제어 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023277421A1 (ko) * 2021-06-29 2023-01-05 한국전자기술연구원 수어의 형태소 단위 분할 방법, 형태소 위치 예측 방법 및 데이터 증강 방법
CN113589928A (zh) * 2021-07-27 2021-11-02 东莞理工学院 一种面向智能电视的手势识别方法
CN113589928B (zh) * 2021-07-27 2023-11-24 东莞理工学院 一种面向智能电视的手势识别方法
KR20230040849A (ko) 2021-09-16 2023-03-23 국민대학교산학협력단 손 추적 기반 행위 분류 방법 및 장치
KR20230089466A (ko) * 2021-12-13 2023-06-20 조선대학교산학협력단 앙상블 기반의 신경망을 이용한 행동 인식 방법
KR102658478B1 (ko) * 2021-12-13 2024-04-18 조선대학교산학협력단 앙상블 기반의 신경망을 이용한 행동 인식 방법
KR102589845B1 (ko) * 2022-10-20 2023-10-17 주식회사 인피닉 수어 영상 번역 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Similar Documents

Publication Publication Date Title
KR102195401B1 (ko) Rgb 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법
Kumar et al. A multimodal framework for sensor based sign language recognition
US11847426B2 (en) Computer vision based sign language interpreter
Zhang et al. Cooperative sensing and wearable computing for sequential hand gesture recognition
US11783615B2 (en) Systems and methods for language driven gesture understanding
Ahmed et al. Real-time sign language framework based on wearable device: analysis of MSL, DataGlove, and gesture recognition
KR102167760B1 (ko) 수어동작 인식 처리절차 및 움직임 추적 Pre-trained 모델을 이용한 수어동작 분석 알고리즘 시스템
CN114998983A (zh) 一种基于增强现实技术和姿态识别技术的肢体康复方法
Krishnaraj et al. A Glove based approach to recognize Indian Sign Languages
Farooq et al. A comparison of hardware based approaches for sign language gesture recognition systems
Sosa-Jiménez et al. A prototype for Mexican sign language recognition and synthesis in support of a primary care physician
Blumrosen et al. Back to finger-writing: Fingertip writing technology based on pressure sensing
Loeding et al. Progress in automated computer recognition of sign language
KR102377767B1 (ko) 손동작 및 팔동작 학습기반 수화 번역 시스템 및 방법
Enikeev et al. Sign language recognition through Leap Motion controller and input prediction algorithm
Kahol et al. Documenting motion sequences with a personalized annotation system
Holden Visual recognition of hand motion
Ji et al. 3D hand gesture coding for sign language learning
Choudhury et al. Visual gesture-based character recognition systems for design of assistive technologies for people with special necessities
Vidalón et al. Continuous sign recognition of brazilian sign language in a healthcare setting
Dawod Hand Gesture Recognition Based Sign Language Interpretation in Real-Time
Bahrii et al. Implementing alternative communication using a limited number of simple sign language gestures
Ip et al. HACS: Hand Action Coding System for anatomy-based synthesis of hand gestures
Das et al. Headspeak: morse code based head gesture to speech conversion using intel Realsense™ technology
Porwal et al. ASL Language Translation using ML

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant