KR102530516B1 - 자동 수어 인식 방법 및 시스템 - Google Patents

자동 수어 인식 방법 및 시스템 Download PDF

Info

Publication number
KR102530516B1
KR102530516B1 KR1020220036787A KR20220036787A KR102530516B1 KR 102530516 B1 KR102530516 B1 KR 102530516B1 KR 1020220036787 A KR1020220036787 A KR 1020220036787A KR 20220036787 A KR20220036787 A KR 20220036787A KR 102530516 B1 KR102530516 B1 KR 102530516B1
Authority
KR
South Korea
Prior art keywords
feature
sign language
algorithm
feature point
extracted
Prior art date
Application number
KR1020220036787A
Other languages
English (en)
Other versions
KR20220042335A (ko
Inventor
정혜동
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020220036787A priority Critical patent/KR102530516B1/ko
Publication of KR20220042335A publication Critical patent/KR20220042335A/ko
Application granted granted Critical
Publication of KR102530516B1 publication Critical patent/KR102530516B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

자동 수어 인식 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 자동 수어 인식 방법은, 영상에서 신체의 특징점들을 추출하고, 추출된 특징점들의 좌표들과 속성들로 특징 벡터를 생성하며, 생성된 특징 벡터와 수어로 수어 인식을 위한 인공지능 모델을 학습시킨다. 이에 의해, 수어 인식을 위한 딥러닝 모델을 효율적으로 학습시켜 수어 인식에 활용함으로써, 적은 학습으로도 높은 인식을 가능하게 할 수 있다.

Description

자동 수어 인식 방법 및 시스템{Automatic Sign Language Recognition Method and System}
본 발명은 인공지능 관련 기술에 관한 것으로, 더욱 상세하게는 인공지능 모델을 활용하여 자동으로 수어(手語)를 인식하기 위한 방법 및 시스템에 관한 것이다.
인공지능 기술의 비약적인 발전은 입력 영상으로부터 자동으로 수어를 인식하는 것을 가능하게 하였다. 기존의 딥러닝 기반 수어 인식 기술들은 영상을 바로 수어(텍스트)로 변환하는 End-to-End 훈련 방식에 따르고 있다.
하지만, 이러한 방식의 경우, 많은 학습 영상과 수어 데이터를 이용하여 신경망을 학습하여야만 만족할만한 인식이 가능하다는 문제가 있다.
나아가, 학습이 제대로 수행되었다 하더라도, 실제 응용 프로그램에 적용하는 경우 학습 영상과 상당 부분 다른 영상이 입력되는 경우에는 올바른 인식이 어렵다는 문제도 아울러 존재한다.
뿐만 아니라, 연속적인 수어나 새로운 조합과 순서의 수어가 입력되는 경우에도, 올바른 출력이 불가능하다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 입력 영상에서 신체의 특징점들을 추출하여, 특징점들의 좌표들과 속성으로부터 생성한 특징 벡터로 수어 인식을 위한 딥러닝 모델을 학습시켜 활용하는 수어 인식 방법 및 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 자동 수어 인식 방법은, 영상을 입력받는 단계; 영상에서 신체의 특징점들을 추출하는 단계; 추출된 특징점들의 좌표들과 속성들로 특징 벡터를 생성하는 단계; 생성된 특징 벡터와 수어로, 수어 인식을 위한 인공지능 모델을 학습시키는 단계;를 포함한다.
그리고, 특징점의 속성은, 특징점의 신뢰도를 포함할 수 있다.
또한, 특징점의 속성은,특징점을 추출한 알고리즘의 종류를 포함할 수 있다.
그리고, 본 발명의 실시예에 따른 자동 수어 인식 방법은, 생성된 특징 벡터를 정규화하는 단계;를 더 포함하고, 학습 단계는, 정규화된 특징 벡터와 수어로, 인공지능 모델을 학습시킬 수 있다.
또한, 정규화 단계는, 특징점들의 각 좌표들과 신뢰도들을 정규화할 수 있다.
그리고, 추출 단계는, 신뢰도가 높은 순서에 따라, 정해진 개수의 특징점들을 추출할 수 있다.
또한, 추출 단계는, 알고리즘의 종류에 따라 배정된 개수의 특징점들을 추출할 수 있다.
그리고, 본 발명의 실시예에 따른 자동 수어 인식 방법은, 신체 부위 또는 목적을 설정 받는 단계;를 더 포함하고, 추출 단계는, 설정된 신체 부위 또는 목적에 부합하는 신체 부위엣거 특징점들을 추출할 수 있다.
또한, 본 발명의 실시예에 따른 자동 수어 인식 방법은, 인식 대상 영상을 입력받는 단계; 입력된 인식 대상 영상에서 신체의 특징점들을 추출하는 단계; 추출된 특징점들의 좌표들과 속성들로 특징 벡터를 생성하는 단계; 생성된 특징 벡터를 수어 인식을 위한 인공지능 모델에 입력하여, 해당하는 수어를 생성하는 단계;를 더 포함할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 자동 수어 인식 시스템은, 영상을 입력받는 입력부; 및 영상에서 신체의 특징점들을 추출하고, 추출된 특징점들의 좌표들과 속성들로 특징 벡터를 생성하며, 생성된 특징 벡터와 수어로 수어 인식을 위한 인공지능 모델을 학습시키는 프로세서;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 자동 수어 인식 방법은, 인식 대상 영상을 입력받는 단계; 입력된 인식 대상 영상에서 신체의 특징점들을 추출하는 단계; 추출된 특징점들의 좌표들과 속성들로 특징 벡터를 생성하는 단계; 생성된 특징 벡터를 수어 인식을 위한 인공지능 모델에 입력하여, 해당하는 수어를 생성하는 단계;를 포함하고, 인공지능 모델은, 학습 영상에서 추출된 신체의 특징점들의 좌표들과 속성들로부터 생성된 특징 벡터와 수어로 학습된다.
한편, 본 발명의 다른 실시예에 따른, 자동 수어 인식 시스템은, 인식 대상 영상을 입력받는 입력부; 및 입력된 인식 대상 영상에서 신체의 특징점들을 추출하고, 추출된 특징점들의 좌표들과 속성들로 특징 벡터를 생성하며, 생성된 특징 벡터를 수어 인식을 위한 인공지능 모델에 입력하여 해당하는 수어를 생성하는 프로세서;를 포함하고, 인공지능 모델은, 학습 영상에서 추출된 신체의 특징점들의 좌표들과 속성들로부터 생성된 특징 벡터와 수어로 학습된다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 입력 영상에서 신체의 특징점들을 추출하여, 특징점들의 좌표들과 속성으로부터 생성한 특징 벡터로 수어 인식을 위한 딥러닝 모델을 효율적으로 학습시켜 수어 인식에 활용함으로써, 적은 학습으로도 높은 인식을 가능하게 할 수 있다.
또한, 본 발명의 실시예들에 따르면, 특징점들의 좌표들과 속성을 정규화하여 특징 벡터를 생성함으로써, 다양한 각도나 시점에서 촬영된 영상에 대해서도 정확한 수어 인식이 가능해진다.
도 1은 본 발명의 일 실시예에 따른 자동 수어 인식 방법을 위한 학습 과정의 설명에 제공되는 도면,
도 2는 사용 목적에 따른 특징점 추출 부위의 설정에 대한 설명에 제공되는 도면,
도 3은 본 발명의 일 실시예에 따른 수어 인식 방법의 설명에 제공되는 흐름도, 그리고,
도 4는 본 발명의 다른 실시예에 따른 자동 수어 인식 시스템의 블럭도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는 인공지능 기술을 활용한 기계학습 기반의 자동 수어 인식 방법을 제시한다.
본 발명의 실시예에 따른 자동 수어 인식 방법은, 입력 영상에서 추출한 신체의 특징점들의 좌표들과 속성들로부터 특징 벡터를 생성하여, 수어 인식을 위한 딥러닝 모델을 학습시키는데, 이는 학습량을 현저하게 감소시킬 수 있다.
나아가, 본 발명의 실시예에 따른 자동 수어 인식 방법은, 특징 벡터를 구성하는 원소들을 정규화하여 이용하는데, 이는 인식률을 높이는데 기여한다.
도 1은 본 발명의 일 실시예에 따른 자동 수어 인식 방법을 위한 학습 과정의 설명에 제공되는 도면이다.
도 1에 도시된 바와 같이, 먼저, 학습 영상이 입력되면, 특징 추출 엔진이 학습 영상에서 신체의 특징점들을 추출한다(S110).
특징점 추출을 위해 다양한 알고리즘이 선택적으로 사용될 수 있다. 구체적으로, SIFT(Scale-Invariant Feature Transform) 알고리즘, HOG(Histograms of Oriented Gradients) 알고리즘, SURF(Speeded Up Robust Feature) 알고리즘 등이 사용될 수 있으며, 그 밖의 다른 알고리즘을 사용하는 것도 배제하지 않는다.
추출하는 특징점의 개수는 정해져 있다. 이를 테면, 신뢰도가 높은 순서에 따라 140개의 특징점을 추출하도록 구현가능하다. 신뢰도는 특징점 추출 알고리즘에서 제공되는 값을 활용할 수 있다.
나아가, 신체의 각 부위 별로 특징점의 개수를 배정할 수 있다. 이를 테면, 신체 전체의 140개 특징점에 대해, 몸에서 추출할 특징점을 18개, 얼굴에서 추출할 특징점을 70개, 왼손에서 추출할 특징점을 21개, 오른손에서 추출할 특징점을 21개로 각각 할당하는 것이 가능하다.
이 경우, 각 부위 별로 신뢰도가 높은 순서에 따라 정해진 개수의 특징점들이 추출된다.
다음, S110단계에서 추출된 특징점들을 연산하여, 특징 벡터를 생성한다(S120). 특징 벡터는 추출된 특징점들의 좌표들이 포함되고, 특징점들의 속성으로 특징점들의 신뢰도들이 포함된다.
특징점 좌표는 x좌표와 y좌표로 구성되므로, 특징 벡터는 다음과 같이 구성된다.
{특징점1의 x좌표, 특징점1의 y좌표, 특징점1의 신뢰도, 특징점2의 x좌표, 특징점2의 y좌표, 특징점2의 신뢰도, .... , 특징점n의 x좌표, 특징점n의 y좌표, 특징점n의 신뢰도}
이후, 특징 벡터에 대해 원소 별로 정규화를 수행한다. 구체적으로, 특징점의 x좌표에 대한 정규화(x좌표 값에서 전체 x좌표의 평균값을 빼고 x좌표 값의 표준 편차로 나눔)하고, 특징점의 y좌표에 대한 정규화(y좌표 값에서 전체 y좌표의 평균값을 빼고 y좌표 값의 표준 편차로 나눔)하며, 특징점의 신뢰도에 대한 정규화(신뢰도 값에서 전체 신뢰도의 평균값을 빼고 신뢰도 값의 표준 편차로 나눔)한다.
특징 벡터를 정규화하면, 입력 영상의 특징점 위치, 크기 및 방향 변화에 강건한 특징 벡터를 얻을 수 있게 된다.
그리고, S120단계에서 정규화된 특징 벡터와 수어로 딥러닝 모델을 학습시킨다(S130). 딥러닝 모델로, FCN(Fully Connected Network), RNN(Recurrent Neural Network) 등이 적용 가능하며, 또한 머신러닝에서 많이 사용되 SVM, K-means 등도 적용 가능하다.
본 발명의 실시예에 따른 수어 인식 방법은 제스처 인식에도 활용될 수 있다. 단, 수어 인식을 위해 특징점을 추출하여야 하는 부위/비중은, 제스처 인식을 위해 특징점을 추출하여야 하는 부위/비중과 다르다. 나아가, 인식하고자 하는 제스처의 종류에 따라서도, 특징점을 추출하여야 하는 부위/비중은 다르다.
이에 따라, 도 2에 도시된 바와 같이, 사용 목적에 따라 특징점을 추출하는 사람의 부위 및 그에 대한 비중은 각기 다르게 적용할 수 있다.
구체적으로, 수어 인식과 같이 손과 얼굴의 특징점이 주요한 경우에는 손과 얼굴에 대한 특징점의 비중을 높이고, 몸 제스처와 같이 몸동작의 특징점이 주요한 경우에는 몸에 대한 특징점의 비중을 높인다.
특징점을 추출하여야 하는 부위 및 비중(해당 부위에서 추출하여야 할 특징점의 개수)은 설정을 통해 입력받을 수 있고, 목적(수어 인식, 제스처 인식)이 입력되면 자동으로 설정되도록 할 수도 있다.
도 3은 본 발명의 일 실시예에 따른 수어 인식 방법의 설명에 제공되는 흐름도이다.
도 3에 도시된 바와 같이, 먼저, 수어 인식 대상이 되는 영상인 수어 동영상이 입력되면(S210), 수어 동영상에서 신체의 특징점들과 특징점들에 대한 신뢰도들을 추출한다(S220).
그리고, S220단계에서 추출된 특징점들과 신뢰도들을 벡터화하여, 특징 벡터를 생성한다(S230). 특징 벡터의 구성에 대해서는 상세히 전술한 바 있으므로, 이에 대한 상세한 설명은 생략한다.
이후, S230단계에서 생성된 특징 벡터에 대해 원소 별로 정규화를 수행한다(S240). 도 3에 도시된 흐름도의 우측 부분에 특징 벡터 및 그에 대한 정규화 결과를 예시하였다.
특징 벡터의 정규화에 대해서도 상세히 전술한 바 있으므로, 이에 대한 상세한 설명은 생략한다.
다음, S240단계에서 정규화된 특징 벡터를 분류기로 기능하는 전술한 도 1의 S130단계를 통해 학습된 딥러닝 모델에 입력하여, 해당하는 수어를 출력시킨다(S250).
그리고, S250단계에서 출력된 수어를 자막으로 생성하여, 수어 동영상에 부가한다(S260).
도 4는 본 발명의 다른 실시예에 따른 자동 수어 인식 시스템의 블럭도이다. 본 발명의 다른 실시예에 따른 자동 수어 인식 시스템은, 도 4에 도시된 바와 같이, 통신부(310), 출력부(320), 프로세서(330), 입력부(340) 및 저장부(350)를 포함하는 컴퓨팅 시스템으로 구현할 수 있다.
통신부(310)는 외부 기기와 외부 네트워크로부터 학습 대상이 되는 수어 동영상 및 수어 데이터와 인식 대상이 되는 인식 동영상을 입력받기 위한 통신 수단이다.
입력부(340)는 사용자 설정 명령을 입력받기 위한 입력 수단이고, 출력부(320)는 학습/수어 동양상 및 자동 수어 인식 과정과 결과를 표시하기 위한 디스플레이이다.
프로세서(330)는 도 1에 도시된 방법을 실행하여 자동 수어 인식을 위한 학습 과정을 수행하고, 도 3에 도시된 방법을 실행하여 자동 수어 인식 과정을 수행한다.
저장부(350)는 프로세서(330)가 동작함에 있어 필요한 저장 공간을 제공한다.
지금까지, 자동 수어 인식 방법 및 시스템에 대해 바람직한 실시예를 들어 상세히 설명하었다.
위 실시예에서의 특징점 추출을 다중 알고리즘에 의한 특징점 추출로 확장할 수 있다. 구체적으로, 입력 영상에 대해 SIFT 알고리즘으로 특징점을 추출하고, SURF 알고리즘으로도 특징점을 추출하는 것이다.
이때, 추출된 특징점들은 특징 벡터에 모두 반영되어, 딥러닝 모델에서 학습된다. 특징점을 추출한 알고리즘에 대한 정보가 특징 벡터에 반영되도록 하기 위해, 특징 벡터에는 특징점의 속성으로, 특징점을 추출한 알고리즘의 종류를 나타내는 인덱스를 포함시킬 수 있다. 이 경우 특징 벡터는 다음과 같이 확장된다.
{특징점1의 x좌표, 특징점1의 y좌표, 특징점1의 신뢰도, 특징점1의 알고리즘 인덱스, 특징점2의 x좌표, 특징점2의 y좌표, 특징점2의 신뢰도, 특징점2의 알고리즘 인덱스, .... , 특징점n의 x좌표, 특징점n의 y좌표, 특징점n의 신뢰도, 특징점n의 알고리즘 인덱스}
특징점의 알고리즘 인덱스는, 이를 테면, 특징점 추출에 이용된 알고리즘이 SIFT 알고리즘이면 인덱스를 "1"로, 특징점 추출에 이용된 알고리즘이 SURF 알고리즘이면 인덱스를 "2"로, 각각 설정할 수 있다.
이 경우, 특징점 추출 알고리즘 별로 특징점의 개수를 배정할 수 있다. 이를 테면, 전체 200개 특징점들 중, 100개는 SIFT 알고리즘으로 추출한 특징점들로 구성하고, 나머지 100개는 SURF 알고리즘으로 추출한 특징점들로 구성할 수 있다.
물론, 각 알고리즘에 대해 할당된 100개의 특징점들도 신체 부위 별에 따라 재할당되고, 신뢰도가 높은 특징점들만 추출되도록 하는 구성이 더불어 적용될 수 있다.
본 발명의 실시예에 따른 자동 수어 인식 방법은, 입력 영상에서 신체의 특징점들을 추출하여, 특징점들의 좌표들과 속성으로부터 생성한 특징 벡터로 수어 인식을 위한 딥러닝 모델을 효율적으로 학습시켜 수어 인식에 활용함으로써, 적은 학습으로도 높은 인식을 가능하게 한다.
또한, 본 발명의 실시예에 따른 자동 수어 인식 방법은, 특징점들의 좌표들과 속성을 정규화하여 특징 벡터를 생성함으로써, 다양한 각도나 시점에서 촬영된 영상에 대해서도 정확한 수어 인식을 가능하게 한다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
310 : 통신부
320 : 출력부
330 : 프로세서
340 : 입력부
350 : 저장부

Claims (12)

  1. 영상을 입력받는 단계;
    영상에서 신체의 특징점들을 추출하는 단계;
    추출된 특징점들의 좌표들과 속성들로 특징 벡터를 생성하는 단계;
    생성된 특징 벡터와 수어로, 수어 인식을 위한 인공지능 모델을 학습시키는 단계;를 포함하고,
    추출 단계는,
    특징점 추출 알고리즘에서 제공되는 신뢰도가 높은 순서에 따라, 정해진 개수의 특징점들을 추출하며,
    수어 인식을 위한 인공지능 모델 학습을 위해 인공지능 모델에 입력되는 특징 벡터에는,
    각 특징점에 대한, 특징점의 좌표, 특징점의 신뢰도, 특징점을 추출한 알고리즘의 종류가 포함되고,
    추출 단계는,
    다수의 특징점 추출 알고리즘에 대해 각 특징점 추출 알고리즘 별로 배정된 개수의 특징점을 각각 추출하되,
    각 특징점 추출 알고리즘 마다 신체의 각 부위 별로 배정된 개수의 특징점을 추출하며,
    특징점 추출 알고리즘은,
    SIFT(Scale-Invariant Feature Transform) 알고리즘, HOG(Histograms of Oriented Gradients) 알고리즘, SURF(Speeded Up Robust Feature) 알고리즘을 포함하는 것을 특징으로 하는 자동 수어 인식 방법.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    생성된 특징 벡터를 정규화하는 단계;를 더 포함하고,
    학습 단계는,
    정규화된 특징 벡터와 수어로, 인공지능 모델을 학습시키는 것을 특징으로 하는 자동 수어 인식 방법.
  5. 청구항 4에 있어서,
    정규화 단계는,
    특징점들의 각 좌표들과 신뢰도들을 정규화하는 것을 특징으로 하는 자동 수어 인식 방법.
  6. 삭제
  7. 삭제
  8. 청구항 1에 있어서,
    신체 부위 또는 목적을 설정 받는 단계;를 더 포함하고,
    추출 단계는,
    설정된 신체 부위 또는 목적에 부합하는 신체 부위에서 특징점들을 추출하는 것을 특징으로 하는 자동 수어 인식 방법.
  9. 청구항 1에 있어서,
    인식 대상 영상을 입력받는 단계;
    입력된 인식 대상 영상에서 신체의 특징점들을 추출하는 단계;
    추출된 특징점들의 좌표들과 속성들로 특징 벡터를 생성하는 단계;
    생성된 특징 벡터를 수어 인식을 위한 인공지능 모델에 입력하여, 해당하는 수어를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 자동 수어 인식 방법.
  10. 영상을 입력받는 입력부;
    영상에서 신체의 특징점들을 추출하고, 추출된 특징점들의 좌표들과 속성들로 특징 벡터를 생성하며, 생성된 특징 벡터와 수어로 수어 인식을 위한 인공지능 모델을 학습시키는 프로세서;를 포함하고,
    프로세서는,
    특징점 추출 알고리즘에서 제공되는 신뢰도가 높은 순서에 따라, 정해진 개수의 특징점들을 추출하며,
    수어 인식을 위한 인공지능 모델 학습을 위해 인공지능 모델에 입력되는 특징 벡터에는,
    각 특징점에 대한, 특징점의 좌표, 특징점의 신뢰도, 특징점을 추출한 알고리즘의 종류가 포함되고,
    프로세서는,
    다수의 특징점 추출 알고리즘에 대해 각 특징점 추출 알고리즘 별로 배정된 개수의 특징점을 각각 추출하되,
    각 특징점 추출 알고리즘 마다 신체의 각 부위 별로 배정된 개수의 특징점을 추출하며,
    특징점 추출 알고리즘은,
    SIFT(Scale-Invariant Feature Transform) 알고리즘, HOG(Histograms of Oriented Gradients) 알고리즘, SURF(Speeded Up Robust Feature) 알고리즘을 포함하는 것을 특징으로 하는 자동 수어 인식 시스템.
  11. 인식 대상 영상을 입력받는 단계;
    입력된 인식 대상 영상에서 신체의 특징점들을 추출하는 단계;
    추출된 특징점들의 좌표들과 속성들로 특징 벡터를 생성하는 단계;
    생성된 특징 벡터를 수어 인식을 위한 인공지능 모델에 입력하여, 해당하는 수어를 생성하는 단계;를 포함하고,
    인공지능 모델은,
    학습 영상에서 추출된 신체의 특징점들의 좌표들과 속성들로부터 생성된 특징 벡터와 수어로 학습되며,
    추출 단계는,
    특징점 추출 알고리즘에서 제공되는 신뢰도가 높은 순서에 따라, 정해진 개수의 특징점들을 추출하며,
    수어 인식을 위한 인공지능 모델 학습을 위해 인공지능 모델에 입력되는 특징 벡터에는,
    각 특징점에 대한, 특징점의 좌표, 특징점의 신뢰도, 특징점을 추출한 알고리즘의 종류가 포함되고,
    추출 단계는,
    다수의 특징점 추출 알고리즘에 대해 각 특징점 추출 알고리즘 별로 배정된 개수의 특징점을 각각 추출하되,
    각 특징점 추출 알고리즘 마다 신체의 각 부위 별로 배정된 개수의 특징점을 추출하며,
    특징점 추출 알고리즘은,
    SIFT(Scale-Invariant Feature Transform) 알고리즘, HOG(Histograms of Oriented Gradients) 알고리즘, SURF(Speeded Up Robust Feature) 알고리즘을 포함하는 것을 특징으로 하는 자동 수어 인식 방법.
  12. 인식 대상 영상을 입력받는 입력부;
    입력된 인식 대상 영상에서 신체의 특징점들을 추출하고, 추출된 특징점들의 좌표들과 속성들로 특징 벡터를 생성하며, 생성된 특징 벡터를 수어 인식을 위한 인공지능 모델에 입력하여 해당하는 수어를 생성하는 프로세서;를 포함하고,
    인공지능 모델은,
    학습 영상에서 추출된 신체의 특징점들의 좌표들과 속성들로부터 생성된 특징 벡터와 수어로 학습되며,
    프로세서는,
    특징점 추출 알고리즘에서 제공되는 신뢰도가 높은 순서에 따라, 정해진 개수의 특징점들을 추출하며,
    수어 인식을 위한 인공지능 모델 학습을 위해 인공지능 모델에 입력되는 특징 벡터에는,
    각 특징점에 대한, 특징점의 좌표, 특징점의 신뢰도, 특징점을 추출한 알고리즘의 종류가 포함되고,
    프로세서는,
    다수의 특징점 추출 알고리즘에 대해 각 특징점 추출 알고리즘 별로 배정된 개수의 특징점을 각각 추출하되,
    각 특징점 추출 알고리즘 마다 신체의 각 부위 별로 배정된 개수의 특징점을 추출하며,
    특징점 추출 알고리즘은,
    SIFT(Scale-Invariant Feature Transform) 알고리즘, HOG(Histograms of Oriented Gradients) 알고리즘, SURF(Speeded Up Robust Feature) 알고리즘을 포함하는 것을 특징으로 하는 자동 수어 인식 시스템.
KR1020220036787A 2018-03-15 2022-03-24 자동 수어 인식 방법 및 시스템 KR102530516B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220036787A KR102530516B1 (ko) 2018-03-15 2022-03-24 자동 수어 인식 방법 및 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180030386A KR20190115509A (ko) 2018-03-15 2018-03-15 자동 수어 인식 방법 및 시스템
KR1020220036787A KR102530516B1 (ko) 2018-03-15 2022-03-24 자동 수어 인식 방법 및 시스템

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180030386A Division KR20190115509A (ko) 2018-03-15 2018-03-15 자동 수어 인식 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20220042335A KR20220042335A (ko) 2022-04-05
KR102530516B1 true KR102530516B1 (ko) 2023-05-10

Family

ID=68171575

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020180030386A KR20190115509A (ko) 2018-03-15 2018-03-15 자동 수어 인식 방법 및 시스템
KR1020220036787A KR102530516B1 (ko) 2018-03-15 2022-03-24 자동 수어 인식 방법 및 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020180030386A KR20190115509A (ko) 2018-03-15 2018-03-15 자동 수어 인식 방법 및 시스템

Country Status (1)

Country Link
KR (2) KR20190115509A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102104294B1 (ko) 2019-10-31 2020-04-24 주식회사 멀틱스 디스플레이 장치로 읽을 수 있는 저장매체에 저장된 수화 영상 챗봇 애플리케이션
KR102195401B1 (ko) * 2020-10-07 2020-12-24 (주)멀틱스 Rgb 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법
KR102550750B1 (ko) * 2020-12-30 2023-07-04 주식회사 솔트룩스 수어 인식 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160062913A (ko) * 2014-11-26 2016-06-03 경북대학교 산학협력단 립모션 기기의 수화 번역 정확도 향상을 위한 수화 번역 시스템 및 그 방법
KR101777807B1 (ko) * 2015-03-12 2017-09-12 주식회사 디지털스케치 수화 번역기, 시스템 및 방법
KR101899590B1 (ko) * 2015-10-21 2018-09-17 에스케이 텔레콤주식회사 손 모양 및 동작 인식장치 및 방법

Also Published As

Publication number Publication date
KR20220042335A (ko) 2022-04-05
KR20190115509A (ko) 2019-10-14

Similar Documents

Publication Publication Date Title
KR102530516B1 (ko) 자동 수어 인식 방법 및 시스템
KR102596897B1 (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
US11182592B2 (en) Target object recognition method and apparatus, storage medium, and electronic device
WO2019232866A1 (zh) 人眼模型训练方法、人眼识别方法、装置、设备及介质
WO2019232862A1 (zh) 嘴巴模型训练方法、嘴巴识别方法、装置、设备及介质
US10956719B2 (en) Depth image based face anti-spoofing
Valstar et al. Facial point detection using boosted regression and graph models
US9275273B2 (en) Method and system for localizing parts of an object in an image for computer vision applications
Fanelli et al. Random forests for real time 3d face analysis
KR102290392B1 (ko) 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치
US10318797B2 (en) Image processing apparatus and image processing method
US8837786B2 (en) Face recognition apparatus and method
US9633044B2 (en) Apparatus and method for recognizing image, and method for generating morphable face images from original image
US20160148080A1 (en) Method and apparatus for recognizing object, and method and apparatus for training recognizer
US10846568B2 (en) Deep learning-based automatic gesture recognition method and system
US11138464B2 (en) Image processing device, image processing method, and image processing program
KR101174048B1 (ko) 객체 인식 장치 및 객체 인식 방법
CN113449704B (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
CN112241667A (zh) 图像检测方法、装置、设备及存储介质
Kawulok Energy-based blob analysis for improving precision of skin segmentation
Barbu An automatic face detection system for RGB images
Zhang et al. Facial component-landmark detection with weakly-supervised lr-cnn
EP2998928B1 (en) Apparatus and method for extracting high watermark image from continuously photographed images
Zhang et al. A novel efficient method for abnormal face detection in ATM
Gopila et al. Machine learning classifier model for attendance management system

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant