KR101869304B1 - 컴퓨터를 이용한 수화어 인식시스템, 방법 및 인식프로그램 - Google Patents

컴퓨터를 이용한 수화어 인식시스템, 방법 및 인식프로그램 Download PDF

Info

Publication number
KR101869304B1
KR101869304B1 KR1020160162162A KR20160162162A KR101869304B1 KR 101869304 B1 KR101869304 B1 KR 101869304B1 KR 1020160162162 A KR1020160162162 A KR 1020160162162A KR 20160162162 A KR20160162162 A KR 20160162162A KR 101869304 B1 KR101869304 B1 KR 101869304B1
Authority
KR
South Korea
Prior art keywords
histogram
joint angle
computer
data
sign language
Prior art date
Application number
KR1020160162162A
Other languages
English (en)
Other versions
KR20180044171A (ko
Inventor
양동석
송호영
김현수
Original Assignee
주식회사 네오펙트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 네오펙트 filed Critical 주식회사 네오펙트
Publication of KR20180044171A publication Critical patent/KR20180044171A/ko
Application granted granted Critical
Publication of KR101869304B1 publication Critical patent/KR101869304B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G06K9/00375—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands
    • G06K2009/00395—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 컴퓨터를 이용한 수화어 인식시스템, 방법 및 인식프로그램 에 관한 것이다.
본 발명의 일실시예에 따른 컴퓨터를 이용한 수화어 인식방법은, 컴퓨터가 장갑형 측정장치로부터 손가락 움직임에 대한 제1센싱데이터를 수신하여 손가락관절 각도를 산출하는 단계(S200); 컴퓨터가 비전센싱장치로부터 제2센싱데이터를 수신하여 팔꿈치관절 각도 및 어깨관절 각도를 산출하는 단계(S400); 상기 손가락관절 각도, 상기 팔꿈치관절 각도 및 상기 어깨관절 각도를 기반으로, 복수의 각도 양자화 레벨에 대한 다각도 결합 히스토그램을 생성하는 단계(S600); 및 상기 다각도 결합 히스토그램을 제스쳐 분류모델에 적용하여 수화어를 인식하는 단계(S800);를 포함한다.

Description

컴퓨터를 이용한 수화어 인식시스템, 방법 및 인식프로그램 {SYSTEM, METHOD AND PROGRAM FOR RECOGNIZING SIGN LANGUAGE}
본 발명은 컴퓨터를 이용한 수화어 인식시스템, 방법 및 인식프로그램에 관한 것으로, 보다 자세하게는 일반인에게 수화어를 해석하기 위해 측정센서를 통해 획득된 센싱데이터를 기반으로 수화어를 인식하는 시스템, 방법 및 프로그램에 관한 것이다.
수화는 구화를 대신하여 몸짓이나 손짓으로 표현하는 의사 전달방법을 말하는 것으로서, 손이나 팔로 그리는 모양, 그 위치나 이동의 움직임을 종합하여 행하여진다. 이와 같은 수화는 각각의 언어마다 정해진 규칙에 따라 표현 방식을 가지고 있으므로, 새로운 언어를 익히는 것과 거의 동일한 노력을 들여 학습을 하여야 한다. 따라서 수화를 알지 못하는 일반인은 수화로 표현되는 의사를 이해할 수 없어 일반인과 청각 장애인 등과 간은 수화 사용자 간의 대화는 쉽지 않다.
최근에는 컴퓨터 기술의 발달로, 수화의 동작 정보를 데이터화하여 이를 텍스트 또는 음성으로 변환시키는 기술이 개발되었다(특허출원 제10-2001-0062085, 제10-2008-0085809호 참조). 이와 같은 수화의 텍스트화 또는 음성화 기술에 있어서는, 수화 동작 정보를 데이터화하는 기술이 주요하다. 종래에는, 수화 동작을 카메라로 촬영하고, 촬영된 영상을 컴퓨터로 분석하여 이를 음성 등으로 출력되도록 하는 방식을 채택하였다.
그러나 영상만을 이용하여 수화동작을 분석하는 방식은 획득한 영상의 선명도 등에 따라 분석 정확도가 크게 달라지며, 미세한 손가락의 움직임을 획득하지 못하는 문제가 있다.
본 발명은 장갑형 측정장치와 비전센싱장치를 함께 이용하여 정확하게 수화동작을 인식하는, 컴퓨터를 이용한 수화어 인식시스템, 방법 및 인식프로그램을 제공하고자 한다.
또한, 본 발명은 장갑형 측정장치와 비전센싱장치에서 획득된 센싱데이터를 기반으로 도출된 관절각도를 누적하여 다각도결합 히스토그램을 형성하고, 분류 모델을 통해 다각도결합 히스토그램에 해당하는 수화어를 산출하여, 수화어 인식 정확도를 향상시킨, 컴퓨터를 이용한 수화어 인식시스템, 방법 및 인식프로그램을 제공하고자 한다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일실시예에 따른 컴퓨터를 이용한 수화어 인식방법은, 컴퓨터가 장갑형 측정장치로부터 손가락 움직임에 대한 제1센싱데이터를 수신하여 손가락관절 각도를 산출하는 단계; 컴퓨터가 비전센싱장치로부터 제2센싱데이터를 수신하여 팔꿈치관절 각도 및 어깨관절 각도를 산출하는 단계; 상기 손가락관절 각도, 상기 팔꿈치관절 각도 및 상기 어깨관절 각도를 기반으로, 다각도 결합 히스토그램을 생성하는 단계; 및 상기 다각도 결합 히스토그램을 제스쳐 분류모델에 적용하여 수화어를 인식하는 단계;를 포함한다.
또한, 다른 일실시예로, 상기 손가락관절 각도, 상기 팔꿈치관절 각도 및 상기 어깨관절 각도는 오일러 각도로 획득되며, 상기 다각도 결합히스토그램 생성단계는, 단위시간 간격으로 획득된 각 신체부위에 대한 오일러각도의 성분을 누적하여 제1히스토그램을 생성하는 단계; 및 동일한 신체부위에 대한 각 성분별 제1히스토그램을 병합하여 제2히스토그램을 생성하는 단계;를 포함한다.
또한, 다른 일실시예로, 상기 제1히스토그램 생성단계는, 동일한 신체부위에 대한 동일한 오일러 각도 성분에 대해, 복수의 양자화 레벨을 적용하여 복수의 제1히스토그램을 생성하는 것을 특징으로 하고, 상기 제2히스토그램 생성단계는, 각 양자화레벨별로 제2히스토그램을 생성하는 것을 특징으로 하고, 상기 다각도 결합히스토그램 생성단계는, 복수의 상기 양자화레벨별 제2히스토그램을 병합하여 제3히스토그램을 생성하는 단계;를 더 포함한다.
또한, 다른 일실시예로, 컴퓨터가 제스처 분류모델을 생성하는 단계;를 더 포함한다.
또한, 다른 일실시예로, 상기 제스처 분류모델 생성단계는, 학습데이터로부터 샘플링데이터를 추출하는 단계; 상기 샘플링데이터에 대해 랜덤으로 분류기준을 설정하는 단계; 상기 분류기준에 따라 상기 샘플링데이터의 정보획득량을 산출하는 단계; 상기 분류기준설정단계 및 정보획득량산출단계를 반복 수행하여, 각 분류기준에 따른 정보획득량을 누적하는 단계; 및 상기 정보획득량이 최대인 분류기준을 의사결정트리의 노드로 생성하는 단계;를 포함하되, 상기 학습데이터는, 복수의 사용자의 수화동작을 기반으로 생성된, 복수의 히스토그램 데이터이다.
또한, 상기 제스처 분류모델 생성단계는, 상기 학습데이터에서 복수의 샘플링데이터를 추출하고, 각각의 샘플링데이터에 대해 의사결정트리를 생성하며, 상기 수화어인식단계는, 상기 제스처 분류모듈에 포함된 복수의 의사결정트리에 대해 히스토그램을 입력하여 복수의 결과데이터를 획득하는 단계; 및 상기 복수의 결과데이터를 기반으로 수화어를 결정하는 단계;를 포함한다.
또한, 다른 일실시예로, 손가락관절 각도, 어깨관절 각도 및 팔꿈치관절 각도에 가중치를 부여하는 단계;를 더 포함한다.
또한, 다른 일실시예로, 특정한 2개 이상의 측정지점 간의 거리데이터를 산출하는 단계;를 더 포함하고, 다각도 결합 히스토그램 생성단계는, 상기 거리데이터를 포함하여 히스토그램을 생성하는 것을 특징으로 한다.
본 발명의 다른 일실시예에 따른 컴퓨터를 이용한 수화어 인식프로그램은, 하드웨어인 컴퓨터와 결합되어 상기 언급된 컴퓨터를 이용한 수화어 인식방법을 실행하며, 매체에 저장된다.
상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.
첫째, 장갑형 측정장치를 통해 획득된 센싱데이터를 통해 손가락의 미세한 움직임을 측정할 수 있으며, 비전센싱장치를 통해 획득된 센싱데이터를 통해 손의 공간 상 위치를 정확히 측정할 수 있다. 이를 통해, 수화어 인식을 위해 필요한 손의 형태 및 위치를 파악할 수 있어서 정확한 수화어 인식이 가능한 효과가 있다.
둘째, 다각도결합 히스토그램이 누적된 빅데이터를 기반으로 형성된 랜덤 포레스트(Random Forest) 기반의 분류모델을 통해, 특정한 수화 제스처를 정확하게 인식해내는 효과가 있다.
도 1 및 도 2는 본 발명의 일실시예에 따른 수화어 인식방법의 순서도이다.
도 3은 본 발명의 일실시예에 따른 장갑형 측정장치와 비전센싱장치를 통해 획득되는 손가락관절 각도, 팔꿈치관절 각도 및 어깨관절 각도를 표시한 예시도면이다.
도 4는 본 발명의 일실시예에 따른 관절각도의 성분별로 생성된 제1히스토그램을 병합한 제2히스토그램을 이용하여 수화어를 인식하는, 수화어 인식방법의 순서도이다.
도 5는 본 발명의 일실시예에 따른 양자화된 제1히스토그램을 결합한 제3히스토그램을 다각도 결합 히스토그램으로 활용하는 수화어 인식방법의 순서도이다.
도 6은 본 발명의 일실시예에 따른 다각도 결합 히스토그램을 형성하는 과정을 나타내는 예시도면이다.
도 7은 본 발명의 일실시예에 따른 제스쳐 분류모델을 생성하는 과정을 더 포함하는, 수화어 인식방법의 순서도이다.
도 8은 본 발명의 일실시예에 따른 제스쳐 분류모델 생성과정의 순서도이다.
도 9은 본 발명의 일실시예에 따른 복수의 측정지점 간의 거리데이터를 히스토그램에 포함하여 수화어 인식하는 방법의 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
본 명세서에서 '장갑형 측정장치(100)'는, 사용자가 손에 착용하여 손 움직임을 측정하는 장치를 의미한다. '장갑형 측정장치(100)'는 손가락 및/또는 손목의 구부러짐, 회전 등의 움직임을 측정할 수 있는 다양한 장치를 포함한다.
본 명세서에서 '컴퓨터'는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.
도 1 및 도 2는 본 발명의 일실시예에 따른 컴퓨터를 이용한 수화어 인식방법의 순서도이다.
도 1 및 도 2를 참조하면, 본 발명의 일실시예에 따른 컴퓨터를 이용한 수화어 인식방법은, 컴퓨터가 장갑형 측정장치(100)로부터 손가락 움직임에 대한 제1센싱데이터를 수신하여 손가락관절 각도를 산출하는 단계(S200); 컴퓨터가 비전센싱장치(200)로부터 제2센싱데이터를 수신하여 팔꿈치관절 각도 및 어깨관절 각도를 산출하는 단계(S400); 상기 손가락관절 각도, 상기 팔꿈치관절 각도 및 상기 어깨관절 각도를 기반으로, 다각도 결합 히스토그램을 생성하는 단계 (S600); 및 상기 다각도 결합 히스토그램을 제스쳐 분류모델에 적용하여 수화어를 인식하는 단계(S800);를 포함한다. 이하, 각 단계에 대한 상세히 기술한다.
컴퓨터가 장갑형 측정장치(100)로부터 손가락 움직임에 대한 제1센싱데이터를 수신하여 손가락관절 각도를 산출한다(S200). 장갑형 측정장치(100)는 IMU센서와 같은 움직임 센서를 구비하여 손의 형태 또는 손의 움직임을 센싱한다.
일실시예로, 장갑형 측정장치(100)는 6개의 IMU센서를 포함하여, 5개의 IMU센서는 각 손가락의 중간마디에 배치되고, 1개의 IMU센서는 손등 부분에 배치된다. 이를 통해, 장갑형 측정장치(100)는 손바닥에 대한 각 손가락의 상대적 위치(즉, 각 손가락 관절각도)를 산출하기 위한 센싱데이터를 획득한다. 그 후, 컴퓨터는 장갑형 측정장치(100)로부터 센싱데이터를 수신하여 각 손가락의 손가락관절 각도를 산출한다. 상기 손가락관절 각도는 오일러 각도로 산출될 수 있다. 일실시예로, 컴퓨터는 왼손 및 오른손에 착용된 각각의 장갑형 측정장치(100)로부터 센싱데이터를 수신한다. 이를 통해, 컴퓨터는 양손의 각 손가락에 대한 손가락관절 각도를 산출한다.
예를 들어, 컴퓨터는, 도 3 (b)에서와 같이, 손등에 배치된 IMU센서에 의해 측정된 손등의 제1배치방향(빨간선)과 각 손가락에 배치된 IMU센서에 의해 측정된 손가락의 제2배치방향(녹색선)을 바탕으로, 제1배치방향과 제2배치방향 사이의 각도를 산출하여 각 손가락의 각도를 산출한다.
컴퓨터가 비전센싱장치(200)로부터 제2센싱데이터를 수신하여 팔꿈치관절 각도 및 어깨관절 각도를 산출한다(S400). 상기 비전센싱장치(200)는 영상을 획득하여 영상 내에서 특징점을 추출하는 장치이다. 즉, 비전센싱장치(200)는 몸통, 어깨, 팔꿈치, 손목에 해당하는 특징점을 포함하는 제2센싱데이터를 생성한다. 컴퓨터는 제2센싱데이터를 기반으로 어깨관절 각도 및 팔꿈치관절 각도를 산출한다. 도 3에서와 같이, 상기 어깨관절 각도는 몸통의 특정지점(예를 들어, 몸통의 중심점), 어깨 및 팔꿈치 연결 시 어깨에서의 각도를 의미하고, 상기 팔꿈치관절 각도는 어깨, 팔꿈치 및 손목 연결 시 팔꿈치에서의 각도를 의미한다. 컴퓨터는 팔꿈치관절 각도 및 어깨관절 각도를 양쪽에 대해 각각 획득할 수 있다. 예를 들어, 컴퓨터는, 도 3(a)에서와 같이, 전완부의 배치방향과 상완부의 배치방향을 제2센싱데이터로 획득하여, 상완부와 전완부 사이의 각도인 팔꿈치관절 각도를 산출한다.
비전센싱장치(200)에 의해 획득된 제2센싱데이터로는 세부적인 손가락 움직임을 측정하는데에 어려움이 있고, 장갑형 측정장치(100)에 의해 획득된 제1센싱데이터로는 손의 공간상 위치를 산출하는데에 어려움이 있다. 따라서, 컴퓨터는 장갑형 측정장치(100)로부터 획득되는 손가락관절 움직임에 대한 제1센싱데이터와 비전센싱장치(200)에 의해 획득되는 어깨관절 및 팔꿈치관절 움직임에 대한 제2센싱데이터를 함께 활용하여 수화동작 인식을 수행한다.
또한, 다른 일실시예로, 컴퓨터는 각 관절에 대해 획득된 각도데이터를 다양한 방식으로 표현한다. 일실시예로, 상기 손가락관절 각도, 상기 팔꿈치관절 각도 및 상기 어깨관절 각도는 오일러 각도로 획득한다.
컴퓨터가 상기 손가락관절 각도, 상기 팔꿈치관절 각도 및 상기 어깨관절 각도를 기반으로, 다각도 결합 히스토그램(Multi-angle Combined Histogram)을 생성한다(S600).
일실시예로, 상기 다각도 결합히스토그램 생성단계(S600)는, 도 4에서와 같이, 단위시간 간격으로 획득된 각 관절부위에 대한 오일러각도의 성분을 누적하여 제1히스토그램을 생성하는 단계(S610); 및 동일한 관절부위에 대한 각 성분별 제1히스토그램을 병합하여 제2히스토그램을 생성하는 단계(S620);를 포함한다. 즉, 관절각도가 오일러 각도로 표현되는 경우, 각 관절에 대해서 3개의 값을 가지게 되므로, 컴퓨터는 특정한 시간간격으로 획득된 관절각도(즉, 각 관절의 오일러 각도) 내의 각 성분을 누적하여 제1히스토그램을 생성하고(S610), 3개의 성분에 대한 제1히스토그램을 결합하여 제2히스토그램을 생성한다(S620). 컴퓨터는 각 관절부위별로 제2히스토그램을 생성한다. 즉, 컴퓨터는 양손의 각각의 손가락관절, 좌우 어깨 관절 및 좌우 팔꿈치 관절에 대해 제2히스토그램을 생성한다.
또한, 다른 일실시예로, 도 5 및 도 6에서와 같이, 상기 제1히스토그램 생성단계(S610)는, 동일한 관절부위에 대한 동일한 오일러 각도 성분에 대해, 복수의 양자화 레벨을 적용하여 복수의 제1히스토그램을 생성하는 것을 특징으로 하고, 상기 제2히스토그램 생성단계(S620)는, 각 양자화레벨별로 제2히스토그램을 생성한다. 즉, 컴퓨터는 단위시간 간격으로 획득된 손가락관절 각도, 어깨관절 각도 및 팔꿈치관절 각도의 각 성분에 대해 복수의 binsize를 적용하여, 양자화된 관절각도 성분별 제1히스토그램을 생성한다. 그 후, 컴퓨터는 동일한 관절의 성분별 양자화 제1히스토그램을 병합하여 양자화레벨별 제2히스토그램을 생성한다. 이 때, 상기 다각도 결합히스토그램 생성단계(S600)는, 복수의 상기 양자화레벨별 제2히스토그램을 병합하여 제3히스토그램을 생성하는 단계(S630);를 더 포함한다. 컴퓨터는 제1히스토그램을 병합한 제2히스토그램 및 제3히스토그램 생성 시에 동일한 병합기준을 적용한다.
컴퓨터가 상기 다각도 결합 히스토그램을 제스쳐 분류모델에 적용하여 수화어를 인식한다(S800). 즉, 컴퓨터는 제2히스토그램 또는 제3히스토그램을 수화어 인식을 위한 비교대상인 다각도결합 히스토그램으로 적용한다. 그 후, 컴퓨터는 다각도결합 히스토그램을 제스처 분류모델에 적용하여 수화어를 인식한다.
컴퓨터는 제스처 분류모델로 하나 이상의 의사결정트리를 이용한다. 복수의 의사결정트리를 이용하는 경우, 컴퓨터가 제스처 분류모듈에 포함된 복수의 의사결정트리에 대해 히스토그램(예를 들어, 제2히스토그램 또는 제3히스토그램)을 입력하여 복수의 결과데이터를 획득하고, 복수의 결과데이터를 기반으로 수화어를 결정한다. 컴퓨터는 복수의 결과데이터를 평균하거나 복수의 결과데이터 중에서 투표하여, 수화동작을 인식한다.
또한, 다른 일실시예로, 도 7에서와 같이, 컴퓨터가 제스처 분류모델을 생성하는 단계(S100);를 더 포함한다. 즉, 누적된 복수의 다각도 결합 히스토그램을 기반으로 제스쳐 분류를 위한 분류 모델을 생성한다.
또한, 제스처 분류모델 생성단계(S100)는, 일실시예로, 도 8에서와 같이, 학습데이터로부터 샘플링데이터를 추출하는 단계(S110); 상기 샘플링데이터에 대해 랜덤으로 분류기준을 설정하는 단계(S120); 상기 분류기준에 따라 상기 샘플링데이터의 정보획득량을 산출하는 단계(S130); 상기 분류기준설정단계 및 정보획득량산출단계를 반복 수행하여, 각 분류기준에 따른 정보획득량을 누적하는 단계(S140); 및 상기 정보획득량이 최대인 분류기준을 의사결정트리의 노드로 생성하는 단계(S150);를 포함한다. 상기 학습데이터는, 복수의 사용자의 수화동작을 기반으로 생성된, 복수의 히스토그램 데이터이다. 상기 샘플링데이터는 학습데이터에서 추출된 특정 개수의 데이터를 포함하는 그룹이다. 컴퓨터는 S120단계 내지 S150단계를 반복 수행하여 복수의 노드를 단계적으로 생성하여 의사결정트리를 형성한다.
컴퓨터는 임의의 값으로 추출된 복수의 분류기준에 따라 산출된 정보획득량을 비교하여 노드의 기준값으로 생성할 수 있다. 또한, 컴퓨터는 복수의 분류기준별 정보획득량 변화 추세를 기반으로 노드의 기준값을 설정한다.
또한, 제스처 분류모델 생성단계(S100)는, 다른 일실시예로, 상기 학습데이터에서 복수의 샘플링데이터를 추출하고, 각각의 샘플링데이터에 대해 의사결정트리를 생성한다. 즉, 컴퓨터는 복수의 샘플링데이터를 분석하여 렌덤 포레스트(Random Forest) 기반의 분류모델을 형성한다.
또한, 다른 일실시예로, 손가락관절 각도, 어깨관절 각도 및 팔꿈치관절 각도에 가중치를 부여하는 단계;를 더 포함한다. 컴퓨터는 수화동작 인식률을 높이기 위해 누적된 데이터의 학습을 통해 산출된 각 관절에 대한 가중치를 적용한다.
또한, 다른 일실시예로, 도 9에서와 같이, 특정한 2개 이상의 측정지점 간의 거리데이터를 산출하는 단계(S500);를 더 포함한다. 이 때, 다각도 결합 히스토그램 생성단계(S600)는, 상기 거리데이터를 포함하여 히스토그램을 생성한다. 사용자(예를 들어, 수화동작을 수행하는 농인)이 비전센싱장치(200)를 기준으로 서있는 방향 또는 자세에 따라 비전센싱을 통해 획득되는 관절각도가 달라질 수 있고, 사용자가 입력한 수화어가 다른 수화어로 잘못 인식될 수 있다. 이를 보완하기 위해, 컴퓨터는 사용자가 서있는 방향 또는 자세를 인식하여야 한다.
이상에서 전술한 본 발명의 일 실시예에 따른 컴퓨터를 이용한 수화어 인식방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (9)

  1. 컴퓨터가 장갑형 측정장치로부터 손가락 움직임에 대한 제1센싱데이터를 수신하여 손가락관절 각도를 산출하는 단계;
    컴퓨터가 비전센싱장치로부터 제2센싱데이터를 수신하여 팔꿈치관절 각도 및 어깨관절 각도를 산출하는 단계;
    상기 손가락관절 각도, 상기 팔꿈치관절 각도 및 상기 어깨관절 각도를 기반으로, 다각도 결합 히스토그램을 생성하는 단계; 및
    상기 다각도 결합 히스토그램을 제스쳐 분류모델에 적용하여 수화어를 인식하는 단계; 및
    특정한 2개 이상의 측정지점 간의 거리데이터를 산출하는 단계를 포함하고,
    상기 다각도 결합 히스토그램 생성단계는,
    상기 거리데이터를 포함하여 히스토그램을 생성하는 것을 특징으로 하는, 수화어 인식방법.
  2. 제1항에 있어서,
    상기 손가락관절 각도, 상기 팔꿈치관절 각도 및 상기 어깨관절 각도는 오일러 각도로 획득되며,
    상기 다각도 결합히스토그램 생성단계는,
    단위시간 간격으로 획득된 각 신체부위에 대한 오일러각도의 성분을 누적하여 제1히스토그램을 생성하는 단계;
    동일한 신체부위에 대한 각 성분별 제1히스토그램을 병합하여 제2히스토그램을 생성하는 단계;를 포함하는, 수화어 인식방법.
  3. 제2항에 있어서,
    상기 제1히스토그램 생성단계는,
    동일한 신체부위에 대한 동일한 오일러 각도 성분에 대해, 복수의 양자화 레벨을 적용하여 복수의 제1히스토그램을 생성하는 것을 특징으로 하고,
    상기 제2히스토그램 생성단계는,
    각 양자화레벨별로 제2히스토그램을 생성하는 것을 특징으로 하고,
    상기 다각도 결합히스토그램 생성단계는,
    복수의 상기 양자화레벨별 제2히스토그램을 병합하여 제3히스토그램을 생성하는 단계;를 더 포함하는, 수화어 인식방법.
  4. 제1항에 있어서,
    컴퓨터가 제스처 분류모델을 생성하는 단계;를 더 포함하는, 수화어 인식방법.
  5. 제4항에 있어서,
    상기 제스처 분류모델 생성단계는,
    학습데이터로부터 샘플링데이터를 추출하는 단계;
    상기 샘플링데이터에 대해 랜덤으로 분류기준을 설정하는 단계;
    상기 분류기준에 따라 상기 샘플링데이터의 정보획득량을 산출하는 단계;
    상기 분류기준설정단계 및 상기 정보획득량산출단계를 반복 수행하여, 각 분류기준에 따른 정보획득량을 누적하는 단계;
    상기 정보획득량이 최대인 분류기준을 의사결정트리의 노드로 생성하는 단계;를 포함하되,
    상기 학습데이터는, 복수의 사용자의 수화동작을 기반으로 생성된, 복수의 히스토그램 데이터인, 수화어 인식방법.
  6. 제5항에 있어서,
    상기 제스처 분류모델 생성단계는,
    상기 학습데이터에서 복수의 샘플링데이터를 추출하고, 각각의 샘플링데이터에 대해 의사결정트리를 생성하며,
    상기 수화어인식단계는,
    상기 제스처 분류모듈에 포함된 복수의 의사결정트리에 대해 히스토그램을 입력하여 복수의 결과데이터를 획득하는 단계; 및
    상기 복수의 결과데이터를 기반으로 수화어를 결정하는 단계;를 포함하는, 수화어 인식방법.
  7. 제1항에 있어서,
    손가락관절 각도, 어깨관절 각도 및 팔꿈치관절 각도에 가중치를 부여하는 단계;를 더 포함하는, 수화어 인식방법.
  8. 삭제
  9. 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제7항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 컴퓨터를 이용한 수화어 인식프로그램.
KR1020160162162A 2016-10-21 2016-11-30 컴퓨터를 이용한 수화어 인식시스템, 방법 및 인식프로그램 KR101869304B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160137283 2016-10-21
KR1020160137283 2016-10-21

Publications (2)

Publication Number Publication Date
KR20180044171A KR20180044171A (ko) 2018-05-02
KR101869304B1 true KR101869304B1 (ko) 2018-06-20

Family

ID=62183968

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160162162A KR101869304B1 (ko) 2016-10-21 2016-11-30 컴퓨터를 이용한 수화어 인식시스템, 방법 및 인식프로그램

Country Status (1)

Country Link
KR (1) KR101869304B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112363626B (zh) * 2020-11-25 2021-10-01 广东魅视科技股份有限公司 基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法
KR102529798B1 (ko) * 2021-03-08 2023-05-11 주식회사 와이즈에스엔티 수화 번역 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0792904A (ja) * 1993-09-22 1995-04-07 Hitachi Ltd 手話合成装置
JP2006005368A (ja) * 2005-07-01 2006-01-05 Renesas Technology Corp 半導体装置の製造方法
KR20100026701A (ko) * 2008-09-01 2010-03-10 한국산업기술대학교산학협력단 수화 번역기 및 그 방법
KR20150129919A (ko) * 2014-05-12 2015-11-23 국립대학법인 울산과학기술대학교 산학협력단 손가락 움직임 측정 시스템 및 측정 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3169727B2 (ja) * 1993-02-25 2001-05-28 株式会社日立製作所 手話生成装置
KR100311739B1 (ko) * 1998-11-13 2001-12-17 오길록 동영상장면변환검출방법
KR20140003265A (ko) * 2012-06-29 2014-01-09 주식회사 허그정보기술 인체관절 움직임 각도의 측정방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0792904A (ja) * 1993-09-22 1995-04-07 Hitachi Ltd 手話合成装置
JP2006005368A (ja) * 2005-07-01 2006-01-05 Renesas Technology Corp 半導体装置の製造方法
KR20100026701A (ko) * 2008-09-01 2010-03-10 한국산업기술대학교산학협력단 수화 번역기 및 그 방법
KR20150129919A (ko) * 2014-05-12 2015-11-23 국립대학법인 울산과학기술대학교 산학협력단 손가락 움직임 측정 시스템 및 측정 방법

Also Published As

Publication number Publication date
KR20180044171A (ko) 2018-05-02

Similar Documents

Publication Publication Date Title
US10817795B2 (en) Handstate reconstruction based on multiple inputs
Kumar et al. A multimodal framework for sensor based sign language recognition
Shukor et al. A new data glove approach for Malaysian sign language detection
Kılıboz et al. A hand gesture recognition technique for human–computer interaction
JP5403699B2 (ja) 手指形状推定装置、手指形状の推定方法及びプログラム
US7460687B2 (en) Watermarking scheme for digital video
Mapari et al. Real time human pose recognition using leap motion sensor
CN112148128B (zh) 一种实时手势识别方法、装置及人机交互系统
WO2015186436A1 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
KR20150127381A (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
JP6460862B2 (ja) ジェスチャ認識装置、システム及びそのプログラム
KR100862349B1 (ko) 제스처 인식 기능을 이용한 반투과 거울 기반 사용자인터페이스 시스템
Ghanem et al. A survey on sign language recognition using smartphones
Zhang et al. Fine-grained and real-time gesture recognition by using IMU sensors
CN111709268A (zh) 一种深度图像中的基于人手结构指导的人手姿态估计方法和装置
KR102363879B1 (ko) 환자의 상지 동작에 의해 도출되는 특징값을 이용한 임상평가척도 예측 방법
Mezari et al. Gesture recognition using symbolic aggregate approximation and dynamic time warping on motion data
CN107346207B (zh) 一种基于隐马尔科夫模型的动态手势切分识别方法
KR101869304B1 (ko) 컴퓨터를 이용한 수화어 인식시스템, 방법 및 인식프로그램
CN116310976A (zh) 学习习惯养成方法、装置、电子设备及存储介质
JP6225612B2 (ja) プログラム、情報処理装置、および方法
Enikeev et al. Recognition of sign language using leap motion controller data
Khartheesvar et al. Automatic Indian sign language recognition using MediaPipe holistic and LSTM network
Agarwal et al. Gestglove: A wearable device with gesture based touchless interaction
KR102337217B1 (ko) 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right