KR100419777B1

KR100419777B1 - 수화 인식 방법 및 시스템

Info

Publication number: KR100419777B1
Application number: KR10-2001-0062085A
Authority: KR
Inventors: 김정배; 박광현; 변증남
Original assignee: 한국과학기술원
Priority date: 2001-10-09
Filing date: 2001-10-09
Publication date: 2004-02-21
Also published as: KR20030030232A

Abstract

본 발명은 컴퓨터 시각을 기반한 연속적인 수화 인식 방법 및 시스템에 관한 것이다.

본 발명은 카메라로 촬영된 수화자의 수화 영상 데이터로부터 연속적인 수화를 인식하는 방법에 관한 것으로 그 인식 과정에 있어서, 상기 수화 영상 데이터를 신호 처리하고 이진화하여 연속적인 손궤적 데이터와 손자세 데이터를 얻고, 이 손궤적 데이터와 손자세 데이터를 처리하여 개별 수화 문장으로 분할하고, 이 분할한 개별 수화 문장을 다시 개별 수화로 분할한 후, 상기 분할된 개별 수화로부터 손방향, 손모양과 손운동의 개별 수화소로 분류한다. 그리고, 상기 개별 수화소를 인식하고 이들을 결합하여 연속적인 수화 문장을 해석하여, 음성으로 출력되도록 한다.

Description

수화 인식 방법 및 시스템{Method and System for recognizing continuous sign language based on computer vision}

본 발명은 농아인의 수화를 컴퓨터를 이용하여 실시간으로 인식하고, 인식한 결과를 외부에 알리는 컴퓨터 시각을 기반으로 한 연속적인 수화 인식 방법 및 시스템 에 관한 것이다.

수화는 농아인들이 모국어처럼 사용하는 의사소통 수단으로, 손 제스처(gestures)로 구성되며 언어적인 구조를 가지고 있다. 현재, 수화를 기계장비를 통해 인식하여 사람에게 알리는 수화 인식 시스템이 활발히 개발되고 있으며, 이러한 수화 인식 시스템의 개발은 첨단 기술을 사용한 장애인 복지 향상이라는 측면과 함께, 일반적인 자연 제스처를 인식하는 기술적 기반을 제공할 수 있다.

현재 개발되고 있는 수화 인식이나 손 제스처 인식은 공개특허공보 특1998-082239, 특2000-032308, 특1999-046908, 특1999-061763 등에 공지된 바와 같이, 대부분 데이터 글러브(glove)나 사이버 글러브와 같은 장갑 장치를 기반으로 하고 있다. 이들 기기는 사람의 손에 끼워져 손의 움직임을 감지하여 손의 움직임 정보를 컴퓨터에 전달하고, 컴퓨터는 입력되는 정보를 받아 처리하여 손의 움직임을 인식한다.

그러나, 상기의 종래 기술은 손의 정보를 비교적 정확하게 얻을 수 있지만, 가격이 고가이고 설치와 착용에 불편이 따르고, 수화 인식이나 손 제스처 인식은 조명에 민감하고 많은 영상 처리를 필요로 한데, 손위치 찾기, 몇 가지의 손모양인식 정도의 결과만을 보이고 있을 뿐, 자연스런 수화 인식에서 필요로 하는 연속적인 수화 문장에서 개별 수화로 분할, 지문자와 수화 단어가 혼합된 문장의 효율적인 인식, 그리고 인식된 결과의 음성 변환과 같은 부분을 다루고 있지 못하고 있다.

본 발명은 상기한 종래의 문제점을 해소하기 위해, 수화자의 손동작을 실시간으로 인식하여 연속적인 수화 데이터로부터 개별 수화로 분할하고, 분할된 개별 수화를 인식하여 음성으로 변환함으로써, 정상인과 농아인간의 의사소통이 가능하게 하는 것을 목적으로 한다.

도 1은 수화에 사용되는 손모양에 대한 기본 요소를 보인 도면이다.

도 2는 수화에 사용되는 손방향에 대한 기본 요소를 보인 도면이다.

도 3은 수화에 사용되는 손운동에 대한 기본 요소를 보인 도면이다.

도 4는 본 발명의 실시예에 따른 수화 인식 시스템에 대한 간략화한 블록도이다.

도 5는 본 발명의 실시예에 따른 수화 인식 시스템의 간략한 동작 흐름도이다.

도 6은 본 발명의 실시예에 따른 데이터 획득 상태를 보인 도면이다.

도 7은 본 발명의 실시예에 따른 전처리부의 동작 흐름도이다.

도 8은 본 발명의 실시예에 따른 손동작의 상태 구분을 위한 손동작 위상 전이도이다.

도 9는 개별 수화 문장을 개별 수화로 분할하기 위한 손의 진행 방향 변화 각을 보인 도면이다.

도 10은 은닉 마르코프 모델 기반의 도 3의 손운동 인식 네크워크 상태를 보인 도면이다.

상기한 기술적 과제를 달성하기 위해 본 발명에 따른 수화 인식 시스템은, 수화자의 수화 동작을 카메라로 촬영하여 얻어진 연속 수화 영상으로부터 손영상을 추출하고 상기 추출된 손영상으로부터 손궤적을 얻는 전처리부와;상기 전처리부에 의해 얻어진 손궤적의 속력 변화 정보와 방향 변화각 정보를 이용하여 상기 연속 수화 영상을 개별 수화 단위로 분할하는 손동작 분할부와;상기 손동작 분할부에서 분할된 개별 수화를 손운동, 손모양, 손방향 수화소 단위로 분류하는 수화소 분류부; 및상기 수화소 분류부에서 분류된 손운동, 손모양, 손방향의 개별 수화소를 결합하여 수화 단어 및 지문자를 인식하고, 수화문장을 해석하는 수화 해석부를 포함한 것을 특징으로 한다.또한, 본 발명에 따른 수화 인식 방법은, 수화자의 수화 동작을 카메라로 촬영하여 얻어진 연속 수화 영상으로부터 손영상을 추출하고 상기 추출된 손영상으로부터 손궤적을 얻는 전처리단계와;상기 전처리단계에서 얻어진 손궤적의 속력 변화 정보와 방향 변화각 정보를 이용하여 상기 연속 수화 영상을 개별 수화 단위로 분할하는 손동작 분할단계와;상기 손동작 분할단계에서 분할된 개별 수화를 손운동, 손모양, 손방향 수화소 단위로 분류하는 수화소 분류단계; 및상기 수화소 분류단계에서 분류된 손운동, 손모양, 손방향의 개별 수화소를 결합하여 수화 단어 및 지문자를 인식하고, 수화문장을 해석하는 수화 해석단계를 포함한 것을 특징으로 한다.또한, 본 발명에 따르면 컴퓨터에 상술한 바와 같은 연속적인 수화 인식 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.

카메라의 입력 영상으로부터 수화를 인식하도록 시스템 환경을 구축하고, 정규화된rgb영상 변환법과 같은 효율적인 방법을 적용하여 손 영상만을 추출하고 손영상의 특징을 추출하도록 한다. 그리고, 연속적인 수화 데이터는 수화 단어와 이들을 연결하는 준비 및 이동 동작을 포함하고 있는데, 이를 분할하기 위해서 손의 운동 경향을 고려한 스테이트 머신으로 연속적인 수화 문장을 개별 수화 문장으로 나누고, 손궤적의 진행방향을 고려하여 다시 개별수화로 분할한다. 또한, 이들 개별 수화는 한글 지문자와 수화 단어가 혼합되어 있는데, 이들을 인식하기 위해 손운동, 손모양, 손방향과 같은 수화소로 이들을 정의하고, 각 수화소는 영상 모멘트로 계산된 손의 회전각, 마스크와 템플릿 정합 방법, 그리고 은닉 마르코프 모델을 사용하여 인식한다. 인식된 수화소를 결합하여 수화 단어 및 지문자를 인식하고, 문법을 고려하여 수화문장을 해석하며, 해석된 결과를 음성으로 발생시킨다.

이하, 첨부한 도면을 참조로 본 발명의 실시예에 따른 컴퓨터 시각을 기반한 연속적인 수화 인식 방법 및 시스템을 설명한다.

수화는 손의 모양과 손의 움직임에 따라서 그 뜻이 정의되는 언어로서, 구체적으로는 손모양, 손방향, 손운동이라고 하는 수화소로 이루어져 있으며, 보통, 손모양, 손방향을 합쳐서 손자세라고 부른다.

하나의 수화소인 손모양(손가락의 모양)은 도 1에 도시된 바와 같이 수화에서 사용되어지는 19개의 기본 요소(P1, P2, P3, ..., P19)로 이루어져 있고, 다른 수화소인 손방향(손가락 및 손바닥이 향하는 방향)은 도 2에 도시된 바와 같이 4개의 기본 요소(O1, O2, O3, O4)로 이루어져 있으며, 또 다른 수화소인 손운동(손이 움직이는 방향)은 도 3에 도시된 바와 같이 18개의 기본 요소(EM1, EM2, ..., EM18)로 이루어져 있다.

따라서, 도 1 내지 도 3의 수화소들의 조합으로 수화 단어 혹은 지문자를 정의할 수가 있게 된다. 본 발명은 수화 인식 시스템 및 방법에서도 먼저 각 수화소를 인식하고 이들을 결합함으로써 수화를 인식한다.

도 4와 도 5는 수화 인식을 달성하는 본 발명의 실시예에 따른 구성 및 동작을 보여준다.

도 4는 본 발명의 실시예에 따른 수화 인식 시스템에 대한 간략화한 블록도이고, 도 5는 본 발명의 실시예에 따른 수화 인식 시스템의 동작 흐름도이다.

도 4에 도시되어 있듯이, 본 발명의 실시예에 따른 수화 인식 시스템은 영상 데이터를 받아들이는 데이터 획득부(100), 획득된 데이터에서 손궤적 데이터와 손자세 데이터를 얻는 전처리부(200), 얻어진 손궤적 데이터와 손자세 데이터를 바탕으로 개별 수화로 분할하는 손동작 분할부(300), 개별 수화에 대해서 수화소(손자세, 손운동)를 분류하는 손동작 분류부(400), 분류된 수화소에 따라서 개별 수화를 인식하고 수화 문장을 해석하는 수화 해석부(500), 및 해석된 수화 문장을 음성으로 출력하는 음성 발생부(600)로 구성된다.

따라서, 데이터 획득부(100)는 칼라 카메라를 통해 수화자를 촬영하여 수화자의 칼라 영상 데이터를 획득하고(S510), 전처리부(200)는 데이터 획득부(100)에 의해 획득된 손 영상 데이터를 추적(처리)하여(S511), 손궤적 데이터와 손자세 데이터를 얻는다(S512, S513).

그러면, 손동작 분할부(300)는 전처리부(200)에 의해 얻어진 손궤적 데이터로 개별 수화(하나의 단어를 정의하기 위한 손의 움직임) 문장으로 분할하고(S514), 다시 개별 수화로 분할한다(S515). 손동작 분류부(400)는 손동작 분할부(300)에 의해 얻어진 개별 수화와 전처리 모듈(200)에 의해 얻어진 손자세 데이터를 이용하여 수화소(손자세, 손운동)를 분류하며(S516, S517), 수화 해석부(500)는 손동작 분류부(400)에 의해 분류된 수화소를 결합하여 수화 단어를 인식하게 되며(S518), 수화 단어들을 저장된 수화 문법(530)을 고려하여(S520), 수화 문장으로 해석한 후 음성 발생부(600)로 출력한다(S519).

그러면, 음성 발생부(600)는 수화 해석부(500)에 의해 해석된 수화 문장을 음성으로 출력한다(S521).

이하에서, 각 부의 동작 및 수화 인식 과정을 보다 상세히 설명한다.

우선, 도 6을 참조로 상기 데이터 획득부(100)와 수화 획득 과정을 보다 상세히 설명한다.

도 6에 도시되어 있듯이, 데이터 획득부(100)는 영상처리 보드(board)(112), 사운드 카드(sound card)(도시하지 않음)가 포함된 메인 컴퓨터(111)와, 수화자의 영상을 촬영하는 칼라 카메라(color camera)(113)로 이루어진다.

그리고, 수화 데이터 획득시 영상 처리의 능률을 높이기 위해서, 파란색의 단순 배경(116) 앞에서 수화자가 검정색 또는 회색 옷(115)을 입고 흰장갑(114)을 낀 채 칼라 카메라(113) 앞에서 수화를 하도록 한다.

그러면, 칼라 카메라(113)를 통해 수화자의 동작이 촬영되고, 이렇게 촬영된 수화자의 영상 데이터는 칼라 카메라(113)와 전기적으로 연결된 메인 컴퓨터(111)에 입력되어 신호 처리된다.

이때, 신호 처리는 메인 컴퓨터(111)의 전처리부(200)에 의해 처리되는데, 전처리부(200)의 구체적인 동작은 도 7에 도시되어 있다.

메인 컴퓨터(111)에 입력된 수화 영상 데이터는 전처리부(200)에 의해 모니터 화면 크기, 일 예로 640×480 픽셀 크기로 처리되고(S711), 이 640×480 픽셀 크기의 칼라 영상은 빠른 영상 처리를 위해서 1/4로 영상이 축소된다(S712).

이렇게 축소된 칼라RGB영상은 정규화된rgb변환법(r=R/(R+G+B),g=G/(R+G+B),b=B/(R+G+B) )에 의해서 정규화된rgb영상으로 변환된다(S713).

그리고, 변환된rgb영상은 조명의 변화에 둔감하기에 밝은 조명이나 그림자의 영향을 덜 받고 배경과 얼굴색 등을 제거하는데 사용되는데, 이때의 제거는 적당한 문턱값에 의한 이진화로 가능하다(S714).

한편 전처리부(200)는 수화자가 흰장갑을 착용하고 있기에 영상 데이터의 명도 영상을 이진화함으로써 손영역을 얻을 수 있다(S715, S716).

그러나 이들 이진화 영상은 많은 잡음 부분을 포함하고 있으므로, 전처리부(200)는 이들에 대해 논리적 AND 연산을 취함으로써(S717), 양손 영상만을 분리한다(S718).

상기 과정(S711 ∼ S718)까지가 손영상을 추적(210)하는 과정이다.

전처리부(200)는 이렇게 추적된 손영상에 대해서 무게 중심의 궤적을 구하여 손궤적 데이터를 얻고(S719), 손의 좌표 및 모멘트를 계산하여 손자세 데이터를 얻는다(S720).

한편, 연속적인 수화 데이터는 개별적인 수화단어 뿐만 아니라 이들을 연결하는 준비동작과 이동동작으로 이루어져 있다. 준비동작과 이동동작은 의미를 가지지 않는 손동작이므로, 준비동작과 이동동작을 제거해야만 개별적인 수화로 분할할 수가 있다. 이러한 분할 작업을 수행하는 것이 손동작 분할부(300)이다.

손동작 분할부(300)는 도 5에 도시된 바와 같이, 크게 두 가지 과정을 수행하는데, 하나는 손궤적 데이터를 바탕으로 연속 수화 데이터를 개별 수화 문장으로분할하는 과정(S514)이고, 다른 하나는 분할된 개별 수화 문장을 다시 개별 수화로 분할하는 과정(S515)이다.

우선, 손동작 분할부(300)에 의해 처리되는 개별 수화 문장 분할 과정(S514)을 보면, 개별 수화 문장 분할은 손궤적의 속력과 속력 변화에 따라 이루어진다. 의미 있는 수화 문장의 경우 속력이 거의 없는 정지동작에서 시작해서, 속력이 점차 커지는 준비동작을 거쳐, 점차 속력이 커져서 아주 강한 속력을 보여주는 스트로크 동작을 지나고, 어느 정도 속력이 유지가 되는 진행 동작을 경유하여, 속력이 점차 작아지는 끝동작을 지나, 속력이 거의 없는 정지동작으로 돌아온다.

여기서, 휴지상태, 준비상태, 스트로크 및 진행상태, 반복 및 끝상태, 정지상태를 q0, q1, q2, q3, 그리고 q4로 각각 정의하고, 정지동작, 준비동작, 스트로크 동작, 진행동작, 끝동작을 각각 0, 1, 2, 3, 4로 정의하여 동작 위상 값을 부여하면, 연속적인 손궤적 데이터는 도 8과 같이 동작 위상값의 일정한 패턴을 보이게 된다.

따라서, 도 8을 이용하면, 동작 위상 값을 입력으로 하는 스테이트(state) 머신(machine)을 구성할 수가 있다.

구체적으로 보면, 의미 있는 개별 수화 문장은 휴지상태(q0)에서 시작하여, 동작 위상 입력에 따라, 준비상태(q1), 스트로크 및 진행상태(q2), 반복 및 끝상태(q3), 정지상태(q4)를 거치게 되어, 마지막 정지상태(q4)에서 하나의 개별 수화 문장으로 분할이 된다. 여기서, 마지막 정지상태(q4)에 다다르지 못한 손동작은 의미 없는 동작으로 구분되어 삭제된다.

이하, 손동작 분할부(300)에서 처리되는 개별 수화로 분할하는 과정(S515)을 설명한다. 이렇게 분할이 된 수화 문장은 여러 개의 개별 수화의 집합인데, 이들은 손궤적의 기하학적 패턴을 고려하여 분할할 수 있다.

도 9는 개별 수화 문장을 개별 수화로 분할하기 위한 손의 진행 방향 변화 각을 보인 도면이다. 여기서R(k)=(x(k),y(k))이며,x(k)과y(k)는k번째의 손중심의x, y좌표를 나타내고 있다. 방향 변화각(φ(k))은 수학식 1을 통해서 구할 수 있다.

여기서D(k) =R(k)-R(k-1)이며,은 크기를 나타내고,은cosine함수의 역함수를 나타낸다. 이러한 φ(k)가 특정 문턱값보다 크면 방향이 많이 변했기에 새로운 수화 단어가 시작되었다고 여겨지므로 이 부분에서 개별 수화 분할이 이루어진다.

이렇게 분할된 개별 수화는 손운동, 손모양, 손방향 수화소를 가지고 있다. 여기서 손모양과 손방향은 영상을 입력으로 했기에 독립적으로 구할 수가 없고, 손자세라고 하는 손모양과 손방향이 결합된 형태로 구해진다.

이들은 손동작 분류부(400)에서 분류가 된다.

이하, 손동작 분류부(400)의 동작을 상세히 설명한다.

손동작 분류부(400)는 우선 손자세 분류 동작(S517)을 수행하는데, 먼저 손좌표와 모멘트에 의해서 손의 영상 회전각을 구하는 것으로 시작된다. 이 각은 수화자의 손이 장축을x축으로 했을 때보다 얼마만큼 기울어져 있는지를 알아내는 특징이다. 상기 각은 수학식 2를 통해서 구할 수 있다.

,

여기서M ₀₀ , M ₁₀ , M ₀₁ , M _11, M ₂₀ , M _02는 I(x, y)가 영상을 나타낼 때, 영상의 모멘트를 나타내고,x _c 와y _c 는 영상의 무게중심의x좌표와y좌표를 나타낸다. 즉,,,,,,,,이다. 그리고,은tangent함수의 역함수를 나타낸다.

따라서, 손동작 분류부(400)는 이러한 영상 회전각을 통해서 도 2에 도시된 손방향을 구할 수 있으며, 이 회전각의 반대방향으로 손영상을 회전한다면 손영상은 장축이x축으로 향한 모습이 되어서 손방향에 독립적인 손모양을 구할 수가 있게 된다. 이러한 손모양을 구하기 위해 본 발명의 손동작 분류부(400)는 계산의 효율을 위해서 간단한 4가지의 특징을 사용하고 있다. 이들은 손영상을 4×4 픽셀로 정규화한 템플릿, 4×4 픽셀로 정규화한 마스크, 손의xy비율, 그리고 손가락 비율이다. 마스크는 물체와 겹치는 영역이 적은 부분을 0, 큰 부분을 1로 구성한 것이다. 손가락 비율은 손가락 부분의 누적 정사치과 손 높이의 비로서 구해진다. 이러한 특징을 통해서 현재 손모양이 도 1의 어느 손모양을 나타내고 있는지 알 수가 있다.

이하, 손동작 분류부(400)의 수화소의 다른 부분인 손운동을 분류하는 동작(S516)을 설명한다. 손운동 분류는 손운동이 시간에 따라서 좌표값이 바뀐다는 특징을 이용한다. 이러한 데이터를 잘 다루는 것이 바로 두가지의 전이확률이 결합된 통계적 방법인 은닉 마르코프 모델(Hidden Markov Model)이다. 이 모델의 입력으로 사용되는 손운동의 특징으로 현재 손의 위치에서 다음 손의 위치로 움직이는 방향을 정의하였다. 이러한 방향은 16개 방향 중에 가장 근사적인 하나로 결정이 되며, 본 발명에서 사용되는 손운동은 도 3에 도시된 바와 같이 18개이므로 전체 사용되는 좌우형(left-right type) 은닉 마르코프 모델도 18개가 된다.

도 10은 은닉 마르코프 모델 기반의 손운동 인식 네크워크 상태를 보이고 있다. 여기서 보이는 상태 S는 시작 상태를 의미하며 손운동이 시작되면 18개의 모든 모델이 함께 동작되면서 주어진 전이확률에 따라서 상태를 이동하든지 반복하든지 한다. 손운동이 모두 끝났을 때 가장 높은 확률로 마지막 상태까지 전이한 모델이 해당 손운동이라고 할 수 있다.

상기와 같은 동작을 수행하는 손동작 분류부(400)는 분류한 손운동과 손자세데이터를 수화 해석부(500)에 전달하게 되고, 수화 해석부(500)는 분류된 손운동과 손자세 데이터에 따라서 수화를 해석한다.

수화 해석부(500)는 수화를 해석하기 위해 입력되는 개별 수화가 어떤 수화 단어인지 혹은 지문자인지를 결정하는 수화 단어 인식을 수행한다. 여기서 지문자는 손운동은 없고 오로지 손자세만 있는 정적 손동작이라고 할 수 있고, 수화 단어는 손자세와 손운동이 결합된 동적인 손동작이라고 할 수 있다.

수화 해석부(500)는 인식된 개별 수화를 수화문법을 고려하여 수화문장을 해석한다. 여기서, 수화 문법은 정상인의 언어보다는 상당히 단순화된 형태이며, 조사, 어미, 접사가 존재하지 않고 다만 한 단어가 여러 개의 품사 역할을 하고 있다. 그렇기에 같은 단어라도 다른 단어와의 조합에 따라서 동사로도 명사로도 해석이 가능하다.

수화 해석부(500)는 이렇게 해석된 수화 문장에 대한 데이터를 음성 발생부(600)에 전달하고, 음성 발생부(600)는 입력되는 데이터를 정상인의 음성언어(600)로 발생하여 출력한다.

상기의 모든 과정은 자연스러운 수화를 인식하기 위해 초당 10 프레임 이상의 속도로 처리되어야 하는데, 본 발명에서는 영상 축소, 더블 버퍼링 기법, 효율적인 인식법을 사용하여 초당 15 프레임 이상의 인식 속도를 내고 있다.

이상에서 본 발명에 대한 기술사상을 첨부도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술분야의 통상의 지식을 가진 자라면 누구나 본 발명의 기술사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.

본 발명은 특수 장갑 장치에 비해 저가이면서 설치나 착용이 편리한 효과가 있으며, 인식 대상 수화의 개수가 증가하더라도 쉽게 적용 가능하며 농아인이 정상인에게 자신의 의사를 전달하는데 효율적으로 사용이 될 수 있다.

Claims

수화자의 수화 동작을 카메라로 촬영하여 얻어진 연속 수화 영상으로부터 손영상을 추출하고 상기 추출된 손영상으로부터 손궤적을 얻는 전처리부와;

상기 전처리부에 의해 얻어진 손궤적의 속력 변화 정보와 방향 변화각 정보를 이용하여 상기 연속 수화 영상을 개별 수화 단위로 분할하는 손동작 분할부와;

상기 손동작 분할부에서 분할된 개별 수화를 손운동, 손모양, 손방향 수화소 단위로 분류하는 수화소 분류부; 및

상기 수화소 분류부에서 분류된 손운동, 손모양, 손방향의 개별 수화소를 결합하여 수화 단어 및 지문자를 인식하고, 수화문장을 해석하는 수화 해석부를 포함한 것을 특징으로 하는 연속적인 수화 인식 시스템.
제 1 항에 있어서, 상기 전처리부는,

상기 연속 수화 영상의 컬러영상을 정규화하고 이진화하여 컬러이진화영상을 출력하는 컬러처리부와,

상기 연속 수화 영상의 명도영상을 이진화하여 명도이진화영상을 출력하는 명도처리부와,

상기 컬러이진화영상과 명도이진화영상을 논리곱연산하여 손영상을 추출하는 논리곱연산부와,

상기 연속 수화 영상에 대해 손영상을 추적하여 손궤적을 얻는 손궤적추출부를 포함한 것을 특징으로 하는 연속적인 수화 인식 시스템.
제 1 항에 있어서, 상기 손동작 분할부는,

상기 손궤적의 속력 및 속력 변화 정보를 이용하여 상기 연속 수화 영상을 개별 수화 문장으로 분할하는 수화 문장 분할부와,

상기 손궤적의 방향 변화각 정보를 이용하여 상기 개별 수화 문장을 개별 수화 단위로 분할하는 개별 수화 분할부를 포함한 것을 특징으로 하는 연속적인 수화 인식 시스템.
제 3 항에 있어서, 상기 수화 문장 분할부는,

상기 손궤적의 속력 및 속력 변화량에 따라 정지동작과 준비동작과 스트로크동작과 진행동작과 끝동작으로 구분하고, 상기 동작의 상태에 따라 휴지상태와 준비상태와 스트로크및진행상태와 반복및끝상태와 정지상태로 구분하고, 상기 5가지 상태와 5가지 동작으로 이루어진 스테이트 머신을 구성하는 스테이트머신 구성부와,

상기 연속 수화 영상의 손궤적에 대해 상기 스테이트 머신을 적용하여 휴지상태에서 시작해서 준비상태, 스트로크및진행상태, 반복및끝상태를 거쳐 정지상태에 다다르는 구간을 하나의 개별 수화 문장으로 분할하는 스테이트머신 적용부를 포함한 것을 특징으로 하는 연속적인 수화 인식 시스템.
제 3 항에 있어서, 상기 개별 수화 분할부는,

아래의 수학식을 통해 얻어진 상기 손궤적의 방향 변화각(φ(k))이 설정치보다 크면 새로운 수화가 시작되었다고 판단하여, 개별 수화 문장을 개별 수화 단위로 분할하는 것을 특징으로 하는 연속적인 수화 인식 시스템.

여기서,D(k) =R(k)-R(k-1),: 절대 크기를 나타내고,은cosine함수의 역함수이다.
제 1 항에 있어서, 상기 수화소 분류부는,

상기 손동작 분할부에서 분할된 개별 수화의 손 영상으로부터 손의 장축과 x축과의 기울기인 영상 회전각을 구하여 손방향을 구하는 손방향 계산부와,

상기 손 영상을 상기 손방향 계산부에서 계산된 영상 회전각만큼 반대방향으로 회전하여 손의 장축과 x축을 일치시킨 후 일정한 크기로 정규화한 템플릿과 일정한 크기로 정규화한 마스크와 손의 xy비율과 손가락 비율 등의 특징을 추출하여 손모양을 구하는 손모양 계산부와,

상기 개별 수화의 손 영상에 대해 현재 손의 위치에서 다음 손의 위치로 움직이는 방향을 부분 손운동 특징을 추출하여 은닉마르코프모델 기반의 손운동 인식 네트워크에 적용하여 손운동을 구하는 손운동 계산부를 포함한 것을 특징으로 하는 연속적인 수화 인식 시스템.
제 6 항에 있어서, 상기 손방향 계산부는,

아래의 수식에 이용하여 손의 영상 회전각을 구하는 것을 특징으로 하는 연속적인 수화 인식 시스템.

,

여기서M ₀₀ , M ₁₀ , M ₀₁ , M _11, M ₂₀ , M ₀₂ 는 영상모멘트이고,x _c 와y _c 는 영상의 무게중심의x좌표와y좌표로서,,,,,,,,, I(x,y)는 영상,은tangent함수의 역함수를 나타낸다.
제 1 항에 있어서, 상기 수화 해석부는,

상기 손운동, 손모양, 손방향을 이용하여 상기 개별 수화를 해석하여 수화단어 또는 지문자를 인식하는 단어인식부와,

상기 연속되어 해석되는 수화단어를 수화문법에 적용하여 수화문장을 해석하는 수화문장해석부를 포함한 것을 특징으로 하는 연속적인 수화 인식 시스템.
제 8 항에 있어서, 상기 수화 해석부는,

상기 수화문장해석부에서 해석된 수화문장을 음성언어로 발생하는 음성발생기를 더 포함한 것을 특징으로 하는 연속적인 수화 인식 시스템.
수화자의 수화 동작을 카메라로 촬영하여 얻어진 연속 수화 영상으로부터 손영상을 추출하고 상기 추출된 손영상으로부터 손궤적을 얻는 전처리단계와;

상기 전처리단계에서 얻어진 손궤적의 속력 변화 정보와 방향 변화각 정보를 이용하여 상기 연속 수화 영상을 개별 수화 단위로 분할하는 손동작 분할단계와;

상기 손동작 분할단계에서 분할된 개별 수화를 손운동, 손모양, 손방향 수화소 단위로 분류하는 수화소 분류단계; 및

상기 수화소 분류단계에서 분류된 손운동, 손모양, 손방향의 개별 수화소를 결합하여 수화 단어 및 지문자를 인식하고, 수화문장을 해석하는 수화 해석단계를 포함한 것을 특징으로 하는 연속적인 수화 인식 방법.
제 10 항에 있어서, 상기 전처리단계는,

상기 연속 수화 영상의 컬러영상을 정규화하고 이진화하여 컬러이진화영상을 얻는 컬러영상처리단계와,

상기 연속 수화 영상의 명도영상을 이진화하여 명도이진화영상을 얻는 명도영상처리단계와,

상기 컬러이진화영상과 명도이진화영상을 논리곱연산하여 손영상을 추출하는 논리곱연산단계와,

상기 연속 수화 영상에 대해 손영상을 추적하여 손궤적을 얻는 손궤적추출단계를 포함한 것을 특징으로 하는 연속적인 수화 인식 방법.
제 10 항에 있어서, 상기 손동작 분할단계는,

상기 손궤적의 속력 및 속력 변화 정보를 이용하여 상기 연속 수화 영상을 개별 수화 문장으로 분할하는 수화 문장 분할단계와,

상기 손궤적의 방향 변화각 정보를 이용하여 상기 개별 수화 문장을 개별 수화 단위로 분할하는 개별 수화 분할단계를 포함한 것을 특징으로 하는 연속적인 수화 인식 방법.
제 12 항에 있어서, 상기 수화 문장 분할단계는,

상기 손궤적의 속력 및 속력 변화량에 따라 정지동작과 준비동작과 스트로크동작과 진행동작과 끝동작으로 구분하고, 상기 동작의 상태에 따라 휴지상태와 준비상태와 스트로크및진행상태와 반복및끝상태와 정지상태로 구분하고, 상기 5가지 상태와 5가지 동작으로 이루어진 스테이트 머신을 구성하는 스테이트머신 구성단계와,

상기 연속 수화 영상의 손궤적에 대해 상기 스테이트 머신을 적용하여 휴지상태에서 시작해서 준비상태, 스트로크및진행상태, 반복및끝상태를 거쳐 정지상태에 다다르는 구간을 하나의 개별 수화 문장으로 분할하는 스테이트머신 적용단계를 포함한 것을 특징으로 하는 연속적인 수화 인식 방법.
제 12 항에 있어서, 상기 개별 수화 분할단계는,

아래의 수학식을 통해 얻어진 상기 손궤적의 방향 변화각(φ(k))이 설정치보다 크면 새로운 수화가 시작되었다고 판단하여, 개별 수화 문장을 개별 수화 단위로 분할하는 것을 특징으로 하는 연속적인 수화 인식 방법.

여기서,D(k) =R(k)-R(k-1),: 절대 크기를 나타내고,은cosine함수의 역함수이다.
제 10 항에 있어서, 상기 수화소 분류단계는,

상기 손동작 분할단계에서 분할된 개별 수화의 손 영상으로부터 손의 장축과 x축과의 기울기인 영상 회전각을 구하여 손방향을 구하는 손방향 계산단계와,

상기 손 영상을 상기 영상 회전각만큼 반대방향으로 회전하여 손의 장축과 x축을 일치시킨 후 일정한 크기로 정규화한 템플릿과 일정한 크기로 정규화한 마스크와 손의 xy비율과 손가락 비율 등의 특징을 추출하여 손모양을 구하는 손모양 계산단계와,

상기 개별 수화의 손 영상에 대해 현재 손의 위치에서 다음 손의 위치로 움직이는 방향을 부분 손운동 특징을 추출하여 은닉마르코프모델 기반의 손운동 인식 네트워크에 적용하여 손운동을 구하는 손운동 계산단계를 포함한 것을 특징으로 하는 연속적인 수화 인식 방법.
제 15 항에 있어서, 상기 손방향 계산단계는,

아래의 수식에 이용하여 손의 영상 회전각을 구하는 것을 특징으로 하는 연속적인 수화 인식 방법.

,

여기서M ₀₀ , M ₁₀ , M ₀₁ , M _11, M ₂₀ , M ₀₂ 는 영상모멘트이고,x _c 와y _c 는 영상의 무게중심의x좌표와y좌표로서,,,,,,,,, I(x,y)는 영상,은tangent함수의 역함수를 나타낸다.
제 10 항에 있어서, 상기 수화 해석단계는,

상기 손운동, 손모양, 손방향을 이용하여 상기 개별 수화를 해석하여 수화단어 또는 지문자를 인식하는 단어인식단계와,

상기 연속되어 해석되는 수화단어를 수화문법에 적용하여 수화문장을 해석하는 수화문장해석단계를 포함한 것을 특징으로 하는 연속적인 수화 인식 방법.
제 17 항에 있어서, 상기 수화 해석단계는,

상기 수화문장해석단계에서 해석된 수화문장을 음성언어로 발생하는 음성발생단계를 더 포함한 것을 특징으로 하는 연속적인 수화 인식 방법.
컴퓨터에,

수화자의 수화 동작을 촬영한 연속 수화 영상이 입력되면, 상기 연속 수화 영상으로부터 손영상을 추출하고 상기 추출된 손영상으로부터 손궤적을 얻는 전처리단계와;

상기 전처리단계에서 얻어진 손궤적의 속력 변화 정보와 방향 변화각 정보를 이용하여 상기 연속 수화 영상을 개별 수화 단위로 분할하는 손동작 분할단계와;

상기 손동작 분할단계에서 분할된 개별 수화를 손운동, 손모양, 손방향 수화소 단위로 분류하는 수화소 분류단계; 및

상기 수화소 분류단계에서 분류된 손운동, 손모양, 손방향의 개별 수화소를 결합하여 수화 단어 및 지문자를 인식하고, 수화문장을 해석하는 수화 해석단계를 포함한 연속적인 수화 인식 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.