KR20170054198A - 수화교육 시스템, 방법 및 프로그램 - Google Patents

Abstract

본 발명은 수화교육 시스템, 방법 및 프로그램에 관한 것이다.
본 발명의 일실시예에 따른 수화교육방법은, 단말기가 특정한 문항데이터를 추출하여 제공하는 단계(S100); 상기 문항데이터에 상응하는 기준수화데이터를 추출하는 단계(S200); 하나 이상의 신체움직임측정장치로부터 센싱데이터를 수신하는 단계(S300); 하나 이상의 상기 센싱데이터를 결합하여 입력수화데이터를 생성하는 단계(S400); 상기 입력수화데이터와 기준수화데이터를 비교하여 비교결과를 산출하는 단계(S500); 및 상기 비교결과를 바탕으로 상기 문항데이터에 대한 평가를 수행하는 단계(S600);를 포함한다.
본 발명에 따르면, 사용자는 실제로 수행하는 수화동작이 정확한 지 평가를 받을 수 있어서 수화 실력 향상에 도움이 될 수 있다.

Description

수화교육 시스템, 방법 및 프로그램{SYSTEM, METHOD AND PROGRAM FOR EDUCATING SIGN LANGUAGE}

본 발명은 수화교육 시스템, 방법 및 프로그램에 관한 것으로, 보다 자세하게는 신체움직임측정장치를 이용하여 문항에 따라 수행되는 사용자의 수화를 평가하여 교육하는 시스템, 방법, 및 프로그램에 관한 것이다.

시각장애인들은 청각을 통해서만 정보를 전달 받을 수 있다. 시각장애인은 TV와 같은 영상 매체에서 사람의 대사나 효과음을 통해서만 정보를 얻을 수 있다. 그 이유는 움직임 및 행동과 같은 정보는 알 수 없기 때문이다. 이러한 점을 해결하기 위해 방송국 등에서는 화면해설방송과 같은 서비스를 제공할 수 있다.

또한, 청각장애인은 시각적으로 보여지는 수화를 이용하거나 컴퓨터 상의 텍스트나 지면상의 텍스트를 통하여 의사소통을 한다. 그러나 텍스트를 통한 의사 전달은 상이한 문법 및 표현 체계의 차이로 충분히 의미를 담아내지 못하는 경우가 많다. 왜냐하면, 텍스트를 통한 의사전달은 정보 왜곡 및 손실 등의 문제가 발생하기 때문이다.

수화자와 비수화자간의 의사소통은 수화 통역사를 통하는 방식과 텍스트를 통하는 방식 등이 주를 이룬다. 그러나, 통역사를 통한 방식은 현실적으로 비용에 한계가 있다. 따라서, 청각장애인과의 의사소통 시에는 간단한 형태의 텍스트를 주된 매체로 활용하고 있다. 수화와 한국어의 문법 및 표현 체계의 차이 때문에, 수화자는 텍스트로 의미를 전달하는 경우 의미를 충분히 담아내지 못하는 경우가 많다.

수화를 사용하여야 하는 사람(예를 들어, 청각장애인 등)과의 의사소통이 필요한 사람들이 수화를 배우려고 시도한다. 그러나, 수화는 일반언어(즉, 수화가 아닌 대화 언어)의 문법체계와 많은 차이점(예를 들어, 어순의 차이점)을 가지고 있다. 따라서 사람들이 배우는데 어려움을 겪는다.

또한, 수화는 동작이 정확하지 않으면 의사소통이 제대로 이루어지지 않을 수 있으며, 동작은 정확하더라도 수화어순과 일치하지 않으면 의사소통이 되지 않을 수 있다.

따라서, 제시된 특정한 문항에 대한 사용자에 의해 수행되는 수화데이터를 획득하고, 제시된 문항에 따른 기준수화데이터와 일치여부를 판단하여, 사용자가 정확한 수화 어휘와 어순을 배울 수 있도록 하는, 수화교육 시스템, 방법 및 프로그램을 제공하고자 한다.

본 발명의 일실시예에 따른 수화교육방법은, 단말기가 특정한 문항데이터를 추출하여 제공하는 단계; 상기 문항데이터에 상응하는 기준수화데이터를 추출하는 단계; 하나 이상의 신체움직임측정장치로부터 센싱데이터를 수신하는 단계; 하나 이상의 상기 센싱데이터를 결합하여 입력수화데이터를 생성하는 단계; 상기 입력수화데이터와 기준수화데이터를 비교하여 비교결과를 산출하는 단계; 및 상기 비교결과를 바탕으로 상기 문항데이터에 대한 평가를 수행하는 단계;를 포함한다.

또한, 상기 기준수화데이터 추출단계는, 상기 단말기 내 데이터베이스에 상기 문항데이터와 매칭되어 저장된 기준수화데이터를 추출하는 것을 특징으로 할 수 있다.

또한, 상기 문항데이터가 문장에 해당하는 경우, 상기 기준수화데이터 추출단계는, 상기 문항데이터의 어순을 수화어순으로 변경하는 단계; 및 상기 문항데이터의 각 어절에 대응하는 수화데이터를 탐색하여 매칭하는 단계;를 포함할 수 있다.

또한, 상기 신체움직임측정장치가 장갑형 측정장치 및 부착형 측정센서장치를 포함하는 경우, 상기 센싱데이터 수신단계는, 상기 장갑형 측정장치로부터 손가락움직임 및 손목움직임의 센싱데이터를 수신하는 단계; 및 각각의 신체단위에 부착된 측정센서장치로부터 센싱데이터를 수신하는 단계;를 포함할 수 있다.

또한, 상기 센싱데이터수신단계는, 사용자에게 특정한 기준자세 또는 기준움직임의 수행을 요청하는 단계; 및 상기 기준자세 또는 기준움직임에 따라 각각의 신체움직임측정장치의 초기위치를 결정하는 단계;를 더 포함할 수 있다.

또한, 상기 입력수화데이터 생성단계는, 상기 초기위치를 기준으로 신체단위의 움직임을 추적하여, 왼손과 오른손의 위치관계를 산출하는 것을 특징으로 할 수 있다.

또한, 상기 신체움직임측정장치가 비전센서장치를 포함하는 경우, 상기 비전센서장치에 의해 획득되는 영상을 수신하는 단계로서, 상기 영상은 사용자의 양손을 포함하는, 영상수신단계; 및 상기 영상 내의 왼손 및 오른손의 위치관계를 인식하는 단계;를 더 포함할 수 있다.

또한, 상기 평가수행단계는, 상기 문항데이터가 단어인 경우, 상기 문항데이터에 상응하는 단어의 상기 기준수화데이터와 상기 입력수화데이터의 일치율을 산출하는 단계;를 포함할 수 있다.

또한, 상기 평가수행단계는, 상기 문항데이터가 문장인 경우, 상기 단말기가 상기 기준수화데이터의 하나 이상의 기준어절데이터와 상기 입력수화데이터의 하나 이상의 입력어절데이터를 각각 비교하여, 일치율을 산출하는 단계; 일치율이 가장 높은 상기 입력어절데이터와 상기 기준어절데이터를 매칭하는 단계; 각각의 상기 입력어절데이터에 대한 일치율을 바탕으로 어절일치결과를 산출하는 단계; 상기 입력어절데이터와 상기 기준어절데이터 사이의 거리차를 누적하여 어순일치결과를 산출하되, 상기 거리차는 특정한 상기 입력어절데이터가 일치율이 가장 높은 기준어절데이터와 동일한 문장 내 위치에 배치되기 위해 이동되는 어절 개수인, 단계; 및 상기 어절일치결과 및 상기 어순일치결과를 반영하여 평가점수를 산출하는 단계;를 포함할 수 있다.

또한, 상기 어절일치결과 및 상기 어순일치결과를 바탕으로, 사용자에 대한 피드백데이터를 생성하는 단계;를 더 포함할 수 있다.

또한, 상기 평가점수를 반영하여 다음 문항데이터의 난이도를 결정하는 단계;를 더 포함할 수 있다.

본 발명의 다른 일실시예에 따른 수화교육 프로그램은, 하드웨어인 단말기와 결합되어 상기 수화교육방법을 실행하며, 매체에 저장된다.

상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.

첫째, 사용자는 실제로 수행하는 수화동작이 정확한 지 평가를 받을 수 있어서 수화 실력 향상에 도움이 될 수 있다.

둘째, 본 발명을 통해 사용자는 단어에 대한 동작의 정확도뿐만 아니라, 특정한 문장의 수화어순의 정확도도 평가받을 수 있다. 따라서, 한국어 어순과 상이한 수화 어순을 사용자가 정확하게 익힐 수 있다.

셋째, 본 발명을 통해, 언어별로 상이한 수화의 데이터베이스만 추가하면, 사용자는 다양한 국가의 수화를 하나의 단말기를 통해 학습할 수 있는 효과가 있다.

넷째, 비전센서를 이용하거나 초기위치로부터의 신체움직임측정장치의 움직임 추적을 통해 사용자의 왼손 및 오른손의 위치관계를 획득할 수 있어서, 본 발명은 특정한 수화 수행 시 사용자의 양 손 사이의 위치관계가 정확한 지 여부를 평가할 수 있다.

다섯째, 문항데이터를 다양하게 구축하여 사용자의 상황에 꼭 필요한 수화 문항 학습을 수행하도록 할 수 있다. 또한, 다양한 컨텐츠를 결합하여 제공할 수 있어서, 사용자가 즐겁게 수화를 배우도록 할 수 있다. 또한, 수화 평가를 통해 사용자의 학습 정도에 적합한 문항을 제시하여, 사용자에게 수준별 학습을 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 수화교육시스템의 구성도이다.
도 2는 본 발명의 일실시예에 따른 수화교육방법에 대한 순서도이다.
도 3은 본 발명의 일실시예에 따라 문장인 문항데이터를 평가하는 과정을 나타낸 순서도이다.
도 4는 본 발명의 일실시예에 따라 어절의 일치율을 바탕으로 어순일치결과를 산출하는 예시도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

본 명세서에서 신체움직임측정장치는 사용자의 신체움직임을 센싱하여 유무선통신을 통해 상기 단말기로 움직임데이터를 전송하는 장치에 해당한다. 신체움직임측정장치는 웨어러블 디바이스의 형태가 될 수 있으며, 신체의 여러 위치에 부착할 수 있는 센서장치가 될 수도 있다. 이외에도 신체움직임측정장치는 사용자의 신체움직임을 측정할 수 있는 다양한 형태의 장치가 될 수도 있다. 예를 들어, 측정하고자 하는 신체움직임이 손 부위의 움직임인 경우, 신체움직임측정장치는 손에 착용하는 손착용형으로 구현될 수 있다. 또한, 예를 들어, 측정하고자 하는 신체움직임이 양 팔의 움직임인 경우, 신체움직임측정장치는 각각의 신체영역에 부착할 수 있는 센서 패치 등이 될 수 있다. 또한, 여러 신체부위의 움직임을 종합적으로 측정하는 경우, 신체움직임측정장치는 손착용형(예를 들어, 장갑형) 측정장치, 신체부착형 측정센서장치 등의 여러 측정장치를 포함할 수 있다.

이하, 도면을 참조하여 본 발명의 실시예들에 따른 수화교육 시스템, 방법 및 프로그램에 대해 설명하기로 한다.

도 1은 본 발명의 일실시예에 따른 수화교육시스템의 구성도이다.

본 발명의 일실시예에 따른 수화교육 시스템은, 단말기(100)의 내부 구성에 의해서 구현된다. 상기 단말기(100)는 이동 가능 여부에 따라 이동 단말기(100) 및 고정 단말기(100)로 나뉠 수 있는데, 상기 구성을 포함하는 모든 형태의 단말기(100)가 해당될 수 있다. 예를 들어, 상기 단말기(100)는 이동단말기(100)에 해당하는 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기(100), 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant), 스마트폰(Smart phone), 왑폰(WAP phone; Wireless Application Protocao phone), 모바일 게임기, 태블릿 PC, 넷북, 노트북(Note Book) 등이 해당될 수 있으며, 고정단말기(100)에 해당하는 데스크 탑 PC, 텔레비전 등이 해당될 수 있다.

상기 단말기(100)는 제어부(110); 통신부(130); 및 출력부(130);를 전부 또는 일부를 포함한다. 단말기(100)는 상기 기재된 구성요소에 한정되지 않고, 추가적인 구성요소를 더 포함할 수 있다.

제어부(110)(controller)는 통상적으로 단말기(100)의 전반적인 동작을 제어한다. 예를 들어 데이터통신, 디스플레이부상의 재생을 위한 영상처리, 신체움직임 평가(예를 들어, 사용자의 신체움직임에 따른 입력수화데이터 평가) 등을 위한 관련된 제어 및 처리를 수행한다. 상기 제어부(110)가 수행하는 다양한 기능들에 대해서는 후술한다.

상기 통신부(130)는 신체움직임측정장치(200)로부터 센싱데이터를 수신하는 기능을 수행한다. 또한, 상기 통신부(130)는 상기 수신한 센싱데이터를 상기 제어부(110)로 전달하는 기능을 수행한다. 또한, 상기 통신부(130)는 상기 센싱데이터를 바탕으로 산출된 평가결과에 따른 출력을 상기 신체움직임측정장치(200)로 전송할 수도 있다.

상기 통신부(130)는 상기 신체움직임측정장치(200)와 유선으로 연결되어 데이터를 수신하는 유선통신부 또는 무선통신방식을 통해 상기 신체움직임측정장치(200)로부터 상기 움직임데이터를 수신하는 무선통신부를 포함할 수 있다. 상기 무선통신부는 무선 인터넷 모듈; 또는 근거리통신모듈;을 포함할 수 있다.

무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), LTE(long term evolution), LTE-A(Long Term Evolution-Advanced) 등이 이용될 수 있다.

근거리 통신 모듈은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), BLE(Bluetooth Low Energy), 비콘(Beacon), RFID(Radio Frequency Identification), NFC(Near Field Communication), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NRF 등이 이용될 수 있다.

상기 출력부(130)는 사용자에게 제공할 정보를 출력하는 기능을 수행한다. 출력부(130)는 디스플레이부, 음향출력부 등을 포함할 수 있다.

상기 디스플레이부는 단말기(100)에서 처리되는 정보를 표시(출력)하는 기능을 수행한다. 또한, 디스플레이부는 터치센서와 결합되어 터치스크린으로 구현될 수 있다. 디스플레이부는 터치조작을 통해 사용자로부터 입력조작을 수신할 수 있다. 예를 들어, 단말기(100)는 화면 상에 표시되는 문항리스트 중에서 특정한 문항데이터에 대응하는 지점에 사용자의 터치조작을 입력받아서 평가할 문항을 선택할 수 있다.

여기에 설명되는 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

또한, 상기 단말기(100)는 메모리;를 더 포함할 수 있다. 메모리는 제어부(110)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들 또는 신체움직임 평가 수행 중에 생성되는 데이터들(예를 들어, 움직임데이터를 수신하여 저장하는 학습데이터 등)을 저장할 수도 있다. 상기 메모리는 상기 제어부(110) 내에 포함될 수도 있다.

상기 메모리는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 이동 단말기(100)는 인터넷(internet)상에서 상기 메모리의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시 예는 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 제어부(110) 자체로 구현될 수 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.

소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 애플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리에 저장되고, 상기 제어부(110)에 의해 실행될 수 있다.

도 2는 본 발명의 일실시예에 따른 수화교육방법에 대한 순서도이다.

도 2를 참조하면, 본 발명의 일실시예에 따른 수화교육방법은, 단말기(100)가 특정한 문항데이터를 추출하여 제공하는 단계(S100); 상기 문항데이터에 상응하는 기준수화데이터를 추출하는 단계(S200); 하나 이상의 신체움직임측정장치(200)로부터 센싱데이터를 수신하는 단계(S300); 하나 이상의 상기 센싱데이터를 결합하여 입력수화데이터를 생성하는 단계(S400); 상기 입력수화데이터와 기준수화데이터를 비교하여 비교결과를 산출하는 단계(S500); 및 상기 비교결과를 바탕으로 상기 문항데이터에 대한 평가를 수행하는 단계(S600);를 포함한다. 본 발명의 일 실시예에 따른 수화교육방법을 순서대로 설명한다.

단말기(100)가 특정한 문항데이터를 추출하여 제공한다(S100). 즉, 단말기(100)는 사용자로부터 수신된 문항선택요청에 따라 특정한 문항데이터를 추출한다. 예를 들어, 단말기(100)는 사용자로부터 신체움직임측정장치(200)로부터 특정한 조작(예를 들어, 신체움직임측정장치(200)가 손 착용형 장치인 경우, 화면에 특정한 문항데이터가 표시된 특정한 지점을 가리키는 손 동작 후, 손을 모으는 조작동작)을 수행하여 문항데이터를 선택할 수 있다. 또한, 디스플레이부가 터치스크린인 경우, 단말기(100)는 화면 상에 다양한 문항데이터 리스트를 표시할 수 있고, 사용자로부터 특정한 문항데이터에 대한 터치조작을 수신하여 선택할 수 있다. 그 후, 단말기(100)는 디스플레이부 또는 음향출력부를 통해 사용자에게 선택된 문항데이터를 제공할 수 있다.

단말기(100)가 상기 문항데이터에 상응하는 기준수화데이터를 추출한다(S200). 기준수화데이터는 신체움직임측정장치(200)에 의해 획득되는 사용자의 수화동작(즉, 입력수화데이터)와 비교 수행되는 데이터로, 특정한 문항데이터와 의미가 일치하는 수화표현에 해당한다. 단말기(100)는 다양한 방식으로 문항데이터에 상응하는 기준수화데이터를 추출할 수 있다. 다만, 기준수화데이터 추출방식은 이하 기재되는 방식에 한정되지 아니하고, 다양한 방식이 적용될 수 있다.

기준수화데이터 추출방식의 일실시예로, 단말기(100)는 내부의 데이터베이스에 특정한 문항데이터와 매칭되어 저장된 기준수화데이터를 추출할 수 있다. 즉, 단말기(100)는 메모리 내부에 특정한 문항데이터에 대응하는 수화동작데이터(즉, 기준수화데이터)를 저장할 수 있다. 단말기(100)는 특정한 단어 또는 간단한 표현(예를 들어, 인사 표현 등)인 문항데이터에 상응하는 수화동작표현을 저장할 수 있고, 특정한 문장인 문항데이터에 대응하는 수화동작표현을 저장할 수 있다. 문항데이터가 문장인 경우, 단말기(100)는 데이터베이스에 수화어순에 맞도록 미리 생성된 기준수화데이터를 저장할 수 있다.

또한, 국가별로 동일한 의미의 문항데이터에 대한 수화표현이 상이할 수 있으므로, 단말기(100)는 데이터베이스 내에 동일한 문항데이터에 대해 국가별 수화표현을 매칭하여 저장할 수 있다. 단말기(100)는 사용자에 의해 설정된 특정한 국가의 수화표현을 기준수화데이터로 추출하여 제시할 수 있다.

기준수화데이터 추출방식의 다른 일실시예로, 상기 문항데이터가 문장에 해당하는 경우, 단말기(100)는 선택 또는 추출된 특정한 문항데이터에 상응하는 기준수화데이터를 바로 생성할 수 있다. 즉, 상기 기준수화데이터 추출단계(S200)는, 상기 문항데이터의 어순을 수화어순으로 변경하는 단계; 및 상기 문항데이터의 각 어절에 대응하는 수화데이터를 탐색하여 매칭하는 단계;를 포함할 수 있다. 단말기(100)는 수화 어순 규칙에 관한 데이터를 포함하고 있고, 상기 어순규칙데이터를 바탕으로 추출된 문항데이터(즉, 텍스트로 된 문장)를 수화 어순으로 변환할 수 있다. 단말기(100)는 수화 어순으로 문장을 구성하는 어절을 재배치하기 위해 문장을 어절 단위로 먼저 분할한 후 재배치할 수 있다. 어절단위로 분할은 문장의 띄어쓰기를 바탕으로 수행할 수 있다. 그 후, 단말기(100)는 각 어절을 데이터베이스에서 탐색하여 대응하는 수화표현을 로드할 수 있고, 하나 이상의 수화표현을 연결하여 기준수화데이터를 생성할 수 있다.

단말기(100)가 하나 이상의 신체움직임측정장치(200)로부터 센싱데이터를 수신한다(S300). 상기 하나 이상의 신체움직임측정장치(200)는 장갑형 측정장치, 신체 부착형 측정센서장치, 비전센서장치 등이 포함될 수 있다. 장갑형 측정장치는 사용자의 양손에 착용될 수 있다. 또한, 부착형 측정센서장치는 수화에 활용되는 사용자의 신체부위인 양쪽의 아래팔(즉, 팔꿈치부터 손목까지의 부분) 또는 위팔(즉, 어깨에서 팔꿈치까지의 부분)에 부착될 수 있다. 예를 들어, 신체 부착형 측정센서장치를 위팔과 아래팔에 각각 부착하여 팔의 구부림 상태, 움직임 상태, 위치관계 등을 측정할 수 있다.

또한, 상기 신체움직임측정장치(200)가 손 착용형 측정장치 및 부착형 측정센서장치를 포함하는 경우, 상기 센싱데이터 수신단계(S300)는, 상기 손착 착용형 측정장치로부터 손가락움직임 및 손목움직임의 센싱데이터를 수신하는 단계; 및 각각의 신체단위에 부착된 부착형 측정센서장치로부터 센싱데이터를 수신하는 단계;를 포함할 수 있다. 손 착용형 측정장치는 사용자의 양손에 착용될 수 있고, 각각의 손가락의 구부림 상태 또는 움직임, 손목의 구부림 또는 움직임(예를 들어, 손목 회전에 따른 손바닥이 향하는 방향 등) 등을 측정할 수 있다. 손 착용형 측정장치는 밴딩센서 또는 IMU센서 등 포함하여, 손가락 및 손목의 상태 또는 움직임을 측정할 수 있다.

또한, 부착형 측정센서장치는 관성센서를 포함할 수 있어서, 각각의 신체단위에 각각 부착되어 움직임을 산출할 수 있다. 즉, 위팔과 아래팔에 부착된 부착형 측정센서장치는 관성센서를 통해 센싱데이터를 획득하여 단말기(100)로 전송하고, 단말기(100)는 센싱데이터를 바탕으로 위팔과 아래팔 사이의 위치관계를 산출할 수 있다. 또한,

또한, 상기 신체움직임측정장치(200)가 비전센서장치를 포함하는 경우, 비전센서장치는 단말기(100)에 의해 손과 팔의 움직임을 측정할 영상데이터를 센싱데이터로 획득할 수 있다. 또한, 손 착용형 측정장치 또는 부착형 측정센서장치가 비전센서장치에 의해 인식될 수 있는 식별표지를 포함할 수 있고, 비전센서장치는 하나 이상의 식별표지의 움직임을 측정하여 단말기(100)로 전송할 수 있다. 이를 위해, 본 발명의 일실시예는, 상기 비전센서장치에 의해 획득되는 영상을 수신하는 단계로서, 상기 영상은 사용자의 양손을 포함하는, 영상수신단계; 및 상기 영상 내의 왼손 및 오른손의 위치관계를 인식하는 단계;를 더 포함할 수 있다. 비전센서장치에 의해 획득된 센싱데이터는, 후술하는 바와 같이, 단말기(100)에 의한 사용자의 양팔 및 양손의 위치관계 산출에 이용될 수 있다.

비전센서장치는 목걸이형, 사용자의 정면에 배치되는 데크형, 단말기(100) 내부 장착형 등으로 형성될 수 있다. 비전센서장치가 목걸이형인 경우, 비전센서장치는 사용자의 몸 앞에서의 양손과 양팔의 움직임을 영상으로 획득할 수 있다. 또한, 비전센서가 데크형 또는 단말기(100) 부착 또는 포함형인 경우, 문항데이터에 대한 수화표현 입력 시(즉, 입력수화데이터 입력 시)에 사용자의 정면에 배치되어 사용자의 양손 및 양팔 움직임을 포함하는 정면 영상을 획득할 수 있다.

단말기(100)가 하나 이상의 상기 센싱데이터를 결합하여 입력수화데이터를 생성한다(S400). 즉, 단말기(100)는 하나 이상의 신체움직임측정장치(200)에 의해 획득된 센싱데이터를 결합하여 신체움직임측정장치(200)가 부착된 전체 신체부위의 움직임을 입력수화데이터로 생성할 수 있다. 예를 들어, 단말기(100)는 양팔에 부착된 부착형 측정센서장치로부터 측정된 센싱데이터를 통해 각 시점의 팔의 형태(예를 들어, 팔의 구부림 상태에 해당하는 위팔과 아래팔의 위치관계, 각 팔의 배치상태, 각 팔의 움직임형태)를 산출할 수 있다. 또한, 단말기(100)는 손 착용형 측정센서장치로부터 수신된 센싱데이터(예를 들어, 각 시점의 각 손가락 구부림 상태, 손목 구부림 상태, 손목 회전 상태 등)를 통해 각 시점의 사용자 손의 형태를 산출할 수 있다. 그 후, 단말기(100)는 각 팔의 배치상태와 각 손의 형태를 결합하여 사용자가 수행하는 전체 수화표현(즉, 입력수화데이터)를 생성할 수 있다.

또한, 단말기(100)가 비전센서장치에 의해 획득된 센싱데이터(즉, 영상데이터)를 수신하는 경우, 단말기(100)는 비전센서를 통해 획득된 센싱영상을 분석하여 양손 또는 양팔의 위치관계를 산출할 수 있다. 단말기(100)는 영상을 통해 산출된 양손 또는 양팔의 위치관계를 팔의 형태, 손의 형태와 함께 결합하여 사용자가 수행하는 전체 수화표현(즉, 입력수화데이터)를 생성할 수 있다.

또한, 후술하는 바와 같이, 단말기(100)가 사용자로부터 기준자세 또는 기준움직임 수행결과를 수신하는 경우, 단말기(100)는 기준자세 또는 기준움직임을 통해 파악된 초기위치(또는 기준위치)를 바탕으로, 사용자의 수화표현 수행 시 각 시점의 초기위치에 대한 각 측정지점(예를 들어, 신체부착형 측정센서장치가 부착된 신체지점)의 상대적 위치를 산출할 수 있다. 이를 통해, 단말기(100)는 동일한 시점의 기준위치에 대한 양손 또는 양팔의 상대적 위치를 바탕으로 양손 또는 양팔의 위치관계를 산출할 수 있고, 팔의 형태, 손의 형태와 함께 결합하여 사용자가 수행하는 전체 수화표현(즉, 입력수화데이터)를 생성할 수 있다.

단말기(100)가 입력수화데이터와 기준수화데이터를 비교하여 비교결과를 산출한다(S500). 즉, 단말기(100)는 문항데이터에 상응하는 기준수화데이터(즉, 기준이 되는 수화동작)과 생성된 입력수화데이터(즉, 사용자에 의해 수행된 수화동작)을 비교하여 결과를 산출할 수 있다. 기준수화데이터는 사전에 해당 단어에 상응하는 수화동작에 대한 기준 사용자 움직임을 측정한 1개 이상의 데이터에 해당할 수 있으며, 시간에 따른 축별 가속도센서값, 자이로센서값, 지자기센서값, 영상정보값(예를 들어, 비전센서장치를 통해 획득된 영상 내에서 특정한 신체부위의 위치, 기울기, 방향 등의 데이터 값) 등을 포함할 수 있다. 또한, 단말기는 기준수화데이터를 특정한 하나의 센싱데이터가 아닌 사용자로부터 입력수화데이터로 수신된 수화동작들을 누적하고 이에 대해 통계적 분류기법이나 supporting vector machine, decision tree, deep learning 등의 머신러닝 분류기법을 이용하여 학습을 수행하여 기준수화데이터에 상응하는 특정값 또는 특정범위를 생성할 수 있다.

기준수화데이터와 입력수화데이터를 비교하는 방식의 일실시예로, 단말기는 입력수화데이터와 기준수화데이터의 시간에 따른 변화에 대한 두 데이터 간 차이나 거리를 계산하여 비교할 수 있다. 예를 들어, 단말기는 측정센서장치를 착용한 실제 사람의 동작을 통해 기준수화데이터를 입력받을 수 있고, 각 시점에 부합하는 측정센서장치들의 센싱값을 저장할 수 있다. 그 후, 단말기는 입력수화데이터에 따른 각 측정센서장치의 센싱값을 기준수화데이터에 따른 각 측정센서장치의 센싱값과 비교하여 차이를 산출할 수 있다. 또한, 입력수화데이터와 기준수화데이터를 데이터 분석을 위한 도메인을 바꾸어서(예를 들어, 주파수 영역으로 변경하여) 차이를 산출할 수 있다. 또한, 단말기는 DTW(Dynamic Time Wapping) 알고리즘을 적용하여 기준수화데이터와 입력수화데이터를 비교할 수 있다. 다만, 기준수화데이터와 입력수화데이터를 비교하는 방식은 이에 한정되지 않고, 등의 다양한 방식을 적용할 수 있다.

상기 비교결과 산출단계(S500)의 일실시예로, 상기 문항데이터가 단어 또는 짧은 표현(예를 들어, 인사 등의 관용표현)인 경우, 단말기(100)는 상기 문항데이터에 상응하는 단어의 기준수화데이터와 입력수화데이터의 일치율을 산출할 수 있다. 즉, 문항데이터가 하나의 수화표현에 해당하여 별도의 어순표현이 일치하지 않으므로, 기준수화데이터와 입력수화데이터를 일대일로 비교하여 동작의 일치율을 산출할 수 있다.

상기 비교결과 산출단계(S500)의 다른 일실시예로, 상기 문항데이터가 문장인 경우, 상기 단말기(100)가 상기 기준수화데이터의 하나 이상의 기준어절데이터와 상기 입력수화데이터의 하나 이상의 입력어절데이터를 각각 비교하여, 일치율을 산출하는 단계;를 포함할 수 있다. 사용자는 문항데이터에 부합하는 어순과 상이한 순서로 수화동작이 입력될 수 있다. 단말기(100)가 어순이 정확도를 평가하기 위해서는 기준수화데이터의 각 어절에 대응하는 입력수화데이터 내의 어절이 어느 것인지 식별하여야 한다. 이를 위해, 단말기(100)는 기준수화데이터 및 입력수화데이터를 어절단위로 분할(즉, 하나 이상의 기준어절데이터와 하나 이상의 입력어절데이터를 생성)하고, 모든 기준어절데이터와 모든 입력어절데이터를 상호비교하여 일치율을 산출할 수 있다. 단말기(100)는 어절 간 상호 비교를 수행하여 산출된 일치율을 통해, 후술되는 평가수행단계(S600)에서, 특정한 기준어절데이터에 매칭되는 입력어절데이터를 판단할 수 있다.

입력수화데이터를 어절단위로 분할하는 방식의 일실시예로, 단말기는 사용자로부터 신체움직임측정장치에 구비되어 있거나 부착되는 전기적 스위치, 기계적 스위치 또는 압력센서에 대한 조작에 따른 신호를 수신하여 특정한 어절의 종결을 인식할 수 있다. 예를 들어, 사용자가 장갑형 측정장치의 특정위치(예를 들어, 엄지로 간편하게 조작 가능한 장갑형 측정장치의 검지 영역)에 구비된 스위치를 조작하여 어절의 종결을 단말기에 입력할 수 있다.

또한, 입력수화데이터를 어절단위로 분할하는 방식의 다른 일실시예로, 사용자가 미리 정의된 특정한 제스처를 취하면, 단말기가 이를 인식하여 어절의 종결을 인식할 수 있다. 또한, 입력수화데이터를 어절단위로 분할하는 방식의 또 다른 일실시예로, 특정 어절에 대한 동작을 수행한 후 일정 시간 이상 유지하면 단말기가 특정한 어절이 끝난 것으로 인식할 수 있다. 또한, 입력수화데이터를 어절단위로 분할하는 방식의 또 다른 일실시예로, 단말기는 특정한 어절(또는 단어)마다 일반적으로 수행되는 시간범위를 초과하면 특정한 어절이 종결되고 다음 어절이 수행되는 것으로 인식할 수 있다.

단말기(100)가 상기 비교결과를 바탕으로 상기 문항데이터에 대한 평가를 수행한다(S600). 상기 문항데이터가 단어 또는 짧은 표현(예를 들어, 인사 등의 관용표현)인 경우, 단말기(100)는 비교결과(즉, 기준어절데이터와 입력어절데이터의 일치율)에 부합하는 점수를 산출할 수 있다.

또한, 상기 문항데이터가 문장인 경우, 단말기(100)는 기준어절데이터와 입력어절데이터 간의 상호 비교수행을 통한 일치율 결과를 바탕으로, 어순 일치 정도를 평가하고, 어순 일치 시의 어절간 일치 정도를 평가할 수 있다. 즉, 평가수행단계(S600)의 일실시예는, 도 3에서와 같이, 일치율이 가장 높은 상기 입력어절데이터와 상기 기준어절데이터를 매칭하는 단계(S610); 매칭된 상기 입력어절데이터와 상기 기준어절데이터 사이의 거리차를 누적하여 어순일치결과를 산출하되, 상기 거리차는 특정한 상기 입력어절데이터가 일치율이 가장 높은 기준어절데이터(즉, 매칭된 기준어절데이터)와 동일한 문장 내 위치에 배치되기 위해 이동되는 어절 개수인, 단계(S620); 각각의 상기 입력어절데이터에 대한 일치율을 바탕으로 어절일치결과를 산출하는 단계(S630); 및 상기 어절일치결과 및 상기 어순일치결과를 반영하여 평가점수를 산출하는 단계(S640);를 포함할 수 있다.

먼저, 단말기(100)는 기준어절데이터와 입력어절데이터 간의 비교결과를 바탕으로, 일치율이 가장 높은 입력어절데이터와 기준어절데이터를 매칭할 수 있다(S610). 예를 들어, 도 4에서와 같이, 입력수화데이터에 상응하는 입력문장과 기준수화데이터에 상응하는 기준문장의 어절데이터를 상호 비교하여 일치율을 계산하고, 각 입력어절에 대해 가장 높은 일치율을 가지는 기준어절(즉, 입력어절1은 기준어절3, 입력어절2는 기준어절2, 입력어절3은 기준어절1)과 매칭될 수 있다. 그 후, 단말기(100)는 매칭된 상기 입력어절데이터와 상기 기준어절데이터 사이의 거리차를 누적하여 어순일치결과를 산출할 수 있다(S620). 상기 거리차는 특정한 상기 입력어절데이터가 일치율이 가장 높은 기준어절데이터(즉, 매칭된 기준어절데이터)와 동일한 문장 내 위치에 배치되기 위해 이동되는 어절 개수일 수 있다. 기준어절데이터와의 일치율이 가장 높은 입력어절데이터가 상기 기준어절데이터로 사용자가 입력하고자 의도한 표현일 가능성이 높으므로, 단말기(100)는 일치율이 가장 높은 기준어절데이터와 입력어절데이터의 거리차를 산출하여 어순의 오류 정도 또는 어순의 일치율을 산출할 수 있다. 예를 들어, 도 4에서와 같이, 입력어절3은 기준어절1의 자리에 배치되기 위해 두 개의 어절만큼 이동되고 입력어절1은 기준어절3의 자리에 배치되기 위해 두 개의 어절만큼 이동되어서, 총 이동횟수(시프팅 횟수)인 어순일치결과는 4에 해당할 수 있다. 그 후, 단말기(100)는 각각의 상기 입력어절데이터에 대한 일치율을 바탕으로 어절일치결과를 산출할 수 있다(S630). 즉, 단말기(100)는 상호 일치하는 것으로 판단된 입력어절데이터와 기준어절데이터의 일치율을 반영하여 어절일치결과를 산출할 수 있다. 단말기(100)는 일치율에 따른 평가기준을 포함할 수 있고, 이에 따라 어절일치결과를 산출할 수 있다. 그 후, 단말기(100)는 상기 어절일치결과 및 상기 어순일치결과를 반영하여 평가점수를 산출할 수 있다(S640).

또한, 상기 어절일치결과 및 상기 어순일치결과를 바탕으로, 사용자에 대한 피드백데이터를 생성하는 단계;를 더 포함할 수 있다. 즉, 단말기(100)는 사용자가 입력한 입력수화데이터에서 어떠한 부분이 잘못되었는지에 대한 피드백(즉, 오답해설)을 사용자에게 제공할 수 있다. 예를 들어, 입력수화데이터가 기준수화데이터와 비교하여 어순이 잘못된 경우, 단말기(100)는 사용자에게 정답어순에 대한 설명을 제공할 수 있다. 또한, 특정한 입력어절데이터와 이에 매칭된 기준어절데이터 간의 일치율이 특정값 이하인 경우, 단말기(100)는 정답에 해당하는 기준어절데이터를 화면으로 제공할 수 있고, 어떤 부분(즉, 어떠한 신체부위의 움직임)이 잘못되었는지 화면상에 표시하여 설명할 수 있다.

또한, 상기 평가점수를 반영하여 다음 문항데이터의 난이도를 결정하는 단계;를 더 포함할 수 있다. 이를 통해, 단말기(100)는 사용자의 수준에 부합하는 문항데이터를 순서대로 제공할 수 있어서, 사용자가 수화 학습을 어렵게 느껴서 흥미가 떨어지는 것을 방지할 수 있다.

또한, 단말기(100)는, 신체움직임측정장치(200)가 비전센서장치를 포함하지 않는 경우에도, 초기위치 설정방식을 통해 사용자의 양팔의 움직임 또는 양손의 위치관계를 산출할 수 있다. 즉, 부착형 측정센서장치 또는 손 착용형 측정장치의 초기위치를 설정하고, 각 장치가 부착된 초기 위치에 대한 상대적 위치를 각 시점마다 측정하여 사용자의 양팔의 움직임 또는 양손의 위치관계를 파악할 수 있다.

일실시예에서, 초기위치를 설정하기 위해, 상기 센싱데이터수신단계(S300)는, 사용자에게 특정한 기준자세 또는 기준움직임의 수행을 요청하는 단계; 및 상기 기준자세 또는 기준움직임에 따라 각각의 신체움직임측정장치(200)의 초기위치를 결정하는 단계;를 더 포함할 수 있다. 즉, 단말기(100)는 사용자로부터 특정한 기준자세 또는 기준움직임을 입력받아서 이후 수화동작을 판단하기 위한 초기위치(기준위치)를 설정할 수 있다. 예를 들어, 단말기(100)는 사용자에게 차려 자세를 요청할 수 있고, 이에 따른 사용자의 차려 자세 수행 시의 상태를 초기상태로 설정할 수 있다.

또한, 일실시예는, 각 위치의 초기위치에 대한 상대적 위치를 산출하기 위해, 상기 입력수화데이터 생성단계(S400)는, 상기 초기위치를 기준으로 신체단위의 움직임을 추적하여, 왼손과 오른손의 위치관계를 산출할 수 있다. 예를 들어, 부착형 측정센서장치가 관성센서를 포함하는 경우, 관성센서에 의해 측정되는 사용자의 움직임을 누적하여 특정 시점의 상태를 파악할 수 있다. 즉, 특정 신체부위에 부착된 측정센서장치에 의해 측정되어 누적되는 가속도 크기 및 방향, 기울기 각도 등을 바탕으로 초기위치를 기준으로 특정시점의 위치를 계산할 수 있다. 구체적으로, 단말기(100)는 초기위치를 기준으로 제1시점(초기위치 산출 후 최초로 상대적 위치를 산출하는 시점)의 상대적 위치를 제1시점에 측정된 센싱데이터를 바탕으로 계산할 수 있고, 제2시점(제1시점 다음의 상대적 위치 산출시점)의 상대적 위치를 제1시점의 상대적 위치를 기준으로 제2시점에 측정된 센싱데이터를 바탕으로 계산할 수 있다.

이상에서 전술한 본 발명의 일실시예에 따른 수화교육방법은, 하드웨어인 단말기(100)와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 단말기(100)가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 클라이언트의 프로세서(CPU)가 상기 클라이언트의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 클라이언트의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 클라이언트의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 클라이언트의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 클라이언트의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 클라이언트의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 클라이언트가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 클라이언트상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.

첫째, 사용자는 실제로 수행하는 수화동작이 정확한 지 평가를 받을 수 있어서 수화 실력 향상에 도움이 될 수 있다.

둘째, 본 발명을 통해 사용자는 단어에 대한 동작의 정확도뿐만 아니라, 특정한 문장의 수화어순의 정확도도 평가받을 수 있다. 따라서, 한국어 어순과 상이한 수화 어순을 사용자가 정확하게 익힐 수 있다.

셋째, 본 발명을 통해, 언어별로 상이한 수화의 데이터베이스만 추가하면, 사용자는 다양한 국가의 수화를 하나의 단말기를 통해 학습할 수 있는 효과가 있다.

넷째, 비전센서 또는 초기측정위치를 통해 사용자의 왼손 및 오른손의 위치관계를 획득할 수 있어서, 본 발명은 사용자의 양 손 사이의 위치관계가 정확한 지 여부를 평가할 수 있다.

다섯째, 문항데이터를 다양하게 구축하여 사용자의 상황에 꼭 필요한 수화 문항 학습을 수행하도록 할 수 있다. 또한, 다양한 컨텐츠와 결합하여 제공할 수 있어서, 사용자가 즐겁게 수화를 배우도록 할 수 있다. 또한, 수화 평가를 통해 사용자의 학습 정도에 적합한 문항을 제시하여, 사용자에게 수준별 학습을 제공할 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (12)

1. 단말기가 특정한 문항데이터를 추출하여 제공하는 단계;
   상기 문항데이터에 상응하는 기준수화데이터를 추출하는 단계;
   하나 이상의 신체움직임측정장치로부터 센싱데이터를 수신하는 단계;
   하나 이상의 상기 센싱데이터를 결합하여 입력수화데이터를 생성하는 단계;
   상기 입력수화데이터와 기준수화데이터를 비교하여 비교결과를 산출하는 단계; 및
   상기 비교결과를 바탕으로 상기 문항데이터에 대한 평가를 수행하는 단계;를 포함하는, 수화교육방법.
2. 제1항에 있어서,
   상기 기준수화데이터 추출단계는,
   상기 단말기 내 데이터베이스에 상기 문항데이터와 매칭되어 저장된 기준수화데이터를 추출하는 것을 특징으로 하는, 수화교육방법.
3. 제1항에 있어서,
   상기 문항데이터가 문장에 해당하는 경우,
   상기 기준수화데이터 추출단계는,
   상기 문항데이터의 어순을 수화어순으로 변경하는 단계; 및
   상기 문항데이터의 각 어절에 대응하는 수화데이터를 탐색하여 매칭하는 단계;를 포함하는, 수화교육방법.
4. 제1항에 있어서,
   상기 신체움직임측정장치가 장갑형 측정장치 및 부착형 측정센서장치를 포함하는 경우,
   상기 센싱데이터 수신단계는,
   상기 장갑형 측정장치로부터 손가락움직임 및 손목움직임의 센싱데이터를 수신하는 단계; 및
   각각의 신체단위에 부착된 측정센서장치로부터 센싱데이터를 수신하는 단계;를 포함하는, 수화교육방법.
5. 제4항에 있어서,
   상기 센싱데이터수신단계는,
   사용자에게 특정한 기준자세 또는 기준움직임의 수행을 요청하는 단계; 및
   상기 기준자세 또는 기준움직임에 따라 각각의 신체움직임측정장치의 초기위치를 결정하는 단계;를 더 포함하는, 수화교육방법.
6. 제5항에 있어서,
   상기 입력수화데이터 생성단계는,
   상기 초기위치를 기준으로 신체단위의 움직임을 추적하여, 왼손과 오른손의 위치관계를 산출하는 것을 특징으로 하는, 수화교육방법.
7. 제4항에 있어서,
   상기 신체움직임측정장치가 비전센서장치를 포함하는 경우,
   상기 비전센서장치에 의해 획득되는 영상을 수신하는 단계로서, 상기 영상은 사용자의 양손을 포함하는, 영상수신단계; 및
   상기 영상 내의 왼손 및 오른손의 위치관계를 인식하는 단계;를 더 포함하는, 수화교육방법.
8. 제1항에 있어서,
   상기 평가수행단계는,
   상기 문항데이터가 단어인 경우,
   상기 문항데이터에 상응하는 단어의 상기 기준수화데이터와 상기 입력수화데이터의 일치율을 산출하는 단계;를 포함하는, 수화교육방법.
9. 제1항에 있어서,
   상기 평가수행단계는,
   상기 문항데이터가 문장인 경우,
   상기 단말기가 상기 기준수화데이터의 하나 이상의 기준어절데이터와 상기 입력수화데이터의 하나 이상의 입력어절데이터를 각각 비교하여, 일치율을 산출하는 단계;
   일치율이 가장 높은 상기 입력어절데이터와 상기 기준어절데이터를 매칭하는 단계;
   상기 입력어절데이터와 상기 기준어절데이터 사이의 거리차를 누적하여 어순일치결과를 산출하되, 상기 거리차는 특정한 상기 입력어절데이터가 일치율이 가장 높은 기준어절데이터와 동일한 문장 내 위치에 배치되기 위해 이동되는 어절 개수인, 단계;
   각각의 상기 기준어절데이터에 매칭된 상기 입력어절데이터의 일치율을 바탕으로 어절일치결과를 산출하는 단계; 및
   상기 어절일치결과 및 상기 어순일치결과를 반영하여 평가점수를 산출하는 단계;를 포함하는, 수화교육방법.
10. 제9항에 있어서,
    상기 어절일치결과 및 상기 어순일치결과를 바탕으로, 사용자에 대한 피드백데이터를 생성하는 단계;를 더 포함하는, 수화교육방법.
11. 제9항에 있어서,
    상기 평가점수를 반영하여 다음 문항데이터의 난이도를 결정하는 단계;를 더 포함하는, 수화교육방법.
12. 하드웨어인 단말기와 결합되어, 제1항 내지 제11항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 수화교육 프로그램.

Images