KR101958201B1 - 수화인식을 통한 의사전달 장치 및 그 방법 - Google Patents

수화인식을 통한 의사전달 장치 및 그 방법 Download PDF

Info

Publication number
KR101958201B1
KR101958201B1 KR1020180018191A KR20180018191A KR101958201B1 KR 101958201 B1 KR101958201 B1 KR 101958201B1 KR 1020180018191 A KR1020180018191 A KR 1020180018191A KR 20180018191 A KR20180018191 A KR 20180018191A KR 101958201 B1 KR101958201 B1 KR 101958201B1
Authority
KR
South Korea
Prior art keywords
sign language
hydration
hand
recognition
recognized
Prior art date
Application number
KR1020180018191A
Other languages
English (en)
Inventor
강문희
류선
Original Assignee
안동과학대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 안동과학대학교 산학협력단 filed Critical 안동과학대학교 산학협력단
Priority to KR1020180018191A priority Critical patent/KR101958201B1/ko
Application granted granted Critical
Publication of KR101958201B1 publication Critical patent/KR101958201B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 수화인식을 통한 의사전달 장치 및 그 방법에 관한 것으로, 사용자의 한 손에 의한 적어도 하나 이상의 수화동작을 인식하고, 특정 임계시간을 기준으로 상기 인식한 수화동작을 조합하여 사용자의 의사를 해석함으로써, 사용자가 두 손을 사용할 수 없는 환경에서 한 손만으로도 사용자의 의사를 전달할 수 있도록 하는 수화인식을 통한 의사전달 장치 및 그 방법에 관한 것이다.

Description

수화인식을 통한 의사전달 장치 및 그 방법{APPARATUS AND METHOD FOR COMMUNICATING THROUGH SIGH LANGUAGE RECOGNITION}
본 발명은 수화인식을 통한 의사전달 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 사용자의 한 손에 의한 적어도 하나 이상의 수화동작을 인식하고, 특정 임계시간을 기준으로 상기 인식한 수화동작을 조합하여 사용자의 의사를 해석함으로써, 사용자가 두 손을 사용할 수 없는 환경에서 한 손만으로도 사용자의 의사를 전달할 수 있도록 하는 수화인식을 통한 의사전달 장치 및 그 방법에 관한 것이다.
일반적으로 청각장애는 소리를 전혀 들리지 않거나 소리를 들을 수 있는 능력이 상당해 떨어진 상태를 의미하며, 상기 청각장애를 앓고 있는 사람을 일컬어 청각장애인이라고 한다.
대부분의 청각장애인은 시각언어이면서 동작언어인 수화를 이용하여 타 청각장애인 혹은 일반인에게 자신의 의사를 전달한다.
그러나 수화는, 그 사용방법을 학습하는데 상당한 노력이 필요하기 때문에 일반인이 수화의 사용방법을 별도로 학습하여 습득하는 경우가 매우 드물다. 따라서 청각장애인은 수화를 통해 일반인들과의 의사소통을 하는 과정에서 많은 어려움에 부딪히게 된다.
이러한 문제점을 해결하기 위해서는 청각장애인들의 수화동작을 번역하여 일반인들에게 상기 번역한 수화동작을 제공함으로써, 청각장애인들과 일반인들이 수화를 통해 쉽게 의사소통을 할 수 있도록 하는 수화번역장치의 개발이 필요하다.
특히, 최근 산업발전과 정보통신 기술의 급격한 발전으로 인해 태블릿 PC나 스마트폰 등과 같은 고성능 휴대용 스마트기기가 보급됨에 따라 일반인(정상인)인 뿐만 아니라 청각장애인들도 상기 고성능 휴대용 스마트기기를 널리 사용하고 있다.
따라서 휴대용 스마트기기를 통해 청각장애인의 수화를 인식하고, 상기 인식한 수화에 대한 내용을 일반인에게 디스플레이할 수 있다면, 상기 청각장애인은 언제 어디서나 일반인에게 자신의 의사를 효과적으로 전달할 수 있을 것이다.
최근에는 모션 컨트롤러(motion controller), 웨어러블 디바이스(wearable device)를 이용한 수화번역 시스템에 대한 개발 및 연구가 활발하게 진행되고 있다.
상기 모션 컨트롤러를 이용한 수화번역 시스템은 휴대용 스마트 기기에 모션 컨트롤러를 장착하여, 상기 모션 컨트롤러를 통해 사용자의 제스처를 인식함으로써, 상기 사용자의 수화를 인식하고, 상기 인식한 수화를 텍스트 형식으로 출력하는 기술이다.
그러나 모션 컨트롤러를 이용한 수화번역 시스템은, 고가의 모션 컨트롤러를 별도로 구비해야 되며, 사용자의 양손에 대한 제스처를 인식하기 때문에 사용자가 두 손을 사용할 수 없는 환경(예: 지하철, 버스 등)에서는 상기 모션 컨트롤러를 이용한 수화번역 시스템을 활용할 수 없는 문제점이 있다.
또한 웨어러블 디바이스(wearable device)를 이용한 수화번역 시스템은 사용자의 손이나 팔목에 웨어러블 디바이스를 착용하고, 상기 착용한 웨어러블 디바이스를 통해 사용자의 제스처를 인식함으로써, 해당 사용자의 수화를 인식한다.
그러나 웨어러블 디바이스를 이용한 수화번역 시스템은, 별도의 웨어러블 디바이스를 항상 착용하고 있어야 하며, 상기 모션 컨트롤러를 이용한 수화번역 시스템과 같이 사용자의 양손에 대한 제스처를 인식하기 때문에 사용자가 두 손을 사용할 수 없는 환경(예: 지하철, 버스 등)에서는 상기 웨어러블 디바이스를 이용한 수화번역 시스템을 사용할 수 없는 단점이 있다.
이에 본 발명은 사용자의 한 손에 대한 복수의 손모양과 움직임을 인식하는 것을 통해 양손에 대한 수화의 내용을 인식할 수 있도록 함으로써, 상기 스마트 기기를 한손으로 파지하고 다른 한 손을 통해 상기 사용자의 의사를 전달할 수 있도록 하는 수화인식을 통한 의사전달 장치 및 그 방법을 제공하고자 한다.
다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.
먼저 한국공개특허 제2016-0062914호(2016.06.03.)는 립모션 기기를 이용한 수화번역 시스템 및 그 방법에 관한 것으로, 사용자의 수화동작을 번역할 때, 상기 립모션 기기를 통해 사용자의 손가락 이동성을 반영하여, 상기 수화동작에 대한 의미를 번역하는 립모션 기기를 이용한 수화번역 시스템 및 그 방법에 과한 것이다.
상기 선행기술은 노트북 PC, 스마트 폰 등과 같은 사용자 단말에 립모션 기기를 연결하여, 상기 립모션 기기의 상부에서 움직이는 사용자의 양손에 대한 움직임을 인식함으로써, 사용자의 수화동작을 인식하는 것이다. 이는 상기 종래의 기술과 같이 사용자가 양손을 사용할 수 없는 환경에 있는 경우에는 적용할 수 없는 치명적인 단점이 있다.
다시 말해, 사용자가 버스나 지하철 등에서 스마트 폰을 이용하여 일반인과 영상통화를 수행할 때 사용자는 스마트 폰을 한손으로 파지하고 나머지 한손으로 의사를 전달해야 하는 경우, 양손 수화동작을 인식하는 상기 선행기술은 그 효용성이 현저하게 떨어지는 단점이 있다.
반면에 본 발명은 사용자의 한 손에 대한 손모양과 움직임만을 인식하더라도 양손에 대한 수화의 내용을 인지할 수 있도록 함으로서, 언제 어디서나 어떠한 환경에서도 사용자의 의사를 타 사용자에게 효과적으로 전달할 수 있도록 하는 것으로 상기 선행기술은 이러한 본 발명의 기술적 특징을 기재하거나 시사하고 있지 않다.
또한 한국등록특허 제1551424호(2015.09.02.)는 수화 인식 장치에 관한 것으로, 사용자가 수화용 장갑을 착용하여, 상기 수화용 장갑을 통해 손가락의 구부림 정보 및 손의 방향에 대한 정보를 측정함으로써, 상기 사용자의 수화를 인식하는 수화 인식 장치에 관한 것이다.
상기 선행기술은 별도의 수화용 장갑을 통해 수집되는 정보를 이용하여 사용자의 수화를 인식하는 것인 반면에 본 발명은 한 손으로 수행되는 적어도 하나 이상의 수화동작을 인식하여, 상기 수화동작의 조합을 통해 한 손만으로도 사용자의 의사를 인식할 수 있도록 하는 것으로, 상기 선행기술은 이러한 본 발명의 기술적 특징에 대해서는 아무런 기재가 없어, 본 발명과 목적, 구성, 효과에 있어서 명확한 차이점이 있다.
이상에서 살펴본 바와 같이, 대부분의 선행기술들은 사용자의 양손에 대한 모션을 인식하여 수화를 번역하는 것에 그치고 있을 뿐, 본 발명과 같이 사용자의 한 손에 대한 복수의 손모양과 움직임을 인식하고, 상기 인식한 복수의 손모양과 움직임을 조합하여 사용자의 최종적인 의사를 인식함으로써, 상기 사용자가 두 손을 사용할 수 없는 환경에서도 한 손만으로도 사용자 자신의 의사를 전달할 수 있도록 하는 본 발명의 기술적 특징에 대해서는 제시된 바가 없다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작 된 것으로서, 카메라를 통해 순차적으로 입력되는 사용자의 한 손에 대한 손모양과 움직임을 인식하고, 특정 임계시간을 기준으로 상기 인식한 복수의 손모양과 움직임을 조합하여 사용자의 의사를 최종적으로 인식한 수화해석적보를 제공함으로써, 언제 어디서나 어떠한 환경에서도 사용자의 의사를 효과적으로 전달할 수 있도록 하는 수화인식을 통한 의사전달 장치 및 그 방법을 제공하는 것을 그 목적으로 한다.
또한 본 발명은 별도의 모션 인식을 위한 수단을 구비하지 않고서도 사용자의 수화를 해석할 수 있도록 하는 수화인식을 통한 의사전달 장치 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은 카메라가 탑재되는 휴대용 단말을 이용하여 사용자의 수화를 인식하고 상기 인식한 수화를 텍스트, 음향 또는 이들의 조합으로 출력함으로써, 언제 어디서나 타 사용자와의 의사소통을 간편하게 수행할 수 있도록 하는 수화인식을 통한 의사전달 장치 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은 건청인의 음성을 텍스트로 변환하여 청각장애인인 사용자에게 제공함으로써, 상기 건청인의 의사를 상기 청각장애인으로 간편하게 제공할 수 있도록 하는 수화인식을 통한 의사전달 장치 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.
본 발명의 일 실시예에 따른 수화인식을 통한 의사전달 장치는 수화인식용 디바이스로부터 수신되는 한 손에 의한 수화영상을 토대로 적어도 하나 이상의 수화동작을 인식하는 수화동작 인식부, 상기 인식한 수화동작을 해석하여 수화해석정보를 생성하는 수화동작 해석부 및 상기 생성한 수화해석정보를 상기 수화인식용 디바이스로 제공하는 수화해석정보 제공부를 포함하며, 상기 수화동작 인식부는 상기 인식한 수화동작의 조합을 통해 양손에 의한 수화동작을 인식하는 것을 더 포함하는 것을 특징으로 한다.
또한 상기 수화동작 인식부는, 수화영상의 각 프레임영상에 대한 손모양을 인식하는 손모양 인식부 및 상기 인식한 손모양에 대한 모션을 인식하는 손모션 인식부를 더 포함하며, 상기 수화동작은 상기 인식한 손모양, 손모션 또는 이들의 조합으로 인식되는 것을 특징으로 한다.
또한 상기 손모양은, 상기 각 프레임영상으로부터 손영역에 대한 경계선을 추출하고, 상기 추출한 경계선상에서 미리 설정한 각도 또는 곡률크기를 초과하는 복수개의 특징점을 추출함으로써 인식되며, 상기 손모션은, 상기 각 프레임의 차영상을 통해 상기 인식한 손모양의 이동궤적을 추적함으로써 인식되는 것을 특징으로 한다.
또한 수화동작 인식부는, 특정 수화동작을 인식한 후, 미리 설정한 임계시간을 초과하여 다음의 수화동작이 인식되는 경우, 상기 인식한 특정 수화동작과 상기 다음으로 인식되는 수화동작을 조합하여 하나의 수화동작으로 인식하는 것을 특징으로 한다.
또한 수화동작 해석부는, 상기 인식한 수화동작과 특정 수화동작 및 상기 수화동작에 대한 의미를 포함하는 수화정보 간의 유사도 계산을 통해 유사도가 가장 높은 수화정보를 추출함으로써, 상기 인식한 수화동작을 해석하며, 상기 수화해석정보는 텍스트, 음성 또는 이들의 조합을 포함하는 것을 특징으로 한다.
아울러 본 발명의 일 실시예에 따른 수화인식을 통한 의사전달 방법은 수화인식용 디바이스로부터 수신되는 한 손에 의한 수화영상을 토대로 적어도 하나 이상의 수화동작을 인식하는 수화동작 인식 단계, 상기 인식한 수화동작을 해석하여 수화해석정보를 생성하는 수화동작 해석 단계 및 상기 생성한 수화해석정보를 상기 수화인식용 디바이스로 제공하는 수화해석정보 제공 단계를 포함하며, 상기 수화동작 인식 단계는 상기 인식한 수화동작의 조합을 통해 양손에 의한 수화동작을 인식하는 것을 더 포함하는 것을 특징으로 한다.
또한 상기 수화동작 인식 단계는, 수화영상의 각 프레임영상에 대한 손모양을 인식하는 손모양 인식 단계; 및 상기 인식한 손모양에 대한 모션을 인식하는 손모션 인식 단계를 더 포함하며, 상기 수화동작은 상기 인식한 손모양, 손모션 또는 이들의 조합으로 인식되는 것을 특징으로 한다.
또한 상기 손모양은, 상기 각 프레임영상으로부터 손영역에 대한 경계선을 추출하고, 상기 추출한 경계선상에서 미리 설정한 각도 또는 곡률크기를 초과하는 복수개의 특징점을 추출함으로써 인식되며, 상기 손모션은, 상기 각 프레임의 차영상을 통해 상기 인식한 손모양의 이동궤적을 추적함으로써 인식되는 것을 특징으로 한다.
또한 수화동작 인식 단계는, 특정 수화동작을 인식한 후, 미리 설정한 임계시간을 초과하여 다음의 수화동작이 인식되는 경우, 상기 인식한 특정 수화동작과 상기 다음으로 인식되는 수화동작을 조합하여 하나의 수화동작으로 인식하는 것을 특징으로 한다.
또한 수화동작 해석 단계는, 상기 인식한 수화동작과 특정 수화동작 및 상기 수화동작에 대한 의미를 포함하는 수화정보 간의 유사도 계산을 통해 유사도가 가장 높은 수화정보를 추출함으로써, 상기 인식한 수화동작을 해석하며, 상기 수화해석정보는 텍스트, 음성 또는 이들의 조합을 포함하는 것을 특징으로 한다.
이상에서와 같이 본 발명의 수화인식을 통한 의사전달 장치 및 그 방법에 따르면 순차적으로 입력되는 사용자의 한 손에 의한 수화동작을 인식하여, 상기 인식한 수화동작의 조합을 통해 사용자의 의사를 해석함으로써, 한 손만으로도 사용자의 의사를 전달할 수 있도록 하는 효과가 있다.
또한 본 발명은 상기 인지한 사용자의 의사를 텍스트, 음성 또는 이들의 조합으로 출력하거나, 타 사용자의 음성을 텍스트로 출력함으로써, 청각장애인인 사용자와 건청인인 타 사용자 간의 의사소통을 간편하게 수행할 수 있도록 하는 효과가 있다.
또한 본 발명은 휴대용 단말을 통해 상기 사용자의 한 손에 의한 수화동작을 인식함으로써, 상기 사용자의 의사를 해석하고 상기 해석한 의사를 출력함으로써, 언제 어디서나 사용자와 타 사용자 간의 의사소통을 간단하게 수행할 수 있도록 하는 효과가 있다.
또한 본 발명은 특정 수화에 대한 아이콘을 포함하는 가상의 수화 키보드를 제공하여, 상기 수화 키보드를 터치함으로써, 자주 사용하거나, 간단한 수화에 대한 의사를 간편하게 입력할 수 있도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 수화인식을 통한 의사전달 장치 및 그 방법을 개략적으로 설명하기 위해 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 사용자의 수화를 해석하여 사용자의 의사를 전달하기 위한 과정을 설명하기 위해 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 수화인식을 통한 의사전달 장치의 구성을 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 수화인식용 디바이스의 구성을 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 수화인식을 통한 사용자의 의사를 전달하는 절차를 나타낸 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예를 상세히 설명하기로 한다. 본 발명의 명세서 또는 출원에 개시되어 있는 일 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의 되어 있지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 아니한다.
도 1은 본 발명의 일 실시예에 따른 수화인식을 통한 의사전달 장치 및 그 방법을 개략적으로 설명하기 위해 나타낸 개념도이다.
도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 수화인식을 통한 의사전달 장치(100)는 네트워크를 통해 적어도 하나 이상의 수화인식용 디바이스(200)와 연결된다.
또한 수화인식용 디바이스(200)는 청각장애인인 사용자의 의사를 해석하기 위하여 우선적으로 상기 사용자의 수화를 촬영한다.
수화인식용 디바이스(200)는 구비한 스마트 폰, 태블릿 PC 등을 포함하는 것으로 상기 사용자가 구비한 다양한 유무선 통신단말을 의미한다. 한편 상기 사용자는 청각장애인, 정상인인 건청인과 일반인을 나타내며, 이하에서는 상기 사용자를 청각장애인으로 정의하여 설명하며, 정상인, 건청인 또는 일반인의 경우 필요한 경우 별도로 언급하여 본 발명을 상세하게 설명하도록 한다.
사용자는 자신이 구비한 유무선 통신단말을 통해 수화인식을 통한 의사전달 장치(100)로 접속하여, 상기 수화인식을 통한 의사전달 장치(100)에서 배포하는 수화인식용 의사전달 애플리케이션이나 프로그램을 다운로드 받아 설치할 수 있다. 이때, 상기 설치한 수화인식 의사전달 애플리케이션 혹은 프로그램을 실행 및 구동함으로써, 상기 유무선 통신단말은 수화인식용 디바이스(200)가 된다.
또한 수화인식용 디바이스(200)는 일반인(예: 건청인)이 구비한 제2 사용자 단말(400)을 통해 사용자와 상기 일반인과 의사소통을 수행하는 경우(예: 영상통화) 또는 오프라인으로 일반인에게 해당 사용자의 의사를 전달해야 되는 경우, 해당 사용자가 한 손으로 수행하는 수화동작을 촬영한 수화영상을 수화인식을 통한 의사전달 장치(100)로 실시간으로 전송한다.
또한 수화인식을 통한 의사전달 장치(100)는 상기 수화인식용 디바이스(200)로부터 수신되는 수화영상으로부터 해당 사용자의 특정 손에 대한 손모양, 상기 손모양의 움직임(모션) 또는 이들의 조합을 포함하는 해당 사용자의 한 손에 의한 수화동작을 인식한다.
다음으로 수화인식을 통한 의사전달 장치(100)는 상기 수화정보 데이터베이스(300)에 저장된 수화정보를 로딩하여, 상기 로딩한 수화정보와 상기 인식한 수화동작과의 유사도 계산을 통해 유사도가 제일 높은 수화정보를 추출한다.
한편 상기 수화정보 데이터베이스(300)는 특정 손(오른손, 왼손)에 해당하는 손모양에 대한 특징점, 상기 손모양에 대한 모션 또는 이들의 조합에 대한 수화동작 및 상기 수화동작에 대한 의미를 포함하는 수화정보를 저장하고 있으며, 수화인식을 통한 의사전달 장치(100)는 상기 수화정보를 토대로 상기 인식한 수화동작에 대한 수화동작에 대한 의미를 참조함으로서, 상기 사용자의 의사를 해석한다.
즉, 수화인식을 통한 의사전달 장치(100)는 상기 수화정보와 상기 인식한 수화동작과의 유사도를 계산함으로써, 해당 수화동작에 대한 수화의 의미를 추출한다. 이를 통해 상기 수화인식을 통한 의사전달 장치(100)는 상기 인식한 수화동작에 대한 수화해석정보를 생성하여 상기 수화인식용 디바이스(200)로 제공한다. 수화번역정보는 텍스트, 음성 또는 이들의 조합을 포함한다.
또한 상기 유사도 계산은 유클리드 거리(euclidean distance)등과 같은 유사도 측정을 위한 다양한 방법을 통해 수행될 수 있다.
한편 수화인식을 통한 의사전달 장치(100)는 상기 수화영상을 통해 제1 수화동작을 인식하고, 다음으로 인식되는 제2 수화동작이 미리 설정한 임계시간 이후에 인식되는 경우, 상기 인식한 제1 수화동작과 상기 제2 수화동작을 조합하여, 상기 조합한 수화동작을 하나의 수화동작으로 인식하고, 해당 사용자의 수화동작에 대한 의사를 해석한다.
예를 들어, 사용자가 오른손으로 수화인식용 디바이스(200)를 파지하고, 왼손을 주먹을 쥐고 일정 시간 이후에 다시 왼손의 손바닥을 아래로 향한 상태에서 상기 왼손을 오른쪽으로 돌리는 수화영상이 입력되는 경우, 상기 수화인식을 통한 의사전달 장치(100)는 우선 상기 주먹에 대한 손모양을 포함하는 제1 수화동작을 인식한다.
다음으로 상기 수화인식을 통한 의사전달 장치(100)는 손바닥을 아래로 향한 상태의 손모양 및 오른쪽으로 회전하는 손모션을 포함하는 제2 수화동작을 인식한다.
다음으로 수화인식을 통한 의사전달 장치(100)는 상기 제2 수화동작이 미리 설장한 임계시간을 초과하여 인식되는 경우, 상기 인식한 제1 수화동작 및 제2 수화동작을 조합하여 하나의 수화동작으로 인식하며, 상기 유사도 측정을 통해 상기 인식한 사용자의 수화동작을 해석한 수화해석정보를 생성하여 상기 수화인식용 디바이스(200)로 제공한다.
상기에서 설명한 것과 같이, 수화인식을 통한 의사전달 장치(100)는 사용자의 한 손에 대한 적어도 하나 이상의 손모양, 상기 손모양에 대한 손모션 또는 이들의 조합을 포함하는 사용자의 수화동작을 인식하고, 상기 인식한 수화동작의 조합을 통해 한 손만으로도 사용자의 수화를 해석할 수 있다. 즉, 수화인식을 통한 의사전달 장치(100)는 두 손을 사용할 수 없는 환경에서도 사용자의 수화를 해석하여, 해당 수화에 대한 사용자의 의사를 정확하게 타 사용자로 전달할 수 있도록 한다.
한편 수화인식용 디바이스(200)는 특정 수화가 아이콘으로 표현된 가상의 키보드를 디스플레이할 수 있으며, 상기 사용자는 상기 아이콘을 터치함으로써, 간편하게 특정 수화에 대한 텍스트, 음성 또는 이들의 조합을 출력할 수 있다.
예를 들어, 상기 수화인식용 디바이스(200)는 청각장애인이 자주 사용하는 하는 특정 수화의 이미지에 대한 아이콘을 포함하는 가상의 키보드를 사용자 인터페이스로 제공할 수 있으며, 상기 사용자는 상기 아이콘을 터치하는 행동을 통해 자신의 의사를 간편하게 전달할 수 있다.
도 2는 본 발명의 일 실시예에 따른 사용자의 수화를 해석하여 사용자의 의사를 전달하기 위한 과정을 설명하기 위해 나타낸 도면이다.
도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 사용자의 수화를 해석하여 사용자의 의사를 전달하기 위한 과정은 우선, 사용자는 자신의 의사를 수화로 전달하기 위해 수화인식용 디바이스(200)에 설치되는 수화인식 의사전달 애플리케이션을 실행하여, 상기 사용자가 수행하는 수화에 대한 수화영상을 촬영할 수 있도록 한다.
상기 수화인식용 디바이스(200)는 사용자의 선택에 따라 상기 수화영상을 촬영하거나, 또는 타 사용자와의 영상통화를 수행하는 경우 자동으로 상기 사용자의 수화영상을 촬영할 수 있다.
예를 들어, 특정 장소(예: 가게, 관공서 등)에서 오프라인으로 타 사용자에게 자신의 의사를 전달하고자 하는 경우, 상기 사용자는 수화인식 의사전달 애플리케이션을 실행시켜 사용자 본인의 의사를 수화인식용 디바이스(200)를 통해 전달하거나, 또는 타 사용자가 구비한 사용자 단말(400)과 영상통화를 수행하는 경우 자동으로 상기 사용자의 수화를 촬영함으로써, 해당 사용자의 의사를 상기 타 사용자의 사용자 단말(400)로 제공할 수 있도록 한다.
다음으로 상기 수화인식용 디바이스(200)는 사용자의 한 손에 의한 수화를 촬영한 수화영상을 네트워크를 통해 수화인식을 통한 의사전달 장치(100)로 전송한다.
다음으로 수화인식을 통한 의사전달 장치(100)는 상기 수화영상을 구성하는 프레임영상별로 사용자의 손모양을 인식하고, 상기 인식한 손모양의 모션을 인식함으로써, 해당 사용자의 수화동작을 인식한다.
한편 상기 손모양은, 상기 프레임영상으로부터 손에 대한 외곽선을 추출하고 상기 추출한 외곽선으로부터 복수의 특징점을 추출하여, 상기 추출한 특징점과 상기 수화정보 데이터베이스(300)에 저장된 수화정보와의 유사도 측정을 통해 해당 사용자의 손모양을 인식한다.
또한 상기 손모양의 모션을 인식하는 것은, 상기 각 프레임영상의 차영상을 통해, 상기 인식한 손모양의 이동궤적을 추적함으로서 인식된다. 한편 상기 인식한 손모양, 상기 인식한 손모양에 대한 손모션 또는 이들의 조합은 상기 사용자의 수화를 해석하기 위한 하나의 수화동작으로 인식된다. 한편 상기 수화동작을 인식하는 방법은 도 3을 참조하여 상세히 설명하도록 한다.
다음으로 수화인식을 통한 의사전달 장치(100)는 상기 인식한 수화동작(제1 수화동작)다음으로 입력되는 손모양, 해당 손모양의 손모션 또는 이들의 조합을 포함하는 수화동작(제2 수화동작)을 인식한다. 이후, 상기 제2 수화동작이 미리 설정한 임계시간 이후에 인식된 경우에는 상기 수화인식을 통한 의사전달 장치(100)는 상기 제1 수화동작 및 제2 수화동작을 조합하여, 상기 조합한 수화동작을 하나의 수화동작으로 간주한다.
즉, 제1 수화동작이 인식된 이후, 미리 설정한 시간 이후에 상기 제2 수화동작이 인식되는 경우, 수화인식을 통한 의사전달 장치(100)는 상기 제1 수화동작 및 제2 수화동작을 조합하여 하나의 수화동작으로 간주하며, 이에 대한 수화해석정보를 생성하게 되는 것이다.
따라서 수화인식을 통한 의사전달 장치(100)는 상기 제1 수화동작 및 제2 수화동작을 조합한 수화동작을 생성하고, 상기 생성한 수화동작과 수화정보와의 유사도 측정을 통해 해당 수화동작에 대한 수화해석정보를 생성한다.
다음으로 수화인식을 통한 의사전달 장치(100)는 상기 생성한 수화해석정보를 사용자의 수화영상을 제공한 수화인식용 디바이스(200)로 제공하며, 상기 수화인식용 디바이스(200)는 상기 수신한 수화해석정보를 해당 수화인식용 디바이스(200)에 구비한 디스플레이에 출력하거나, 영상통화를 수행하는 타 사용자의 사용자 단말(400)로 제공한다. 이때, 상기 수화번역정보는 텍스트, 음성 또는 이들의 조합을 포함한다.
도 3은 본 발명의 일 실시예에 따른 수화인식을 통한 의사전달 장치의 구성을 나타낸 블록도이다.
도 3에 도시한 바와 같이 본 발명의 일 실시예에 따른 수화인식을 통한 의사전달 장치(100)는, 수화인식용 디바이스(200)로부터 수화영상을 수신하는 수화영상 수신부(110), 상기 수화인식용 디바이스(200)로 수화해석정보를 제공하는 수화해석정보 제공부(120), 상기 수신한 수화영상을 토대로 사용자의 수화동작을 인식하는 수화동작 인식부(130), 상기 인식한 수화동작을 해석하는 수화동작 해석부(140) 및 상기 수화인식을 통한 의사전달 장치(100)의 각 구성부분을 전반적으로 제어하기 위한 제어부(150)를 포함하여 구성된다.
수화인식용 디바이스(200)는 사용자가 수행하는 수화동작을 번역하여 타 사용자에게 전달할 수 있도록 상기 사용자가 수행하는 수화동작을 촬영한 수화영상을 실시간으로 상기 수화인식을 통한 의사전달 장치(100)로 전송하며, 상기 수화영상 수신부(110)는 상기 수화인식용 디바이스(200)로부터 수신되는 수화영상을 수신하는 기능을 수행한다. 즉, 상기 수화영상 수신부(110)는 적어도 하나 이상의 수화인식용 디바이스(200)로부터 사용자의 수화동작을 촬영한 수화영상을 실시간으로 수신한다.
한편 수화영상은 수화인식용 디바이스(200)에 구비되는 디지털 카메라를 통해 촬영되는 것이 바람직하지만 적외선 카메라 등과 같이 다양한 종류의 카메라, 또는 립모션(leaf motion)센서를 통해 촬영될 수도 있다. 즉 본 발명에 있어서, 상기 수화영상을 촬영하는 카메라의 종류에 대해서는 제한을 두지 않는다.
수화동작 인식부(130)는 상기 수신된 수화영상으로부터 손모양을 인식하는 손모양 인식부(131) 및 상기 인식한 손모양에 대한 손모션을 인식하는 손모션 인식부(132)를 포함하여 구성된다.
또한 수화동작 인식부(131)는 상기 수신한 수화영상의 프레임영상별로 상기 손모양을 인식하며, 상기 각 프레임영상에 따라 상기 인식한 손모양의 움직임(즉, 모션)에 대한 이동궤적을 추적함으로써, 해당 손모양의 손모션을 인식한다. 즉, 상기 수화동작 인식부(131)는 상기 수신한 사용자의 수화영상을 토대로 해당 사용자의 손모양, 손모양에 대한 모션 또는 이들의 조합을 포함하는 수화동작을 인식하는 것이다.
또한 수화동작 인식부(131)는 전처리 과정을 통해 상기 수화영상을 구성하는 각각의 프레임영상을 이진영상으로 변환함으로써, 수화동작을 인식하기 위한 데이터 처리량을 최소화하여 상기 수화동작을 신속하게 인식할 수 있도록 구현될 수 있다.
또한 손모양 인식부(131)는 상기 사용자의 손에 대한 손모양을 인식하기 위해 상기 각 프레임영상으로부터 사용자의 손영역을 추출한다. 상기 손영역의 추출은 상기 프레임영상에서 손영역과 배경영역 간의 경계선을 추출함으로써, 해당 사용자의 손영역을 추출할 수 있다.
한편 상기 경계선 추출은, 차 연산자 방법, 유사 연산자 방법, 미분을 이용한 방법을 포함하여 손영역을 검출하기 위한 다양한 방법을 통해 수행될 수 있다. 즉, 손모양 인식부(131)는 공지된 다양한 손영역 검출방법을 활용하여 상기 프레임영상으로부터 손영역과 배경영역 간의 경계선을 추출함으로서, 해당 사용자의 손영역을 추출한다.
또한 손모양 인식부(131)는 상기 추출한 손영역에 복수의 특징점을 추출하고, 상기 추출한 특징점을 기반으로, 해당 사용자의 손모양을 인식하고, 상기 각 프레임영상별 손모양의 위치정보를 추출하여 저장한다.
상기 특징점은 상기 추출한 경계선에서 미리 설정한 각도 이상 혹은 일정 크기 이상의 곡률 크기를 가지는 복수의 위치점을 검출함으로써 추출된다.
한편 수화정보 데이터베이스(300)는 왼손 및 오른손의 손모양에 대한 특징점정보를 포함하는 수화정보를 저장하고 있으며, 상기 손모양 인식부(131)는 상기 추출한 복수개의 특징점과 상기 수화정보 데이터베이스(300)에 저장된 특징정정보 간의 유사도 계산을 통해 상기 특징점의 패턴과 유사한 패턴의 특징점을 가지는 손모양을 추출함으로써, 해당 사용자의 손모양을 인식한다.
또한 손모션 인식부(132)는 상기 인식한 손모양에 대해서 상기 순차적으로 입력되는 프레임영상 간의 차영상을 산출하여, 상기 산출한 차영상을 통해 상기 인식한 손모양의 이동궤적을 추출함으로써, 상기 인식한 손모양에 대한 손모션을 인식한다.
즉, 손모션 인식부(132)는 특정 시점의 프레임영상에서 바로 이전 시점에 얻어진 프레임영상을 감산하여, 두 영상 간의 차이를 인식함으로써, 상기 인식한 손모양에 대한 특징점들의 이동궤적을 추출할 수 있으며, 이를 통해 상기 손모양에 대한 모션을 인식할 수 있다.
한편 상기 이동궤적 추출은 상기 인식한 손모양과 다른 손모양이 인식되거나, 더 이상 프레임영상이 입력되지 않을 때 까지 수행된다.
상기에서 설명한 것과 같이, 상기 수화동작 인식부(130)는 상기 인식한 손모양, 손모션 또는 이들의 조합을 하나의 수화동작으로 인식하여, 상기 수화동작 해석부(140)로 제공한다.
수화동작 해석부(140)는 상기 수화동작 인식부(130)를 통해 인식한 수화동작을 해석하여 수화해석정보를 생성한다.
또한 수화동작 해석부(140)는 상기 인식한 수화동작과 상기 수화정보 데이터베이스(200)에 저장된 수화정보 간의 유사도 계산을 통해, 가장 높은 유사도를 가지는 수화정보를 추출한다.
다음으로 수화동작 해석부(140)는 상기 추출한 수화정보에 포함된 해당 수화동작에 대한 수화의미를 추출함으로써, 상기 인식한 수화동작에 대한 수화해석정보를 생성한다.
한편 수화동작 인식부(130)는 복수의 수화동작이 미리 설정한 임계시간 이내로 인식되는 경우, 상기 복수의 동작을 하나의 수화동작으로 간주하여 상기 인식한 복수의 수화동작을 순차적으로 상기 수화동작 해석부(140)로 제공하여, 상기 복수의 수화동작에 대한 수화해석정보를 생성할 수 있도록 한다.
예를 들어, "ㅎ", "ㅏ", "ㄱ"에 해당하는 각각의 손모양에 대한 제1 수화동작 , 제2 수화동작 및 제3 수화동작이 각각 인식되고, 상기 제1 수화동작 및 제2 수화동작, 상기 제2 수화동작 및 제3 수화동작이 미리 설정한 임계시간 이내에 연속하여 인식되는 경우(즉, 상기 각 수화동작에 대한 프레임영상이 임계시간 이내에 입력되는 경우), 상기 제1 수화동작, 제2 수화동작 및 제3 수화동작을 하나의 수화동작으로 인식하여 "학"이라는 수화해석정보를 생성하는 것이다.
또한 수화동작 인식부(130)는 특정 수화동작이 인식되고, 미리 설정한 임계시간을 초과하여 또 다른 수화동작이 인식되는 경우, 상기 특정 수화동작과 상기 또 다른 수화동작은 두 손으로 수행되는 수화동작으로 인식한다.
다시 말해 제1 수화동작 및 제2 수화동작이 연속하여 인식되고, 상기 제1 수화동작이 인식된 후 미리 설정한 임계시간을 초과하여 상기 제2 수화동작이 인식되는 경우, 상기 수화동작 인식부(130)는 상기 제1 수화동작 및 제2 수화동작은 두 손으로 수행되는 수화동작으로 간주한다.
예를 들어, 상기 제1 수화동작은 손모양이 왼손 주먹인 것으로 인식되고, 상기 제2 수화동작은 왼손 손바닥을 아래로 하여 오른쪽으로 회전하는 것으로 인식되는 경우, 상기 수화동작 인식부(130)는 상기 제1 수화동작 및 제2 수화동작을 조합하여 하나의 수화동작으로 인식하고, 상기 인식한 수화동작을 수화동작 해석부(140)로 제공한다.
이때, 상기 수화동작 해석부(140)는 상기 인식한 수화동작과 상기 수화정보 데이터베이스(200)에 저장된 수화정보 간의 유사도 계산을 통해 가장 높은 유사도를 가지는 수화정보를 추출함으로서, 상기 인식한 수화동작에 대한 수화해석정보를 생성한다. 즉, 상기 수화인식을 통한 의사전달 장치(100)는 상기 수화동작 인식부(130) 및 수화동작 해석부(140)를 통해 두 손에 의한 수화동작을 한 손만을 이용한 수화동작을 통해 인식할 수 있다.
또한 수화해석정보 제공부(120)는 상기 수화동작 해석부(140)에서 생성한 수화해석정보를 상기 수화인식용 디바이스(200)로 제공한다.
또한 제어부(150)는 상기 수화인식을 통한 의사전달 장치(100)의 구성부분 간의 데이터 이동, 상기 각 구성부분의 구동 등을 포함하여 상기 수화인식을 통한 의사전달 장치(100)를 전반적으로 제어하는 기능을 수행한다.
한편 수화인식용 디바이스(200)는 상기 수화인식을 통한 의사전달 장치(100)의 수화동작 인식부(130) 및 수화동작 해석부(140)가 상기 수화인식용 디바이스(200)에 구현될 수 있다. 즉, 수화인식용 디바이스(200)는 상기 수화인식을 통한 의사전달 장치(100)로부터 수화정보를 다운로드하여 저장하고 있으면서, 상기 수화동작 인식부(130) 및 수화동작 해석부(140)를 통해 사용자의 수화영상으로부터 수화동작을 자체적으로 인식하여, 상기 인식한 수화동작을 해석할 수 있도록 구현될 수 있다.
도 4는 본 발명의 일 실시예에 따른 수화인식용 디바이스의 구성을 나타낸 블록도이다.
도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 수화인식용 디바이스(200)는 사용자의 수화영상을 수집하는 수화영상 수집부(210), 상기 수집한 수화영상을 수화인식을 통한 의사전달 장치(100)로 제공하는 수화영상 제공부(220), 상기 수화인식을 통한 의사전달 장치(100)로부터 수화해석정보를 수신하는 수화해석정보 수신부(230), 상기 수신한 수화해석정보를 출력하는 수화해석정보 출력부(240) 및 타 사용자의 음성을 텍스트로 변환하는 음성 변환부(250)를 포함하여 구성된다.
또한 수화영상 수집부(210)는 사용자의 한 손에 의한 수화동작으로부터 사용자의 의사를 해석할 필요가 있는 경우(즉, 영상통화 또는 오프라인상의 의사소통)에 사용자의 선택에 따라 혹은 자동적으로 상기 사용자의 수화동작에 대한 수화영상을 수집한다.
상기 수화영상은 상기 수화인식용 디바이스(200)에 구비되는 디지털 카메라를 통해 수집된다.
또한 수화영상 수집부(220)는 상기 디지털 카메라를 통해 수집되는 수화영상을 상기 수화인식을 통한 의사전달 장치(100)로 실시간으로 제공한다. 이때, 상기 수화인식을 통한 의사전달 장치(100)는 상기 수화영상으로부터 복수의 수화동작을 인식하고, 상기 인식한 복수의 수화동작에 대한 조합을 통해 해당 사용자의 의사를 인지하며, 이에 대한 수화해석정보를 생성하여 상기 수화인식용 디바이스(200)로 제공한다.
또한 수화해석정보 수신부(230)는 상기 수화인식을 통한 의사전달 장치(100)로부터 해당 사용자의 수화동작에 대한 수화해석정보를 수신한다.
또한 수화해석정보 출력부(240)는 상기 수신한 수화해석정보를 해당 수화인식용 디바이스(200)에 구비되는 디스플레이에 출력하거나, 타 사용자의 사용자 단말(400)로 제공한다.
예를 들어, 상기 사용자가 오프라인을 통해 타 사용자와 의사소통을 수행하는 경우, 상기 수화해석정보 출력부(240)는 해당 수화인식용 디바이스(200)에 구비되는 디스플레이 혹은 스피커를 통해 상기 수화해석정보를 텍스트 혹은 음성으로 출력하거나, 상기 사용자가 타 사용자의 사용자 단말(400)을 통해 영상통화를 수행하는 경우, 상기 수화해석정보 출력부(240)는 상기 타 사용자의 사용자 단말(400)로 상기 수화해석정보를 제공한다.
한편 상기 수화해석정보는 텍스트, 음성 또는 이들의 조합을 포함함은 상술한 바와 같다.
또한 음성 변환부(250)는 타 사용자 단말(400)을 통해 영상통화를 수행하여 타 사용자의 음성을 수신하거나, 또는 오프라인 상으로 마이크를 통해 타 사용자의 음성이 입력되는 경우, 상기 타 사용자의 음성을 텍스트로 변환하여, 해당 수화인식용 디바이스(200)의 디스플레이로 출력하는 기능을 수행한다.
상기 음성 변환부(250)는 주지의 음성인식기술을 이용하여 상기 입력되는 음성을 텍스트로 변환함으로써, 상기 수화인식용 디바이스(200)의 디스플레이로 출력할 수 있으며, 이를 통해 사용자는 건청인과 같은 일반 사용자의 의사소통을 수행할 수 있다.
도 5는 본 발명의 일 실시예에 따른 수화인식을 통한 사용자의 의사를 전달하는 절차를 나타낸 흐름도이다.
도 5에 도시한 바와 같이, 본 발명의 일 실시예에 따른 수화인식을 통한 사용자의 의사를 전달하는 절차는 우선, 수화인식을 통한 의사전달 장치(100)는 수화인식용 디바이스로부터 사용자의 수화영상을 수신한다(S110).
상기 수화영상은 한 손에 의한 사용자의 수화동작을 실시간으로 촬영한 것으로, 적어도 하나 이상의 수화인식용 디바이스(200)로부터 수신된다.
즉, 본 발명의 일 실시예에 따른 수화인식을 통한 의사전달 장치(100)는 양손 수화를 수행할 수 없는 경우에 한 손 수화동작을 통한 사용자의 의사를 해석하고, 상기 해석한 사용자의 의사를 건청인과 같은 타 사용자에게 제공하는 것이다.
다음으로 수화인식을 통한 의사전달 장치(100)는 상기 수신한 수화영상을 토대로 적어도 하나 이상의 수화동작을 인식한다(S120).
상기 수화인식을 통한 의사전달 장치(100)는 상기 수화영상의 각 프레임영상으로부터 상기 사용자의 손모양, 해당 손모양에 대한 모션 또는 이들의 조합을 인식함으로서, 하나의 수화동작을 인식한다.
다음으로 수화인식을 통한 의사전달 장치(100)는 수화동작을 인식하는 과정에 있어서, 특정 수화동작을 인식한 후 다음의 수화동작이 미리 설정한 임계시간을 초과하여 인식되는지에 대한 여부를 확인한다(S130).
다음으로 수화인식을 통한 의사전달 장치(100)는, 상기 확인 결과 임계시간을 초과하지 않는 경우(S140), 상기 인식한 적어도 하나 이상의 수화동작을 순차적으로 해석하여, 수화해석정보를 생성한다(S150).
상기 수화해석정보는 상기 인식한 수화동작과 상기 수화정보 데이터베이스(300)에 저장된 수화정보 간의 유사도 계산을 통해, 유사도가 제일 높은 수화정보를 추출하고, 상기 추출한 수화정보의 수화동작에 대한 수화의 의미를 추출함으로써 생성된다.
다음으로 수화인식을 통한 의사전달 장치(100)는 상기 생성한 수화해석정보를 상기 수화인식용 디바이스(200)로 제공한다(S160). 이때 상기 수화인식용 디바이스(200)는 상기 수신한 수화해석정보를 해당 수화인식용 디바이스(200)와 영상통화를 수행하고 있는 타 사용자의 사용자 단말(400)로 제공하거나, 또는 해당 수화인식용 디바이스(200)의 디스플레이에 출력한다.
한편 특정 수화동작을 인식한 이후, 다음의 수화동작이 미리 설정한 임계시간을 초과하여 인식되는 경우(S140), 수화인식을 통한 의사전달 장치(100)는 상기 인식한 특정 수화동작과 상기 다음으로 인식되는 수화동작을 조합하고, 상기 조합한 수화동작에 대한 수화해석정보를 생성하여(S151), 상기 수화인식용 디바이스(200)로 제공한다(S160).
상기 임계시간을 설정하는 것은, 한 손만으로도 두 손에 의한 수화를 인식함으로써, 사용자의 의사를 효과적이고 효율적으로 타 사용자에게 전달할 수 있도록하기 위함이다.
즉, 상기 수화인식을 통한 의사전달 장치(100)는 한 손에 의한 수화동작에 대한 조합을 통해 한 손에 의한 수화동작으로부터 두 손에 의한 수화를 인식하여 사용자의 의사에 대한 수화해석정보를 생성하여, 상기 수화인식용 디바이스(200)로 제공함으로써, 사용자의 의사를 효율적으로 타 사용자로 제공할 수 있도록 한다.
이상에서 설명한 바와 같이, 본 발명은 수화인식을 통한 의사전달 장치 및 그 방법에 관한 것으로, 사용자의 한 손에 대한 수화동작을 인식하고, 특정 임계시간을 기준으로 상기 인식한 수화동작을 조합하여 사용자의 의사를 해석함으로써, 한 손만으로도 사용자의 의사를 효과적으로 전달 수 있도록 하는 효과가 있다.
상기에서는 본 발명에 따른 바람직한 실시예를 위주로 상술하였으나, 본 발명의 기술적 사상은 이에 한정되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 기술적 범위 내에서 변경 또는 수정될 수 있을 것이다.
아울러 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100: 수화인식을 통한 의사전달 장치 110: 수화영상 수신부
120: 수화해석정보 제공부 130: 수화동작 인식부
131: 손모양 인식부 132: 손모션 인식부
140: 수화동작 해석부 150: 제어부
200: 수화인식용 디바이스 210: 수화영상 수집부
220: 수화영상 제공부 230: 수화해석정보 수신부
240: 수화해석정보 출력부 250: 음성 변환부
300: 수화정보 데이터베이스

Claims (6)

  1. 수화인식용 디바이스로부터 수신되는 한 손에 의한 수화영상을 토대로 적어도 하나 이상의 수화동작을 인식하는 수화동작 인식부;
    상기 인식한 수화동작을 해석하여 수화해석정보를 생성하는 수화동작 해석부; 및
    상기 생성한 수화해석정보를 상기 수화인식용 디바이스로 제공하는 수화해석정보 제공부;를 포함하고,
    상기 수화동작 인식부는, 상기 인식한 적어도 하나 이상의 수화동작을 조합하여 한 손에 의한 수화동작을 양손에 의한 수화동작으로 인식하는 것을 더 포함하며,
    상기 양손에 의한 수화동작으로 인식하는 것은, 특정 수화동작을 인식한 후, 미리 설정한 임계시간을 초과하여 다음의 수화동작이 인식되는 경우, 상기 인식한 특정 수화동작과 상기 다음으로 인식되는 수화동작을 하나의 수화동작으로 조합함으로써, 수행되는 것을 특징으로 하는 수화인식을 통한 의사전달 장치.
  2. 청구항 1에 있어서,
    상기 수화동작 인식부는,
    상기 수신한 한 손에 의한 수화영상의 각 프레임영상에 대한 손모양을 인식하는 손모양 인식부; 및
    상기 인식한 손모양에 대한 모션을 인식하는 손모션 인식부;를 더 포함하며,
    상기 수화동작은, 상기 인식한 손모양, 손모션 또는 이들의 조합으로 인식되는 것을 특징으로 하는 수화인식을 통한 의사전달 장치.
  3. 청구항 2에 있어서,
    상기 손모양은,
    상기 각 프레임영상으로부터 손영역에 대한 경계선을 추출하고, 상기 추출한 경계선상에서 미리 설정한 각도 또는 곡률크기를 초과하는 복수개의 특징점을 추출함으로써 인식되며,
    상기 손모션은,
    상기 각 프레임영상의 차영상을 통해 상기 인식한 손모양의 이동궤적을 추적함으로써 인식되는 것을 특징으로 하는 수화인식을 통한 의사전달 장치.
  4. 삭제
  5. 청구항 1에 있어서,
    수화동작 해석부는,
    상기 인식한 수화동작 및 상기 수화동작에 대한 의미를 포함하는 수화정보 간의 유사도 계산을 통해 유사도가 가장 높은 수화정보를 추출함으로써, 상기 인식한 수화동작을 해석하며,
    상기 수화해석정보는 텍스트, 음성 또는 이들의 조합을 포함하는 것을 특징으로 하는 수화인식을 통한 의사전달 장치.
  6. 수화인식용 디바이스로부터 수신되는 한 손에 의한 수화영상을 토대로 적어도 하나 이상의 수화동작을 인식하는 수화동작 인식 단계;
    상기 인식한 수화동작을 해석하여 수화해석정보를 생성하는 수화동작 해석 단계; 및
    상기 생성한 수화해석정보를 상기 수화인식용 디바이스로 제공하는 수화해석정보 제공 단계;를 포함하며,
    상기 수화동작 인식 단계는, 상기 인식한 적어도 하나 이상의 수화동작을 조합하여 한 손에 의한 수화동작을 양손에 의한 수화동작으로 인식하는 것을 더 포함하며,
    상기 양손에 의한 수화동작으로 인식하는 것은, 특정 수화동작을 인식한 후, 미리 설정한 임계시간을 초과하여 다음의 수화동작이 인식되는 경우, 상기 인식한 특정 수화동작과 상기 다음으로 인식되는 수화동작을 하나의 수화동작으로 조합함으로써, 수행되는 것을 특징으로 하는 수화인식을 통한 의사전달 방법.
KR1020180018191A 2018-02-14 2018-02-14 수화인식을 통한 의사전달 장치 및 그 방법 KR101958201B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180018191A KR101958201B1 (ko) 2018-02-14 2018-02-14 수화인식을 통한 의사전달 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180018191A KR101958201B1 (ko) 2018-02-14 2018-02-14 수화인식을 통한 의사전달 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101958201B1 true KR101958201B1 (ko) 2019-03-14

Family

ID=65759625

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180018191A KR101958201B1 (ko) 2018-02-14 2018-02-14 수화인식을 통한 의사전달 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101958201B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102368233B1 (ko) * 2021-02-18 2022-03-03 주식회사 라젠 플러그 인 기반의 화상 커뮤니케이션 플랫폼 시스템 및 그를 이용한 화상 커뮤니케이션 제공 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050032296A (ko) * 2003-10-01 2005-04-07 학교법인 포항공과대학교 지화 인식 방법 및 장치
KR20160033329A (ko) * 2014-09-17 2016-03-28 순천향대학교 산학협력단 수화 번역 시스템 및 방법
KR20160062913A (ko) * 2014-11-26 2016-06-03 경북대학교 산학협력단 립모션 기기의 수화 번역 정확도 향상을 위한 수화 번역 시스템 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050032296A (ko) * 2003-10-01 2005-04-07 학교법인 포항공과대학교 지화 인식 방법 및 장치
KR20160033329A (ko) * 2014-09-17 2016-03-28 순천향대학교 산학협력단 수화 번역 시스템 및 방법
KR20160062913A (ko) * 2014-11-26 2016-06-03 경북대학교 산학협력단 립모션 기기의 수화 번역 정확도 향상을 위한 수화 번역 시스템 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102368233B1 (ko) * 2021-02-18 2022-03-03 주식회사 라젠 플러그 인 기반의 화상 커뮤니케이션 플랫폼 시스템 및 그를 이용한 화상 커뮤니케이션 제공 방법

Similar Documents

Publication Publication Date Title
US11137834B2 (en) Vehicle system and method for detection of user motions performed simultaneously
CN102915111B (zh) 一种腕上手势操控系统和方法
KR20090064680A (ko) 머리 제스처를 이용한 사용자 인터페이스 장치 및 그 방법
WO2006091753A2 (en) Method and apparatus for data entry input
Moeslund et al. A brief overview of hand gestures used in wearable human computer interfaces
CN105045399A (zh) 一种具有3d摄像组件的电子设备
Joshi et al. American sign language translation using edge detection and cross correlation
Raheja et al. Android based portable hand sign recognition system
CN111857334A (zh) 人体手势字母的识别方法、装置、计算机设备及存储介质
TW202001597A (zh) 情緒特徵擷取裝置及其方法
CN105068662A (zh) 一种用于人机交互的电子设备
Shin et al. Hand region extraction and gesture recognition using entropy analysis
KR101958201B1 (ko) 수화인식을 통한 의사전달 장치 및 그 방법
CN105046249A (zh) 一种人机交互方法
Siby et al. Hand gesture recognition
US10095308B2 (en) Gesture based human machine interface using marker
KR100419777B1 (ko) 수화 인식 방법 및 시스템
KR100549994B1 (ko) 지화 인식 방법 및 장치
Aggarwal et al. An Approach to Control the PC with Hand Gesture Recognition using Computer Vision Technique
KR101564259B1 (ko) 비접촉 방식의 인터페이스를 제공하는 이동 단말 및 그 방법
Jamdal et al. On design and implementation of a sign-to-speech/text system
Rai et al. Gesture recognition system
CN111208907A (zh) 基于肌电信号和手指关节形变信号的手语识别系统及方法
CN111491066A (zh) 一种支持手势控制的跟踪式扫描装置及扫描方法
Khan et al. Electromyography based Gesture Recognition: An Implementation of Hand Gesture Analysis Using Sensors

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant