KR20130051319A - 신호 입력 장치 및 신호 입력 방법 - Google Patents

Abstract

신호 입력 장치는 사용자의 제스처에서 기준점을 설정하는 기준점 설정부, 상기 사용자의 제스처에서 상기 기준점에 대한 상대적 위치의 입력 영역을 지시하는 지시자를 추적하는 지시자 추적부, 상기 사용자의 제스처에서 상기 입력 영역에 대응하는 입력 신호의 생성을 지시하는 실행자를 인식하는 실행자 인식부, 및 상기 실행자가 인식되면 상기 입력 영역에 대응하는 입력 신호를 생성하는 신호 처리부를 포함한다. 사용자의 제스처에 대한 피드백을 디스플레이를 통해 사용자에게 제공되기 힘든 경우에도 단일 제스처를 이용하여 복수의 기능 중에서 원하는 기능을 활성화시킬 수 있고, 단순한 제스처를 이용함으로써 인식 오류를 현저하게 줄일 수 있다.

Description

신호 입력 장치 및 신호 입력 방법{APPARATUS FOR SIGNAL INPUT AND METHOD THEREOF}

본 발명은 신호 입력 장치 및 신호 입력 방법에 관한 것으로, 보다 상세하게는 사용자의 제스처를 이용한 신호 입력 장치 및 신호 입력 방법에 관한 것이다.

최근, 자연스럽고 직관적인 사용자-컴퓨터 상호작용을 위해 사용자의 제스처를 이용한 제스처 인터페이스에 대한 연구가 활발하게 진행되고 있다. 제스처 인터페이스는 사용자의 제스처를 인식하는 제스처 인식 기술을 기반으로 한다. 제스처 인식 기술은 카메라 등으로 인체의 전부 또는 손이나 손가락 등 인체 일부의 움직임을 촬영하여 얻어진 영상을 기반으로 특정한 움직임(제스처)을 인식한다. 물론, 상기 영상이란 인체를 직접 촬영한 영상뿐 아니라, 인체에 부착된 마커 등의 움직임을 기록하여 인체의 움직임을 간접 촬영한 영상도 포함한다. 컴퓨터는 제스처 인식 장치에 의해 인식된 제스처에 대응하여 다양한 처리를 수행할 수 있다.

일반적으로, 제스처를 이용한 인터페이스는 크게 두 가지가 있다. 첫째, 컴퓨터, 모니터, TV 등의 화면에 복수의 기능에 대응하는 복수의 타겟과 커서가 나타나고, 사용자가 허공에서 손의 위치를 이동하는 등의 지시하는 제스처를 취하면 커서가 사용자의 제스처에 대응하여 화면상에서 이동하고 커서를 원하는 기능에 대응하는 타겟 상에 위치시킨 상태에서 해당 타겟을 활성화하는 제스처를 취함으로써 복수의 기능 중에서 원하는 기능을 활성화시키는 방식이다. 이때, 활성화하는 제스처는 서로 다른 타겟에 대해 동일한 제스처를 사용할 수 있다. 이는 활성화하는 제스처를 취하기 전에 이미 지시하는 제스처를 통해 서로 다른 타겟을 구별했기 때문이다.

둘째, 에어컨, 전등, 냉장고 등의 경우와 같이 복수의 타겟과 커서가 나타나는 디스플레이의 설치가 용이하지 않아 사용자에게 제스처에 대한 피드백을 제공하기 힘든 경우에는 지시하는 제스처와 타겟을 활성화하는 제스처의 조합 대신 각 기능마다 서로 다른 제스처를 할당하여 원하는 기능을 활성화시키는 방법을 사용할 수 있다. 한국공개특허 10-2010-0032699에는 각 기능마다 서로 다른 제스처를 할당하여 디스플레이장치의 동작을 제어하는 시스템에 대하여 개시하고 있다.

그러나, 각 기능마다 서로 다른 제스처를 할당하여 원하는 기능을 활성화시키는 방법은 지시하는 제스처와 활성화하는 제스처의 조합에 비해 다양한 제스처를 학습하고 기억하여야 하는 번거로움이 있다. 또한, 다양한 제스처를 인식하는 것은 사용자 측면에서의 신체적, 정신적 불편함뿐 아니라 제스처를 인식하는 기술 측면에서도 인식 오류가 증가하는 문제가 있다.

본 발명이 해결하고자 하는 기술적 과제는 사용자의 제스처에 대한 피드백이 디스플레이를 통해 사용자에게 제공되기 힘든 경우에도 단일한 제스처로 복수의 기능 중에서 원하는 기능을 활성화하는 입력 신호를 생성할 수 있는 신호 입력 장치 및 신호 입력 방법을 제공함에 있다.

본 발명의 일 실시예에 따른 신호 입력 장치는 사용자 촬영 영상에서 기준점을 설정하는 기준점 설정부, 상기 사용자 촬영 영상에서 상기 기준점에 대한 상대적 위치의 입력 영역을 선택하는 지시자를 추적하는 지시자 추적부, 상기 사용자 촬영 영상에서 상기 입력 영역에 대응하는 입력 신호의 생성을 지시하는 실행자를 인식하는 실행자 인식부, 및 상기 실행자가 인식되면 상기 입력 영역에 대응하는 입력 신호를 생성하는 신호 처리부를 포함한다.

상기 기준점은 사용자의 얼굴 또는 상기 사용자의 얼굴에서 일정 거리의 지점일 수 있다.

상기 지시자는 상기 사용자의 왼손 및 오른손 중 적어도 어느 하나일 수 있다.

상기 지시자는 상기 사용자의 왼손 및 오른손 중에서 마커가 있는 손일 수 있다.

상기 실행자는 상기 사용자의 왼손 및 오른손 중에서 적어도 어느 하나의 미리 정해진 제스처일 수 있다.

상기 기준점은 사용자의 왼손 및 오른손 중 어느 하나이고 상기 지시자는 상기 사용자의 왼손 및 오른손 중 다른 하나일 수 있다.

상기 기준점 및 상기 지시자 중 적어도 어느 하나는 미리 정해진 특정 제스처를 취하는 손일 수 있다.

상기 기준점 및 상기 지시자 중 적어도 어느 하나는 마커가 있는 손일 수 있다.

상기 실행자는 상기 사용자의 왼손 및 오른손 중에서 적어도 어느 하나의 미리 정해진 제스처일 수 있다.

상기 기준점 설정부는 상기 사용자 촬영 영상 상에서 기준점 설정 제스처가 취해진 위치를 상기 기준점으로 설정할 수 있다.

상기 기준점 설정부는 상기 기준점 설정 제스처에 의해 설정된 기준점을 일정 기간 동안 유지할 수 있다.

상기 기준점 설정부는 상기 기준점 설정 제스처에 의해 설정된 기준점을 기준점 설정을 해제하는 기준점 해제 제스처가 취해질 때까지 유지할 수 있다.

상기 기준점으로부터 상기 지시자의 방향 및 거리 특성을 저장하는 메모리를 더 포함할 수 있다.

상기 실행자 인식부는 상기 메모리에 저장된 지시자의 방향 및 거리 특성에 따라 상기 입력 영역의 범위를 결정할 수 있다.

상기 실행자 인식부는 상기 메모리에 저장된 지시자의 방향 및 거리 특성에 따라 일 방향에서 거리에 따라 입력 영역을 둘 이상으로 구분할 수 있다.

상기 신호 처리부는 상기 일 방향에서 거리에 따른 둘 이상의 입력 영역에 대응하여 둘 이상의 입력 신호를 생성할 수 있다.

상기 메모리에는 실제 입력 신호를 생성하기 이전에 사용자가 입력 영역을 반복하여 선택하도록 하여 사용자가 움직이는 지시자의 방향 및 거리 특성이 저장되는 사전 학습 방법을 이용할 수 있다.

상기 메모리에는 실제 입력 신호를 생성하기 위해 사용자가 입력 영역을 선택할 때마다 지시자의 방향 및 거리 특성이 저장되는 적응적 학습 방법을 이용할 수 있다.

상기 입력 영역에 대응하는 입력 신호 정보를 사용자에게 음성으로 알려 주는 음성 모듈을 더 포함할 수 있다.

상기 음성 모듈은 상기 기준점이 설정될 때 기준점 설정 정보를 사용자에게 음성으로 알려 줄 수 있다.

상기 음성 모듈은 상기 기준점이 해제될 때 기준점 해제 정보를 사용자에게 음성으로 알려 줄 수 있다.

본 발명의 다른 실시예에 따른 신호 입력 방법은 사용자 촬영 영상에서 기준점을 설정하는 단계, 상기 사용자 촬영 영상에서 상기 기준점에 대한 상대적 위치의 입력 영역을 선택하는 지시자를 추적하는 단계, 상기 사용자 촬영 영상에서 상기 입력 영역에 대응하는 입력 신호의 생성을 지시하는 실행자를 인식하는 단계, 및 상기 실행자의 인식에 따라 상기 입력 영역에 대응하는 입력 신호를 생성하는 단계를 포함한다.

상기 기준점을 설정하는 단계는 사용자의 얼굴 또는 상기 사용자의 얼굴에서 일정 거리의 지점을 상기 기준점으로 설정하는 단계를 포함할 수 있다.

상기 지시자를 추적하는 단계는 상기 사용자의 왼손 및 오른손 중 적어도 어느 하나를 추적하는 단계를 포함할 수 있다.

상기 실행자를 인식하는 단계는 상기 사용자의 얼굴, 왼손 및 오른손 중 적어도 어느 하나의 미리 정해진 제스처를 인식하는 단계를 포함할 수 있다.

상기 기준점을 설정하는 단계는 사용자의 왼손 및 오른손 중 어느 하나를 상기 기준점으로 설정하는 단계를 포함할 수 있다.

상기 지시자를 추적하는 단계는 상기 사용자의 왼손 및 오른손 중 다른 하나를 추적하는 단계를 포함할 수 있다.

상기 실행자를 인식하는 단계는 상기 사용자의 왼손 및 오른손 중 적어도 어느 하나의 미리 정해진 제스처를 인식하는 단계를 포함할 수 있다.

상기 지시자를 추적하는 단계는 일 방향으로 거리에 따라 둘 이상으로 구분되는 입력 영역 중에서 어느 하나를 선택하는 지시자를 추적하는 단계를 포함할 수 있다.

상기 입력신호를 생성하는 단계는 상기 일 방향으로 거리에 따라 둘 이상으로 구분되는 입력 영역 중에서 상기 지시자가 선택하는 입력 영역에 대응하는 입력 신호를 생성하는 단계를 포함할 수 있다.

상기 지시자를 추적하는 단계는 상기 지시자에 의해 선택된 입력 영역에 대응하는 입력 신호 정보를 사용자에게 음성으로 알려 주는 단계를 포함할 수 있다.

상기 입력 신호를 생성하는 단계는 상기 입력 신호의 생성시에 상기 입력 영역에 대응하는 입력 신호 정보를 사용자에게 음성으로 알려 주는 단계를 포함할 수 있다.

상기 입력 신호의 생성시에 상기 기준점에 대한 상기 지시자의 방향 및 거리 특성을 저장하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 실시예에 따른 신호 입력 방법은 사용자 촬영 영상에서 제1 지시자 및 제2 지시자를 추적하는 단계, 상기 제1 지시자의 미리 정해진 제스처를 인식하는 단계, 상기 제1 지시자 및 제2 지시자 중 어느 하나를 기준점으로 설정하는 단계, 및 상기 기준점에 대한 상기 제1 지시자 및 제2 지시자 중 다른 하나의 상대적 위치의 입력 영역에 대응하는 입력 신호를 생성하는 단계를 포함한다.

상기 제1 지시자 및 제2 지시자를 추적하는 단계는 사용자의 얼굴, 왼손 및 오른손 중 적어도 어느 하나를 추적하는 단계를 포함할 수 있다.

상기 미리 정해진 제스처를 인식하는 단계는 사용자의 얼굴, 왼손 및 오른손 중 적어도 어느 하나의 미리 정해진 제스처를 인식하는 단계를 포함할 수 있다.

상기 입력신호를 생성하는 단계는 상기 기준점에서 일 방향으로 거리에 따라 둘 이상으로 구분되는 입력 영역 중에서 상기 지시자가 선택하는 입력 영역에 대응하는 입력 신호를 생성하는 단계를 포함할 수 있다.

상기 입력 신호를 생성하는 단계는 상기 입력 신호의 생성시에 상기 입력 영역에 대응하는 입력 신호 정보를 사용자에게 음성으로 알려 주는 단계를 포함할 수 있다.

본 발명의 또 다른 실시예에 따른 신호 입력 방법은 사용자 촬영 영상에서 기준점 설정 제스처를 인식하는 단계, 상기 기준점 설정 제스처가 취해진 위치를 상기 사용자 촬영 영상 상의 기준점으로 설정하는 단계, 상기 사용자 촬영 영상에서 상기 기준점에 대한 상대적 위치의 입력 영역을 선택하는 지시자를 추적하는 단계, 상기 사용자 촬영 영상에서 상기 입력 영역에 대응하는 입력 신호의 생성을 지시하는 실행자를 인식하는 단계, 및 상기 실행자의 인식에 따라 상기 입력 영역에 대응하는 입력 신호를 생성하는 단계를 포함한다.

상기 기준점은 지속적으로 유지되고 상기 지시자를 추적하는 단계, 상기 실행자를 인식하는 단계 및 상기 입력 신호를 생성하는 단계가 반복될 수 있다.

상기 기준점으로 설정하는 단계는 상기 기준점의 설정을 사용자에게 음성으로 알려 주는 단계를 포함할 수 있다.

상기 사용자 촬영 영상에서 상기 기준점의 해제를 지시하는 기준점 해제 제스처를 인식하여 상기 기준점을 해제하는 단계를 더 포함할 수 있다.

상기 기준점을 해제하는 단계는 상기 기준점의 해제를 지시하는 기준점 해제 정보를 사용자에게 음성으로 알려 주는 단계를 포함할 수 있다.

사용자의 제스처에 대한 피드백을 디스플레이를 통해 사용자에게 제공되기 힘든 경우에도 단일 제스처를 이용하여 복수의 기능 중에서 원하는 기능을 활성화시킬 수 있고, 단순한 제스처를 이용함으로써 인식 오류를 현저하게 줄일 수 있다.

도 1은 본 발명의 일 실시예에 따른 신호 입력 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 기준점을 설정하는 방법을 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 기준점에 대한 입력 영역을 나타내는 예시도이다.
도 4는 본 발명의 일 실시예에 따른 지시자를 추적하여 입력 영역을 선택하는 방법을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 실행자를 인식하는 방법을 설명하기 위한 예시도이다.
도 6은 본 발명의 다른 실시예에 따른 기준점을 설정하고 입력 영역을 선택하는 방법을 설명하기 위한 예시도이다.
도 7은 본 발명의 또 다른 실시예에 따른 기준점을 설정하고 입력 영역을 선택하는 방법을 설명하기 위한 예시도이다.
도 8은 본 발명의 다른 실시예에 따른 기준점에 대한 입력 영역을 나타내는 예시도이다.
도 9는 본 발명의 또 다른 실시예에 따른 기준점에 대한 입력 영역을 나타내는 예시도이다.
도 10은 본 발명의 또 다른 실시예에 따른 기준점에 대한 입력 영역을 나타내는 예시도이다.
도 11은 본 발명의 일 실시예에 따른 신호 입력 방법을 나타내는 흐름도이다.
도 12는 본 발명의 다른 실시예에 따른 신호 입력 방법을 나타내는 흐름도이다.
도 13은 본 발명의 또 다른 실시예에 따른 신호 입력 방법을 나타내는 흐름도이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.

또한, 여러 실시예들에 있어서, 동일한 구성을 가지는 구성요소에 대해서는 동일한 부호를 사용하여 대표적으로 제1 실시예에서 설명하고, 그 외의 실시예에서는 제1 실시예와 다른 구성에 대해서만 설명하기로 한다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

도 1은 본 발명의 일 실시예에 따른 신호 입력 장치를 나타내는 블록도이다.

도 1을 참조하면, 신호 입력 장치(10)는 카메라 모듈(11), 제스처 인식부(12), 기준점 설정부(13), 지시자 추적부(14), 실행자 인식부(15), 메모리(16), 신호 처리부(17) 및 음성 모듈(18)을 포함한다.

카메라 모듈(11)은 사용자를 촬영하여 사용자 촬영 영상의 영상 신호를 생성한다. 카메라 모듈(11)은 사용자의 제스처를 영상 처리 기법에 따라 처리할 수 있도록 영상 신호를 생성하는 다양한 종류의 영상 센서를 채용할 수 있다. 영상 센서로는 3차원 영상 센서, 2차원 영상 센서, PCD(plasma coupled device) 영상 센서, CCD(charge coupled device) 영상 센서, CID(charge injection device) 영상 센서, SIT(static induction transistor) 영상 센서, MOS(metal oxide semiconductor) 영상 센서, CSD(charge sweep device) 영상 센서, 적외선 영상 센서 등이 있다.

제스처 인식부(12)는 카메라 모듈(11)을 통해 촬영된 사용자 촬영 영상으로부터 사용자의 제스처를 인식한다. 사용자의 제스처는 사용자의 형상, 사용자의 움직임, 신체 일부, 신체 일부의 움직임 등을 포함한다. 사용자의 제스처를 인식하는 방법으로는 컴퓨터 영상 처리 방법, 적외선을 이용하는 방법 등 공지된 다양한 방법을 사용할 수 있다.

예를 들어, 컴퓨터 영상 처리 방법으로, 색상과 명도 정보가 혼합된 RGB 컬러 좌표계 상의 영상 정보를 색상과 명도 정보가 분리되는 다른 컬러 좌표계로 변환하여 처리하는 컬러 양상처리 응용 프로그램을 이용하여 사용자의 제스처를 추정하는 방법이 있다. 그리고 전체 영상공간에서 사용자의 제스처를 표현할 수 있는 공분산(covariance) 행렬의 고유벡터를 찾는 PCA 알고리즘을 이용하여 사용자의 제스처를 추정하는 방법이 있다. 그리고 인간의 색인지에 기반을 둔 사용자 지향성의 색상모형인 HSI 모델을 이용하여 사용자의 피부 영역을 획득하고, 피부 영역 영상을 이진화하여 노이즈를 제거하고 이진화 영상에 대해 레이블링을 수행하여 사용자의 제스처를 추정하는 방법이 있다.

적외선을 이용하는 방법으로, 적외선을 방출하여 반사되어 되돌아오는 시간차를 이용하여 사용자의 전체 윤곽을 파악하고 사용자의 전체 윤곽으로부터 사용자의 신체부위를 파악하는 방법이 있다. 그리고 사용자의 특정 부위에 적외선 반사 마커를 부착하고 적외선 카메라를 통해 적외선 반사 마커를 인식하는 방법이 있다.

이외에도 사용자의 제스처를 인식하는 방법으로 다양한 방법이 사용될 수 있다.

기준점 설정부(13)는 제스처 인식부(12)에서 인식된 사용자의 제스처를 기반으로 사용자 촬영 영상에서 기준점을 설정한다. 기준점은 입력 영역의 상대적 위치를 정하기 위한 기준이 되는 위치이다. 입력 영역은 카메라 모듈(11)을 통해 촬영되는 영상에서 입력 신호를 생성하기 위한 가상의 영역을 의미한다. 물론, 입력 영역은 사용자가 위치하는 실제 공간에서 입력 신호를 생성하기 위한 영역으로 해석될 수도 있다. 입력 영역은 기준점에 대한 상대적 위치로 정해진다. 입력 영역의 범위는 미리 정해진 크기로 정해지거나, 카메라 모듈(11)과 사용자 간의 거리에 따라 정해지거나, 입력 신호의 생성 과정의 학습에 따라 정해질 수 있다.

기준점 설정부(13)는 사용자의 신체 일부 또는 특정 마커를 기준으로 기준점을 설정할 수 있다. 예를 들어, 기준점 설정부(13)는 사용자의 얼굴 또는 사용자의 얼굴에서 일정 거리의 지점을 기준점으로 설정할 수 있다. 또는 기준점 설정부(13)는 사용자의 왼손 및 오른손 중에서 어느 하나를 기준점으로 설정할 수 있다. 사용자의 왼손 및 오른손 중에서 기준점으로 설정되는 손은 미리 정해지거나 제1 마커가 부착되거나 가지고 있는 손일 수 있다. 제1 마커는 기준점을 설정하기 위해 촬영 영상에서 인지하기 용이한 색상이나 명도를 가진 마커이거나 적외선 반사 마커일 수 있다. 적외선 반사 마커는 신호 입력 장치(10)가 방출하는 적외선을 반사하여 반사 마커가 인식되도록 한다. 이외에도 사용자의 신체 중에서 다양한 부위가 기준점으로 설정될 수 있다.

또는, 기준점 설정부(13)는 사용자 촬영 영상 상에서 사용자의 특정 제스처가 취해진 위치를 기준점으로 설정할 수 있다. 예를 들어, 사용자가 원을 그리는 제스처를 취하면 원이 그려진 지점이 사용자 촬영 영상 상에서의 기준점으로 설정될 수 있다. 기준점 설정부(13)는 사용자의 특정 제스처에 의해 설정된 기준점을 일정 기간 동안 유지하거나, 기준점 설정을 해제하는 사용자의 특정 제스처가 취해질 때까지 유지할 수 있다. 예를 들어, 사용자가 손으로 X 표시를 하는 제스처를 취하면 설정된 기준점이 해제될 수 있다.

지시자 추적부(14)는 제스처 인식부(12)에서 인식된 사용자의 제스처를 기반으로 사용자 촬영 영상에서 입력 영역을 지시하는 지시자를 추적한다. 지시자는 사용자의 신체 일부이거나 특정 마커일 수 있다. 예를 들어, 사용자의 얼굴 또는 얼굴에서 일정 거리의 지점이 기준점으로 설정될 때, 사용자의 왼손 및 오른손 중 적어도 어느 하나가 지시자가 될 수 있다. 이때, 사용자의 왼손 및 오른손은 제2 마커가 부착되거나 가지고 있는 손일 수 있다. 사용자의 왼손 및 오른손 중 어느 하나가 기준점으로 설정될 때, 사용자의 왼손 및 오른손 중에서 다른 하나가 지시자가 될 수 있다. 이때, 지시자가 되는 손은 제2 마커가 부착되거나 가지고 있는 손일 수 있다. 제2 마커는 제1 마커와 구분되고 인지하기 용이한 색상이나 명도를 가진 마커이거나 적외선 반사 마커일 수 있다.

실행자 인식부(15)는 제스처 인식부(12)에서 인식된 사용자의 제스처를 기반으로 사용자 촬영 영상에서 입력 영역에 대응하는 입력 신호의 생성을 지시하는 실행자를 인식한다. 실행자는 사용자의 신체 일부의 미리 정해진 제스처일 수 있다. 실행자는 신호 입력 장치(10)가 인식할 수 있는 제스처라면 무엇이든지 가능하다. 예를 들어, 실행자의 표현 주체가 얼굴인 경우 웃는 동작, 입을 벌리는 동작, 눈을 감는 동작, 찡그리는 동작 등 다양한 얼굴 표정이 실행자로써 정해질 수 있다. 실행자의 표현 주체가 손인 경우 손을 앞으로 내미는 동작, 손을 펴고 있다가 쥐는 동작, 손으로 원을 그리는 동작 등이 실행자로써 정해질 수 있다. 또한 지시자를 입력 영역에 일정 시간 이상 위치시키는 행위와 같이 물리적 움직임이 아니더라도 실행자로 인식될 수 있는 행위가 실행자로써 정해질 수 있다.

메모리(16)는 실행자가 인식될 때 기준점으로부터 지시자의 방향 및 거리 특성을 저장한다. 실행자 인식부(15)는 메모리(16)에 저장되는 지시자의 방향 및 거리 특성을 기반으로 입력 영역의 범위를 결정할 수 있다. 그리고, 실행자 인식부(15)는 메모리(16)에 저장되는 지시자의 방향 및 거리 특성을 기반으로 일 방향에서 거리에 따라 입력 영역을 둘 이상으로 구분할 수 있다.

예를 들어, 실행자가 인식될 때 기준점으로부터 지시자의 방향 및 거리 특성에 따른 지시자의 분포를 확인할 수 있으며, 지시자의 분포에 따라 입력 영역의 범위가 결정될 수 있고 일 방향에서 입력 영역이 둘 이상으로 구분될 수 있다. 즉, 메모리(16)에 지시자의 방향 및 거리 특성을 저장하여 입력 신호의 생성 과정의 학습이 수행될 수 있다.

입력 영역의 범위를 결정하거나 일 방향에서 거리에 따라 입력 영역을 둘 이상으로 구분하기 위한 지시자의 방향 및 거리 특성을 저장하여 입력 신호의 생성 과정을 학습하는 방법으로는 사전 학습 방법 및 적응적 학습 방법이 있다. 사전 학습 방법은 실제 입력 신호를 생성하기 이전에 사용자가 입력 영역을 반복하여 선택하도록 하여 사용자가 움직이는 지시자의 방향 및 거리 특성을 메모리(16)에 저장하고 메모리(16)에 저장된 정보에 따라 입력 영역의 분포 및 범위를 먼저 결정하는 방법이다. 적응적 학습 방법은 사용자가 실제 입력 신호를 생성하기 위해 입력 영역을 선택할 때마다 지시자의 방향 및 거리 특성을 메모리(16)에 저장하고 메모리(16)에 저장된 정보에 따라 입력 영역의 분포 및 범위를 결정하거나 보정하는 방법이다.

신호 처리부(17)는 실행자가 인식되면 지시자가 지시하는 입력 영역에 대응하는 입력 신호를 생성한다. 신호 처리부(17)는 신호 입력 장치(10)에 연결되는 기기에 생성된 입력 신호를 전달한다.

음성 모듈(18)은 기준점이 설정되거나 지시자가 특정 입력 영역을 선택하거나 선택된 입력 영역에 대응하는 입력 신호가 생성될 때 해당 내용을 사용자에게 음성으로 알려 준다. 즉, 음성 모듈(18)은 기준점이 설정될 때 기준점 설정 정보를 사용자에게 음성으로 알려 줄 수 있다. 그리고 음성 모듈(18)은 지시자가 특정 입력 영역을 선택할 때 해당 입력 영역에 대응하는 입력 신호 정보를 사용자에게 음성으로 알려 줄 수 있다. 그리고 음성 모듈(18)은 선택된 입력 영역에 대응하는 입력 신호가 생성될 때 생성되는 입력 신호에 대한 입력 신호 정보를 사용자에게 음성으로 알려 줄 수 있다.

예를 들어, 기준점이 사용자의 얼굴이나 손을 기준으로 자동으로 설정되는 경우에는 기준점이 설정되었음을 사용자에게 알려 줄 필요는 없으나, 사용자가 특정 입력 영역을 선택하는 경우에는 입력 영역이 선택되었는지, 사용자가 선택한 입력 영역에 해당하는 입력 신호(기능)가 무엇인지 사용자에게 알려 줄 필요가 있다. 따라서, 기준점에 대해 입력 영역이 선택되면, 신호 처리부(17)는 선택된 입력 영역에 대응하는 입력 신호(기능)를 음성 모듈(18)에 전달하고, 음성 모듈(18)은 입력 신호(기능)를 음성으로 출력한다.

또한, 사용자가 특정 제스처로 기준점을 설정하는 경우에는 기준점이 설정되었음을 사용자에게 알려 줄 필요가 있다. 따라서, 사용자가 특정 제스처로 기준점을 설정하면, 기준점 설정부(13)는 기준점이 설정되었음을 음성 모듈(18)을 통해 사용자에게 알려 줄 수 있다.

또한, 사용자가 특정 입력 영역을 선택한 후 특정 제스처를 취하여 실행자를 인식시키는 경우에는 선택된 입력 영역에 대응하는 입력 신호의 출력(기능의 실행)을 사용자에게 알려 줄 필요가 있다. 따라서, 사용자가 특정 제스처로 실행자를 인식시키면, 신호 처리부(17)는 생성되는 입력 신호에 대응하는 음성이 음성 모듈(18)을 통해 사용자에게 알려 줄 수 있다.

기준점 설정, 지시자 추적 및 실행자 인식 과정은 사용자의 제스처를 인식하는 방법을 이용하여 수행될 수 있다. 또한, 기준점 설정, 지시자 추적 및 실행자 인식 과정은 접촉식 기술 및 비접촉식 기술을 이용하여 수행될 수 있다.

접촉식 기술은 사용자의 움직임 감지가 가능한 센서나 장치를 사용자가 직접 착용하여 인식하는 방법이다. 접촉식 기술은 사용자의 제스처 정보를 정확하게 획득할 수 있고 3차원 가상 객체들과의 상호작용을 효과적으로 수행할 수 있는 장점이 있다. 접촉식 기술의 대표적인 예로 광섬유, 마그네틱 센서, 자이로 센서 등을 이용한 데이터 글러브, 모션 트래커가 있다.

비접촉식 기술은 대부분 컴퓨터 비전 기술에 기반하고 있으며, 하나 이상의 카메라를 통해 획득한 영상으로부터 사용자의 움직임을 추적하고 인식한다. 시각적 기술에 기반한 비접촉식 방법은 초기화, 추적, 사용자 자세 예측 및 인식 과정을 거친다. 초기화 과정은 카메라 보정이라고 하며, 카메라의 내외부 파라미터를 결정하는 과정이다. 추적 과정은 사용자의 움직임이 있는 영상으로부터 특징 점들을 추출하고 추출된 특징 점들을 계속 추적하는 과정이다. 사용자 자세 예측 과정은 추적된 특징 점들을 분석함으로써 사용자의 자세를 예측하는 과정이다. 인식 과정은 사용자의 자세 예측을 통해 사용자의 움직임을 인식하는 과정이다.

비접촉식 기술은 접촉식 기술에 비해 사용자에게 더욱 자연스러운 움직임을 제공하는 이점이 있지만 사용자의 움직임에 대한 특징 점을 찾고 이를 추적하는데 어려움이 있다. 이를 해결하기 위해, 특정 마커를 사용자에게 부착하여 추적하는 방법이 사용된다. 마커는 스스로 발광하는 액티브 마커 및 스스로 발광하지 않고 빛을 반사하는 패시브 마커로 구분된다. 마커를 사용하지 않는 방법으로는 옵티컬 플로우, 배경 분리 기법, 모션 히스토리 이미지 기법 등이 있다.

한편, 기준점 및 지시자는 반드시 신체의 일부이거나 특정 마커와 같은 사물일 필요는 없다. 예를 들어, 다섯 손가락이 모여서 하나의 기준점이나 제스처를 표현하는 주체(지시자)가 될 수도 있고, 양손이 모여서 하나의 기준점이나 제스처를 표현하는 주체(지시자)가 될 수도 있고, 눈과 귀가 하나의 기준점이 될 수도 있다.

이와 같이, 기준점 및 지시자는 복수의 신체 부위 또는 사물의 집합이 될 수 있다. 이때, 기준점 및 지시자의 위치는 복수의 신체 부위 또는 복수의 사물의 위치를 기반으로 도출되는 위치가 될 수 있다. 예를 들어, 다섯 손가락 끝의 중간 위치, 양손을 잇는 직선의 중앙점 등이 기준점이나 지시자로 이용될 수 있다.

이하, 제안하는 신호 입력 장치(10)를 이용하여 입력 신호를 생성하는 방법에 대하여 설명한다. 도 2 내지 5에서 사용자의 얼굴 및 손을 이용하여 입력 신호를 생성하는 방법에 대하여 설명한다. 그리고 도 6 및 7에서 사용자의 양손을 이용하여 입력 신호를 생성하는 방법에 대하여 설명한다.

<사용자의 얼굴 및 손을 이용하여 입력 신호를 생성하는 방법>

도 2는 본 발명의 일 실시예에 따른 기준점을 설정하는 방법을 설명하기 위한 예시도이다. 도 3은 본 발명의 일 실시예에 따른 기준점에 대한 입력 영역을 나타내는 예시도이다. 도 4는 본 발명의 일 실시예에 따른 지시자를 추적하여 입력 영역을 선택하는 방법을 설명하기 위한 예시도이다. 도 5는 본 발명의 일 실시예에 따른 실행자를 인식하는 방법을 설명하기 위한 예시도이다.

도 2를 참조하면, 사용자의 얼굴을 인식하여 기준점을 설정하는 경우이다. 사용자의 얼굴(a)이 기준점으로 설정되거나 사용자의 얼굴(a)에서 일정 거리의 지점(b)이 기준점으로 설정될 수 있다.

사용자 촬영 영상에서 사용자의 얼굴을 인식하는 방법으로는 얼굴의 각 부분의 색상과 모양 정보, 얼굴의 피부 색조 정보로 얼굴 영역을 인식하는 방법이 사용될 수 있다. 사용자의 얼굴을 인식하는 방법은 공지된 다양한 방법이 사용될 수 있으며, 이에 대한 상세한 설명은 생략한다.

도 3을 참조하면, 기준점(C)을 중심으로 방사형으로 4개의 입력 영역(1 내지 4)이 배치는 경우이다. 각각의 입력 영역(1 내지 4)에는 서로 다른 기능의 입력 신호가 대응된다.

각각의 입력 영역(1 내지 4)의 범위는 미리 정해진 크기로 정해질 수 있다. 또는 각각의 입력 영역(1 내지 4)의 범위는 상술한 바와 같이 메모리(16)에 저장되는 지시자의 방향 및 거리 특성에 따른 입력 신호의 생성 과정의 학습에 따라 정해질 수 있다.

또는 각각의 입력 영역(1 내지 4)의 범위는 카메라 모듈(11)과 사용자 간의 거리에 따라 정해질 수 있다. 사용자가 카메라 모듈(11)에 가까이 위치하는 경우 각각의 입력 영역(1 내지 4)의 범위는 크게 조정되고, 사용자가 카메라 모듈(11)에서 멀리 위치하는 경우 각각의 입력 영역(1 내지 4)의 범위는 작게 조정될 수 있다. 사용자와 카메라 모듈(11) 간의 거리는 촬영 영상 내에 사용자의 전체 외형이 차지하는 비율을 이용하여 판단될 수 있다.

여기서는 기준점(C)을 중심으로 4개의 입력 영역(1 내지 4)이 좌측상단, 우측상단, 좌측하단 및 우측하단에 배치되는 경우를 나타내었으나, 기준점(C)을 중심으로 방사형으로 배치되는 입력 영역의 수, 크기 및 위치는 제한되지 않는다.

도 4를 참조하면, 사용자의 얼굴에서 일정 거리의 지점이 기준점(C)으로 설정되고, 기준점(C)을 중심으로 좌측상단, 우측상단, 좌측하단 및 우측하단에 4개의 입력 영역(1 내지 4)이 배치되며, 카메라 모듈(11)을 바라보는 사용자의 오른손이 지시자(P)로 지정된 경우이다.

사용자의 오른손은 컴퓨터 영상 처리 방법 또는 적외선을 이용하는 방법으로 인식/추적될 수 있다. 컴퓨터 영상 처리 방법으로 손의 움직임을 인식하기 어려운 경우 또는 비용을 줄이기 위한 설계의 경우에는 적외선 반사 마커를 이용할 수 있다. 즉, 사용자는 오른손에 적외선 반사 마커를 부착하거나 잡고 오른손을 움직이게 되면 사용자의 오른손이 쉽게 인식/추적될 수 있다.

사용자가 오른손을 들어 제1 입력 영역(1)에 위치시키면, 지시자 추적부(14)는 오른손을 추적하여 지시자(P)가 제1 입력 영역(1)을 선택하였음을 인식할 수 있다.

도 5를 참조하면, 입력 신호의 생성을 지시하는 실행자로 사용자의 손의 특정 제스처를 사용하는 경우이다.

사용자의 손의 특정 제스처를 실행자로 사용하는 경우, 지시자(P)로 사용되는 손을 원하는 입력 영역에 이동시킨 후 미리 정해진 특정 제스처로 취함으로써 실행자가 인식되도록 할 수 있다. 또는 지시자(P)로 사용되는 손과 다른 손을 미리 정해진 특정 제스처를 취하여 실행자가 인식되도록 할 수 있다.

예를 들어, 실행자가 사용자의 오른손을 도 5(a)와 같이 펴는 제스처인 경우, 사용자가 오른손을 도 5(a) 이외의 다른 제스처를 취한 상태에서 지시자(P)로 사용되는 손을 원하는 입력 영역에 이동시킨 후 오른손을 도 5(a)와 같이 펴는 제스처를 취하면, 실행자 인식부(15)는 실행자를 인식하여 입력 영역에 대응하는 입력 신호가 생성되도록 신호 처리부(17)에 입력 신호의 생성을 요청한다.

실행자는 도 5(b)와 같이 주먹을 쥐는 제스처, 도 5(c)와 같이 V자 표시를 하는 제스처 등 다양하게 정해질 수 있다. 이외에도 실행자는 손으로 표현 가능한 다양한 제스처뿐만 아니라 사용자의 얼굴을 찡그리거나 윙크하는 등의 표정 변화, 손을 앞으로 내밀거나 손으로 원을 그리는 등의 동작 등으로 정해질 수 있다.

도 4에서와 같이 사용자가 오른손을 들어 제1 입력 영역(1)에 위치시켜 제1 입력 영역(1)이 선택된 상태에서 실행자에 해당하는 특정 제스처를 취하면 제1 입력 영역(1)에 대응하는 입력 신호가 생성된다.

<사용자의 양손을 이용하여 입력 신호를 생성하는 방법>

도 6은 본 발명의 다른 실시예에 따른 기준점을 설정하고 입력 영역을 선택하는 방법을 설명하기 위한 예시도이다.

도 6을 참조하면, 사용자 촬영 영상에서 사용자의 양손을 인식하여 한손을 기준점(C)으로 설정하고 다른 한손을 지시자(P)로 설정하는 경우이다.

사용자 촬영 영상에서 사용자의 양손은 컴퓨터 영상 처리 방법 또는 적외선을 이용하는 방법으로 인식/추적될 수 있다. 예를 들어, 사용자의 양손을 인식/추적하는 방법으로 RGB 컬러 모델에서 피부색을 찾는 방법이 사용될 수 있다. 또는 사용자의 양손 중 어느 한손에는 제1 적외선 반사 마커가 부착되고 다른 한손에는 제2 적외선 반사 마커가 부착되어 제1 적외선 마커 및 제2 적외선 마커를 인식하여 추적할 수 있다. 이외에도, 사용자의 양손을 인식하는 방법은 공지된 다양한 방법이 사용할 수 있으며, 이에 대한 상세한 설명은 생략한다.

사용자의 양손 중에서 왼손이 기준점이 되고 오른손이 지시자가 되거나, 오른손이 기준점이 되고 왼손이 지시자가 될 수 있다. 사용자의 양손에서 기준점 및 지시자는 미리 설정될 수 있다. 또는 기준점으로 인식되는 제1 마커를 한손에 부착하고 지시자로 인식되는 제2 마커를 다른 한손에 부착하여 기준점이 되는 손 및 지시자가 되는 손을 사용자가 결정할 수 있다.

도 6(a)와 같이, 카메라 모듈(11)을 바라보는 사용자의 왼손이 기준점(C)이 되고 오른손이 지시자(P)로 지정되었다고 하자. 기준점 설정부(13)는 사용자의 제스처에서 사용자의 왼손을 추적하고 왼손의 위치를 기준점(C)으로 설정한다. 지시자 추적부(14)는 사용자의 오른손을 지시자(P)로써 추적한다.

도 6(b)와 같이, 기준점(C)을 중심으로 4개의 입력 영역(1 내지 4)이 좌측상단, 우측상단, 좌측하단 및 우측하단에 배치되는 경우, 사용자의 왼손(기준점(C))에 대한 오른손(지시자(P))의 상대적 위치에 해당하는 제1 입력 영역(1)이 선택된다.

도 5에서 설명한 바와 같이, 사용자가 실행자에 해당하는 특정 제스처를 취하게 되면 선택된 제1 입력 영역(1)에 대응하는 입력 신호가 생성된다.

도 7은 본 발명의 또 다른 실시예에 따른 기준점을 설정하고 입력 영역을 선택하는 방법을 설명하기 위한 예시도이다.

도 7을 참조하면, 사용자의 제스처에서 사용자의 양손에서 기준점(C)이 되는 손 및 지시자(P)가 되는 손이 미리 정해지지 않는 경우이다.

기준점(C) 및 지시자(P)가 미리 정해지지 않은 상태에서, 사용자의 양손이 인식/추적된다. 사용자의 양손 중에서 어느 한손이 실행자에 해당하는 제스처를 취하게 되면, 제스처를 취하는 한손이 지시자(P)가 되고 다른 한손이 기준점(C)된다. 또는 사용자의 양손 중에서 어느 한손이 실행자에 해당하는 제스처를 취하게 되면, 제스처를 취하는 한손이 기준점(C)이 되고 다른 한손이 지시자(P)가 된다.

도 7(a)와 같이, 실행자에 해당하는 제스처가 V자 표시를 하는 제스처이고, 실행자에 해당하는 제스처를 취하는 손이 지시자(P)가 된다고 하자. 사용자가 오른손으로 V자 표시를 하게 되면 오른손이 지시자(P)가 되고 왼손이 기준점(C)이 된다. 즉, 실행자 인식부(15)가 실행자에 해당하는 V자 표시를 하는 제스처를 인식하게 되면, 기준점 설정부(13)는 사용자의 왼손을 기준점(C)으로 설정하고, 지시자 추적부(14)는 사용자의 오른손을 지시자(P)로 설정한다. 실행자 인식부(15)는 기준점(C)에 대해 상대적 위치에 해당하는 입력 영역에 대응하는 입력 신호의 생성을 신호 처리부(17)에 요청한다.

도 7(b)와 같이, 기준점(C)을 중심으로 4개의 입력 영역(1 내지 4)이 좌측상단, 우측상단, 좌측하단 및 우측하단에 배치되는 경우, 사용자의 왼손(기준점(C))에서 오른손(지시자(P))의 상대적 위치에 해당하는 제1 입력 영역(1)이 선택된다. 그리고 제1 입력 영역(1)에 대응하는 입력 신호가 생성된다.

여기서는 사용자의 양손 중에서 기준점이 되는 손 및 지시자가 되는 손이 미리 정해지지 않는 경우에 대하여 설명하였으나, 기준점 및 지시자가 되는 것이 반드시 사용자의 양손일 필요는 없다. 사용자의 신체 부위 중에서 양손 이외의 다른 부분이 기준점 및 지시자가 되는 경우에도 실행자를 인식한 이후에 기준점 및 지시자를 설정하고 선택된 입력 영역을 파악하여 대응하는 입력 신호를 생성할 수 있다.

<기준점에 대한 입력 영역의 분포>

기준점과 지시자 간의 상대적인 위치는 기준점에 대한 입력 영역의 분포에 따라 상대적인 방향, 또는 상대적인 거리, 또는 상대적인 방향과 거리의 조합으로 표현될 수 있다. 이에 대해 도 8 내지 10에서 설명한다.

도 8은 본 발명의 다른 실시예에 따른 기준점에 대한 입력 영역을 나타내는 예시도이다.

도 8을 참조하면, 2개의 입력 영역(1, 2)이 기준점(C)의 좌우에 각각 배치되는 경우이다. 이러한 경우에는 사용자 촬영 영상에서 기준점(C)과 지시자 간의 상대적 위치는 기준점(C)에 대한 상대적인 방향으로만 구분될 수 있다. 사용자가 기준점(C)에 대해 지시자를 좌측으로 위치시키면 제1 입력 영역(1)이 선택되고, 기준점(C)에 대해 우측으로 지시자를 위치시키면 제2 입력 영역(2)이 선택된다.

2개의 입력 영역이 기준점의 상하에 배치되는 경우에도 마찬가지로 기준점과 지시자 간의 상대적 위치는 기준점에 대한 상대적인 방향만으로만 구분될 수 있다.

도 9는 본 발명의 또 다른 실시예에 따른 기준점에 대한 입력 영역을 나타내는 예시도이다.

도 9를 참조하면, 2개의 입력 영역(1, 2)이 기준점(C)의 좌측에 배치되는 경우이다. 이러한 경우에는 사용자 촬영 영상에서 기준점(C)과 지시자 간의 상대적 위치는 기준점(C)에 대한 상대적인 거리로 구분될 수 있다. 사용자가 기준점(C)에 대해 지시자를 좌측 방향으로 제1 입력 영역(1)에 해당하는 거리에 위치시키면 제1 입력 영역(1)이 선택되고, 기준점(C)에 대해 지시자를 좌측 방향으로 제2 입력 영역(2)에 해당하는 거리에 위치시키면 제2 입력 영역(2)이 선택된다.

2 이상의 입력 영역이 기준점의 좌측에 배치되는 경우, 우측에 배치되는 경우, 상측에 배치되는 경우, 하측에 배치되는 경우 등에서도 기준점과 지시자 간의 상대적 위치는 기준점에 대한 상대적인 거리로 구분될 수 있다.

도 10은 본 발명의 또 다른 실시예에 따른 기준점에 대한 입력 영역을 나타내는 예시도이다.

도 10을 참조하면, 4개의 입력 영역(1 내지 4)이 기준점(C)의 좌우에 각각 2개씩 배치되는 경우이다. 이러한 경우에는 사용자 촬영 영상에서 기준점(C)과 지시자 간의 상대적 위치는 기준점(C)에 대한 상대적인 방향과 거리의 조합으로 구분될 수 있다. 사용자는 기준점(C)에 대해 지시자를 좌측 방향으로 제1 입력 영역(1)에 해당하는 거리 및 제2 입력 영역(2)에 해당하는 거리로 구분하여 위치시키고, 기준점(C)에 대해 지시자를 우측 방향으로 제3 입력 영역(3)에 해당하는 거리 및 제4 입력 영역(4)에 해당하는 거리로 구분하여 위치시켜야 한다.

기준점에 대한 지시자의 상대적인 방향 표현은 다양한 사용자들 간에도 큰 차이가 없이 쉽게 인식될 수 있다. 그러나 기준점에 대한 지시자의 상대적인 거리 표현은 다양한 사용자들 간에 많은 차이가 날 수 있고 쉽게 인식되지 않을 수 있다.

예를 들어, 도 9에서와 같이 입력 영역이 분포될 때 사용자 A는 제1 입력 영역(1)을 기준점(C)에서 10cm 정도의 위치에 설정할 수 있고, 사용자 B는 제1 입력 영역(1)을 기준점(C)에서 20cm 정도의 위치에 설정할 수 있다. 사용자 B 입장에서 기준점(C)에서 10cm 정도의 위치는 제1 입역 영역(1)에 해당하지 않고 제2 입력 영역(2)에 해당하게 된다.

즉, 방향 표현은 사용자들 간에 일관성이 있는 반면, 거리 표현은 사용자들의 주관적인 판단에 따라 매우 다양할 수 있다.

이러한 문제를 해결하기 위해, 각 사용자들의 주관적인 거리 표현을 신호 입력 장치(10)가 먼저 학습하는 방법을 사용할 수 있다. 예를 들어, 도 9에서 제1 입력 영역(1) 및 제2 입력 영역(2)를 번갈아 제시하면서 사용자에게 각 기능에 대한 거리를 먼저 표현해 보도록 한다. 신호 입력 장치(10)는 메모리(16)에 기준점에 대한 지시자의 거리 특성을 사용자별로 기록한다. 신호 입력 장치(10)는 메모리(16)에 기록된 사용자별 기준점에 대한 지시자의 거리 특성을 이용하여 해당 사용자의 스케일에 맞추어 기준점(C)으로부터 지시자까지 거리와 입력 영역을 매칭시킬 수 있다.

도 11은 본 발명의 일 실시예에 따른 신호 입력 방법을 나타내는 흐름도이다.

도 11을 참조하면, 신호 입력 장치(10)는 카메라 모듈(11)을 통해 촬영되는 사용자 촬영 영상에서 사용자의 제스처를 인식한다(S110).

신호 입력 장치(10)는 사용자의 제스처를 기반으로 사용자 촬영 영상에서 기준점을 설정한다(S120). 사용자의 얼굴 또는 사용자의 얼굴에서 일정 거리의 지점이 기준점으로 설정될 수 있다. 또는 사용자의 왼손 및 오른손 중 어느 하나가 기준점으로 설정될 수 있다.

신호 입력 장치(10)는 사용자의 제스처를 기반으로 사용자 촬영 영상에서 기준점에 대한 상대적 위치의 입력 영역을 선택하는 지시자를 추적한다(S130). 사용자의 얼굴 또는 사용자의 얼굴에서 일정 거리의 지점이 기준점으로 설정될 때, 사용자의 왼손 및 오른손 중 적어도 어느 하나가 지시자로 지정될 수 있다. 사용자의 왼손 및 오른손 중 어느 하나가 기준점으로 설정될 때, 사용자의 왼손 및 오른손 중 다른 하나가 지시자로 지정될 수 있다. 신호 입력 장치(10)는 지시자가 어떤 입력 영역을 선택하는지 추적한다. 입력 영역은 기준점에서 일 방향으로 거리에 따라 둘 이상으로 구분될 수 있고, 신호 입력 장치(10)는 일 방향으로 거리에 따라 둘 이상으로 구분되는 입력 영역 중에서 어느 입력 영역이 선택되는지 추적할 수 있다. 신호 입력 장치(10)는 음성 모듈(18)을 통해 선택된 입력 영역에 대응하는 입력 신호(기능)를 음성으로 사용자에게 알려 줄 수 있다.

신호 입력 장치(10)는 사용자의 제스처를 기반으로 사용자 촬영 영상에서 입력 신호의 생성을 지시하는 실행자를 인식한다(S140). 실행자는 사용자의 얼굴, 왼손 및 오른손 중 적어도 어느 하나의 미리 정해진 제스처일 수 있다. 실행자는 지시자가 지시하는 입력 영역에 대응하는 입력 신호의 생성을 지시한다.

신호 입력 장치(10)는 실행자의 인식에 따라 선택된 입력 영역에 대응하는 입력 신호를 생성한다(S150). 신호 입력 장치(10)는 기준점에서 일 방향으로 거리에 따라 둘 이상으로 구분되는 입력 영역 중에서 어느 하나의 입력 영역이 선택될 때, 선택된 입력 영역에 대응하는 입력 신호를 생성할 수 있다. 신호 입력 장치(10)는 음성 모듈(18)을 통해 입력 신호(기능)가 실행되었음을 음성으로 사용자에게 알려 줄 수 있다.

이와 같이, 기준점 및 지시자가 먼저 지정된 후 실행자의 인식에 따라 선택된 입력 영역에 해당하는 입력 신호가 생성되도록 할 수 있다. 그러나 기준점 및 지시자가 반드시 먼저 지정될 필요 없이 실행자의 인식에 따라 기준점 및 지시자가 결정될 수 있다.

도 12는 본 발명의 다른 실시예에 따른 신호 입력 방법을 나타내는 흐름도이다.

도 12를 참조하면, 신호 입력 장치(10)는 카메라 모듈(11)을 통해 촬영되는 사용자 촬영 영상에서 사용자의 제스처를 인식한다(S210).

신호 입력 장치(10)는 사용자의 제스처를 기반으로 사용자 촬영 영상에서 제1 지시자 및 제2 지시자를 추적한다(S220). 제1 지시자 및 제2 지시자는 사용자의 얼굴, 왼손 및 오른 손 중 적어도 어느 하나일 수 있다. 예를 들어, 제1 지시자는 사용자의 얼굴이고 제2 지시자는 사용자의 왼손이나 오른손이 될 수 있다. 또는 제1 지시자는 사용자의 왼손이 되고 제2 지시자는 사용자의 오른손이 될 수 있다.

신호 입력 장치(10)는 사용자의 제스처를 기반으로 사용자 촬영 영상에서 실행자를 인식한다(S230). 실행자는 미리 정해진 제스처로서 사용자의 얼굴, 왼손 및 오른손 중 적어도 어느 하나의 미리 정해진 제스처일 수 있다. 실행자는 제1 지시자의 미리 정해진 제스처일 수 있다. 즉, 제1 지시자가 사용자의 얼굴인 경우 사용자의 얼굴의 미리 정해진 표정에 따라 실행자가 인식될 수 있다. 또는 제1 지시자가 사용자의 왼손인 경우 사용자의 왼손의 미리 정해진 제스처에 따라 실행자가 인식될 수 있다.

신호 입력 장치(10)는 사용자의 제스처를 기반으로 사용자 촬영 영상에서 실행자가 인식되면 제1 지시자 및 제2 지시자 중 어느 하나를 기준점으로 설정한다(S240). 제1 지시자가 기준점으로 설정되는 경우 제2 지시자가 입력 영역을 선택하는 지시자가 된다. 제2 지시자가 기준점으로 설정되는 경우 제1 지시자가 입력 영역을 선택하는 지시자가 된다. 실행자가 인식될 때 제1 지시자 및 제2 지시자 중에서 기준점으로 설정되는 것은 사전에 미리 정해질 수 있다.

제1 지시자 및 제2 지시자 중 어느 하나가 기준점으로 설정됨에 따라, 기준점에 대한 제1 지시자 및 제2 지시자 중 다른 하나의 상대적 위치의 입력 영역이 선택된다.

신호 입력 장치(10)는 선택된 입력 영역에 대응하는 입력 신호를 생성한다(S250). 기준점에서 일 방향으로 거리에 따라 둘 이상으로 입력 영역이 구분될 때, 신호 입력 장치(10)는 둘 이상의 입력 영역 중에서 지시자가 선택하는 입력 영역에 대응하는 입력 신호를 생성할 수 있다. 신호 입력 장치(10)는 선택된 입력 영역에 대응하는 입력 신호(기능) 및 입력 신호(기능)가 실행되었음을 음성으로 사용자에게 알려 줄 수 있다.

도 13은 본 발명의 또 다른 실시예에 따른 신호 입력 방법을 나타내는 흐름도이다.

도 13을 참조하면, 신호 입력 장치(10)는 카메라 모듈(11)을 통해 촬영되는 사용자 촬영 영상에서 사용자의 제스처를 인식한다(S310).

신호 입력 장치(10)는 사용자의 제스처를 기반으로 사용자 촬영 영상에서 기준점 설정 제스처를 인식한다(S320). 기준점 설정 제스처는 사용자 촬영 영상 상에서 기준점 설정 제스처가 취해진 위치를 기준점으로 설정하는 제스처이다. 기준점 설정 제스처는 손으로 표현 가능한 제스처, 사용자의 얼굴을 찡그리거나 윙크하는 표정 변화, 손을 앞으로 내밀거나 손으로 원을 그리는 동작 등으로 다양하게 정해질 수 있다.

신호 입력 장치(10)는 기준점 설정 제스처가 취해진 위치를 기준점으로 설정한다(S330). 기준점 설정 제스처로 취해진 기준점은 일정 기간 동안 기준점으로 유지되거나, 기준점 설정을 해제하는 기준점 해제 제스처가 취해질 때까지 기준점으로 지속적으로 유지될 수 있다. 이때, 신호 입력 장치(10)는 기준점이 설정되었음을 지시하는 기준점 설정 정보를 음성으로 사용자에게 알려 줄 수 있다.

신호 입력 장치(10)는 사용자의 제스처를 기반으로 사용자 촬영 영상에서 기준점에 대한 상대적 위치의 입력 영역을 선택하는 지시자를 추적한다(S340). 지시자가 선택하는 입력 영역은 기준점 설정 제스처에 의해 설정된 기준점에 대한 상대적 위치로 결정된다. 이때, 신호 입력 장치(10)는 지시자가 선택한 입력 영역에 대응하는 입력 신호(기능)를 사용자에게 음성으로 알려 줄 수 있다.

신호 입력 장치(10)는 사용자의 제스처를 기반으로 사용자 촬영 영상에서 입력 신호의 생성을 지시하는 실행자를 인식한다(S350). 실행자는 사용자의 얼굴, 왼손 및 오른손 중 적어도 어느 하나의 미리 정해진 제스처일 수 있다. 실행자는 지시자가 지시하는 입력 영역에 대응하는 입력 신호의 생성을 지시한다.

신호 입력 장치(10)는 실행자의 인식에 따라 선택된 입력 영역에 대응하는 입력 신호를 생성한다(S360). 신호 입력 장치(10)는 입력 신호(기능)가 실행되었음을 음성으로 사용자에게 알려 줄 수 있다.

신호 입력 장치(10)는 사용자의 입력이 종료되었는지 여부를 판단한다(S370). 신호 입력 장치(10)는 사용자 촬영 영상에서 일정 시간 동안 사용자의 제스처가 인식되지 않거나 입력 종료를 지시하는 특정 제스처가 인식되는 경우 입력을 종료할 수 있다. 기준점 해제 제스처가 입력 종료를 지시하는 특정 제스처가 될 수 있다. 예를 들어, 사용자가 기준점 해제 제스처를 취하게 되면, 신호 입력 장치(10)는 설정된 기준점을 해제하고 기준점에 대한 지시자를 인식/추적하는 과정을 종료한다. 기준점 해제 제스처는 기준점 설정 제스처 및 실행자와 구분되는 사용자 제스처일 수 있다. 또는 기준점 해제 제스처는 기준점 설정 제스처와 동일한 사용자 제스처일 수 있다. 예를 들어, 특정 제스처가 처음 인식되면 기준점이 설정되고, 동일한 특정 제스처가 다시 인식되면 기준점이 해제될 수 있다. 이때, 신호 입력 장치(10)는 기준점이 해제되었음을 지시하는 기준점 해제 정보를 사용자에게 음성으로 알려 줄 수 있다.

만일, 사용자의 입력이 종료되지 않는 경우, 즉 사용자의 제스처가 지속적으로 인식되거나 기준점 해제 제스처가 취해지지 않는 경우에는 신호 입력 장치(10)는 기준점 설정 제스처에 의해 설정된 기준점을 기준으로 지시자 추적 과정(S340), 실행자 인식 과정(S350) 및 입력 신호 생성 과정(S360)을 반복적으로 수행할 수 있다.

따라서, 사용자는 기준점을 한번 설정한 이후에 자신이 설정한 기준점을 기준으로 다수의 입력 신호가 생성되도록 할 수 있다.

지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

10 : 신호 입력 장치
11 : 카메라 모듈
12 : 제스처 인식부
13 : 기준점 설정부
14 : 지시자 추적부
15 : 실행자 인식부
16 : 메모리
17 : 신호 처리부
18 : 음성 모듈

Claims (43)

1. 사용자 촬영 영상에서 기준점을 설정하는 기준점 설정부;
   상기 사용자 촬영 영상에서 상기 기준점에 대한 상대적 위치의 입력 영역을 선택하는 지시자를 추적하는 지시자 추적부;
   상기 사용자 촬영 영상에서 상기 입력 영역에 대응하는 입력 신호의 생성을 지시하는 실행자를 인식하는 실행자 인식부; 및
   상기 실행자가 인식되면 상기 입력 영역에 대응하는 입력 신호를 생성하는 신호 처리부를 포함하는 신호 입력 장치.
2. 제1 항에 있어서,
   상기 기준점은 사용자의 얼굴 또는 상기 사용자의 얼굴에서 일정 거리의 지점인 신호 입력 장치.
3. 제2 항에 있어서,
   상기 지시자는 상기 사용자의 왼손 및 오른손 중 적어도 어느 하나인 신호 입력 장치.
4. 제3 항에 있어서,
   상기 지시자는 상기 사용자의 왼손 및 오른손 중에서 마커가 있는 손인 신호 입력 장치.
5. 제3 항에 있어서,
   상기 실행자는 상기 사용자의 왼손 및 오른손 중에서 적어도 어느 하나의 미리 정해진 제스처인 신호 입력 장치.
6. 제1 항에 있어서,
   상기 기준점은 사용자의 왼손 및 오른손 중 어느 하나이고 상기 지시자는 상기 사용자의 왼손 및 오른손 중 다른 하나인 신호 입력 장치.
7. 제6 항에 있어서,
   상기 기준점 및 상기 지시자 중 적어도 어느 하나는 미리 정해진 특정 제스처를 취하는 손인 신호 입력 장치.
8. 제6 항에 있어서,
   상기 기준점 및 상기 지시자 중 적어도 어느 하나는 마커가 있는 손인 신호 입력 장치.
9. 제6 항에 있어서,
   상기 실행자는 상기 사용자의 왼손 및 오른손 중에서 적어도 어느 하나의 미리 정해진 제스처인 신호 입력 장치.
10. 제1 항에 있어서,
    상기 기준점 설정부는 상기 사용자 촬영 영상 상에서 기준점 설정 제스처가 취해진 위치를 상기 기준점으로 설정하는 신호 입력 장치.
11. 제10 항에 있어서,
    상기 기준점 설정부는 상기 기준점 설정 제스처에 의해 설정된 기준점을 일정 기간 동안 유지하는 신호 입력 장치.
12. 제10 항에 있어서,
    상기 기준점 설정부는 상기 기준점 설정 제스처에 의해 설정된 기준점을 기준점 설정을 해제하는 기준점 해제 제스처가 취해질 때까지 유지하는 신호 입력 장치.
13. 제1 항에 있어서,
    상기 기준점으로부터 상기 지시자의 방향 및 거리 특성을 저장하는 메모리를 더 포함하는 신호 입력 장치.
14. 제13 항에 있어서,
    상기 실행자 인식부는 상기 메모리에 저장된 지시자의 방향 및 거리 특성에 따라 상기 입력 영역의 범위를 결정하는 신호 입력 장치.
15. 제13 항에 있어서,
    상기 실행자 인식부는 상기 메모리에 저장된 지시자의 방향 및 거리 특성에 따라 일 방향에서 거리에 따라 입력 영역을 둘 이상으로 구분하는 신호 입력 장치.
16. 제15 항에 있어서,
    상기 신호 처리부는 상기 일 방향에서 거리에 따른 둘 이상의 입력 영역에 대응하여 둘 이상의 입력 신호를 생성하는 신호 입력 장치.
17. 제14 항 및 제15 항 중 어느 한 항에 있어서,
    상기 메모리에는 실제 입력 신호를 생성하기 이전에 사용자가 입력 영역을 반복하여 선택하도록 하여 사용자가 움직이는 지시자의 방향 및 거리 특성이 저장되는 사전 학습 방법을 이용하는 신호 입력 장치.
18. 제14 항 및 제15 항 중 어느 한 항에 있어서,
    상기 메모리에는 실제 입력 신호를 생성하기 위해 사용자가 입력 영역을 선택할 때마다 지시자의 방향 및 거리 특성이 저장되는 적응적 학습 방법을 이용하는 신호 입력 장치.
19. 제1 항에 있어서,
    상기 입력 영역에 대응하는 입력 신호 정보를 사용자에게 음성으로 알려 주는 음성 모듈을 더 포함하는 신호 입력 장치.
20. 제19 항에 있어서,
    상기 음성 모듈은 상기 기준점이 설정될 때 기준점 설정 정보를 사용자에게 음성으로 알려 주는 신호 입력 장치.
21. 제20 항에 있어서,
    상기 음성 모듈은 상기 기준점이 해제될 때 기준점 해제 정보를 사용자에게 음성으로 알려 주는 신호 입력 장치.
22. 사용자 촬영 영상에서 기준점을 설정하는 단계;
    상기 사용자 촬영 영상에서 상기 기준점에 대한 상대적 위치의 입력 영역을 선택하는 지시자를 추적하는 단계;
    상기 사용자 촬영 영상에서 상기 입력 영역에 대응하는 입력 신호의 생성을 지시하는 실행자를 인식하는 단계; 및
    상기 실행자의 인식에 따라 상기 입력 영역에 대응하는 입력 신호를 생성하는 단계를 포함하는 신호 입력 방법.
23. 제22 항에 있어서,
    상기 기준점을 설정하는 단계는
    사용자의 얼굴 또는 상기 사용자의 얼굴에서 일정 거리의 지점을 상기 기준점으로 설정하는 단계를 포함하는 신호 입력 방법.
24. 제23 항에 있어서,
    상기 지시자를 추적하는 단계는
    상기 사용자의 왼손 및 오른손 중 적어도 어느 하나를 추적하는 단계를 포함하는 신호 입력 방법.
25. 제24 항에 있어서,
    상기 실행자를 인식하는 단계는
    상기 사용자의 얼굴, 왼손 및 오른손 중 적어도 어느 하나의 미리 정해진 제스처를 인식하는 단계를 포함하는 신호 입력 방법.
26. 제22 항에 있어서,
    상기 기준점을 설정하는 단계는
    사용자의 왼손 및 오른손 중 어느 하나를 상기 기준점으로 설정하는 단계를 포함하는 신호 입력 방법.
27. 제26 항에 있어서,
    상기 지시자를 추적하는 단계는
    상기 사용자의 왼손 및 오른손 중 다른 하나를 추적하는 단계를 포함하는 신호 입력 방법.
28. 제27 항에 있어서,
    상기 실행자를 인식하는 단계는
    상기 사용자의 왼손 및 오른손 중 적어도 어느 하나의 미리 정해진 제스처를 인식하는 단계를 포함하는 신호 입력 방법.
29. 제22 항에 있어서,
    상기 지시자를 추적하는 단계는
    일 방향으로 거리에 따라 둘 이상으로 구분되는 입력 영역 중에서 어느 하나를 선택하는 지시자를 추적하는 단계를 포함하는 신호 입력 방법.
30. 제29 항에 있어서,
    상기 입력신호를 생성하는 단계는
    상기 일 방향으로 거리에 따라 둘 이상으로 구분되는 입력 영역 중에서 상기 지시자가 선택하는 입력 영역에 대응하는 입력 신호를 생성하는 단계를 포함하는 신호 입력 방법.
31. 제22 항에 있어서,
    상기 지시자를 추적하는 단계는
    상기 지시자에 의해 선택된 입력 영역에 대응하는 입력 신호 정보를 사용자에게 음성으로 알려 주는 단계를 포함하는 신호 입력 방법.
32. 제22 항에 있어서,
    상기 입력 신호를 생성하는 단계는
    상기 입력 신호의 생성시에 상기 입력 영역에 대응하는 입력 신호 정보를 사용자에게 음성으로 알려 주는 단계를 포함하는 신호 입력 방법.
33. 제22 항에 있어서,
    상기 입력 신호의 생성시에 상기 기준점에 대한 상기 지시자의 방향 및 거리 특성을 저장하는 단계를 더 포함하는 신호 입력 방법.
34. 사용자 촬영 영상에서 제1 지시자 및 제2 지시자를 추적하는 단계;
    상기 제1 지시자의 미리 정해진 제스처를 인식하는 단계;
    상기 제1 지시자 및 제2 지시자 중 어느 하나를 기준점으로 설정하는 단계; 및
    상기 기준점에 대한 상기 제1 지시자 및 제2 지시자 중 다른 하나의 상대적 위치의 입력 영역에 대응하는 입력 신호를 생성하는 단계를 포함하는 신호 입력 방법.
35. 제34 항에 있어서,
    상기 제1 지시자 및 제2 지시자를 추적하는 단계는
    사용자의 얼굴, 왼손 및 오른손 중 적어도 어느 하나를 추적하는 단계를 포함하는 신호 입력 방법
36. 제34 항에 있어서,
    상기 미리 정해진 제스처를 인식하는 단계는
    사용자의 얼굴, 왼손 및 오른손 중 적어도 어느 하나의 미리 정해진 제스처를 인식하는 단계를 포함하는 신호 입력 방법.
37. 제34 항에 있어서,
    상기 입력신호를 생성하는 단계는
    상기 기준점에서 일 방향으로 거리에 따라 둘 이상으로 구분되는 입력 영역 중에서 상기 지시자가 선택하는 입력 영역에 대응하는 입력 신호를 생성하는 단계를 포함하는 신호 입력 방법.
38. 제34 항에 있어서,
    상기 입력 신호를 생성하는 단계는
    상기 입력 신호의 생성시에 상기 입력 영역에 대응하는 입력 신호 정보를 사용자에게 음성으로 알려 주는 단계를 포함하는 신호 입력 방법.
39. 사용자 촬영 영상에서 기준점 설정 제스처를 인식하는 단계;
    상기 기준점 설정 제스처가 취해진 위치를 상기 사용자 촬영 영상 상의 기준점으로 설정하는 단계;
    상기 사용자 촬영 영상에서 상기 기준점에 대한 상대적 위치의 입력 영역을 선택하는 지시자를 추적하는 단계;
    상기 사용자 촬영 영상에서 상기 입력 영역에 대응하는 입력 신호의 생성을 지시하는 실행자를 인식하는 단계; 및
    상기 실행자의 인식에 따라 상기 입력 영역에 대응하는 입력 신호를 생성하는 단계를 포함하는 신호 입력 방법.
40. 제39 항에 있어서,
    상기 기준점은 지속적으로 유지되고 상기 지시자를 추적하는 단계, 상기 실행자를 인식하는 단계 및 상기 입력 신호를 생성하는 단계가 반복되는 신호 입력 방법.
41. 제39 항에 있어서,
    상기 기준점으로 설정하는 단계는
    상기 기준점의 설정을 사용자에게 음성으로 알려 주는 단계를 포함하는 신호 입력 방법.
42. 제39 항에 있어서,
    상기 사용자 촬영 영상에서 상기 기준점의 해제를 지시하는 기준점 해제 제스처를 인식하여 상기 기준점을 해제하는 단계를 더 포함하는 신호 입력 방법.
43. 제42 항에 있어서,
    상기 기준점을 해제하는 단계는
    상기 기준점의 해제를 지시하는 기준점 해제 정보를 사용자에게 음성으로 알려 주는 단계를 포함하는 신호 입력 방법.

Images