KR100858358B1

KR100858358B1 - 손의 움직임 인식을 이용한 사용자인터페이스 장치 및 방법

Info

Publication number: KR100858358B1
Application number: KR1020070015439A
Authority: KR
Inventors: 김철우
Original assignee: 김철우
Priority date: 2006-09-29
Filing date: 2007-02-14
Publication date: 2008-09-11
Also published as: KR20080029730A

Abstract

본 발명은 손의 움직임 인식을 이용한 사용자인터페이스 장치 및 방법에 관한 것으로, 특히 사용자의 손의 움직임 및 모양을 인식하여 컴퓨터 등의 전자 기기에 사용자인터페이스를 제공하도록 손의 움직임 인식을 이용한 사용자인터페이스 장치 및 방법에 관한 것이다.

또한, 허공에서 움직이는 사용자의 손을 촬영하는 영상촬영수단; 및 상기 영상촬영수단에서 촬영된 손의 움직임에 의거하여 마우스나 키보드 입력에 상응하는 데이터 입력신호를 생성하고, 상기 생성된 데이터 입력신호를 마우스나 키보드의 입력을 처리하는 사용자명령처리수단으로 출력하는 사용자명령인식수단을 포함하여 이루어진다.

Description

손의 움직임 인식을 이용한 사용자인터페이스 장치 및 방법{Method and apparatus for user-interface using the hand trace}

도 1은 본 발명의 일 실시예에 따른 손의 움직임 인식을 이용한 사용자인터페이스 장치의 블록 구성도,

도 2는 본 발명의 제 1 실시예에 따른 마우스 데이터를 입력하는 도 1 의 사용자명령인식수단의 블록 구성도,

도 3은 본 발명의 제 1 실시예에 따른 마우스 데이터를 입력하는 방법을 설명하기 위한 흐름도,

도 4 및 도 5는 각각 본 발명의 제 2 실시예와 이의 변형 실시예에 따른 문자 데이터를 입력하는 도 1의 사용자명령인식수단의 블록 구성도,

도 6 및 도 7은 각각 본 발명의 제 2 실시예와 이의 변형 실시예에 따른 문자 데이터를 입력하는 방법을 설명하기 위한 흐름도,

도 8은 본 발명의 제 3 실시예에 따른 화면 스크롤 데이터를 입력하는 도 1의 사용자명령인식수단의 블록 구성도,

도 9은 본 발명의 제 3 실시예에 따른 화면 스크롤 데이터를 입력하는 방법을 설명하기 위한 흐름도,

도 10는 본 발명의 제 4 실시예에 따른 마우스와 문자입력 모드를 구현하는 도 1 의 사용자명령인식수단의 블록 구성도,

도 11은 본 발명의 제 4 실시예에 따른 마우스와 문자입력 모드를 구현하는 방법을 설명하기 위한 흐름도,

도 12 내지 도 14는 손모양을 추출하여 이를 인식하는 일 예를 도시하는 도면,

도 15 내지 도 17은 손모양을 추출하여 이를 인식하는 다른 예를 도시하는 도면,

도 18은 패턴 데이터베이스에 저장된 각 문자 패턴의 일 예를 도시하는 도면,

도 19 내지 도 23은 손모양을 추출하여 이를 인식하는 또 다른 예를 도시하는 도면,

도 24 내지 도 26은 각각 본 발명에 따른 손의 움직임 인식을 이용한 사용자인터페이스 장치가 탑재된 단말기의 예를 도시한 도면이다.

*** 도면의 주요 부분에 대한 부호의 설명 ***

100: 영상촬영수단 200: 사용자명령인식수단

210: 손모양추출부 220: 노이즈제거부

230: 손모양인식부 240: 위치신호생성부

250: 클릭신호생성부 260: 문자신호생성부

261: 획생성모듈 262: 획조합모듈

263: 패턴비교모듈 264, 267: 패턴DB

265: 패턴생성모듈 266: 패턴비교모듈

270: 스크롤신호생성부 280: 모드설정부

전자공학의 발전과 함께 컴퓨터는 사무실과 가정에서 없어서는 안될 중요한 기능을 수행하는 생활의 필수품으로서 자리매김하였고, 이러한 컴퓨터에 데이터를 입력하는 장치로서, 마우스 및 키보드가 일반적으로 사용되고 있다.

또한, 반도체의 집적률이 높아지고, 데이터의 처리속도가 빨라짐에 따라서 기존의 데스크탑형 컴퓨터의 기능은 PDA, PSP, PMP 등과 같은 소형의 휴대용 단말기에서 구현될 수 있게 됨에 따라서, 점점 휴대용 단말기의 이용이 증가추세에 있다. 그러나, 이러한 휴대용 단말기 종래의 데스크탑형 컴퓨터에서 이용하는 입력 장치인 마우스나 키보드는 물리적인 구성요소들로 이루어져 있으므로, 그 크기를 소형화하는데 한계가 있을 뿐만 아니라, 설령 소형화 된다 하더라도, 휴대용 단말기와 함께 소형화된 마우스나 키보드를 항상 소지하는 것을 사용상의 많은 불편함을 초래하였다.

뿐만 아니라, 기존의 마우스 등의 입력 장치는 평탄한 바닥에 받치고 사용하여야 하고, 책상의 바닥이 유리로 덮여져 있거나, 먼지나 이 물질등이 많이 묻어있 는 경우에는 정확하게 데이터를 입력할 수 없는 장소적 제약 또한 존재한다.

본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 별도의 입력 장치를 사용함 없이, 사용자의 손동작 및 손의 움직임만으로 사용자가 원하는 데이터를 입력할 수 있도록 한 손의 움직임 인식을 이용한 사용자인터페이스 장치 및 방법을 제공하는데 그 목적이 있다.

전술한 목적을 달성하기 위해 본 발명의 일 실시예에 따른 손의 움직임 인식을 이용한 사용자인터페이스 장치는 허공에서 움직이는 사용자의 손을 촬영하는 영상촬영수단; 및 상기 영상촬영수단에서 촬영된 손의 움직임에 의거하여 마우스나 키보드 입력에 상응하는 데이터 입력신호를 생성하고, 상기 생성된 데이터 입력신호를 마우스나 키보드의 입력을 처리하는 사용자명령처리수단으로 출력하는 사용자명령인식수단을 포함하여 이루어지는 손의 움직임 인식을 이용한 사용자인터페이스 장치를 제공한다.

전술한 구성에서, 상기 사용자명령인식수단은: 상기 영상촬영수단에서 입력되는 영상에서 손모양을 추출하는 손모양추출부; 및 상기 손모양추출부에서 추출된 손모양의 변화와 이동을 인식하는 손모양인식부를 포함하여 이루어지는 것이 바람직하다.

또한, 상기 사용자명령인식수단은 상기 손모양추출부에서 추출된 손모양 영상에서 노이즈를 제거하고, 노이즈가 제거된 영상을 상기 손모양인식부로 출력하는 노이즈제거부를 더 포함하여 이루어지는 것이 바람직할 것이다.

또한, 상기 손모양추출부는 상기 영상촬영수단에서 입력되는 영상에서 손과 배경 간의 색상 차이를 이용하여 손모양을 추출하는 것이 바람직하다.

또한, 상기 손모양추출부는 상기 영상촬영수단에서 입력되는 영상에서 손의 윤곽선을 추출하는 것이 바람직하다.

또한, 상기 손모양인식부는 검지가 접혔다가 다시 펴지는 동작에 의해 마우스 기능을 온 또는 오프시키는 것이 바람직하다.

또한, 상기 손모양인식부는 검지가 접혀진 상태인 경우에는 마우스 기능을 오프시키고, 검지가 펴진 상태인 경우에는 마우스 기능을 온시키는 것이 바람직하다.

또한, 상기 손모양인식부는 중지, 식지 및 약지가 접혔다가 다시 펴지는 동작에 의해 마우스 기능을 온 또는 오프시키는 것이 바람직하다.

또한, 상기 손모양인식부는 중지, 식지 및 약지가 접혀진 상태인 경우에는 마우스 기능을 온시키고, 중지, 식지 및 약지가 펴진 상태인 경우에는 마우스 기능을 오프시키는 것이 바람직하다.

또한, 상기 손모양인식부는 다섯 손가락 모두 접혀진 상태인 경우에는 마우스 기능을 오프시키는 것이 바람직하다.

또한, 상기 손모양인식부는 상기 손모양추출부에서 추출된 손모양의 넓이를 측정하고, 상기 측정되는 넓이의 변화를 토대로 손모양의 상태를 인식하는 것이 바람직하다.

또한, 상기 사용자명령인식수단은: 상기 손모양인식부에서 인식된 손모양의 이동경로를 추적하고, 상기 추적된 이동경로에 상응하는 마우스의 위치신호를 생성하여 상기 사용자명령처리수단으로 출력하는 위치신호생성부; 상기 손모양인식부에서 인식된 손모양의 변화에 상응하는 마우스의 클릭신호를 생성하여 상기 사용자명령처리수단으로 출력하는 클릭신호생성부; 상기 손모양인식부에서 인식된 손모양의 이동경로 추적하고, 상기 추적된 이동경로에 상응하는 문자신호를 생성하여 상기 사용자명령처리수단으로 출력하는 문자신호생성부; 및 상기 손모양인식부에서 인식된 손모양에 상응하는 마우스의 스크롤신호를 생성하여 상기 사용자명령처리수단으로 출력하는 스크롤신호생성부 중에서, 적어도 어느 하나를 더 포함하여 이루어지는 것이 바람직하다.

또한, 상기 위치신호생성부는 검지의 이동경로를 추적하는 것이 바람직하다.

또한, 상기 클릭신호생성부는 손바닥이 상기 영상촬영수단에 마주한 상태에서 엄지가 접혔다가 다시 펴지는 동작에 의해 마우스의 왼쪽버튼에 해당하는 왼쪽클릭신호나 마우스의 오른쪽버튼에 해당하는 오른쪽클릭신호 중 어느 하나를 생성하는 것이 바람직하다.

또한, 상기 클릭신호생성부는 손등이 상기 영상촬영수단에 마주한 상태에서 엄지가 접혔다가 다시 펴지는 동작에 의해 마우스의 왼쪽버튼에 해당하는 왼쪽클릭신호나 마우스의 오른쪽버튼에 해당하는 오른쪽클릭신호 중 어느 하나를 생성하는 것이 바람직하다.

또한, 상기 클릭신호생성부는 검지가 접혔다가 다시 펴지는 동작에 의해 마 우스의 왼쪽버튼에 해당하는 왼쪽클릭신호나 마우스의 오른쪽버튼에 해당하는 오른쪽클릭신호 중 어느 하나를 생성하는 것이 바람직하다.

또한, 상기 클릭신호생성부는 중지, 식지 및 약지가 접혔다가 다시 펴지는 동작에 의해 마우스의 왼쪽버튼에 해당하는 왼쪽클릭신호나 마우스의 오른쪽버튼에 해당하는 오른쪽클릭신호 중 어느 하나를 생성하는 것이 바람직하다.

또한, 상기 문자신호생성부는 검지의 이동경로를 추적하는 것이 바람직하다.

또한, 상기 스크롤신호생성부는 상기 손모양인식부에서 인식된 손모양의 상태에서, 소정의 손가락 방향에 따라 스크롤신호를 생성하는 것이 바람직하다.

또한, 상기 사용자명령인식수단은, 상기 손모양추출부에서 추출되는 손모양의 변화 혹은 소정의 키버튼의 조작에 의해 입력되는 모드 설정 키신호에 의거하여, 상기 위치신호, 상기 문자신호, 상기 클릭신호 및 상기 스크롤신호 중에서 어느 하나가 상기 사용자명령처리수단으로 출력하도록 제어하는 모드설정부를 더 포함하여 이루어지는 것이 바람직하다.

또한, 상기 문자신호생성부는: 상기 손모양인식부에서 인식된 손모양에서 소정의 특징점의 이동 경로를 추적하고, 상기 추적된 이동 경로에 상응하는 획을 생성하는 획생성모듈; 상기 획생성모듈에서 생성된 획을 조합하여 문자 패턴을 생성하는 획조합모듈; 각종 문자의 패턴이 저장된 패턴DB; 및 상기 획조합모듈에서 생성된 문자 패턴이 상기 패턴DB에 있는 경우에는 상기 획조합모듈에서 생성된 문자 패턴에 상응하는 문자신호를 생성하는 패턴비교모듈을 포함하여 이루어지는 것이 바람직하다.

또한, 상기 문자신호생성부는: 상기 손모양인식부에서 인식된 손모양에서 소정의 특징점의 이동 경로를 추적하고, 상기 추적된 이동 경로에 상응하는 움직임 경로 패턴을 생성하는 패턴생성모듈; 각종 문자 패턴이 저장된 패턴DB; 및 상기 패턴DB에 저장된 문자 패턴 중에서, 상기 움직임 경로 패턴과 일치되는 문자 패턴에 상응하는 문자신호를 생성하는 패턴비교모듈을 포함하여 이루어지는 것이 바람직하다.

한편, 본 발명의 일 실시예에 따른 손의 움직임 인식을 이용한 사용자인터페이스방법은 소정의 영상촬영수단을 통해 촬영된 영상에서 손모양을 추출하는 (a) 단계; 상기 (a) 단계에서 추출된 손모양의 변화와 이동을 인식하고, 상기 인식된 손의 이동경로를 추적하고, 상기 추적된 이동경로에 상응하는 마우스의 위치신호를 생성하고, 상기 추출된 손모양의 변화에 상응하는 마우스의 클릭신호를 생성하는 (b) 단계; 및 상기 (b) 단계에서 생성된 클릭신호와 위치신호를 마우스의 입력을 처리하는 사용자명령처리수단으로 출력하는 (c) 단계를 포함하여 이루어진 손의 움직임 인식을 이용한 사용자인터페이스방법을 제공한다.

전술한 구성에서, 상기 (a) 단계는 상기 영상촬영수단에서 입력되는 영상에서 손과 배경 간의 색상 차이를 이용하여 손모양을 추출하는 것이 바람직하다.

또한, 상기 (a) 단계는 상기 영상촬영수단에서 입력되는 영상에서 손의 윤곽선을 추출하는 것이 바람직하다.

또한, 상기 (b) 단계는 상기 (a) 단계에서 추출된 손모양의 넓이를 측정하고, 상기 측정되는 넓이의 변화를 토대로 손모양의 상태를 인식하는 것이 바람직하 다.

한편, 본 발명의 다른 실시예에 따른 손의 움직임 인식을 이용한 사용자인터페이스방법은 소정의 영상촬영수단을 통해 촬영된 영상에서 손모양을 추출하는 (a) 단계; 상기 (a) 단계에서 추출된 손모양의 변화와 이동을 인식하고, 상기 인식된 손의 이동경로를 추적하고, 상기 추적된 이동경로에 상응하는 획을 생성하는 (b) 단계; 상기 (b) 단계에서 생성된 획을 조합하여 문자 패턴을 생성하고, 상기 생성된 문자 패턴에 상응하는 문자신호를 생성하는 (c) 단계; 및 상기 (c) 단계에서 생성된 문자신호를 키보드의 입력을 처리하는 사용자명령처리수단으로 출력하는 (d) 단계를 포함하여 이루어진 손의 움직임 인식을 이용한 사용자인터페이스방법을 제공한다.

또한, 상기 (b) 단계는 상기 (a) 단계에서 추출된 손모양의 넓이를 측정하고, 상기 측정되는 넓이의 변화를 토대로 손모양의 상태를 인식하는 것이 바람직하다.

한편, 본 발명의 또 다른 실시예에 따른 손의 움직임 인식을 이용한 사용자인터페이스방법은 소정의 영상촬영수단을 통해 촬영된 영상에서 손모양을 추출하는 (a) 단계; 상기 (a) 단계에서 추출된 손모양의 변화와 이동을 인식하고, 상기 인식 된 손의 이동경로를 추적하고, 상기 추적된 이동경로에 상응하는 움직임 경로 패턴을 생성하며, 상기 생성된 움직임 경로 패턴을 미리 저장된 문자 패턴과 비교하는 (b) 단계; 상기 미리 저장된 문자 패턴 중에서, 상기 움직임 경로 패턴과 일치되는 문자 패턴에 상응하는 문자신호를 생성하는 (c) 단계; 및 상기 (c) 단계에서 생성된 문자신호를 키보드의 입력을 처리하는 사용자명령처리수단으로 출력하는 (d) 단계를 포함하여 이루어진 손의 움직임 인식을 이용한 사용자인터페이스방법을 제공한다.

한편, 본 발명의 또 다른 실시예에 따른 손의 움직임 인식을 이용한 사용자인터페이스방법은 소정의 영상촬영수단을 통해 촬영된 영상에서 손모양을 추출하는 (a) 단계; 상기 (a) 단계에서 추출된 손모양의 변화와 이동을 인식하고, 상기 인식된 손모양이 미리 정해진 특정모양인 경우에는 상기 인식된 손모양에 의거하여 소정의 방향으로의 스크롤을 지시하는 스크롤신호를 생성하는 (b) 단계; 및 상기 (b) 단계에서 생성된 스크롤신호를 마우스의 입력을 처리하는 사용자명령처리수단으로 출력하는 (c) 단계를 포함하여 이루어진 손의 움직임 인식을 이용한 사용자인터페이스방법을 제공한다.

한편, 본 발명의 또 다른 실시예에 따른 손의 움직임 인식을 이용한 사용자인터페이스방법은 소정의 영상촬영수단을 통해 촬영된 영상에서 손모양을 추출하는 (a) 단계; 상기 (a) 단계에서 추출된 손모양의 변화나 이동을 인식하는 (b) 단계; 상기 (b) 단계에서 인식된 손모양의 변화 혹은 소정의 키버튼의 조작에 의해 입력되는 모드설정키신호에 의거하여, 데이터입력모드를 설정하는 (c) 단계; 상기 (c) 단계에서 설정된 데이터입력모드에 의거하여, 상기 (b) 단계에서 인식된 손모양의 변화나 이동 경로에 상응하는 마우스의 위치신호, 마우스의 클릭신호, 마우스의 스크롤신호 및 키보드의 문자신호 중에서 어느 하나를 생성하는 (d) 단계; 및 상기 (d) 단계에서 생성된 신호를 마우스나 키보드의 입력을 처리하는 사용자명령처리수단으로 출력하는 (e) 단계를 포함하여 이루어진 손의 움직임 인식을 이용한 사용자인터페이스방법을 제공한다.

이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따라 손의 움직임 인식을 이용한 사용자인터페이스 장치 및 방법에 대해서 상세하게 설명하는바, 본 발명의 바람직한 제 1 실시예는 마우스를 구현하는 사용자인터페이스 장치 및 방법을 설명하고, 제 2 실시예는 키보드를 구현하는 사용자인터페이스 장치 및 방법을 설명하며, 제 3 실시예는 마우스의 기능에 있어서 화면 스크롤 기능을 구현하는 사용자인터페이스 장치 및 방법을 설명하며, 제 4 실시예는 상기한 제 1 내지 제 3 실시예에서 보인 마우스 및 키보드의 기능을 통합하여 구현하는 사용자인터페이스 장치 및 방법을 설명한다.

먼저, 도 1은 본 발명의 일 실시예에 따른 손의 움직임 인식을 이용한 사용자인터페이스 장치의 블록 구성도이다.

도 1에 도시한 바와 같이, 본 발명에 따른 사용자인터페이스 장치의 구성은 영상촬영수단(100), 사용자명령인식수단(200), 사용자명령처리수단(300), 및 표시수단(400)을 포함하여 이루어진다.

전술한 구성에서, 영상촬영수단(100)은 휴대용 단말기, 일반 컴퓨터, 및 텔레비전등과 같은 전자 기기에 설치되어, 허공 중에서 움직이는 사용자의 손을 실시간으로 촬영하여 사용자명령인식수단(200)으로 출력한다. 이때, 영상촬영수단(100)은 CMOS 카메라, CCD 카메라 등 다양한 카메라로 구현될 수 있으나, CCD 카메라로 구현되는 것이 바람직하다.

사용자명령인식수단(이하 줄여서, '인식수단'이라고 한다.)(200)은 영상촬영수단(100)으로부터 실시간으로 입력되는 영상으로부터 사용자의 손모양을 추출하고; 바람직하게는 추출된 전체적인 손모양에서 미리 정해진 소정의 특징점 예를 들면, 검지의 말단을 추출하며; 추출된 손모양을 토대로 손의 움직임 및 손모양의 변화를 인식하며; 이렇게 인식된 바에 의거하여 마우스나 키보드 입력에 상응하는 데이터 입력신호를 생성하여 사용자명령처리수단(300)으로 출력하는 것이다.

사용자명령처리수단(이하 줄여서, '처리수단'이라고도 한다.)(300)은 인식수단(200)으로부터 입력된 데이터 입력신호를 이용하여 전자 기기 본래의 기능을 수행하고, 표시수단(400) 및 다른 주변 기기들을 제어하는 것이다.

표시수단(400)은 처리수단(300)으로부터 제어신호 및 위치신호를 수신하여 위치신호에 대응되는 좌표에 마우스의 커서와 동일 개념인 위치포인터를 표시하고, 처리수단(300)으로부터 클릭신호가 입력되면, 위치포인터가 가리키는 항목을 반전시키는 등의 방식을 이용하여 클릭신호가 입력되었음을 사용자에게 표시한다. 또한, 표시수단(400)은 처리수단(300)으로부터 문자신호가 입력되면, 문자신호가 나타내는 문자를 위치신호가 나타내는 좌표에 표시하고, 처리수단(300)으로부터 스크 롤(scroll)신호가 입력되면 스크롤신호에 따라 표시된 문서 또는 웹페이지 등을 상하 또는 좌우로 스크롤한다.

도 2는 본 발명의 제 1 실시예에 따른 마우스 데이터를 입력하는 도 1의 사용자명령인식수단의 블록 구성도인바, 인식수단(200)이 마우스 입력 데이터만을 전용으로 처리수단(300)으로 입력하도록 구현된 예를 설명한 것이다.

먼저, 본 발명의 일 실시예에 따른 마우스 데이터 입력 기능의 구현 방법은 사람의 손 모양 중 검지의 말단을 커서 즉, 위치포인터에 대응시키고, 엄지의 상태를 마우스의 클릭신호에 대응시키며, 검지 상태나 전체적인 손 모양을 마우스 기능의 온/오프(on/off)에 대응시킴으로써 수행된다. 이를 보다 구체적으로 설명하자면 다음과 같다. 사용자가 검지를 편 상태에서 검지를 이동시키면, 인식수단(200)은 검지 말단의 위치를 추적하여 검지 움직임에 대응되는 위치신호를 생성하여 출력하고, 표시수단(400)은 움직이는 검지 위치에 대응되는 위치에 위치포인터를 표시한다. 그리고 사용자가 CCD 카메라 앞에서 손바닥을 보이고 엄지를 편 상태에서 엄지를 접었다 다시 펴면, 인식수단(200)은 이를 마우스의 왼쪽버튼을 누른 것으로 간주하여 왼쪽클릭신호를 생성하여 출력한다. 또한, 사용자가 CCD 카메라 앞에서 손등을 보이고 엄지를 편 상태에서 엄지를 접었다 다시 펴면, 인식수단(200)은 이를 마우스의 오른쪽버튼을 누른 것으로 간주하여 오른쪽클릭신호를 생성하여 출력한다. 아울러, 사용자가 손을 정지한 상태에서 버튼을 누르듯 검지를 눌렀다가 다시 풀거나, 모든 손가락을 피거나 혹은 검지를 접으면, 이에 따라 인식수단(200)은 마우스 기능을 오프시킨다. 반면에, 사용자가 검지를 누르고 푸는 동작을 재차 수행 하거나, 중지, 식지 및 약지를 접고 검지를 펴면, 인식수단(200)은 그때부터 마우스 기능을 온시키는 것이다.

위의 방식을 따르면, 컴퓨터 화면상에서 커서를 멀리 이동할 필요가 있을 경우에는 다음의 동작을 반복하면 된다. 검지를 편 상태에서 검지 끝을 원하는 방향으로 이동한 후, 검지를 일시적으로 접었다 다시 펴서 커서 기능을 정지하고, 원하는 방향의 반대로 손을 이동한 후 다시 검지를 접었다 펴서 커서를 원하는 방향으로 이동하면 된다. 이를 반복적으로 수행함으로써, 위치포인터를 먼 거리에 이동시킬 수 있는 것이다. 또한, 위치포인터가 이동됨에 있어서 손과 카메라와의 거리는 새로운 변수로 작용하는바, 카메라 가까이에서 손이 움직이면 인식수단(200)이 이에 대해 민감하게 반응하고, 이에 따라 인식수단(200)은 손이 카메라 멀리서 움직일 때보다 많은 거리를 커서가 이동되도록 하는 것이다.

한편, 본 발명의 다른 실시예에 따른 마우스 기능의 구현 방법으로는 상기한 바와 같이 검지의 말단 부위를 커서 이동에, 허공에서 검지의 누르고 푸는 동작을 마우스의 왼쪽버튼의 클릭에, 엄지 상태를 마우스의 오른쪽버튼에, 중지, 식지 및 약지의 상태를 마우스 기능의 온/오프에 대응시킴으로써 마우스 기능을 구현하는 것인바, 이를 보다 구체적으로 설명하자면 다음과 같다. 커서 이동에 관련하여서는 상기 실시예와 동일하므로 그 설명은 생략한다. 사용자가 손을 정지한 상태에서 버튼을 누르듯 검지를 눌렀다가 다시 풀면, 인식수단(200)은 이를 마우스의 왼쪽버튼을 누른 것으로 간주하여 왼쪽클릭신호를 생성하여 출력한다. 또한, 사용자가 CCD 카메라 앞에서 손바닥을 보이고 엄지를 편 상태에서 엄지를 접었다 다시 펴면, 인 식수단(200)은 이를 마우스의 오른쪽버튼을 누른 것으로 간주하여 오른쪽클릭신호를 생성하여 출력한다. 아울러, 사용자가 중지, 식지 및 약지를 피면, 이에 따라 인식수단(200)은 마우스 기능을 오프 즉, 커서를 비활성화시키고 반면에, 사용자가 중지, 식지 및 약지를 접으면, 인식수단(200)은 그때부터 마우스 기능을 온시키는 것이다.

여기서, 본 발명에 따른 마우스 기능의 구현 방법은 상기한 두 실시예에 국한되는 것은 아니며, 다양하게 변형될 수 있음을 밝혀둔다. 이를테면, 손바닥이 CCD 카메라 앞에 마주하고 엄지가 펴진 상태에서 엄지가 일시적으로 접히는 동작을 마우스의 왼쪽버튼에, 손바닥이 CCD 카메라 앞에 마주하고 중지, 식지 및 약지가 펴진 상태에서 이들 손가락이 일시적으로 접히는 동작을 마우스의 오른쪽버튼에 대응시킴으로써 마우스 기능을 구현할 수도 있다. 또한, 다섯 손가락 모두 펴진 상태를 마우스 기능의 온에 대응시키고, 다섯 손가락 모두 접힌 상태를 마우스 기능의 오프에 대응시킬 수도 있다.

도 2에 도시한 바와 같이, 인식수단(200)의 구성은 손모양추출부(210), 노이즈제거부(220), 손모양인식부(230), 위치신호생성부(240) 및 클릭신호생성부(250)을 포함하여 이루어진다.

전술한 구성에서, 손모양추출부(210)는 영상촬영수단(100)으로부터 입력되는 영상에서 손모양을 추출한 후, 이를 노이즈제거부(210)로 출력한다.

노이즈제거부(220)는 손모양추출부(210)으로부터 입력되는 손모양 영상에서 노이즈 이미지를 제거한 후, 이를 손모양인식부(230)로 출력한다.

여기서, 손모양을 추출하는 방식은 다양하게 구현이 가능한바, 도 15는 이러한 손모양 추출방식을 설명하기 위한 도면인 것이다. 이를 테면, 손영상과 배경영상 간의 색상 차이를 이용한 추출방식(이하, 색상차이방식)에 따르는 것으로써, 도 15에 도시된 바와 같이 손모양추출부(210)는 손 모양이 포함된 손영상의 x축과 y 축을 일정한 간격으로 나누고, 서로 교차하는 픽셀의 값을 표본추출하여 행렬화하고, 행렬화된 영상에서 백인, 황인, 또는 흑인 등에 따른 손의 색깔이 분포한 부분을 분리한 후 영상의 색깔을 이용한 손 부분을 추출하는 단계; 추출된 손 부분에서 이진(binary) 영상을 얻는 단계; 이 이진영상에서 잡음을 제거한 후 이진영상 내의 영역에 대한 레이블링(labeling)을 하는 단계를 거쳐 손의 영역을 확정짓는 것이다. 이때, 상기한 표본추출은 영상에서 몇 픽셀마다 건너뛰어 샘플링하는 코얼스샘플링(coarse sampling)으로 구현되는 것이 바람직하다. 여기서, 상기의 손 부분을 추출하는 단계는 손이 위치한 부분의 RGB컬러를 이진영상으로 만드는 이른바 'RGB방식'이 있으나, 다음의 'YUV방식'으로 하는 것이 더욱 바람직할 것이다. 즉, 이러한 YUV방식에 따르면, 손 부분으로 인식이 된 색을 YUV(YCbCr)로 변환하고, 이를 색차 정보(CbCr)의 값으로 모델링하고, 이 모델링 결과를 토대로 색상 발생빈도가 특정영역을 중심으로 밀집되어 있는 것을 확인하고, 확인된 영역 즉, 손 부분을 수학적 계산을 통해 추출하는 것이다. 이의 장점으로는 경험적인 방법이나 전술한 RGB 방식에 비하여 Y값 즉, 휘도(luminance)의 영향 없이 원하는 살색을 추출해 낼 수 있다는 것이다.

위와는 다른 방식으로도 손모양추출이 가능한바, 예컨대 손모양추출부(210) 는 영상촬영수단(100)으로부터 입력되는 영상에서 상기의 손 부분을 추출하는 단계는 손이 위치한 부분의 RGB컬러를 그레이 레벨로 바꾸고, 바뀐 그레이 레벨을 미분하여 사용자 손의 윤곽선을 추출하고, 바람직하게는 추출된 전체적인 윤곽선에서 미리 정해진 소정의 특징점(예, 검지나 엄지 끝단)을 추출하는 윤곽선추출방식으로 수행될 수도 있다.

한편, 손모양인식부(230)는 손모양추출부(210)를 통해 추출된 손모양을 토대로 손모양의 변화를 인식하고 이에 상응하는 제어신호를 위치신호생성부(240) 또는 클릭신호생성부(250)로 출력한다. 여기서, 도 12 내지 도 14는 상기한 '색상차이방식'에 의해 추출된 손모양을 인식하는 일 예를 도시하는 도면이고, 도 16 및 도 17은 상기한 색상차이방식 및 윤곽선추출방식에 의해 추출된 손모양을 인식하는 다른 예를 도시하는 도면인바, 이하에서 이들 도면을 참조하여 본 발명에 따른 바람직한 손모양의 인식방식을 설명한다.

먼저, 도 12 및 도 13을 참조하여 상기한 색상차이방식의 일 실시예에 따른 손모양 인식 방법에 따르면, 손모양인식부(230)는 추출된 손모양 영상을 상측에서 하측으로 행단위로 스캐닝하며 명도값을 조사한다. 이때, 손에 포함되는 영역의 경우에는 명도값이 높게 나타나고, 손에 포함되지 않는 영역의 경우에는 명도값이 낮게 나타난다. 따라서, 손모양인식부(230)는 행 단위로 스캐닝된 명도값이 높게 나타나는 화소들의 라인의 길이가 점진적으로 증가하는 경우에는 손이 활짝 펴진 상태라고 인식하는 것이고, 화소들의 라인의 길이가 급증하는 경우에는 한 손가락 즉, 검지만을 편 상태라고 인식하는 것이다. 보다 구체적으로는, 손을 편 경우를 도시하는 도 12의 경우에, 501 영역에서 처음으로 손을 나타내는, 명도가 높은 픽셀의 라인(이하, 픽셀 라인)이 검출되고, 502 영역에서 픽셀 라인의 길이가 501 영역의 경우보다 약 100% 증가한다. 그 후, 503 영역에서의 픽셀 라인의 길이는 502 영역의 경우보다는 약 50% 증가한다. 또한, 504 영역의 경우에는 픽셀 라인의 길이가 503 영역과 비교할 때 약 25% 정도 증가하였다. 이렇듯, 명도가 높은 픽셀 라인의 길이가 점진적으로 증가하는 경우에는 손을 편 모양이라고 판단하는 것이다. 또한, 하나의 손가락만을 편 경우를 도시하는 도 13의 경우에, 511 영역에 서는 픽셀 라인의 길이가 0이고, 512 영역에서 처음으로 명도가 높은 픽셀들이 스캐닝되고, 그 후 513 영역 내지 515 영역까지 픽셀 라인은 10% 이상 증가되지 않다가, 516 영역에 이르러 픽셀 라인의 길이가 약 200% 이상 급증하게 된다. 이렇듯, 명도가 높은 픽셀 라인의 길이가 급증하는 경우에는 한 손가락만을 편 모양이라고 판단하는 것이다. 또한, 모든 손가락을 접은 경우를 도시하는 도 14의 경우에, 521 영역까지는 픽셀 라인의 길이가 0인데, 522 영역에서 픽셀 라인의 길이가 급증한 후, 523 영역에서는 픽셀 라인의 증가가 522 영역에 대비하여 거의 없고, 524 영역에서 픽셀 라인의 길이가 약 20% 증가하는데 그치며, 그 이후의 325영역에서는 다시 픽셀 라인의 증가가 거의 없다. 이렇듯, 픽셀라인의 길이가 0에서 급증하고 이후 변화가 없는 경우에는 주먹을 쥔 모양이라고 판단하는 것이다.

다음으로, 도 16 및 도 17을 참조하여 상기한 색상차이방식의 다른 실시예에 따른 손모양 인식 방법에 따르면, 손모양인식부(230)는 전술한 코얼스샘플링을 통해 행렬화된 손모양의 넓이를 측정하고, 측정되는 넓이의 변화를 토대로 손모양의 상태를 인식하는 것이다. 보다 구체적으로는, 손모양인식부(230)는 행렬화된 손 모습에서 손을 표현하는 픽셀에 1의 숫자를 더해서 x 또는 y축에 그래프를 그린 후, 이 그래프에서 1이 더해진 좌표를 손의 위치로 정하는 것이다. 이렇게 손의 위치를 파악한 후, 손이 위치한 부분을 더 자세히 샘플링하고 다시 그래프를 만들어 손의 넓이를 알아낸다. 손의 넓이 측정 후, 그 넓이로부터 중지, 식지 및 약지가 펴졌는지 접혔는지를 판정할 기준영역을 결정한다. 여기서, 이 기준영역은 도 16에 도시한 바와 같이, 파악된 손의 위치에서 상단에 해당되는 부분인 것으로써, 이 기준영역에서 측정한 손의 넓이가 미리 설정해 둔 손의 넓이 즉, 네 손가락 모두가 펴졌을 때의 넓이에 근접되는 경우에는 중지, 식지 및 약지가 펴진 것으로 판단하고, 기준영역에서 측정한 손의 넓이가 미리 설정된 넓이보다 작은 경우에는 중지, 식지 및 약지가 접힌 것으로 판단하는 것이다. 그리고, 중지, 식지 및 약지가 접힌 것으로 판단된 경우에는 검지의 넓이를 측정해야 하는바, 이에 앞서 상기와 같은 기준영역 설정과 동일한 방법으로 엄지가 펴졌는지 접혔는지를 판정할 기준영역을 결정한다. 여기서, 엄지의 넓이는 검지의 넓이와 비슷하다고 보고, 측정된 엄지의 넓이가 측정된 검지의 넓이보다 두꺼우면 엄지가 펴진 것으로, 측정된 검지의 넓이보다 얇으면 엄지가 접힌 것으로 판단하는 것이다.

다음으로, 도 16 및 도 17을 참조하여 상기한 색상차이방식의 또 다른 실시예에 따른 손모양 인식 방법에 따르면, 위와 같은 방식으로 손의 위치를 정하고, 손의 왼쪽, 오른쪽, 손끝 및 손목으로 이루어지는 영역을 구분하여 저장한다. 그리고, 이렇게 구분 저장된 손모양과 미리 저장해둔 손모양(template; 탬플릿) 간의 명도 값을 비교하여 손모양 상태를 인식하는 것이다.

다음으로, 도 16 및 도 17을 참조하여 윤곽선추출방식의 일 실시예에 따른 손모양 인식 방법에 따르면, 위와 같은 방식으로 손의 위치를 정하고, 손의 왼쪽, 오른쪽, 손끝 및 손목으로 이루어지는 영역을 구분하여 저장한다. 그리고 손이 1로 표시되므로, 손의 위치에서 손가락의 영역인 상단 부위를 상측에서 하측으로 행단위로 스캐닝하여 1의 수를 합하고, 이렇게 합한 수의 크기에 의거하여 손의 상태 즉, 중지, 식지 및 약지가 접혔는지 펴졌는지를 판단하는 것이며, 또한 이와 같은 방식으로 엄지가 접혔는지 펴졌는지를 판단하는 것이다.

한편, 위치신호생성부(240)는 손모양인식부(230)에서 인식된 손모양에서 소정의 특징점 바람직하게는 검지의 끝을 좌표화하고, 그 변화를 추적함으로써 검지의 이동에 상응하는 위치신호를 생성하고 이를 사용자명령처리수단(300)으로 출력한다.

또한, 클릭신호생성부(250)는 손모양인식부(230)에서 인식된 손모양에서의 소정의 특징점의 변화 바람직하게는, 엄지가 접혔다 펴지는 것에 상응하여 마우스의 클릭신호를 생성하고 이를 사용자명령처리수단(300)으로 출력한다.

도 3은 본 발명의 제 1 실시예에 따른 마우스 데이터를 입력하는 방법을 설명하기 위한 흐름도인바, 도 2를 통해 설명한 사용자인터페이스 장치에 의해 수행되는 것이다.

먼저, 영상촬영수단(100)은 사용자의 손을 실시간으로 촬영하여 생성된 손영상을 인식수단(200)으로로 출력한다(단계 S11). 손모양추출부(210)는 영상촬영수 단(100)으로부터 입력되는 영상에서 손모양을 추출하는바, 이렇게 추출된 손모양은 노이즈제거부(220)를 거쳐 손모양인식부(230)로 출력되는 것이다(단계 S13). 이에 따라, 단계 S15에서 손모양인식부(230)는 입력되는 손모양에서 검지가 펴진 상태인지를 판단하여, 판단 결과 검지 손가락이 접힌 상태인 경우에는, 검지 손가락이 펴진 영상이 입력될 때까지 대기하고, 검지 손가락이 펴진 상태인 경우에는 단계 S17로 진행하여 검지 손가락 말단의 좌표값을 위치신호생성부(240)로 출력한다. 이에, 위치신호생성부(214)는 단계 S17에서 손모양 판별부(213)로부터 입력된 검지 손가락 말단의 좌표값을 이용하여 위치신호를 생성하고, 이를 처리수단(300)으로 출력한다. 처리수단(300)은 단계 S19에서 인식수단(200)으로부터 위치신호가 입력되면 표시수단(400)을 제어하여 이 위치신호에 따라서 위치포인터를 이동시킨다.

한편, 손모양인식부(230)는 단계 S21에서 입력되는 손모양에서 엄지가 접혔다가 펴졌는지 여부를 계속 조사하고, 검지가 접혔다가 펴진 경우에는 클릭신호 생성을 지시하는 제어신호를 클릭신호생성부(250)로 출력한다. 따라서, 클릭신호생성부(250)는 단계 S23에서 손모양인식부(230)로부터 제어신호가 입력되면 클릭신호를 생성하여 처리수단(300)으로 출력한다. 이에, 표시수단(400)은 단계 S25에서 처리수단(300)의 제어신호에 따라서 클릭된 영역을 표시한다.

한편, 설명의 편의를 위하여 상술한 제 S21 단계 내지 제 S25 단계가 제 S15 단계 내지 제 S19 단계 이후에 수행되는 것으로 기술하였으나, 상호 병렬적으로 처리될 수 있음을 당업자는 알 수 있을 것이다.

아울러, 상술한 방식을 이용하여 완벽한 마우스 기능을 구현할 수 있다. 예 컨대, 버튼 선택 기능, 드래그(drag) 기능, 파일 열기 기능, 드로잉기능, 화면에 자판을 만들어서 타이핑(typing) 기능 등의 기능을 구현할 수 있다. 버튼 선택 기능은 화면의 명령 버튼 아이콘 영역을 커서를 움직여 원하는 아이콘을 지적하고, 엄지를 접어 선택하면 된다.

드래그 기능은 화면의 명령 버튼 아이콘 영역을 커서를 움직여 원하는 아이콘을 지적하고, 엄지를 접어 선택하고, 다시 손을 움직여 원하는 위치로 명령버튼 아이콘을 옮긴 후 엄지 손가락을 펴면 된다.

파일 열기 기능은 원하는 위치로 커서를 움직이고 엄지를 두 번 접었다 펴면 되고, 드로잉 기능은 펴진 엄지를 접을 때를 선의 시작점으로 보았고, 선을 그린 후 선이 끝나는 점은 다시 엄지를 펴는 시점으로 보았다. 타이핑 기능은 컴퓨터 화면상에 자판에 상응하는 글자버튼을 만들고 이를 클릭함으로써 구현할 수 있다.

도 4는 본 발명의 제 2 실시예에 따른 문자 데이터를 입력하는 도 1 의 사용자명령인식수단의 블록 구성도인바, 본 발명의 제 2 실시예는 인식수단(200)이 문자 입력 데이터만을 전용으로 처리수단(300)으로 입력하도록 구현된 예를 설명한 것이다.

제 2 실시예의 문자 입력 방식을 먼저 간략하게 설명하면, 문자 입력 방식은 그래픽 도구 프로그램 등에서 마우스로 글씨를 쓰는 기능과 동일하다. 예컨대, 엄지 손가락을 접은 상태에서 검지 손가락을 움직여 문자를 구성하는 획을 입력하고, 다음 획을 입력하기 위해서 검지 손가락의 위치를 이동해야 하는 경우에는 엄지 손가락을 편 후 검지 손가락의 위치를 이동하고 다시 엄지 손가락을 접은 후 검지 손가락을 움직여서 획을 입력한다.

도 4 및 도 6을 참조하면, 문자 데이터를 입력하기 위한 인식수단(200)의 구성은 상술한 제 1실시예를 통해 설명한 손모양추출부(210)와, 노이즈제거부(220)와, 손모양인식부(230)를 포함하고, 문자신호생성부(260)를 더 포함하여 이루어진다.

여기서, 문자신호생성부(260)는 손모양인식부(230)에서 인식된 손모양에서 소정의 특징점 바람직하게는 검지의 끝을 좌표화하고, 그 변화를 추적함으로써 검지의 이동에 상응하는 획신호를 생성하는 획생성모듈(261); 이 획생성모듈(261)에서 생성된 획신호를 조합하여 문자 패턴을 생성하는 획조합모듈(262); 각종 문자의 패턴이 저장된 패턴DB(264) 및 획조합모듈(262)에서 출력된 문자 패턴과 패턴DB(264)에 저장된 패턴을 비교하고, 비교 결과 상호 유사한 문자 패턴이 있는 경우 그에 상응하는 문자신호를 생성하고, 이를 처리수단(300)으로 출력하는 패턴비교모듈(263)을 포함한다.

도 6은 본 발명의 제 2 실시예에 따른 문자 데이터를 입력하는 방법을 설명하기 위한 흐름도이다.

먼저, 영상촬영수단(100)은 사용자의 손을 실시간으로 촬영하여 생성된 손영상을 인식수단(200)으로로 출력한다(단계 S31). 손모양추출부(210)는 영상촬영수단(100)으로부터 입력되는 영상에서 손모양을 추출하는바, 이렇게 추출된 손모양은 노이즈제거부(220)를 거쳐 손모양인식부(230)로 출력되는 것이다(단계 S33). 여기서, 손모양 추출과 인식과정은 상술한 제 1 실시예와 동일하므로, 구체적인 설명은 생략한다.

한편, 손모양인식부(230)는 단계 S35에서 상술한 제 1 실시예와 동일한 방식으로 검지 손가락이 펴진 상태인지 여부를 조사하고, 검지 손가락이 펴지지 않은 경우에는 사용자가 검지 손가락을 펴서 문자입력모드를 활성화시킬때까지 대기하고, 검지 손가락이 펴진 경우에는 단계 S37에서 엄지 손가락이 접혔는지 여부를 조사한다. 여기서, 손모양인식부(230)가 검지 손가락 및 엄지 손가락의 모양을 판별하는 방식은 제 1 실시예와 동일하므로 구체적인 설명은 생략한다.

엄지 손가락이 접힌 경우에, 손모양인식부(230)는 엄지 손가락이 접혀있는 동안의 검지 손가락 말단의 좌표값을 획생성모듈(261)로 출력하고, 이에 따라 획생성모듈(261)은 단계 S39에서 입력된 검지 손가락 말단의 좌표값을 이용하여 획신호를 생성하고, 단계 S41에서 획조합모듈(262)은 생성된 획신호를 조합하여 문자 패턴을 생성한다. 즉, 엄지 손가락이 접힌 경우에는 획의 시작점을 나타내고, 엄지 손가락이 펴진 경우에는 획의 끝점을 나타내므로, 획생성모듈(261)은 획의 시작점으로부터 획의 끝점까지의 검지 손가락 말단의 좌표값을 연결하여 획신호를 생성하는 것이다.

다음으로, 단계 S43에서 패턴비교모듈(263)은 획조합모듈(262)에서 출력된 문자 패턴과 패턴DB(264)에 저장된 패턴을 비교하고, 비교 결과 상호 유사한 문자 패턴이 있는 경우 그에 상응하는 문자신호를 생성하고, 이를 처리수단(300)으로 출력한다. 다음으로, 단계 S45에서 처리수단(300)은 문자신호를 수신하고, 해당 문자의 출력을 지시하는 소정의 제어신호를 표시수단(400)으로 출력하여 사용자가 입력한 문자를 출력한다.

한편, 상술한 본 발명의 제 2 실시예는 엄지 손가락의 위치에 따라서 획의 시작점과 끝점을 구분하였다. 그러나, 아래 변형 실시예에서는 엄지 손가락의 동작과 상관없이, 사용자가 공중에 문자를 쓸 때 검지 손가락 말단의 이동 경로를 패턴화하여 패턴DB에 저장하고, 사용자의 손영상으로부터 검지 손가락 말단의 이동경로를 추출하여 패턴DB에 저장된 패턴과 비교함으로써 문자신호를 생성하는 것이다.

도 5는 상술한 제 2 실시예의 변형 예에 따른 문자 데이터를 입력하는 도 1 의 사용자명령인식수단의 블록 구성도이이다.

도 5 및 도 7을 참조하면, 제 2 실시예의 변형 실시예에 따른 사용자명령인식수단(200)은 손모양추출부(210), 노이즈제거부(220), 손모양인식부(230) 및 문자신호생성부(260)을 포함하여 이루어진다. 여기서, 문자신호생성부(260)는 상술한 제 2 실시예에 따른 구성과는 달리, 패턴생성모듈(265), 패턴비교모듈(266) 및 패턴DB(267)로 구성된다. 또한, 손모양추출부(210) 및 노이즈제거부(220)의 기능은 상술한 바와 동일하므로 그 설명을 생략한다.

도 7은 상술한 제 2 실시예의 변형 예에 따른 문자 데이터를 입력하는 방법을 설명하기 위한 흐름도이다.

손모양인식부(230)는 단계 S55에서 입력된 특징점들을 이용하여 손모양을 인식하여 검지가 펴진 상태인지 여부를 조사하여 검지가 접힌 상태이면 검지가 펴진 손영상이 입력될 때까지 계속 대기하고, 검지가 펴진 상태라면 검지 손가락 말단의 좌표값을 패턴생성모듈(265)로 출력한다.

이에 따라, 단계 S57에서 패턴생성모듈(265)은 입력된 좌표값을 이용하여 검 지 손가락 말단의 움직임 경로를 나타내는 패턴을 생성하여 패턴비교모듈(266)로 출력한다. 패턴생성모듈(265)는 다양한 방식으로 패턴을 생성할 수 있으나, 가장 간단한 방식으로는 사용자가 한 문자씩 약간의 시간차를 가지고 공중에서 문자를 입력하는 경우에, 검지 손가락 말단의 좌표가 소정 시간 동안 일정한 범위 내에서 위치한다면 사용자가 한 문자의 입력을 완료한 것으로 판단하여 패턴을 생성할 수 있다.

또한, 다른 방법으로는, 화면상에 글자를 입력하기 위한 구역을 사용자에게 표시하고 사용자의 검지 손가락의 위치를 화면상에 실시간으로 표시하며, 사용자가 공중에서 문자를 입력하는 경우에, 검지 손가락 말단의 좌표가 한 글자를 입력하기 위한 구역 내에서 있다가 다음 글자를 쓰기 위해서 다른 구역으로 옮기면, 사용자가 한 문자의 입력을 완료한 것으로 판단하고 패턴을 생성하면 된다.

패턴비교모듈(266)은 단계 S59에서 패턴생성모듈(265)로부터 입력된 움직임 경로 패턴과 패턴DB(267)에 사전에 저장된 문자 패턴들을 비교하여, 일치하는 패턴에 해당되는 문자 데이터를 추출하여 문자신호를 생성하고, 생성된 문자신호를 처리수단(300)으로 출력한다.

패턴DB(267)는 문자 및 숫자에 대응되는 패턴들을 저장하는 기능을 수행한다. 도 18은 패턴DB(267)에 저장된 각 문자 및 숫자의 패턴 예를 도시하는 도면이다. 도 18 에 도시된 바와 같이, 패턴DB(267)는 각 문자 및 숫자의 코드값과 해당 문자 및 숫자를 나타내는 다양한 형태의 문자 및 숫자 패턴(connected character)들이 서로 연계되어 저장된다. 도 18을 참조하면, 본 발명의 문자 및 숫자 패턴들 은 각 문자 및 숫자를 구성하는 획들이 서로 연결되어 있음을 알 수 있다. 즉, 손으로 지면에 문자나 숫자를 기록하는 경우에, 각 획은 서로 분리되어 구성될 수 있으나, 본 발명의 문자 및 숫자 패턴은 허공에서 그려지는 것이므로 각 획이 분리될 수 없고, 따라서 모든 획들은 서로 연결되어 구성된다.

패턴비교모듈(266)은 패턴생성모듈(265)가 생성한 패턴을 입력받고, 이 패턴과 일치되는 패턴을 패턴DB(267)에서 조회하여, 입력된 패턴과 가장 근접한 패턴에 대응되는 문자 또는 숫자의 코드값을 문자신호로서 처리수단(300)으로 출력한다.

이에 따라, 단계 S61에서 처리수단(300)은 문자신호를 수신하고, 해당 문자의 출력을 지시하는 소정의 제어신호를 표시수단(400)으로 출력하여 사용자가 입력한 문자를 출력한다.

지금까지 본 발명의 바람직한 제 1 및 제 2 실시예를 설명하였다. 도 8은 본 발명의 바람직한 제 3 실시예에 따라서 화면 스크롤신호를 입력하는 도 1의 인식수단의 구성을 도시하는 상세 블록도이고, 도 9은 본 발명의 바람직한 제 3 실시예에 따라서 화면 스크롤신호를 입력하는 방법을 설명하는 흐름도이다.

본 발명의 바람직한 제 3 실시예는 손의 모양을 판독하여 스크롤신호를 처리수단(300)으로 입력한다. 도 8 및 도 9을 참조하여 본 발명의 제 3 실시예를 설명하면, 제 3 실시예의 인식수단(200)은 손모양추출부(210), 노이즈제거부(220), 손모양인식부(230), 및 스크롤신호생성부(270)를 포함한다.

도 19 내지 도 23에 도시된 바와 같이, 손모양추출부(210)는 단계 S103에서 제 1 및 제 2 실시예와 동일한 방식으로 손모양을 추출하는바, 이렇게 추출된 손모 양은 노이즈제거부(220)를 거쳐 손모양인식부(230)로 출력된다.

손모양인식부(230)는 단계 S105에서 손모양추출부(210)를 통해 입력된 정보를 이용하여 손의 모양을 인식한다. 여기서, 본 발명의 바람직한 실시예는 스크롤 방향을 엄지 손가락의 방향으로 인식하고, 엄지 손가락의 방향 정보를 스크롤신호생성부(270)로 출력한다. 스크롤 방향을 결정하는 손가락은 반드시 엄지에 한정되는 것이 아님은 물론이다.

스크롤신호생성부(270)는 단계 S107에서 엄지 방향이 도 19 내지 도 23에 도시된 바와 같이 상하 또는 좌우인지 조사하여 해당 방향에 대응되는 스크롤신호를 생성하여 처리수단(300)으로 출력한다.

처리수단(300)은 단계 S109에서 이 스크롤신호에 따라서 문서 또는 웹페이지등의 스크롤을 지시하는 소정의 제어신호를 표시수단(400)으로 출력하여 스크롤을 수행한다.

한편, 지금까지 사용자명령인식수단(200)은 제 1 내지 제 3 실시예에서 살펴본 바와 같이, 그 기능들 중 어느 하나만을 수행하는 것으로 설명하였다. 그러나, 인식수단(200)은 상술한 모든 기능을 수행하도록 구현되는 것이 바람직할 것이다.

도 10는 본 발명의 제 4 실시예에 따른 마우스와 문자입력 모드를 통합하여 구현하는 도 1의 사용자명령인식수단의 블록 구성도이고, 도 11은 본 발명의 제 4 실시예에 따른 마우스와 문자입력 모드를 통합하여 구현하는 방법을 설명하기 위한 흐름도이다.

도 10 및 도 11을 참조하면, 제 4 실시예의 인식수단(200)은 손모양추출 부(210), 노이즈제거부(220), 손모양인식부(230), 위치신호생성부(240), 클릭신호생성부(250), 스크롤신호생성부(270), 문자신호생성부(260) 및 모드설정부(280)를 포함하여 이루어진다.

여기서, 손모양추출부(210), 노이즈제거부(220), 스크롤신호생성부(270), 클릭신호생성부(250), 위치신호생성부(240), 및 문자신호생성부(260)의 기능은 상술한 제 1 내지 제 3 실시예와 동일하다. 또한, 문자신호생성부(260)는 제 2 또는 제 3의 실시예에서 구현된 모듈들의 구성으로 이루어진다. 따라서, 제 3 실시예의 설명에서는 상술한 제 1 내지 제 3 실시예와의 차이점에 대해서만 설명한다.

전술한 구성에서, 모드설정부(280)는 구체적으로 노이즈제거부(220)에서 출력되는 손모양의 상태 혹은, 소정의 키버튼의 조작에 의해 입력되는 '모드설정키신호'에 의거하여, 손모양인식부(230)의 동작모드가 문자모드, 위치이동모드, 클릭모드 및 스크롤모드 중 어느 하나가 되도록 제어한다. 아울러, 이러한 모드설정기능은 손모양인식부(230)에서 수행될 수도 있을 것이다. 즉, 모드설정부(280)(혹은 손모양인식부)는 도 19 내지 도 23에 도시된 바와 같은 손모양이 손모양추출부(210)를 통해 입력되거나 키버튼을 통해 스크롤설정키신호가 입력되는 경우에는, 손모양인식부(260)가 스크롤신호생성부(270)를 제어하게 된다. 또한, 상술한 제 1실시예 및 제 2실시예에서 살펴보았듯이, 유사한 손모양을 통해 키보드와 마우스 기능이 수행되는 경우에는 소정의 키버튼을 통해 설정모드가 전환되는 것이 바람직할 것이나 어느 특정 손모양으로 설정모드가 전환될 수도 있을 것이다. 이를 테면, 손가락을 전부 오므렸다 폈다 하는 동작에 의해 키보드에서 마우스로, 또는 그 반대로 데 이터 입력 모드가 전환될 수 있을 것이다.

이를 토대로, 본 발명의 제 4 실시예에 따른 사용자인터페이스방법을 설명하자면, 영상촬영수단(100)은 사용자의 손을 실시간으로 촬영하여 생성된 손영상을 인식수단(200)으로로 출력한다(단계 S111). 손모양추출부(210)는 영상촬영수단(100)으로부터 입력되는 영상에서 손모양을 추출하는바, 이렇게 추출된 손모양은 노이즈제거부(220)를 거쳐 손모양인식부(230)로 출력되는 것이다(단계 S113).

다음으로, 단계 S115에서 손모양인식부(230)는 설정된 데이터 입력모드가 어떤 모드인지를 판단하여, 그 판단 결과 입력모드가 문자모드인 경우에는 단계 S117와 단계 S119가 수행되고, 판단 결과 입력모드가 위치이동모드인 경우에는 단계 S125와 단계 S127이 수행되며, 입력모드가 클릭모드인 경우에는 단계 S131과 단계 S133이 수행되며, 입력모드가 스크롤모드인 경우에는 단계 S137과 단계 S139가 수행되는 것이다. 여기서, 위치이동모드와 클릭모드는 상술한 제 1 실시예의 기능을 나타내고, 문자모드는 상술한 제 2 실시예 또는 그 변형 실시예의 기능을 나타내며, 스크롤모드는 상술한 제 3 실시예의 기능을 나타낸다.

즉, 손모양인식부(230)는 입력된 손모양 정보와 모드 제어신호에 따라서 상술한 제 1 내지 제 3 실시예의 손모양인식부의 기능 중 어느 하나를 수행하여 해당 정보를 스크롤신호생성부(270), 클릭신호생성부(250), 위치신호생성부(240), 및 문자신호생성부(260)중 어느 하나로 출력하여, 스크롤신호를 생성하여 사용자에게 출력하거나(단계 S137 및 단계 S139), 위치신호 또는 클릭신호를 생성하여 출력하거나(단계 S125와 단계 S127, 또는 단계 S131과 단계 S133), 문자신호를 생성하여 출 력한다(단계 S117 및 단계 S119).

지금까지 본 발명의 바람직한 실시예에 따른 사용자인터페이스 장치 및 방법을 설명하였다. 상술한 본 발명의 기술적 사상의 범위내에서 상술한 실시예에 대한 다양한 변형예가 도출될 수 있음을 당업자는 알 수 있을 것이다.

한편, 도 24 내지 도 26은 본 발명의 바람직한 실시예에 따른 사용자인터페이스 장치의 구현 예를 도시한 도면이다. 먼저, 도 24는 본 발명의 사용자인터페이스 장치가 PDA에 구현된 예이고, 도 25는 텔레비전 리모콘 대신에 본 발명의 사용자인터페이스 장치가 적용된 예를 도시하며, 도 26은 데스크탑 컴퓨터에 본 발명의 사용자인터페이스 장치가 적용된 예를 도시한다. 또한, 본 발명의 사용자인터페이스 장치가 구현되는 기기는 도 24 내지 도 26을 통해 설명한 전자기기에 국한되는 것은 아니며, 이동통신단말기 및 전자칠판 등에 적용될 수 있으며, 또한 현금자동입출금기(automatic teller machine; ATM) 및 키오스크(kiosk)장치 등에 적용됨으로써 터치스크린 기능을 대체할 수도 있다. 여기서, 이동통신단말기는 휴대성과 이동성이 보장되는 무선통신장치로서, 상기한 PDA(Personal Digital Assistant)는 물론, PCS(Personal Communication System), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), IMT(International Mobile Telecommunication)-2000 단말기, DMB(Digital Multimedia Broadcasting)폰, 스마트폰(Smart Phone), 그리고 와이브로(wibro)폰 등과 같은 종류의 핸드헬드(Handheld)기반의 무선통신장치인 것이다.

한편, 본 발명의 사용자인터페이스방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 플랫시 메모리, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

상술한 바와 같이, 본 발명은 전자기기에 설치된 CCD 카메라와 같은 영상 촬영 수단을 이용하여 사용자의 손 모양 및 손의 움직임을 촬영하고, 촬영된 손의 모양 및 움직임으로부터 종래의 마우스 입력 데이터, 문자 입력 데이터, 및 스크롤 입력 신호를 추출함으로써, 별도의 데이터 입력 장치없이도 간편하게 데이터를 입 력할 수 있는 효과가 있다.

또한, 본 발명은 종래의 리모콘으로 기능을 제어하는 텔레비전에 적용되어, 별도의 리모콘을 관리할 필요 없이 손동작만으로 텔레비전의 채널 전환, 음량 조절등의 기능을 간편하게 수행할 수 있는 효과가 있고, 그 밖에도 전자 칠판과 같은 다양한 기능을 갖는 전자 기기에 적용될 수 있다.

Claims

삭제
허공에서 움직이는 사용자의 손을 촬영하는 영상촬영수단; 및

상기 영상촬영수단에서 촬영된 손의 움직임에 의거하여 마우스나 키보드 입력에 상응하는 데이터 입력신호를 생성하고, 상기 생성된 데이터 입력신호를 마우스나 키보드의 입력을 처리하는 사용자명령처리수단으로 출력하는 사용자명령인식수단을 포함하여 이루어지고,

상기 사용자명령인식수단은 상기 영상촬영수단에서 입력되는 영상에서 손과 배경 간의 색상 차이를 이용하여 손모양을 추출하는 손모양추출부와, 상기 손모양추출부에서 추출된 손모양의 변화와 이동을 인식하는 손모양인식부를 포함하여 구성되는 것이되,

상기 손모양인식부는 상기 손모양추출부에 의해 추출된 손모양을 행 단위로 스캐닝하여 명도값을 조사하고 상기 조사된 명도값의 변화에 의거하여 손모양의 상태를 인식하거나, 상기 손모양추출부에 의해 추출된 손모양에서 미리 설정한 기준영역에 존재하는 부분의 넓이값을 측정하고 상기 측정된 넓이값과 미리 저장되어 있는 넓이값의 비교를 토대로 손모양의 상태를 인식하는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스 장치.
삭제
삭제
삭제
제 2항에 있어서,

상기 손모양인식부는 검지가 접혔다가 다시 펴지는 동작에 의해 마우스 기능을 온 또는 오프시키는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스 장치.
제 2항에 있어서,

상기 손모양인식부는 검지가 접혀진 상태인 경우에는 마우스 기능을 오프시키고, 검지가 펴진 상태인 경우에는 마우스 기능을 온시키는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스 장치.
제 2항에 있어서,

상기 손모양인식부는 중지, 식지 및 약지가 접혔다가 다시 펴지는 동작에 의해 마우스 기능을 온 또는 오프시키는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스 장치.
제 2항에 있어서,

상기 손모양인식부는 중지, 식지 및 약지가 접혀진 상태인 경우에는 마우스 기능을 온시키고, 중지, 식지 및 약지가 펴진 상태인 경우에는 마우스 기능을 오프시키는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스 장치.
제 2항에 있어서,

상기 손모양인식부는 다섯 손가락 모두 접혀진 상태인 경우에는 마우스 기능을 오프시키는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스 장치.
삭제
제 2항에 있어서,

상기 사용자명령인식수단은:

상기 손모양인식부에서 인식된 손모양의 이동경로를 추적하고, 상기 추적된 이동경로에 상응하는 마우스의 위치신호를 생성하여 상기 사용자명령처리수단으로 출력하는 위치신호생성부;

상기 손모양인식부에서 인식된 손모양의 변화에 상응하는 마우스의 클릭신호를 생성하여 상기 사용자명령처리수단으로 출력하는 클릭신호생성부;

상기 손모양인식부에서 인식된 손모양의 이동경로 추적하고, 상기 추적된 이동경로에 상응하는 문자신호를 생성하여 상기 사용자명령처리수단으로 출력하는 문자신호생성부; 및

상기 손모양인식부에서 인식된 손모양에 상응하는 마우스의 스크롤신호를 생성하여 상기 사용자명령처리수단으로 출력하는 스크롤신호생성부 중에서, 적어도 어느 하나를 더 포함하여 이루어지는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스 장치.
제 12항에 있어서,

상기 위치신호생성부는 검지의 이동경로를 추적하는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스 장치.
제 12항에 있어서,

상기 클릭신호생성부는 손바닥이 상기 영상촬영수단에 마주한 상태에서 엄지가 접혔다가 다시 펴지는 동작에 의해 마우스의 왼쪽버튼에 해당하는 왼쪽클릭신호나 마우스의 오른쪽버튼에 해당하는 오른쪽클릭신호 중 어느 하나를 생성하는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스 장치.
제 12항에 있어서,

상기 클릭신호생성부는 손등이 상기 영상촬영수단에 마주한 상태에서 엄지가 접혔다가 다시 펴지는 동작에 의해 마우스의 왼쪽버튼에 해당하는 왼쪽클릭신호나 마우스의 오른쪽버튼에 해당하는 오른쪽클릭신호 중 어느 하나를 생성하는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스 장치.
제 12항에 있어서,

상기 클릭신호생성부는 검지가 접혔다가 다시 펴지는 동작에 의해 마우스의 왼쪽버튼에 해당하는 왼쪽클릭신호나 마우스의 오른쪽버튼에 해당하는 오른쪽클릭신호 중 어느 하나를 생성하는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스 장치.
제 12항에 있어서,

상기 클릭신호생성부는 중지, 식지 및 약지가 접혔다가 다시 펴지는 동작에 의해 마우스의 왼쪽버튼에 해당하는 왼쪽클릭신호나 마우스의 오른쪽버튼에 해당하는 오른쪽클릭신호 중 어느 하나를 생성하는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스 장치.
제 12항에 있어서,

상기 문자신호생성부는 검지의 이동경로를 추적하는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스 장치.
제 12항에 있어서,

상기 스크롤신호생성부는 상기 손모양인식부에서 인식된 손모양의 상태에서, 소정의 손가락 방향에 따라 스크롤신호를 생성하는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스 장치.
제 12항 내지 제 19항 중 어느 한 항에 있어서,

상기 사용자명령인식수단은:

상기 손모양추출부에서 추출되는 손모양의 변화 혹은 소정의 키버튼의 조작에 의해 입력되는 모드설정키신호에 의거하여, 상기 위치신호, 상기 문자신호, 상기 클릭신호 및 상기 스크롤신호 중에서 어느 하나가 상기 사용자명령처리수단으로 출력하도록 제어하는 모드설정부를 더 포함하여 이루어지는 것을 특징으로 하는 손 의 움직임 인식을 이용한 사용자인터페이스 장치.
제 20항에 있어서,

상기 문자신호생성부는:

상기 손모양인식부에서 인식된 손모양에서 소정의 특징점의 이동 경로를 추적하고, 상기 추적된 이동 경로에 상응하는 획을 생성하는 획생성모듈;

상기 획생성모듈에서 생성된 획을 조합하여 문자 패턴을 생성하는 획조합모듈;

각종 문자의 패턴이 저장된 패턴DB; 및

상기 획조합모듈에서 생성된 문자 패턴이 상기 패턴DB에 있는 경우에는 상기 획조합모듈에서 생성된 문자 패턴에 상응하는 문자신호를 생성하는 패턴비교모듈을 포함하여 이루어지는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스 장치.
제 20항에 있어서,

상기 문자신호생성부는:

상기 손모양인식부에서 인식된 손모양에서 소정의 특징점의 이동 경로를 추적하고, 상기 추적된 이동 경로에 상응하는 움직임 경로 패턴을 생성하는 패턴생성모듈;

각종 문자 패턴이 저장된 패턴DB; 및

상기 패턴DB에 저장된 문자 패턴 중에서, 상기 움직임 경로 패턴과 일치되는 문자 패턴에 상응하는 문자신호를 생성하는 패턴비교모듈을 포함하여 이루어지는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스 장치.
삭제
소정의 영상촬영수단을 통해 촬영된 영상에서 손모양을 추출하는 (a) 단계;

상기 (a) 단계에서 추출된 손모양의 변화와 이동을 인식하고, 상기 인식된 손의 이동경로를 추적하고, 상기 추적된 이동경로에 상응하는 마우스의 위치신호를 생성하고, 상기 추출된 손모양의 변화에 상응하는 마우스의 클릭신호를 생성하는 (b) 단계; 및

상기 (b) 단계에서 생성된 클릭신호와 위치신호를 마우스의 입력을 처리하는 사용자명령처리수단으로 출력하는 (c) 단계를 포함하여 이루어지되,

상기 (a) 단계는 상기 영상촬영수단에서 입력되는 영상에서 손과 배경 간의 색상 차이를 이용하여 손모양을 추출하는 것이고,

상기 (b) 단계는 상기 (a) 단계에 의해 추출된 손모양을 행 단위로 스캐닝하여 명도값을 조사하고 상기 조사된 명도값의 변화에 의거하여 손모양의 상태를 인식하거나, 상기 (a) 단계에 의해 추출된 손모양에서 미리 설정한 기준영역에 존재하는 부분의 넓이값을 측정하고 상기 측정된 넓이값과 미리 저장되어 있는 넓이값의 비교를 토대로 손모양의 상태를 인식하는 것에 의해 수행되는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스방법.
삭제
삭제
소정의 영상촬영수단을 통해 촬영된 영상에서 손모양을 추출하는 (a) 단계;

상기 (a) 단계에서 추출된 손모양의 변화와 이동을 인식하고, 상기 인식된 손의 이동경로를 추적하고, 상기 추적된 이동경로에 상응하는 획을 생성하는 (b) 단계;

상기 (b) 단계에서 생성된 획을 조합하여 문자 패턴을 생성하고, 상기 생성된 문자 패턴에 상응하는 문자신호를 생성하는 (c) 단계; 및

상기 (c) 단계에서 생성된 문자신호를 키보드의 입력을 처리하는 사용자명령처리수단으로 출력하는 (d) 단계를 포함하여 이루어진 손의 움직임 인식을 이용한 사용자인터페이스방법.
제 27항에 있어서,

상기 (a) 단계는 상기 영상촬영수단에서 입력되는 영상에서 손과 배경 간의 색상 차이를 이용하여 손모양을 추출하는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스방법.
제 27항에 있어서,

상기 (a) 단계는 상기 영상촬영수단에서 입력되는 영상에서 손의 윤곽선을 추출하는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스방법.
제 27항에 있어서,

상기 (b) 단계는 상기 (a) 단계에서 추출된 손모양의 넓이를 측정하고, 상기 측정되는 넓이의 변화를 토대로 손모양의 상태를 인식하는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스방법.
소정의 영상촬영수단을 통해 촬영된 영상에서 손모양을 추출하는 (a) 단계;

상기 (a) 단계에서 추출된 손모양의 변화와 이동을 인식하고, 상기 인식된 손의 이동경로를 추적하고, 상기 추적된 이동경로에 상응하는 움직임 경로 패턴을 생성하며, 상기 생성된 움직임 경로 패턴을 미리 저장된 문자 패턴과 비교하는 (b) 단계;

상기 미리 저장된 문자 패턴 중에서, 상기 움직임 경로 패턴과 일치되는 문자 패턴에 상응하는 문자신호를 생성하는 (c) 단계; 및

상기 (c) 단계에서 생성된 문자신호를 키보드의 입력을 처리하는 사용자명령처리수단으로 출력하는 (d) 단계를 포함하여 이루어진 손의 움직임 인식을 이용한 사용자인터페이스방법.
제 31항에 있어서,

상기 (a) 단계는 상기 영상촬영수단에서 입력되는 영상에서 손과 배경 간의 색상 차이를 이용하여 손모양을 추출하는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스방법.
제 31항에 있어서,

상기 (a) 단계는 상기 영상촬영수단에서 입력되는 영상에서 손의 윤곽선을 추출하는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스방법.
제 31항에 있어서,

상기 (b) 단계는 상기 (a) 단계에서 추출된 손모양의 넓이를 측정하고, 상기 측정되는 넓이의 변화를 토대로 손모양의 상태를 인식하는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스방법.
삭제
소정의 영상촬영수단을 통해 촬영된 영상에서 손모양을 추출하는 (a) 단계;

상기 (a) 단계에서 추출된 손모양의 변화와 이동을 인식하고, 상기 인식된 손모양이 미리 정해진 특정모양인 경우에는 상기 인식된 손모양에 의거하여 소정의 방향으로의 스크롤을 지시하는 스크롤신호를 생성하는 (b) 단계; 및

상기 (b) 단계에서 생성된 스크롤신호를 마우스의 입력을 처리하는 사용자명령처리수단으로 출력하는 (c) 단계를 포함하여 이루어지되,

상기 (a) 단계는 상기 영상촬영수단에서 입력되는 영상에서 손과 배경 간의 색상 차이를 이용하여 손모양을 추출하는 것이고,

상기 (b) 단계는 상기 (a) 단계에 의해 추출된 손모양을 행 단위로 스캐닝하여 명도값을 조사하고 상기 조사된 명도값의 변화에 의거하여 손모양의 상태를 인식하거나, 상기 (a) 단계에 의해 추출된 손모양에서 미리 설정한 기준영역에 존재하는 부분의 넓이값을 측정하고 상기 측정된 넓이값과 미리 저장되어 있는 넓이값의 비교를 토대로 손모양의 상태를 인식하는 것에 의해 수행되는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스방법.
삭제
삭제
삭제
소정의 영상촬영수단을 통해 촬영된 영상에서 손모양을 추출하는 (a) 단계;

상기 (a) 단계에서 추출된 손모양의 변화나 이동을 인식하는 (b) 단계;

상기 (b) 단계에서 인식된 손모양의 변화 혹은 소정의 키버튼의 조작에 의해 입력되는 모드설정키신호에 의거하여, 데이터입력모드를 설정하는 (c) 단계;

상기 (c) 단계에서 설정된 데이터입력모드에 의거하여, 상기 (b) 단계에서 인식된 손모양의 변화나 이동 경로에 상응하는 마우스의 위치신호, 마우스의 클릭신호, 마우스의 스크롤신호 및 키보드의 문자신호 중에서 어느 하나를 생성하는 (d) 단계; 및

상기 (d) 단계에서 생성된 신호를 마우스나 키보드의 입력을 처리하는 사용자명령처리수단으로 출력하는 (e) 단계를 포함하여 이루어지되,

상기 (a) 단계는 상기 영상촬영수단에서 입력되는 영상에서 손과 배경 간의 색상 차이를 이용하여 손모양을 추출하는 것이고,

상기 (b) 단계는 상기 (a) 단계에 의해 추출된 손모양을 행 단위로 스캐닝하여 명도값을 조사하고 상기 조사된 명도값의 변화에 의거하여 손모양의 상태를 인식하거나, 상기 (a) 단계에 의해 추출된 손모양에서 미리 설정한 기준영역에 존재하는 부분의 넓이값을 측정하고 상기 측정된 넓이값과 미리 저장되어 있는 넓이값의 비교를 토대로 손모양의 상태를 인식하는 것에 의해 수행되는 것을 특징으로 하는 손의 움직임 인식을 이용한 사용자인터페이스방법.
삭제
삭제