KR20110023654A - 핑거 마우스 - Google Patents

Abstract

본 발명은 핑거 마우스에 관한 것이다. 본 발명에 따른 핑거 마우스는 노트북에서 마우스의 기능을 대체 또는 보완하는 문자입력장치로서 작용한다. 본 발명에 따른 핑거 마우스는 사용자의 손 또는 손가락의 이동에 의해 마우스의 기능을 수행하는 것으로서, 노트북의 디스플레이 상단에 구비된 제1 카메라와 제1 조명, 노트북의 키보드 자판 상부에 구비되는 제2 카메라와 제2 조명, 키보드 자판 하단의 일측에 구비된 역반사 마커(reflective marker), 그리고 마우스의 좌우버튼에 해당하는 한쌍의 마우스 버튼을 구비한다. 상기 핑거 마우스는 타이핑에서 포인터 동작(마우스 동작) 으로 전환시 손을 이동할 필요가 없어 작업이 효율적이고, 특히 암 레스트(Arm Rest)에 손목을 위치한 상태를 유지하므로 인체공학적인 측면에서 어깨와 손목에 무리를 최소화 하는 장점이 있다. 그리고, 상기 핑거 마우스는 마우스 사용을 위한 별도의 마우스패드 공간을 필요로 하지 않아 작업공간이 절약되고, 특히 마우스를 사용하기 어려운 상황에서의 노트북 사용자에게 편리하다.

Description

핑거 마우스{FINGER MOUSE}

도 1은 본 발명에 따른 핑거 마우스의 바람직한 구현예를 보여주는 도면이다.

도 2는 도 1의 핑거 마우스를 각도를 달리하여 보여주는 도면이다.

도 3은 본 발명에 따른 핑거 마우스의 전반적인 동작을 설명하는 도면이다.

도 4는 제1 카메라(motion sensing)에 촬영된 이미지의 예로서, (a)는 사용자의 손이 위치하기 전의 그림이고, (b)는 사용자의 손이 위치한 후 특징점을 추출한 그림이다.

본 발명은 핑거 마우스에 관한 것이다.

입력장치의 대표적 예로는 키보드, 마우스 및 터치스크린을 들 수 있다. 데스크탑 컴퓨터 및 랩탑컴퓨터의 경우, 키보드가 필수적으로 구비되며, 마우스가 키보드의 입력을 보조한다. 기계적 마우스는 움직인 정도를 두 개의 회전축을 통해 감지하여 이동방향을 추적 및 입력하며, 광마우스는 마우스의 움직인 정도를 발광 수단과 카메라로 측정하여 입력한다. 다른 예로서, 터치스크린은 표면이 부착된 센서에 의해 사용자의 손이나 펜의 위치 정보를 추적한다. 다른 예로서, 음성입력, 디지타이져 등이 개발되고 있다.

그 중에서, 마우스는 컴퓨터 인터페이스에서 중심이 되는 포인터로서 가장 중요한 입력 디바이스의 역할을 수행하고 있으며, 대부분의 사용자가 키보드와 마우스를 병용하여 문자, 숫자 등의 입력과 특정 아이콘의 클릭 등을 수행하고 있다. 그러나, 종래의 마우스는, 데스크탑 컴퓨터에서 키보드의 숫자키 우측에 치우쳐 위치함으로서 인체공학적이지 못해 어깨 통증을 유발하는 주요 원인으로 작용한다. 구체적으로, 데스크탑 컴퓨터에서, 키보드와 마우스 상호간을 이동할 때, 사용자의 팔과 어깨 부위의 작용점의 변경이 요구되며, 빈번한 작용점의 변경은 팔과 어깨, 특히 어깨 부위에 통증을 야기하는 것으로 알려져 있다. 그리고, 노트북에서는 마우스 사용이 여의치 못하다. 구체적으로, 노트북에서는 키보드의 하단에 터치패드가 구비되어 있으나, 손가락 끝만 대고 써야 하는 불편함이 있으며, 키보드 하단에 위치하여 손을 아래로 이동하여야 하고, 암 레스트(Arm rest) 없이 사용해야 하는 불편함이 존재한다. 특히, 키보드 사용시 손목의 터치에 의한 오동작 등의 불편함으로 인하여 대부분의 노트북 사용자들이 별도의 마우스를 보조적으로 휴대하고, 이를 이용하여 입력하고 있는 실정이다.

한편, 종래기술로서, 핑거 마우스의 개념이 사용된 바 있다. 그러한 예로는 실용신안등록 제274,066호 및 실용신안등록 제425,641호를 들 수 있다. 그러나, 종래기술에 따른 핑거 마우스는 사용자의 손가락이 핑거 마우스의 내부에 삽입되는 형태로서, 이러한 핑거 마우스는 키보드 상에서의 타이핑을 현저히 방해한다는 문제점을 안고 있다.

본 발명에서는 키보드에서 손을 이동하지 않고 그대로 키보드 위에서 마우스 동작이 가능한 핑거 마우스를 제공하고자 한다. 키보드를 이용한 타이핑에서 포인터 동작(마우스 동작)으로 전환시 손을 특별히 이동할 필요가 없어, 키보드 입력과 마우스 입력 상호간의 전환 작업이 효율적으로 수행되고, 인체공학적 측면에서, 암레스트에 손목을 위치한 상태를 유지하므로 어깨와 손목에 무리를 최소화 할 수 있는 핑거 마우스를 제공하는 것을 목적으로 한다. 특히, 마우스 사용을 위한 별도의 마우스패드 공간을 필요로 하지 않아 작업공간이 절약되고, 마우스를 사용하기 어려운 상황에서의 노트북 사용자에게 편리한 핑거 마우스를 제공하는 것을 목적으로 한다.

이하 도면으로 구현된 구체예를 참조하여 본 발명을 보다 상세히 설명한다.

I. 마우스의 동작상태

(1) 아이들(Idle)

사용자가 아무 동작을 않거나 키보드 타이핑을 하는 상태로 마우스를 이용하지 않는 상태를 의미한다.

(2) 후버링(Hovering)

마우스를 들어서 이동하는 상태를 의미하며, 이러한 후버링은 실질적으로 마우스는 아무 동작을 하지 않지만 마우스 포인터의 위치를 크게 바꾸거나 마우스의 물리적 위치를 조정하기 위한 사용자 행위이다.

(3) 마우스 무브(Mouse Move)

마우스를 드래그하여 위치변화 신호가 입력되는 상태를 의미한다.

(4) 마우스 클릭(Mouse Click)

마우스의 전반 좌우측에 구비된 한쌍의 마우스 버튼을 누른 상태를 의미한다. 통상 마우스 클릭과 마우스 무브는 동시에 일어나지 아니하며 마우스 클릭한 상태에서 마우스 무브는 일어나지 아니한다.

II. 핑거 마우스의 구성

도 1 및 도 2는 본 발명에 따른 핑거 마우스의 바람직한 구현예를 보여주는 도면이다. 도 1 및 도 2에 도시된 바와 같이, 본 발명에 따른 핑거 마우스는 노트북의 디스플레이 상단에 구비된 제1 카메라와 제1 조명, 노트북의 키보드 자판 상부에 구비되는 제2 카메라와 제2 조명, 키보드 자판 하단의 일측에 구비된 역반사 마커(reflective marker), 그리고 마우스의 좌우버튼에 해당하는 한쌍의 마우스 버 튼을 구비한다.

(1) 제1 카메라와 제1 조명

제1 카메라와 제1 조명은 디스플레이의 상단에 구비되며, 손가락 또는 손의 움직임을 감지(sensing)하여 마우스 무브입력을 생성한다.

상기 제1 카메라는 640x480 30fps 이상의 그레이 스케일 카메라(gray-scale camera)가 바람직하다. 그리고 제1 조명은 안정적인 IR-LED 조명이 바람직하며, 상기 제1 조명은 제1 카메라의 바로 옆에 구비되는 것이 좋다.

(2) 제2 카메라와 제2 조명

상기 제2 카메라와 제2 조명은 키보드 상단에 구비되며, 상기 제2 카메라는 적외선 카메라가 바람직하다. 제2 조명은 상기 제2 카메라의 바로 옆에 구비되고, 적외선 LED 조명이 바람직하다. 제2 조명에 의해 아래에 설명되는 역반사 마커가 빛나게 된다. 상기 제2 카메라의 해상도는 높을 필요가 없으며, 수평해상도 160 pixel 정도도 무난하다. 1차원 카메라이어도 가능하다.

(3) 역반사 마커(retro-reflective marker)

상기 역반사 마커는 키보드의 높이 보다 미세하게 높게 위치한다. 약 수 mm 정도의 높이여도 무방하다. 상기 역반사 마커는 역반사 물질(retro-reflective material)을 재질로 갖는다. 상기 제2 조명에 의해 상기 역반사 마커가 빛을 발하고, 이것은 제2 카메라에 의해 감지된다. 제2 카메라에서 관찰하였을 때, 역반사 마커가 일부 가려지면, 손가락이 키보드를 터치(touch)하고 있는 것으로 판단한다.

(4) 마우스의 좌우버튼에 해당하는 한쌍의 마우스 버튼

일반적인 마우스의 좌/우 버튼에 해당하며, 버튼 표면을 도전체로 제작하여 터치 센서로 작용한다.

III. 핑거 마우스의 전반적인 동작

1. 핑거 마우스의 위치 변화량 측정

(1) 제1 카메라에서 매 프레임(frame) 촬영되는 손의 영상에서 특징점을 실시간으로 추출한다.

특징점 추출은 SIFT와 같은 방법을 사용할 수 있다. 손가락에 있는 주름 등으로 인해 모션 트래킹을 하기에 충분한 분량의 특징점들이 검출된다.

(2) 이전 프레임에서의 특징점과 매칭을 하여 특징점의 위치 변화량을 계산한다.

특징점에 위치한 부위에 따라 어떤 특징점은 사용자의 의도에 부합하는 위치 변화량 가지기도 하고 (예: 손가락 끝 부분), 다른 부위의 특징점은 (예: 손가락 마디, 엄지손가락) 의도와는 다른 작은 위치변화량을 가진다.

또한, 많은 수의 특징점은 키보드의 패턴에서 발생하는 데 이 특징점들은 움직이지 않는다.

여러 특징점의 위치 변화량 중에서 변화량이 큰 상위 5~10%를 평균한 것은 사용자가 의도한 위치변화량이라고 간주하여 이를 마우스 무브 입력으로 한다. 여기서 마우스 무브 입력은 절대 위치가 아니고 위치 변화량을 의미한다. 이러한 추출점의 생성 및 위치 변화량의 계산 등은 소프트웨어적으로 노트북의 운영 프로그 램 또는 입력 인터페이스로서 구비된다.

도 4는 제1 카메라(motion sensing)에 촬영된 이미지의 예로서, (a)는 사용자의 손이 위치하기 전의 그림이고, (b)는 사용자의 손이 위치한 후 특징점을 추출한 그림이다.

일반적으로 키보드와 카메라가 직각이 아니기 때문에 도 4(a)와 같이 실제로는 직사각형이 카메라 상에서는 사다리꼴로 나타난다. 이러한 사다라꼴을 직사각형으로 복원하는 왜곡보정을 위치변화량에 적용한다. 이를 위해서는 도 4(a)와 같이 직사각형이 투영되어 나타나는 사다리꼴의 형태를 알아야 한다.

직사각형 꼭지점에 위치하는 키보드의 패턴을 인식하는 방법으로 투영된 사다리꼴의 형태를 추정한다.

2. 아이들(Idle), 후버링(Hovering), 마우스 무브(Mouse Move) 상태의 구별

(1) 마우스 버튼의 표면은 터치 센서를 설치하여 버튼 위에 손가락을 올려 놓았을 경우에만 마우스 동작하도록 한다. 마우스 버튼을 터치한 상태가 아니면 아이들 상태가 된다. 버튼의 표면을 도전체로 만들어 간단한 터치 센서를 구현할 수 있다.

(2) 마우스 버튼 위에 손가락을 터치하면 마우스가 동작상태가 되는 데, 마우스 무브 상태 또는 후버링 상태가 된다.

이 때, 제2 카메라와 제2 조명에 의해 터치(touch) 상태로 감지되면 마우스 무브 상태가 되고, 제2 카메라와 제2 조명에서 터치 상태가 아니면 후버링 상태가 된다. 다시 말해, 제2 카메라에서 관찰하였을 때, 역반사 마커가 일부 가려지면, 손가락이 키보드를 터치(touch)하고 있는 것으로 판단하고, 이 터치 상태를 유지하면서 이동할 경우 마우스 무브로 인식된다. 여기서, 오른손 잡이일 경우, 역반사 마커가 터치 상태에서 이동하면 마우스 무브로서 인식하고, 왼손 부분은 무시될 수 있다. 반면에 왼손 잡이일 경우, 역반사 마커의 좌측 부분을 이용하여 마우스 무브와 후버링을 구별할 수 있다.

그리고, 후버링은 역반사 마커가 온전히 보이면, 손가락이 키보드를 사용자가 손가락을 들고 키보드에 접촉을 하지 있지 않은 상태가 되고, 후버링으로 인식된다. 후버링 상태로 인식되면 마우스 무브 입력을 하지 않는다.

본 발명에 따른 핑거 마우스는 타이핑에서 포인터 동작(마우스 동작) 으로 전환시 손을 이동할 필요가 없어 작업이 효율적이고, 특히 암 레스트(Arm Rest)에 손목을 위치한 상태를 유지하므로 인체공학적인 측면에서 어깨와 손목에 무리를 최소화 하는 장점이 있다. 그리고, 상기 핑거 마우스는 마우스 사용을 위한 별도의 마우스패드 공간을 필요로 하지 않아 작업공간이 절약되고, 특히 마우스를 사용하기 어려운 상황에서의 노트북 사용자에게 편리하다.

Claims (5)

1. 사용자의 손 또는 손가락의 이동에 의해 마우스의 기능을 수행하는 것으로서, 노트북의 디스플레이 상단에 구비된 제1 카메라와 제1 조명, 노트북의 키보드 자판 상부에 구비되는 제2 카메라와 제2 조명, 키보드 자판 하단의 일측에 구비된 역반사 마커(reflective marker), 그리고 마우스의 좌우버튼에 해당하는 한쌍의 마우스 버튼을 구비하는 핑거 마우스.
2. 제1항에 있어서, 상기 제1 카메라와 제1 조명은 사용자의 손 또는 손가락이 키보드 자판위에 위치할 때, 상기 손 또는 손가락의 위치 변화량을 센싱하는 것을 특징으로 하는, 핑거 마우스.
3. 제1항에 있어서, 상기 제2 카메라와 제2 조명은 상기 역반사 마커가 사용자의 손 또는 손가락에 의해 가려져 있는 지의 여부를 판명하고, 이것에 의해 후버링과 마우스 무브를 구별하는 것을 특징으로 하는, 핑거 마우스.
4. 제1항에 있어서, 상기 한쌍의 마우스 버튼은 터치 센서로서 작용하고, 접촉 이 유지된 상태이면 마우스 동작 상태로 감지하고, 클릭시 마우스 버튼 입력으로 감지하는 것을 특징으로 하는, 핑거 마우스.
5. 제1항에 따른 핑거 마우스를 구비하는 노트북.

Images