KR101588021B1 - 헤드 마우스 - Google Patents

Abstract

본 발명은 클릭, 드래그, 더블클릭 등의 명령동작을 수행함에 있어서, 사용자의 편의성이 증대되도록 구조가 개선된 헤드 마우스에 관한 것이다. 본 발명에 따른 헤드 마우스는 사용자의 머리에 장착되며, 사용자의 머리 움직임을 측정하는 움직임 측정기와, 사용자의 손에 장착되며, 사용자의 손의 움직임에 따라 on/off 신호를 출력하는 단위신호입력기와, 움직임 측정기에서 측정된 머리 움직임과, 단위신호입력기에서 출력된 신호를 해석하여 대응되는 제어신호를 전자기기 디바이스로 전달하는 마우스 명령 해석부를 포함한다.

Description

헤드 마우스{An input device using head movement}

본 발명은 전자기기 디바이스에 명령을 입력하기 위한 입력장치에 관한 것으로, 보다 상세하게는 사용자의 머리 움직임을 이용하여 명령을 이용하는 헤드 마우스에 관한 것이다.

1980년대 컴퓨팅 디바이스의 입력장치로 마우스가 도입된 이후, 마우스는 컴퓨터의 입력장치로서 중요한 역할을 수행하고 있다. 마우스는 디스플레이상의 원하는 위치로 가서 해당 위치의 메뉴를 선택할 수 있는 위치 기반 명령 입력 장치의 대표적인 장치이다. 현재까지도, 컴퓨터 작업을 수행하기 위해서는 마우스 없이 작업이 불가능할 정도로 필수적인 장치가 되었다.

하지만 마우스는 마우스 패드 위에서의 마우스의 상대 위치를 이용하기 때문에 항상 손을 마우스 패드가 위치하는 책상 위에 올려놓아야 하고, 장시간 마우스를 잡는 자세의 피로로부터 기인하는 손목 증후군과 같은 불편함이 존재한다. 최근에는 디스플레이에 컴퓨터 기능을 더한 스마트 디스플레이 장치가 일반화되어 있고, 스마트 디스플레이는 이동하면서 명령 입력이 가능해야 하는 특징이 있다. 기존의 마우스는 이와 같은 이동환경에서 동작시키는 데는 문제가 있다.

한편, 최근에는 모바일 시장의 또 다른 혁신을 가져올 수 있는 디바이스로서 웨어러블 컴퓨터의 시장이 커지고 있다. 웨어러블 컴퓨터는 디바이스를 손에 들고 다닐 필요 없이 몸에 착용하고 다니기 때문에 이동성을 높일 수 있고, 손이 자유로운 상태에서 스마트 디스플레이 디바이스를 작동시킬 수 있다. 특히, 웨어러블 컴퓨터 중 구글 글라스와 같은 스마트 안경의 경우, 기존의 터치 스크린 입력 방법을 사용할 수 없다. 따라서 새로운 형태의 입력방법이 요구된다.

이와 관련하여, 본 출원인은 안경형 디스플레이 디바이스용 마우스 장치에 관한 특허 등록번호 10-1370027호(이하, 선행기술)를 출원하였고, 이를 등록받은 바 있다. 상기 선행기술에서는, 안경에 부착된 카메라를 이용하여 손가락을 촬영하고, 이 손가락의 움직임 궤적을 명령신호로 사용한다.

하지만, 이와 같이 손가락의 움직임 궤적만을 이용하여 명령을 하는 경우, 클릭, 드래그, 더블클릭과 같이, 기존 마우스의 버튼을 사용하는 명령신호를 출력하기 위해서는, 사용자가 특별한 제스쳐를 취해야 하기 때문에, 다소 불편함이 따른다는 문제점이 있다.

등록특허 10-1370027호(안경형 디스플레이 디바이스용 마우스 장치 및 그 구동방법)

본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 클릭, 드래그, 더블클릭 등의 명령동작을 수행함에 있어서, 사용자의 편의성이 증대되도록 구조가 개선된 헤드 마우스를 제공하는 것이다.

본 발명에 따른 헤드 마우스는 사용자의 머리에 장착되며, 상기 사용자의 머리 움직임을 측정하는 움직임 측정기와, 상기 사용자의 손에 장착되며, 상기 사용자의 손의 움직임에 따라 on/off 신호를 출력하는 단위신호입력기와, 상기 움직임 측정기에서 측정된 머리 움직임과, 상기 단위신호입력기에서 출력된 신호를 해석하여 대응되는 제어신호를 전자기기 디바이스로 전달하는 마우스 명령 해석부를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 상기 움직임 측정기는, 상기 사용자의 머리에 장착되어 복수의 연속 영상을 촬영하는 영상촬영부와, 상기 영상촬영부에서 촬영된 연속 영상들로부터 상기 머리 움직임을 산출하는 분석부를 포함하는 것이 바람직하다.

또한, 본 발명에 따르면 상기 분석부는 복수의 연속 영상간의 매칭을 통하여 상기 영상의 이동량을 계산함으로써 상기 사용자의 머리 움직임을 산출하는 것이 바람직하다.

또한, 본 발명에 따르면 상기 움직임 측정기는, 상기 사용자의 머리에 장착되며, 사용자 머리의 움직임 각도를 측정하는 각속도 센서를 더 포함하며, 상기 분석부는 영상의 이동량과 상기 각속도 센서에서 측정된 움직임 각도를 이용하여 상기 사용자의 머리 움직임을 산출하는 것이 바람직하다.

또한, 본 발명에 따르면 상기 단위신호입력기는 손가락의 접촉여부를 감지하는 접촉센서를 포함하는 것이 바람직하다.

또한, 본 발명에 따르면 상기 접촉센서는 복수로 구비되는 것이 바람직하다.

또한, 본 발명에 따르면 상기 단위신호입력기는 상기 사용자가 손을 흔드는지 여부를 감지할 수 있는 가속도 센서를 포함하는 것이 바람직하다.

본 발명에 따르면, 클릭, 드래그, 더블클릭 등의 명령동작을 수행함에 있어서, 사용자의 편의성이 증대된다.

도 1은 본 발명의 일 실시예에 따른 헤드 마우스의 개략적인 구성도이다.
도 2는 머리를 움직였을 때 촬영되는 영상들의 예를 보여주는 도면이다.
도 3은 머리를 하방으로 움직일 때 카메라로 입력되는 영상을 보여주며, 영상간의 매칭으로 움직임 벡터를 구한 예를 보여주는 도면이다.
도 4는 머리를 왼쪽으로 움직일 때 카메라로 입력되는 영상을 보여주며, 영상간의 매칭으로 움직임 벡터를 구한 예를 보여주는 도면이다.
도 5는 단위명령 입력기를 검지 손가락에 장착한 예를 보여주는 도면이다.
도 6은 단위명령 입력기에 장착된 5개의 접촉센서를 보여주는 도면이다.

기존의 마우스의 기능은 화면상의 위치에 따른 메뉴를 선택하기 위해 화면상에서 커서의 위치를 이동시키는 위치 이동 기능과, 커서 위치에 해당하는 명령들을 주기 위한 클릭, 드래그, 스크롤 등의 단위명령 기능을 포함한다. 커서의 위치를 이동시키기 위해서는 이에 상응하는 물체의 이동을 통해 명령을 입력해야 하는데, 기존의 마우스 방법은 마우스를 2차원 평면상에서 이동시키는 방법이다. 이를 위해서 마우스를 편평한 책상 위에서 움직이는 방법이 사용되었다. 그리고 단위 명령 입력을 위한 버튼은, 마우스와 동일한 디바이스에 장착되었다. 다만, 기존의 마우스는 책상 위에 손을 위치시켜야만 하는 제약이 있어 모바일 환경에서는 작동시키기 힘들다.

본 발명에서는 마우스 기능을 마우스의 위치에 구애받지 않고 동작시키기 위해, 커서의 위치 이동 기능과 단위명령 입력 기능을 분리하여 구현하고자 한다. 보다 구체적으로는, 손으로는 2차원적인 움직임이 필요 없는 단위 명령 입력 기능만을 구현하고, 2차원적인 위치 입력이 필요한 커서 위치 이동 기능은 머리의 움직임으로 구현한다. 이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 헤드 마우스에 관하여 구체적으로 설명한다.

도 1은 본 발명의 일 실시예에 따른 헤드 마우스의 개략적인 구성도이며, 도 2는 머리를 움직였을 때 촬영되는 영상들의 예를 보여주는 도면이며, 도 3은 머리를 하방으로 움직일 때 카메라로 입력되는 영상을 보여주며, 영상간의 매칭으로 움직임 벡터를 구한 예를 보여주는 도면이며, 도 4는 머리를 왼쪽으로 움직일 때 카메라로 입력되는 영상을 보여주며, 영상간의 매칭으로 움직임 벡터를 구한 예를 보여주는 도면이며, 도 5는 단위명령 입력기를 검지 손가락에 장착한 예를 보여주는 도면이며, 도 6은 단위명령 입력기에 장착된 5개의 접촉센서를 보여주는 도면이다.

도 1 내지 도 6을 참조하면, 본 실시예에 따른 헤드 마우스(100)는 움직임 측정기(10)와, 단위신호입력기(20)와, 마우스 명령 해석부(30)를 포함한다.

움직임 측정기(10)는 커서의 위치 이동 기능을 구현하기 위한 것으로, 움직임 측정기(10)는 사용자의 머리 움직임을 측정한다. 본 실시예의 경우, 움직임 측정기(10)는 영상촬영부(11)와, 분석부(12)와, 각속도센서(13)를 포함한다.

영상촬영부(11)는 영상을 촬영하는 것으로, 카메라(예를 들어, 2차원 카메라)를 의미한다. 영상촬영부(11)는 사용자의 머리에 장착되는데, 예를 들어 안경(구글 글라스 등) 등에 결합되어 사용자의 머리에 장착될 수 있다. 영상촬영부(11)는 사용자의 시선 전방의 영상을 연속적으로 촬영한다.

분석부(12)는 영상촬영부(11)에서 촬영된 연속 영상들로부터 머리 움직임을 산출하는 것이다. 보다 구체적으로 설명하면 머리를 움직이면서 연속적으로 영상을 촬영하면, 도 2와 같이 영상 내의 물체들이 영상 내에서 이동한다. 이때, 영상으로 촬영된 물체들이 정지되어 있는 물체라면(즉, 고정된 물체), 각 영상(프레임) 간 영상 내의 물체들의 움직임 벡터(즉, 영상의 이동량)를 도3 및 도4와 같이 구하고, 이를 머리의 움직임으로 구할 수 있다.

그리고, 영상 내에 이동하는 물체가 포함되어 있을 경우에도 동작하기 위해서는 움직임 벡터를 구하는 부분을 도3, 도4와 같이 영상 내의 여러 부분에서 매칭시키고, 구해진 부분 움직임 벡터들의 통계치로부터 머리의 움직임을 구할 수 있다.

또한, 마우스의 특징상 사용자가 모니터를 보고 있을 경우가 많으며, 이에 촬영된 영상 내에 모니터가 포함되는 경우가 많다. 이런 경우, 모니터 내의 화면이 변할 수 있고, 이와 같은 화면의 변화로 인해 움직임 벡터의 산출시 오차가 발생할 수 있다. 따라서, 움직임 벡터를 구함에 있어, 모니터 내에서의 영상 움직임을 무시할 필요가 있다. 이를 위해, 영상해석을 통해 모니터를 인식하고, 모니터 내에서 일어나는 움직임은, 움직임 벡터를 계산하는 과정에서 빼고 머리 움직임을 구하는 것이 바람직하다. 참고로, 모니터는 그 형상(사각형)과, 모니터가 켜진 경우 주변 보다 밝다거나, 화소(색상) 변화가 크다는 것 등을 이용하여 모니터 영역을 인식할 수 있다.

한편, 앞서 언급한 바와 같이, 촬영되는 영상 내에 움직이는 물체(예를 들어, 자동차)가 포함되어 있거나, 혹은 사용자가 이동수단(자동차, 에스컬레이터 등)을 타고 이동하고 있는 경우에는, 사용자가 실제로 머리를 움직이지 않았음에도 불구하고 촬영되는 영상이 변경되기 때문에, 분석부에서 움직임 벡터를 구할 때 오차가 발생할 수 있다.

이를 해결하기 위하여, 본 발명에 따른 움직임 측정기(10)는 각속도 센서(13)를 더 포함한다. 각속도 센서(13)는 안경 등에 결합되어 사용자의 머리에 장착되며, 사용자가 머리를 움직인 각도를 측정한다. 그리고, 분석부(12)에서는 각속도 센서(13)에서 측정된 각도와, 영상의 이동량을 함께 고려하여, 머리의 움직임을 산출한다.

예를 들어, 영상 내의 여러 부분을 매칭하여 복수의 움직임 벡터를 구하였을 때, 각속도 센서에서 측정된 움직인 방향(각도 변화)와 반대되는 부분은, 머리 움직임이 아닌 다른 이유(즉, 물체가 직접 움직이는 등의 이유)에 의해 발생되는 것이기 때문에, 이를 제외하고 움직임 벡터를 산출하면 보다 신뢰성이 있는 머리 움직임을 구할 수 있다.

한편, 카메라나 각속도 센서들은 웨어러블 컴퓨터로 주목받고 있는 스마트 안경에 기본적으로 장착되어 있는 경우가 많으므로, 스마트 안경을 이용할 시에는 적은 비용으로 상기의 기능을 구현할 수 있다.

단위신호입력기(20)는 클릭 명령, 드래그 명령 등을 수행하기 위하여, on/off 신호를 출력하는 것이다. 도 5에 도시된 바와 같이, 단위신호입력기(20)는 사용자의 손, 보다 정확하게는 손가락에 착용될 수 있도록 구성된다. 그리고, 단위신호입력기(20)에는 손가락이 접촉되었는지 여부를 감지하는 접촉센서가 마련되는데, 특히 본 실시예의 경우 도 6에 도시된 바와 같이 5개의 접촉센서(P0~P4)가 십자 형태로 배치된다.

그리고, 각 접촉센서는 접촉여부를 감지하고, 이에 대응되는 on/off 신호를 출력한다. 예를 들어, 손가락을 접촉하면 on, 손가락이 접촉되지 않으면 off 신호를 출력한다. 한편, 본 실시예와 같이 복수의 접촉센서를 배치하면, 손가락이 움직이는 방향을 알 수 있다. 예를 들어, 손가락을 위에서 아래로 움직이면, P2, P0, P4 접촉센서에서 순차적으로 on 신호가 출력된다. 그리고, 손가락을 좌에서 우로 움직이면, P3, P0, P1 접촉센서에서 순차적으로 on 신호가 출력된다.

한편, 상기한 단위신호입력기에서 출력되는 신호는 커서온 명령, 클릭 명령, 드래그 명령 등으로 사용될 수 있다. 예를 들어, 손가락을 접촉센서에 두 번 연속 접촉했다가 떼었을 경우를 커서온 명령으로 정할 수 있다. 이때 접촉에 따른 접촉센서 P0로부터 출력되는 신호(on/off)로 커서온 명령을 해석할 수 있다. 클릭 명령은 커서온 상태에서 엄지손가락을 단위신호입력기에 한번 접촉했다가 떼는 것으로 정할 수 있고, 센서 P0로부터의 신호를 해석하면 쉽게 알 수 있다. 드래그 명령은, 기존 마우스의 기능과 유사하게 엄지손가락을 단위신호입력기에 접촉한 채로 커서 위치 이동을 수행하고 떼었을 경우로 정할 수 있다. 스와이프 명령은 좌에서 우로 또는 우에서 좌로 엄지손가락을 단위신호입력기에 접촉한 채 이동하는 경우로 정할 수 있고, 단위신호입력기의 좌우에 해당하는 접촉센서의 순차적인 on/off 신호로 해석이 가능하다. 스크롤 명령은 스와이프 명령과 유사하게 상에서 하로 또는 하에서 상으로 엄지손가락을 접촉한 채로 이동하는 경우로 정할 수 있다. 그리고, 상기의 동작들은 직관적이고 손가락의 움직임이 극히 작으므로 주머니속이나 무릎위에서 마우스 명령들을 입력할 수 있고, 특히 모바일 환경에 적합하다고 할 수 있다.

한편, 단위신호입력기로 손(또는 손목)에 장착된 가속도 센서를 이용할 수 있다. 웨어러블 디바이스들중 일상생활에서의 운동량을 측정 관리하기 위해 손목에 차고 다니는 디바이스들이 많이 출시되고 있는데, 이들 디바이스들은 기본적으로 손목의 움직임을 감지할 수 있는 가속도 센서를 내장하고 있다. 가속도 센서를 이용하여 손목의 흔들림을 감지하고, 흔들림이 감지되면 on 신호를 출력하고, 흔들림이 감지되지 않으면 off 신호를 출력하도록 할 수 있다. 참고로, 손으로 물체(바닥이나 무릎)를 두드리는 동작의 경우 갑작스런 움직임으로 인해 가속도 센서의 값의 변화가 갑자기 커지게 되며, 따라서 손으로 두드리는 동작을 클릭동작으로 이용하면 센서 값의 변화를 해석하여 클릭신호를 발생할 수 있다.

마우스 명령 해석부(30)는 움직임 측정기(10)에서 산출된 머리 움직임과, 단위신호입력기(20)로부터 출력된 신호를 해석하고, 이에 대응되는 제어신호를 전자기기 디바이스로 출력한다. 예를 들어, 머리 움직임에 따라 마우스 커서가 이동되도록 제어신호를 출력하고, 단위신호입력기에서 출력되는 신호에 따라 클릭, 커서온, 드래그 등의 작업이 이루어지도록 제어신호를 출력한다.

상술한 바와 같이, 본 발명에 따르면 종래의 마우스와 같이 사용자의 손을 책상 위에 올려놓지 않고도 전자기기 디바이스를 제어할 수 있다는 장점이 있다.

또한, 종래의 가상마우스에서는 단순 커서의 이동을 구현하는 것은 쉬었으나, 클릭이나 드래그 등의 동작을 구현하기가 매우 어려웠던 반면, 본 발명에서는 이를 용이하게 해결할 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

예를 들어, 움직임 측정기와 관련하여, 커서 위치 이동 기능을 구현하기 위해 머리 움직임을 계산하는 방법 중 가장 간단한 방법은 머리에 각속도 센서를 장착하는 방법이다. 각속도 센서는 x, y, z축의 움직인 각도량을 출력하므로 초기 위치에서 일정시간 동안 신호를 적분하면 움직인 각도를 구할 수 있다. 구해진 각도는 머리의 움직임을 나타내고, 캘리브레이션 과정을 거쳐 움직인 각도에 따라 커서의 위치를 이동할 수 있다.

100...헤드 마우스 10...움직임 측정기
11...영상촬영부 12...분석부
13...각속도 센서 20...단위신호입력기
30...마우스 명령 해석부

Claims (7)

1. 사용자의 머리에 장착되며, 상기 사용자의 머리 움직임을 측정하는 움직임 측정기;
   상기 사용자의 손에 장착되며, 상기 사용자의 손의 움직임에 따라 on/off 신호를 출력하는 단위신호입력기; 및
   상기 움직임 측정기에서 측정된 머리 움직임과, 상기 단위신호입력기에서 출력된 신호를 해석하여 대응되는 제어신호를 전자기기 디바이스로 전달하는 마우스 명령 해석부;를 포함하며,
   상기 움직임 측정기는,
   상기 사용자의 머리에 장착되어 복수의 연속 영상을 촬영하는 영상촬영부와,
   상기 사용자의 머리에 장착되며, 사용자 머리의 움직임 각도를 측정하는 각속도 센서와,
   상기 영상촬영부에서 촬영된 연속 영상 간의 매칭을 통하여 움직임 벡터를 구하되, 각 영상 내의 복수의 부분을 상호 매칭하여 복수의 움직임 벡터를 구하고, 상기 구해진 복수의 움직임 벡터 중 상기 사용자 머리의 움직임 각도와 상반되는 움직임 벡터를 제외함으로써 상기 사용자의 머리 움직임을 산출하는 분석부를 포함하는 것을 특징으로 하는 헤드 마우스.
   
2. 삭제
3. 삭제
4. 삭제
5. 제1항에 있어서,
   상기 단위신호입력기는 손가락의 접촉여부를 감지하는 접촉센서를 포함하는 것을 특징으로 하는 헤드 마우스.
6. 제5항에 있어서,
   상기 접촉센서는 복수로 구비되는 것을 특징으로 하는 헤드 마우스.
7. 제1항에 있어서,
   상기 단위신호입력기는 상기 사용자가 손을 흔드는지 여부를 감지할 수 있는 가속도 센서를 포함하는 것을 특징으로 하는 헤드 마우스.

Images