WO2015084111A1

WO2015084111A1 - 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치

Info

Publication number: WO2015084111A1
Application number: PCT/KR2014/011964
Authority: WO
Inventors: 고재용
Original assignee: 주식회사 와이드벤티지
Priority date: 2013-12-05
Filing date: 2014-12-05
Publication date: 2015-06-11
Also published as: US20160299606A1; KR101617829B1; KR20160084838A; KR20150080480A

Abstract

본 발명은 펜 등의 필기 도구에 설치된 자기장 발생부로부터의 자기장을 스마트폰이나 테블릿 등의 컴퓨터에 구비된 제한된 수의 자기장 센서를 이용하여 감지하고, 감지된 자기장 정보와, 터치 스크린에 대한 입력과 사용자의 손 위치에 대한 정보를 이용하여 펜의 위치와 방향에 관한 정보를 획득하여 사용자 입력으로 처리하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치에 관한 것이다. 본 발명은 자기장을 감지하며, 서로 독립적인 적어도 하나 이상의 자기장 센서와, 필기 도구나 손의 터치를 감지하는 터치 입력부와, 터치 입력부의 현재 터치 위치값과 자기장 센서로부터의 현재 자기장값에 대응하는 필기 도구에 장착된 자기장 발생부나 필기 도구의 위치와 방향을 산정하는 제어부로 구성된다.

Description

제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치

본 발명은 사용자 입력 처리 장치에 관한 것으로서, 펜 등의 필기 도구에 설치된 자기장 발생부로부터의 자기장을 스마트폰이나 테블릿 등의 컴퓨터에 구비된 제한된 수의 자기장 센서를 이용하여 감지하고, 감지된 자기장 정보와, 터치 스크린에 대한 입력과 사용자의 손 위치에 대한 정보를 이용하여 펜의 위치와 방향에 관한 정보를 획득하여 사용자 입력으로 처리하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치에 관한 것이다.

테블릿과 스마트 폰, 기타 대화형 스크린(interactive screen)에 쓰이는 터치스크린은 디스플레이 스크린 위에 정전, 정압, 광학 방식으로 터치를 인식하는 센서를 설치하여 사용자가 스크린에 표시된 대상을 직접 누르거나 끄는 포인팅 장치이다. 특히, 정전식 터치스크린의 경우 전도성 물질(conductive material)인 스타일러스 펜 촉으로 터치하고, 정압식 터치 스크린의 경우는 펜 끝의 단순한 기구적 압력으로 터치스크린에 그리기 입력을 하거나 메뉴 선택, 끌기 등 일반적인 포인팅 장치 입력을 할 수 있으며, 사용자의 손가락으로 터치를 하여 같은 정정/정압 입력을 할 수 있다.

그런데, 대부분의 정전/정압식 터치 스크린은 터치 스크린의 입력만으로는 사람의 피부(손)가 누른 것과 펜(펜촉)이 누른 것을 구분할 수 없다. 따라서 사용자가 손볼을 터치 스크린 위에 놓을 수(palm resting) 없이 손을 터치 스크린 상에 들고 써야 하므로 필기가 힘들고 부자연스러웠다.

또한 터치스크린을 누르는 펜 촉의 이차원적인 좌표만을 입력 받기 때문에, 펜대(펜 몸체)가 기울어진 방향이나 각도, 터치스크린을 누르는 압력을 측정하여 획의 굵기나 진하기를 직관적으로 바꾸거나 3차원적인 조작을 할 수 없었다. 또한, 펜이 터치스크린 가까이 가면 펜 촉의 위치에 미리 커서를 출력해 주는 펜 호버링과 같은 기능도 구현할 수 없다.

어떤 스마트 폰에서는 스타일러스 펜과 손가락의 구분된 입력과 누르는 압력의 입력이 가능한데, 이는 터치 스크린에 두 레이어의 고가 센서를 쓰거나 마이크로 프로세서, 데이터 통신 모듈, 고가의 센서와 전원 장치를 구비한 고가의 펜이 있어야 가능하다. 일본 와콤사가 특허(미국 5,134,388, 5,898,136, 8,228,312 등)로 공개한 정전 방식과 자기 공명을 겸하는 기술이 삼성전자사의 스마트폰 및 테블릿 중 일부에 사용되어 펜에 의한 입력과 손에 의한 누름을 구분할 수 있으며, 펜이 누르는 힘의 정도, 즉 필압의 측정이 가능하다. 이외에도 자기장 신호를 높여 펜이 터치 스크린을 직접 터치하지 않고, 펜 촉이 스크린에 아주 가까이 떠 있는 경우 펜 촉의 위치를 파악하여 표시 스크린에 커서를 출력하는 제한적인 펜 호버링이 가능하다. 그러나, 이러한 방식은 터치 스크린이 손을 인식하는 층과 펜 촉을 인식하고 펜에 전력을 공급하는 이중의 층으로 구현이 되어야 하고, 추가의 칩셋이 필요하여 폰 측의 비용이 상승하고, 전력을 많이 쓰며, 펜에도 복잡한 회로가 들어가야 한다.

또한, 미국의 애플사의 미국 출원 2012/0127110과 미국 마이크로소프트사의 미국 출원 2012/0153026에서는 스타일러스에 카메라와 전원을 포함하는 회로, 프로세서, 무선 통신 모듈을 넣어 스타일러스의 촉이 스마트 폰의 스크린 상에 충분히 가까워지거나 터치를 하면, 스크린에 미세하게 형성된 시각 표지를 스타일러스의 카메라가 인식하여 펜 촉의 스크린 상 위치를 인지하며, 펜과 펜이 아닌 손에 의한 터치를 구분할 수 있다. 또한, 카메라에 촬영된 영상에 대해 펜 내부에서 복잡한 화상 인식 알고리즘을 수행시키면 기울임 측정도 가능할 것으로 예상을 한다. 하지만, 펜에 카메라와 고가의 프로세서, 블루투스 통신 모듈, 전원이 들어가 비용이 크게 상승한다.

일반적으로 포인팅 장치의 움직임을 측정하기 위해 카메라 등의 센서를 쓰는 경우, 큰 비용, 과다한 전력 소모가 문제가 되고 카메라가 보는 시야각이 한정되므로 가시성(line of sight)의 확보가 되지 않는 많은 경우에 적용이 불가하다. 또한 초음파로 거리를 측정하는 경우도 있으나, 초음파 음원과 센서가 서로 바라봐야 측정이 가능하여 방향성이 제한되는 등 자유도가 높은 움직임 측정에 사용할 수 없다.

터치스크린 외에도 트랙 패드가 포인팅 장치로 쓰여 디스플레이는 되지 않지만 손가락 끝으로 눌러 끌거나 선택하는 장치로 많이 쓰이고 있으며, 대부분의 트랙 패드도 터치 스크린과 마찬가지로 펜과 손을 구분하기가 어렵고, 포인팅 장치의 기울어진 방향이나 기울어진 정도를 측정할 수 없고, 펜 호버링이 불가능하다는 공통적인 단점을 가지고 있다.

자기장을 측정하여 자석의 위치와 방향을 알아낼 때 해결해야 하는 것은 1) 센서가 지구 자기장의 영향도 받으므로 컴퓨터의 지구상의 방향에 따라 결정되는 지구 자기장과 기타 센서칩에 전원이 들어올 때 마다 임의의 값으로 정해지는 센서 오프셋(offset) 값. 2) 지자기장 뿐 아니라 주변의 교류 전원선, 전자석 등에 의해 노이즈가 생긴다. 3) 강한 자석이 자기장 센서에 접근했을 때 센서 내/외부의 철이나 니켈 등 강자성체가 센서를 교란시켜 정확한 측정이 어렵다. 이러한 문제를 완화하기 위해 종래에는 자석을 센서로부터 멀리하고 센서들을 회전시키면서 상기 지자기장 등에 의해 생기는 환경적 자기장을 측정하는 등의 calibration 과정을 거친다. 그러나 calibration이 자주 일어나야 한다면 그만큼 사용성이 떨어진다. 또한, 종래에는 자석의 위치를 한정하기 위해 적어도 9개 이상의 1축 자기장 센서를 사용하고, 움직임의 측정 전에 calibration 과정을 거쳐야 했다(http://www.acasper.org/2012/02/19/3d-magnetic-localization/).

위와 같은 문제를 고려할 때 펜에 단순한 영구자석을 써서 컴퓨터에 범용으로 장착된 적은 수의 자기장 센서를 이용하여 펜의 기울기나 위치를 충분히 정확하게 측정하는 것은 불가능하다. 특히 이러한 부정확성에 의해 펜에 의한 터치와 손에 의한 터치를 정확하게 구분하는 것 역시 불가능하다.

종래의 스마트 폰이나 테블릿 등의 모바일 기기 대부분에는 범용의 3축의 자기장 센서(magnetometer)가 장착되어 있는데, 3축의 자기장 센서 측정값으로부터 자유도가 5인 자석의 위치와 각도를 한정하기에는 개수가 부족하다. 더구나 환경적 자기장이 미치고 있으므로 자주 calibration을 해야 하는 불편함이 있다.

본 발명은 와컴 기술 등과 같이 비용이 많이 드는 두 레이어의 터치 센서 스크린과 복잡한 회로 및 전원 전달 장치를 갖춘 펜을 쓰거나, 고가의 센서, 프로세서, 블루투스 등의 통신 장치, 전원이 스타일러스 펜에 구비될 필요 없이, 단순한 영구 자석을 갖춘 펜과 펜의 외부에 적은 개수의 자기장 센서만을 사용하여 펜 촉이 평면상에 획을 긋는 위치와 펜이 공간 상에 기울어진 방향 및 각도, 필압 등을 측정할 수 있는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치를 제공하는 것을 목적으로 한다.

또한, 본 발명은 펜 촉이 터치 스크린을 누른 궤적뿐만 아니라 터치 스크린에 대한 펜 대의 기울기를 입력받아 실제 종이에 펜을 쓰듯이 획의 굵기나 진하기 등을 조절할 수 있으며, 종래 터치펜의 단점인 손과 펜의 터치를 구분을 못하여 손을 스크린 위로 띄운 채 필기해야 하는 문제점을 해결하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치를 제공하는 것을 목적으로 한다.

또한, 본 발명은 자기장 센서나 터치 스크린 등 하드웨어는 범용의 구성 그대로 유지하면서 사용자가 필기를 하거나 그림을 그릴 때 오른손 잡이냐 왼손 잡이냐에 따라 정해지는 손과 펜의 상대적인 위치를 고려하여, 펜-손 간의 구분을 정확하게 하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치를 제공하는 것을 목적으로 한다.

또한, 본 발명은 추가의 하드웨어 장치 없이 펜이 터치 스크린을 터치하지 않더라도 터치 스크린 근처에 있는 펜 촉의 위치를 충분히 정확하게 추정하여 커서를 터치 스크린에 표시할 수 있는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치를 제공하는 것을 목적으로 한다.

또한, 본 발명은 자기장 측정 시에 수행되는 calibration 동작을 최소화하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치를 제공하는 것을 목적으로 한다.

또한, 본 발명은 필기 도구가 터치 스크린을 터치하지 않더라도 터치 스크린 위에 떠 있는 필기 도구의 위치나 각도, 움직임을 파악하여 이에 따라 터치 스크린의 대응하는 위치에 커서나 도움말을 보여주거나 터치 스크린에 표시되는 내용(텍스트, 이미지 등)에 대해 배율 조정(zoom)과 이동(pan) 기능을 수행하여 좁은 표시부를 통해 사용자가 넓은 내용을 편하게 보고 편집(edit)할 수 있도록 하는 사용자 입력 처리 장치를 제공하는 것을 목적으로 한다.

본 발명은 자기장을 더 측정하여 사용자가 손을 터치스크린에 올려놓고 펜으로 터치스크린에 쓸 때, 터치 스크린 입력만으로는 손인지 펜인지 구분이 안된 채 들어오는 터치가 손인지 펜인지 구분하기 위해 펜대 안에 영구 자석을 고정 시키고 펜 외부의 자기장 센서로 자기장을 측정한다. 펜에 의한 터치와 손에 의한 터치가 2차원 터치스크린 상에서 상대적으로 임의의 위치에서 이루어진다면 이를 구분하기 위해서는 센서가 어느 쪽에 있는가는 큰 상관이 없고, 충분히 정확하게 펜에 장착된 자석에 의한 자기장이 측정되어야 한다. 그러나 전술한 노이즈와 강자성체 등의 영향으로 자석에 의해 인가되는 자기장이 정확하게 측정되지 않는다. 이러한 정확한 측정이 불가능한 상황에서 펜의 자석에 의한 자기장 값으로부터 펜과 손에 의한 터치를 정확히 구분하기 위해 본 발명에서는 전술한 바와 같이 펜 촉과 손의 터치 위치가 각각 좌측 상단-우측 하단의 상대적 방향으로 정해진다는 성질을 이용한다. 즉, 펜 촉에 의해 터치가 일어나는 위치와 손에 의해 터치가 일어나는 위치에 각각 실제 자석을 구비한 펜에 의한 터치가 일어났을 때 두 곳에서 자기장 센서에 미쳐지는 펜의 자석에 의한 자기장의 차이가 가능한 커지는 곳에 자기장 센서를 위치시키는 것이다. 즉, 오른손 잡이의 경우 펜이 손에 비해 좌측 상단에 위치 하므로, 자기장 센서를 좌측 상단에서 우측 하단으로 내려오는 선 상에 가능한 가까이 배치한다. 또는, 펜에 장착된 자석과 터치스크린에 놓이는 손의 부위를 연결하는 직선 상에 가능한 가까이 배치하는 것이다. 이렇게 하면 하나의 구분되지 않은 터치에 대해 그 터치가 손에 의한 것일 때와 펜에 의한 것일 때 자기장 센서에 미쳐지는 자기장의 차이가 최대화되어 노이즈와 강자성체 등이 존재하더라도 손인지 펜인지를 정확하게 구분할 수 있다. 마찬가지로 왼손 잡이의 경우 자기장 센서를 우측 상단에서 좌측 하단으로 내려가는 선 상, 즉, 사용자가 쥔 펜의 자석과 사용자 손의 터치 스크린에 놓여지는 부위를 연결하는 직선상에 가깝게 배치한다.

종래의 테블릿이나 스마트 폰 등의 컴퓨터 장치는 1) 방향을 측정하기 위한 범용의 3축 자기장 센서, 2) 터치 스크린, 3) 가속도 센서를 장착하여, 사용자가 컴퓨터를 드는 방향이 가속도 센서로 측정한 중력의 방향에 대해 어떤 방향인지를 파악하여 중력의 반대 방향에 해당하는 컴퓨터의 모서리가 소프트웨어의 위쪽이 되도록 소프트웨어 출력 방향을 하드웨어의 스크린에 대해 자동으로 돌려준다. 이러한 장치와 자석을 구비한 터치 펜을 사용하여 터치 스크린에 펜-손 구분을 구현하는 경우, 사용자가 펜-손 구분 기능을 사용하기 시작할 때나 사용자가 컴퓨터를 들어 소프트웨어가 출력되는 방향을 돌릴 때, 자기장 센서가 상기와 같이 펜과 손의 구분을 손쉽게 하도록 사용자에게 컴퓨터의 방향을 돌리도록 안내할 수 있다. 즉, 오른손 잡이의 경우 3축 자기장 센서가 사용자를 기준으로 좌측 상단 또는 우측 하단에 오도록 사용자에게 컴퓨터를 회전시키도록 지시할 수 있으며, 왼손 잡이의 경우는 센서가 우측 상단 또는 좌측 하단에 오도록 지시할 수 있다. 더 일반적으로 기술하면 손에 쥐어진 펜 내에 있는 자석이 있는 위치와 손이 터치스크린에 닿는 부분을 연결하는 선에 확률적으로 가장 가깝게 3축 자기장 센서가 오도록 사용자에게 지시하는 출력을 내 보내 정확도를 올릴 수 있다. 3축 자기장 센서가 사각형인 테블릿의 어느 한 귀퉁이에 있지 않고 한 모서리의 중간 정도에 있을 경우, 사용자 입장에서 맨 위에 올 수 있는 테블릿의 4 모서리 중 자기장 센서가 상기 자석과 손의 닿는 부분을 연결한 선에 가장 가까이 오도록 하는 모서리를 위에 오도록 지시한다.

펜이 터치 스크린에 닿지 않고 가까이 떠 있을 때 펜 촉의 스크린 상의 위치를 추정하는 펜 호버링도 추가의 센서 없이 3축 자기장 센서만을 쓸 수 있다. 이때 3축의 자기장 센서만으로는 5 자유도에 이르는 자석의 위치를 한정할 수 없으므로, 왼손 잡이냐 오른손 잡이냐에 따라 결정되는 펜의 방향성과, 펜 촉이 터치 스크린에 가까이 있다는 성질 등을 더 가정하여 측정한다.

상기 펜에 설치되는 자석을 편의상 영구자석으로 기술하였으나, 전자석, 회전하는 자석 등 다양한 자기장 발생기가 사용될 수 있음은 자명하며, 편의상 스타일러스 펜으로 기술한 자석을 포함하는 포인팅 장치는 마우스, 반지, 골무 등 터치 스크린에 터치 신호를 보낼 수 있는 부속품과 자석만 있다면 다양한 형태로 구현될 수 있다. 특히 반지의 형태로 구현이 되는 경우, 사용자의 손가락이나 기존의 단순한 스타일러스 펜에 끼워져 손가락/펜의 끝이 터치 스크린을 터치하는 역할을 대신 하고, 반지 내의 자석이 발생시키는 자기장을 더 측정하여 반지가 끼워진 손가락이 터치를 한 것인지, 아니면 손 볼 등 다른 손 부위에 의해 터치가 일어났는지를 구분할 수 있다. 또한 본 발명에서 편의상 ‘터치스크린’으로 기술하는 것도, 터치 입력과 화면 표시(display)가 같이 일어나는 다양한 방식의 스크린뿐만 아니라 트랙 패드 등 화면 표시 없이 터치 입력만 되는 디바이스도 포함된다. 트랙 패드 등의 입력만 되는 디바이스의 경우 통상적으로 화면 표시는 별도의 위치에 있는 스크린 등 표시 장치에 이루어진다.

본 발명에서는 투과성이 가장 좋아 방향성을 확보하지 않아도 되는 자기장 발생원과 제한된 수의 자기장 센서를 움직임을 측정하기 위한 수단으로 사용하며, 특히 자기장 발생원으로서 비용이 거의 들지 않는 영구 자석을 포인팅 장치에 구비하고, 제한된 수의 자기장 센서로 자석(일반적으로 자기장 발생원)이 발생시키는 자기장을 측정하여 포인팅 장치의 위치를 측정한다. 측정의 정확도를 높이기 위해 단순하게 고정된 영구자석 대신 일정한 속도로 영구 자석을 회전시키고, 이 회전수와 동일한 주파수 대의 신호의 크기만 자기장 센서에서 필터링하여 측정하는 방법이 쓰일 수도 있다. 또한 서로 약속한 주파수의 교류 자기장을 발생시키는 전자석을 사용하고 그 주파수대의 신호의 크기만 자기장 센서가 필터링하여 측정하는 방법이 쓰일 수도 있다.

제한된 수의 센서에서 측정된 자기장으로부터 자유도 높은 자석 쌍극자의 위치 및 각도에 대한 의미 있는 정보를 얻어 활용하기 위해 본 발명은 다음의 수단을 더 사용한다. 1) 사용자가 필기를 하거나 그림을 그릴 때 오른손 잡이냐 왼손 잡이냐에 따라 정해지는 손과 펜의 상대적인 위치나 각도를 가정한다. 오른손 잡이의 경우 펜이 스크린의 우측 하단으로 기울어지도록 쥐게 되며, 펜 촉의 위치가 터치 스크린에 닿는 위치가 손이 닿는 위치보다 좌상단 쪽에 오게 되는 성질을 사용할 수 있다. 2) 어느 한 시점의 자기장 측정값 뿐만 아니라 연속된 여러 시점에서 측정된 자기장 값을 종합적으로 참조하여 파라미터 피팅(parameter fitting)이나 비선형 최적화 등을 수행하여 움직임의 위치와 각도에 대한 많은 개수의 변수 값을 파악한다. 이를 위해 사용자는 자석을 포함하는 포인팅 장치를 각도를 급격히 꺾는 없이 대체적으로 등속으로 움직이게 하는 등, 어렵지 않은 조작을 하도록 안내될 수 있다. 이러한 방법을 써서 센서에 미치는 환경적 자기장을 번거로운 calibration과정을 통해 파악하지 않더라도 자석의 위치나 움직임에 대한 충분한 정보를 얻어낸다.

본 발명은 와컴 기술 등과 같이 비용이 많이 드는 두 레이어의 터치 센서 스크린과 복잡한 회로 및 전원 전달 장치를 갖춘 펜을 쓰거나, 고가의 센서, 프로세서, 블루투스 등의 통신 장치, 전원이 스타일러스 펜에 구비될 필요 없이, 단순한 자기장 발생 장치만을 갖춘 필기 도구로부터의 자기장을 제한된 수의 1축 자기장 센서를 사용하여 감지하여, 펜과 손에 의한 터치를 구분하며, 펜 촉이 평면상에 획을 긋는 위치와 함께 펜이 공간 상에 기울어진 방향 및 각도 등을 산정할 수 있는 효과가 있다.

또한, 본 발명은 단순한 터치펜 만을 사용하여 종래 터치펜의 단점인 손을 스크린 위로 띄워놓고 필기해야 하는 문제점을 해결하고 사용자가 종이에 쓰듯 손을 터치 스크린 위에 손 볼을 대고 자연스럽게 필기와 그리기를 하여도, 사용자가 원하는 입력인 터치펜의 입력을 구별할 수 있는 효과가 있다.

또한, 본 발명은 펜 촉이 터치 스크린을 누른 궤적뿐만 아니라 실제 종이에 펜을 쓰듯이 펜의 기운 기울기와 기운 방향에 따라 획의 굵기나 진하기 등을 바꾸거나, 펜이 기울여진 방향이나 각도에 따라 펜의 종류를 바꾸어 서로 다른 사용자 입력으로 판단하여 처리하는 효과가 있다. 또한, 본 발명은 필기 도구의 기울어진 각도와 기울어진 방향에 따라 쓰기 기능/지우기 기능 간의 전환이나 기타 자주 쓰이는 undo 기능 간의 전환 및 선택을 용이하게 하는 효과가 있다.

또한, 본 발명은 추가의 센서 없이 펜 촉이 터치 스크린을 직접 터치하지 않고 터치 스크린 가까이에 펜 촉이 오기만 하면 펜 촉의 위치를 범용의 자기장 센서만으로 파악하여 커서를 표시부를 통하여 표시할 수 있는 효과가 있다. 또한, 펜이 떠 있어도 펜 촉의 위치를 추정하여 커서를 표시할 수 있게 되면, 특히 트랙패드와 같이 터치 입력과 화면 표시가 별도의 위치에 이루어지는 응용에 유용하다. 즉, 별도의 표시 장치가 있는 경우, 펜이 떠서 움직여도 펜의 위치를 별도의 화면에 커서로 보여 주어야 펜을 트랙 패드에서 띄웠다 터치나 획을 다시 시작할 때 그 시작 위치를 사용자가 별도의 표시 화면에서 사용자가 눈으로 확인할 수 있다. 이를 통해 종래의 범용의 테블릿을 별도 컴퓨터의 트랙패드로 사용할 수 있다.

또한, 본 발명은 추가의 센서 없이 자기장 센서가 읽은 값으로부터 펜 촉이 터치 스크린을 터치하지 않은 상태에서 상당히 먼 거리에 떠 있을때도 필기 도구의 각도나 공간 상의 위치, 움직임 등을 파악하여 그에 따라 스크린 커서의 위치를 조작하거나, 스크린 출력 내용을 zoom, pan하여 모바일 기기의 좁은 스크린을 통해 사용자가 많은 정보를 손쉽게 보고 조작할 수 있도록 하는 효과가 있다.

또한, 본 발명은 필기 도구가 접근하는 궤적의 연장선과 터치 스크린이 만나는 교점을 중심으로 zoom-in을 하면 스크린 상의 점은 스크린의 내용이 zoom에 의해 업데이트 되는 중에도 고정되어 있으므로 사용자가 직관적으로 터치할 수 있고, 스마트 워치와 같이 화면이 아주 작을 경우는 접근하는 필기 도구의 기울어진 각도나, 접근하는 궤적의 각도에 따라 zoom, pan의 중심점이나 offset을 정할 수 있어, 이를 통해 모바일 기기의 좁은 표시부에 표시되는 내용을 자동으로 zoom, pan하여 zoom-out시의 전체적인 것과 zoom-in 시의 부분적인 디테일을 사용자가 쉽게 조작할 수 있는 효과가 있다.

본 발명은 이러한 동작을 별도의 calibration 없이 극히 제한된 수의 자기장 센서와 자석 만으로 수행하므로 고장이 없고, 사용자가 펜에 별도의 배터리를 설치하고 교체나 충전을 하지 않아도 되며, 펜 등의 포인팅 장치와 모바일 컴퓨터를 블루투스 페어링하지 않아도 된다.

도 1은 본 발명에 따른 사용자 입력 처리 장치의 기본 구성도이다.

도 2 및 도 3은 도 1의 사용자 입력 처리 장치의 제1 및 제2 실시예에 따른 이용예이다.

도 4는 자석이 원주 상에 위치된 경우 원의 중심에 위치된 자기장 센서에서 자기장을 감지하는 도면이다.

도 5a 및 5b는 도 1의 사용자 입력 처리 장치의 제3 및 제4 실시예에 따른 이용예이다.

도 6 및 도 7은 도 1의 사용자 입력 처리 장치의 제5 실시예에 따른 이용예이다.

도 8a 및 8b는 사용자 입력 처리 장치와 필기 도구가 서로 다른 각(theta, phi)으로 위치된 실시예들이다.

도 9 a 및 9b는 사용자 입력 처리 장치에서 필기 도구의 위치에 따른 줌(ZOOM) 기능의 실시예이다.

도 10은 필기 도구가 터치 스크린인 평행한 평면 상에서 임의로 움직이는 궤적을 자기장 센서의 자기장값에 의해 판정되어 표시된 예이다.

도 11은 도 1의 사용자 입력 처리 장치의 제6 실시예에 따른 이용예이다.

도 12는 도 1의 사용자 입력 처리 장치의 제7 실시예에 따른 이용예이다.

도 13은 도 2의 사용자 입력 처리 장치를 이용한 다른 이용예이다.

이하에서, 본 발명은 실시예들과 도면들을 통하여 설명된다.

사용자 입력 처리 장치(200)는 사용자가 필기나 그림을 그리기 위해 사용하는 필기 도구(100)에 장착된 자기장 발생부(20)로부터의 자기장을 감지하여 사용자 입력을 처리하는 장치이다.

필기 도구(100)는 사용자가 손에 쥐는 몸체부(10)와, 몸체부(10)의 내부 또는 외면에 장착되어 자기장을 발생시키는 자기장 발생부(20)를 구비한다. 몸체부(10)의 적어도 일단부에는 펜촉(12)이 형성된다. 자기장 발생부(20)는 영구자석이거나 전자석으로 구성될 수도 있고, 교류 형태의 자기장을 발생시킬 수도 있다.

사용자 입력 처리 장치(200)는 필기 도구(100) 내의 자기장 발생부(20)로부터의 자기장을 측정하는 자기장 센서(210)와, 자이로스코프(212)와, 가속도계(214)와, 다양한 통신 방식에 따른 통신을 수행하는 통신부(220)와, 다양한 정보와 컨텐츠를 표시하는 표시부(230)와, 사용자로부터의 입력을 획득하는 입력부(240)와, 외부의 음향/음성 신호를 획득하는 마이크(250), 음향/음성을 외부로 발산하는 스피커(260) 및 위 구성요소들을 제어하여 사용자 입력 처리 장치(200)의 고유 기능(유무선 통신, 영상 플레이 등)을 수행하며, 필기 도구(100)로부터의 자기장을 측정하여 필기 도구(100)(또는 펜촉(12))의 위치 및 방향을 산정하는 제어부(270)를 구비한다. 다만, 전원부가 기재되고 있지 않으나, 이러한 구성요소는 널리 알려진 기술에 해당하여 그 설명이 생략되었으며, 자이로스코프(212), 가속도계(214), 통신부(220), 표시부(230), 마이크(250), 스피커(260) 등에 대한 설명도 생략된다.

자기장 센서(210)는 1차원적인 자기장 값을 측정하는 홀 센서들 일 수도 있고, 2차원 또는 3차원의 마그네토메터(magnetometer)일 수 있는데, 다차원 센서의 경우 그 차원 수만큼의 복수의 1차원 센서가 설치된 것과 같은 효과가 있다. 본 실시에에서, 자기장 센서(210)는 서로 다른 방향으로 배치되는 복수의 1차원 자기장 센서(210a, 210b, 1210c 등)로 구성된다.

입력부(240)는 일반적인 버튼식 입력부와, 표시부(230) 상에 위치되는 터치 스크린 형태로 구현될 수 있다.

사용자 입력 처리 장치(200)는 테블릿 PC, 스마트폰 등의 전기 기기에 적용될 수 있다.

사용자 입력 처리 장치(200)의 제어부(270)는 감지된 자기장 정보와, 필기 도구(100)의 터치 스크린에 대한 입력과 사용자의 손 위치에 대한 정보를 이용하여 필기 도구의 위치와 방향에 관한 정보를 획득하여 사용자 입력으로 처리한다.

사용자의 손 위치에 대한 정보를 하기의 사항을 포함한다. 사용자가 필기나 그리기를 할 때, 양손을 동시에 사용하는 경우는 드물고, 오른손 잡이는 오른손, 왼손 잡이는 왼손 등 한 손을 지속적으로 사용한다. 오른손 잡이인 사용자가 필기나 그리기를 할 때, 펜촉(12)이 터치 스크린에 접촉되는 위치는 사용자의 오른손 볼이나 손가락이 터치 스크린에 닿는 위치에 비해 사용자를 기준으로 왼쪽 상단이 된다. 마찬가지로 왼손 잡이인 사용자의 경우는, 펜촉(12)이 터치 스크린에 접촉되는 위치는 오른손 볼이나 손가락이 닿는 터치 스크린에 닿는 위치에 비해 오른쪽 상단에 있게 된다. 또한, 각도의 차이는 있지만, 사용자의가 필기나 그리기를 할 때, 필기도구(100)가 터치 스크린에 대해 기울어지는 방향 역시 대체적으로 오른손 잡이의 경우는 오른쪽 아래를, 왼손 잡이의 경우는 왼쪽 아래를 향하게 된다. 즉, 사용자의 손 위치에 대한 정보(필기 습관 정보)는 사용자의 필기 습관(오른손 잡이/왼손 잡이)에 따른 펜촉(12)의 상대적인 위치와, 필기 도구(100)의 기울어진 각도를 포함한다.

도 2 및 도 3은 도 1의 사용자 입력 처리 장치의 제1 실시예에 따른 이용예이다.

도 2에 보인 본 발명의 한 이용예에 보인 바와 같이 현존하는 대부분의 테블릿 등 사용자 입력 처리 장치(200)는 터치 스크린인 입력부(240)을 구비하고, 증강 현실 등의 응용을 위해 지자기장의 3차원적 방향을 측정하는 3축의 자기장 센서(210)를 구비한다.

제어부(270)는 서로 직각 방향의 자기장의 크기를 측정하는 3축의 자기장 센서(210)로부터의 자기장 정보(자기장 값)를 입력받아 처리하며, 터치 스크린 상의 눌러진 위치를 입력부(240)를 통하여 입력 받고, 표시부(230)에 사용자 입력 처리 장치의 상태와 관련된 출력을 할 수도 있다.

제어부(270)는 자기장 발생부(20)로부터 충분히 가까운 거리에 있는 3개의 자기장 센서들(210)들로부터 자기장 발생부(20) 및 지구 자기장 등 주변에 의해 형성되는 자기장 값을 입력 받고, 몸체부(10)에 고정된 펜 촉(12)이 누른 3차원 위치 (Sx, Sy, Sz)를 입력부(240)을 통해 입력 받는다. 사용자 입력 처리 장치(200)에 충분히 많은 자기장 센서(210)가 장착되어 있으면 자기장 발생부(20)의 공간상의 위치 및 방향을 알 수 있다. 특히, 자기장 발생부(20)의 위치와 방향이 가지는 자유도와 같거나 많은 수의 서로 종속적이지 않은(서로에 대하여 독립적인) 센서값을 입력 받으면, 자기장 발생부(20)의 위치와 방향을 하나로 특정할 수 있다.

예를 들면, 자기장 발생부(20)가 쌍극자 자석이고, 필기도구(100)의 자전 중심 축과 자석의 쌍극자 축(Y’)이 일치되도록 설치되면, 자석이 쌍극자 축(Y’)을 중심으로 회전 대칭의 자기장을 발생시키는 만큼, Y’축을 중심으로 한 필기 도구(100)와 자석의 자전(yaw)은 자석 주변의 자기장 센서값에 차이를 만들지 않는다. 이 경우 자석의 자전 성분을 측정할 수 없고, 자석의 중심 위치 (x, y, z)와 Y’축에 독립적인 X’, Z’축에 대한 회전각 (roll, pitch) 등 5개의 자유도로 자석의 위치 및 방향이 설명된다. 따라서 각 시점마다 3축의 자기장 센서(210)가 자석의 위치 및 방향에 의해 정해지는 3개의 자기장 값을 읽고, 터치 스크린을 통해 자석과 서로 고정되어 있는 위치에 있는 펜촉(12)이 한 시점에서 누르고 있는 3차원 상의 위치(Sx, Sy, Sz)를 읽어 3+3=6개의 서로 종속적이지 않은 센서값을 확보할 수 있으므로 5 자유도의 자석의 위치와 방향을 알아낼 수 있다. 이를 위해 자석의 중심 위치 (x, y, z) 및 회전각(roll, pitch)의 값에 따라 펜촉(12)의 위치 (Sx, Sy, Sz)와 3축 자기장 센서(210)에 읽히는 자기장 값 (Bx, By, Bz)간의 연관 관계를 함수로 기술하는 비선형 함수 B를 제어부(270)가 소프트웨어로 저장하고 있을 수 있다. 즉, 수학식 1과 같은 관계가 형성된다.

수학식 1

제어부(270)는 입력부(240)부터 읽혀진 실제 터치스크린 입력값 (Sx, Sy, Sz)과 실제 자기장 센서(210)의 값 (Bx, By, Bz)을 가장 잘 설명할 수 있는 (x, y, z, roll, pitch)는 실측된 입력값 (Sx, Sy, Sz, Bx, By, Bz)을 수학식 1에 대입하고 수학식 1에 대해 비선형 최적화를 수행하여 구할 수 있다. 즉, 제어부(270)가 실제 측정된 (Sx, Sy, Sz, Bx, By, Bz)값과 B 함수를 통해 계산되는 신호 크기의 차이가 소정의 기준에 의해 최소화되는 자석의 위치 및 방향 벡터 (x, y, z, roll, pitch)를 계산하는 것이다. 제어부(270)는 비선형 최적화 외에도 방정식의 해를 구하는 수치 해석 알고리즘을 수행하여 (x, y, z, roll, pitch) 5개의 변수값을 구할 수 있다. 또한, 제어부(270)는 자석의 가능한 위치와 방향 벡터에 의해 입력부(240)에서 검출될 수 있는 모든 터치 스크린의 위치값 및 자기장 신호의 크기 벡터를 미리 실측하여 테이블 데이터로 만들어 저장하고, 그 테이블 데이터 중에서 실제 자기장 센서(210)에서 검출된 값과 터치 입력값에 가장 가까운 값(가장 대응하는 값)을 찾아 그 값에 해당하는 (x, y, z, roll, pitch)를 구하거나 이렇게 구해지는 후보 변수 값 여러 개를 보간하는 등의 다양한 방법으로 구할 수 있다.

펜 촉(12)이 터치 스크린 상의 특정 위치 (Sx, Sy, Sz)에 있는 것이 입력부(240)를 통해 알려지면, 펜 촉(12)과 서로 고정되어 일정한 거리(d)와 방향을 유지하는 자석의 위치 및 방향을 기술하는 변수는 다음과 같이 2차원으로 줄어든다. 필기 도구(100)의 몸체부(10) 축으로 한 자전 성분 yaw가 회전 대칭적인 자기장에 의해 의미가 없으므로, 필기 도구(100)의 중심(자석의 중심)이 터치 스크린의 법선과 이루는 각(theta)과 필기 도구(100)의 터치스크린 위로의 사영이 터치 스크린의 X축과 이루는 각(phi) 두 개의 변수만 더 알면 자석의 3차원 상의 정확한 위치와 방향을 모두 알게 된다. 이때, 각(theta)와 각(phi) 두 변수에 의해 자석의 공간상의 위치가 달라지고, 이에 따라 자기장 센서(210)에 읽히는 자기장 값이 변화되기에, 각(theta) 및 각(phi)과, 자기장 센서(210)에 의해 감지된 자기장값 간의 연관 관계를 기술하는 함수 B’는 자기장 값이 공간에 어떻게 형성되는지를 기술하는 식이나 데이터로부터 쉽게 유도될 수 있다. 즉,

수학식 2

제어부(270)는 실측된 x축, y축 및 z축 자기장 값인 Bx, By, Bz 값을 위 수학식 2에 대입하여 비선형 최적화를 하여 각(theta)과 각(phi)을 산정한다. 이를 통해 수학식 1의 5차원의 문제는 수학식 2의 2차원의 문제로 단순화 된다.

물론 알아야하는 변수가 theta, phi 2개이므로, 전술한 바와 같은 3개의 자기장 센서(210)를 모두 사용할 필요없이, 2개의 서로 종속적이지 않은 자기장 센서(210)만을 사용하여도 각(theta, phi)을 모두 산정할 수 있다. 사용자 입력 처리 장치(200)가 필기 소프트웨어를 수행하고 있을 경우, 이러한 펜 촉(12)의 위치와 몸체부(10)가 터치스크린과 이루는 각도(theta, phi)를 기준으로 하여 표시부(230)에 표시되는 획의 위치는 물론 그려지는 획의 진하기나 굵기, 획의 흘림(시각적 특징)을 조절하여 출력하거나 소프트웨어가 표시하는 3차원 대상에 대한 각(theta, phi)을 기준으로 하여 조작을 하는 등 실제 종이에 잉크를 묻히는 듯한 효과나 다양한 3차원 효과를 낼 수 있다.

또한, 제어부(270)는 사용자가 필기 중인 필기 도구(100)의 일반적인 위치 정보(필기 동작 시의 각도(theta, phi))와 달리, 사용자가 필기 동작을 수행하다가 필기 도구(100)을 위로 향하여(수직으로 세우는 등) 터치 스크린을 터치하면 필기 도구(100)에 의한 입력은 획 긋기가 아니라 지우개 역할을 하고, 필기 도구(100)를 잡은 손이 오른 손이면 왼쪽으로, 왼손이면 오른쪽으로 필기 도구(100)를 기울이면 마커로 자동으로 바뀌는 기능을 수행한다. 즉, 제어부(270)는 사용자의 필기 습관 정보를 기준으로 하여, 터치 스크린의 입력값들을 서로 상이한 방법들로 처리한다.

현재까지 논의한 것은 자기장 센서(210)에 필기 도구(100)의 자석만이 영향을 미치고 있거나, 자석 외에 자기장 센서(210)에 영향을 미치는 자기장은 모두 알려져 있다고 가정하였다. 그러나 필기 도구(100)의 자석(20)의 영향 외에도 다음과 같은 몇 가지 환경적 요인들에 의해 자기장 센서의 자기장 값이 정해진다.

1) 오프셋 O: 주변에 자기장이 전혀 없어도 사용자 입력 처리 장치(200)에 전원이 들어오는 등의 요인에 의해 자기장 센서(210)에 전압이 걸리기 시작할 때마다 자기장 센서(210)의 전기적 특성에 의해 센서 값이 0이 아닌 임의의 양 또는 음의 오프셋(offset)값으로 읽히며, 향후 이 값에 인가되는 자기장 값이 합산된 값이 읽히게 된다.

2) 내부 자석 I: 사용자 입력 처리 장치(200) 내부의 자석에서 인가되는 자기장 I: 사용자 입력 처리 장치(200)의 스피커(260) 등에 장착된 자석에 의해 자기장 센서(210)에 일정한 자기장이 인가될 수 있다.

3) 지구 자기장 G: 지구내의 어느 위치에서든 인가되는 지구에 의한 자기장으로 사용자 입력 처리 장치 어느 위치에서도 같은 크기와 방향으로 인가되는 자기장. 이외에도 충분히 떨어진 위치에 있는 강한 자성체에 의해 사용자 입력 처리 장치의 어느 곳에서든 대체로 같은 크기와 방향으로 인가되는 자기장도 G에 합산된 것으로 가정한다.

이 외에도 사용자 입력 처리 장치(200) 외부에 있는 자석이 센서에 근접해 있는 경우, 사용자 입력 처리 장치(200)의 각 위치에서 다른 크기나 방향을 자기장을 받을 수 있으나, 이런 경우는 드물고 사용자가 근접한 자석을 제거할 수 있으므로 근접한 자석은 없는 것으로 가정한다. 위의 3가지 요인 중 O와 I는 사용자 입력 처리 장치(200)가 움직임에 따라 변하지 않지만, G의 경우는 사용자 입력 처리 장치(200)가 지구 자기장을 받는 각도가 달라져 그에 따라 변하게 되며, 인가되는 전체 환경 자기장 값(이하 E)은 바뀌게 된다.

사용자 입력 처리 장치(200)가 지구상의 한 위치에 고정되어 움직이지 않는다면, 지자기장과 주변의 영구자석에 의해 형성되는 환경적(ambient) 자기장 E=(Ex, Ey, Ez)은 대부분의 경우 변하지 않아, 노이즈 등에 의한 자기장 변화를 무시한다면 상수(constant)로 취급될 수 있다. 따라서 사용자가 사용자 입력 처리 장치(200) 위에서 필기 도구(100)를 사용하기 전에 필기 도구(100)를 충분히 자기장 센서(210)로부터 멀리 둔 상태에서, 제어부(270)가 자기장 센서(210)를 이용하여 환경적 자기장 (Ex, Ey, Ez)를 측정한 후 사용자 입력 처리 장치(200)가 동일한 위치에서 사용된다면, 이후 제어부(270)는 자기장 센서값으로부터 기측정된 환경적 자기장(Ex, Ey, Ez)를 빼면 필기 도구(100)의 자석이 미치는 자기장 값만이 남게되어, 필기 도구(100) 및 자석이 움직이는 위치와 방향을 산정할 수 있다. 또한 자석의 쌍극자의 위치와 방향이 필기 도구(100)의 자전 축 Y’와 일치하지 않게 장착되어 (예를 들어 자석의 중심점은 필기 도구(100)의 자전축 Y’상에 있되, 쌍극자의 방향은 자전축과 직각에 가깝도록 설치되는 경우다), 제어부(270)는 각(theta) 및 각(phi)과, 함께 필기 도구(100)의 자전성분 yaw까지 산정할 수도 있다. 다만, 필기 도구(100)의 제조과정에서 자석의 세기가 충분히 일정하게 제조되지 않을 수 있다. 이 경우는 제어부(270)는 필기 도구(100)를 사용자 입력 처리 장치(200)의 특정 위치에 직각 등 특정한 각도로 가져가도록 사용자에게 표시부(230)나 스피커(260)를 통하여 안내한 후, 자기장 센서(210)의 값을 측정하여 이로부터 자석의 세기 상수(strength constant)를 측정하는 calibration 과정을 추가적으로 수행한다.

전술한 바와 같이 자석의 쌍극자가 몸체부(10)의 자전축에 같은 방향으로 오도록 배치되면, 각 시점에 5 자유도를 갖는 필기 도구(100)의 위치를 측정하고도 하나가 남는 6개(터치 스크린에 의한 3개값과 3축 자기장 센서에 의한 3개값)의 측정값 (Sx, Sy, Sz, Bx, By, Bz)을 얻는다. 따라서, 사용자가 필기 도구(100)를 사용자 입력 처리 장치(200)로부터 멀리 두고 환경적 자기장(Ex, Ey, Ez)을 측정하는 인위적인 calibration 과정을 거치지 않더라도, 각 시점에서 남는 한 개의 여분 센서값을 통해 알려지지 않은 환경적 자기장(Ex, Ey, Ez)을 산정할 수 있다. 특히, 제어부(270)는 알려지지 않은 값이 Ex, Ey, Ez 3개이므로, 3개의 시점에 측정된 터치 스크린의 입력값과 자기장 센서 값으로부터 환경적 자기장(Ex, Ey, Ez)값을 구할 수 있다. 이는 3개 시점에서의 각(theta, phi) 쌍 (theta1, phi1), (theta2, phi2), (theta3, phi3)에 해당하는 6개의 변수와 그 시간 구간 내에서 변하지 않는 3개의 변수인 환경적 자기장(Ex, Ey, Ez) 등 9개의 변수의 값을 3개 시점 각각에서 구해지는 3개의 자기장 센서값 (Bx1, By1, Bz1), (Bx2, By2, Bz2), (Bx3, By3, Bz3) 등 총 9개와 관련된 방정식을 통해 구하는 문제로, 제어부(270)는 9개의 방정식으로부터 비선형 최적화를 통해 9개의 변수값을 산정할 수 있다.

이 외에도, 사용자가 임의로 긋는 획에 의해 펜촉(12)이 터치스크린에 닿아 움직이는 많은 시점에서 측정된 센서값 (Bx, By, Bz)으로부터, 제어부(270)는 파라미터 피팅(parameter fitting) 기법 등을 사용하여 환경적 자기장(Ex, Ey, Ez)의 정확한 값을 추정할 수도 있다. 이러한 (Ex, Ey, Ez)의 추정은 전술한 바와 같이 사용자가 필기 도구(100)의 사용을 시작할 때 뿐만 아니라, 사용자 입력 처리 장치(200) 운영체계의 내부적인 calibration에 의해 자기장 센서(210)의 값이 불연속적으로 튀어 조정될 때에도 필요하고, 기타 컴퓨터가 공간상에서 움직여져 환경적 자기장 자체가 변할 때도 필요하다. 이러한 경우에, 사용자가 터치 스크린 상의 충분히 떨어진 임의의 3개 점을 필기 도구(100)를 이용하여 터치하거나 하나의 획을 그을 때 측정된 충분히 떨어진 3개 이상의 펜 위치에서의 터치 스크린의 좌표값과 자기장 센서값을 측정하여 전술한 환경적 자기장(Ex, Ey, Ez)이 변수로 포함된 방정식을 풀거나 파라미터 피팅으로 구할 수 있다.

사용자 입력 처리 장치(200)는 터치스크린과 자기장 센서(210) 외에도 자이로스코프(212)나 가속도 센서(214)를 추가적으로 구비하므로, 이들 센서로부터 사용자 입력 처리 장치(200)가 바라보는 방향각이 일정 크기 이상으로 변화되는 것이 감지되면, 제어부(270)는 새로운 환경적 자기장(Ex, Ey, Ez)을 추정되거나 알려질 때까지 사용자에게 터치 스크린 상에 충분히 긴 획을 긋는 등의 행위(필기 도구(100)가 터치 스크린에 접촉된 상태에서의 일정 길이 이상의 필기 동작)를 요구하고 이 획을 긋는 동안의 3개 이상의 시점에서 얻어진 터치 스크린과 자기장 센서값으로부터 환경적 자기장(Ex, Ey, Ez)을 산정한다. 또는, 획을 긋는 별도의 행위를 요구하지 않고 사용자가 펜을 사용하는 중(필기 동작 중)에도, 제어부(270)는 사용자 입력 처리 장치(200)가 바라보는 방향각이 바뀐 것으로 판단되거나 내부 calibration 등에 의해 자기장 센서(210)의 값이 변화된 것이 감지되면 3개 이상의 충분히 공간상에서 떨어진 터치스크린의 입력값이 들어와 새로운 환경적 자기장(Ex, Ey, Ez) 값의 추정이 가능해 질 때까지 각 시점의 자기장 센서값과 터치 위치를 수집한 후, 환경적 자기장값을 갱신할 수 있다. 추정이 가능하지 않은 시간 동안은 제어부(270)는 자기장 센서(210)에서 읽힌 값만 저장하고 기다리며, 미리 정해진 굵기로 터치 스크린의 터치 위치에 획을 표시할 수 있다. 추정이 가능해지면, 제어부(270)는 이전에 계산하지 못한 각(theta, phi)을 계산하여 이미 그려진 획의 굵기 등을 각(theta, phi)값에 맞추어 바꿔 표시부(230)에 출력할 수도 있다.

또한, 사용자 입력 처리 장치(200)가 급히 방향각을 바꾸지 않을 경우, 대부분의 경우에 짧은 시구간 안에서는 환경적 자기장(Ex, Ey, Ez)이 동일하다고 가정할 수 있으므로, 제어부(270)는 지속적으로 파라미터 피팅 기법 등으로 환경적 자기장(Ex, Ey, Ez)을 추정하며 방향각이 바뀌는 사용자 입력 처리 장치(200)에서도 변화하는 변수인 각(theta, phi)을 산정할 수 있다.

상술된 바와 같이, 사용자 입력 처리 장치(200)는 방향을 측정하기 위한 범용의 자기장 센서(210), 선형 가속도 센서(214), 회전 가속도 센서인 자이로스코프(212)를 더 구비하여, 중력이 있는 상태에서 자신의 회전에 의해 바라보는 방향이 바뀐 것을 지속적으로 측정할 수 있다. 사용자 입력 처리 장치(200)를 사용자가 들고 움직이면서 자석(20)을 구비한 필기 도구(100)를 사용하여 필기하는 경우, 이러한 사용자 입력 처리 장치(200)의 바라보는 각도가 달라짐에 따라 바뀌는 환경 자기장 값을 반영하기 위해서는 환경적 자기장 E의 크기만을 미리 측정하는 캘리브레이션(calibration) 과정을 통하되, 환경적 자기장 E 중 자기장 센서(210)와 서로 고정되어 사용자 입력 처리 장치(200)가 움직이는 방향과 관계없이 일정하게 자기장 센서(210)에 영향을 미치는 onboard 성분(=O+I)와 장치 외부에 고정된 earth 성분(=G)을 제어부(270)가 구분하여 측정한다. 이를 위해서 사용자 입력 처리 장치(200)를 8자 형태로 공간 상에 휘두르면서 사용자 입력 처리 장치(200) 내의 자기장 센서, 가속도 센서, 자이로스코프의 측정 값들을 종합(sensor fusion)하여 onboard와 earth 성분을 구분해 내는 종래의 다양한 전자 나침반 calibration 알고리즘이 사용될 수 있다. onboard 성분은 사용자 입력 처리 장치(200) 내에 설치된 자석에 의해 인가되는 성분과 전술한 자기장 센서의 특성에 의해 발생하는 임의의 전기적 오프셋 값을 더한 값이며, earth 성분은 지자기장과 외부에 고정되어 있는 자석 등에 의해 인가되는 성분이다. 이러한 calibration 이후 필기 도구(100)가 터치 스크린에 근접하여 사용되는 동안에는 자석(20)의 간섭이 일어나므로 자기장 센서(210)를 써서 지구 좌표계에서의 사용자 입력 처리 장치(200)의 동서남북 방향을 얻기 어려우므로, 자기장 센서(210)를 제외한 선형 가속도 센서(214)와 자이로스코프(212)의 조합(fusion)이나 카메라, depth sensor 등 시각적인 센서로부터 사용자 입력 처리 장치(200)가 주변 좌표계 상에서 어떻게 회전이 되었는지를 추적하여, earth 성분을 사용자 입력 처리 장치(200)가 회전한 만큼 보정한 후 사용자 입력 처리 장치(200)의 회전과 관계없이 일정한 onboard 성분과 더하여 사용자 입력 처리 장치(200)의 현재 환경적 자기장 값으로 저장되어 사용된다. 이렇게 하면, 사용자 입력 처리 장치(200)가 움직여 사용자 입력 처리 장치(200)에 인가되는 주변 자기장의 방향이 변하더라도 정확한 환경적 자기장 값을 지속적으로 구할 수 있다.

추가적으로, 자기장 센서(210)에 영향을 미치는 것으로 센서에 근접한 강자성체에 의한 soft iron effect가 있으며, soft iron effect는 각 센서축의 scale factor로 작용한다. 상술된 환경 자기장 E에 더하여 soft iron effect를 모두 반영하여 사용자 입력 처리 장치(200)가 오작동을 하지 않도록 하기 위해서는 적어도 두 위치에서 calibration을 수행할 수 있다. 예를 들면, 센서(210)에 펜의 자석에 의해 인가되는 실제 자기장 성분이 수학식1에 의해 계산된 값 (x, y, z)라 하면, 자기장 센서(210)에서 감지하는 자기장값은 전술한 환경 자기장에 의해서는 (x+Ex, y+Ey, z+Ez)고, soft iron effect에 의해서는 최종적으로 감지되는 자기장값은 (a×x+E'x, b×y+E'y, c×z+E'z)이 된다. (E'x, E'y, E'z 각각은 상수로 soft iron effect에 의해 변경되는 지구 자기장 G값과, 내부 자석에 의한 I값을 포함하고 전술한 센서의 특성에 의한 임의의 오프셋 O를 더하여 정해진다) 즉, 제어부(270)는 E'x, E'y, E'z 외에도 추가되는 a, b, c 등의 scale factor 인자를 산정해야 한다. 제어부(270)는 두 위치에서의 calibration을 수행하여 2번의 3축 자기장값 실측값을, 즉 총 6개의 자기장값을 확보하여 scale factor인 a, b, c와 E'x, E'y, E'z를 포함한 6개의 인자값을 산정할 수 있다.

이러한 다양한 자기장 성분에 대한 calibration을 위해, 위치될 수 있는 필기 도구(100)의 방향과 위치 중에서 필기 도구(100)를 사용자 입력 처리 장치(200)로부터 멀리(기준 거리 이상) 위치시킨 이후에, 즉, 자석(20)이 자기장 센서(210)에 영향을 미치는 자기장 성분(x, y, z)=(0, 0, 0)인 것이 되므로, 이러한 점을 이용하기 위해, 제어부(270)는 필기 도구(100)의 사용 시에 사용자에게 필기 도구(100)를 먼 위치로 이동시키도록 안내할 수도 있다. 제어부(270)는 이러한 과정에서 calibration을 수행한다. 또한, 제어부(270)는 하나의 필기 도구(100)가 서로 다른 위치에 놓여지는 것을 calibration에 사용하는 대신에, 하나의 필기 도구(100)가 우선 위치한 후, 자기장값들을 획득하고, 이 상태에서 추가적인 필기 도구가 필기 도구(100)의 위치와 다른, 기준 거리 이상 이격된 위치에 위치한 후, 추가적인 자기장값들을 획득하는 경우도 상술된 방법과 유사하게 처리하여 6개의 인자값들을 산정할 수 있다. 이렇게 구해진 scale factor는 사용자 입력 처리 장치(100)에 부착되어 같이 움직이는 onboard 강자성체가 있는 경우에 적용하거나 사용자 입력 처리 장치(100) 외부 센서 가까이에 강자성체가 있으면서 사용자 입력 처리 장치(200)를 움직이지 않고 필기 도구(100)에 의한 입력을 처리하는 동안만 적용될 수 있다. 강자성체가 사용자 입력 처리 장치(200) 외부에 있으면서 사용자 입력 처리 장치(100)가 움직이면 scale factor인 a, b, c 자체가 변하기 때문이다.

사용자 입력 처리 장치(200)가 움직이는 경우의 외부 강자성체에 의한 soft iron effect를 보정하기 위해서, 또는 별도의 calibration없이 soft iron effect를 보정하기 위해서는 필기 도구(100)의 자유도 보다 많은 개수의 자기장 센서를 사용하고, 여러 시점에서 측정되는 필기도구(100)의 변화된 위치에서 입력되는 자기장 값들을 취합하여 전술한 바와 같은 여러 시점의 연립 방정식을 풀거나 파라미터 피팅을 사용하여 인자들을 구할 수 있다. 예를 들어 3축 자기장 센서를 쓸 경우, 사용자가 필기도구(100)로 터치스크린을 터치하는 동안의 3축 자기장 값을 읽어 각 시점마다 3개씩의 실측값을 저장한다. 각 시점에 변하는 변수는 전술한 바와 같이 (theta, phi) 2개씩이고, 알려지지 않은 인자는 E'x, E'y, E'z, a, b, c 6개이므로 6개 시점 동안 자기장 센서값 3×6개를 수집하고, 6개 시점 동안의 변수 (theta, phi) 6개와 알려지지 않은 인자 6개, 총 18개의 미지수에 대해 18개의 센서값에 의해 얻어지는 18연립 방정식을 풀어 구할 수 있다. 이때, 이 6개의 시점 동안 사용자 입력 처리 장치(200)는 많이 움직이지 않아서 scale factor가 실질적으로 동일한 값이다라는 가정이 필요하다. 이렇게 직접 연립 방정식을 푸는 것 외에도, 여러 개의 시점에서 얻어지는 자기장 센서값에 E'x, E'y, E'z, a, b, c 파라미터들이 일정하다는 가정 하에서 파라미터 피팅에 의해 파라미터 값을 구할 수 있음도 자명하다. 이때, 추가적으로 theta와 phi값도 일정하다는 가정을 적용할 수도 있다.

만일 떠 있는 필기 도구(100)에 대해 soft iron effect를 교정하는 문제라면, 필기도구(100)의 자유도가 5(수학식 1에서의 x, y, z, roll, pitch)인 만큼, 6개(이상)의 센서가 필요하다. 알려지지 않은 인자값이 각 센서 Si 마다 E'i, Scale_factor_i 2개로 총 12개 이다. 따라서, 제어부(270)는 총 12개의 시점에서의 6축 센서값을 취합하여 72개의 연립 방정식을 풀어 구할수 있다. 만일 센서의 수가 필기 도구(100)의 자유도보다 1개보다 많은 경우 그만큼 연립 방정식을 풀기 위한 시점의 수는 줄어들 것이다. 또한, 산출해야 할 scale_factor_i는 센서의 수와 같으나, 환경자기장 인자 E'i는 초기에는 임의의 센서 오프셋과 내부 자석에 의한 onboard 값을 구해야 하므로 센서마다 모두 독립적인 값을 구해야 하나, 이후 onboard는 상수이고, 사용자 입력 처리 장치(200)가 3차원 상에서 바라보는 방향인 3 자유도의 각도에 의해 결정되는 eatth값만을 계산하면 되므로 인자값을 산출하기 위한 시점의 수를 줄일 수 있다. 또한 사용자 입력 처리 장치(200)에 장착된 자이로스코프 값을 따로 참조하면 사용자 입력 처리 장치(200)가 바라보는 3자유도의 방향의 변화를 계산할 수 있으므로, earth값의 변화를 측정할 수 있다. 이에 따라 센서마다 1개의 인자 scale_factor_i만을 산출하면 되므로, 적은 시점 동안의 센서값으로부터 연립 방정식을 풀거나 파라미터 피팅으로 soft iron effect의 교정이 가능하다.

도 3은 도 1의 사용자 입력 처리 장치를 이용한 제2 이용예이고, 도 4는 자석이 원주 상에 위치된 경우 원의 중심에 위치된 자기장 센서에서 자기장을 감지하는 도면이다. 종래의 대부분 스마트폰 및 테블릿의 터치 스크린은 정전식, 정압식, 광학식 터치 스크린 등으로 터치하는 것이 펜 촉(12)인지 손 볼(3)이나 손가락(14)인지를 구분 못하고 모두 같은 터치 입력값으로 인식한다. 따라서 실제 종이에 쓰는 것과 달리 사용자가 손(1)을 허공에 들고 손가락 끝이나 펜촉(12)만 터치 스크린에 닿게 해야 하기에, 사용이 불편하고 정확하게 쓰기 어려웠다. 전술한 바와 같이, 제어부(270)는 3축의 자기장 센서(210) 값을 이용하고, 자석의 쌍극자가 몸체부(10)의 자전축과 방향이 일치하도록 설치하면, 자석의 방향각(theta, phi)를 알아내는데 필요한 자기장 센서(210)의 수인 2개 외에 여분 1개의 자기장 센서(210)를 더 활용할 수 있으므로, 이 여분의 자기장 센서(210)를 사용하여 터치 스크린에 ‘손 올리고 쓰기’(palm resting 또는 palm rejection)를 구현할 수 있다.

즉, 제어부(270)는 터치 스크린을 통해 입력되어 알려진 터치 위치 (Sx, Sy, Sz)로부터 터치 스크린에 대한 각(theta, phi)으로 기울어진 방향으로 알려진 상수인 d만큼 떨어져 있는 곳에 있는 자석의 쌍극자의 연장선이 터치 위치(Sx, Sy, Sz)를 지나가고 있을 때, 터치 입력과 같은 시간(시점)에 3개의 자기장 센서(210)로부터 실측되는 자기장값(Bx, By, Bz)이 검출될 수 있는 값인지를 판정한다. 이는 터치 위치 (Sx, Sy, Sz)와 자기장 센서(210)에 읽힌 값(Bx, By, Bz)로부터 각(theta, phi)를 찾는 비선형 최적화나 기타 해를 구하는 알고리즘을 제어부(270)가 수행하여 각(theta, phi) 값의 계산이 불가능한 것으로 판명나거나 각(theta, phi)이 펜의 기구적 특성 등에 의해 가능한 기준 범위를 벗어난 값으로 구해지는 경우, 제어부(270)는 터치 위치(Sx, Sy, Sz)에서 일어난 터치는 펜촉(12)에 의한 터치가 아닌 것으로 판정한다. 그렇지 않고 각(theta, phi)가 타당한 각도값의 범위로 해가 구해지면 제어부(270)는 터치 위치(Sx, Sy, Sz)는 펜촉(12)에 의한 터치(사용자가 의도한 터치)인 것으로 판단한다. 상술된 바와 같이, 예를 들어, 제어부(270)는 3축 자기장 센서(210)에 읽히는 자기장의 방향이나 자기장의 크기와, 필기 도구(100)(또는 자석)이 기준 범위의 각(theta, phi)의 방향에 있을 때 감지될 수 있는 자기장의 방향이나 크기를 비교하여 그 방향과 크기에서 일정 크기 이상으로 모두 차이가 있을 경우, 펜촉(12) 이외의 손 등에 의한 터치로 판정한다. 이러한 판정에 따라, 제어부(270)는 필기 도구(100)에 의한 터치로 판명된 위치의 표시부(240)에 획을 그리고, 필기 도구(100)에 의한 터치가 아닌 것으로 판단된 위치의 입력을 무시하여 사용자의 ‘손 올려놓고 쓰기’(palm rejection)를 구현한다. 또한, 제어부(270)는 손(1)에 의한 터치인지 필기 도구(100)에 의한 터치인지에 구분하여, 다른 종류의 소프트웨어 작업이 수행되도록 할 수도 있다. 이러한 펜-손 구분은 한 시점에 대해 적용될 수도 있고, 하나의 획(스크린에 터치되어 끊기지 않고 이어져간 궤적)에 대한 여러 시점의 측정값들에 대해 적용하여 더욱 정확도롤 높일 수 있다. 제어부(270)가 한 획에 대해 구분하는 알고리즘을 수행하는 경우, 각(theta, phi)이 획 상의 모든 점에 대해 타당한 값이 나와야 필기 도구(100)의 터치로 판정하는 것이 가능하고, 이외에도 각(theta, phi)이 기준 속도 이상으로 급격히 변하면 필기 도구(100)(펜촉(12))에 의한 터치가 아닌 것으로 판단하는 등, 더욱 다양한 구분 방법을 사용한다.

다만, 자기장 센서(210)에 따라서는 감지되는 자기장의 방향을 바꾸기 위해 concentrator와 같은 강자성체를 내부에 포함하고 있을 수 있고, 이 외에도 센서 가까이에 컴퓨터의 외관을 지지하는 쇠 등 강자성체가 있을 경우, 자석이 자기장 센서(210)에 가까워졌다 멀어지면 센서 주변 강자성체가 자기 이력 현상으로 자성을 띄게 되어 환경적 자기장 값과는 다른 자기장이 자기장 센서(210)에 인가되는 문제가 있다. 이외에도 주변의 교류 전력선 등이 아주 가깝게 있다면 전력선에 의해 발생하는 자기장 등에 의해 노이즈가 발생하여 센서값에 오차가 생길 수 있다. 이러한 오차에 의해 필기 도구(100)에 설치된 자석에 의해 인가되는 자기장만을 정확히 측정할 수 없게 된다.

이러한 경우, 제어부(270)는 사용자가 필기 동작 시에, 사용자가 오른손잡이인지 왼손잡이인지에 따라 결정되는 포인팅 장치의 각도에 정보를 이용한다.

도 4와 같이, 자석(20)의 중심점이 자기장 센서(210)에서 같은 거리에 있는 점들로 이루어진 원주(5) 위에 있고, 자석(20)의 쌍극자가 원주가 놓인 평면과 대체적으로 직각 방향으로 놓인 경우, 자석(20)이 원주(5) 위의 어느 점에 있건, 자석이 인가하는 회전 대칭적 자기장(7)에 의해 자기장 센서(210)에는 동일한 크기와 방향의 자기장이 감지된다. 이러한 자석(20)이 발생시키는 자기장의 회전 대칭적 성질로 인하여, 자기장 센서(210)와 비슷한 거리에서 펜촉(12)에 의해 터치 스크린에 대한 터치가 일어나고 손(1)에 의해 터치가 일어나는 경우, 두 위치 중 어느 것이 자석(20)을 구비한 필기 도구(100)에 의한 터치이고 그렇지 않은지를 자기장 센서 값으로부터 구분하기가 어렵다. 특히 전술한 노이즈 등이 유발되는 상황에서는 더욱 구분이 어렵게 된다.

이러한 문제를 해결하기 위해 본 발명은 펜촉(12)에 의한 터치 위치와 자기장 센서(210) 사이의 간격(거리)가 손(1)에 의한 터치 위치와 자기장 센서(210) 사이의 간격(거리)와의 차이가 최대화되는 위치에 자기장 센서(210)가 설치되도록 한다. 필기 도구(100)와 손(1)의 상대적인 방향이 임의로 정해진다면, 최적의 자기장 센서(210)의 위치를 한정할 수 없지만, 전술한 바와 같이 사용자가 필기 동작 시에 오른손 잡이냐 왼손 잡이냐에 따라 손(1)과 펜 촉(12) 간의 방향이 좌측상단-우측하단 등으로 일정하게 정해진다는 성질을 이용하면 자기장 센서(210)의 위치를 정할 수 있다.

즉, 도 3에 보인 바와 같이 사용자가 오른손 잡이인 경우, 펜촉(12)이 손(1)의 터치 위치(l3)에 비해 좌측 상단에 위치 하므로, 자기장 센서(210)는 사용자 입력 처리 장치(200)의 좌측 상단에서 우측 하단으로 진행하여 펜촉(12)과 손의 터치 위치(3)를 지나는 선 상(6)에 가능한 가까이 배치한다. 즉, 필기 도구(100)에 장착된 자석(20)과 터치스크린에 터치되는 손(1)의 부분(3)을 연결하는 직선상에 최대한 가깝도록 배치하는 것이다. 이렇게 하면 하나의 구분되지 않은 터치에 대해 그 터치가 손(1)에 의한 것일 때와 필기 도구(100)에 의한 것일 때 자기장 센서(210)에 미쳐지는 자기장의 차이가 최대화되어, 제어부(270)는 노이즈 등이 존재하더라도 손(1)인지 필기 도구(100)인지를 정확하게 구분할 수 있다. 마찬가지로 왼손 잡이의 경우 자기장 센서(210)를 우측 상단에서 좌측 하단으로 내려가는 선 상에 가깝게 배치한다.

이외에도 필기 도구(100)가 터치 스크린에 대하여 기울어지는 방향이 오른손 잡이의 경우, 오른쪽 아래를 향하므로 각(phi)값이 터치스크린의 x축으로부터 시계방향으로 45도에 가까운 값이 될 확률이 높으며, 대부분의 경우 0도에서 90도(제1 기준 범위) 안에 들어 올 것으로 예상된다. 필기 도구(100)가 뉘어진 정도인 각(theta) 값 역시 임의의 값이 아닌 터치스크린(22)의 법선 벡터로부터 대략적으로 30도에서 45도(제2 기준 범위) 사이에 포함된다. 이러한 사용자의 손 과 필기 도구의 위치에 대한 정보를 적용하여, 각 터치에 대해 각(theta)과 각(phi)가 각각 제1 및 제2 기준 범위 안에 포함될 때 제어부(270)는 자기장 센서(210)로부터의 실측 자기장(Bx, By, Bz) 값이 필기 도구(100)의 자석(20)에 의해 인가될 수 있는지를 확인하거나, 각 (phi, theta) = (45도, 30도) 등 예상되는 위치에서 자기장 센서(210)에 인가되는 자기장 값(저장된 자기장 값)과 자기장 센서(210)의 실측 값이 가까울수록 필기 도구(100)에 의한 터치가 될 확률이 높은 것으로 가중치를 두어 판단한다. 제어부(270)는 필기 도구(100)의 각도(theta, phi)가 각각 제1 및 제2 기준 범위에 포함되도록, 표시부(230)를 통하여 사용자에게는 자연스럽게 쥐고 사용하도록 안내하고, 그렇지 않을 경우 손 놓고 쓰기 기능이 오동작할 수 있음을 미리 안내할 수 있다.

종래의 테블릿이나 스마트 폰 등의 휴대형 컴퓨터 장치(이하 테블릿으로 총칭)는 1) 방향을 측정하기 위한 범용의 3축 자기장 센서, 2) 터치 스크린, 3) 가속도 센서를 장착하여, 사용자가 휴대형 컴퓨터 장치를 들고 있는 방향이 가속도 센서로 측정한 중력의 방향에 대해 어떤 방향인지를 파악하여 표시부(스크린)에 표시되는 소프트웨어의 위쪽이 중력의 반대 방향이 되도록 소프트웨어 출력 방향을 하드웨어의 표시부(스크린)에 대해 자동으로 돌려주는 기능이 있다. 이러한 장치와 자석(20)을 구비한 필기 도구(100)를 사용하여 터치 스크린에 펜-손 구분을 구현하는 경우, 사용자가 컴퓨터 장치(사용자 입력 처리 장치)를 들어 소프트웨어가 출력되는 방향을 돌릴 때, 제어부(270)가 자기장 센서(210)가 펜과 손의 구분을 손쉽게 할 수 있는 위치에 가도록 사용자에게 표시부(230)나 스피커(260)를 통하여 요구할 수 있다. 즉, 제어부(270)는 오른손 잡이의 경우 3축 자기장 센서(210)가 사용자를 기준으로 좌측 상단 또는 우측 하단에 오도록 사용자에게 컴퓨터를 회전시키도록 지시할 수 있으며, 왼손 잡이의 경우는 자기장 센서(210)가 우측 상단 또는 좌측 하단에 오도록 지시할 수 있다.

일반적으로, 필기 도구(100)에 장착된 자석(20)과 필기 도구(100)를 쥔 손(1)이 터치스크린에 닿는 부분을 연결하는 선에 가장 가깝게 3축 자기장 센서(210)가 오도록, 제어부(270)는 사용자에게 지시하는 출력을 보내 정확도를 올릴 수 있다. 예를 들어 테블릿인 사용자 입력 처리 장치(200)가 사각형이면 사용자는 테블릿을 기울여 테블릿의 네 개의 변 중 어느 한 변에 화면(표시부)의 위 쪽이 오도록 테블릿을 쥔 후 사용할 수 있다. 이때, 제어부(270)가 사용자에게 ‘손 올려 놓고 쓰기’ 기능을 사용하려면 자기장 센서(210)가 자석(20)과 손(1)의 스크린에 닿는 부분을 연결한 선에 가장 가까이 오도록 하는 변이 위쪽이 되도록 돌릴 것을 지시할 수 있다.

이 외에도, 제어부(270)가 사용자가 왼손잡이인지 오른손 잡이인지에 대한 정보가 없는 경우에도, 터치스크린 상의 두 곳에서 시간적으로 겹치거나 물리적으로 옮겨가기 힘든 빠른 시간내에 터치들이 생겨 어느 한쪽은 필기 도구(100), 어느 한쪽은 손(1)으로 판단이 되지만 두 곳이 자기장 센서(210)에서 비슷한 거리만큼 떨어져 자기장에 의해 펜 손 구분이 어렵다면 ‘손 올려 놓고 쓰기’ 기능을 쓰기 위해 사용자 입력 처리 장치(200)를 바람직한 방향으로 돌리도록 안내 할 수 있다.

이때 바람직한 방향은 사용자 입력 처리 장치(200) 상의 어느 위치에 자기장 센서(210)가 설치되었는지와 사용자가 오른손잡이 인지 왼손 잡이인지에 따라 결정된다. 따라서, 제어부(270)는 사용자 입력 처리 장치(200)의 모델 ID를 참조하여 자기장 센서(210)의 설치 위치를 파악하거나 저장된 설치 위치를 판독하고, 사용자가 왼손을 사용할 것인지 오른손을 사용할 것인지를 사용자가 입력할 수 있는 사용자 인터페이스를 표시하여, 사용자로부터의 입력에 따라 사용자의 필기 습관을 파악하여 저장한다.

또한, 자기장 센서(210)를 사용자 입력 처리 장치(200)의 터치 스크린의 가운데에 설치하면 하나의 자기장 센서로, 제어부(270)는 손 올려놓고 쓰기 기능을 손쉽게 구현할 수 있다. 그러나 대부분의 사용자 입력 처리 장치(200)는 두께가 두꺼워지는 이유로 인해 자기장 센서(210)를 터치 스크린 밑에 설치하지 않는다. 이 경우, 2개의 3축 자기장 센서(210)를 사용자 입력 처리 장치(200)의 한 변의 양쪽 모서리 부근에 각각 설치하여 왼손잡이나 오른손 잡이가 테블릿을 가로 또는 세로로 써도 모두 정확하게 손 놓고 쓰기를 구현할 수 있도록 하는 것이 바람직하다. 자기장 센서(210)가 여러 개 있을 경우, 제어부(270)는 이들 자기장 센서(210) 중 자석(20)과 손(1)의 닿는 부분을 연결한 선에 가장 가까이 있는 자기장 센서의 값을 참조하여 손 놓고 쓰기를 구현하는 것이 바람직하다.

도 5a 및 5b는 3축 자기장 센서를 사용한 도 1의 사용자 입력 처리 장치의 제3 및 제4 실시 예에 따른 이용예이다. 이 실시 예에서 필기도구(100)는 앞선 실시 예에서와는 달리 자석(20)의 쌍극자가 펜의 자전축과 일치하지 않고, 필기도구의 지름 방향으로 N극과 S극이 나도록 필기도구 자전축과 수직으로 쌍극자를 설치한다. 이를 통해 펜이 자전한 성분까지 확인할 수 있다. 또한 논의를 단순화하기 위해 센서 가까이에 강자성체가 있어 soft iron effect가 생기는 일은 없는 것으로 가정한다.

도 5a에 도시된 바와 같이, 3축(또는 3개의 1축)의 제1 및 제2 자기장 센서(210-1), (210-2) 한쌍이 사용자 입력 처리 장치(200)의 한 변의 양쪽으로 일정 간격 이격되어 모서리 부근에 각각 설치된 경우, 오른손(왼손)잡이의 경우, 자기장 센서 중 하나가 좌상단(우상단)에서 우하단(좌하단)으로 내려오는 선 상에 항상 위치되므로, 표시부(230)(화면)의 위쪽이 사용자 입력 처리 장치(200)(예를 들면, 테블릿 등)의 어느 변에 오든지에 상관없이 손놓고 쓰기를 구현할 수 있다. 또한 다음과 같은 방법을 사용하면, 사용자 입력 처리 장치(200)가 이동될 때마다 환경적 자기장을 파악하기 위한 calibration을 수행할 필요가 없다.

제1 자기장 센서(210-1)에서 감지하는 자기장 S1은 수학식 3과 같다.

수학식 3

여기서, 벡터 earth1은 상술한 바와 같은 지구자기장 등에 의해 사용자 입력 처리 장치 외부에 고정되어 있는 자기장 성분이고, onboard1은 제1자기장 센서(210-1)의 임의의 전기적 오프셋(off set) 값과 사용자 입력 처리 장치에 고정된 자석에 의해 인가되는 자기장 값으로 3축 센서가 쓰이는 만큼 (onboard1x, onboard1y, onboard1z)과 같이 성분별로 표기할 수 있다, 벡터 B1은 자석(20)에 의한 자기장값으로 (B1x(theta, phi, alpha), B1y(theta, phi, alpha), B1z(theta, phi, alpha))이며, alpha는 쌍극자를 자전 방향에 설치한 필기 도구(100)가 자전축을 중심으로 회전하는 정도(도 2의 yaw)이다.

제2 자기장 센서(210-2)에서 감지하는 자기장 S2은 수학식 4과 같다.

수학식 4

여기서, 벡터 earth2은 상술한 바와 같은 지구자기장 등에 의해 사용자 입력 처리 장치 외부에 고정되어 있는 자기장 성분이고, onboard2는 제2자기장 센서(210-2)의 임의의 전기적 오프셋(off set) 값과 사용자 입력 처리 장치에 고정된 자석에 의해 인가되는 자기장 값으로, 3축 센서가 쓰이는 만큼 (onboard2x, onboard2y, onboard2z)와 같이 성분별로 표기할 수 있다, 벡터 B2는 자석(20)에 의한 자기장값으로 (B2x(theta, phi, alpha), B2y(theta, phi, alpha), B2z(theta, phi, alpha))이다.

오프셋 값들은 사용자 입력 처리 장치(200)에 대한 전원 온/오프 시 등 내부 회로에 전기적으로 큰 변화가 있을 때마다 미리 알수 없는 임의의 값으로변경되며, 그 외에는 일정하게 유지되므로, 제어부(270)는 필기 도구(100)를 멀리 이동시키는 등의 최초 calibration 시에 (onboard2-onboard1)의 값을 산정하여 저장한다. 또한, 벡터 earth1, earth2는 지구 자기장값으로 제1 및 제2 자기장 센서(210-1), (210-2)가 충분히 가까이 있으므로 실질적으로 동일하다. 사용자 입력 처리 장치(200)의 주변에 필기 도구(100)가 아닌 작고 강한 점자석이나 쇠가 별도로 가까이 있을 경우, E값이 제1 및 제2 자기장 센서(210-1), (210-2)에서 상이할 수 있으나, 많은 경우 사용자 입력 처리 장치(200)가 이러한 환경 하에 있지 않는 것으로 가정될 수 있다. 제어부(270)는 벡터 S2에서 S1을 빼서 벡터 earth1과 earth2가 소멸되도록 하면 하기의 수학식 5와 같다.

수학식 5

수학식 5에 나타난 바와 같이, (onboard2x-onboard1x), (onboard2y-onboard1y) 및 (onboard2z-onboard1z)는 사용자 입력 처리 장치(200)가 이동된 경우에도 calibration 시 미리 측정된 상수이고, 변수(theta, phi, alpha)에 대하여 3차원 방정식이 3개가 도출되므로, 제어부(270)는 변수(theta, phi, alpha)를 산정할 수 있다. 따라서, 제어부(270)는 사용자 입력 처리 장치(200)가 움직인 경우에도 별도의 calibration을 수행할 필요 없이, 필기 동작 중에 자석(20)의 자기장 값으로부터 필기 도구의 위치와 방향을 산정할 수 있다.

또한, 제1 자기장 센서(210-1)과 제2 자기장 센서(210-2)가 동일한 전기 기기에 장착될 필요는 없으며, 도 5b에 도시된 바와 같이, 제1 자기장 센서(210-1)은 제1 사용자 입력 처리 장치(200a)에 위치되고, 제1 자기장 센서(210-1)와 동일한 직선 상에서 일정 거리 이격되어서 제2 자기장 센서(210-2)를 구비하는 제2 사용자 입력 처리 장치(200b)가 위치될 수도 있다. 이때, 제2 사용자 입력 처리 장치(200b)는 제2 자기장 센서(210-2)의 자기장값과 오프셋 값을 제1 사용자 입력 처리 장치(200a)로 전송하고, 제1 사용자 입력 처리 장치(200a)는 통신부를 통하여 수신하여, 상술된 수학식 3 내지 5를 적용하여 필기 도구의 위치와 방향을 결정한다.

도 5a의 경우와 달리 충분한 수의 자기장 센서가 구비되지 않은 경우, 제어부(270)가 자석(20)에 의해서 자기장 센서(210)에 인가되는 자기장만을 측정하기 위해서는 환경적 자기장 (Ex, Ey, Ez)을 따로 알고 있어야 한다. 필기 도구(100)의 사용을 시작한 순간이나, 사용자 입력 처리 장치(200)가 움직이는 경우, 또는 자기장 센서(210)의 값이 내부적인 이유에 의해 급격히 변하는 경우는 전술한 바와 같은 복수개의 터치가 일어난 충분히 떨어진 점으로부터 환경적 자기장(Ex, Ey, Ez)을 구해야 한다. 이렇게 환경적 자기장(Ex, Ey, Ez)를 모르는 시간 구간에서는, 제어부(270)는 환경적 자기장(Ex, Ey, Ez)를 구하기 전까지 필기 도구(100)에 의한 터치든 손(1)에 의한 터치든 모든 터치에 의해 그려지는 획을 모두 표시부(230)에 출력하며 각 점에서의 자기장 센서값을 저장한다. 이후, 제어부(270)는 3개 이상의 터치 위치로부터 환경적 자기장(Ex, Ey, Ez)를 파악하면 그 동안 그려진 각 획에 대해, 그 획의 각 점이 그려지는 시간에 측정되어 저장된 자기장 센서값에서 뒤늦게 파악된 환경적 자기장(Ex, Ey, Ez)를 빼서 필기 도구(100)의 자석(20)에 의해 인가된 자기장 값을 산정한다. 제어부(270)는 이렇게 산정된 필기 도구(100)의 자석(20)에 의해 인가된 자기장값으로부터 뒤늦게라도 각 획이 펜에 의해 그려진 것인지 손(1)에 의해 터치된 것인지 구분하여 손(1)에 의한 터치로 판명된 획을 표시부(230)에서 삭제하는 등, 자기장값에 의해 파악된 연상을 수행한다.

사용자의 필기 도구(100) 사용 중에, 제어부(270)가 환경적 자기장(Ex, Ey, Ez)을 정확히 파악하고 있는지를 판단하는 방법으로, 1) 자기장센서 값이 불가능한 속도로 불연속적으로 변하는 경우, 사용자 입력 처리 장치(200) 내부적인 이유에 의해 자기장 센서값이 바뀌어 환경적 자기장(Ex, Ey, Ez) 값도 달라지는 것으로 판단할 수 있다. 2) 또한 구비된 터치스크린과 자기장 센서(210) 외에도 자이로스코프(212)나 가속도 센서(214)를 더 구비하므로, 이들 센서(212, 214)로부터 사용자 입력 처리 장치(200)가 바라보는 방향각이 기준 범위 이상 변화된 경우, 환경적 자기장(Ex, Ey, Ez) 값도 달라지는 것으로 판단할 수 있다. 이러한 1) 및 2)의 경우 새로운 환경적 자기장(Ex, Ey, Ez)을 추정되거나 파악할 때까지, 제어부(270)는 모든 획을 표시부(230)에 표시한 후, 나중에 손(1)에 의한 것을 지우는 과정을 수행하는 등, 자기장 값에 따른 연산을 수행한다.

도 6에 보인 본 발명의 사용자 입력 장치의 제5 실시예로서, 자기장 센서(210)로 1개의 1축 자기장 센서(리니어 홀 센서 등)(210a)가 터치 스크린 주위에 장착된 경우이다. 제어부(270)는 1축 자기장 센서(210a)의 위치에서 1축 자기장 센서(210a)가 놓인 방향에 해당하는 자기장 벡터의 성분을 입력받아 처리하며, 터치 스크린을 누르는 펜 촉의 위치도 입력받아 처리하고, 표시부(230)에 사용자가 볼 내용을 출력한다. 1축 자기장 센서(210a)는 자석(20)에 의해 생성되어 인가되는 자기장 성분 및 지구 자기장, 1축 자기장 센서(210a) 가까이에 자화된 강자성체 등에 의해 형성된 환경적 자기장 값이 합산되어 감지된다.

자석(20)은 쌍극자로, 필기 도구(100)의 자전 중심 축과 자석(20)의 쌍극자 축(Y’)이 일치되도록 설치되면, 자석(20)이 쌍극자 축(Y’)을 중심으로 회전 대칭의 자기장을 발생시키는 만큼, Y’축을 중심으로 한 펜과 자석의 자전(yaw)은 자석 주변의 자기장값에 차이를 야기하지 않는다. 이 경우 자석(20)의 자전 성분을 측정할 수 없고, 중심 위치 (x, y, z)와 Y’축에 독립적인 X’, Z’축에 대한 회전각 (roll, pitch) 등 5개의 자유도로 자석(20)(필기 도구(100))의 위치 및 방향이 설명된다. 각 시점마다 자기장 센서(210a)가 자석(20)의 위치 및 방향에 의해 정해지는 1개의 자기장 값을 읽고, 터치 스크린을 통해 자석(20)이 장착된 필기 도구(100)의 펜 촉(12)이 한 시점에서 누르고 있는 3차원 상의 위치 (Sx, Sy, Sz)를 읽어 1+3=4개의 서로 종속적이지 않은 감지값들을 확보할 수 있는데, 이것만 가지고는 5 자유도의 자석(20)의 위치와 방향을 한정하여 알아낼 수 없다.

따라서, 제어부(270)는 상술된 바와 같이, 각 사용자의 필기 습관, 특히 각도(theta, phi)에 해당하는 대략적인 정보를 입력받을 수 있고, 적어도 사용자가 오른손 잡이인지 왼손 잡이인지를 미리 입력 받거나 기본값으로 설정할 수 있다. 이후 제어부(270)는 터치 스크린에 일어나는 터치 위치와 필기 도구(100)의 각(theta, phi)로부터 쌍극자 자석(20)의 공간상의 위치 및 각도를 추정한다. 추정된 쌍극자의 위치와 각도에 의해 자기장 센서(210a)에 인가되는 자기장 값을 계산하고, 이 계산된 자기장 값과 실제로 측정된 자기장 값의 차가 클 경우, 그 터치 입력은 필기 도구(100)에 의한 것이 아닌 것으로 판정할 수 있고, 그 차가 기준 범위 이내인 경우에만 필기 도구(100)에 의한 것으로 간주할 수 있다. 예를 들어, 도 7에서, 손 볼(3)의 위치에서 일어난 터치를 펜촉(12)에 의한 터치로 가정하면 자석(20)의 추정 위치는 점선인 필기 도구(100')가 되며, 이 위치보다 실제 자석(20)의 위치는 자기장 센서(210a)에 가까우므로, 제어부(270)는 점선 위치를 추정하여 계산된 자기장값보다 큰 자기장값이 자기장 센서(210a)에 인가되게 되며, 이를 통해 손 볼(3)의 위치는 펜촉(12)에 의한 터치가 아닌 것으로 판단한다.

또한 필기 도구(100)를 자기장 센서(210a)로부터 멀리 이격시킨 후, 제어부(270)가 자기장 센서(210a)에 인가되는 환경적 자기장의 크기를 미리 측정하는 calibration 과정을 거친 후, 실제 측정되는 자기장 센서(210a)의 자기장값에서 환경적 자기장 값을 뺀 이후에 자기장값을 사용한다.

펜촉(12)에 의한 터치 위치와 자기장 센서(210a) 사이의 간격(거리)가 손(1)에 의한 터치 위치와 자기장 센서(210a) 사이의 간격(거리)와의 차이가 최대화되는 위치에 자기장 센서(210a)가 위치되어야 하는 점은 이미 상술된 사항이다. 현재 모바일 기기들은 대부분 기기를 좌우, 상하로 돌려 사용할 수 있도록 되어 있으므로, 제어부(270)는 모바일 기기를 포함하는 사용자 입력 처리 장치(200)를 자기장 센서(201a)의 위치를 필기 도구(100)와 손(1)의 변별이 가장 잘 되는 위치로 가져가기 위해, 사용자 입력 처리 장치(200)를 회전하도록 지시하여 예를 들면, 오른손 잡이는 가로쓰기(landscape) 위치로, 왼손잡이는 세로쓰기(portrait) 위치로 회전시켜 필기 동작을 수행하도록 표시부(230)를 통하여 사용자에게 안내 이미지나 문자를 표시한다. 사용자 입력 처리장치(200)는 필기 방향이나, 사용자 입력 처리 장치(200)의 회전 방향을 안내한다.

제어부(270)는 환경적 자기장 값을 calibration을 통해 미리 파악하지 않고도 필기 도구(100)에 의한 터치인지 손(1)에 의한 터치인지를 구별한다. 상술된 바와 같이, 제어부(270)는 터치 스크린에서의 터치 입력이 시작되는 시점과 기준 범위 이내의 시점에 자기장 센서(210a)에 측정되는 자기장 값의 변화율, 즉 속도가 기준 변화율 이상으로 급격하거나 불연속적으로 바뀌면 이 터치를 필기도구(100)에 의한 터치로 판정하고 그렇지 않으면 손(1)에 의한 터치로 판정한다. 또한, 터치가 시작될 때뿐만 아니라 터치 스크린 상에서 터치가 끝나는 시점에도 펜 촉(12)이 들리면서(터치가 없어지면서) 자석(20)이 움직이는 방향이 급격히 변하므로, 제어부(280)는 터치 스크린 상에 그어진 하나의 획(복수의 터치들)이 끝날 때 자기장값의 변화율이 크거나 불연속적이면 필기 도구(100)에 의한 획으로 판정하고 그렇지 않으면 손(1)에 의한 것으로 판단한다.

상술된 바와 같이, 제어부(270)가 자기장 센서(210a)에서 측정되는 자기장 값의 변화율이 불연속적으로 변하는 시점과 터치의 시작 또는 종료 시점을 비교하는 방법 외에도;

- 터치가 시작되기 직전 사용자의 손(1)에 쥐어진 필기 도구(100) 및 자석(20)이 터치 스크린으로 하강하는 통상적인 속도와,

- 펜 촉(12)의 터치가 일어난 터치 스크린 상의 위치로부터 전술한 바와 같이 추정할 수 있는 자석(20)의 위치로부터,

터치가 일어나기 직전 추정되는 자석(20)의 위치에서 통상적인 속도로 움직이는 자석(20)에 의해 자기장 센서(210a)에 인가되는 자기장의 변화 속도(자기장의 기준 변화 속도)를 추정한다.

제어부(270)는 추정된 자기장의 기준 변화 속도와 터치 스크린에 터치가 시작되기 전부터 터치 시점까지 실측된 자기장 센서(210a)의 자기장 값의 변화 속도를 비교하여, 기준 범위 이내로 그 차이가 포함되면, 필기 도구(100)에 의한 터치로 판정한다. 자기장은 자석(20)까지의 거리의 삼제곱에 비례하여 감쇠하므로 필기 도구(100)가 터치 위치보다 자기장 센서(210a)에 가까운 곳에서 움직였다면 추정된 속도보다 훨씬 큰 속도로 자기장이 변화했을 것이고, 터치 위치보다 먼 곳에 필기 도구(100)가 있었다면 추정된 속도보다 훨씬 작은 속도로 변화한다. 따라서 이 방법은 calibration 없이도 상당한 변별력을 제공한다.

전술한 바와 같이 사용자의 필기 습관에 의해 필기 도구(100)는 일정한 각도로 쥐어지며, 이에 따라 자석(20)은 펜 촉(12)과 공간상에서 대체적으로 평행하게 이동한다. 따라서, 제어부(270)는 펜 촉(12)의 궤적, 즉 터치 스크린 상의 획과 자기장 센서(210a)와의 상대적인 위치로부터 펜 촉(12)과 대체적으로 평행하게 이동하는 자석(20)의 자기장 센서(210a)에 대한 위치를 추정할 수 있다. 예를 들면, 터치 스크린에 터치되는 펜 촉(12)의 위치가 자기장 센서(210a)로부터 멀어지면 자기장 센서(210a)에 측정되는 자석(11)에 의한 자기장 값도 같은 평행이동에 의해 자석(20)이 동일하게 멀어진 만큼 크기가 작아지고, 펜 촉(12)이 자기장 센서(210a)에 가까워지면 자석(20)에 의한 자기장에 의해 자기장 센서(210a)에 측정되는 자기장 값도 급격히 커진다.

제어부(270)는 터치 스크린에서 입력되는 획과 자기장 센서(210a)에 의한 자기장 값의 변화 추이가 펜 촉(12)과 자석(20)이 추정되는 일정한 각(theta, phi)(방위각, 기울어진 각도)에 따라 대체적인 평행 이동에 의해 발생된 것으로 판정이 되면, 그 획을 필기 도구(100)에 의한 터치 입력으로 판단하여 처리하고, 그렇지 않으면 손(1)에 의한 것으로 판단하여 처리한다(무시한다)(즉, palm resting 기능의 동작이 수행된다). 이러한 추정을 위해 상술된 바와 같이, 제어부(270)는 사용자의 필기 습관(오른손 잡이, 왼손 잡이)에 따른 필기 도구(100)의 각도(theta, phi)를 기준 범위들로 각각 가정하고, 각도(theta, phi)가 알려져 있지 않지만 하나 또는 여러 개의 획 안에서 일정하여 변하지 않고 유지된다고 가정하고, 각도(theta, phi)가 어떤 크기의 각도일 때 각 펜촉(12)의 위치에서 감지되는 자기장 센서(210a)의 자기장 값들의 변화가 가장 잘 설명되는지를 파라미터 피팅 또는 비선형 최적화를 통해, 각도(theta, phi)를 추정한다. 이러한 추정을 통해, 제어부(270)는 사용자가 필기 도구(100)를 어떤 각도(theta, phi)로 쥐고 있는지를 파악하며, 사용자가 어떤 각도(theta, phi)로 필기 도구(100)를 쥐고 있는지에 따라, 현재 수행 중인 소프트웨어(프로그램)의 출력이나 처리를 상이하게 할 수 있다.

자기장 센서(210a) 주변에 자기장 센서(21)가 측정하는 자기장 값에 영향을 줄 만큼 강하고 변하는 자력원(magnetic field source)이 없는 이상, 사용자 입력 처리 장치(200)가 놓인 방향을 크게 바꾸지 않는 동안에는 자기장 센서(21)에 동일한 환경적 자기장이 미쳐진다고 볼 수 있다. 상술된 수학식 3 내지 5에 의한 바와 같이, 어느 한 시점(제1 시점)의 자기장 값에서 다른 한 시점(제2 시점)의 자기장 값을 빼면 두 시점에서 동일한 환경적 자기장 값이 제외된다. 따라서, 제어부(270)는 환경적 자기장 값을 calibration 등을 통해 따로 구할 필요 없이, 두 시점의 자기장 값 간의 뺀 차이 값이, 두 시점 동안 옮겨간 펜 촉(12) 위치 변화와 평행하게 옮겨간 자석(20)의 위치에 의한 자기장 센서(210a)에 미치는 자기장값의 변화 간의 차이가 기준 범위 이내이면, 필기 도구(100)에 의한 획 입력으로, 그렇지 않을 경우 손(1)에 의한 획으로 판정한다. 즉, 제어부(270)는 우선 펜 촉(12)이 터치 스크린에 닿아 있는 어느 두 시점을 잡아 두 시점에서 각각 측정된 자기장 센서(210a)의 자기장 값의 차이를 산정하고, 두 시점 각각에서의 펜 촉(12) 위치에 따라 추정되는 두 시점 각각의 자석(20)의 위치에 의해 자기장 센서(210a)에서 측정되는 자기장 값을 계산하고, 계산된 두 자기장 값의 차이를 산정하고, 실제로 측정된 두 시점의 자기장 센서(210a)의 자기장 값의 차이와 계산된 자기장 값의 차이 간의 크기 차이가 기준 범위 이내인지를 판단하고, 기준 범위 이내이면 두 시점에서의 터치 입력은 필기 도구(100)에 의한 획 입력으로 판단하고, 기준 범위를 초과하면 손(1)에 의한 획 입력으로 판정하여 처리한다. 이러한 과정을 통해 미리 calibration을 통해 환경적 자기장 값을 알아내는 과정 없이도 필기 도구(100)와 손(1)에 의한 터치가 구분된다.

펜 촉(12)이 터치 스크린의 같은 위치를 터치하더라도, 도 8a와 같이 사용자가 필기 도구(100)를 우측 하단으로 쥐는 경우와, 도 8b와 같이 좌측 상단에 가깝게 기울여 쥘 수 있으며, 이 경우들에서 자기장 센서(210)와 필기 도구(100)의 자석(20) 간의 거리(D1, D2)는 서로 상이하다. 이렇게, 일반적인 필기 각도로 쥘 때(도 8a)와, 도 8a의 각도와 다른 방위각 또는 기울임 정도로 필기 도구(100)를 쥐는 것(도 8b)에 의해 변경되는 자석(20)의 위치에 의해, 자기장 센서(210a)에서 측정되는 자기장값이 크게 바뀌며, 제어부(270)는 자기장 센서(210a)의 자기장 값을 인가받아, 그 자기장 값의 크기에 따라 구분되는 처리를 할 수 있다. 예를 들어 제어부(270)는 터치 스크린에 필기 동작이 수행되는 때, 도 8a의 경우는 쓰기 기능으로, 도 8b의 경우는 지우개 기능으로 변환하여, 사용자가 필기 도구(100)를 쥔 각도에 따라 획을 긋거나 지우는 처리를 구분하여 수행한다. 일반적으로 하나의 터치 위치에 대해 필기 도구(100)의 기울임 방향을 사용자가 바꾸어 필기 도구(100)에 구비된 자석(20)과 자기장 센서(210a) 간의 위치가 변함에 따라, 자기장 센서(210a)에 인가되는 자기장이 바뀌는 것을 이용하여, 제어부(270)가 현재 수행 중인 소프트웨어(프로그램)에서 서로 다른 동작으로 처리한다. 자기장 센서(210a)의 수가 하나가 아니라 여러 개가 될수록 더욱 정밀한 자기장 변화를 측정하여 필기 도구(100)의 방위각, 기울임 정도가 정교하게 측정된다.

도 2과 같은 구성을 통해, 제어부(270)는 필기 도구(100)의 펜촉(12)이 터치 스크린을 터치하기 않고 터치 스크린 위를 떠 다니며 터치 스크린에 가까이 있는 펜 촉(12)의 위치를 추정한다. 이를 통해 사용자가 펜 촉(12)으로 터치 스크린을 터치하지 않은 상항에서도, 제어부(270)는 추정된 펜 촉(12) 위치를 예를 들면, 커서 등으로 표시부(230)에 표시할 수 있다. 필기 도구(100)가 공중에 떠 있어도 펜 촉(12)의 위치를 추정하여 제어부(270)가 커서를 표시부(230)에 표시할 수 있게 되면, 특히 트랙패드와 같이 터치 입력과 화면 표시가 별도의 위치에 이루어지는 환경에 유용하다. 즉, 별도의 표시 장치가 있는 경우, 필기 도구(100)가 떠서 움직여도 펜촉(12)의 위치를 별도의 화면에 커서로 보여 주어야 필기 도구(100)가 트랙 패드에서 띄어졌다 다시 터치할 때 그 시작 위치를 사용자가 별도의 표시 화면에서 눈으로 확인할 수 있기 때문이다.

또한 일반적인 테블릿을 별도 컴퓨터의 트랙패드로 사용할 수도 있다. 즉, 테블릿을 별도 컴퓨터와 wifi, wifi direct, Bluetooth, 이더넷, USB 등의 유무선 통신으로 연결하여 테블릿의 터치 스크린 상에 추정되는 떠다니는 펜촉의 위치나, 실제 필기 도구에 의해 터치가 일어나고 있는 위치를 컴퓨터로 보낸다. 컴퓨터는 이러한 펜의 위치를 받아 컴퓨터의 마우스 디바이스 드라이버에서 처리하여 컴퓨터의 마우스 커서를 구동 한다. 추정된 떠다니는 펜의 위치에 따라서는 별도 컴퓨터의 마우스가 단순히 움직여 가는 것으로 하고, 실제 터치가 되어 움직이는 위치는 컴퓨터의 마우스의 버튼이 눌린 채 커서를 움직이는 ‘drag’ 동작이 되도록 할 수 있다.

공간 위에서 떠서 움직이는 필기 도구(100)와 자석(20)은 전술한 바와 같이 (x, y, z, roll, pitch)로 기술되는 자유도 5의 물체이기 때문에 터치 스크린 상의 터치 위치 (Sx, Sy, Sz) 입력이 없이 3축 자기장 센서(210)에서 감지된 자기장값 (Bx, By, Bz)만으로는 펜 촉(12)의 위치를 한정할 수 없다. 즉, 자유도 5인 펜의 위치를 알기 위해서는 3개의 자기장(Bx, By, Bz) 값과 관련된 3개의 식에 의한 제약 사항 외에도 5-3=2개의 제약 사항을 더 두어 Sx, Sy, Sz 값을 구해야 한다. 즉, 제약 사항의 수가 자유도와 같거나 커야 위치를 하나의 점으로 한정할 수 있다. 수학식 2를 Sx, Sy, Sz를 모르는 상황에 대해 다시 정의하면 다음과 같다.

수학식 6

이러한 펜 촉(12)의 공간 위치(Sx, Sy)(떠 있는 펜 촉의 스크린 상의 위치)를 한정하기 위한 (Bx, By, Bz) 실측값 외에 제약 사항을 더 두는데, 제어부(270)는 그 예로, 사용자가 오른손 잡이냐 왼손 잡이냐에 따라 필기 도구(100)이 터치 스크린과 이루는 각(theta)과 각(phi)이 각각 기설정된 범위의 각도 안에 있거나 특정 값이라는 현실적인 가정을 사용할 수 있다.

즉, 펜 촉이 스크린 표면에 아주 가깝다는 가정으로부터 Sz=0로 가정할 수 있고, 대부분의 사용자는 필기 도구(100)와 터치 스크린의 법선 벡터가 45도 정도의 각도가 되도록 필기 도구(100)을 기울여 쥐고 사용하므로 각(theta) 를 45도로 놓을 수 있다. 이와 같이 위치(Sz=0)와 방향성(theta=45도)이 대략 정해진다는 제약 사항과 자기장 값으로부터 읽혀지는 자기장값(Bx, By, Bz)를 수학식 6에 대입하면, 제어부(270)가 터치가 되지 않아도 위치(Sx, Sy)를 구할 수 있다. 또다른 예로, 제약 사항으로 각(phi)=45도 (펜이 우측 하방으로 기울어짐)로 추정하면 실측된 자기장(Bx, By, Bz) 값과 각(phi)=45도, 각(theta)=45도를 수학식 6에 대입하여, 제어부(270)는 위치(Sx, Sy, Sz)를 구할 수 있다. 제어부(270)는 구해진 값 중 위치(Sx, Sy)를 표시부(230)에 표시되는 커서의 위치로 사용하거나 (Sx, Sy)의 위치에 있는 아이콘과 관련한 소프트웨어 기능을 구동시키는 용도 등으로 사용한다. 이러한 방법 외에도 제어부(270)는 연속적으로 구해지는 값에 대해 파라미터 피팅을 하여 Sx, Sy, Sz의 위치를 더욱 정확하게 구하거나 Sx, Sy가 올 수 있는 좌표 영역을 구하여 표시부(230)에 커서로 출력할 수 있다. 사용자에 의해 필기 도구(100)가 터치 스크린에 가까이 가면 갈수록 Sz는 0에 가까워져 더욱 정확하게 커서의 위치가 구해지며, 사용자가 실제로 터치를 하면 그때부터는 터치 스크린의 입력을 통해 실제 펜 촉의 위치를 표시할 수 있다. 각(theta)나 각(phi)의 추정값은 필기 도구(100)가 터치 스크린의 각 위치에서 터치를 실제 시작할 때 구해지는 필기 도구(100)의 각도를 제어부(270)가 저장하여 평균을 내는 등의 통계적 방법으로 구할 수 있다. 이 값은 터치스크린 상의 위치 (Sx, Sy)마다 사용자의 관절이 돌아가는 정도가 달라지므로 각 위치에 따라 다른 각도값을 적용할 수도 있다.

도 9a 및 9b는 사용자 입력 처리 장치에서 필기 도구의 위치에 따른 줌(ZOOM) 기능의 실시예이다. 도 9a는 줌 아웃(zoom-out)의 예이고, 도 9b는 줌 인(zoom-in)의 예로, 사용자에게 전체 내용과 상세 내용의 표시 전환을 직관적으로 제공한다. 도 9a에서 필기 도구(100)가 터치 스크린으로부터 화살표 방향(Zo)으로 멀어질 경우에 줌 아웃(zoom-out)된 전체 이미지(Io)를 보여주고, 도 9b에서 필기 도구(100)가 터치 스크린에 화살표 방향(Zi)으로 가까워질 경우에 줌 인(zoom-in)된 상세 이미지(Ii)를 보여 줌으로써, 손쉽게 표시부(230)에 표시되는 이미지나 내용에 대한 상세한 조작을 가능하게 한다.

특히, 터치 스크린에서 zoom이 되는 중심점(또는 원점)을 펜 촉의 3차원 상의 궤적인 Zo, Zi가 연장된 선이 터치 스크린과 만나는 점(25)으로 하면, 제어부(270)는 줌에 의해 터치 스크린(표시부(230))의 내용들이 확대/축소되어 갱신되는 중에도 사용자가 펜촉(12)으로 터치하려는 점(25)의 내용(데이터)을 물리적으로 고정하여 사용자가 편리하게 점(25)을 터치할 수 있도록 한다.

제어부(270)가 zoom-in과 zoom-out을 하는 중심점인 25의 좌표를 알기 위해서는 펜 촉(12)의 3차원 상의 궤적 Zo 또는 Zi을 파악하여 z가 알려진 상수인 터치스크린과의 교점을 구한다. 도 9a 및 9b의 예에서

1) 사용자 입력 처리 장치(200)가 3개의 1축 자기장 센서(210a, 210b, 210c)등 3개의 자유도를 측정할 수 있는 자기장 센서를 구비하고,

2) 제어부(270)가 사용 초기에 필기 도구(100)를 자기장 센서(210a-210c)로부터 멀리하고 환경적 자기장을 측정하는 calibration을 사용자에게 표시부(230) 등을 이용하여 안내하고, 환경적 자기장을 파악하고 있고,

3) 필기 도구(100)가 센서 좌표계(C210)에서 기울어진 방위각 phi와 기울어진 정도각 theta가 일정하고, 제어부(270)가 사용자의 입력에 따라 이들 각들(필기 정보)을 저장하고 있다면,

필기 도구(100)는 theta, phi가 대체적으로 고정된 상태로, 펜 촉(12)의 공간상의 좌표 (x, y, z)만 변하는 3 자유도로 움직이므로, 제어부(270)는 3개의 자기장 센서(210-210c)의 자기장값들을 입력받아 비선형 최적화나 비선형 방정식을 푸는 방법 등으로 자기장 센서(210a-210c)에 측정된 자기장 값에 가장 잘 설명되는(대응되는) 자석(20)의 위치를 산정하고, 이로부터 펜 촉(12)의 위치를 결정할 수 있다. 즉, 자기장 센서(210a-210c)에서 각각 측정되는 자기장값의 크기(Bx, By, Bz)는 자석(20)의 쌍극자가 자기장 센서(210a-210c)의 어느 3차원상의 위치 (x, y, z)에서 어느 2차원적 각도(theta phi)에 있느냐에 따라 결정되며, 종래에 이러한 공간상의 자기장 크기를 구하는 다양한 비선형 방정식 B가 잘 알려져 있다. 즉, 수학식 7과 같다.

수학식 7

펜 촉(12)의 3차원 상 위치 (Tx, Ty, Tz)는 자석(20)의 위치(x, y, z)와 알려진 상수 theta, phi를 사용한 단순한 변환 f로 산정된다. 알려진 상수인 theta, phi를 표기에서 제외하면 수학식 8이 성립된다.

수학식 8

수학식 8을 수학식 7에 대입하고, 알려진 상수 theta, phi를 표기에서 제외하면, 수학식 9와 같다.

수학식 9

자기장 센서(210a-210c)로부터 측정된 자기장 값 (Bx, By, Bz)에 가장 잘 대응되는 (Tx, Ty, Tz)는 실측된 입력값 (Bx, By, Bz)를 수학식 9에 대입하고 수학식 9에 대해 비선형 최적화를 수행하여 구할 수 있다. 즉, 제어부(270)는 실제 측정된 (Bx, By, Bz)값과 B’ 함수를 통해 계산되는 자기장값의 크기 간 차이가 소정의 기준에 의해 최소화되는 펜 촉(12)의 위치(Tx, Ty, Tz)를 산정한다. 제어부(270)는 비선형 최적화 외에도 3변수 3연립 방정식의 해를 구하는 수치 해석 알고리즘을 수행하여 (Tx, Ty, Tz)를 구할 수 있다. 또한, 제어부(270)는 자석(20)의 가능한 위치와 방향 벡터에 의해 검출될 수 있는 모든 터치 스크린의 터치 입력 및 자기장 신호의 크기 벡터를 미리 실측하여 데이터 테이블로 저장하고, 그 중 실제 자기장 센서(210a-210c)에서 검출된 값과 가장 가까운 값을 찾아 그 값에 해당하는 (Tx, Ty, Tz)를 찾거나 이렇게 구해지는 후보 변수 값 여러 개를 보간하는 등의 다양한 방법으로 구할 수 있다.

제어부(270)는 이렇게 구해진 펜 촉(12)의 위치 (Tx, Ty, Tz)와 그 위치의 연속적인 좌표로부터 얻어지는 펜 촉(12)의 궤적 Zo, Zi을 구하고, 구해진 궤적Zo, Zi과 터치스크린(표시부(230, 입력부(240))의 교점(25)을 산정하여 터치 스크린에 표시되는 내용을 zoom하는 중심점, 또는 원점으로 사용한다.

또한 측정되는 3 자유도의 필기 도구의 움직임을 이용하여, 터치 스크린의 출력 내용에 대한 1차원적인 zoom과 2차원적인 pan을 동시에 구현할 수 있다. 즉, 제어부(270)는 펜 촉(12)의 좌표(Tx, Ty, Tz) 중 터치 스크린에서 수직으로 떨어진 정도인 Tz 성분을 참조하여 터치 스크린의 출력 내용의 zoom 배율을 결정하고, (Tx, Ty) 성분을 참조하여 터치 스크린에 표시되는 내용의 2차원 평면 상의 offset위치 즉 pan을 결정하여 조절한다. Zoom의 경우는 터치 스크린에서 필기 도구(100)가 멀어질수록 zoom-out이 되도록 하는 것이 많은 경우 직관적이다. pan의 경우는 사용자 입력 처리 장치(200)의 터치 스크린(표시부(230))의 크기 (Mx, My)가 내용의 크기 (Cx, Cy)보다 작을 경우, X, Y축 방향으로 스크롤하여 전체 내용 중 offset 된 (Ox, Oy)에서 (Ox+Mx, Oy+My)까지를 출력하는 문제로, offset (Ox, Oy)를 결정하는데 본 발명에서는 펜 촉(12)의 떠 있는 위치 중 터치 스크린에 대체적으로 평행한 (x, y) 성분을 참조하여 결정한다. 많은 경우 (Ox, Oy)와 (Tx, Ty)가 같은 방향으로 변하도록 출력하는 것이 직관적이다. 이러한 펜 촉(12)이 떠 있는 위치에 따라 zoom, pan을 하는 것은 꼭 자석(20)을 구비한 필기 도구(100)로만 가능한 것은 아니고, 사용자 입력 처리 장치(200)가 필기 도구(100)이 떠있는 방향을 촬영하는 광각 카메라나 깊이 센서(depth sensor)를 구비하고 있을 경우, 이러한 다른 센서를 사용하여 펜 촉(12)의 3차원 위치를 파악하여, 인식된 펜 촉(12)의 좌표에 따라 zoom/pan을 할 수 있다. 또한 별도 포인팅 장치인 펜 촉이 아닌 손가락이나 손바닥의 위치와 방향을 인식하여 수행될 수도 있으며, 사용자 입력 처리 장치(200)를 바라보는 사용자의 눈(또는 안경)의 터치 스크린으로부터의 거리나 터치스크린으로의 사영의 터치 스크린 상 위치를 참조하여 zoom/pan 할 수 있다.

일반적으로 센서가 N개 있을 때, 물리적으로는 M (>N)의 자유도로 사용자가 조작할 수 있는 대상에 대해, 사용자에게 (M - N) 자유도만큼의 자유도를 제약하고 움직이게 하여도 불편하지 않고 자연스러울 경우, 제어부(270)는 그러한 조작을 수행하도록 안내하고, 조작 대상이 N개의 자유도로 움직인다고 가정하고 이 움직임을 제한된 N개의 센서로 측정하여 대상의 위치나 방향을 한정하여 측정할 수 있다.

이 방법은 사용자 입력 처리 장치(200)가 가정하는 방위각 phi, 기울어진 정도각 theta과 각각 다른 각도로 사용자가 필기 도구(100)를 쥐고 움직인다면, 그 각도 차이만큼 zoom의 중심점 계산 등에 오차가 생기게 된다. 또한, 필기 동작 등의 사용을 시작할 때 calibration을 해서 환경적 자기장 값을 구해야 하는 단점이 있다. 사용자 입력 처리 장치(200)가 소형 폰이나 스마트 워치 등 작고 항상 움직이면서 사용하는 디바이스일 경우 calibration을 너무 자주하게 되서 불편을 초래한다. 이러한 단점을 개선하기 위해, 제어부(270)는 다음과 같은 가정들을 저장한다.

1) 필기 도구(100)가 한번 터치 스크린에 가까워지는(멀어지는) 동안 센서 좌표계(C210)를 기준으로 할 때, 대체적으로 일정한 방위각 phi와 기울임 정도 theta를 유지하며 움직여진다. 단 각 phi와 theta는 한번의 가까워짐이나 멀어지는 움직임 내에서는 일정하지만 다음번의 가까워짐 멀어짐 동작마다 다를 수 있다.

2) 필기 도구(100)가 한번 터치 스크린에 가까워지는(멀어지는) 일정 시간 동안 3차원상의 직선 궤적 Zi, Zo 위를 등속으로 움직인다.

위 등속 움직임의 가정으로부터 필기 도구(100)가 터치 스크린에 가까워지거나 멀어지는 동안의 움직임은 1차원적인 움직임이다. 즉, 펜 촉(12)의 3차원 상의 초기 위치(Ix, Iy, Iz), 펜 촉(12)의 속도(Vx, Vy, Vz), 기울임의 방위각 및 정도 (phi, theta)등 많은 수치들이 알려지지 않았지만 움직임이 일어나는 동안은 대체적으로 일정한 상수 파라미터이다. 또한, 환경적 자기장 값 (Ex, Ey, Ez)도 calibration을 통해 알려지지 않았으나 필기 도구(100)가 가까워지거나 멀어지는 짧은 시간 동안에 일정한 상수 파라미터로 가정할 수 있다. 제어부(270)는 사용자에게는 zoom 동작과 함께 터치 스크린으로 필기 도구(100)를 접근시키거나 멀리할 때, 일정 거리 이상을 움직이고, 일정한 필기 도구(100)의 각도와 속도가 유지되도록 움직이라고 표시부(230) 등을 통하여 안내한다. 이러한 가정하에서 제어부(270)가 터치 스크린 상의 zoom의 원점을 결정하기 위해 알아야 하는 파라미터는 (Ix, Iy, Iz, Vx, Vy, Vz, phi, theta, Ex, Ey, Ez)의 11개이다. 3개의 1축 자기장 센서(210a-210c)로부터 하나의 시점에 3개의 자기장값이 측정되나, 11개의 파라미터들을 변수로 포함하는 비선형 방정식이므로 한 시점에서 읽힌 자기장값을 방정식에 대입하여 파라미터들을 모두 한정하여 구할 수 없다. 그러나, 서로 다른 4개의 시점에서 3축 자기장 센서(210)에서 측정된 3x4=12개의 자기장값으로부터 12개의 연립 방정식을 구할 수 있는데, 이 12개 연립 방정식에서 11개의 파라미터들은 시점에 관계없는 단일한 값들이므로, 서로 다른 4개 시점의 자기장값이 측정되면 연립 방정식의 수보다 적은 수인 파라미터 값들이 산정될 수 있다. 다만 정확한 값을 얻기 위해서는 서로 다른 4개 시점을 선정할 때, 각 시점에서의 필기 도구(100)의 위치가 서로 충분히 멀리 떨어져 있어서 서로 독립적이어야 한다.

제어부(270)는 정확도를 더욱 높이기 위해서 샘플링된 모든 자기장 센서값들에 대해 파라미터 피팅을 할 수 있다. 예를 들면 도 9b의 궤적 Zi과 같이 t=0일 때 펜 촉(12)이 알려지지 않은 초기 위치(Ix, Iy, Iz)에서 알려지지 않은 속도(Vx, Vy, Vz)로 움직이면 시점 t에서 펜 촉(12)의 추정 위치는 수학식 10과 같다.

수학식 10

자석(20)의 센서 좌표계(C210) 상의 위치와 각도는 펜 촉(12)의 위치와 알려지지 않은 각(phi, theta)에 의해 정해지며, 이렇게 정해진 자석(20)의 위치와 각도에서 자기장 센서(210a-210c)에 인가되는 자기장값들은 비선형식 함수 B1 등으로 기술될 수 있다. 또한 환경적 자기장 값 (Ex, Ey, Ez)이 알려지지 않았으므로 어느 시점 t에서 3개의 1축 자기장 센서(210a-210c)서 측정되는 자기장 값(Bx(t), By(t), Bz(t))은 최대한 다음의 조건인 수학식 11을 만족하여야 한다.

수학식 11

수학식 11에서 함수 B1을 구하려는 변수별로 풀어 정리한 벡터식 B2로 표현하면 수학식 12와 같다.

수학식 12

제어부(270)는 복수의 시점들에서 측정된 자기장값들을 위 식에 대입하여 파라미터들의 값을 구해야 한다. 각 시점 t = t1, t2, t3, … ti, … tn에서 측정된 실측인 자기장 벡터 (Bx(ti), By(ti), Bz(ti))에서 오른쪽 벡터식 B2의 변수 t에 측정 시점 ti를 대입하여 얻는 벡터를 뺀 차이 벡터의 크기 Error(ti)는 하기의 수학식 13과 같다.

수학식 13

각 시점 ti에서 실측된 센서 값과 추정하는 파라미터 값 (Ix, Iy, Iz, Vx, Vy, Vz, theta, phi, Ex, Ey, Ez) 에 의해 계산되는 센서 값 간의 오차를 의미한다. 제어부(270)는 파라미터 값들이 자기장값을 측정한 모든 시점 ti (i=1,…,n)에 대해 실측값과의 오차 Error(ti)가 작아지도록 하는 값으로 정하며, 예를 들어 다음의 수학식 14를 최소화하는 파라미터 값을 찾는 최적화 문제가 된다.

수학식 14

이런 비선형 식에 대한 최적의 파라미터 값을 구하는 피팅 알고리즘은 Levenberg-Marquardt 방법 등 다양한 방법이 알려져 있다. 또한, 실측 벡터와 추정하는 벡터식 간의 차이 벡터의 길이의 제곱 외에도 다양한 기준을 오차로 정의할 수 있으며, 각 시점 i=1,…,n 의 오차들을 합산하는 방법도 다양한데, 예를 들면 각 시점의 오차를 각 시점의 실측값 크기에 따라 정규화(normalization)를 하거나 통계적인 variance로 정규화 하는 등이다.

제어부(270)는 이러한 파라미터 피팅에 의해 펜 촉(12)의 초기 위치 (Ix, Iy, Iz)와 속도 (Vx, Vy, Vz)를 산정하고, 산정된 초기 위치와 속도를 이용하여 zoom을 수행하는 원점인 도 9a 및 9b의 점 25의 좌표를 산정한다. 따라서, 별도의 calibration이 수행될 필요가 없다. 또한, 제어부(270)는 각(theta), (phi)의 기울임 각도도 파악할 수 있기 때문에, 필기 도구(100)가 터치 스크린으로 어느 정도의 각도로 기울여 접근하거나 멀어지는지에 따라 소프트웨어를 다르게 처리할 수 있다. 이때, 제어부(270)는 필기 도구(100)가 현재 zoom을 위해 등속도로 움직이고 있는지, 아니면 터치 스크린 근처에서 다른 의도에 의해 움직이는 것을 판정할 필요가 있는데, 이는 피팅의 타당성(goodness of fit)을 계산하여 충분히 타당한 정도의 피팅이 되었을 때만 사용자의 의도가 zoom인 것으로 판정하고 실제 터치 스크린의 이미지나 내용에 대한 zoom을 수행한다.

스마트 워치(smart watch)의 경우처럼 사용자 입력 처리 장치(200)나 터치 스크린이 작을수록, 펜 촉(12)이 다가가는 궤적과 터치 스크린의 교점(25)으로 zoom의 원점을 정교하게 정하는 것에 대한 중요도가 낮다. 오히려 필기 도구(100)가 다가가는 궤적이 터치스크린에 대해 얼마나 기울어져 있는지를 의미하는 (Vx/Vz, Vy/Vz)나 (Ix, Iy)에 의해 정해지는 터치 스크린 상의 점을 zoom의 원점으로 할 수도 있다. 또한, 필기 도구(100)의 기울어진 각도(theta, phi)를 참조하여 zoom의 원점이 정해질 수도 있다. Zoom-in에 의해 내용이나 이미지를 터치 스크린에 표시하는 것도 도 9b에서와 같이 전체 스크린을 할 수도 있고, 필기 도구(100)가 접근하고 있는 점 25의 주변 일부의 이미지나 내용만을 zoom-in하여 보여줄 수 있으며, 필기 도구(100)가 멀 때는 일부의 이미지나 내용만을 zoom-in으로 보여준다. 필기 도구(100)가 터치 스크린에 기준 범위 이내 가까워지거나 터치 스크린을 실제 터치하면 전체 화면을 zoom-in 한 것으로 전환하는 등 다양한 사용자 인터페이스가 가능하다.

도 9a 및 9b에서 측정하는 움직임이 직선, 즉 1차원적인 움직임이므로, 자기장 센서는 3개의 1축 자기장 센서가 아니라 2개의 자기장 센서만으로도 파라미터를 추정하여 필기 도구(100)가 접근하는 터치 스크린 상의 점을 추정하고 그를 중심으로 zoom하는 것이 가능하다. 또한 필기 도구(100)가 접근하는 터치 스크린 상의 점을 중심으로 zoom을 하지 않는다면, 하나의 자기장 센서만으로도 자기장의 변화 속도 등을 감지하여 zoom을 할 수 있다. 일반적으로 N개 센서를 써서 N-1 이하의 자유도로 움직이는 대상에 대해 측정을 하면서 어느 한 시간 구간 안에 속한 충분히 많은 시점의 측정값을 종합하여 측정된 시간 구간 동안 일정하지만 알려지지 않은 K (>N) 개의 파라미터를 파라미터 피팅이나 전술한 비선형 최적화, 연립 방정식을 통해 구할 수 있다. 이를 통해 대상이 움직인 복잡한 궤적을 알아낼 수 있다. 특히 움직이며 조작되는 대상의 자유도가 N-1보다 큰 M이어도, 제어부(270)는 사용자에게 조작 상에 있어 M-(N-1)만큼의 자유도를 제한해서 조작하도록 안내하고, 대상의 움직임이 N-1 자유도라고 가정하여 N개의 센서로부터의 다수 시점의 자기장값들을 참조하여 움직임을 파악할 수 있다.

도 10은 필기 도구가 터치 스크린과 평행한 평면 상에서 임의로 움직이는 궤적을 자기장 센서의 자기장값에 의해 판정되어 표시된 예이다. 사용자 입력 처리 장치(200)는 3개의 1축 자기장 센서(210a-210c)를 구비하여 자석(20)을 구비한 필기 도구(100)가 터치 스크린 상에 떠서 움직이는 궤적을 파악한다. 제어부(270)는 사용자에게 필기 도구(100)를 공중에 띄우고 임의로 그리되, 대체적으로 평면상에서 필기 도구(100)가 쥐여진 각도(theta, phi)를 변경하지 않고 움직이라고 안내한다. 사용자가 필기 도구(100)를 움직이는 궤적(Zp)은 임의의 평면 상에서 형성될 수도 있으며, 터치 스크린이 그 평행한 평면이 될 수도 있다. 사용자 입력 처리 장치(200)의 입력부(240)가 터치 센서를 구비하지 않았으며, 사용자는 표시부(230)의 평면에 펜 촉(12)을 접촉시키고 쓰는 것이 될 수도 있다. 필기 도구(100)가 2차원의 운동을 하므로 전술한 바와 같은 파라미터 피팅이나 여러 시점에서 샘플링된 자기장 값으로부터 비선형 최적화를 하는 방식으로, 제어부(270)는 3개의 1축 자기장 센서(210a-210c)로부터의 자기장값으로 필기 도구(100)의 궤적(Zp)을 산정할 수 있다. 단, 파라미터 피팅이나 방정식을 풀기 위해서는 충분히 떨어진 복수개의 샘플이 필요하므로, 제어부(270)가 평면상 궤적(Zp)의 첫 점부터 산정하는 것은 아니고, 평면상에 기준 길이 이상의 길이로 필기 도구(100)가 움직인 이후부터 충분히 정확하게 필기 도구(100)의 위치를 추정할 수 있다. 이때 얻어지는 파라미터 중에는 필기 도구(100)의 기울임에 관련된 각(theta, phi)도 포함된다.

도 11은 도 1의 사용자 입력 처리 장치의 제6 실시예에 따른 이용예이다. 제6 실시에에서, 5개의 1축 자기장 센서(210d, 210e, 210f, 210g, 210h)가 일정 거리 이상 이격되는 위치에 서로 다른 방향으로 배열되어 설치되며, 필기 도구(100)에는 몸체부(10)의 중심축과 같은 방향으로 자석(20)의 극(쌍극자)이 배치되도록 설치한 예이다. 이러한 구성에서 전술한 필기 도구(100)를 사용자 입력 처리 장치(200)로부터 멀리하는 등의 calibration 과정을 거쳐, 제어부(270)는 각 자기장 센서(210e-210h)에서 측정되는 환경적 자기장 값을 파악한 이후부터 공중에 떠있는 필기 도구(100)와 자석(20)의 3 자유도 중심 위치(x,y,z)와 2 자유도의 바라보는 각(theta, phi)을 전술한 바와 같이 5개 변수의 5개 연립 방정식으로부터 모두 산정할 수 있다. 이를 통해 제어부(270)는 자석(20)이나 펜 촉(12)의 위치는 물론 펜 촉(12)이 향하는 방향(111)(자석(20)의 쌍극자 방향)과 그 연장선(112), 그리고 연장선(112)과 만나는 터치 스크린(표시부(230), 입력부(240))의 교점(26)을 모두 파악할 수 있다.

제어부(270)는 이러한 방향과 교점 등을 이용하여, 교점(26)의 위치의 표시부(2300에 커서를 표시하거나 커서가 교점(26)에 있을 때, 현재 수행 중인 소프트웨어가 특정 동작을 수행하도록 제어하는 것이 가능하다. 제어부(270)는 펜 촉(12)의 공간상 위치와, 펜 촉(12)이 향하는 방향(111)을 참조하여 터치 스크린의 출력 내용에 대하여 zoom과 pan 기능을 수행하는 것이 가능하다. 예를 들면, 제어부(270)는 펜 촉(270)이 향하는 방향(111)이 터치 스크린 면에 수직에 가까우면 펜 촉(12)의 3차원적 위치에 따라 전술한 방법과 동일하게 터치 스크린에 표시되는 출력 내용에 대하여 zoom 및 pan 기능의 조작을 수행하고, 수직에서 기준 범위 이상의 차이가 있는 일반적으로 필기 도구(100)을 쥐는 각도가 되면, zoom 및 pan 기능을 수행하지 않도록 제어한다. 또한, 제어부(270)는 펜 촉(12)이 터치 스크린을 향하는 각도가 수직에 가까울수록 zoom 및 pan 기능이 보다 빠르게 수행되도록 그 기능의 수행 속도를 변경하는 것도 가능하다.

도 12는 도 1의 사용자 입력 처리 장치의 제7 실시예에 따른 이용예이다. 도 12에 도시된 바와 같이, 2개의 3축 자기장 센서(210-1, 210-2)가 일정 거리 이상 이격된 위치에 설치되고, 총 6개의 자기장 센서로 전술한 바와 같이 5 자유도로 공간 상에 떠서 움직이는 필기 도구(100)의 위치와 각도를 측정하는 예이다.

이 경우 자기장 센서(210-1, 210-2)의 수가 필기 도구(100)의 움직임의 자유도보다 크므로, 별도의 가정없이 각 시점의 필기 도구(100)의 위치와 각도를 측정할 수 있을 뿐만 아니라, 전술되어 온 바와 같이 제어부(270)는 파라미터 피팅이나 여러 시점의 자기장 센서값으로부터 비선형 최적화를 수행하여 환경적 자기장 등의 알려지지 않은 파라미터들을 추정할 수 있다. 도 9a, 9b 및 10의 경우와 달리 도 11 및 12의 구성 예에서는, 제어부(270)가 필기 도구(100)를 일정한 각도로 쥐어야 하는 등의 제한 없이 사용자가 자유롭게 펜을 움직이면서 펜 촉(12)의 공간상 위치 및 필기 도구(100)의 기울어진 공간상의 방향을 참조하여 터치 스크린의 출력 내용에 대하여 zoom 및 pan 기능을 수행하며, 그 기능들의 여부와 수행 속도 등을 결정할 수도 있다. 제어부(270)는 자석(20)의 쌍극자의 방향(111), 연장선(112)과 터치 스크린이 만나는 위치(26)의 표시부(230)에 커서를 표시한다든지 커서의 위치에 따라 현재 수행 중인 소프트웨어가 특정 동작을 수행하도록 하는 것 등이 가능하다. 이러한 자유로운 필기 도구(100)의 움직임 측정은 도 5b에서 상술된 바와 같이 3축 자기장 센서(210)를 구비한 2개의 사용자 입력 처리 장치를 가까이 근접시켜 자기장 값을 서로 통신을 통하여 획득하여도 똑같이 이루어질 수 있다.

도 9a, 9b, 10, 11 및 12에서, 제어부(270)는 표시부(230)의 점(25), (26)의 위치에 커서를 표시할 수 있으며, 필기 도구(100)가 입력부(240)에 충분히 가까워진 상태에서 자기장 센서(210)의 자기장 값에 따라 추정된 펜 촉 위치와 트랙 패드에서 눌리는 펜 촉의 좌표는 약 5mm 이상의 오차가 있을 수 있으므로, 펜 촉(12)과 터치 스크린 간의 간격(Sz)이 기준 거리 이내로 가까운 경우, 표시 중인 커서의 표시를 중단할 수도 있다.

사용자 입력 처리 장치(200)가 표시부를 포함하지 않고, 통신부(220)를 통하여 표시부를 구비한 다른 컴퓨터 장치와 통신하는 경우도 있다. 예를 들면, 사용자 입력 처리 장치(200)는 트랙 패드와 유사한 구성으로, 자기장 센서(210)와 입력부(240)를 구비하고, 필기 도구(100)의 자기장 값들을 측정하고, 필기 도구(100)의 방향과 위치에 대한 정보를 다른 컴퓨터 장치로 송신하고, 다른 컴퓨터 장치는 내장된 표시부로 필기 도구(100)의 터치 입력이나 획을 표시한다. 이 경우, 다른 컴퓨터 장치의 표시부에서 보면 튀는 것으로 보일 수 있다. 이때는, 제어부(270)는 트랙패드 터치 직전에 자기장 센서(210)가 추정한 위치에 터치가 일어난 것으로 보아 실제 트랙패드에 일어난 터치 좌표와의 차이를 빼서 이후 터치가 움직일 때 이 차이만큼을 빼서 연속적으로 보이게 한다.

또한, 제어부(270)는 터치 스크린의 기설정된 특정 위치나 중심점을 기준으로 하여, 도 9a, 9b, 11 및 12의 교점 위치를 대신하여, zoom 기능과 pan 기능을 수행할 수도 있다. 예를 들면, 제어부(270)는 펜 촉(12)으로부터 터치 스크린으로 수선이 연장될 때, 그 수선이 위치되는 위치를 이전의 교점 위치를 대신하여 사용할 수도 있다. 즉, 제어부(270)는 터치 스크린 상의 필기 도구(100)(자석(20)의 위치와 방향을 기준으로 하여, 터치 스크린(표시부) 상의 특정 위치(제어 중심 위치)를 산정하고, 그 제어 중심 위치를 중심으로 하여 zoom 기능과 pan 기능을 수행한다. 여기서, 제어 중심 위치는 도 9a, 9b, 11 및 12에 의한 교점 위치,터치 스크린의 기설정된 특정 위치나 중심점 등을 포함한다.

또한, 제어부(270)는 사용자가 필기 시에 터치 스크린에 대하여 수직 또는 수직에 가까운 각도로 필기 도구를 유지하도록 표시부(230)나 스피커(260)를 통하여 필기 자세를 안내하여, 필기 도구(100)나 자석(20)의 위치에 제한을 두도록 하여, 자기장값에 따른 위치나 방향을 결정할 수도 있다. 또한, 제어부(270)는 사용자의 필기 동작 시에, 필기 도구(100)의 터치 스크린 상의 위치를 한정하도록 할 수도 있다. 전술한 바와 같이 필기 도구(100)의 위치가 터치 스크린 상의 위치 (x, y)의 어디라도 있을수 있다고 하면 나머지 위치(z, theta, phi)인 3개의 파라미터 중 2가지에 제한을 두어야, 필기 도구(100)의 위치의 산정이나 파악을 위해서 3개의 1축 자기장 센서로 자석의 위치를 한정할 수 있다. 하지만, 제어부(270)가 위치(x, y)에 대해서 제한(예를들어 y = some_contant라는 직선을 필기 도구(100)가 향하고 있거나, 또는 0=f(x, y)인 선을 바라볼때만 동작함)과, 각(theta)가 특정한 각도다라는 1개의 가정만 이용하여서, 필기 도구(100)의 위치를 산정하거나 측정할 수 있다. 이와 유사하게, 제어부(270)는 필기 도구(100)나 자석(20)의 위치와 방향(x, y, z, theta, phi) 중의 어느 하나 이상을 기설정된 값을 유지하도록 사용자에게 안내하여, 보다 제한된 수의 자기장 센서를 이용하여, 나머지 값들을 산정할 수 있다.

도 13은 도 2의 사용자 입력 처리 장치를 이용한 다른 이용예이다. 도 13은 5개의 자유도를 동시에 입력할 수 있는 필기 도구이자 조이스틱(400)을 구현한 예이다. 전술된 필기 도구(100)의 자석(20)과 달리, 도 13의 조이스틱 또는 필기 도구(400)은 자석(40)의 쌍극자가 조이스틱(400)의 몸체부(410)의 자전축과 평행하지 않은 방향으로 설치된다. 제어부(270)는 3개의 1축 자기장 센서(210)로부터의 자기장값을 이용하여, 각(theta)(591)와 phi각(592) 외에 조이스틱(400)의 자전각 yaw(593)까지 측정한다. 펜 촉(12)이 터치 스크린을 누르고 끄는 것에 따라 터치 스크린을 통해 (Sx, Sy)의 2차원 변위 측정이 동시에 가능하므로, 모두 합하여 5 자유도의 입력이 가능하다. 이를 통해 게임, CAD, navigation, 기타 street view 등 geospatial한 응용에 필요한 3차원 마우스 기능을 범용의 사용자 입력 처리 장치(200)와 저가의 조이스틱(400)으로 구현할 수 있다. 사용자 입력 처리 장치(200)에 4개 이상의 독립적인 1축 자기장 센서가 구비된다면, 이를 통해 몸체(410)의 자석(40) 아랫부분에 몸체부(40)의 길이가 신축되도록 하는 길이 연장부(45)을 넣어 자석(40)이 조이스틱(400)의 자전축 방향(594)으로 평행 이동하도록 하고 이를 포함한 총 6자유도 움직임에 대한 입력도 가능하다. 또한 자석은 고정되어 있고, 사용자 입력 처리 장치를 자석 근처에서 움직여 6자유도의 움직임을 측정할 수도 있다. 이때, 펜 촉(12)이 터치 스크린을 눌러 입력이 되지 않더라도, 사용자 입력 장치(200)에 3축 자기장 센서(210)만 있으면, 3축 자기장 센서(210)로 입력되는 3개의 자기장 값과, 사용자 입력 처리장치의 3축 자이로스코프로부터 입력되는 3개의 방향각 정보 총 6개의 입력값으로부터 사용자 입력 장치(200)의 각 시점에서의 6 자유도의 운동을 모두 측정할 수 있다.

본 발명에서 논의된 사용자 입력 처리 장치가 수행하는 자기장 센서로부터의 자기장 값과, 사용자의 필기 습관 정보, 터치 입력값 등에 대한 처리 과정 등은 프로그램 파일로 저장매체에 저장될 수 있으며, 이 프로그램 파일은 네트워크를 통한 전송에 의해 전기 기기 간에 전송되어, 다양한 전기 기기에 설치되고 동일한 동작이 수행된다. 즉, 사용자 입력 처리 장치가 수행하는 기능은 컴퓨터 판독 가능한 저장 매체에 저장되는 프로그램으로 제공될 수 있다.

이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.

Claims

자기장을 감지하며, 서로 독립적인 적어도 하나 이상의 자기장 센서와;

필기 도구나 손의 터치를 감지하는 터치 입력부와;

터치 입력부의 현재 터치 위치값과 자기장 센서로부터의 현재 자기장값에 대응하는 필기 도구에 장착된 자기장 발생부나 필기 도구의 위치와 방향을 산정하는 제어부로 구성된 것을 특징으로 하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치.
제1항에 있어서,

제어부는 적어도 3개 이상의 터치 위치값과 자기장값을 인가받아 환경적 자기장값을 산정하고, 산정된 환경적 자기장값을 고려하여 현재 자기장값을 산정하는 것을 특징으로 하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치.
제2항에 있어서,

제어부는 사용자 입력 처리 장치가 바라보는 방향각이 일정 크기 이상 변화된 경우, 환경적 자기장값을 다시 산정하는 것을 특징으로 하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치.
제1항에 있어서,

제어부는 필기 도구의 서로 다른 위치에서의 자기장값들을 이용하거나, 서로 다른 위치에 배치된 복수의 필기 도구들로부터의 자기장값들을 이용하여, 환경적 자기장값과 soft iron effect에 의한 scale factor값을 산정하고, 산정된 환경적 자기장값과 scale factor값을 고려하여 현재 자기장값을 산정하는 것을 특징으로 하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치.
제1항에 있어서,

제어부는 사용자의 필기 습관 정보를 저장하고, 저장된 필기 습관 정보에 대응하는 터치 위치값의 표시 방법과, 저장된 필기 습관 정보에 대응하지 않는 터치 위치값의 표시 방법이 상이하도록 하는 것을 특징으로 하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치.
제1항에 있어서,

제어부는 자기장 센서의 설치 위치 정보와 사용자의 필기 습관 정보를 저장하는 것을 특징으로 하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치.
제6항에 있어서,

제어부는 필기 도구에 의한 터치 위치와 자기장 센서 사이의 간격과 손에 의한 터치 위치와 자기장 센서 사이의 간격과의 차이가 최대화되도록, 설치 위치정보와 필기 습관 정보를 이용하여, 사용자에게 필기 방향 또는 사용자 입력 장치의 회전 방향을 안내하거나, 사용자 입력 처리 장치의 회전을 안내하는 것을 특징으로 하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치.
제1항에 있어서,

자기장 센서는 서로 일정 간격 이격되며, 복수의 축의 또는 복수 개의 1축의 제1 및 제2 자기장 센서로 구성되며, 제어부는 제1 및 제2 자기장 센서로부터의 자기장값 간의 차로부터 필기 도구의 위치와 방향을 결정하는 것을 특징으로 하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치.
제1항에 있어서,

사용자 입력 처리 장치는 자기장 센서를 구비한 외부 장치와 통신을 수행하는 통신부를 구비하고, 외부 장치에서 측정된 자기장 값을 통신부를 통하여 수신하고, 수신된 자기장값과 현재의 자기장값을 이용하여 필기 도구의 위치와 방향을 결정하는 것을 특징으로 하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치.
제1항에 있어서,

제어부는 산정된 자기장 발생부의 위치와 각도에 따른 자기장값을 계산하고, 계산된 자기장값과 자기장 센서에 의해 측정된 자기장값을 비교하여, 계산된 자기장값과 측정된 자기장값 간의 차가 기설정된 기준 범위 내이면 필기 도구에 의한 터치 입력을 판단하는 것을 특징으로 하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치.
제1항에 있어서,

제어부는 터치 입력부의 터치 입력이 시작되는 시점에서 기준 범위 이내의 시점에서의 자기장 센서로부터의 자기장값의 변화율을 산정하고, 산정된 변화율이 기준 변화율 이상으로 급격하게 변화하거나 불연속적으로 변화하면 필기 도구에 의한 입력으로 판단하는 것을 특징으로 하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치.
제1항에 있어서,

제어부는 필기 도구에 의한 터치 입력이 일어나기 직전에 추정된 자기장의 기준 변화 속도와, 필기 도구에 의한 터치 입력이 시작되기 전부터 터치 입력 시점까지 자기장 센서에 의해 측정된 자기장값의 변화 속도를 비교하여, 측정된 자기장값과 기준 변화 속도의 차이가 기준 점위 이내이면 필기 도구에 의한 입력으로 판단하는 것을 특징으로 하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치.
제1항에 있어서,

제어부는 터치 입력부의 터치 입력과 자기장 센서의 자기장값의 변화 추이를 기준으로 하여 필기 도구가 대체적으로 평행 이동하는 것으로 판단하는 경우, 필기 도구에 의한 입력으로 판단하는 것을 특징으로 하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치.
자기장을 감지하며, 서로 독립적인 적어도 하나 이상의 자기장 센서와;

이미지나 컨텐츠를 표시하는 표시부와;

사용자의 필기 습관 정보를 저장하고, 자기장 센서로부터의 현재 자기장값과, 기저장된 필기 습관 정보를 이용하여, 필기 도구에 장착된 자기장 발생부나 필기 도구의 위치를 산정하는 제어부로 구성된 것을 특징으로 하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치.
제14항에 있어서,

사용자의 필기 습관 정보는 필기하는 손(왼손/오른손)에 대한 정보와, 필기 각도를 포함하는 것을 특징으로 하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치.
제14항에 있어서,

제어부는 산정된 위치에 대응하는 표시부의 위치에 기설정된 커서를 표시하거나 표시부 위치에 이미 표시된 아이콘 등과 관련된 소프트웨어를 제어하는 것을 특징으로 하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치.
제16항에 있어서,

제어부는 산정된 위치와 표시부 간의 위치가 일정 거리 이내이면 커서의 표시를 제거하는 것을 특징으로 하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치.
제14항에 있어서,

제어부는 필기 도구나 자기장 발생부의 위치가 지나온 궤적을 산정하는 것을 특징으로 하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치.
제18항에 있어서,

제어부는 산정된 궤적을 참조하여 표시부에 표시된 이미지나 컨텐츠의 ZOOM 기능과 PAN 기능을 수행하여 표시하는 것을 특징으로 하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치.
제19항에 있어서,

제어부는 필기 도구나 자기장 발생부의 표시부로부터의 높이(z축 좌표)를 기준으로 하여 배율을 결정하고, 필기 도구나 자기장 발생부의 표시부 상의 위치(x축 좌표, y축 좌표)를 기준으로 하여 pan을 결정하는 것을 특징으로 하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치.
자기장을 감지하며, 서로 독립적인 적어도 하나 이상의 자기장 센서와;

이미지나 컨텐츠를 표시하는 표시부와;

자기장 센서로부터 복수의 자기장값들을 인가받아 필기 도구에 장착된 자기장 발생부나 필기 도구의 위치와 방향을 산정하고, 산정된 위치와 방향을 기준으로 하여 표시부 상의 제어 중심 위치를 산정하는 제어부로 구성된 것을 특징으로 하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치.
제21항에 있어서,

제어부는 제어 중심 위치를 중심으로, 표시부에 표시된 이미지나 컨텐츠에 대한 zoom 기능과 pan 기능을 수행하여 표시하는 것을 특징으로 하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치.
제21항에 있어서,

제어부는 제어 중심 위치에 커서를 표시부에 표시하거나 표시부 위치에 이미 표시된 아이콘 등과 관련된 소프트웨어를 제어하는 것을 특징으로 하는 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치.
이미지나 컨텐츠를 표시하는 표시부와;

외부의 물체의 공간 위치를 감지하는 위치 감지 센서와;

위치 감지 센서부로부터의 공간 위치를 이용하여, 표시부의 이미지나 컨텐츠에 대한 줌(zoom)이나 이동(pan) 처리를 수행하여 표시부에 표시하도록 하는 제어부로 이루어진 것을 특징으로 하는 사용자 입력 처리 장치.
제24항에 있어서,

공간 위치는 물체와 위치 감지부 센서 또는 표시부와의 거리 또는 높이 또는 방향을 포함하는 것을 특징으로 하는 사용자 입력 처리 장치.