KR20150039756A - 자기장 센서를 이용하여 사용자 입력을 판단하는 전기 장치 - Google Patents

Abstract

본 발명은 자기장 센서를 구비한 이동 통신 단말기를 이용하여 사용자 입력을 정확하게 판단하고, 그 판단에 따른 대응하는 제어 등을 수행하는 자기장 센서를 이용하여 사용자 입력을 판단하는 전기 장치에 관한 것이다.
본 발명인 자기장 센서를 이용하여 사용자 입력을 판단하는 전기 장치는 자기장 발생부를 구비하는 n 자유도의 외부 물체로부터의 자기장을 감지하여 제한된 m차원의 자기장 벡터를 생성하는 적어도 하나 이상의 자기장 센서부와, 상기 외부 물체의 운동에 대한 물리적 사전 정보를 저장하고, 상기 제한된 m차원의 자기장 벡터와 상기 물리적 사전 정보를 기준으로 하여, 상기 외부 물체의 변위와 회전 정보를 판단하는 제어부로 구성된다.

Description

자기장 센서를 이용하여 사용자 입력을 판단하는 전기 장치{ELECTRIC APPARATUS WHICH DETERMINES USER INPUT USING MAGNETIC FIELD SENSOR}

본 발명은 전기 장치에 관한 것으로서, 특히 자기장 센서를 구비한 이동 통신 단말기를 이용하여 사용자 입력을 정확하게 판단하고, 그 판단에 따른 대응하는 제어 등을 수행하는 자기장 센서를 이용하여 사용자 입력을 판단하는 전기 장치에 관한 것이다.

초기 PC 시대부터 쓰여온 마우스는 x와 y 양 축으로 움직임을 입력하는 2차원 또는 2 자유도(degree of freedom) 장치였다. 미국 로지텍사의 미국 특허 7317448 등에서는 2개의 광학 센서를 이용해 마우스의 해상도를 높이고 마우스의 회전 각도 r까지 인식하는 3 자유도를 구현하였다. 이후 노트북 컴퓨터에 트랙 패드가 장착되어 평면을 손가락 끝으로 눌러 끄는 장치가 일반화 되었다. 이러한 트랙패드는 이후 테블릿 PC와 스마트 폰의 출현과 함께 출력 표시 스크린 위에 정전 또는 정압 방식으로 투명하게 구현되어 보이는 대상을 직접 누르거나 끄는 터치 스크린 입력 장치로 진화하였다. 터치스크린은 손가락으로 눌러 입력을 하기도 하고 펜이나 스타일러스로 입력을 하기도 하는데, 특히 일본 와콤사에서 EMR(electromagnetic resonance)이라 명명한 전자석 및 자기 공명 전원 전달에 기반한 특허 기술(미국 특허 6556190 등)로 스타일러스를 제작하여 POS 입력 장치 및 일부 스마트폰 및 테블렛에 널리 사용되었다. 와컴 스타일러스의 경우, 입력패드 위에 손가락이나 손 볼이 놓여도 스타일러스의 끝만을 구분하여 처리가 가능하며, 누르는 압력이 측정 가능하여 획의 굵기 조절을 하는 등 고급 기능을 갖추고 있다. 와컴펜 이외에도 저가로 구현 가능한 터치펜들이 스마트폰과 태블릿의 주요 입력 장치로 쓰여 왔다. 터치펜은 정전 용량 방식을 채택한 멀티터치 스크린을 전도성 물질(conductive material)인 펜 촉으로 터치하거나 정압식 스크린에 단순한 기계적 압력을 가해 디바이스에 그리기 입력을 하거나 사용자의 손가락을 대신하여 메뉴 선택, 끌기 등 일반적인 입력을 하는 액세서리이다. 터치펜 역시 평면 스크린 위의 좌표를 입력하는 2 자유도의 입력장치이나, 손바닥이 터치 스크린에 닿은 것과 터치펜이 닿는 것을 구분할 수 없어 손 볼을 터치 스크린에 대고 쓸 수가 없고 누르는 압력을 측정할 수 없어 획의 굵기 조절이 안 되는 단점 등이 있다.

특히, 다루는 대상이 3차원이 될 경우 터치스크린, 마우스, 트랙패드 같은 2차원 평면에서의 조작으로는 직관적이고 편리한 조작이 어렵다. 우선 3차원 상의 물체는 3개 독립축의 끌림(zoom, pan)과 3개 독립축에 의한 회전(roll, pitch, yaw) 등 6개의 자유도를 가지는데, 멀티 터치를 동원하더라도 두 개 손가락으로는 자유도가 4밖에 되지 않고, 엄지와 검지 외의 손가락을 더 동원하더라도 이 손가락을 독립적으로 움직여 자유도가 높은 입력을 직관적으로 하기 매우 어렵기 때문이다.

이러한 문제를 해결하는 방법으로는 3차원 마우스가 있다. 이 중 많은 성공을 거둔 3d connexion사의 경우, 미국 특허 7215323에서 보인 바와 같이 사용자가 손으로 쥐고 3차원 상의 방향으로 끌 수도 있고, 3차원 상에서 회전시킬 수 있는 노브 형태의 마우스를 제공하여 6개의 자유도를 구현한다. 그러나 이러한 마우스는 그 안에 많은 센서를 내장하고 전원이 공급되어야 하는 복잡한 회로를 구성하여야 하고 기구적으로도 복잡하게 구성되어 구현 비용이 비싸다.

3차원 상의 입력을 아이폰 등 현존 스마트폰이나 테블릿에 장착된 다양한 가속도 센서를 쓰고, 소프트웨어로 해결하려는 시도가 있었다. 미국 듀크 대학교에서 Phone Point Pen이라는 이름의 프로젝트에서는 허공에 스마트폰으로 글씨의 궤적을 그리면 스마트폰의 Gyrometer와 accelerometer가 이를 인식하여 소프트웨어 상의 획으로 바꾸어 준다. 또한 미국 InvenSense사의 "Motion Processing"이라는 리포트에는 스마트 폰에 장착된 가속도를 재는 Gyrometer, Accelerometer, e-Compass의 입력을 모두 참고하여 노이즈 등을 제거하고 적절한 미적분 연산을 하는 "sensor fusion algorithm"을 통해 센서를 통해 속도의 변화 뿐 아니라 6 자유도의 각도와 변위까지 잴 수 있다고 주장하고 있다. 그러나 잔 손떨림, 쥐고 있는 물체의 무게 중심 변화에 의한 쏠림, 몸 자체의 움직임, 회전 등에 의해 많은 노이즈가 발생하는 환경에서 가속도를 두 번 적분하여 절대 변위를 알아내는 것은 사실상 불가능 하다는 것이 정설이다. 허공에 크고 빠른 움직임으로 글씨를 쓸 때처럼 움직임에 관련된 가속도가 노이즈에 비해 충분히 큰 특수한 상황 외에 대부분의 경우에는 노이즈에 의해 충분히 정확한 변위 값을 얻기가 불가능 하다. 특히 수 센티미터 범위에서 마우스를 짧은 거리 조작하는 환경에 이러한 기술을 적용하기는 불가능하다.

기존의 단순한 입력장치인 마우스, 트랙볼, 정전압식 스타일러스 등은 구축 비용이 싸고 부피도 작아 스마트폰이나 테블릿 등 휴대형 컴퓨터에 적용되기 용이한 반면, 입력이 번거롭고, 직관적이 않은 장점이 있으며, 한 사용자가 다양한 입력 장치를 소유하기에는 각각에 들어간 센서, 회로, 통신 인터페이스, 전원 등에 의해 비용도 비싸고, 무게나 부피가 커지는 단점이 있다.

좀 더 복잡한 입력 장치로 멀티 터치 스크린은 이미 휴대형 컴퓨터에 구비되어 손가락이나 정전식 스타일러스로 눌러 사용 가능하며, 필기, 선택, 줌, 끌기 등 평면상에서 다양한 입력을 직관적으로 할 수 있다. 그러나 이 역시 스타일러스 펜촉의 위치와 손 볼의 구분이 어려워 손을 허공에 들고 써야 하는 불편함이 있으며, 조작 대상이 소프트웨어로 구현되는 가상의 3차원 물체인 경우 직관적인 조작이 매우 어렵다.

기타 Wii나 Kinect등 모션 게임 장치는 휴대 컴퓨터에 적용되기에는 액세서리에 다양한 센서, 마이크로 컨트롤러, 전원 등으로 인해 하드웨어 구축비용이 고가일 뿐만 아니라, 보다 근본적으로는 카메라를 센서로 쓰기 때문에 센서로부터 사용자의 몸이나 소품까지 가시선(line of sight)이 확보되어야 하기 때문에, 출력 화면 가까이에서 여러 개의 손가락으로 조작을 하는 휴대 장치용 입력으로는 부적합하다.

또한, US 8,376,854는 compass sensor를 이용하여 자기 요소의 이동을 기준으로 하여 움직임을 인식하는 것을 기재하고 있으나, 단순히 자기 요소의 이동을 감지할 수 있을 뿐이지, 자기 요소의 변위나 회전 등에 대한 정밀한 정보를 확인할 수 없는 단점이 있다.

본 발명은 모션 입력을 하기 위해 이동 통신 단말기나 휴대 컴퓨터가 이미 구비한 자기장 센서(magnetometer)를 사용하여 사용자가 일체의 센서, 회로, 전원장치 없이 자석만이 포함된 이동성 물체(액세서리)를 조작하고, 다양한 직관적 모션을 이동 통신 단말기나 휴대 컴퓨터가 인식하거나 판단하여 소프트웨어 상의 객체 상태를 바꾸어 그래픽 에디터, 모션 게임, 거리뷰나 google earth 등의 geospatial 응용을 편리하게 조작하려는 것이다. 특히 자기장을 사용하므로, 제한된 공간에서 손가락 위주로 조작되는 이동 통신 단말기나 휴대 컴퓨터에서 문제가 될 수 있는 가시선 확보 문제를 해결한다.

본 발명은 이동 통신 단말기나 휴대형 컴퓨터에 장착된 한정된 차원의 자기장 센서로 6개의 자유도를 가지는 삼차원 공간 상의 물체(액세서리)의 움직임을 파악하기 위해 물체(액세서리)가 움직일 때 적용되는 물리학적인 제약사항 및 사전 가정들을 동원하여 여러 시점에서 측정하거나, 물체(액세서리)의 움직임에 물리적인 제한을 가하여 이동 통신 단말기나 휴대형 컴퓨터의 제어부(280)(소프트웨어)가 모션 값들을 계산하게 한다.

이와 함께, 현존하는 휴대형 컴퓨터의 대부분에 구비된 accelerometer나 gyroscope 등 가속도 센서를 모션 인식에 추가로 사용하기 위해, 자석이 포함된 물체(액세서리)를 고정하고 이동 통신 단말기나 휴대형 컴퓨터를 손으로 쥐고 조작하여 물체와의 상대적인 위치를 이동 통신 단말기나 휴대형 컴퓨터가 판단하여 처리할 수 있도록 한다.

본 발명인 자기장 센서를 이용하여 사용자 입력을 판단하는 전기 장치는 자기장 발생부를 구비하는 n 자유도의 외부 물체로부터의 자기장을 감지하여 제한된 m차원의 자기장 벡터를 생성하는 적어도 하나 이상의 자기장 센서부와, 상기 외부 물체의 운동에 대한 물리적 사전 정보를 저장하고, 상기 제한된 m차원의 자기장 벡터와 상기 물리적 사전 정보를 기준으로 하여, 상기 외부 물체의 3차원 변위(x, y, z)와 3차원 회전(roll, pitch, yaw) 정보를 판단하는 제어부로 구성되고, 여기서, n＞m이다.

또한, 상기 물리적 사전 정보는 상기 외부 물체 또는 상기 자기장 발생부의 운동 경로, 운동 종류 및 운동의 추정 정보 중의 적어도 하나 이상을 포함하고, 운동 경로는 직선 운동, 외부 물체 또는 자기장 발생부가 전기 장치로 최단거리로 접근하는 운동 등을 포함하고, 운동의 종류는 물체의 굴리는 운동, 세차 운동, 직선 운동, 궤적을 지닌 포물선 운동, 외부 물체는 고정되고 내부에 포함된 자석만 제자리에서 회전하는 운동 등을 포함하고, 추정 또는 가정 정보는 손가락 움직임의 추정치, 외력이 없다는 것 등을 포함한다.

또한, 상기 제어부는 서로 다른 시각에서 획득된 적어도 2개 이상의 제한된 m차원의 자기장 벡터들을 이용하는 것이 바람직하다.

또한, 상기 제어부는 상기 2개 이상의 제한된 m차원의 자기장 벡터들을 이용하여 시간에 대하여 독립적인 운동 파라미터를 결정하는 것으로, 시간에 대하여 독립적인 운동 파라미터는 마찰계수, 탄성계수 등을 포함한다.

또한, 상기 제어부는 상기 외부 물체 내의 자기장 발생부가 상기 외부 물체의 외측면들과 이루는 각도 정보를 저장하는 것이 바람직하다.

또한, 상기 전기 장치는 터치 스크린을 구비하고, 상기 제어부는 상기 터치 스크린으로부터의 입력 정보를 추가적으로 이용하여, 상기 외부 물체의 3차원 변위(x, y, z)와 3차원 회전(roll, pitch, yaw) 정보를 판단하는 것이 바람직하다.

또한, 상기 전기 장치는 마이크로폰을 구비하고, 상기 제어부는 상기 마이크로폰으로부터의 음향 정보를 추가적으로 이용하여, 상기 외부 물체의 3차원 변위(x, y, z)와 3차원 회전(roll, pitch, yaw) 정보를 판단하는 것이 바람직하다.

또한, 상기 자기장 센서부와 상기 외부 물체 또는 자기장 발생부 중의 적어도 하나 이상이 이동 가능한 것이 바람직하다.

또한, 상기 제어부는 상기 이동 가능한 자기장 센서부의 3차원 변위(x, y, z)와 3차원 회전(roll, pitch, yaw) 정보를 판단하는 것이 바람직하다.

또한, 상기 자기장 센서부는 기설정된 각도를 이루는 복수의 자기장을 측정하거나, coded 자기장을 측정하는 것이 바람직하다.

또한, 본 발명인 자기장 센서를 이용하여 사용자 입력을 판단하는 방법은 n 자유도의 외부 물체로부터의 자기장을 감지하여 제한된 m차원의 자기장 벡터를 생성하는 단계와, 상기 제한된 m차원의 자기장 벡터와, 상기 외부 물체에 대한 기저장된 물리적 사전 정보를 기준으로 하여, 상기 외부 물체의 3차원 변위(x, y, z)와 3차원 회전(roll, pitch, yaw) 정보를 판단하는 단계를 포함하고, 여기서, n＞m이다.

본 발명은 휴대 컴퓨터에 모션 입력을 하기 위해 휴대 컴퓨터가 이미 구비한 자기장센서(magnetometer), 터치 스크린 등을 쓰고, 액세서리에는 일체의 전자 센서, 회로, 전원장치 없이 단순한 자석이나 터치스크린 입력용 접점 등만을 구비하여 액세서리를 통해 다양한 사용자 입력인 직관적 모션을 컴퓨터 소프트웨어에 입력하여 소프트웨어 상의 객체의 상태를 바꾸어 그래픽 에디터, 모션 게임, 거리뷰나 google earth 등의 geospatial 응용을 편리하게 조작하게 한다.

또한, 본 발명은 자기장을 통한 센싱으로, 제한된 공간에서 손가락 위주로 조작되는 휴대 컴퓨터에서 센싱을 위해 가시선을 확보할 필요를 효과적으로 극복한다. 또한, 본 발명은 자기장을 3차원 벡터로 센싱하는 자기장 센서의 한정된 입력만으로도 액세서리에서 필요한 모션 값들을 계산하여, 화면에 표시되는 컨텐츠의 동작, 색상 등을 변화시켜 사용자 입력에 대응하는 동작을 수행할 수 있다.

또한, 본 발명은 두 가지 종류 이상의 센서들, 특히 휴대형 컴퓨터의 경우 터치스크린의 눌림 좌표와 3차원 자기장 센서에서 센싱되는 자기장 벡터 값을 동시에 참조함으로써 기존의 입력용 액세서리에 비해 저가, 소형으로 구현되면서 인식할 수 있는 입력의 자유도를 높혀 사용자가 편리하고 직관적으로 입력하도록 하는 사용자 편의성을 향상시킨다.

또한, 본 발명은 스마트 폰을 움직여 입력을 할 때, 사용자가 스마트 폰을 바닥에 대고 끄는 것과 공중에 들어 단순히 스마트폰을 편리한 위치로 되돌려 보내는 것과 발로 밟는 페달 등 센싱하려는 움직임이 수십 센티 미터 이상 휴대 컴퓨터와 떨어져 있을 경우에도 휴대형 디바이스에 이미 구비된 마이크로 폰을 써서 인식이 가능하게 하는 효과가 있다.

도 1은 본 발명인 전기 장치와, 자석을 포함한 이동성 물체로 구성된 사용자 입력 시스템을 도시한다.
도 2는 도 1의 사용자 입력 시스템의 제1실시예이다.
도 3은 도 1의 사용자 입력 시스템의 제2실시예이다.
도 4는 도 1의 사용자 입력 시스템의 제3실시예이다.
도 5는 도 1의 사용자 입력 시스템의 제4실시예이다.
도 6은 도 1의 사용자 입력 시스템의 제5실시예이다.
도 7은 도 1의 사용자 입력 시스템의 제6실시예이다.
도 8은 도 1의 사용자 입력 시스템의 제7실시예이다.
도 9는 도 1의 사용자 입력 시스템의 제8실시예이다.

이하에서, 본 발명은 도면과 실시예들을 통하여 상세하게 설명된다.

도 1은 본 발명인 전기 장치와, 자석을 포함한 이동성 물체로 구성된 사용자 입력 시스템을 도시한다.

사용자 입력 시스템은 자석(110)을 포함하는 이동성 물체(1)와, 자석(110)으로부터의 자기장을 감지하여 처리하는 전기 장치(2)로 구성된다.

물체(1)는 내부나 외면에 자석(110)이 구비된 몸체로 구성된다. 물체(1)는 다양한 형태로 구성되며, 예를 들면, 마우스 형태, 총알 형태, 터치펜 형태, 반지 형태, 주사위 형태 등으로 구현될 수 있다.

전기 장치(2)는 이동 통신 단말기나 컴퓨터 등으로 구현될 수 있으며, 자기장 또는 자기장의 변화를 감지하는 자기장 센서(210)와, 다양한 프로그램의 표시 화면이나 정보를 표시하는 표시부(220)와, 외부를 향하는 표시부(220)의 외측면 상에 형성되는 터치 입력을 획득하는 터치 스크린인 제1입력부(230)와, 버튼과 같이 표시부(220) 이외의 전기 장치(2)의 케이스(미도시됨)에 구현되는 제2입력부(240)와, 외부의 통신 기기(미도시됨)와 유선 또는 무선 통신을 수행하는 통신부(250)와, 전기 장치(2)의 고유 기능을 수행하기 위한 프로그램이나 정보를 저장하고, 이동성 물체(1)의 이동 또는 전기 장치(2)의 이동에 의한 사용자의 입력 정보를 판단하기 위한 물리적 사전 정보 또는 제한 사항을 저장하는 저장부(260)와, 외부로부터의 전기 신호 또는 음향 신호를 수신하여 음향 정보를 제어부(280)에 인가하는 음향 수신부(270)와, 전기 기기(2)의 고유 기능을 수행하면서, 저장부(260)에 저장된 물리적 사전 정보 또는 제한 사항과, 자기장 센서(210)로부터의 자기장 감지값을 이용하여 사용자의 입력을 판단하거나, 그 판단된 입력에 대응하여 다른 프로그램이나 데이터를 처리하는 제어부(280)로 구성된다. 다만, 전기 장치(2)의 각 구성요소들에 전원을 공급하는 전원공급부는 널리 알려진 기술에 해당되어 본 명세서에서 그 설명이 생략된다. 또한, 통신부(250)는 선택적으로 구비될 수 있다.

자기장 센서(210)는 제한된 차원수의 자기장 벡터를 감지하여, 감지값을 제어부(280)에 인가한다. 자기장 센서(210)는 예를 들면 3차원 자기장 벡터의 측정이 가능하며, 적어도 하나 이상이 전기 장치(2)에 구비된다.

상술된 표시부(220)와, 제1 및 제2 입력부(230, 240), 통신부(250), 저장부(260) 및 음향 수신부(270)는 널리 알려진 기술적 구성에 해당되어 그 상세한 설명이 생략된다. 하기의 실시예들을 통하여, 제어부(280)가 자기장 센서(210), 제1입력부(230), 음향 수신부(270) 등을 통하여 입력된 값들을 저장부(260)에 저장된 물리적 사전 정보나 제한 사항을 이용하여 판단하여, 사용자의 입력을 정확하게 판단하여 처리하는 과정이 기재된다.

본 실시예에서, 자기장 센서(210)는 자기장 발생부인 자석을 구비하는 n 자유도의 물체로부터의 자기장을 감지하여 제한된 m차원의 자기장 벡터를 생성하고, 여기서, n＞m이다. 제어부(280)는 저장부(260)에 저장된 물체(1)의 운동에 대한 물리적 사전 정보 및 제한된 m차원의 자기장 벡터를 기준으로 하여, n 자유도의 물체이 변위 및 회전 정보를 판단한다. 특히, 자기장 센서(210)의 갯수를 감소시키기 위해, 예를 들면, 물체(1)의 운동에 대한 물리적 사전 정보가 물체(1)의 (n - m) 이상의 자유도에 대한 정보를 포함하고 있으면 된다.

또한, 본 실시예에서, 자기장 센서(210)의 갯수를 감소시키기 위해, 물체(1)의 운동에 대한 물리적 사전 정보를 이용하며, 또한, 물체(1)의 운동의 자유도를 직접적으로 제한하여, 제어부(280)가 판단해야 하는 물체(1)의 변위 및 회전 정보를 판단한다. 예를 들면, 물체(1)의 운동의 자유도를 5로 제한하고, 이러한 물체(1)의 운동 자유도의 제한 정보가 저장부(260)에 이미 저장되어 잇고, 제어부(280)는 이러한 제한 정보를 이용하여 물체(1)의 변위 및 회전 정보를 판단할 수 있다. 여기서, 물체(1)의 운동의 자유도 제한 정보도 물체(1)의 물리적 사전 정보에 포함된다.

도 2는 도 1의 사용자 입력 시스템의 제1실시예이다.

도 1에 보인 바와 같이 본 발명의 일 실시 예에서는 전기 장치(2)의 제어부(280)가 제한된 차원수의 자기장 센서(210)를 통해 바닥을 굴러가는 이동성 물체인 공(1a) 내부의 중심에 고정되어 함께 구르는 자석(110)이 야기하는 자기장(111) 변화를 감지하여 공(1a)의 위치를 찾아내어 표시부(220) 상에 표시되는 퍼팅 그린과 같은 가상의 물체나 공간인 표시 화면 또는 컨텐츠(221)의 상태에 반영하는 것이다. 또한, 제어부(280)가 수행 중인 프로그램 또는 게임 또는 앱 등의 사용자 입력으로 자기장 센서(2100로부터의 자기장 변화에 의해 판단된 사용자 입력을 사용하여, 프로그램 또는 게임 또는 앱 등의 상태 변화, 명령 입력, 환경 설정, 모드 변경, 표시 화면의 변화 등을 수행한다.

자기장 센서(210)가 3차원 자기장 입력을 받는 반면 조작되는 액세서리 등의 공 또는 강체(1a)는 3차원 공간에서 3차원의 변위(x,y,z)와 3차원의 회전(roll, pitch, yaw)을 하는 6개의 자유도를 가진 운동을 수행하므로 3차원 자기장 센서(210)에서 얻는 자기장 입력만으로는 공 등의 자석을 포함하는 액세서리, 즉 공(1a)의 위치 등을 한정할 수 없다.

이러한 자기장 센서(210)에서 측정된 제한된 개수의 값으로부터 자유도가 더 높은 외부 액세서리의 위치나 각도에 대해 알아내기 위해 액세서리가 움직일 때 적용되는 물리적 제약 사항들을 저장부(260)가 저장하고, 제어부(280)가 이 물리적 제약 사항들을 참조하여 계산한다.

즉, 도 1의 시스템을 사용하는 사용자가 전기 장치(2)에서 예를 들면, 적어도 30cm 이격된 공간에서 공(1a)을 굴려야 정확하게 공의 변위 및 회전 정보가 판단된다. 전기 장치(2)의 30cm 반경 이내에는 곡면이 없는 평평한 면이어야 하고 표면 재질에 의한 마찰력이 급격히 변하지 않는 일정한 곳이어야 한다는 등의 일상에서 지키기 쉽고 직관적인 규칙을 전기 장치(2)는 표시부(220)를 통하여 사용자에게 알리고, 사용자가 이 규칙을 지켰다는 가정 하에서 제어부(280)가 공(1a)의 움직임을 정확하게 찾아낼 수 있다. 저장부(260)는 이러한 규칙들을 공의 물리적 제한 사항들 또는 사전 정보들로 저장하여, 제어부(280)는 이 규칙들을 이용한다.

공(1a)이 굴러가 전기 장치(2)로부터 30cm 이하의 거리로 인접하면, 자기장(111)은 공(1a)의 움직임과 상관없는 노이즈와는 확연히 구별될 수 있는 큰 값이 된다. 따라서, 제어부(280)는 자기장 센서(210)에 의해 측정되는 자기장(111)을 이용하여 공(1a)의 움직임과 관련된 정보를 판단할 수 있다. 공(1a)은 회전축을 중심으로 구른다.

제어부(280)는 이러한 자기장의 변화를 공(1a)의 접근으로 판단하고 3차원 벡터인 자기장 센서값 M0을 읽어 컨텐츠(221)의 상태에 반영할 준비를 한다. 사용자가 공(1a)을 어느 위치에서 굴렸는지는 알 수가 없으므로 공(1a)의 위치 X0는 알아내야 하는 변수로, 공(1a)이 평면 위에 있으므로 2차원 값이다. 그런데, 중심을 공(1a)과 공유하는 자석(110)은 제어부(280)가 자력의 세기를 미리 알고 있다 하더라도 자석의 쌍극자(dipole)가 자기장 센서(210)와 어떤 각도로 놓여져 있는지는 역시 위도각과 경도각의 2차원 벡터값 U0로 주어지며, 또한, 알아내야 하는 변수로 MO는 하기의 수학식 1과 같이 정의될 수 있다.

즉, 자기장 센서값 M0은 변수 XO와 UO의 함수(F)로 정의되며, F의 역함수를 써서 X0와 UO를 찾으려고 시도할 수 있다. 문제는 자기장 센서값 M0은 3차원 값이고, 알아야 하는 변수 X0, U0의 자유도는 2차원 + 2차원 = 4차원에 이르기 때문에 변수 X0를 구할 수가 없다. 이러한 문제는 다른 가정들을 쓰지 않는다면 공(1a)의 평면상 위치조차 찾을 수가 없다. 이 경우에 대한 종래의 해결 방법은 분산된 위치에 자기장 센서를 9개 이상 두고 이들이 완전히 동기화 되도록 고가의 데이터 연결 버스를 써서 한 순간에 센싱된 값을 취합하여 비선형 최적화를 통해 3차원 상의 위치와 각도를 알아내는 것이다.

본 발명에서는 제한된 갯수의 자기장 센서(210)를 이용하여 공(1a)의 위치를 찾아내기 위해 물리적 사전 정보와 시간 상의 여러 개 측정값을 사용한다. 즉, 도 2에 자기장 벡터 M0를 측정한 시점을 t0라 하고, 공(1a)이 관성에 의해 같은 방향으로 진행하며 t0에서의 속도는 알 수 없는 V0라는 2차원 벡터값이고 진행 방향은 바뀌지 않지만 진행 속도는 수평면의 재질에 의해 결정되지만 제어부(280)는 알 수 없는 마찰계수(f)에 의해 마이너스의 등가속을 한다고 가정된다. 수평면이므로 중력에 의한 휨은 없다고 가정해도 실제 현상과 크게 다르지 않을 것이다. 이와 같은 물리적 사전 정보 또는 가정 하에서 시점(t0)에서 일정 시간이 경과된 시점 (t1)에 M1이라는 자기장 벡터를 얻는다면, 이 자기장 벡터(M1)는 시점(t1)의 공 중심의 위치 X1과 자석(110)의 위/경도각 U1과 하기의 수학식2의 관계를 갖는다.

이때 X1은 X0의 위치로부터 속도(V0), 마찰 계수(f), 시간차 (t1-t0)에 의해 결정되는 값이고, 이 중 시간 t0, t1은 제어부(280)가 내장된 타이머를 이용하여 확인하는 값이다. 자석(110)의 각도 U1 역시 U0의 위치로부터 공의 반지름(r), 속도(V0), 마찰계수(f), 시간차(t1-t0)에 의해 정해지는 값인데, 이때 공(1a)의 반지름 (r)은 저장부(260)에 이미 저장된 물리적 사전 정보이고, 제어부(280)는 시간차(t1-t0)를 산정한다. 따라서, 자기장 벡터(M1)은 하기의 수학식3의 관계를 갖는다.

다시 다음 시점(t2)에 자기장 벡터(M2)의 값도 동일하게 수학식4의 관계를 갖는다.

이제 3개의 3차원 자기장 벡터 M0, M1, M2에 의해 방정식 9(=3×3)개를 얻었고, 알아야 하는 변수는 X0, U0, V0, f 등의 7개이다. 제어부(280)는 위 방정식을 통하여 X0, U0, V0, f를 산정하고, X0, X1, X2뿐 아니라 U0, U1, U2까지 모두 판단할 수 있다. 제어부(280)는 여러 시점의 자기장 센서의 감지값을 이용하여 자기장 센서(210)의 차원수에 비해 높은 자유도를 지닌 물체의 벡터 정보(변위, 회전)를 확인할 수 있다.

또한, 공(1a)이 볼링이나 당구에서처럼 주어진 일정한 스핀에 의해 바닥에서 미끄러지면서 구른다는 가정 등을 더 넣는다든가, 골프 퍼팅에서처럼 아이패드를 경사면에 놓을 수 있는 것으로 가정(물리적 사전 정보)을 하여도 시차를 두고 샘플링을 더 하면 3차원의 자기장 센서(210)만으로 공(1a)의 변위와 회전 정보를 확인할 수 있다. 물론 마루면 등이 완전 평면이 아니라든지 마찰 계수가 고르지 않은 문제로 인해 오차가 생기겠지만 가상의 물체를 사람의 직관과 충분히 일치하게 움직이기 위해서는 제어부(280)나 저장부(260)에 저장하는 몇 개의 단순한 가정만으로도 가능하고, 샘플링을 한 후 자석(110)이 아직 센싱 범위에 있으면 지속적으로 샘플링을 하여 위치를 보정하고 알려지지 않았던 마찰계수 등의 파라미터에 대한 정확도를 향상시킬 수 있다.

이는 제한된 차원의 자기장 센서를 사용하여 자기장 센서의 차원보다 더 큰 자유도를 가진 물체에 대해 충분한 정보를 얻기 위해 어떤 시간 구간 내에서 물체가 이미 정해져 알려진 힘에 의해서 물리학적인 속도와 가속도 법칙에 따라서 매 시점의 위치와 각도가 정해진다는 사전 지식 하에서, 알려지지 않은 물체의 한 시점의 위치와 각도, 속도, 각속도, 알려지지 않았지만 시간이 지나도 변하지 않는 운동에 관련된 파라미터들을 변수로 놓고, 여러 시점에서의 자기장 센서의 감지값을 샘플링하여, 상기 알려지지 않은 변수들이 만들어 내는 자유도 보다 같거나 많은 센서 측정값을 제약 조건으로 사용하여 알려지지 않았던 위치, 각도, 속도, 각속도, 운동 파라미터 등을 알아내는 것이다. 속도와 가속도에 대한 물리적 법칙은 관성, 각 운동량, 중력, 마찰력 등이 될 수 있고, 상기 매 시점 변하지 않는 파라미터는 마찰 계수, 탄성계수, 질량, 경사 등이 될 수 있다.

이때 하나의 N극과 S극만을 가지는 쌍극자 자석을 쓸 경우, 쌍극자에 수직인 모든 평면에서 점대칭이나 선대칭의 자기장이 형성되므로, 쌍극자를 축으로 하는 스핀 등의 운동을 읽지 못할 수 있다. 이러한 스핀 정보도 제어부(280)에서 필요한 정보라면, 자석의 대칭성을 깨기 위해 자석을 다수개를 쓰거나 coded magnet을 쓸 수 있다. 특히 2개 또는 3개의 쌍극자 자석을 서로 직각이 되도록 배치하는 것이 바람직하다. 이 외에도 자석을 쌍극자에 수직인 축 등으로 회전시키고, 자석이 각 운동량을 가지고 회전하는 것을 가정하여 측정을 한다든지, 서로 직각인 2개 또는 3개의 전자석을 구비하고 이 전자석들을 순차적으로 전기 구동시켜 직각으로 꺾이는 자장을 측정할 수 있다. 일종의 전자석으로서 RFID 등을 써서 움직이는 물체에 별도의 전원 공급 없이 자기 유도나 자기 공명 방식으로 전력을 전자석에 공급하여 신호를 잴 수도 있다.

제어부(280)는 공(1a)의 변위와 회전 정보를 이용하여 가상의 퍼팅 그린 뿐만 아니라 다양한 가상의 물체를 제어하여 표시부(220)에 표시할 수 있다. 예를 들어, 컴퓨터 그래픽스로 출력되는 볼링 핀을 배치할 수도 있고, 당구 테이블, 구슬 게임판을 넣을 수 있다. 또한, 제어부(280)는 네트워크를 통해 원격의 사용자들끼리도 게임을 즐길 수 있게 할 수 있다.

같은 원리로, 던져진 물체의 궤적을 자기장 센서(210)가 측정하고, 제어부(280)가 물체가 받는 중력과 마찰력 외 알려지지 않은 힘이 가해지지 않고 날아가고 있다(자유낙하)는 가정하에서 여러 시점의 자기장 센서의 데이터를 해석하여 공의 위치, 속도, 가속도를 알아내어 소프트웨어의 가상의 공간과 가상의 물체에 반영할 수 있다. 예를 들면, 좁은 공간에 설치된 전기 장치(2)는 제한적인 거리에서 좁은 면적만을 차지하고, 던져진 물체는 곧 벽에 맞고 떨어지지만, 표시부(220) 화면 안의 가상의 공간은 제한이 없으며, 던져진 가상의 물체는 가상의 공간상에서 멀리 날아가 목표물을 맞추는 등의 역할을 할 수 있다. 공간도 지구, 달, 토성 위 등으로 설정하여 다른 중력 가속도를 적용할 수 있고, 게임의 종류도 농구, 부메랑, 칼 던지기 등 다양한 스포츠나 슈팅 게임이 될 수 있다. 물체를 던지는 방식도 손으로 던지는 것, 일정 거리 바깥에서 새총으로 쏘는 것, 골프채로 치는 것 등 다양하게 구현된다. 본 발명에 의한 전기 장치(2)는 단순히 터치스크린의 표면에 붙어있는 물체의 명중 여부 뿐만 아니라 터치스크린이나 인접의 공간을 뚫고 지나 던져진 물체가 얼마나 더 멀리까지 날아 가는지까지 측정하고, 물체의 스핀에 따라 어떤 곡선을 그릴지도 추정하여 게임에 반영할 수 있다. 예를 들어 단칼 던지기 게임 경우 던져진 단칼이 단순히 터치스크린과 어떤 좌표에서 만나는지를 측정하여 터치스크린에 붙어 움직이는 물체의 명중 여부를 측정하는 것이 아니라 터치스크린이나 인접 면을 지나 어떻게 회전하면서 어떤 궤적을 그려 날아가 스크린 훨씬 안쪽으로 설정된 3차원의 사냥감을 맞추는지를 사용자의 뷰포인트를 바꿔가며 단칼의 궤적을 따라가면서 실감나게 표현할 수 있다. 던져진 단칼의 궤도 추적을 3차원 자기장 센서(210)로 측정하여 추정하는 것도 도 2의 예시와 비슷하게 할 수 있다. 즉, 3차원 자기장 센서(210)로는 6개의 자유도를 가진 단칼 내의 자석의 공간상 위치를 파악할 수 없다. 그러나 단칼이 손에서 놓여진 후 이미 알려진 자연 법칙들 즉, 관성의 법칙, 중력의 법칙, angular momentum에 의해서 움직이고 알지 못하는 다른 힘의 적용을 받지 않는다고 가정을 하고, 제어부(280)는 복수의 시점에서 자기장 센서(210)의 감지값을 이용하여 각각의 감지 데이터의 차원이 제한이 되더라도 샘플의 숫자가 증가하면 알려지지 않은 변수를 찾아낼 수 있다. 샘플링은 충분히 빠르게 이루어지므로 실시간에 표시부(220) 안에서 날아가는 가상의 단칼을 재현할 수 있다.

이상과 같은 방법으로 아이패드 등의 소형 태블릿이나 스마트 폰에 많이 쓰이는 단순한 자기장 센서 등을 써서 던져진 물체의 시물레이션이 구현될 수 있다. 그러나 물체가 날아가는 게임인 만큼 커다란 화면과 넓은 공간에 분산된 자기장 센서를 쓰는 것이 더 바람직하다. 본 발명에 의한 시스템은 복수의 자기장 센서와 동기화를 지원하지 않는 범용의 통신인 wifi, 블루투스, 이더넷, USB 등을 써서 이러한 광역 자기장 센싱을 가능하게 한다. 예를 들어 복수의 전기 장치(2), 예를 들면 스마트 폰을 벽에 설치한 후 wifi를 통해 중앙 컴퓨터나 서로간에 통신하면서 스마트폰 각각의 자기장 센서가 던져진 물체를 센싱하여 모든 설치된 스마트 폰 화면의 출력을 업데이트 할 수 있다.

도 3은 도 1의 사용자 입력 시스템의 제 2실시예이다. 도 3에 보인 새총 액세서리(1b)의 경우는 새총의 고무줄(120)을 전기 장치(2)를 수납할 수 있는 투명 액세서리 프레임(122)에 연결한 것이다. 자석(110)을 포함한 발사대상(121)이 충분히 가볍다면 중력보다는 고무(120)의 탄성력을 주로 받게 된다. 사용자가 발사 대상(121)을 쥐고 조준하기 위해 상하 좌우로 움직이는 동안에는 발사 대상(121)의 위치를 3차원 자기장 센서(210)로 파악하기가 불가능하지만 손에서 놓는 순간부터는 고무줄 등 탄성력의 방향 및 크기 등 제한된 수의 알려지지 않은 파라미터에 의해 기술될 수 있는 물리적 법칙에 의해 발사 대상 안의 자석이 움직이고 다른 힘은 작용하지 않는 다는 물리적 사전 정보를 이용하고, 이에 대한 여러 개의 자기장 센서(210)의 감지 샘플 데이터를 얻어 제어부(280)가 발사된 대상의 공간 상의 궤적 및 회전을 추적할 수 있다.

도 4는 도 1의 사용자 입력 시스템의 제3실시예이다. 물체를 센서 근처로 굴리거나, 던지는 것 외에도 제어부(280)는 다른 자연법칙에 의한 움직임을 자기장 센서(210)의 감지 데이터를 이용하여 표시부(220)에 표시되는 가상의 물체에 반영하여, 새롭게 표시할 수 있다. 도 4는 그러한 일례로 팽이(1c)가 회전하는 것을 제어부(280)가 확인하여 표시부(220)에 표시하는 것이다. 팽이(1c) 안에 자석(110)을 넣고 팽이(1c)를 전가 장치(2) 위나 옆에서 돌리면, 팽이(1c)에서 손을 놓은 시점 이후부터는 팽이(1c)가 각운동량(410), 마찰력, 중력(Fg)에 의해 결정되는 회전을 하고 팽이 중심에서의 반동력(-Fg)에 의해 토크(도 4의 τ)가 생겨 세차운동(400)도 한다. 제어부(280)는 팽이(1c)가 세차 운동과 회전 운동을 하는 물리적 사전 정보를 이용하고, 어떤 시구간 안의 여러 시점에서 측정된 자기장 센서값으로부터 이러한 운동의 알려지지 않은 파라미터(계수)를 파악하고, 팽이의 위치 X0나 현재의 각도 U0도 파악할 수 있다. 이런 위치 정보가 파악이 되면 제어부(280)는 표시부(220)에 팽이(1c)가 돌아가는 위치를 기반으로 하는 화려한 팽이(221)를 보여주는 등 실시간으로 에니메이션을 출력할 수도 있고 세차운동에 따른 경고를 주던가, 원격 사용자와 팽이치기 시합을 할 수도 있다. 이와 비슷하게 루울렛이나 보드 게임에 많이 쓰이는 carousel 등 다양한 액세서리의 구현이 가능하다.

도 5는 도 1의 사용자 입력 시스템의 제4실시예이다. 본 발명의 또 다른 실시예인 주사위(1d)가 도시된다. 주사위(1d) 안에 자석(110)을 삽입하고, 자석(110)의 쌍극자가 주사위(1d)의 면 1,6과는 각 a,-a를 이루고, 면 2,5와는 b,-b 면 3,4와는 c,-c 각을 이루도록 구성한다. 이때 c는 a와 b에 의해 결정되며 a,b,c는 가능한 서로 크게 다른 값이 되는 것이 좋다. (0도 ＜= a, b, c ＜= 90도) 자석(110)의 쌍극자 N-S는 주사위(1d)의 윗면 숫자에 따라 평면으로부터 a, b, c, -a, -b, -c 여섯 개 중 하나인 각도를 이루게 되므로 어느 숫자면이 위쪽인가를 각도에 따라 구분할 수 있다. 전기 장치(2)는 a, b, c, -a, -b, -c 의 여섯 개의 각도 정보, 주사위(1d)의 크기나 체적 등의 정보를 저장부(260)에 저장하고 있다. 전기 장치(2)는 자기장 센서(210)의 감지값을 이용하여, 각도를 판단하여 주사위(1d)의 위로 드러난 면이 1에서 6 중 어떤 숫자인지를 판단할 수 있다. 사용자가 주사위(1d)를 던지고, 주사위(1d)가 바닥 위에 멈춘 후, 사용자가 주사위(1d)를 전기 장치(2)의 자기장 센서(210)측으로 주사위(1d)를 근접시킨다. 주사위(1d)가 평평한 바닥 위에서 비교적 직선 방향으로 끌리는 동안(즉, 물리적 사전 사항에 해당됨), 자기장 센서(210)에 의해 측정되는 각 샘플링 시점의 자기장 값을 제어부(280)가 획득한다. 주사위(1d)의 윗면이 어느 면이냐에 따라 자석(110)과 바닥 평면과 이루는 각도가 다르므로, 각 샘플링 시점의 자기장 값의 패턴이 어느 면이 윗면인지에 따라 달라진다. 따라서, 제어부(280)는 여러 시점의 자기장값 변화로부터 주사위(1d)의 윗면이 어떤 것인지를 판단할 수 있다. 제어부(280)는 자석(110)과 주사위(1d)의 무게 중심, 주사위(1d)의 모서리나 꼭지점등의 물리적 관계로부터 주사위(1d)의 윗면이 어떤 것인지 추정할 수 있다.

또한, 제어부(280)는 판단된 주사위(1d)의 윗면 숫자를 표시부(220)에 표시하거나 말을 움직이거나 주사위 나온 숫자에 따라 선택 가능한 전략을 표시하고 사용자의 선택을 기다릴 수 있으며, 네트워크를 통해 멀리 있는 사용자들 간에도 게임을 즐길 수 있다.

도 6은 도 1의 사용자 입력 시스템의 제5실시예이다. 본 발명의 또 다른 실시 예로 자석과 단순한 기구물만으로 구성되어 전기 장치(2)에 포인팅 정보를 제공할 수 있는 트랙볼(1e) 장치를 구현한다. 트랙볼(1e)은 사용자의 손가락에 의해 회전되므로 어느 시간 구간 동안 알려진 단순한 파라미터로 기술되는 물리적인 힘에 의해 움직인다고 볼 수 없다. 이러한 경우에 대해서 제한된 차원수의 자기장 센서(210)를 사용하여 사용자의 입력을 파악하기 위해서는, 물리적으로 자석(110)의 움직임의 자유도에 제한을 두거나 사용자에게 입력 방법에 제한이 있음을 전기 장치(2)가 물리적 사전 정보로 저장하여, 자석(110) 움직임의 자유도를 줄인 후 자기장을 측정한다. 즉, 트랙볼(1e)의 경우, 회전하는 볼(140)안에 자석(110)이 내장되어 있어 이 자석(110)이 자기장 센서(210)에 미치는 3차원의 자기장 벡터를 측정한다. 볼(140) 중 굵은 실선으로 표시된 부분은 외부로 노출되어 사용자가 손가락으로 접촉하여 굴릴 수 있는 부분이고, 점선은 틀(141) 내부의 홈에 삽입되어 있는 부분이다. 틀(141) 내부의 홈은 내부 저면으로부터 상측으로 갈수록 좁아서 볼(140)이 외부로 튀어나가지 못하도록 한다. 틀(141) 내부의 볼(140)은 홈 내부에서 회전하여 돌아가지만, 이 볼(140)을 잡고 있는 틀(141)은 사용자가 입력하는 중에는 전기 장치(2)와 일정한 간격 또는 특정 위치에 고정되어 상대적인 움직임이 없도록 기구적으로 조치하든지, 사용자에게 틀을 지정된 위치에 놓고 움직이지 않고 사용하도록 전기 장치(2)가 표시부(220)를 통하여 안내한다. 틀(141)을 고정하는 방법은 충분히 무겁게 제작하여 전기 장치(2) 위에 올려 놓거나 옆에 붙여 놓을 수 있고, 집게나 흡착컵(suction cup) 등으로 전기 장치(2)에 부착하는 수도 있다. 특히 전기 접점을 포함하지 않고 단순하게 꼽혀 고정만 시키는 용도의 플러그 형태의 틀(141)과 단단히 붙어있는 기구(142)를 써서 전기 장치(2)의 헤드셋 잭이나 USB나 커넥터 등에 꼽아 고정할 수도 있고, 이 플러그를 포함하여 ㄷ자로 꺾여 전기 장치(2) 윗쪽으로 트랙볼(1e)이 움직임 없이 고정되도록 할 수도 있다. 이외에도 전기 장치(2) 케이스와 일체로 제작되거나 충전 케이블의 플러그 기구물에 일체로 구현하는 등 서로 고정하는 방법은 다양하다. 이렇게 트랙볼(1e)의 틀(141)이 전기 장치(2)에 고정이 되고, 볼(140)을 잡고 있는 틀(141) 내의 홈이 볼(140)을 수용하고 있어서 볼(140)의 회전만 허용한다면 내부의 자석(110)의 6개 자유도 중 변위 (x,y,z)가 고정이 되어 자유도가 제한된다. 트랙볼(1e)이 자기장 센서(210)에 충분히 가까이만 있다면 제어부(280)는 3차원 자기장 센서(210)로 받은 자력의 센싱값과 전기 장치(2)와 일정 거리 이내에 볼(1e)이 틀(141)의 홈 내부에 삽입되어 있다는 가정(즉, 물리적 사전 정보)으로부터 필요한 볼 회전 벡터인 (roll, pitch)를 계산할 수 있고, 이 계산된 볼 회전 벡터를 기준으로 하여, 표시부(220) 내의 가상의 물체나 모터 등을 변화시켜 표시할 수 있다.

더하여, 제어부(280)는 볼(140)을 높이 방향(430)으로 클릭하는 모션도 인식할 수 있다. 이러한 높이 방향의 클릭은 틀(141)의 볼(140)을 수용하는 홈 내부 하단부를 원통형(143)으로 구성하고, 스프링(144) 등의 탄성부재가 볼(140) 아래의 홈 내부에 구비된다. 특히, 이러한 트랙볼(1e)은 터치스크린 위가 아닌 전기 장치(2)의 외부에 설치될 수 있으므로 좁은 표시부(220) 화면을 손으로 가리는 일 없이 넓게 사용하여 편의성을 높힐 수 있다.

트랙볼과 비슷한 방법으로 종래의 노트북 컴퓨터용 포인팅 디바이스로 널리 쓰였던 IBM의 point stick(또는 trackpoint)도 초소형 액세서리로 구현되어 휴대형 컴퓨터에 사용될 수 있다. 이 외에도 누름 버튼이 하나 달리고 손으로 쥐고 2차원(roll, pitch) 조작하는 조이스틱 역시 3개의 자유도를 가진 디바이스로 자석과 자기장 센서로 단순하게 구현될 수 있다. 앞의 트랙볼, point stick, 조이스틱의 버튼들은 그저 눌리고 띄고의 구분 말고도 얼마나 눌렸는지를 구분하는 아날로그 버튼으로 구현할 수 있음도 자명하다.

도 7은 도 1의 사용자 입력 시스템의 제6실시예이다.

운동 법칙이 아닌 사람의 조작을 입력하는 트랙볼과 같은 액세서리는 그 자유도가 3으로 제한되어야 3차원 자기장 센서(210)에 의해 모션 센싱이 가능하다. 사람의 조작을 입력하는 포인팅 디바이스로부터 더욱 자유도가 높은 모션 입력을 받기 위해서 하나의 액세서리를 전기 장치(20)가 가진 다른 종류의 센서가 함께 센싱하여 자유도가 높은 움직임을 파악할 수 있다. 둘 이상의 센서로부터 받은 데이터가 하나의 액세서리에서 나온 서로 관련이 있는 데이터라는 가정하에 데이터를 가공 분석하면 각 센서의 차원수를 합친 자유도의 움직임을 센싱할 수 있다.

제6 실시예는 대표적인 스타일러스인 터치펜(1f)에 자석(110)을 넣은 단순한 액세서리로 터치 스크린(230)에 대한 펜 촉(150)의 누름 입력과 함께 자기장 센서(210)에 의한 자기장 입력을 받아 모든 자유도를 감안한 직관적 모션 입력을 받는 예이다. 종래의 터치펜의 경우 휴대형 컴퓨터에 채용되어 있는 정전, 정압 등의 방식을 채택한 터치 스크린(230)위의 점 (x, y)를 터치하는 2차원 센싱에 사용된다. 그러나 터치펜(1f)도 공간 상에 놓여 있는 입방체이므로 6개의 자유도를 가진다. 따라서 자석(110)을 넣어 자기장 센서(210)의 3차원 자기장 값을 추가로 참조하면 펜 촉(150)의 터치 스크린(230) 상의 위치뿐만 아니라 전반적인 입방체로서의 터치펜(1f)의 위치와 방향이 판단되므로 다양한 입력이나 제스쳐가 가능하다. 즉, 펜 촉(150)이 터치스크린(230) 위의 점을 터치하고 있으면, 제어부(280)는 고정된 높이(z)의 터치스크린(230) 상에 펜 촉(150)의 터치 위치인 (x, y)에 있다는 3차원 정보를 확인하게 되고, 자기장 센서(210)로부터 입력되는 3차원 벡터 입력을 추가하면 6 자유도를 가진 터치펜(1f)의 3차원 공간 상의 완전한 위치와 각도를 알 수 있다. 이 외에도 선택적으로 터치스크린(230)과 자기장 센서(210)의 상대적인 위치로부터 여러 공간 상의 3차원 정보를 추정할 수 있다. 또한, 원통형 터치펜(1f)의 펜 대(151)의 한쪽을 원통의 높이 방향으로 절곡하여 자연스럽게 엄지가 터치펜(1f)을 잡도록 펜 대(151) 자전 상의 각도를 제한할 수 있고, 제어부(280)는 이러한 제한 사항과, 3차원 정보를 이용하여 사용자가 전기 장치(2)의 어느 쪽에 위치하고 있는지도 확인할 수 있다.

또한, 종래의 대부분 스마트 폰이나 테블릿은 정전식 또는 정압식 터치 스크린을 쓰기 때문에 스크린이 피부나 손볼(300)에 의해 눌렸는지 또는 펜촉(150)에 의해 눌렸는지를 구별하지 못하므로, 사용자는 피부나 손볼 등이 터치스크린에 닿지 않도록 손을 허공에 들고 써야 하고, 이에 따라 자연스러운 글씨 쓰기가 어렵고, 손톱에 걸려 잘 쓰여지지 않는 문제도 있었다. 그러나 도 7과 같은 자석(110)을 넣은 터치펜(1f)의 경우, 펜촉(150) 뿐만 아니라 손볼(300)이 터치스크린(230) 화면에 닿아도 추가의 자기장 센싱을 통해 어떤 것이 펜촉(150)인지를 제어부(280)는 구별할 수 있다.

또한, 제어부(280)는 입방체로서의 터치펜(1f) 전체를 인식할 수 있으므로, 클릭된 점의 위치뿐만 아니라 클릭한 펜 대(151)의 방향, 기울기, 펜 대(151)를 축으로 하는 터치펜(1f)의 자전 정도를 확인할 수 있다. 즉, 제어부(280)는 이러한 터치첸(1f)의 변위나 회전 등에 대한 정보와, 화면 상의 여러 터치 중 어떤 것이 터치펜(1f)의 입력이고 어떤 것이 터치펜(1f)의 입력이 아닌지의 정보를 이용하여, 직관적이고 다양한 사용자 인터페이스를 제공할 수 있다.

우선 제어부(280)는 필압, 즉 터치펜(1f)을 누르는 압력을 측정하여 획의 굵기 등에 반영할 수 있다. 필압을 측정하는 방법 두가지를 보이면: 1) 사용자가 터치펜(1f)을 세게 누를 때, 터치펜(1f)은 표시부(220) 상에서 수직 방향으로 이동하는 경향이 있다. 특히, 검지 손가락 쪽으로 이동하는 경향이 있으므로, 제어부(280)는 이 방향의 각도를 이용하여 필압을 결정할 수 있다. 2) 펜촉(150)을 적당한 탄성을 가지는 고무로 구성하여 터치펜(1f)에 주는 힘에 의해 자석(110)의 높이가 변화된다. 2)번의 방법은 연속적인 터치펜(1f)의 움직임을 분석하여 정확하게 구현될 수 있다.

이외에도 많아진 자유도로 여러 변수를 동시에 입력할 수 있다. 종래와 같이 펜으로 찍고 끄는 것으로 물체의 이동(뷰포인트 pan) 동작을 하면서 펜이 화면과 이룬 각도를 동시에 조절하여 물체(뷰포인트)의 확대 또는 축소(zoom), 또한 동시에 펜을 자전시킴으로써 물체(뷰포인트)를 회전시키는 사용자 인터페이스를 직관적으로 할 수 있다. 확대/축소시 펜을 기울이는 각도는 전술한 필압을 검출하기 위해 제어부(280)가 판단하는 검지 쪽 방향의 기울임 각도와 직각에 가깝게 하는 것이 바람직하다. 이외에도 제스쳐에 기반한 입력도 가능하다. 즉, 펜으로 터치한 상태에서 펜의 윗쪽 끝을 직선 방향으로 눕히거나 세우면 확대/축소로 인식하고, 펜의 윗쪽 끝을 원형 궤도로 회전시키면 회전이 되게 할 수 있다. 물론 이러한 동작은 멀티터치 스크린에서 두 개의 손가락으로 rubberbanding이라는 사용자 인터페이스에 의해 직관적으로 할 수도 있다. 그러나 펜을 쓰고 있던 사용자라면, 펜을 놓고 손가락으로 rubber-banding하고 다시 펜을 집는 동작보다 훨씬 기민하고 직관적으로 인터페이스 할 수 있다.

또한, 화면에서 물체를 생성하거나 편집하는 모드에서는 펜의 물체나 화면과의 각도에 따라 같은 점을 찍더라도 다른 효과가 나게 할 수 있다. 즉 펜의 터치로 물체를 파거나 붙일 때, 펜 각도에 따라 파이거나 붙는 각도가 결정될 수 있고, 펜을 자전시키면 물체도 말리거나 색깔이 바뀌는 등의 효과를 낼 수 있다.

터치펜(1f)의 터치와 손의 터치를 구분하여 입력에 반영할 수 있다. 예를 들어 공간 상에 있는 가상의 로켓를 만들 때 펜은 로켓 전체의 공간상 위치 및 각도를 표시하고, 다른 두 손가락을 더 써서 로켓 날개나 이에 붙은 총의 길이를 동시에 조작할 수 있다. 멀티 터치 환경이므로 당연히 손가락끼리, 손가락과 펜간의 멀티터치도 구분하여 입력에 반영할 수 있다. 또한, 손가락 입력을 허용하면서도 손 볼로 화면을 지지하고 자연스럽게 필기를 하게 하는 것도 가능하다. 이는 펜대가 펜을 쥔 손의 나머지 부분이 있는 방향으로 기울어 진다는 사실과 전술한 방법으로 펜대에서의 엄지 각도를 관측하여 이루어 진다. 즉, 이러한 사실로부터 유추되는 손 볼이 놓여 있을 것으로 예상되는 터치스크린의 부분에서 일어나는 터치 입력은 무시하고 반대쪽의 터치 입력만 받게 하는 것이다. 이렇게 하면 손볼이 화면에 놓여지고도 펜 입력과, 손가락 입력이 모두 자연스럽게 가능하게 된다.

이 외에도 터치펜(1f)이 터치 스크린(230)에 대한 터치없이 터치 스크린(220) 상의 허공에서 흔들거나 뒤집는 등의 제스처(gesture)를 자기장 센서(210)가 감지하고, 제어부(280)가 이 감지된 자기장의 변화 또는 자기장 벡터를 인식하여 그에 대응하는 데이터 처리 또는 화면 처리를 수행할 수 있다. 제어부(280)는, 예를 들면 터치펜(1f)을 뒤집을 때마다 쓰기와 지우기 모드로 상호 전환을 한다든지, 수평으로 흔들 때마다 필기되는 문자의 색상, 또는 필기된 문자를 삭제하는 지우개의 크기 등을 변화시키고, 수직으로 흔들 때마다 펜 필기 궤적 입력, 사각형, 원, 직선 입력으로 입력 모드를 바꿀 수 있다. 즉, 제어부(280)는 인식된 제스처에 대응하여, 표시부(220)에 표시되는 화면의 변화 또는 현재 수행 중인 프로그램 또는 앱의 설정값 또는 설정 환경의 변화를 수행할 수 있다.

도 7에 보인 바와 같이 자석을 스타일러스에 내장시키는 것이 아니라, 자석을 구비한 부착 가능한 작고 단순한 액세서리를 제작하여 일반 터치펜에 부착하여 사용하거나 손가락에 반지처럼 끼고 사용할 수 있다. 이 자석 반지를 검지 손가락에 끼우고 터치를 하면 터치 위치와 함께 반지의 자석이 발생시키는 자기장 정보가 추가되므로, 이를 통해 손볼과 검지 끝, 엄지 등에 의해 터치스크린(230)의 여러 곳에 눌림이 검출되더라도 사용자가 의도하는 검지끝 누름이 어디인지를 용이하게 결정할 수 있다. 이때, 제어부(280)는 자석 반지가 검지손가락에 착용되어 있다는 물리적 사전 정보를 인식하고 있다. 또한 도 6에서 설명한 바와 같은 다양한 각도와 방향을 기반으로 한 자유도 높은 직관적 입력을 할 수 있다. 이 외에도 이러한 반지를 낀 사람과 끼지 않은 사람이 하나의 휴대형 컴퓨터 화면을 공유하고 터치를 할 때 어느 사람이 터치한 것인지를 구분하는 용도로 사용될 수 있다. 예를 들면 날아드는 과일을 누가 많이 자르는지 경쟁하는 게임 등에서 잘린 과일이 누구에 의해 잘렸는지 알기 위해 쓸 수 있다. 또한 한 사용자의 입력 시에도 검지와 그렇지 않은 손가락을 구분하여 좀 더 다양한 입력을 시연할 수 있다.

이러한 자석 반지는 자기장의 투과성을 이용해 스마트 폰이나 태블릿을 핸드백이나 주머니에서 꺼내지 않은 채 한 손으로 간단한 필기를 하는데도 응용될 수 있다. 자유도가 높은 공간상의 반지의 움직임을 자기장 센서에서 관찰된 제한된 차원의 데이터만으로 구해내기는 힘드나 몇 가지 가정(물리적 사전 정보)으로부터 정확하지는 않지만 손가락 움직임의 추정치를 구하여 급할 때 짧은 정보(주차 위치, 전화번호 등)를 입력하는 용도로 쓸 수 있다. 자기장 센서 데이터로부터 반지 내 자석의 움직임을 추정하기 위해 필기 시 손이 어떻게 움직이는가에 대해 특정한 가정을 사용한다. 예를 들면 필기를 할 때 펜 및 그것을 쥔 손가락은 평행이동에 가까운 이동을 한다는 가정을 이용하면, 반지의 roll, pitch, yaw에 사용자의 필기 습성을 잘 반영하는 값들을 넣고 반지의 (x, y, z)의 위치를 추정하여 획의 위치를 구한다. 스마트폰이 어떻게 기울어져 있느냐에 따라 상대적인 roll, pitch, yaw가 변하므로 사용자가 필기를 할 때 스마트폰의 accelerometer와 gyroscope로 읽혀진 값을 기반으로 각도를 보정하고 사용자는 쓰기 편한 일정한 각도로 쓰게 할 수 있다. 또한, 사용자가 획을 쓰는 것인지 다음 획의 시작 위치로 단순 이동하는지를 검출해야 하는데, 이는 가정을 통해 얻어진 성분 중 z, 즉 손가락 끝의 높이를 보아 판단할 수 있고, 추정된 반지의 속도를 통해 빠른 곳은 획, 느린 곳은 이동으로 보는 등의 가정도 가능하다. 그러나 높이가 많이 차이 나지 않고 전반적으로 평행 이동이라는 가정도 정확한 것이 아니기 때문에 긋는 획이냐 아니냐는 이진적인 처리보다는, 추정 높이나 속도에 따라 제어부(280)가 획의 굵기나 색깔을 변화시켜 출력하는 것이 바람직하다.

또한, 가정(사전 정보)에 쓰이는 roll yaw pitch 파라미터가 상황에 따라 현저히 달라질 수 있으므로, 전기 장치(2)는 자기장 센서에서 얻은 원본 자기장 데이터를 저장하고 있다가, 사용자가 알아보지 못할 경우 가정에 쓰인 파라미터를 변화해가면서 원본 데이터를 써서 필기 내용을 추정할 수도 있다.

사용자에게 컴퓨터가 반지의 위치와 획 긋기, 단순 이동을 추정하기 위해 전기 장치(2)는 설정된 가정(사전 정보)를 사용자에게 미리 알려주어, 사용자가 그 지시에 맞도록 쓸 수 있게 한다. 전기 장치(2)는 예를 들면, 위의 가정으로부터 필기를 할 때 꺾어가면서 쓰지 말라고 하든지, 쓰는 부분에서는 힘을 주어 빨리 손가락을 움직이고 그렇지 않을 때는 천천히 움직이도록 사용자를 안내할 수 있다

도 7에서 논의된 자석을 구비한 포인팅 장치와 센싱 방법은 꼭 펜이나 반지의 형상으로 국한되는 것은 아니며, 계란형상, 골무 형상 등 자석을 구비한 기구물을 손으로 쥐거나 부착을 하는 것에 모두 적용될 수 있다. 좀 더 자유도가 높은 직관적 입력을 위해 자석과 터치를 동시에 써서 자기장 센서의 제한된 차원수와 터치 스크린의 제한된 차원수를 합친 차원이 높은 입력을 받는다는 특징이 본질이며, 특히 터치 스크린으로 센싱되는 접점과 자기장 센서로 센싱되는 자석이 공간상에 서로 고정이 돼 있거나 상대적인 움직임에 제한이 있다는 가정하에서 입력 대상의 위치를 더욱 구체적으로 파악할 수 있다는 특징이 있다.

도 8은 도 1의 사용자 입력 시스템의 제7실시예이다.

도 8은 이러한 방식의 또다른 예로 내부에 고정된 자석(110)을 구비하는 물체(1g)를 평면에 고정시켜놓고 전기 장치(2)를 마우스처럼 손으로 움직이고 이 움직임에 따라 전기 장치(2)에 상대적으로 움직이는 자석(110)의 위치 변화에 따른 자기장 센서(210)값의 변화를 센싱하여 제어부(280)가 전기 장치(2)가 어떻게 움직였는지 파악하여 화면의 변화 등을 수행하는 것이다. 이때 전기 장치(2)가 쥐어진 채 바닥에 끌리는 만큼, 커서 등의 출력은 별도의 컴퓨터에 수행되고, 전기 장치(2)의 움직임은 wifi나 Bluetooth 등의 통신부(250)를 통해 별도의 컴퓨터로 전해진다. 전기 장치(2)가 어떻게 움직였는지를 자기장 센서(210)로부터 알기 위해 자석(110)을 포함한 물체(1g)는 고정되어 있고 이 물체(1g) 근처에서 전기 장치(2)를 평면에 대고 끄다는 제한 조건을 이용한다. 전기 장치(2)가 끌리는 동안 전기 장치(2)는 자석(110)이 놓인 면과 평행을 유지하고, 자기장 센서(210)의 바닥면에서의 높이도 일정하므로 자석(110)과 전기 장치(2)의 자기장 센서(210) 간의 (roll, pitch) 및 높이 차이(z) 자유도는 없어지게 된다. 따라서 쉽게 3차원 자기장 센서 값으로부터 (x, y, yaw) 성분을 도출할 수 있다. Yaw 성분을 참조하면, 얻어진 (x,y) 좌표를 자석의 좌표계(460)가 아니라 폰 몸체의 좌표계(450)에서 해석할 수 있다. 즉, 액세서리(1)가 평면상에 어떤 각도로 놓여져 있건, 폰 몸체(2)의 상하 방향과 좌우 방향(450) 기준으로 얼마나 움직였는지 해석해 낼 수 있다.

문제는 전기 장치(2)를 끄는 상태와 들어 편리한 위치로 이동하는 상태를 구분하는 것이다. 평면에서 끄는 전기 장치(2)는 어느 이상을 끌게 되면 전기 장치(2)를 들어 사용자가 계속 조작하기 편한 위치로 가져온 후 다시 끄는 동작을 자주하게 된다. 그러나 전기 장치(2)가 평면 상에만 있다는 가정 하에서 자기장 센서(210)로 측정한 값을 해석하면 전기 장치(2)가 허공에 들렸는지 유무를 알 수 없고, 허공으로 들리면 가정에 입각하여 제어부(280)는 전기 장치(2)가 엉뚱한 다른 위치와 각도로 평면에 끌리고 있는 것으로 계산하게 된다. 따라서 전기 장치(2)가 끌리고 있는지 허공을 이동하고 있는지가 구분되어야 한다.

이것은 대부분의 스마트폰에 이미 있는 accelerometer와 gyroscope의 조합을 써서 검출할 수 있다. 즉 중력에 수직인 방향으로만 움직이다가 중력 방향에 수직이 아닌 방향의 선형적 가속이나 회전이 생기면 들린 상태로 파악할 수 있다. 또한 바닥에 다시 닿아 진동과 함께 상대적으로 큰 각 가속도나 선형적 가속도가 생긴 후 중력 방향에 일정한 상태를 유지하면 다시 바닥에 닿은 것으로 판단할 수 있다. 이러한 센싱이 정확하게 이루어지지 않는 스마트폰에서는 휴대형 컴퓨터의 헤드셋 잭에 꼽히는 플러그(171)를 구비하고, 여기에 전기적으로 연결된 바닥 쪽으로 향한 마이크로폰(172)을 구비하여 폰이 바닥을 긁으면 같이 바닥을 긁으며 잡음을 내는 고체부(173)를 포함하여 폰이 끌리면 잡음을 컴퓨터에 입력해주는 추가의 부품(170)을 쓸 수 있다.

도 8의 예에서처럼, 전기 장치(2)가 바닥에 끌리는지 허공에 떴는지를 구분해야 하고, 이를 위해 마이크로폰(172)을 전기 장치(2)의 바닥에 구비하여 전기 장치(2)가 평면에 끌리면 소리로 이를 인지하게 한다. 마이크로폰(172)은 충분히 긴 전기선(174)으로 연결되어 다른 쪽 끝은 전기 장치(2)에 구비된 헤드셋 잭에 꼽히는 플러그(171)를 구비하여 전기 장치(2)의 음향 수신부(270)를 통하여 제어부(280)로 감지된 소리를 전달한다. 도 9에 도시된 바와 같이, 음향 획득부(170)는 내부에 마이크로폰(172)을 수용하는 본체(173)과, 마이크로폰(172)과, 마이크로폰(172)과 플러그(171)를 전기적으로 연결하는 전기선(174)를 구비한다.

도 9는 도 1의 사용자 입력 시스템의 제8실시예이다.

평면에 끌리는 소리는 사용자가 듣기에는 무시될 만큼 작으나, 마이크로폰(172)이 가까이 있고, 소리가 고체를 통해서도 전달이 되는 마이크로폰(172)의 경우 충분히 큰 노이즈를 센싱하게 되며, 이러한 소리를 발생시키고 마이크로폰(172)에 전달하기 위해 다양한 소재로 구성될 수 있는 고체(173)를 마우스 바닥(175)에 구비할 수도 있다. 전기 장치(2)는 마이크로폰 입력을 음향 수신부(270)를 통하여 수신하여 마우스(1h)가 끌리는지 여부를 판단하고, 끌리지 않는다면 화면상의 커서를 움직이지 않는다.

이때, 마우스(1h)는 마이크로폰과와 전기선, 플러그를 따로 구비하지 않고, 도 10에 보인 바와 같이 단지 자석(110)과 단순한 본체로만 구성된다. 이 경우 사용자가 따로 가지고 있는 일반 헤드셋(500)의 마이크로폰(172)을 마우스(1h)의 하단부 빈 슬릿(176)에 장착하고 헤드셋의 플러그(171)를 전기 장치(2)의 잭에 꼽아 마우스(1h)가 바닥에 끌리는지를 감지하는 소리를 전기 장치(2)에 전달한다. 마우스(1h)의 가볍고 단순한 본체는 헤드셋의 길고 잘 엉키는 선을 감고 이어버드(501: ear bud) 및 플러그를 수납하여 편리하게 휴대하게 하는 역할을 겸할 수 있다. 이러한 수납과 마우스(1h)의 앞 뒤를 구분하기 위해 177과 같은 긴 슬릿을 둘 수 있다. 이러한 마우스(1h)는 작고 단순하게 구성되므로 표시부(220) 위 또는 표시부(220)를 벗어난 넓은 평면 위에 손으로 잡고 필기를 하는 스타일러스로 쓸 수 있다. 이를 위해 바닥에 끌리는 부분과 손으로 잡는 부분을 유연하게 움직이는 소재나 부품으로 연결하여 쥐는 각도를 조절할 수 있음은 자명하다.

마이크로폰에 잡히는 소리를 이용한 긁힘의 센싱은 폰으로부터 멀리 떨어진 단순한 동작을 인식하는 다른 용도에도 사용될 수 있다. 예를 들어 전기 장치와 떨어진 발로 밟는 페달의 동작 인식을 위해 페달의 밟혀 움직이는 부분과 이를 지지해주는 부분 간의 마찰음을 페달 안에 마이크로폰을 설치하여 듣는다. 이 마이크로폰은 전기선과 플러그를 구비해 멀리 있는 전기 장치에 가까이에서 들은 큰 소음을 전달한다. 이 소리를 분석하여 전기 장치는 페달이 밟히는지 밟혔다 풀리는지를 알 수 있다. 페달의 움직이는 부분과 지지하는 부분을 서로 마찰할 때 일부러 큰 소리가 나도록 표면이 울퉁불퉁하게 설계할 수 있으며, 전기 장치는 이 울퉁불퉁함에 방향성을 두어 움직임이 어느 방향으로 일어났는지(눌린 것인지 눌린 것을 푸는 것인지)를 구분할 수도 있다.

본 발명에서 논의된 자석을 구비한 물체가 움직이는 근처에 하나 이상의 고정된 전자석 또는 모터에 의해 기계적으로 움직이고 회전하는 영구자석을 구비하여 필요한 시점에 원하는 자기장을 발생시켜 액세서리를 특정 방향으로 밀거나 당겨 force feedback 등을 구현할 수 있다.

이렇게 휴대형 컴퓨터의 자기장 센서와 터치 스크린으로 인식할 수 있는 저가의 단순한 악세서리를 다양하게 보유하게 되면, 이들을 휴대형 컴퓨터에서만 사용하지 않고 상대적으로 대형 화면을 갖춘 노트북 또는 데스크탑 컴퓨터 등 자기장 센서를 내장하지 않은 컴퓨팅 환경이나 프로젝션이 되는 넓은 공간에서 쓰는 것이 바람직하다. 이를 위해 제한된 차원을 가진 한 개 이상의 자기장 센서와 간단한 제어용 마이크로 컨트롤러를 구비하고, 전원 모듈을 구비하여 액세서리가 만들어 내는 자기장 데이터를 샘플링 하여 필요하다면 자체적인 데이터 분석을 거친 후, USB, Bluetooth, Wifi 등 범용으로 많이 쓰이는 통신 모듈을 통해 컴퓨터에 전달하는 센싱용 주변장치를 구비하는 것이 바람직하다. 이러한 자기장 센서를 포함한 주변장치는 앞에서 논의한 force feedback 모듈을 더 포함할 수 있고, 트랙패드를 내장하거나 기존 트랙패드와 같이 써서 터치 입력과 자기장 입력을 동시에 가능하게 할 수도 있다. 또한 이러한 주변장치 여러 개를 공간에 분산시켜 배치하되, 분산된 주변장치 간에 동기화를 지원하는 값비싼 데이터 버스를 쓰지 않고 각 주변장치 내에서 여러 시점의 센서 값을 읽어 알려진 물리법칙에 의해 운동하는 자석을 포함하는 액세서리의 궤적을 알 수 있다. 이를 통해 넓은 공간에서 이루어지는 다양한 액세서리와 모션 게임을 설비의 재설치 없이 소프트웨어(프로그램 또는 앱)만 바꾸어 수행할 수 있다.

본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광매체(megneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동되도록 구성될 수 있으며, 그 역도 마찬가지다.

본 발명은 컴퓨터 게임, 2차원 또는 3차원 그래픽 에디터, google earth 등의 소프트웨어를 필두로 다양한 소프트웨어에서 사용자가 자신의 조작 의사를 직관적이고 편리하게 입력하게 할 수 있도록 한다. 본 발명은 제한된 차원 수의 자기장 센서나 멀티 터치가 가능한 터치 스크린을 갖춘 컴퓨터에서 함께 구비되는 스타일러스 펜, 트랙볼 등의 포인팅 디바이스로 컴퓨터나 휴대형 스마트 디바이스의 소프트웨어 내의 대상에 줌(zoom), 끌기(pan), 회전(roll), 기울이기(pitch), 흔들기(yaw), 값 선택 등의 다양한 동작 지시 입력이 가능하도록 한다. 본 발명은 스마트 폰이나 테블릿 등의 터치 스크린, 지자기장 센서, 마이크로 폰 중 어느 하나 이상을 구비한 컴퓨팅 장치로 사용자가 손을 움직이거나 그리는 내용, 클릭하는 것을 입력을 하는 장치 및 방법으로, 추가의 센서, 회로, 통신 모듈 없이 단순한 기구물과 자석 표지만 포함하는 저가의 액세서리로 구현되어 위치뿐만 아니라 각도 등을 동시에 센싱하여 입력 편의성을 높힌다.

Claims (16)

1. 자기장 발생부를 구비하는 n 자유도의 외부 물체로부터의 자기장을 감지하여 제한된 m차원의 자기장 벡터를 생성하는 적어도 하나 이상의 자기장 센서부와;
   상기 외부 물체의 운동에 대한 물리적 사전 정보를 저장하고, 상기 제한된 m차원의 자기장 벡터와 상기 물리적 사전 정보를 기준으로 하여, 상기 외부 물체의 변위와 회전 정보를 판단하는 제어부로 구성되고,
   여기서, n＞m인 것을 특징으로 하는 자기장 센서를 이용하여 사용자 입력을 판단하는 전기 장치.
2. 제1항에 있어서, 상기 물리적 사전 정보는 상기 외부 물체 또는 상기 자기장 발생부의 운동 경로, 운동 종류 및 운동의 추정 정보 중의 적어도 하나 이상을 포함하는 것을 특징으로 하는 자기장 센서를 이용하여 사용자 입력을 판단하는 전기 장치.
3. 제1항에 있어서, 상기 제어부는 서로 다른 시각에서 획득된 적어도 2개 이상의 제한된 m차원의 자기장 벡터들을 이용하는 것을 특징으로 하는 자기장 센서를 이용하여 사용자 입력을 판단하는 전기 장치.
4. 제3항에 있어서, 상기 제어부는 상기 2개 이상의 제한된 m차원의 자기장 벡터들을 이용하여 시간에 대하여 독립적인 운동 파라미터를 결정하는 것을 특징으로 하는 자기장 센서를 이용하여 사용자 입력을 판단하는 전기 장치.
5. 제1항에 있어서, 상기 제어부는 상기 외부 물체 내의 자기장 발생부가 상기 외부 물체의 외측면들과 이루는 각도 정보를 저장하는 것을 특징으로 하는 자기장 센서를 이용하여 사용자 입력을 판단하는 전기 장치.
6. 제1항에 있어서, 상기 전기 장치는 터치 스크린을 구비하고, 상기 제어부는 상기 터치 스크린으로부터의 입력 정보를 추가적으로 이용하여, 상기 외부 물체의 변위와 회전 정보를 판단하는 것을 특징으로 하는 자기장 센서를 이용하여 사용자 입력을 판단하는 전기 장치.
7. 제1항에 있어서, 상기 물리적 사전 정보는 상기 외부 물체 또는 상기 자기장 발생부의 운동 자유도에 대한 제한 정보를 포함하는 것을 특징으로 하는 자기장 센서를 이용하여 사용자 입력을 판단하는 전기 장치.
8. 제1항에 있어서, 상기 자기장 센서부와 상기 외부 물체 또는 자기장 발생부 중의 적어도 하나 이상이 이동 가능한 것을 특징으로 하는 자기장 센서를 이용하여 사용자 입력을 판단하는 전기 장치.
9. 제8항에 있어서, 상기 제어부는 상기 이동 가능한 자기장 센서부의 변위와 회전 정보를 판단하는 것을 특징으로 하는 자기장 센서를 이용하여 사용자 입력을 판단하는 전기 장치.
10. 제1항에 있어서, 상기 제어부는 상기 판단된 변위 및 회정 정보를 이용하여, 전기 장치에 구비된 표시부에 표시되는 표시 화면 또는 컨텐츠의 변화를 수행하는 것을 특징으로 하는 자기장 센서를 이용하여 사용자 입력을 판단하는 전기 장치.
11. n 자유도의 외부 물체로부터의 자기장을 감지하여 제한된 m차원의 자기장 벡터를 생성하는 단계와;
    상기 제한된 m차원의 자기장 벡터와, 상기 외부 물체에 대한 기저장된 물리적 사전 정보를 기준으로 하여, 상기 외부 물체의 변위와 회전 정보를 판단하는 단계를 포함하고,
    여기서, n＞m인 것을 특징으로 하는 자기장 센서를 이용하여 사용자 입력을 판단하는 방법.
12. 제11항에 있어서, 상기 판단 단계는 서로 다른 시각에서 획득된 적어도 2개 이상의 제한된 m차원의 자기장 벡터들을 이용하는 것을 특징으로 하는 자기장 센서를 이용하여 사용자 입력을 판단하는 방법.
13. 제12항에 있어서, 상기 판단 단계는 상기 2개 이상의 제한된 m차원의 자기장 벡터들을 이용하여 시간에 대하여 독립적인 운동 파라미터를 결정하는 것을 특징으로 하는 자기장 센서를 이용하여 사용자 입력을 판단하는 방법.
14. 제11항에 있어서, 상기 방법은 터치 스크린으로부터의 입력 정보를 획득하는 단계를 포함하고, 상기 판단 단계는 상기 터치 스크린으로부터의 입력 정보를 함께 이용하여 상기 외부 물체의 변위와 회전 정보를 판단하는 것을 특징으로 하는 자기장 센서를 이용하여 사용자 입력을 판단하는 방법.
15. 제11항에 있어서, 상기 방법은 상기 판단된 변위 및 회정 정보를 이용하여, 표시되는 표시 화면 또는 컨텐츠의 변화를 수행하는 단계를 포함하는 것을 특징으로 하는 자기장 센서를 이용하여 사용자 입력을 판단하는 방법.
16. 제11항 내지 제15항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.

Images