KR20110018859A - 입력 장치의 움직임을 나타내는 데이터를 생성하기 위한 입력 장치 및 화상 데이터 생성 방법 - Google Patents

입력 장치의 움직임을 나타내는 데이터를 생성하기 위한 입력 장치 및 화상 데이터 생성 방법 Download PDF

Info

Publication number
KR20110018859A
KR20110018859A KR1020100139500A KR20100139500A KR20110018859A KR 20110018859 A KR20110018859 A KR 20110018859A KR 1020100139500 A KR1020100139500 A KR 1020100139500A KR 20100139500 A KR20100139500 A KR 20100139500A KR 20110018859 A KR20110018859 A KR 20110018859A
Authority
KR
South Korea
Prior art keywords
input device
data
movement
acceleration
coordinates
Prior art date
Application number
KR1020100139500A
Other languages
English (en)
Inventor
지안 왕
잉농 당
시아오수 마
리용 첸
춘후이 장
퀴앙 왕
조우첸 린
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20110018859A publication Critical patent/KR20110018859A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/171—Editing, e.g. inserting or deleting by use of digital ink

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Gyroscopes (AREA)
  • Character Discrimination (AREA)

Abstract

전자 잉크 및/또는 다른 입력을 생성하는 입력 장치 및 방법이 기술된다. 입력 장치는 잉크 관련 애플리케이션과 비잉크 관련 애플리케이션용의 데이터를 생성하기 위한 개선된 움직임 감지 기술을 이용하여 임의의 표면과 결합하여 이용될 수 있다. 움직임 감지의 개선은 속도, 가속도, 전자기장의 변화와 같은 지표를 측정함으로써 입력 장치의 움직임을 검지하기 위한 하나 이상의 관성 센서를 사용함으로써 얻어진다. 입력 장치는 움직임 데이터를 저장하기 위한 메모리와 입력 장치의 움직임을 나타내는 데이터를 호스트 컴퓨터에 송신하기 위한 송수신기를 포함한다. 감지된 움직임 데이터를 처리하여 수기 획을 나타내는 화상을 생성하는 단계는 또한 입력 장치 내의 프로세서를 사용하여 수행된다. 입력 장치는 펜 형상으로 형성되며, 입력 장치의 움직임을 친숙한 방식으로 이용하기 위한 잉크 카트리지를 포함할 수 있다.

Description

입력 장치의 움직임을 나타내는 데이터를 생성하기 위한 입력 장치 및 화상 데이터 생성 방법{INERTIAL SENSORS INTEGRATION}
본 발명은 2002년 10월 31일 출원된, Jian Wang과 Chui Hui Zhang의 미국 특허 출원 제10/284,417호, "Universal Computing Device"와 관련된 것이며, 그 내용이 본 명세서에 참조로 기재되어 있다.
본 발명은 전자 잉크를 포함하는 데이터 입력을 생성하기 위한 장치 및 방법에 관한 것이다. 구체적으로는, 입력 장치의 움직임을 정확히 감지하는 관성 센서를 포함하는 입력 장치에 관한 것이다.
본 발명은 2002년 10월 31일 출원된, Jian Wang과 Chui Hui Zhang의 미국 특허 출원 제10/284,417호, "Universal Computing Device"와 관련된 것이며, 그 내용이 본 명세서에 참조로 기재되어 있다.
본 발명은 전자 잉크를 포함하는 데이터 입력을 생성하기 위한 장치 및 방법에 관한 것이다. 구체적으로는, 입력 장치의 움직임을 정확히 감지하는 관성 센서를 포함하는 입력 장치에 관한 것이다.
전형적인 컴퓨터 시스템, 특히 그래픽 사용자 인터페이스(GUI; graphical user interface)시스템을 사용하는 마이크로소프트 윈도우즈?와 같은 컴퓨터 시스템은 텍스트를 입력하기 위한 입력 장치(키보드 등), 사용자 선택을 활성화하기 위한 하나 이상의 버튼을 가진 포인팅 장치(마우스 등)으로부터 하나 이상의 구분된 사용자 입력을 수용하도록 최적화되어 있다.
일부 컴퓨터 시스템들은 스타일러스와 같은 펜을 제공하여 사용자가 이용가능하도록 입력 시스템을 확장하였다. 스타일러스는 키보드(데이터 입력을 위한)와 마우스(제어를 위한) 모두를 대체할 수 있다. 일부 컴퓨팅 시스템들은 수기 형태의 전자 잉크를 고수한다. 다른 시스템들은 수기 전자 정보, 혹은 전자 잉크를 수신하여, 즉시 전자 잉크를 텍스트로 전환한다.
스타일러스와 센서 보드 시스템의 사용에 관련된 하나의 단점은 스타일러스의 사용이 센서 보드와 결합된 장치에 국한된다는 것이다. 다시 말하면, 스타일러스는 요구되는 센서 보드와 함께 사용할 때만 입력을 생성하는데 사용될 수 있다는 것이다. 또한, 움직임 검지의 정확도는 스타일러스가 센서 보드에 근접하느냐에 영향을 받는다. 스타일러스가 스크린 및/또는 센서 보드로부터 아주 근거리내에 위치하거나 그와 접촉하고 있다면, 사용자의 입력이 정확히 검지되지 않을 것이다. 또한, 사용자의 의도적인 움직임은 디지타이저만을 사용해서는 정확히 포착되지 않을 것이다. 종래의 입력 장치를 포함하는 하나의 장치는 "Novel Device for Inputting Handwriting Trajectory", Rocoh Technical Report No.27, 52 NOVEMBER, 2001을 포함하고, 그 내용은 http://www.ricoh.co.jp/rdc/techreport/No27/Ronbun/A2707.pdf에 기재되어 있다.
입력 데이타가 전달되는 호스트 장치와 조합된 혹은 그와 독립적인 입력 장치가 본 기술 분야에서 요구된다.
본 발명은 입력 장치의 움직임을 정확히 포착하기 위한 부가적인 센서를 포함하는 입력 장치를 사용함으로써 달성된다. 본 발명의 다른 측면들은 입력 장치의 움직임에 기초한 데이터를 생성하는 표면과 조합된 입력 장치의 이용을 허용한다. 본 발명의 측면들은 데이터가 의도된 장치와 함께, 또는 그와 독립적으로 사용될 수 있는 입력 장치를 제공한다. 본 발명의 측면들은 또한 개선된 움직임 감지와 분석을 포함한다. 입력 장치는 펜 형태로 형성될 수 있으며, 사용자가 친숙한 방식으로 입력 장치를 사용하도록 잉크 카트리지를 포함할 수 있다.
본 발명의 이러한 측면들과 다른 측면들은 도면과 상세한 설명과 관련하여 기술된다.
이상의 본 발명의 요약은, 이하의 다양한 실시예의 상세한 설명과 더불어, 첨부 도면과 함께 읽을 때 보다 잘 이해될 것이며, 이들은 예시로서 포함된 것이지 청구된 발명에 대해 제한을 하는 것이 아니다.
본 발명의 측면들은 하나 이상의 관성 센서를 사용하는 개선된 모션 센싱(motion sensing)을 제공한다. 입력 장치는 속도, 가속도, 전자기장의 변화와 같은 지표(indicator)나 검지된 다른 지표를 측정함으로써 입력 장치의 움직임을 검지하는 센서를 갖추고 있다. 본 발명의 다른 측면들은 의도하는 장치에 전송하기 위해 감지된 움직임 데이터를 저장하기 위한 메모리를 입력 장치 내에 구성하고 있다. 감지된 움직임 데이터를 처리하여 수기 획(hand written stroke)을 나타내는 이미지를 생성하는 것 또한 수행될 수 있다.
부가적인 센서를 포함함으로써 입력 장치의 움직임을 정확히 감지하는 입력 장치를 제공한다. 또한, 입력 데이터가 전달되는 호스트 장치와 함께, 혹은 그와 독립적으로 사용될 수 있는 입력 장치를 제공한다. 또한, 개선된 움직임 감지와 분석을 제공한다.
도 1은 본 발명의 다양한 측면들을 구현하는데 사용될 수 있는 범용 디지털 컴퓨팅 환경을 도시하는 도면이다.
도 2는 본 발명의 예시적인 실시예에 따른 사용자 입력을 생성하기 위한 입력 장치를 도시한다.
도 3은 본 발명의 측면들에 다른 관성 센서에 의해 생성된 데이터의 타입에 대한 설명을 제공한다.
도 4는 본 발명의 측면들에 따른 입력 장치의 움직임을 나타내는 데이터 측정 및 처리 방법을 도시하는 흐름도이다.
도 5는 부가적인 본 발명의 예시적인 실시예에 따른 사용자 입력을 위한 입력 장치를 도시한다.
도 6은 본 발명의 실시예에 따른 페이퍼 좌표 시스템(paper coordinate system)과 관성 좌표 시스템(inertial coordinate system)을 도시한다.
도 7은 본 발명의 실시예에 따른 다양한 치수의 펜을 도시한다.
도 8은 본 발명의 실시예에 따른 펜 팁에 관한 도 7의 펜을 도시한다.
도 9-11은 본 발명의 실시예에 따른 가속도, 속도, 변위의 다양한 그래프를 도시한다.
<용어>
입력 장치 - 정보 입력을 위한 장치로서, 정보를 생성하고 처리하도록 구성될 수 있다.
펜 - 잉크를 저장하는 능력을 포함하거나 포함하지 않는 임의의 기재 도구. 본 발명의 실시예에 따르면 일부 예에서 잉크 저장 능력이 없는 스타일러스가 펜으로서 사용될 수 있다.
관성 센서(Inertial Sensor) - 다양한 방법으로 입력 장치의 움직임을 측정하는데 사용될 수 있는 임의의 장치 또는 장치들의 조합으로, 측면으로 펜 팁을 포함하나, 그에 제한되지는 않고, 입력 장치의 방위를 변경할 수도 있다.
가속도계(Accelerometer) - 입력 장치의 가속도 지표를 생성하는 장치 또는 장치의 조합.
자이로스코프(Gyroscope) - 입력 장치의 각속도 지표를 생성하는 장치 또는 장치의 조합.
자력계(Magnetometer) - 자기장의 변화를 감지하는 장치 또는 장치의 조합.
카메라(Camera) - 화상 포착 시스템.
유도 소자(Inductive element) - 센서 보드 등과 조합하여 사용되는 입력 장치 내에 구성된 장치로, 센서 보드는 입력 장치의 움직임 및/또는 위치를 유도 소자 또는 저항 소자에 의한 전자기장의 변화에 기초하여 검지한다.
압력 센서(Pressure Sensor) - 입력 장치가 위치하는 표면에 대해 가해지는 힘과 같은 힘을 검지하는 장치.
전자 잉크(Electronic Ink) - 포착된 점들의 시퀀스나 세트인, 특징을 갖는 획의 시퀀스 또는 세트. 획의 시퀀스는 정렬된 형태의 획을 포함한다. 시퀀스는 포착 시간이나 한 면 상에 획이 나타나는 위치에 의해 정렬될 수 있다. 다른 순서도 가능하다. 한 세트의 획은 획의 시퀀스나 정렬되지 않은 획 또는 그들의 임의의 조합을 포함할 수 있다. 잉크는 추가의 특성, 방법, 개시 이벤트 등을 포함하도록 확장될 수 있다. 이들 이벤트의 적어도 일부와 결합할 때, 이를 잉크 객체라고 한다.
관성 좌표(Inertial Coordinates) - 종이의 왼쪽 위 등, 입력 장치가 사용되는 위치에 원점을 갖고, 북, 동, 로컬 수직(아래)의 방향으로 축이 정렬되는 로컬 지리 좌표.
페이퍼 좌표(Paper Coordinates) - 입력 장치가 이동하는 표면의 좌표로, 그것이 종이이든 다른 표면이든 관계없다.
의사 정점(Pseudo Standing Point) - 사용자가 장치의 방향을 반대로 하는 위치, 즉, 입력 장치의 속도가 0이 되는 위치의 추정이다. 이는 또한 도 7에 도시된 바와 같이 장치 상/내에서 입력 장치의 중간 지점 이하에 위치하는 것으로 보통 선택되는 대략적인 위치로 해석될 수도 있다. 입력 장치가 기입을 하는데 사용될 때, 이 점은 다른 점들보다 "덜" 움직인다. 입력 장치가 움직이지 않을 때, 가속도계의 출력은 "방위 정보"만을 포함한다(공간적으로 및/또는 표면과 관련해서 입력 장치의 방위를 결정하는데 사용될 수 있는 정보). 입력 장치가 움직일 때, 가속도계의 출력값은 장치의 "가속도 정보"(가속도를 결정하는데 사용될 수 있는 정보) 및 "방위 정보"를 포함한다. 양 세트의 정보는 결합되거나 관련되어 서로 상보적이 될 수 있다. 대부분의 경우 장치가 기입에 사용될 때, 이 지점의 가속도의 주요 부분은 "방위 정보"이고, "가속도 정보"는 적은 부분이 된다. 가속도 정보는 자이로스코프의 드리프트 에러(drift error)를 (측정 방정식의 정보로서) 보상하는데 사용된다.
호스트 컴퓨팅 장치(Host Computing Device) - 데스크탑 컴퓨터, 랩탑 컴퓨터, 태블릿 PC, 개인용 휴대 정보 단말기(PDA), 전화기, 또는 하나 이상의 입력 장치로부터 정보를 수신하도록 구성된 임의의 장치.
범용 운영 환경
도 1은 본 발명의 다양한 측면을 구현하는 데 사용될 수 있는 범용 디지털 컴퓨팅 환경의 예를 도시하는 도면이다. 도 1에서, 컴퓨터(100)는 처리부(110), 시스템 메모리(120), 및 시스템 메모리를 포함하는 다양한 시스템 콤포넌트를 처리부(110)에 결합시키는 시스템 버스(130)를 포함한다. 시스템 버스(130)는 메모리 버스 또는 메모리 컨트롤러, 병렬 버스, 및 임의의 다양한 버스 구조를 사용하는 로컬 버스를 포함하는 여러 종류의 버스 구조가 될 수 있다. 시스템 메모리(120)는 ROM(140)과 RAM(150)을 포함한다.
시동 동안 등에 컴퓨터(100)의 소자들 간에 정보를 전송할 수 있게 하는 기본 루틴을 포함하는 기본 입출력 시스템(BIOS; 160)이 ROM(140) 내에 저장되어 있다. 또한, 컴퓨터(100)는 하드 디스크(도시되지 않음)로부터 판독하고 이에 기입하기 위한 하드 디스크 드라이브, 분리형 자기 디스크(190)로부터 판독하고 이에 기입하기 위한 자기 디스크 드라이브(180), CD ROM 또는 다른 광 매체와 같은 분리형 광 디스크(192)로부터 판독하고 이에 기입하는 광 디스크 드라이브(191)를 포함한다. 하드 디스크 드라이브(170), 자기 디스크 드라이브(180), 및 광 디스크 드라이브(191)는 하드 디스크 드라이브 인터페이스(192), 자기 디스크 드라이브 인터페이스(193), 광 디스크 드라이브 인터페이스(194)에 의해 각각 시스템 버스(130)에 접속된다. 그 드라이브 및 관련 컴퓨터 판독가능한 매체는 컴퓨터 판독가능한 명령, 데이터 구조, 프로그램 모듈 및 개인용 컴퓨터(100)에 대한 다른 데이터를 불휘발성 저장을 한다. 당업자는, 자기 카세트, 플래시 메모리 카드, 디지털 비디오 디스크, 베르누이 카트리지, RAM, ROM 등에 의해 액세스될 수 있는, 데이터를 저장할 수 있는 다른 유형의 컴퓨터 판독가능 매체가 예시적인 운용 환경에서 또한 사용될 수 있음을 인식할 것이다.
다수의 프로그램 모듈이, 운용 체계(195), 하나 이상의 애플리케이션 프로그램(196), 다른 프로그램 모듈(197), 및 프로그램 데이터(198)를 포함하는, 하드 디스크 드라이브(170), 자기 디스크(190), 광 디스크(192), ROM(140) 또는 RAM(150) 에 저장될 수 있다. 사용자는 키보드(101)와 포인팅 장치(102)와 같은 입력 장치를 통해 컴퓨터(100)에 명령과 정보를 입력할 수 있다. 다른 입력 장치들(도시하지 않음)로 마이크로폰, 조이스틱, 게임 패드, 위성 접시, 스캐너 등을 들 수 있다. 이들 및 다른 입력 장치는 종종 시스템 버스에 결합되는 직렬 포트 인터페이스(106)를 통해 처리부(110)에 접속되나, 병렬 포트, 게임 포트, 또는 범용 직렬 버스(USB)에 의해 접속될 수도 있다. 더욱이, 이들 장치는 적절한 인터페이스(도시하지 않음)를 통해 시스템 버스(130)에 직접 결합될 수 있다. 모니터(107) 또는 다른 유형의 디스플레이 장치가 또한 비디오 어댑터(108)와 같은 인터페이스를 통해 시스템 버스(130)에 접속된다. 모니터 외에, 개인용 컴퓨터는 통상, 스피커나 프린터와 같은 다른 병렬 출력 장치(도시하지 않음)를 포함한다. 바람직한 실시예에서, 펜 디지타이저(165)와 그에 수반되는 펜 또는 스타일러스(166)가 공지된 바와 같이 다른 인터페이스와 시스템 버스(130) 또는 병렬 포트를 통해 처리부(110)에 직접 결합될 수 있다. 또한, 디지타이저(165)가 모니터(107)로부터 이격되어 있는 것으로 도시되었지만, 디지타이저의 가용 입력 영역은 모니터(107)의 디스플레이 영역과 동일 공간이 될 수 있다. 더욱이, 디지타이저(165)는 모니터(107)에 통합될 수도 있고, 혹은 별도의 장치로서 모니터(107) 위나 그에 부착될 수도 있다.
컴퓨터(100)는 원격 컴퓨터(109)와 같이 하나 이상의 원격 컴퓨터에 논리적 접속을 사용하여 네트워킹된 환경에서 동작할 수 있다. 원격 컴퓨터(109)는 서버, 라우터, 네트워크 PC, 피어 장치, 또는 다른 공통 네트워크 노드가 될 수 있으며, 도 1에는 단지 메모리 저장 장치(111)만이 도시되어 있지만, 컴퓨터(100)에 관해 상술한 모든 또는 다수의 소자를 포함한다. 도 1에 도시된 논리적 접속은 근거리 통신망(LAN; 112)과 원거리 통신망(WAN; 113)을 포함한다. 이러한 네트워킹 환경은 사무실, 범사내망, 인트라넷 및 인터넷에서 흔하다.
LAN 네트워킹 환경에서 사용될 때, 컴퓨터(100)는 네트워크 인터페이스, 즉, 어댑터(114)를 통해 로컬 네트워크(112)에 접속된다. WAN 네트워킹 환경에서 사용될 때, 개인용 컴퓨터(100)는 통상 모뎀(115) 또는 인터넷과 같이 원거리 통신망(113)을 통해 통신을 하는 다른 수단들을 포함한다. 외장형 또는 내장형 모뎀(115)은 직렬 포트 인터페이스(106)를 통해 시스템 버스(130)에 접속된다. 네트워킹 환경에서, 개인용 컴퓨터(100)에 대하여 도시된 프로그램 모듈, 또는 그 일부는 원격 메모리 저장 장치에 저장될 수 있다.
도시된 네트워크 접속은 예시적이며 컴퓨터 사이에 통신 링크를 설정하기 위한 다른 기술이 사용될 수 있음이 이해될 것이다. TCP/IP, 이더넷, FTP, HTTP 등의 다양한 모든 공지의 프로토콜이 존재하는 것으로 가정하고, 시스템은 클라이언트-서버 구성에서 동작되어 사용자가 웹기반 서버로부터 웹 페이지를 검색할 수 있게 한다. 다양한 종래의 모든 웹 브라우저가 웹 페이지 상의 데이터를 디스플레이하고 조작하는 데 사용될 수 있다.
관성 센서 입력 장치
도 2는 본 발명의 다양한 측면에 따라서 사용되는 입력 장치의 예시적인 실시예를 도시한다. 도 2에서, 입력 장치(201)는 이하의 것들 중 하나 이상을 포함한다: 잉크 카트리지(202), 압력 센서(203), 가속도계(204), 자기 센서(205), 자이로스코프(206), 프로세서(207), 메모리(208), 송수신기(209), 가속도계(210), 파워 서플라이(211), 도킹 스테이션 어댑터(212), 캡(213), 유도 소자(215), 및 도시되지는 않았지만 디스플레이. 다양한 콤포넌트, 예를 들어, 도지되지는 않았지만 버스가 필요하면 전기적으로 접속될 수 있다. 하나 이상의 센서를 사용하여 입력 장치의 위치 결정의 정확성을 향상시킬 수 있다.
잉크 카트리지(202)는 펜과 같은 표준 기록 도구에서 전형적인 방식으로 입력 장치를 사용하도록 할 수 있다. 잉크 카트리지(202)는 입력 장치의 움직임이 감지, 기록, 및/또는 전자 잉크 생성되는데 사용되는 동안, 종이 위에 수기의 획을 생성하기 위한 편안하고 친숙한 매체를 제공한다. 압력 센서(203)는 예를 들면, 입력 장치(201)가 대상에 위치하면서 눌려질 때 표시되는 등, 입력을 지정하기 위해 포함될 수 있다. 또한, 압력 센서(203)는 사용자가 입력 장치로 획을 만드는데 드는 압력을 검지하는데 사용될 수 있으며, 이러한 데이터는 사용자가 생성된 전자 잉크의 폭을 변경하는 데 사용될 수 있다. 그러나, 일부 예에서는 압력 센서가 제거될 수 있다.
프로세서(207)는 본 발명의 다양한 측면에 관련된 기능을 수행하기 위한 임의의 공지의 프로세서를 포함할 수 있다. 예컨대, 프로세서는 FPSLIC AT94S40, 즉, 20MHz 클럭을 포함하고 20MIPS에서 동작하는 특정 장치를 포함할 수 있다. 프로세서(207)는 또한 전력 소비를 줄이고, 파워 서플라이(211)에 저장된 전력을 보유하는 단계, 예컨대 입력 장치가 불활성일때 여러 콤포넌트의 전력을 다운시키는 등의 단계를 수행하도록 동작할 수 있다. 이러한 전력 다운은 예컨대, 주어진 시간에 장치의 움직임 및/또는 위치지정이 없음을 나타내는 데이터의 존재나 부존재에 기초하여 결정된다.
프로세서(207)는 또한 다양한 콤포넌트의 성능을 측정하고 조절하도록 동작할 수 있다. 프로세서는 또한 복수의 잉크 및/또는 메모리에 저장된 움지임 처리 알고리즘 중에서 선택될 수 있다. 예를 들어, 프로세서는 장치가 움직이는 표면과 관련된 특성에 따라, 혹은 장치가 사용되는 환경에 의해 야기되는 감지에 미치는 영향에 의해 움직임을 검지하기에 가장 적합한 알고리즘을 선택한다. LCD 스크린과 함께 사용되면, 예를 들어, 알고리즘은 빠르고 부드러운 획을 사용하여 입력된 입력을 정확히 기록하는데 가장 유용한 것으로 선택될 수 있는 반면, 느리고 덜 부드러운 획으로 종이에 생성된 입력을 처리하기 위해서는 다른 알고리즘이 선택된다. 알고리즘을 선택하기 위한 다른 인자들, 예컨대, 불안정한 환경에서의 표면에 대한 입력 장치의 움직임과 같은 인자들도 고려될 수 있다.
알고리즘은 입력 장치에 프로그램된 성능 고려에 기초하여 자동적으로 선택될 수 있다. 다르게는, 수동으로 프로세싱 알고리즘이 선택될 수도 있다. 예를 들어, 입력 장치와 호스트 컴퓨터의 디스플레이를 사용하여, 사용자는 입력 장치에 대한 적절한 세팅과 관련된 옵션을 찾을 때까지, MICROSOFT?운영 체계의 "제어판"과 같은 곳에서 모니터에 대해 찾을 수 있는 것과 유사한 방식으로, 입력 장치의 기능들을 설정하기 위한 옵션을 스크롤할 수 있다.
혹은, 기술된 프로세싱 알고리즘 선택과 같은 입력 장치 세팅을 입력 장치 하나만을 사용하여 할 수 있다. 사용자 선택은 입력 장치를 누르고, 검지되면 사용자 입력을 나타내도록 검지되는 심볼을 그리거나, 이러한 다른 방법에 의해 활성화될 수 있다. 한 예를 들면, 사용자는 입력 장치가 사용될 표면 위에 있음을 표시하기 위해 그 제어 기능과 관련된 심볼을 그릴 수 있다. 예를 들어, 사용자는 입력 장치와 관련된 심볼, 펜 형상을 그릴 수 있다. 이 심볼을 프로세서가 인식함으로써 입력 장치가 다음으로 상술된 프로세싱 알고리즘, 또는 임의의 모드 세팅을 선택할 수 있도록 하는 모드로 들어가도록 한다. 예를 들어, "설정"이라는 용어를 기재하는 것은, 다음 명령이 펜과 관련된 모드를 설정하도록 하는 것이라는 것을 장치에게 알리는 것이다. 이 예에서, 사용자는 다른 심볼을 입력할 수 있는데, 이전에 표면과 관련되었던 숫자(예를 들어, 손으로 기재), 입력 장치가 종이에 사용된다는 것을 나타내는 것에 대응하는 "2"나, 입력 장치를 종이와 함께 사용한다는 것을 나타내는 소정의 그래픽 심볼과 같은, 사용될 프로세싱 알고리즘을 선택하기 위한 심볼을 입력할 수 있다. 다음으로, 입력 장치를 일정 회수 누르는 것은, 예컨대, 모드 설정 절차가 완료되었다는 것을 나타낼 수 있다. 입력 장치를 상호작용하도록 제어하는 구체적인 예가 제공되었지만, 어떤 입력과 선택 기술을 사용하더라도 본 발명의 범주내에 포함된다.
일실시예에서, 메모리(208)는 RAM, ROM, FLASH 메모리, 또는 다른 메모리 장치, 또는 데이터를 저장하고 장치를 제어하기 위한 소프트웨어를 저장하거나, 데이터를 처리하기 위한 소프트웨어를 저장하는 장치를 하나 이상 포함할 수 있다. 기술한 바와 같이, 입력 장치의 위치를 나타내거나 지정하는 데이터는 입력 장치(201) 내에서 처리되고 호스트 컴퓨터에 전달하기 위해 메모리(208)에 저장된다. 혹은 포착된 화상 데이터를 처리나 다른 용도로 호스트 컴퓨터에 전송하기 위해 메모리(208)에 저장할 수 있다.
송수신기, 즉, 통신부(209)는 송신부와 수신부를 포함한다. 입력 장치의 움직임을 표현하는 정보는, 전자 잉크를 생성 및/또는 표시하기에 적합한 형태로 처리되어, 데스크탑 컴퓨터, 랩탑 컴퓨터, 타블렛 PC, PDA, 전화, 혹은 사용자 입력 및/또는 전자 잉크가 이용될 수 있는 다른 장치에 송신될 수 있다. 송수신기(209)는 단범위 무선 통신, 적외선 통신, 셀룰라 또는 다른 장범위 무선 기술을 수행하기 위한, 블루투스를 포함하는 무선 통신 기술을 사용하여 외부 장치와 통신할 수 있다. 혹은, 송수신기(209)는 USB 접속 등의 호스트 컴퓨터에 대한 직접 링크를 통해, 또는 예컨대 도킹 크래들(212)과의 접속을 통해 간접적으로, 데이터의 전송을 제어한다. 입력 장치는 또한 전용선을 이용하여 특정 호스트 컴퓨터에 직접 링크될 수 있다. 송수신기(209)는 또한 정보 및/또는 소프트웨어를 수신하는데 사용될 수 있는데, 이는 일실시예에서 입력 장치의 성능을 향상시키기 위해 다운로드될 수 있다. 예를 들어, 프로세서의 제어 기능을 갱신하기 위한 프로그램 정보가 호스트 컴퓨터로부터 혹은 앞서 기술된 다른 송신/커플링 기술을 통해 다운로드될 수 있다. 또한, 소프트웨어는 입력 장치로 혹은 입력 장치에 의해 다운로드될 수 있는데, 이는 화상 데이터를 분석 및/또는 입력 장치를 교정(calibration)하기 위한 소프트웨어를 포함한다.
파워 서플라이(211)가 포함될 것인데, 특히 입력 장치(201)가 데이터가 처리되고, 저장 및/또는 표시될 장치와 독립적으로 원격으로 사용될 수 있는 경우에 그러하다. 파워 서플라이(211)은 임의의 수의 위치에서 입력 장치(201)에 통합될 수 있다. 예를 들면, 파워 서플라이(211)는 대체 가능하면, 즉시 대체할 수 있도록 배치될 수 있고, 재충전될 수 있으면, 그 재충전을 용이하게 하도록 배치될 수 있다. 다르게는, 입력 장치는 대체 파워 서플라이에 결합될 수 있는데, 전기적으로 입력 장치(201)를 자동차 배터리에, 월 아웃렛에 접속된 충전기를 통해, 컴퓨터의 파워 서플라이에, 혹은 다른 파워 서플라이에 결합하는 어댑터등을 사용한다. 도킹 스테이션 어댑터(212)는 입력 장치를 다른 장치나 파워 서플라이에 전기적으로 결합시키기 위한 공지의 구조로 구성된다. 도킹 스테이션 어댑터(212)는 또한 도킹 스테이션이 직접적으로나 간접적으로 결합된 외부 장치에 정보를 전송하도록 사용된다. 유사하게, 소프트웨어, 제어 정보, 또는 다른 데이터가 입력 장치(201)에 도킹 스테이션을 통해 업로드될 수 있고, 이는 파워 서플라이(211)를 재충전하는데 에도 이용될 수 있다.
탈착형 캡(213)이 잉크 카트리지(202)를 포함하는 입력 장치의 팁을 덮고 있으며, 입력 장치(201)가 감지 보드 등을 포함하는 장치와 함께 사용되면 저항 감지을 촉진하기 위한 팁도 가질 수 있다. 유사하게, 유도 소자(215)가 포함되어 유도 시스템에서 스타일러스로서 사용되면 입력 장치의 성능을 향상시킬 수 있다. 입력 장치(201)의 외부는 플라스틱, 금속, 레진, 이들의 조합, 또는 장치의 부품을 보호하고 입력 장치의 전반적인 구조적 통합을 제공하는 임의의 재료로 구성될 수 있다. 입력 장치 외부가 금속 재료로 만들어지면, 장치의 민감한 전자기 부품들을 전기적으로 보호될 것이지만, 반드시 필요한 것은 아니다. 예를 들어, 자기 센서를 결합하면 입력 장치의 구조가 입력 장치 내에 하나 이상의 센서가 보호되지 못하도록 설계되어, 입력 장치가 예를 들어, 자기장을 검지할 수 있다.
본 발명의 다양한 측면에 부합하는 입력 장치의 움직임이나 위치를 측정하는 센서가 이제 기술될 것이다. 관성 센서는 다수의 센서 형태를 포함한다. 도 2에서 도시된 바와 같이, 자이로스코프(206)가 포함되어 입력 장치(201)의 각속도 지표를 제공한다. 이러한 지표들의 시간 "t" 에 걸친 샘플링은 그 시간동안 입력 장치의 움직임을 반영한다. 일실시예에서, 자이로스코프는 입력 장치의 2차원적 움직임 및/또는 위치 지표를 제공한다. 입력 장치의 방위를 결정하기 위해, 입력 장치를 3차원으로 표현할 필요가 있다. 일실시예에서, 자력계 세트에 의해 생성된 데이터가 이러한 분실 데이터를 보충하는데 이용된다.
본 발명의 다른 실시예에서, 장치의 방위는 가속도계 세트 및 자력계 세트의 측정으로 얻어진다.
본 발명의 다른 실시예에서, 가속도가 정확히 측정될 수 없거나 부가적인 정보가 요구되면, 자기 센서(205)에 의해 생성된 데이터를 이용하여 입력 장치의 3차원 각속도를 유도한다. 자기 센서(205)는 입력 장치의 움직임을 지구 자기장이나 디지타이저(165)에 의해 생성되는 자기장의 측정량의 변화를 검지함으로써 측정한다. 따라서, 자이로스코프로부터의 데이터는 자기 센서로부터의 데이터와 함께 입력 장치의 방위를 얻는데 사용된다. 이하에서 더 기술하는 바와 같이, 처음의 입력 장치의 방위와 두번째의 입력 장치의 방위를 비교하면, 부분적으로, 입력 장치의 움직임을 결정하는데 필요한 정보를 얻을 수 있다.
입력 장치 팁의 움직임 지표를 제공하는 측정도 입력 장치의 움직임을 근사하는데 유용하며, 그로 인해 잉크를 포함하는 정확한 입력을 생성하도록 돕는다. 예를 들어, 입력 장치의 팁의 움직임을 측정하는 센서를 팁에 혹은 그 근처에 둘 수 있다. 그러나, 이렇게 두는 것은 잉크 카트리지의 위치지정 및/또는 사용을 방해하여, 노출된 센서가 손상을 입도록 할 것이다. 다른 실시예에서, 단일 가속도계나 가속도계 세트를 입력 장치 내에 위치시켜 팁 외의 지점에서 장치의 가속도를 나타내는 데이터를 생성하도록 한다. 이러한 데이터는 번역 알고리즘을 사용하여 입력 장치의 팁의 가속도를 나타내는 데이터로 번역된다. 일실시예에서, 가속도계(204)와 가속도계(210)으로부터 획득된 데이터는 입력 장치 팁의 가속도를 나타내도록 번역된다.
더 상세히 기술하는 바와 같이, 입력 장치의 방위를 나타내는 데이터와 입력 장치 팁의 가속도를 나타내는 데이터와의 조합으로 본 발명의 다른 측면에 따라 처리되어 입력 장치가 움직이는 표면이나 그 근처에서의 입력 장치의 움직임을 정확하게 추적하여 사용자의 수기를 정확히 표현하는 데이터를 생성한다. 그 결과 전자 잉크는 입력 장치의 증분적 움직임들이 부드럽게 변화하는 높은 품질을 갖게 될 것이다.
도 3은 입력 장치를 나타내고 관성 센서에 의해 생성된 데이터의 예를 도시한다. 도시된 바와 같이, 자이로스코프(306)는 입력 장치의 각속도 지표를 두 축에 생성한다. 가속도계(304)와 가속도계(310)는 세 축에 가속도 지표를 생성한다. 유사하게, 자력계(305)는 세 축을 따라 지구의 자기 인력의 변화를 감지한다. 이들 측정치들을 조합하여 고도로 정확한 입력 장치의 지표를 생성하여, 전자 잉크를 통한 수기나 다른 입력을 정확히 기록하도록 한다. 상기의 것을 대체하는 다른 센서들도 입력을 생성하는데 사용될 수 있다.
수기 획의 정확한 표현은 이전에 기술된 모든 센서를 다 사용하지 않고도 얻을 수 있다. 예를 들면, 자이로스코프는 상보적인 방식으로 가속도계의 성능을 수행한다. 물체의 속도가 상대적으로 일정하며, 그 물체의 가속도는 무시할만하다. 그러므로, 예를 들어, 입력 장치의 움직임이 확장된 기간동안 거의 없다면, 가속도 지표는 부정확할 것이다. 이러한 예에서, 자이로스코프를 사용하여 얻어진 각속도 표현는 단독으로 정확한 결과를 생성하기에 충분한 데이터를 생성한다. 그러나, 입력 장치의 가속도가 현저하다면, 입력 장치의 속도는 좋은 움직임 지표가 될 수 없다. 이 때, 가속도계에 의해 생성된 데이터는 최선의 움직임 지표를 제공할 것이다.
또한, 자이로스코프 자체는 입력 장치의 방위를 나타내는 정보를 두 축을 따라서 생성할 뿐이므로, 보다 나은 결과를 위해, 세 축으로 나타낸 데이터를 가속도계, 자력계, 또는 다른 자이로스코프 등을 이용하여 얻을 수 있다. 장치가 움직이면, 2축 자이로스코프는 입력 장치의 방위를 두 축을 따라서 표현하는데 사용된다. 자력계 세트는 남은 축을 따른 방위를 제공할 것이다. 의사 정점의 가속도는 자이로스코프의 드리프트 에러(drift error)(및 다른 가능한 에러들)를 보상하는데 사용된다.
설명한 바와 같이, 본 발명의 측면들은 기술한 모든 센서보다 적은 수의 센서, 또는 대체 센서에 의해, 다른 시간에 생성된 데이터를 사용하여 정확한 결과를 사용할 수 있도록 한다. 이러한 정확도와 유연성은 전체 장치의 비용을 증가시킬 것이다. 혹은, 적은 수의 센서를 구성하는 것은 입력 장치의 전반적인 비용과 복잡성을 줄이는데 바람직할 것이다.
도 4는 본 발명의 다양한 측면들을 구현하는 하나의 예시적인 실시예를 도시하는 흐름도이다. 이 실시예에서 더욱 상세히 설명될 것이지만, 다음 샘플링 시간에서 입력 장치의 방위는 수정된 칼만(Kalman) 필터를 사용하여 결정된다. 입력 장치의 각속도를 두 축에 나타내는 값들이 예컨대, 가속도계나 자력계로부터의 데이터를 사용하여 보충된다. 이들 입력은 칼만 필터나 다른 적절한 처리 기술에 의해 처리되어 입력 장치의 방위를 계산한다. 동시에, 입력 장치의 팁의 가속도가 두 세트의 가속도계에 의해 생성된 데이터를 번역함으로써 결정된다. 입력 장치의 방위 지표와 입력 장치의 팁의 가속도를 나타내는 값들이 입력 장치의 팁의 가속도를 관성 좌표로 나타내는 데이터로 변환된다. "관성 좌표"(입력 장치를 따라 구해진 측정치)로부터 페이퍼 좌표(종이이든 다른 표면이든, 입력 장치가 움직이는 표면의 좌표)로 변환시키기 위해 변환 행렬이 생성된다. 이 변환을 이용하여, "페이퍼 좌표" 상의 입력 장치 팁의 가속도가 결정된다. "페이퍼 좌표" 상의 입력 장치 팁의 가속도를 그 다음 두번 적분하면, 그 결과는 현재의 샘플링 시간의 과정에 걸친 입력 장치의 트랙을 제공한다. 드리프트 보정도 수행되어 결과적인 트랙 지표를 향상시킨다. 예를 들어, 관성 좌표와 페이퍼 좌표는 도 6에 도시되어 있다. 관성 좌표로 나타낸 장치의 방위값은 페이퍼 좌표가 교정 절차에 의해 관성 좌표와 정렬되지 않을 때 페이퍼 좌표로 전송된다. 샘플 교정 프로세스는 이하와 같다.
입력 장치를 펜 좌표가 페이퍼 좌표와 일치하도록 특별한 방위
Figure pat00001
로 놓는다.
Figure pat00002
는 실제로 페이퍼 좌표의 방위를 관성 좌표로 나타낸 것이고, 이하의 알고리즘을 이용하여 계산된다. 관성 좌표로 나타낸 입력 장치의 방위
Figure pat00003
가 계산되면, 페이퍼 좌표로 나타낸 입력 장치의 방위는
Figure pat00004
와 같이 얻어며, 여기서
Figure pat00005
,
Figure pat00006
,
Figure pat00007
는 방향 코사인 행렬이다.
Figure pat00008
는 방향 코사인 행렬의 기본적인 속성이다. 예를 들어, 본 명세서에 참조로 그 내용이 기재된, D.H.Titterton과 J.L.Weston의, Strapdown Inertial Navigation Technology, IEE Radar, Sonar, Navigation and Avionics Series 5, 1997, Peter Peregrinus Ltd.를 참조하라.
본 발명의 일실시예에 따라, 도 4에 도시된 바와 같이, 정확히 수기를 표현하는 전자 잉크가 관성 센서 하나 또는 조합으로부터의 출력 데이터에 기초하여 생성된다. 도시된 실시예에서, 2축 자이로스코프는 시간 "0"에서 시간 "t"로 이동함에 따라, 흐름도의 단계 401에 표시된 바와 같이, 입력 장치의 각속도를 나타내는 데이터를 생성한다. 이 값들은 단계 406에 나타난 바와 같이, 처리를 위해 수정된 칼만 필터로 전송된다. 3차원의 입력 장치의 움직임에 대응하는 정보는 시간 "t" 동안 입력 장치의 움직임을 예측하는데 도움이되는데, 2축 자이로스코프에 의해 생성된 정보를 보충한다. 따라서, 예시적인 실시예에 따라서, 3차원으로 입력 장치의 움직임을 표현하는 데이터가 도시된 자이로스코프와 같은 제1 센서 외의 추가된 센서의 측정치로부터 결정된다.
흐름도의 단계 402와 403에서, 예를 들어, 제1 세트의 가속도계에 의해 생성되는 입력 장치의 앞부분의 가속도를 나타내는 값과, 제2 세트의 가속도계에 의해 생성되는 입력 장치의 뒷부분의 가속도를 나타내는 값이 소실 데이터를 보충하는데 사용된다. 정확도를 더욱 향상시키기 위해, 구한 가속도값을 "의사 정지(pseudo-standing)"점 교정 기술을 이용하여 측량하는데, 이는 단계 405에 나타나며, 예를 들면, 사용자가 장치의 방향을 전환하는 지점, 즉, 입력 장치의 가속도가 0이 되는 지점의 예측에 기초한다. 이 교정은 입력 장치의 속도가 0이 되는 시점을 검출하고, 검출된 데이터값에서 발생하는 오프셋을 보상하는 알고리즘을 채용한다. 가속도 데이터로 움직임을 표시하는데 있어서의 정확도를 향상시키기 위한 다른 처리 기술이 이상의 교정 단계(405)를 대체하여, 혹은 그에 부가하여 이용될 수 있다. 가속도값은 그 다음 수정된 칼만 필터로 입력된다.
도 7에 도시된 바와 같이, 입력 장치가 이동할 때, "방위" 및 "가속도" 정보가 가속도계의 출력에 결합되는데, 입력 장치의 의사 정점의 가속도는 "덜" 가속도 정보와 "더" 방위 정보를 포함하고, 그래서 의사 정점의 가속도 값은 방위를 예측하거나 자이로스코프 출력을 보상하는데 사용된다. 의사 정점의 가속도값은 아래와 같이 가속도계의 두 세트로부터 얻어진다.
Figure pat00009
여기서 l1xy와 l2xy는 의사 정점에 대한 두 세트의 x-y축 가속도계 세트로부터의 거리이고, l1z와 l2z는 의사 정점에 대한 두 세트의 z축으로부터의 거리이며, ax, ay, az는 각각 의사 정점의 세 축의 가속도이다. a1x, a1y, a1z는 가속도계 하부 세트의 3축 가속도이고, a2x, a2y, a2z는 가속도계 상부 세트의 3축 가속도이다.
이상과 같이, 가속도계에 의해 생성된 데이터는 입력 장치의 움직임의 정확한 지표를 지속적으로 제공하지는 않는다. 예를 들어, 입력 장치가 실질적으로 일정한 속력으로 움직이고, 임의의 방향의 입력 장치의 가속도가 약 0일 때, 가속도계는 바람직하지 못한 결과를 나타낼 것이다. 이 경우, 다른 센서에 의해 생성된 측정치를 이용하여 가속도 데이터를 대체한다. 예를 들어, 3축 자력계는, 앞서 기술한 바와 같이, 예를 들어 입력 장치의 움직임의 지표를 3차원으로 제공함으로써 입력 장치의 움직임을 추정하는데 도움을 준다. 자력계는 단계 404에 도시된 바와 같이, 지구의 자기장에 따른 측정치의 변화를 측정함으로써 입력 장치의 움직임을 감지한다. 그 다음 이러한 측정치는 단계 406에서 처리를 위해 수정된 칼만 필터로 입력된다. 물론, 이러한 센서들은 자기적 간섭에 고도로 민감한 것들이지만 장치를 자주 재교정 및/또는 측정된 데이터를 처리하여 간섭을 수정할 필요가 있다.
도시된 실시예에 따라, 흐름도의 단계 406에 도시된 바와 같이, 자이로스코프와 가속도계 또는 자기 센서로부터의 데이터는 모두 수정된 칼만 필터에 따른 처리를 위해 프로세서로 입력된다. 단계 407에 도시된 바와 같이, 필터는 입력 장치의 현재의 3D 방위를 나타내는 데이터를 생성한다. 예시적인 실시예는 수정된 칼만 필터를, 부분적으로, 입력 장치의 방위를 추정하는데 사용하는 것을 기술하는데, 이는 칼만 필터가 현재의 값에 기초하여 이후의 값을 정확히 예측하는 최소 자승법(least square)을 채용하는 순환 피드백 (recursive feedback) 필터이기 때문이다. 혹은, 장치의 움직임 및/또는 위치를 나타내는 임의의 수의 측정 데이터를 이용하여 정확한 입력 장치의 방위 표현을 생성하는데 다른 예측 필터나 처리 기술도 채용될 수 있다. 다른 필터링 기술에는 확장된 칼만 필터도 포함되나 이에 제한되지 않는다.
동시에, 단계 408에 도시된 바와 같이, "펜 좌표"(입력 장치에 대응하는 좌표)로 나타낸 펜과 같은 입력 장치 팁의 가속도가 예컨대 두 세트의 가속도계에 의하여 출력된 데이터로부터 결정될 수 있다. 상술한 바와 같이, 각각이 입력 장치의 축을 따라 위치한, 두 세트의 가속도계로부터 얻은 데이터는, 변형 절차를 이용하여 변형되어 시간 간격 "t" 동안 입력 장치의 팁에서의 가속도 지표를 제공한다. 일례에서, 입력 장치의 축을 따른 좌표로부터 장치의 팁까지의 변형은 이전의 교정, 추정 기술, 또는 입력 장치의 팁의 움직임을 정확히 표현하기 위해 값을 번역하는 임의의 기술을 이용하여 사전 결정된다. 단계 409에 도시된 바와 같이, 앞서 기술된 단계 407에서 결정된 입력 장치의 현재의 3D 방위를 이용하여, 펜 좌표로 나타낸 입력 장치의 팁에서의 가속도를 나타내는 데이터는 그 다음 관성 좌표로 나타낸 입력 장치의 팁에서의 좌표로 전환된다.
펜 팁 가속도를 이하와 같이 결정할 수 있다. 구한 펜 팁 가속도는 다음과 같다.
Figure pat00010
여기서 l3xy와 l4xy는 펜 팁에 대한 두 세트의 x-y축 가속도계 세트로부터의 거리이고, l3z와 l4z는 펜 팁에 대한 두 세트의 z축으로부터의 거리이며,
Figure pat00011
,
Figure pat00012
,
Figure pat00013
는 각각 펜 팁의 세 축의 가속도이다. 도 8은 상기 알고리즘과 관련된 치수를 도시한다.
"관성 좌표"에서 입력 장치가 움직이는 표면의 좌표로 변환하기 위한 변환 행렬은, 예를 들어, 이전에 수행된 교정 절차에 기초하여 결정된다. 이러한 교정 단계는 어셈블리, 제조 시점에, 각 사용 전에, 사용 중 쉬는 동안, 혹은 언제라도 일어날 수 있다. 입력이 움직이는 표면이 종이인 경우, 이러한 표면의 좌표는 "페이퍼 좌표"라고 기술될 수 있다. 그러나, 입력 장치는 어떠한 수의 표면 상에서 움직일 수 있으며, "페이퍼 좌표"라고 부르는 것은 입력 장치의 사용이나 변형에 대한 기술을 이러한 표면에 제한하려고 하는 것이 아니다.
흐름도의 단계 410에 도시된 바와 같이, 입력 장치의 팁에서의 페이퍼 좌표 - 장치가 페이퍼 상에서 움직임 - 의 가속도는 상술한 변환 행렬을 사용하여 가속도 데이터를 관성 좌표로 변환함으로써 결정된다. 결과적인 가속도는, 단계 411에 도시된 바와 같이, 그 다음 두번 적분되어, 입력 장치의 움직임의 트랙을 생성한다. 마지막으로, 트랙 데이터는 드리프트 수정을 행함으로써 더 처리된다. 상술한 동작의 결과, 입력 장치의 팁에서의 움직임이 추적되고 입력 장치의 움직임에 대응하는 전자 잉크를 나타내는 데이터를 생성한다.
이하는 드리프트 정정이 기능하는 예이다. 초기에, 입력 장치의 상태는 현재의 샘플링 시간과 인접한 여러 샘플링 시점에서 얻은 가속도가 유지되는지를 판정함으로써 각 샘플링 시간에 "이동" 또는 "이동하지 않음"으로 표시된다. 예를 들어, 현재의 샘플링 시간의 8 샘플링 점 전과 8 샘플링 점 후를 사용한다. 다른 수의 샘플링 점이 사용될 수 있다. 이 17 점들의 기간동안 측정된 모든 가속도값이 고정된 값에 가까우면, 이 샘플링 시간은 "이동하지 않음"으로 표시된다. 그러면 고정값은 가속도 드리프트 에러로 취급된다.(샘플링 기간은 보통 10ms이다.) 새로운 "이동하지 않음" 상태가 검출될 때, 최후의 연속적인 "이동" 상태의 가속도 값은 이하의 알고리즘을 사용하여 수정된다.
드리프트 에러는 "이동" 상태 기간 동안 선형적으로 증가하는 것으로 추정된다. 증가 비율은 라벨링 상태에서 총 드리프트 에러에 따라 계산된다. 다음으로, 이 기간의 가속도 값에서 각 샘플링 점에서의 드리프팅 에러를 빼면 이 기간의 수정된 가속도 값을 얻는다. 수정된 가속도 값을 적분하여, 수정된 속도 값이 얻어지지만, 이 "이동" 기간 뒤의 첫번째 "이동하지 않음" 상태에서의 수정된 속도값은 여전히 0일 수 있다. 또한 속도 드리프트 에러는 최후의 "이동" 주기에서 선형적으로 증가하는 것으로 가정된다. 수정된 "수정된 속도" 값은 가속도 수정 경우에서와 유사한 방식을 이용하여 얻는다. 결과적으로 수정된 "수정된 속도" 값을 적분하여 최후의 "이동" 주기에서 수정된 변위값을 얻는다. 동일한 알고리즘이 표면 상의 2방향으로 입력 장치의 드리프트 정정을 하는데 이용되나, 한 방향의 경우만이 본 명세서에 기술되었다. 도 9A-11C는 다양한 드리프트 정정 애플리케이션을 도시한다. 도 10은 속도에 관한 것이다. 도 11은 변위에 관한 것이다. 도 9A, 10A, 11A는 실제 입력값에 관한 것이다. 도 9B, 10B, 11B는 드리프트 에러를 포함하는 측정 값을 도시한다. 도 9C, 10C, 11C는 각각의 정정된 버전을 도시한다.
상술한 바와 같이, 본 발명의 일 측면은 입력 장치의 움직임을 결정하기 위해 감지된 데이터를 처리하는 단계와, 이러한 움직임을 표현하는 전자 잉크를 결정하는 단계를 포함한다. 한 예시적인 실시예에서는 수정된 칼만 필터를 이용하여 관성 좌표로 입력 장치의 3차원 방위를 계산한다. 이러한 처리 알고리즘의 유도식은 다음과 같다.
수학식 1은 기본 시스템 변환 행렬을 나타낸다.
Figure pat00014
여기서,
Figure pat00015
는 펜 좌표에서 관성 좌표로 변환하는 방향 코사인 매트릭스이고,
Figure pat00016
이고,
Figure pat00017
,
Figure pat00018
,
Figure pat00019
는 "펜 좌표" 상의 각속도 벡터이며, 자이로스코프로 측정될 수 있다.
기본식 1은 다음과 같이 단순화할 수 있고,
Figure pat00020
, 이의 이산형태는 다음과 같다.
Figure pat00021
Figure pat00022
여기서,
Figure pat00023
이고,
Figure pat00024
는 샘플링 시간이다.
그리고 상태 벡터는
Figure pat00025
이다.
그 다음 상태 번역은 다음과 같다.
Figure pat00026
여기서,
Figure pat00027
는 t(k)에서 t(k+1)까지의 평균 각속도 값이다. 그러나 ωz를 모르기 때문에, 가속도계나 자기 센서로부터의 측정값을 이용하여 x3(k+1)을 계산할 수 있다. 관성 좌표로 각속도를 결정하는 방정식은 다음과 같이 기술된다. 관성 좌표 상의 가속도는 펜 좌표 상의 측정된 입력 장치의 가속도
Figure pat00028
를
Figure pat00029
번역을 이용하여 관성 좌표로 변환함으로써 계산된다.
Figure pat00030
관성 좌표로 입력 장치의 자성을 결정하기 위하여, 관성 좌표로 가속도를 결정하는 것과 동일한 계산이 수행된다.
Figure pat00031
수학식 3은 표준 형태로 다시 쓸 수 있다.
Figure pat00032
Figure pat00033
,
Figure pat00034
는 행렬 변환을 의미하고,
Figure pat00035
는 역행렬을 의미하며, 이는 방향 코사인 행렬의 특성이다.
측정된 가속도에 대응하는 측정 벡터는 다음과 같다.
Figure pat00036
식을 대입하면,
Figure pat00037
이 된다. 상세히는 다음과 같다.
Figure pat00038
유사하게, 자기 센서에 따른 측정 벡터는,
Figure pat00039
이다. 식을 대입하면,
Figure pat00040
이고, 아래와 같이 다시 쓸 수 있다.
Figure pat00041
x3(k+1)에 대한 상태 변환이 제1 및 제2 하위 수학식 (5a-5c)를 이용하여, x3에 대해 계산함으로써 얻어질 수 있다. 측정 수학식은 수학식 6과 수학식 1의 나머지에 의해 구해질 수 있다.
x3(k+1)에 대한 상태 변환을 수학식 5a와 5b로부터 구한다. 측정 방정식은 식 (5c), (6a), (6b), (6c)에 의해 다음과 같이 된다.
Figure pat00042
입력 장치가 지구 자기장에 평행일 때, mx와 my가 극히 작으므로, 식 (5a), (5b)로부터 얻은 x3(k+1) 값의 에러는 너무 커진다. 이 경우, 식 (6a)와 (6b)를 이용하여 x3(k+1)를 얻고, 결과적으로, 식 (5a) (5b) (5c) (6c)를 이용하여 코멘트 13에서 수학식 7과 같이 측정치를 구한다.
이 수정된 칼만 필터에서, 자이로스코프의 출력은, 자기력계나 가속도계의 출력과 함께 상태 예측을 제공하고, 자기력계와 가속도계의 출력의 다른 부분과 함께 상태 측정을 제공하고, 예측 에러를 정정한다.
본 발명의 일실시예에 기술된 바와 같이, 수정된 칼만 필터를 이용하여, 관성 좌표 상의 입력 장치의 현재의 위치가 결정될 수 있다. 펜 좌표로부터 관성 좌표로 전환을 위한 변환 행렬을 결정하고, 이미 구한 관성 좌표로부터 페이퍼 좌표로의 변환에 따른 변환 행렬을 교정에 의해 얻으면, 펜 좌표에서 페이퍼 좌표로의 변환 행렬이 결정될 수 있다. 따라서, 입력 장치 팁의 트랙이 입력 장치가 이동하는 표면의 공간적 좌표로 변환된 팁의 가속도를 적분함으로서 계산될 수 있다. 펜의 움직임을 정확히 결정하면 정확한 입력을 생성하는데 필요한 데이터가 제공될 것인데, 이는 종래의 기재 도구에 의해 생성되는 것과 유사한 방식으로 획을 기록하기 위해 입력 장치 팁의 움직임을 정확히 측정함으로써 할 수 있고, 입력 장치는 이러한 움직임이 기록될 표면에 접촉할 필요가 없는 예외를 갖는다.
이상 기재된 실시예는 단일 자이로스코프, 복수의 가속도 센서와 자기 센서를 채용하였지만, 이 기재는 본 발명을 그러한 부품을 갖는 시스템으로 한정하려고 하는 것은 결코 아니다. 오히려, 예시된 실시예의 치환, 보충, 제거 혹은 다른 변경이 본 발명의 범주내에 포함된다.
도 5는 본 발명의 다양한 측면들에 따른 이용을 위해 화상을 포착하기 위한 카메라를 결합시킨 입력 장치를 도시한다. 도 5에서, 입력 장치(501)는 잉크 카트리지(502), 압력 센서(503), 가속도계(504), 자기 센서(505), 자이로스코프(506), 프로세서(507), 메모리(508), 송수신기(509), 가속도계(510), 파워 서플라이(511), 도킹 스테이션 어댑터(512), 캡(513), 카메라(514), 유도 소자(515)와 도시되지는 않았지만 디스플레이를 포함한다. 이 소자들의 일부는 생략될 수 있다. 예컨대, 디스플레이에만 의존하도록 한다면 잉크 카트리지는 제거될 것이다.
이 실시예에서, 입력 장치의 측면 이동이나 방위 추적을 돕기 위하여 카메라를 상기 하나 이상의 센서에 더하거나 대신하여 추가시킬 수 있다. 카메라(514)는 입력 장치가 움직이는 표면의 화상을 포착하여, 스캐닝되는 표면에서 입력 장치의 움직임을 검지하도록 포함된다. 이 경우, 광학 정보를 처리하고, 상기 하나 이상의 센서에 의해 생성되는 데이터를 대신하거나 그와 결합되며, 입력 장치의 움직임을 정확히 결정하는데 필요한 만큼 처리 알고리즘을 변경한다. 입력 장치의 위치나 움직임을 측정하는 것은, 적어도 부분적으로는, 입력 장치가 이동하는 표면을 나타내는 포착된 화상 내의 특징 상의 패턴이나 변화를 검지하는 것에 기초하여 수행되고, 예컨대, 입력 장치의 팁 내에 장착된 화상 센서와 적절한 화상 처리 기술을 사용한다. 이러한 부가적인 정보가 요소로서 알고리즘에 들어가 전자 잉크 생성을 위한 입력 장치의 위치 및/또는 움직임을 결정하게 된다. 소자들이 더해지거나 제거됨에 따라, 처리 기술이 대체, 갱신, 혹은 그렇지 않으면 수정되어 정보 손실을 보상하거나 이러한 장치에 의해 생성된 정보를 부가한다. 상기 칼만 필터에 대한 수정이나, 다른 처리 알고리즘이 사용되든 간에 본 발명에 따르고, 입력 장치의 움직임을 측정하는 하나 이상의 센서에 의해 생성된 데이터로부터 펜 팁의 움직임을 추정하기 위한 다른 처리 기술들을 사용하는 것은 본 발명의 범위에 포함된다.
예시적인 실시예는 펜과 같은 기재 도구의 형상으로 구현된 입력 장치를 기술하였다. 그러나, 본 발명의 특징들은 임의의 수의 형상과 크기의 입력 장치에 응용가능하다. 예를 들어, 입력 장치는 인간 공학적 형상을 취할 수 있고 편리성과 제어를 향상시킨 오목한 면을 포함할 수 있다.
본 발명이 첨부된 청구항을 사용하여 정의되었지만, 이들 청구항은 본 발명이 임의의 조합 또는 하위 조합으로 여기서 기재되는 구성요소와 단계를 포함하도록 의도될 수 있다. 따라서, 다양한 조합 또는 서브 조합으로 상세한 설명, 청구 범위 및 도면을 포함하는 명세서로부터 하나 이상의 구성요소를 통합하는 본 발명을 한정하기 위한 임의 개수의 다른 조합이 존재한다. 본 발명의 견지에서, 본 발명의 측면들의 다른 조합은, 여기서 기재된 하나 이상의 구성요소 또는 단계를 결합하여 또는 단독으로, 본 발명의 일부로서 또는 본 발명의 변경 또는 변형으로서 사용될 수 있다. 여기서 포함된 본 발명의 기재된 설명은 이러한 모든 변형과 변경을 포함하는 것이다. 예를 들어, 여러 실시예에서, 데이터에 대한 특정 순서를 나타내었다. 그러나, 본 발명은 데이터의 임의의 기록을 포함한다. 또한, 크기(예를 들어, 바이트 또는 비트)와 같은 특정 단위의 속성이 사용되는 경우, 어떤 다른 단위도 고찰된다.
101: 키보드
102: 마우스
196: 애플리케이션 프로그램
111: 메모리
166: 디지타이저
112: 근거리 통신망
113: 원거리 통신망
109: 원격 컴퓨터

Claims (1)

  1. 입력 장치의 움직임을 나타내는 데이터를 생성하기 위한 입력 장치에 있어서,
    상기 입력 장치는 상부 단(upper end) 및 하부 단(lower end)을 가지고,
    상기 입력 장치는,
    상기 입력 장치의 움직임을 감지하고 감지된 움직임을 나타내는 데이터를 생성하는 복수의 관성 센서(inertial sensor)를 포함하고,
    상기 복수의 관성 센서 중 하나는 상기 하부 단 근방의 카메라를 포함하고 상기 카메라는 표면에 대한 상기 입력 장치의 움직임을 감지하는, 입력 장치.
KR1020100139500A 2003-01-21 2010-12-30 입력 장치의 움직임을 나타내는 데이터를 생성하기 위한 입력 장치 및 화상 데이터 생성 방법 KR20110018859A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/347,498 US20040140962A1 (en) 2003-01-21 2003-01-21 Inertial sensors integration
US10/347,498 2003-01-21

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020030093996A Division KR20040069176A (ko) 2003-01-21 2003-12-19 관성 센서 집적

Publications (1)

Publication Number Publication Date
KR20110018859A true KR20110018859A (ko) 2011-02-24

Family

ID=32594897

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020030093996A KR20040069176A (ko) 2003-01-21 2003-12-19 관성 센서 집적
KR1020100139500A KR20110018859A (ko) 2003-01-21 2010-12-30 입력 장치의 움직임을 나타내는 데이터를 생성하기 위한 입력 장치 및 화상 데이터 생성 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020030093996A KR20040069176A (ko) 2003-01-21 2003-12-19 관성 센서 집적

Country Status (6)

Country Link
US (1) US20040140962A1 (ko)
EP (1) EP1441279A3 (ko)
JP (1) JP2004227563A (ko)
KR (2) KR20040069176A (ko)
CN (1) CN100432904C (ko)
BR (1) BR0306022A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019231056A1 (ko) * 2018-06-01 2019-12-05 엘지전자 주식회사 포인팅장치

Families Citing this family (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2168201C1 (ru) * 1999-11-03 2001-05-27 Супрун Антон Евгеньевич Устройство для ввода информации в эвм
US7178399B2 (en) * 2004-03-03 2007-02-20 Innalabs Technologies, Inc. Housing for magnetofluidic accelerometer
US7292223B2 (en) * 2000-02-24 2007-11-06 Innalabs Technologies, Inc. Location tracking device
US7296469B2 (en) * 2000-02-24 2007-11-20 Innalabs Technologies, Inc. Magnetofluidic accelerometer with active suspension
US7061469B2 (en) * 2000-02-24 2006-06-13 Innalabs Technologies, Inc. Method of data input into a computer
US20060059976A1 (en) * 2004-09-23 2006-03-23 Innalabs Technologies, Inc. Accelerometer with real-time calibration
US7191652B2 (en) 2000-02-24 2007-03-20 Innalabs Technologies, Inc. Magnetofluidic accelerometer with partial filling of cavity with magnetic fluid
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US10086282B2 (en) * 2002-07-27 2018-10-02 Sony Interactive Entertainment Inc. Tracking device for use in obtaining information for controlling game program execution
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US20040222976A1 (en) * 2002-11-15 2004-11-11 Muresan David Darian Writing pen and recorder with built in position tracking device
KR100501721B1 (ko) * 2003-03-19 2005-07-18 삼성전자주식회사 자계센서를 이용한 펜형 입력시스템 및 그 궤적 복원 방법
US7130583B2 (en) * 2003-05-14 2006-10-31 Battelle Memorial Institute Wireless communication devices and movement monitoring methods
AU2004241602B2 (en) * 2003-05-20 2008-05-08 Syndiant, Inc. Digital backplane
US7733326B1 (en) 2004-08-02 2010-06-08 Prakash Adiseshan Combination mouse, pen-input and pen-computer device
US7549496B2 (en) * 2004-10-29 2009-06-23 Yamaha Hatsudoki Kabushiki Kaisha Engine mounting arrangement for two wheeled vehicle
KR100703698B1 (ko) * 2005-02-16 2007-04-05 삼성전자주식회사 공간 필기 인식 장치 및 방법, 그리고 상기 방법을 기록한기록 매체
WO2006090197A1 (en) * 2005-02-24 2006-08-31 Nokia Corporation Motion-input device for a computing terminal and method of its operation
US20060252466A1 (en) * 2005-05-05 2006-11-09 Isabell Gene P Jr Mechanism for using a laptop in an automobile
KR100739980B1 (ko) * 2005-05-13 2007-07-16 인더스트리얼 테크놀로지 리서치 인스티튜트 관성 감지 입력장치
US7508384B2 (en) * 2005-06-08 2009-03-24 Daka Research Inc. Writing system
US20090183929A1 (en) * 2005-06-08 2009-07-23 Guanglie Zhang Writing system with camera
CN101213505B (zh) * 2005-12-09 2012-05-23 汤姆森特许公司 手持无线图形输入设备和无线遥控设备
US7536201B2 (en) 2006-03-29 2009-05-19 Sony Ericsson Mobile Communications Ab Motion sensor character generation for mobile device
KR100711261B1 (ko) * 2006-06-21 2007-04-25 (주)마이크로인피니티 입력 장치의 공간 인식 방법 및 그 장치
US20080030486A1 (en) * 2006-08-04 2008-02-07 Quiteso Technologies, Llc Multi-functional pen input device
ES2316249B1 (es) * 2006-08-18 2010-01-08 Juan Maria Garcia Carmona Dispositivo apuntador inalambrico programable con apariencia de arma para juegos de accion compatible con ordenadores tipo pc y consolas de videojuegos.
US7554283B2 (en) * 2007-06-14 2009-06-30 Shahriar Yazdani Damavandi Non-reaction torque drive
US8180295B2 (en) * 2007-07-19 2012-05-15 Sony Computer Entertainment Inc. Bluetooth enabled computing system and associated methods
JP2009158065A (ja) * 2007-12-27 2009-07-16 Fujitsu Ltd ヘッドスライダおよび磁気記憶装置
US20090309854A1 (en) * 2008-06-13 2009-12-17 Polyvision Corporation Input devices with multiple operating modes
US8227285B1 (en) 2008-06-25 2012-07-24 MCube Inc. Method and structure of monolithetically integrated inertial sensor using IC foundry-compatible processes
FR2933212B1 (fr) * 2008-06-27 2013-07-05 Movea Sa Pointeur a capture de mouvement resolue par fusion de donnees
EP2140916B1 (en) * 2008-06-30 2018-10-31 Nintendo Co., Ltd. Coordinate calculation apparatus and storage medium having coordinate calculation program stored therein
EP2140919B1 (en) * 2008-06-30 2018-09-05 Nintendo Co., Ltd. Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein
EP2140915B1 (en) 2008-06-30 2019-03-06 Nintendo Co., Ltd. Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein
JP6029255B2 (ja) 2008-07-03 2016-11-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法
US8159455B2 (en) * 2008-07-18 2012-04-17 Apple Inc. Methods and apparatus for processing combinations of kinematical inputs
US8310447B2 (en) * 2008-11-24 2012-11-13 Lsi Corporation Pointing device housed in a writing device
US8797279B2 (en) * 2010-05-25 2014-08-05 MCube Inc. Analog touchscreen methods and apparatus
US8928602B1 (en) 2009-03-03 2015-01-06 MCube Inc. Methods and apparatus for object tracking on a hand-held device
EP2228109B1 (en) 2009-03-09 2021-03-24 Nintendo Co., Ltd. Information processing apparatus, storage medium having information processing program stored therein, information processing system, and display range control method
CN101576954A (zh) * 2009-06-10 2009-11-11 中兴通讯股份有限公司 书写笔画识别装置、移动终端及实现空间书写的方法
US8477473B1 (en) 2010-08-19 2013-07-02 MCube Inc. Transducer structure and method for MEMS devices
US8476129B1 (en) 2010-05-24 2013-07-02 MCube Inc. Method and structure of sensors and MEMS devices using vertical mounting with interconnections
US8823007B2 (en) 2009-10-28 2014-09-02 MCube Inc. Integrated system on chip using multiple MEMS and CMOS devices
US8710597B1 (en) 2010-04-21 2014-04-29 MCube Inc. Method and structure for adding mass with stress isolation to MEMS structures
US8553389B1 (en) 2010-08-19 2013-10-08 MCube Inc. Anchor design and method for MEMS transducer apparatuses
US8421082B1 (en) 2010-01-19 2013-04-16 Mcube, Inc. Integrated CMOS and MEMS with air dielectric method and system
JP5463790B2 (ja) * 2009-08-18 2014-04-09 ソニー株式会社 操作入力システム、制御装置、ハンドヘルド装置及び操作入力方法
US8206290B2 (en) * 2009-10-08 2012-06-26 Apple Biomedical, Inc. Medical inspection device
US9709509B1 (en) 2009-11-13 2017-07-18 MCube Inc. System configured for integrated communication, MEMS, Processor, and applications using a foundry compatible semiconductor process
US8922530B2 (en) * 2010-01-06 2014-12-30 Apple Inc. Communicating stylus
US20110162894A1 (en) * 2010-01-06 2011-07-07 Apple Inc. Stylus for touch sensing devices
US20110172918A1 (en) * 2010-01-13 2011-07-14 Qualcomm Incorporated Motion state detection for mobile device
US8810514B2 (en) * 2010-02-12 2014-08-19 Microsoft Corporation Sensor-based pointing device for natural input and interaction
US8936959B1 (en) 2010-02-27 2015-01-20 MCube Inc. Integrated rf MEMS, control systems and methods
US8794065B1 (en) 2010-02-27 2014-08-05 MCube Inc. Integrated inertial sensing apparatus using MEMS and quartz configured on crystallographic planes
US8767072B1 (en) * 2010-03-26 2014-07-01 Lockheed Martin Corporation Geoposition determination by starlight refraction measurement
US8367522B1 (en) 2010-04-08 2013-02-05 MCube Inc. Method and structure of integrated micro electro-mechanical systems and electronic devices using edge bond pads
US8928696B1 (en) 2010-05-25 2015-01-06 MCube Inc. Methods and apparatus for operating hysteresis on a hand held device
US8643612B2 (en) * 2010-05-25 2014-02-04 MCube Inc. Touchscreen operation threshold methods and apparatus
CN102262456A (zh) * 2010-05-31 2011-11-30 西门子公司 信息输入装置及方法
US8652961B1 (en) 2010-06-18 2014-02-18 MCube Inc. Methods and structure for adapting MEMS structures to form electrical interconnections for integrated circuits
US8869616B1 (en) 2010-06-18 2014-10-28 MCube Inc. Method and structure of an inertial sensor using tilt conversion
US8837782B1 (en) * 2010-06-22 2014-09-16 Lockheed Martin Corporation Geoposition determination using satellite ephemerides
US8993362B1 (en) 2010-07-23 2015-03-31 MCube Inc. Oxide retainer method for MEMS devices
CN101976128A (zh) * 2010-10-11 2011-02-16 庄永基 数字书绘实时数据采集仿真系统及其采集方法
US8723986B1 (en) 2010-11-04 2014-05-13 MCube Inc. Methods and apparatus for initiating image capture on a hand-held device
US9639178B2 (en) 2010-11-19 2017-05-02 Apple Inc. Optical stylus
US9310923B2 (en) 2010-12-03 2016-04-12 Apple Inc. Input device for touch sensitive devices
US8994646B2 (en) 2010-12-17 2015-03-31 Microsoft Corporation Detecting gestures involving intentional movement of a computing device
US8982045B2 (en) 2010-12-17 2015-03-17 Microsoft Corporation Using movement of a computing device to enhance interpretation of input events produced when interacting with the computing device
US8988398B2 (en) * 2011-02-11 2015-03-24 Microsoft Corporation Multi-touch input device with orientation sensing
US8660978B2 (en) 2010-12-17 2014-02-25 Microsoft Corporation Detecting and responding to unintentional contact with a computing device
US8786547B2 (en) 2010-12-23 2014-07-22 Microsoft Corporation Effects of gravity on gestures
WO2012125596A2 (en) 2011-03-12 2012-09-20 Parshionikar Uday Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
US8638320B2 (en) 2011-06-22 2014-01-28 Apple Inc. Stylus orientation detection
US9329703B2 (en) * 2011-06-22 2016-05-03 Apple Inc. Intelligent stylus
US8928635B2 (en) 2011-06-22 2015-01-06 Apple Inc. Active stylus
US8969101B1 (en) 2011-08-17 2015-03-03 MCube Inc. Three axis magnetic sensor device and method using flex cables
CN103946773A (zh) * 2011-08-29 2014-07-23 S·瓦利切克 多功能笔输入外围计算机控制器
SK6147Y1 (sk) * 2011-08-29 2012-06-04 Stefan Valicek Multi-functional peripheral input pencil control of computer
CN102331894A (zh) * 2011-09-27 2012-01-25 利信光学（苏州）有限公司 一种电容式触摸屏结构
US9407100B2 (en) * 2011-12-20 2016-08-02 Wikipad, Inc. Mobile device controller
US20130226505A1 (en) * 2012-02-02 2013-08-29 mCube, Incorporated Dual Accelerometer Plus Magnetometer Body Rotation Rate Sensor-Gyrometer
US9471092B2 (en) 2012-02-03 2016-10-18 MCube Inc. Distributed MEMS devices time synchronization methods and system
US8902181B2 (en) 2012-02-07 2014-12-02 Microsoft Corporation Multi-touch-movement gestures for tablet computing devices
JP2013210906A (ja) * 2012-03-30 2013-10-10 Sony Corp 制御方法、制御装置及びプログラム
WO2013153551A1 (en) * 2012-04-08 2013-10-17 N-Trig Ltd. Stylus and digitizer for 3d manipulation of virtual objects
JP2013222399A (ja) * 2012-04-18 2013-10-28 Sony Corp 操作方法、制御装置及びプログラム
US20130281796A1 (en) * 2012-04-20 2013-10-24 Broadmaster Biotech Corp. Biosensor with exercise amount measuring function and remote medical system thereof
ITPI20120071A1 (it) * 2012-06-22 2013-12-23 Scuola Superiore Di Studi Universit Ari E Di Perfe Metodo per la localizzazione di dispositivi guidati magneticamente e relativo dispositivo magnetico.
US9176604B2 (en) 2012-07-27 2015-11-03 Apple Inc. Stylus device
US9557845B2 (en) 2012-07-27 2017-01-31 Apple Inc. Input device for and method of communication with capacitive devices through frequency variation
US9652090B2 (en) 2012-07-27 2017-05-16 Apple Inc. Device for digital communication through capacitive coupling
ES2864129T3 (es) 2012-09-11 2021-10-13 Cleveland Clinic Found Evaluación de trastornos del movimiento
US9690394B2 (en) 2012-09-14 2017-06-27 Apple Inc. Input device having extendable nib
US9639179B2 (en) 2012-09-14 2017-05-02 Apple Inc. Force-sensitive input device
CN103034345B (zh) * 2012-12-19 2016-03-02 桂林理工大学 一种真实空间中的地理虚拟仿真三维鼠标笔
KR101360980B1 (ko) * 2013-02-05 2014-02-11 주식회사 카이언스 필기구형 전자 입력장치
US10048775B2 (en) 2013-03-14 2018-08-14 Apple Inc. Stylus detection and demodulation
DE102013214020A1 (de) * 2013-07-17 2015-02-19 Stabilo International Gmbh Digitaler Stift
TW201504859A (zh) * 2013-07-26 2015-02-01 Hon Hai Prec Ind Co Ltd 筆套及筆跡紀錄方法
US10845901B2 (en) 2013-07-31 2020-11-24 Apple Inc. Touch controller architecture
US9330309B2 (en) 2013-12-20 2016-05-03 Google Technology Holdings LLC Correcting writing data generated by an electronic writing device
DE102014106837B4 (de) 2014-05-15 2018-12-27 Stabilo International Gmbh Driftkompensation / Parallelminimierung
DE102014106839B4 (de) * 2014-05-15 2019-02-07 Stabilo International Gmbh Driftkompensation für einen elektronischen Schreibstift
JP6757114B2 (ja) * 2014-06-03 2020-09-16 シャープ株式会社 入力表示装置
US9727161B2 (en) 2014-06-12 2017-08-08 Microsoft Technology Licensing, Llc Sensor correlation for pen and touch-sensitive computing device interaction
US9870083B2 (en) 2014-06-12 2018-01-16 Microsoft Technology Licensing, Llc Multi-device multi-user sensor correlation for pen and computing device interaction
US20150370350A1 (en) * 2014-06-23 2015-12-24 Lenovo (Singapore) Pte. Ltd. Determining a stylus orientation to provide input to a touch enabled device
KR101484916B1 (ko) * 2014-08-25 2015-01-22 주식회사 트레이스 위치 확인의 정확도를 높인 디지타이저
US10338725B2 (en) 2014-09-29 2019-07-02 Microsoft Technology Licensing, Llc Wet ink predictor
US10061449B2 (en) 2014-12-04 2018-08-28 Apple Inc. Coarse scan and targeted active mode scan for touch and stylus
KR20160143428A (ko) * 2015-06-05 2016-12-14 엘지전자 주식회사 펜 단말기 및 그 제어방법
US10338807B2 (en) 2016-02-23 2019-07-02 Microsoft Technology Licensing, Llc Adaptive ink prediction
CZ2016111A3 (cs) * 2016-02-25 2016-11-09 O.Pen S.R.O. Bezdrátové polohovací pero s tlakovým hrotem
US9965056B2 (en) 2016-03-02 2018-05-08 FiftyThree, Inc. Active stylus and control circuit thereof
US10474277B2 (en) 2016-05-31 2019-11-12 Apple Inc. Position-based stylus communication
JP6919164B2 (ja) * 2016-09-07 2021-08-18 カシオ計算機株式会社 磁場計測装置、電子時計、計測磁場の補正設定方法、及びプログラム
CN106547402A (zh) * 2016-10-31 2017-03-29 广州华欣电子科技有限公司 一种触控方法、触摸框和智能笔
MX2016014550A (es) * 2016-11-07 2018-05-07 Jesus Mares Carreno Pluma caligrafica inteligente.
CN106778568B (zh) * 2016-12-05 2020-08-21 上海携程商务有限公司 基于web页面的验证码的处理方法
KR102282319B1 (ko) * 2018-11-27 2021-07-29 한국생산기술연구원 상호 보완형 복합센서를 이용한 인체 동작인식장치 및 인체 동작인식방법
AU2021209690A1 (en) 2020-01-22 2022-08-04 Ceraxis Health, Inc. Handheld stylus and base and methods of use
CN111169201B (zh) * 2020-03-04 2024-03-26 黑龙江大学 练字监测器及监测方法
IT202000006793A1 (it) 2020-03-31 2021-10-01 Milano Politecnico Strumento di scrittura, sistema e metodo per il monitoraggio e l'analisi trasparente della scrittura

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4742558A (en) * 1984-02-14 1988-05-03 Nippon Telegraph & Telephone Public Corporation Image information retrieval/display apparatus
US5247137A (en) * 1991-10-25 1993-09-21 Mark Epperson Autonomous computer input device and marking instrument
US5294792A (en) * 1991-12-31 1994-03-15 Texas Instruments Incorporated Writing tip position sensing and processing apparatus
JPH0644005A (ja) * 1992-01-24 1994-02-18 Seiko Instr Inc 座標入力装置
JPH08502865A (ja) * 1992-09-01 1996-03-26 アプル・コンピュータ・インコーポレーテッド 改良されたベクトルの量子化
JPH06230886A (ja) * 1993-01-28 1994-08-19 Photo Device Kk ペンシル型入力装置
US6243071B1 (en) * 1993-11-03 2001-06-05 Apple Computer, Inc. Tool set for navigating through an electronic book
DE69425412T2 (de) * 1993-11-23 2001-03-08 Ibm Anlage und Verfahren zur automatischen Handschrifterkennung mittels eines benutzerunabhängigen chirographischen Labelalphabets
DK0686291T3 (da) * 1993-12-01 2001-12-03 Motorola Inc Kombineret ordbogsbaseret og sandsynlig-karakterstreng-håndskriftsgenkendelse
US5774602A (en) * 1994-07-13 1998-06-30 Yashima Electric Co., Ltd. Writing device for storing handwriting
EP0693739A3 (en) * 1994-07-13 1997-06-11 Yashima Denki Kk Method and apparatus capable of storing and reproducing handwriting
US6052481A (en) * 1994-09-02 2000-04-18 Apple Computers, Inc. Automatic method for scoring and clustering prototypes of handwritten stroke-based data
US5661506A (en) * 1994-11-10 1997-08-26 Sia Technology Corporation Pen and paper information recording system using an imaging pen
WO1996015837A1 (en) * 1994-11-21 1996-05-30 Compaq Computer Corporation Interactive play with a computer
JP3668275B2 (ja) * 1995-03-15 2005-07-06 シャープ株式会社 デジタル情報記録方法、解読方法および解読装置
JP3474022B2 (ja) * 1995-04-20 2003-12-08 株式会社日立製作所 地図表示装置、地図表示方法、地図表示装置用演算処理部およびナビゲーションシステム
JPH0944592A (ja) * 1995-05-23 1997-02-14 Olympus Optical Co Ltd 情報再生システム
US6044165A (en) * 1995-06-15 2000-03-28 California Institute Of Technology Apparatus and method for tracking handwriting from visual input
US6081261A (en) * 1995-11-01 2000-06-27 Ricoh Corporation Manual entry interactive paper and electronic document handling and processing system
US5902968A (en) * 1996-02-20 1999-05-11 Ricoh Company, Ltd. Pen-shaped handwriting input apparatus using accelerometers and gyroscopes and an associated operational device for determining pen movement
US6181329B1 (en) * 1997-12-23 2001-01-30 Ricoh Company, Ltd. Method and apparatus for tracking a hand-held writing instrument with multiple sensors that are calibrated by placing the writing instrument in predetermined positions with respect to the writing surface
US6330976B1 (en) * 1998-04-01 2001-12-18 Xerox Corporation Marking medium area with encoded identifier for producing action through network
US6577299B1 (en) * 1998-08-18 2003-06-10 Digital Ink, Inc. Electronic portable pen apparatus and method
WO2000025293A1 (en) * 1998-10-23 2000-05-04 Raphael Cohen Pen-input device
US6226636B1 (en) * 1998-11-20 2001-05-01 Philips Electronics North America Corp. System for retrieving images using a database
US6278968B1 (en) * 1999-01-29 2001-08-21 Sony Corporation Method and apparatus for adaptive speech recognition hypothesis construction and selection in a spoken language translation system
AU2628301A (en) * 2000-01-06 2001-07-16 Zen Optical Technology Llc Pen-based handwritten character recognition and storage system
US6479768B1 (en) * 2000-05-17 2002-11-12 Hoton How Precision data acquisition using magnetomechanical transducer
US6585154B1 (en) * 2000-08-03 2003-07-01 Yaakov Ostrover System, method and devices for documents with electronic copies attached thereto
US20020163511A1 (en) * 2000-11-29 2002-11-07 Sekendur Oral Faith Optical position determination on any surface
US20030063702A1 (en) * 2000-12-12 2003-04-03 General Electric Company. Method and apparatus for maintaining proper noble metal loading for a noble metal application process for water-cooled nuclear reactors
KR100408518B1 (ko) * 2001-04-12 2003-12-06 삼성전자주식회사 컴퓨터용 전자펜 데이타 입력장치 및 좌표 측정 방법
US7176906B2 (en) * 2001-05-04 2007-02-13 Microsoft Corporation Method of generating digital ink thickness information
DE10132243C2 (de) * 2001-07-04 2003-04-30 Fraunhofer Ges Forschung Kabelloses Interaktionssystem für Anwendungen der virtuellen Realität
US6933933B2 (en) * 2001-10-02 2005-08-23 Harris Corporation Pen cartridge that transmits acceleration signal for recreating handwritten signatures and communications
US6744967B2 (en) * 2001-12-20 2004-06-01 Scientific-Atlanta, Inc. Program position user interface for personal video recording time shift buffer
GB2389759A (en) * 2002-06-12 2003-12-17 Zarlink Semiconductor Ltd A signal processing system and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019231056A1 (ko) * 2018-06-01 2019-12-05 엘지전자 주식회사 포인팅장치

Also Published As

Publication number Publication date
KR20040069176A (ko) 2004-08-04
CN100432904C (zh) 2008-11-12
US20040140962A1 (en) 2004-07-22
CN1517944A (zh) 2004-08-04
EP1441279A2 (en) 2004-07-28
JP2004227563A (ja) 2004-08-12
EP1441279A3 (en) 2006-08-09
BR0306022A (pt) 2005-05-17

Similar Documents

Publication Publication Date Title
KR20110018859A (ko) 입력 장치의 움직임을 나타내는 데이터를 생성하기 위한 입력 장치 및 화상 데이터 생성 방법
US7952561B2 (en) Method and apparatus for controlling application using motion of image pickup unit
KR100465241B1 (ko) 가상 필기 평면을 이용한 모션 인식 시스템 및 그 인식방법
KR101617829B1 (ko) 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치
JP5251482B2 (ja) 入力装置およびデータ処理システム
US10474252B2 (en) Electronic pen
KR101778807B1 (ko) 데이터 융합을 이용하는 모션 캡처 포인터
CN109798891B (zh) 基于高精度动作捕捉系统的惯性测量单元标定系统
CN110785729B (zh) 用于产生模拟笔画且用于模拟笔画的数字存储的电子装置和用于使模拟记录数字化的输入系统及方法
US20090183929A1 (en) Writing system with camera
EP1870670A1 (en) Method and apparatus for space recognition according to the movement of an input device
JP6943988B2 (ja) 移動可能物体の制御方法、機器およびシステム
US20130162785A1 (en) Method and system for fusing data arising from image sensors and from motion or position sensors
JP2011075559A (ja) 動き検出装置および方法
US20120013578A1 (en) Pen-shaped pointing device and shift control method thereof
KR100667853B1 (ko) 휴대용 기기의 화면 스크롤 장치 및 방법과 그 방법을수행하는 프로그램이 기록된 기록 매체
KR20070077598A (ko) 제스쳐의 2차원 궤적을 추정하는 방법 및 장치
CN102375567A (zh) 笔状指示装置、位移信息提供方法及位移信息提供系统
KR102207510B1 (ko) 모션 신호와 마우스 신호를 사용하여 호스트 장치를 제어하기 위한 전자 장치
JP2004288188A (ja) マグネチックセンサを用いたペン型入力システムおよびその軌跡復元方法
US20150116285A1 (en) Method and apparatus for electronic capture of handwriting and drawing
JP4325332B2 (ja) ペン型データ入力装置及び該プログラム
JP2014241161A (ja) 入力装置およびデータ処理システム
KR100480792B1 (ko) 공간형 정보 입력 방법 및 장치
JP5841958B2 (ja) データ処理システム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
SUBM Surrender of laid-open application requested