KR20040082558A

KR20040082558A - 관성항법시스템을 이용한 펜형 공간 입력시스템 및 그궤적 복원 방법

Info

Publication number: KR20040082558A
Application number: KR1020030017142A
Authority: KR
Inventors: 장욱; 김동윤; 강경호; 최은석; 방원철
Original assignee: 삼성전자주식회사
Priority date: 2003-03-19
Filing date: 2003-03-19
Publication date: 2004-09-30
Also published as: KR100512963B1

Abstract

관성항법시스템을 이용하여 공간 상에 필기한 궤적을 복원하도록 설계된 펜형 입력시스템이 개시된다. 시스템은 펜 선단측으로부터 각각 2축을 검출하는 제1 및 제2 가속도센서가 순차적으로 위치하며, 각각 x,y,z축 방향에 대한 각속도를 검출하는 제1 내지 제3 자이로센서가 순차적으로 위치한다. 그리고 시스템 제어부는 자이로센서들 및 가속도센서들을 통해 검출된 관성측정치를 펜 선단의 측정값으로 변환하는 과정 및 칼만 필터를 통해 펜 시스템의 자세를 추정하여 관성항법시스템의 오차를 보정하는 과정을 수행하여 필기 궤적을 복원한다. 이와 같은 펜형 입력시스템은, 펜 선단의 값으로 궤적을 인식하는 것 및 펜의 추정된 자세로부터 지속적으로 적용된 관성항법시스템의 오차를 보정할 수 있어 소형의 펜형 시스템에서 추가의 센서 없이 정확한 궤적 복원을 가능하게 한다.

Description

관성항법시스템을 이용한 펜형 공간 입력시스템 및 그 궤적 복원 방법{Pen-shaped input device using inertial measurement units and method thereof}

본 발명은 펜형 입력시스템에 관한 것으로서, 특히, 공간 상에 필기한 궤적을 복원하도록 설계된 펜형 입력 시스템 및 그 궤적 복원 방법에 관한 것이다.

최근 PDA, 셀룰러폰, 노트북 등 개인용 모바일 기기 시장이 광범위하게 확대되고 있다. 이러한 개인용 모바일 기기들은 휴대가 간편하여 언제 어디서나 정보를 활용할 수 있도록 하고자 하는 유비쿼터스 환경에 가장 부합된다고 할 수 있다. 즉, 최근의 모바일 기기는 종전의 정보 이용 환경이 가정 내에 설치된 데스크탑 PC 등에 한정되었던 것에서 이동중에도 정보의 이용이 가능하도록 설계됨으로서, 크게 패러다임을 변화시키고 있다.

그러나 이와 같은 모바일 기기들은 휴대가 간편한 반면, 시스템의 부피가 작아져 사용자가 디스플레이를 통한 정보 인식 및 입력에 다소 불편함이 따르는 문제점 또한 가지고 있었다. 게다가 최근 개인 휴대용 단말기가 점차 소형화되어 손목시계 형태나 지갑 형태의 단말기로 변화하는 기술적 추세에서는 점차적으로 표시화면도 감소되기 때문에 기존의 정보 입력 방법은 한계를 가질 수 밖에 없다. 이와 같이 모바일 기기들에 있어서 휴대의 용이성과 정보 입력의 용이성은 서로 상반되므로 이를 극복하기 위한 방법이 지속적으로 연구 개발되고 있다.

현재 상용화 되었거나 연구 개발중인 펜형 입력장치들은 크게 두가지로 나누어 볼 수 있다. 첫째는, 펜 외부에서 펜 선단의 좌표를 측정하는 방식이고, 둘째는, 펜 내부에서 펜의 운동을 측정하는 방식이다.

펜 외부에서 펜 선단의 좌표를 측정하는 유형으로는, 3각 측량방식, 전자파 또는 초음파를 이용하는 방식, 초음파와 가속도 센서를 융합한 방식 등이 있다. 그러나 펜 외부에서 펜 선단의 좌표를 측정하는 경우에는, 펜의 동작을 외부에서 검출하기 위한 별도의 센서가 요구되어 비용의 증가 및 휴대에 불편이 따르는 문제점을 갖는다.

한편, 펜 내부에서 펜 선단의 좌표를 측정하는 유형으로는, 펜 선단에 장착된 볼의 회전을 이용하는 방식, 펜에 작용하는 힘을 측정하는 방식이 있다. 그러나 이는 펜이 2차원 평면에 접촉되어 있지 않으면, 펜의 운동을 검출할 수 없다는 단점이 있다.

또한, 펜 내부에서 펜의 좌표를 측정하는 방식의 또 다른 유형으로는 펜 내부에 2축 또는 3축 가속도 센서를 장착하고, 이를 이용하여 펜의 운동을 구하는 방식이 있다. 그러나, 이 방식은 가속도 센서를 펜 선단에 장착하지 않고 펜 중심부에 장착하고 있어 중심축의 기울기에 대한 영향이 고려되지 않아 오차 발생 소지가 높은 문제점을 갖는다. 또한, 가속도신호를 이중 적분하는 것으로 위치 운동을 구하는 데 있어서, 시간이 지날수록 누적 오차가 증가하여 정확한 운동 측정에 어려움이 따르는 문제점이 있었다.

위와 같이 센서 장착 위치에 따른 펜의 경사각 문제를 해결하기 위하여 미국 특허문서 US 5434371(공개일자, 1995.06.18)에는 2축 이상의 가속도 센서를 펜 선단으로 이동시키고, 신호처리부는 펜의 상부로 이동하는 방법을 제안하고 있다. 그러나 US 5434371는 센서와 신호처리부가 분리되어 있어 전기적인 잡음의 영향이 크고, 펜 선단에 잉크를 장착할 수 없다는 문제점이 있다. 또한, 미국 특허문서 US 6181329(공개일자, 2001-01-30)에는 펜 내부에 3축 가속도 센서와 3축 자이로 센서를 내장하고, 일반적인 3차원 운동을 하는 펜의 위치를 구하는 방법을 제시하고 있다. 그러나 US 6181329에는 인식 위치가 펜 선단이 아닌 센서의 장착 위치를 기준으로 필기 궤적을 복원하므로 잡음 등의 원인으로 정확한 복원이 어렵다는 문제점이 있었다.

한편, 위와 같이 가속도 정보와 같은 관성 측정치를 이용하여 사용자의 필기 궤적을 복원하는 시스템은, 일반적으로 군사 및 항법 분야에서 널리 사용되는 관성항법시스템(INS: Inertial Navigation System)의 이론을 적용하고 있다. INS는 관성측정치를 이용하여 3차원 공간 상에서 운동하는 물체의 위치, 속도, 자세 등과 같은 항법 정보를 계산한다. 이론적으로 스트랩다운 INS(Strapdown INS: SDINS)의 경우 3축 가속도와 3축 각속도만으로 3차원 운동 물체에 대해 필요한 정보를 얻을 수 있다. SDINS는 각속도 측정치의 적분치를 이용하여 시스템의 자세 계산 및 가속도를 보정하고, 보정된 가속도를 한번 적분하여 속도, 두번 적분하여 위치 정보를 계산한다.

그러나 관성항법을 적용하는 경우 가속도의 이중 적분과 각속도의 적분을 통해 위치 및 각도를 구하는 데 있어서, 센서로부터 출력된 신호의 잡음이나 드리프트에 의해 가속도계의 경우는 시간의 제곱, 각속도계의 경우는 시간에 비례하는 형태로 누적 오차가 증가하게 되어 정밀한 3차원 운동의 추정에 어려움이 발생한다. 통상 이러한 문제를 해결하기 위하여 SDINS는 GPS와 같은 시스템으로부터 기준신호를 제공 받아 주기적 또는 비주기적으로 오차를 보정한다. 그렇지만 대형 항법 장치가 아닌 펜형 입력장치와 같은 경우 크기, 연산량, 가격 등을 고려할 때, 기존 관성항법분야에서 사용하는 오차 보정 방법을 그대로 적용하기는 어렵다는 문제점이 있다.

본 발명의 목적은 상기와 같은 문제점을 해결하기 위하여 외부 센서를 추가하지 않으면서, 관성 측정치만을 이용하여 소형 시스템에서도 3차원 공간 상의 필기 궤적을 정확하게 복원할 수 있는 펜형 입력 시스템 및 그 복원방법을 제공하는 데 있다.

도 1은 본 발명의 실시예에 따른 펜형 공간 입력시스템의 개략적인 블록도,

도 2는 펜형 동체가 갖는 동체좌표계와 절대좌표계의 관계를 나타낸 도면,

도 3은 본 발명에 따른 펜형 공간 입력시스템의 센서 배치 구조를 나타낸 도면,

도 4는 동체좌표계와 절대좌표계의 벡터 관계를 나타낸 도면,

도 5는 도 1의 제어부에서 펜형 입력시스템의 초기 자세를 계산하기 위하여 이용되는 연산 처리 블록도,

도 6은 단일 획문자 그래피티 표

도 7은 그래피티 표의 각 숫자 및 문자에 대해 도 1의 펜형 입력 시스템을 이용하여 태블릿에 필기한 궤적 복원 결과를 나타낸 도면,

도 8a 내지 도 8d는 각각 숫자 2, 숫자 9, 영문자 E, 그리고 숫자 7을 태블릿에 필기했을 때와 3차원 공간 상에 필기했을 때 나타나는 결과를 비교하여 나타낸 도면, 그리고

도 9는 영문자 SAIT를 3차원 공간 상에서 연속적으로 필기했을 때의 궤적 복원 결과를 나타낸 도면이다.

*도면의 주요 부분에 대한 부호의 설명*

110: 모션검출부 120: 디스플레이

130: 송수신부 140: 제어부

상기의 목적을 달성하기 위한 본 발명의 펜형 입력 시스템은, 스트랩다운 관성항법시스템((Strapdown INS: SDINS)을 이용하여 3차원 공간에 필기된 궤적을 복원하는 펜형 공간 입력시스템에 있어서, 펜형 몸체 내부에 장착되어 운동에 따른 관성 측정치를 검출하는 모션검출부, 및 상기 모션검출부를 통해 검출된 상기 관성측정치를 펜 선단의 값으로 변환하고, 변환된 상기 펜 선단 값으로 상기 펜형 몸체의 필기 궤적을 복원하는 제어부를 포함한다.

상기 모션검출부는, 상기 펜형 몸체의 3차원 운동에 따른 가속도를 각 축방향에 대해 검출하는 복수의 가속도 센서들, 및 상기 펜형 몸체의 3차원 운동에 따른 각속도를 각 축방향에 대해 검출하는 복수의 가속도 센서들을 포함한다. 바람직하게는, 상기 복수의 가속도 센서들 및 상기 복수의 각속도 센서들은, 각각 2축 가속도 센서 2개와 1축 각속도 센서 3개를 사용한다. 그리고 상기 복수의 가속도 센서들 및 상기 복수의 각속도 센서들은, 상기 펜선단으로부터 순차적으로 가속도 센서들과 각속도 센서들이 배치된다.

상기 제어부는, 상기 가속도 센서들 및 상기 각속도 센서들로부터 검출된 각각의 축방향 정보로부터 칼만필터를 통해 상기 펜형 몸체의 초기 자세를 계산하고, 상기 초기 자세 값을 이용하여 상기 SDINS의 오차를 보정해 준다.

또한, 상기 제어부는, 상기 펜형 몸체에 운동여부를 감지하는 장치가 별도로 존재하지 않으므로, 상기 각속도 센서들로부터 검출된 상기 각 축방향 측정치를 이용하여 상기 펜형 몸체의 운동여부를 판단한다.

상기의 목적을 달성하기 위한 본 발명의 궤적 복원 방법은, 스트랩다운 관성항법시스템(Strapdown INS: SDINS)을 이용하여 3차원 공간에 필기된 궤적을 복원하는 펜형 공간 입력시스템의 궤적 복원 방법에 있어서, 펜형 몸체의 운동에 따른 관성 측정치를 검출하는 단계, 상기 검출 단계에서 측정된 관성측정치를 상기 펜형 몸체 선단의 측정값으로 변환하는 단계, 및 상기 변환된 값에 따라 상기 펜형 몸체의 필기 궤적을 복원하는 단계를 포함한다.

상기 관성측정치를 검출하는 단계는, 복수의 가속도 센서들을 통해 상기 펜형 몸체의 3차원 운동에 따른 가속도를 각 축방향에 대해 검출하며, 복수의 가속도 센서들을 통해 상기 펜형 몸체의 3차원 운동에 따른 각속도를 각 축방향에 대해 검출한다. 상기 복수의 가속도 센서들 및 상기 복수의 각속도 센서들은, 각각 2축 가속도 센서 2개와 1축 각속도 센서 3개를 사용하며, 상기 복수의 가속도 센서들 및 상기 복수의 각속도 센서들은, 상기 펜 선단으로부터 순차적으로 가속도 센서들과 각속도 센서들이 배치된다.

또한, 상기 궤적 복원 방법은, 상기 각속도 센서들로부터 검출된 정보를 기초로 칼만필터를 이용하여 상기 펜형 몸체의 초기 자세를 계산하는 단계, 및 상기 계산된 초기 자세 값을 이용하여 상기 SDINS의 오차를 보정하는 단계를 더 포함한다.

또한, 상기 궤적 복원 방법은 상기 각속도 센서들로부터 검출된 각 축방향 측정치를 기초로 상기 펜형 몸체의 운동여부를 판단하는 단계를 더 포함한다.

이하 첨부한 도면을 참조하여 본 발명을 상세하게 설명한다.

도 1은 본 발명의 실시예에 따른 펜형 입력시스템의 개략적인 블록도이다. 시스템(100)은, 모션검출부(110), 디스플레이(120), 송수신부(130), 그리고 제어부(140)를 포함한다.

모션검출부(110)는, 시스템 몸체의 위치변화에 따른 관성 측정치를 연속적으로 검출한다. 이를 위해 모션검출부(110)는 복수의 자이로센서, 복수의 가속도센서 및 각 센서들로부터 전달된 전기적신호로부터 연산처리를 수행하는 연산회로를 포함하는 구성을 갖는다. 바람직하게는 각각 1축의 각속도를 검출하는 3개의 자이로센서와 2축을 검출하는 2개의 가속도 센서를 구비한다. 그 배열은 도 3에서처럼 펜 선단측으로부터 각각 2축을 검출하는 제1 및 제2 가속도센서가 순차적으로 위치하며, 각각 x,y,z축 방향에 대한 각속도를 검출하는 제1 내지 제3 자이로센서가 순차적으로 위치한다.

디스플레이(120)는, 시스템 몸체의 모션, 즉 필기 궤적을 화면으로 표시한다. 여기서, 디스플레이(120)는 하나의 몸체를 갖는 펜형 입력시스템 내에 장착될 수도 있으며, 더 나아가서는 타 시스템 내에 장착된 화면 표시 가능한 수단이 될 수도 있다.

송수신부(130)는, 제어부의 제어 하에 인식된 시스템의 필기 궤적 정보 또는 필기 궤적에 대응하는 제어신호를 외부의 타 시스템에 전송한다.

제어부(140)는, 모션검출부(110)에서 검출된 시스템 몸체의 관성측정치를 토대로 공간 상에서 발생된 필기 궤적을 인식한 후, 궤적정보를 디스플레이(120)에 표시되도록 하거나 송수신부(130)를 통해 궤적정보 또는 궤적정보에 대응하는 제어신호를 타 시스템에 전송되도록 한다. 이때, 제어부(140)는, 모션검출부(110)의 자이로센서들 및 가속도센서들을 통해 검출된 관성측정치를 펜 선단의 측정값으로 변환하는 과정 및 칼만 필터를 통해 펜 시스템의 자세를 추정하여 오차를 보정하는 과정을 수행한다.

본 발명의 이해를 돕기 위하여 관성항법시스템에 대한 설명을 부연한다. 장치의 관성측정치를 이용하여 물체의 3차원 상에서의 궤적을 추정하는 INS는 크게 두 종류로 구분할 수 있다. 하나는 메카나이즈드 플랫폼(Mechanized platform) 시스템이며, 또 다른 하나는 SDINS이다.

메카나이즈드 플랫폼 시스템은 기계적인 장치를 이용하여 플랫폼의 자세 변화에 상관없이 INS항법 좌표계의 각 축을 정렬한다. 메카나이즈드 플랫폼은 정확도가 우수하지만 기계적인 장치가 이용됨에 따라 대형이며 고가이다. 그리고 SDINS는 기계적인 장비 없이 동체에 장착된 가속도 센서와 각속도 센서로부터 얻어진 측정치로부터 위치, 속도, 자세 등과 같은 항법 정보를 계산한다. SDINS는 소형 경량이며, 최근 발전하고 있는 MEMS(Micro Electro Mechanical System) 기술을 적용하는 경우, 저가격의 신뢰성 높은 시스템을 구현하는 것이 가능해진다.

위 두 시스템 모두 관성측정치를 구하고, 그 관성측정치에 미분 방정식을 이용하여 위치, 속도, 자세 등의 항법 정보를 계산한다. 즉, 검출된 각속도의 적분치를 이용하여 물체의 자세를 계산한다. 또한, 각속도의 적분치를 통해 장착된 가속도 센서로부터 검출되는 동체 가속도를 절대 좌표계에서의 가속도로 변환한다. 그리고 절대 좌표계로 변환된 가속도를 다시 적분하여 속도와 위치를 계산하게 된다.

위 두 시스템은 앞서 말한 것처럼 각속도의 이중 적분에 따른 오차가 누적되어 발생되므로 정확한 필기 궤적을 복원하기 위하여 기준신호를 제공할 수 있는 별도의 수단이 이용된다. 그렇지만 본 발명의 펜형 입력시스템은 공간 상에서 사용자의 필기 동작이 자유로워야 하므로 크기 및 무게가 가급적 소형으로 제한된다고 할 수 있다. 따라서 본 발명의 시스템은 위 시스템들과 같이 별도의 기준신호제공수단을 장착하기는 어려우며, 소형의 시스템이 갖는 크기의 한계를 극복할 수 있도록 관성측정치만으로 오차를 보정할 수 있도록 하고 있다. 이하에 본 발명의 펜형 입력시스템에서 관성측정치만으로 필기 궤적 복원시의 오차를 보정하는 방법에 대해 상세하게 설명한다.

도 2는 3차원 공간에서 자유 운동을 하는 펜형 입력장치의 동체 좌표계와 시스템이 갖는 절대 좌표계와의 관계를 나타낸다. 가속도계와 각속도계는 입력장치의 동체에 장착되어 동체좌표계의 3축에서 측정되는 가속도와 각속도를 측정한다. 절대 좌표계의 Z축은 중력방향으로 정렬하며, X-Y평면은 중력 방향에 수직으로 정렬된다.

3차원 공간 상에서 절대 좌표계에 대한 펜 입력장치의 상대 위치를 파악하기 위해서는 펜의 자세를 계산하고, 이로부터 동체좌표계에서 측정된 가속도 측정치를 절대좌표계의 위치값으로 변환하여야 한다. 3차원 공간 상에서 물체의 자세는 오일러(Euler) 각으로 표현되며, 오일러 각에 의해 절대좌표계와 동체좌표계에서의 각속도 관계는 다음의 수학식 1로 나타낼 수 있다.

{: 롤(roll),: 피치(pitch),: 요(yaw),

: 각각 동체 좌표계의 x,y,z축을 중심으로 검출된 각속도}

위와 같은 비선형 미분 방정식에 의해 동체좌표계의 x, y, z축을 회전변환하면, 절대 좌표계에서 동체 좌표의 상대 위치를 구할 수 있다.

펜 시스템에서 장착된 가속도계로부터 측정된 값는 다음 수학식 2를 통해 절대좌표계에서 본 가속도 값으로 산출된다.

{ n: 절대좌표계, b: 동체좌표계, A_n: 절대좌표계에서 본 가속도 벡터

G: 절대좌표계에서 본 중력 가속도 벡터, G = [0 0 g]^T, g = 9.8m/s²

: 방향 코사인 행렬 }

여기서, 방향 코사인 행렬은 다음 수학식 3과 같다.

위 수학식 1과 수학식 2로부터 3차원 공간 상에서 움직이는 펜 시스템의 운동 방정식은 다시 수학식 4로 나타낼 수 있다.

{P_n: 절대 좌표계에서 본 펜 시스템의 위치

V_n: 절대 좌표계에서 본 펜 시스템의 속도 벡터}

위 수학식 4는 항법 방정식이라 불리며, 이를 이용해 가속도 측정치 A_b와 각속도 측정치 ω_b로부터 펜 시스템의 위치, 속도, 자세를 계산할 수 있다. 그러나 항법 방정식은 모든 가속도 측정치가 하나의 지점에서 측정된다는 가정 하에 계산되므로, 실제 시스템에서는 가속도 센서에서 측정된 동체 가속도를 가상의 지점에서 측정된 동체 가속도로 변환하는 과정이 필요하다.

도 3은 본 발명의 실시예에 따른 펜형 시스템의 센서 배치도이다. 펜형 시스템은, 펜의 선단 쪽으로로부터, 제1 가속도 센서, 제2 가속도 센서, 제1, 자이로 센서, 제2 자이로 센서, 그리고 제3 자이로 센서가 배치된다.

제1 가속도 센서는 펜 선단 까지의 거리가 r₁= [0 0 -r₁]^T이며, x축과 y축 방향으로 발생하는 가속도 A_ax1, A_ay1을 검출한다. 제2 가속도 센서는 펜 선단 까지의거리가 r₂=[0 0 -r₂]^T이며, z축 방향으로 발생되는 가속도 A_az2를 검출한다. 이때, 제2 가속도 센서의 y축 방향 검출신호는 무시한다. 제1 내지 제3 자이로센서는 각각 x, y, z축 방향을 중심으로 각속도 ω_x,ω_y,ω_z를 검출한다. 이때, z축은 펜의 중심축과 일치되도록 한다.

도 4는 도 3에 보인 펜의 동체 좌표에 대한 절대 좌표계와의 관계를 나타낸다. 절대 좌표계에서 본 펜 동체의 좌표 P는 다음 수학식 5와 같이 나타낼 수 있다.

{a: 절대좌표계, b: 동체좌표계

: b좌표계의 원점으로부터 P까지의 벡터

R: b좌표계의 원점으로부터 a좌표계 원점까지의 벡터

r: a좌표계의 원점으로부터 P까지의 벡터

: 방향 코사인 행렬}

절대 좌표계에서 본 a좌표계의 원점의 속도는 위 수학식 5를 일차 미분하는 것으로 얻을 수 있으며, 다음 수학식 6으로 나타낼 수 있다.

{: b좌표계에서 본 동체의 좌표 P의 속도

: b좌표계에서 a좌표계 원점의 속도 }

여기서,,의 관계식을 이용하였으며,는 b좌표계에 대한 a좌표계의 회전 각속도이다.

절대좌표계 b에서 본 a좌표계의 r에 대한 가속도는 위 수학식 6을 다시 미분하는 것으로 얻을 수 있으며, 다음 수학식 7과 같이 나타낼 수 있다.

여기서,는 a좌표계에서 본 r의 가속도이다.

위 수학식 7에서

,

는 펜 선단의 가속도로 설정하면, 다음 수학식 8과 같은 관계가 성립된다.

여기서, r은 펜 선단을 원점으로 하는 동체 좌표계 b에서 가속도 센서의 위치를 나타내며, Aa는 도 3의 제1 및 제2 가속도 센서로부터 얻을 수 있는 측정치이다.

위 수학식 8로부터 도 1에 보인 시스템의 제어부는 제1 가속도 센서 및 제2 가속도 센서를 통해 측정되는 가속도를 다음 수학식 9를 통해 펜 선단의 가속도로 변환한다.

{ A_ax1,A_ax2: 각각 도 3에 보인 제1 가속도 센서의 x, y축 방향에 대한 측정치

A_az2: 도 3에 보인 제2 가속도 센서의 z축 방향에 대한 측정치

ω_bx, ω_by, ω_bz: 도 3에 보인 제1 내지 제3 각속도 센서 각각으로부터 각 축방향에 대한 측정치}

한편, 펜형 시스템의 초기 자세는 시스템의 오차 발생 여부에 매우 큰 영향을 미치므로 오차를 보정해 줄 것이 요구된다. 따라서 도 1에 보인 펜형 입력시스템은 사용자의 공간 필기 궤적을 복원하는 데 있어서, 칼만 필터를 이용한 초기 자세의 계산을 통해 오차를 보정해 준다.

칼만 필터를 이용하기 위해서는 먼저 시스템의 프로세스 모델과 측정모델을 구해야 한다. 여기서는 프로세스 모델에 사용될 상태 변수로, 절대좌표계에서 펜 입력장치의 동체를 바라본 속도 V_nx,V_nx,V_nz와 오일러 각 φ, θ, ψ를 이용한다. 이 상태 변수들에 대한 시스템 동력학 방정식은 상기 수학식 4의 항법 방정식으로부터 다음 수학식 10을 통해 구할 수 있다.

또한, 모델링 오차를 가정하여 가상의 공정 잡음 ω를 추가하는 경우, 위 수학식 10은 다음 수학식 11과 같이 나타낼 수 있다.

여기서, x = [P_nV_nφ θ Ψ]^T, u = [A ω_bxω_byω_bz]^T이다.

시스템이 정지 상태인 경우, 속도는 제로(0)이며, 롤각과 피치각은 가속도계측정치로부터 구할 수 있으므로, 다음 수학식 12와 같이 나타낼 수 있다.

y = C_x+ ν

여기서, y = [V_n ^Tφ θ]^T, ν∈ R⁵인 백색 잡음 벡터, C = [0_5×3I_5×50_5×1] 이며, 롤각과 피치각은 각각 다음 수학식 13과 같이 주어진다.

여기서, G_bx, G_by, G_bz는 각각 동체 좌표계를 따라 측정되는 중력 가속도 성분이며, 가속도계 측정치로부터 구할 수 있다.

칼만 필터는 원래 선형 시스템에 대해 유도되는 시스템의 내부 상태 변수 또는 매개 변수의 추정에 사용되는 방법으로 위 수학식 11과 같은 비선형 시스템에 적용하기 위해서는 선형화 과정이 필요하다. 이를 위해 다음 수학식 14 및 수학식 15와 같은 명목 동력학 방정식과 명목 측정 방정식이 이용된다.

위 수학식 14와 수학식 15로 나타낸 명목 시스템의 변수와 위 수학식 11과 수학식 13으로 나타낸 원 시스템의 변수는 다음 수학식 16과 같은 관계를 갖는다.

수학식 16을 기반으로 수학식 11과 수학식 13을 명목 시스템 변수,,부근에서 테일러 시리즈 전개를 하면, 다음 수학식 17과 수학식 18을 얻을 수 있다.

여기서, H.O.T는 고차항을 나타내며, 무시할 수 있다.

위 수학식 17과 수학식 18을 정리하면, 다음 수학식 19와 같은 오차 동력학 방정식과 오차 측정 방정식을 얻을 수 있다.

여기서, A =이며, B =이다.

그리고 위 수학식 19의 두 방정식에 대해 상태변수 확장 기법을 적용하면, 다음 수학식 20을 얻을 수 있다.

여기서,= [ ]^T, A_a=, 그리고 C_a= [C 0_5×6]이다.

위 수학식 20은 선형 시스템이므로 여기에 칼만필터를 이용한다. 그러나 명목 시스템은 가상적인 시스템이므로 이를 실제로 구할 수는 없으므로 이 값들은 SDINS에서 계산되는 값으로 대치한다. 이때, 매 샘플링 순간마다 계산이 필요한 값은 수학식 20의 A_a와 δy이며, 이들을 계산하기 위해서는 명목 시스템의 변수 값,,를 이용한다.

위 수학식 20은 아날로그 시스템에 대해 유도되었기 때문에 실제 적용을 위해서는 이산화 과정이 필요하다. 수학식 20의 공정 잡음 공분산 행렬을 Q, 측정 잡음 공분산 행렬을 R, 그리고 샘플링 주기를 T라 할 때, 이산치 시스템의 공정 잡음분산 행렬은Q _d = QT로 주어지며, R은 아날로그 시스템과 디지털 시스템에 공통으로 사용 가능하므로 이산화 과정이 필요 없다.

따라서, 시간t = kT에서 칼만 필터에 입력되는 오차 측정치는 다음 수학식 21과 같다.

여기서, 오차 측정치는 다음 수학식 22와 같이 나타낼 수 있으며,는 SINDS의 계산값으로부터 구할 수 있다.

위와 같은 오차 측정치로부터 칼만 이득 K(kT)는 다음 수학식 23과 같이 계산된다.

여기서, P는 오차 공분산 행렬이다.

이후, 칼만 이득을 이용하여 오차 측정치에 의한 상태 변수의 오차및 공분산 행렬을 갱신한다.

수학식 21에 나타난 오차 측정치에 의해 나타나는 상태변수의 오차 및 오차 공분산 행렬은 다음 수학식 24 및 수학식 25와 같다.

위와 같이 구해진 상태 변수,는 다음 수학식 26을 통해 갱신된다.

시간t = kT에서 추정한 시간t = kT+T의 공분산 행렬은 다음 수학식 27에 의해 계산되며, 이때, 오차 상태 변수는 제로(0)로 재설정된다.

도 5는 펜 입력장치의 초기 자세를 계산하는 연산처리시스템의 블록도를 나타낸다. 도면에서 칼만 필터의 출력은 산출된 가속도, 각속도, 오일러각 및 속도의보정이 수행되도록 출력되고 있음을 보이고 있다.

위와 같이 유도된 초기 자세 계산 방법은 시스템이 정지하였을 때, 사용 가능하다. 여기서 정지의 의미는 시스템의 고정 상태와 사용자의 입력 동작 중 잠시 멈추는 상태를 포함한다. 펜형 입력시스템은 SDINS를 탑재한 플랫폼과는 다르게 운동여부를 감지하는 장치가 별도로 존재하지 않으므로 관성 측정치만을 이용하여 운동여부를 감지해야 한다. 이때, 가속도의 경우, 사용 가능한 값은 가속도 센서의 원 출력값인 동체 가속도 A_b와 SDINS가 계산한 절대좌표계에서 본 값 A_n이 있지만, A_b는 시스템 자세에 따른 변화가 심하고, A_n은 계산 과정 중에 각속도 측정치의 오차가 누적되어 영향을 미칠 수 있다. 따라서 도 1의 펜형 입력시스템에서는 각속도 측정치만을 이용하여 시스템의 운동여부(m(t))를 판단한다. 이를 위해 다음 식 28과 같은 기준을 설정한다.

이때, 시스템의 운동여부 m(t)는 3축 각속도가 모두 제로인 경우에 발화되어 운동중에도 시스템의 각속도의 부호가 바뀌는 경우 발화될 가능성이 있으므로 움직임의 검치는 다음 수학식 29를 이용한다.

여기서, t_start는 m(t)가 발화되는 시점이며, t_th는 미리 설정된 문턱치이다.

이후, 설명의 편의를 위해 M(t)가 0에서 1로 바뀌는 순간 , 즉, 운동이 시작되는 순간을 t₁이라하고, 1에서 0으로 바뀌는 순간, 즉 운동이 종료되는 순간을 t₂라 한다.

시스템이 운동 중인 경우는 순수하게 수학식 4와 같은 항법 방정식만으로 시스템의 3차원 운동을 계산한다. 그러나 초기 자세의 계산이 정확하더라도 관성 센서의 잡음, 상수 드리프트, 주위 온도, 센서들 사이의 비정렬 오차 등으로 인해 정확한 운동 추종이 불가능하다. 따라서 이러한 오차들에 대한 보정을 수행해야 정확한 운동을 검출할 수 있다. 이를 위해 시스템의 운동 전후 속도는 0(제로)이라는 물리적인 제약 조건을 이용한다. 시스템의 운동 전후 속도는 0(제로)이라는 조건을 이용한 오차 보정을 영속도 보정(Zero Velocity Compensation: ZVC)이라 한다.

ZVC는 먼저, 위의 운동여부 검출 방법에 의해 결정된 t₁에서 t₂기간 동안 SDINS에 의해 계산된 절대좌표계에서의 가속도는 다음 수학식 29와 같다.

{: SDINS에 의해 계산된 가속도

A_n: 실제 가속도

d: 오차항이다. }

운동 종료 후의 속도가 속도가 0이라는 조건으로부터 수학식 29는 다음 수학식 31을 얻을 수 있다.

여기서, 오차 d(t)는 다양하게 모델링 할 수 있으며, d(t)를 미지 상수로 두는 경우의 해는 다음 수학식 32와 같다.

위의 오차 d(t)를 통해 보정된 운동 중의 속도와는 다음 수학식 33과 같다.

영속도 보정은 위에서 설명된 운동여부 검출 결과에 따라 처리되며, 보정 과정은 다음과 같은 과정을 통해 수행된다.

먼저, t= kT 순간에 시스템의 운동여부는 위 수학식 29를 통해 감지하게 된다. 이때, M(kT-T) = 0이고, M(kT) = 1이면, 시스템이 운동을 시작하는 경우이며, t1 = kT로 설정하고, 초기 자세 계산에서 산출된 롤각과 피치각을 수학식 4에 보인항법 방정식의 초기치로 설정한다.

다음으로, M(kT-T) = 1이고, M(kT) = 1이면, 시스템이 운동 중인 경우이며, 수학식 3의 항법 방정식을 이용하여 시스템의 위치, 속도, 자세를 계산한다.

다음으로, M(kT-T) = 1이고, M(kT) = 0이면, 시스템이 운동을 종료하는 경우이며, t2 = kT로 설정하고, 수학식 31과 수학식 32를 이용하여 t1과 t2 사이의 시스템의 위치와 속도를 보정한다.

그리고 M(kT-T) = 0이고, M(kT) = 0이면, 시스템이 정지한 경우이며, 수학식 21 내지 수학식 26을 이용하여 초기 자세 계산을 수행한다.

이후, k = k+1에 대해서는 위의 과정을 반복한다.

도 6은 PDA와 같이 2차원 평면 상의 필기 동작에 대한 궤적을 복원하기 위하여 이용되는 그래피티 테이블이다. 본 발명의 펜형 입력시스템은 3차원 공간 상에서의 입력을 가정하고 있고, 여러 획으로 이루어진 문자 입력을 하는 경우 각 획 사이의 분리 문제가 있으므로, 2차원 상에서의 필기 동작과 3차원 상에서의 필기 동작을 비교하기 위하여 위와 같은 그래피티 단일 획 문자 입력 방식을 이용한다.

도 7은 그래피티 테이블의 각 숫자 및 문자에 대해 본발명의 펜형 시스템을 이용하여 2차원 평면을 갖는 테블릿에 필기된 내용을 복원한 상태를 나타낸 도면이다. 도 7에서 몇 몇 문자의 경우는 제대로 복원이 되고 있지 않은 경우가 있으나, 이는 위 실험에서 아날로그 디바이스 사의 가속도계 ADXL202E의 평가보드인 ADXL202EB-232A를 선정한 관계로, 2축 가속도만을 측정하고 있으며, 본 발명에서 제안하는 회전 변환이 수행되지 않고 있음을 감안하여 평가해야 한다.

또한, 도 8a 내지 도 8d는 각각 숫자 2, 숫자 9, 영문자 E, 숫자 7을 2차원 평면을 갖는 테블릿에 필기 했을 때 복원된 궤적과 3차원 공간 상에 필기 했을 때 복원된 궤적을 비교하여 나타낸 도면이다. 도면에서 실선은 테블릿에 필기했을 때 나타난 복원 결과이며, 점선은 공간 상에 필기했을 때 나타난 복원 결과이다.

또한, 도 9는 3차원 공간에 영문자 'SAIT'를 필기체 형태로 연속적으로 입력한 경우의 복원 결과이다. 실험결과, 약 5문자 이내로 이루어진 단어 또는 서명과 같이 빠르게 입력되는 경우는 인간이 인식할 정도의 궤적 복원이 수행됨을 알 수 있다.

이상과 같은 펜형 입력시스템 및 궤적 복원방법은 관성 센서들을 이용하여 3차원 공간에서의 필기 궤적을 복원할 때, 관성 센서 등에 의해 발생할 수 있는 누적 오차 및 각종 환경 변화에 의한 오차를 보정함으로서 보다 더 정확한 궤적 복원을 할 수 있게 한다.

또한, 소형 장치에서의 입력 동작 불편 문제를 해결할 수 있을 뿐만 아니라 직관적인 인터페이스이므로 특별한 학습 과정 없이도 입력 시스템을 이용할 수 있어 사용자의 편의를 도모할 수 있다.

이상에서는 본 발명의 바람직한 실시예에 대하여 설명하고 있으나, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

Claims

스트랩다운 관성항법시스템((Strapdown INS: SDINS)을 이용하여 3차원 공간에 필기된 궤적을 복원하는 펜형 공간 입력시스템에 있어서,

펜형 몸체 내부에 장착되어 운동에 따른 관성 측정치를 검출하는 모션검출부; 및

상기 모션검출부를 통해 검출된 상기 관성측정치를 펜 선단의 값으로 변환하고, 변환된 상기 펜 선단 값으로 상기 펜형 몸체의 필기 궤적을 복원하는 제어부;를 포함하는 것을 특징으로 하는 펜형 공간 입력시스템.
제 1항에 있어서,

상기 모션검출부는,

상기 펜형 몸체의 3차원 운동에 따른 가속도를 각 축방향에 대해 검출하는 복수의 가속도 센서들; 및

상기 펜형 몸체의 3차원 운동에 따른 각속도를 각 축방향에 대해 검출하는 복수의 가속도 센서들;을 포함하는 것을 특징으로 하는 펜형 공간 입력시스템.
제 2항에 있어서,

상기 복수의 가속도 센서들 및 상기 복수의 각속도 센서들은, 각각 2축 가속도 센서 2개와 1축 각속도 센서 3개를 사용하는 것을 특징으로 하는 펜형 공간 입력시스템.
제 3항에 있어서,

상기 복수의 가속도 센서들 및 상기 복수의 각속도 센서들은, 상기 펜 선단으로부터 순차적으로 가속도 센서들과 각속도 센서들이 배치된 것을 특징으로 하는 펜형 공간 입력시스템.
제 2항에 있어서,

상기 제어부는, 상기 복수의 가속도 센서들을 통한 상기 각 축방향 가속도 측정값에 대해 변환된 상기 펜 선단의 가속도를 다음 수학식:

{ A_ax1,A_ax2: 각각 x, y축 방향에 대한 가속도 측정치

A_az2: z축 방향에 대한 가속도 측정치

ω_bx, ω_by, ω_bz: 각각 x, y, z 축방향에 대한 각속도 측정치}

에 의해 산출하는 것을 특징으로 하는 펜형 공간 입력시스템.
제 2항에 있어서,

상기 제어부는, 상기 가속도 센서들 및 상기 각속도 센서들로부터 검출된 각각의 축방향 정보로부터 칼만필터를 통해 상기 펜형 몸체의 초기 자세를 계산하고, 상기 초기 자세 값을 이용하여 상기 SDINS의 오차를 보정해 주는 것을 특징으로 하는 펜형 공간 입력시스템.
제 6항에 있어서,

상기 제어부는, 상기 펜형 몸체의 초기 자세를 다음 수학식:

{: 측정치

C_x: 측정방정식 행렬

G_bx, G_by, G_bz: 각각 펜형 몸체의 움직임에 따른 중력가속도

k: 상수

T: 샘플링 주기 }

에 의해 산출하는 것을 특징으로 하는 펜형 공간 입력시스템.
제 2항에 있어서,

상기 제어부는, 상기 각속도 센서들로부터 검출된 상기 각 축방향 측정치를 이용하여 상기 펜형 몸체의 운동여부를 판단하는 것을 특징으로 하는 펜형 공간 입력시스템.
제 8항에 있어서,

상기 제어부는, 상기 펜형 몸체의 운동 상태를 다음 수학식:

{M(t): 운동 여부 검출

1: 운동 상태

0: 정지 상태

m(t): 운동 여부

t_start: m(t)가 발화되는 시점

t_th: 미리 설정된 문턱값 }

을 기준으로 판단하는 것을 특징으로 하는 펜형 공간 입력시스템.
스트랩다운 관성항법시스템((Strapdown INS: SDINS)을 이용하여 3차원 공간에 필기된 궤적을 복원하는 펜형 공간 입력시스템의 궤적 복원 방법에 있어서,

펜형 몸체의 운동에 따른 관성 측정치를 검출하는 단계; 및

상기 검출 단계에서 측정된 관성측정치를 상기 펜형 몸체 선단의 측정값으로 변환하는 단계; 및

상기 변환된 값에 따라 상기 펜형 몸체의 필기 궤적을 복원하는 단계;를 포함하는 것을 특징으로 하는 펜형 공간 입력시스템의 궤적 복원 방법.
제 10항에 있어서,

상기 관성측정치를 검출하는 단계는,

복수의 가속도 센서들을 통해 상기 펜형 몸체의 3차원 운동에 따른 가속도를 각 축방향에 대해 검출하며, 복수의 가속도 센서들을 통해 상기 펜형 몸체의 3차원 운동에 따른 각속도를 각 축방향에 대해 검출하는 것을 특징으로 하는 펜형 공간 입력시스템의 궤적 복원 방법.
제 11항에 있어서,

상기 복수의 가속도 센서들 및 상기 복수의 각속도 센서들은, 각각 2축 가속도 센서 2개와 1축 각속도 센서 3개를 사용하는 것을 특징으로 하는 펜형 공간 입력시스템의 궤적 복원 방법.
제 12항에 있어서,

상기 복수의 가속도 센서들 및 상기 복수의 각속도 센서들은, 상기 펜선단으로부터 순차적으로 가속도 센서들과 각속도 센서들이 배치된 것을 특징으로 하는 펜형 공간 입력시스템의 궤적 복원 방법.
제 11항에 있어서,

상기 각 축방향 가속도 측정값에 대해 변환된 상기 펜 선단의 가속도는 다음 수학식:

{ A_ax1,A_ax2: 각각 x, y축 방향에 대한 가속도 측정치

A_az2: z축 방향에 대한 가속도 측정치

ω_bx, ω_by, ω_bz: 각각 x, y, z 축방향에 대한 각속도 측정치}

에 의해 산출하는 것을 특징으로 하는 펜형 공간 입력시스템의 궤적 복원 방법.
제 11항에 있어서,

상기 각속도 센서들로부터 검출된 정보를 기초로 칼만필터를 이용하여 상기 펜형 몸체의 초기 자세를 계산하는 단계; 및

상기 계산된 초기 자세 값을 이용하여 상기 SDINS의 오차를 보정하는 단계;를 더 포함하는 것을 특징으로 하는 펜형 공간 입력시스템의 궤적 복원 방법.
제 15항에 있어서,

상기 펜형 몸체의 초기 자세는 다음 수학식:

{: 측정치

C_x: 측정방정식 행렬

G_bx, G_by, G_bz: 각각 펜형 몸체의 움직임에 따른 중력가속도

k: 상수

T: 샘플링 주기 }

에 의해 산출하는 것을 특징으로 하는 펜형 공간 입력시스템의 궤적 복원 방법.
제 16항에 있어서,

상기 각속도 센서들로부터 검출된 각 축방향 측정치를 기초로 상기 펜형 몸체의 운동여부를 판단하는 단계;를 더 포함하는 것을 특징으로 하는 펜형 공간 입력시스템의 궤적 복원 방법.
제 17항에 있어서,

상기 펜형 몸체의 운동 상태는 다음 수학식:

{M(t): 운동 여부 검출

1: 운동 상태

0: 정지 상태

m(t): 운동 여부

t_start: m(t)가 발화되는 시점

t_th: 미리 설정된 문턱값 }

을 기준으로 판단하는 것을 특징으로 하는 펜형 공간 입력시스템의 궤적 복원 방법.