KR20010052283A

KR20010052283A - 목적물을 제어하는 제어 장치 및 방법

Info

Publication number: KR20010052283A
Application number: KR1020007012071A
Authority: KR
Inventors: 크리스터 파라오이스; 올라 후고쏜; 페터 에릭손
Original assignee: 뢰그렌, 크리스터; 씨 테크놀로지스 아베
Priority date: 1998-04-30
Filing date: 1999-04-30
Publication date: 2001-06-25
Also published as: JP2002516429A; BR9910572A; EP1073946A1; AU4303399A; WO1999060469A1; IL139103A0; CN1303494A; CA2331075A1; AU758514B2

Abstract

예컨대, 컴퓨터 마우스와 같은 제어 장치는, 예컨대 컴퓨터 스크린 상의 커서 같은 목적물을 상기 이미지 기록 수단의 이동에 대한 함수로서 제어하기 위해, 바람직하게는 손으로 움직일 수 있는 이미지 기록 수단을 갖는다. 상기 제어 장치는 상기 이미지 기록 장치가 이동될 때 부분적으로 오버래핑되는 콘텐츠들을 갖는 다수의 이미지들을 기록하고, 상기 이미지들의 부분적으로 오버래핑되는 콘텐츠들은 이미지 프로세싱 수단으로 하여금 상기 이미지 기록 수단이 어떻게 움직였는가를 표시하는 제어 신호들을 발생시키도록 한다. 상기 이미지 기록 수단의 회전에 기초한 제어 방법과 제어 장치도 소개된다.

Description

목적물을 제어하는 제어 장치 및 방법{CONTROL DEVICE AND METHOD OF CONTROLLING AN OBJECT}

오늘날, 퍼스널 컴퓨터는 통상적으로 소위 컴퓨터 마우스라고 불리는 제어 장치를 구비하고 있으며, 상기 컴퓨터 마우스는 컴퓨터 스크린 상에서 커서의 위치를 지정하기 위해 사용된다. 상기 위치 지정은 사용자가 상기 마우스를 평판 위에서 움직이므로써 행해지므로, 손의 움직임이 상기 마우스가 어떻게 위치되어야 하는 지를 표시하게 된다. 상기 마우스는 위치 지정 신호를 발생시키고, 이 신호는 상기 마우스가 어떻게 움직였고 어떻게 움직여야 하는지를 표시한다. 현재 가장 흔한 타입의 마우스는 밑바닥에 볼(ball)을 갖고 있는 것이며, 이 볼은 상기 마우스가 평판 위를 지나갈 때 표면에 대한 마찰의 결과로서 회전하고, 이 연결에 의해 상기 위치 지정 신호를 발생시키는 위치 센서를 조절한다. 보통, 상기 마우스는 또한 사용자가 클릭하는 하나 이상의 버튼으로 상기 컴퓨터에 명령어들을 입력하는데 사용되기도 한다.

광학 컴퓨터 마우스도 알려져 있다. 일본 특허 제 091990277 호는 x축에 대한 하나의 CCD 라인 센서와 y축에 대한 하나의 CCD 라인 센서를 갖는 광학 마우스를 보여준다. 임의의 시간에 상기 CCD 라인 센서에 의해 기록된 데이터는 그 다음에 기록되는 데이터와 비교되며, 이에 의해 x 방향과 y 방향으로의 상기 마우스의 움직임이 결정된다.

마우스는 가상의 목적물을 제어하기 위해 사용된다. 그러나, 마우스와 비슷한 구조를 갖지만 다른 물리적인 목적물을 제어하기 위해 사용되는 다른 제어 장치들도 있다.

또한, 2차원, 즉 평면인 목적물 또는 3차원, 즉 공간상의 목적물을 제어하기 위한 제어 장치들도 있다.

WO 98/11528는 컴퓨터에 3차원 정보를 공급하는 제어 장치를 소개하고 있다. 상기 장치는 서로 수직한 방향으로 위치해 있으며, 한 방향에서 세 방향까지 가속도나 기울기를 측정할 수 있는 3개의 가속도계를 갖추고 있다. 상기 장치는 예컨대 사용자의 머리 위에 위치할 수도 있고, 핸드-헬드(hand-held;손에 들고 사용하는) 타입일 수도 있다.

3차원 정보를 컴퓨터에 입력하기 위한 컴퓨터 마우스는 미국 특허 제5,506,605호에 소개되어 있다. 이 컴퓨터 마우스는 핸드-헬드 타입으로 공간 중에서 자유로이 잡을 수 있다. 또한, 이 마우스는 다양한 물리적 성질들을 측정하기 위한 센서들을 포함하고 있는데, 이 물리적 성질들은 적절한 전자적 수단으로 해석되고, 디지털 형식으로 변환되어 상기 컴퓨터로 입력된다. 공간 중에서 상기 마우스의 위치는 위치 센서에 의해 결정되는데, 이 센서는 빛, 가속도, 회전 기타 등등에 기초한 것이다. 설명될 실시예에서는, 그 사용에 초음파 센서와 자기 센서가 포함된다. 상기 입력을 기초로 하여, 상기 컴퓨터는 상기 사용자에게 마우스의 위치에 대한 마우스의 위치 정보를 공급해 주는 진동 형태의 촉각적(tactile) 피드백을 발생시킨다.

본 발명은, 이미지 기록 수단의 움직임에 대한 함수로서 목적물을 제어하기 위하여, 바람직하게는 손으로 이동 가능하도록 만들어진 이미지 기록 수단을 갖는 제어 장치에 관련된 것이다. 본 발명은 또한 목적물을 제어하는 방법에도 관련되어 있다.

도 1은 본 발명에 따른 제어 장치의 실시예를 도식적으로 보여준다.;

도 2는 본 발명에 따른 제어 장치의 실시예 중 전자 회로부에 대한 블록 다이어그램이다.;

도 3은 본 발명에 따른 제어 장치의 두번째 실시예를 도식적으로 보여준다.;

도 4는 2차원 제어를 위한 제어 장치의 동작을 설명하는 흐름도이다.;

도 5는 도 3의 제어 장치가 사용될 수 있는 "개방 상자"를 도식적으로 보여준다.;

도 6은 본 발명에 따른, 축 e_x, e_y및 e_z를 갖는 수직 좌표계에서 제어 장치의 점(x,y,z)에서 점(x+δx, y+δy, z+δz)까지의 움직임을 보여준다.;

도 7은 제어 장치가 이동될 때, 어떤 해석 스칼라가 각 센서로부터 출력되는지를 도식적으로 보여준다.(표시는 어느 센서가 각 스칼라를 발생시키고 있는지를 보여준다.);

도 8은 상기 제어 장치가 측정 모드에서 어떻게 움직이도록 의도되는지를 도식적으로 보여준다.

본 발명의 목적은 가상의 목적물뿐만 아니라 실제적인 목적물의 2차원 및 3차원 제어에 적합한, 목적물을 제어하는 향상된 제어 장치 및 방법을 제공하는 것이다.

이 목적은 제1항 및 제23항에 따른 제어 장치와 제24항에 따른 방법에 의해 달성된다. 바람직한 실시예들은 종속항에 언급되어 있다.

첫번째 관점에 따라, 본 발명은, 실제든 가상적이든 간에 목적물을 제어하기 위해, 사용자에 의해 바람직하게는 손으로 움직일 수 있도록 만들어진 이미지 기록 수단을 갖는 제어 장치에 관련된 것이다. 상기 이미지 기록 수단은 이것이 지나가면서 부분적으로 오버래핑되는 콘텐츠들(overlapping contents)을 갖는 다수의 이미지들을 기록하며, 상기 부분적으로 오버래핑되는 콘텐츠들은 상기 이미지 기록 수단이 어떻게 움직였는가를 판단할 수 있도록 해준다.

본 발명은 한 유닛이 어떻게 움직이고 있는가를 판단하기 위해 이미지를 사용한다는 아이디어에 기반을 둔 것이다. 이 기술은 또한 2차원뿐만 아니라 3차원 제어에도 사용될 수 있다. 본 발명은 센서도 거의 필요 없고 움직이는 부분도 없기 때문에 유리하다. 움직임에 대한 완전한 정보는 상기 이미지의 오버래핑 콘텐츠에 포함되어 있다. 상기 장치가 주변의 이미지들을 기록하기 때문에, 절대적인 위치 표시를 얻을 수 있으며, 이미지 기록 수단이 특정한 위치에 있는 때를 감지할 수 있게 된다. 이것은 가속도 측정에 기반을 둔 제어 장치를 사용해서는 불가능한 것이다. 움직임에 더하여, 회전 또한 목적물을 제어하기 위해 감지되고 사용될 수 있다.

한 실시예에서는, 상기 제어 장치는 평면의 목적물을 제어하기 위해 디자인된다. 이 경우에, 상기 오버래핑되는 이미지들은 상기 이미지 기록 수단의 움직임뿐만 아니라 평면에서의 그 회전까지도 판단할 수 있게 해준다. 이것은 예컨대 볼(ball)을 이용한 통상적인 마우스로는 불가능한 것이다. 따라서, 상기 제어 장치는 평면상의 목적물의 각도 위치(angular position)를 제어하도록 만들어져 있어 유리하다. 상기 장치가 평면에서의 제어를 위해 디자인 된 경우에는, 상기 이미지 기록 수단은 상기 이미지들을 기록하기 위해 2차원 센서 표면, 소위 지역 센서(area sensor)를 갖는 감광 센서 수단을 제공받는다. 이러한 관계에 있어서, 2차원 센서 표면은 다음과 같은 사실, 즉 상기 센서 표면은 한 매트릭스의 픽셀들을 이용하여 표면의 상을 만들 수 있어야 한다는 사실을 말해준다. CCD 센서와 CMOS 센서들은 적절한 센서들의 예이다. 단일 센서는 평면에서 제어기능을 제공하기에 충분하다.

또다른 대체적인 실시예에서는, 상기 장치는 공간 상의 목적물을 제어하기 위해 디자인된다. 이 경우에도, 상기 제어 장치는 목적물의 각도 위치를 제어하도록 만들어져 있으며, 이 연결에서 상기 제어는 세 방향의 축 주위에서 발생할 수 있다. 보다 경제적인 실시예에서는, 상기 장치는 서로 다른 2방향에서 상기 이미지들을 기록하기 위한 2차원 센서 표면을 갖는 2개의 감광 센서만 있어도 충분하다.

그러나, 공간 상에서 좀더 정확한 제어를 위해, 상기 이미지 기록 수단은 세 방향, 즉 바람직하게는 서로 수직인 방향으로 이미지를 기록하기 위한 세 개의 센서를 포함하는 것이 바람직하다. 이것은 상대적으로 단순한 계산에 의해 세 개의 서로 수직인 축을 따른 해석 및 이들 축 주위의 회전을 판단할 수 있도록 해준다.

적절하게는, 상기 제어 장치는 목적물을 제어하기 위한 제어 신호를 제공하기 위한 이미지 프로세싱 수단을 갖는다. 상기 이미지 프로세싱 수단은 케이스 내의 위치가 상기 이미지 기록 수단과 동일하여도 되며, 이 케이스로부터의 출력 신호는 제어될 목적물을 제어하기 위한 제어 신호를 구성한다. 그러나, 상기 이미지 프로세싱 수단은 케이스의 다른 위치, 예컨대 커서가 제어될 목적물인 컴퓨터나 상기 제어 장치에 의해 제어될 목적물을 제어하거나 목적물의 일부를 형성하는 컴퓨터에 위치할 수 있으며, 상기 이미지 프로세싱 수단으로부터의 출력 신호는 상기 목적물을 제어하기 위한 제어 신호가 된다. 이러한 관계에 있어서, 이미지 프로세싱 수단으로부터 출력된 제어 신호는 목적물의 직접적인 제어에 사용되기에 앞서 추가적인 프로세싱을 필요로 할 수도 있다는 점이 지적되어야 한다. 상기 이미지 프로세싱 수단은 프로세서와 소프트웨어를 이용하여 구현될 수 있는 잇점이 있지만, 완전히 하드웨어만을 이용하여 구현될 수도 있다.

상기 이미지 프로세싱 수단은 적절하게는 상기 제어 신호들을 제공하기 위해 부분적으로 오버래핑되는 콘텐츠들을 이용하여 상기 이미지들의 상대적인 위치를 결정한다. 상기 제어 장치가 세 방향으로의 제어를 위해 사용되는 경우에, 이것은 적절하게는 모든 센서들에 대하여 병렬적으로 수행된다. 움직임의 거리와 방향 및 현재의 위치는 이미지들의 상대적인 위치를 기초로 결정될 수 있다.

상기 제어 장치는 측정 모드(calibration mode)를 갖고 있는데, 이 모드에서 이미지 기록 수단은 이미지 프로세싱 수단으로 하여금 이미지 기록 수단의 실제 움직임에 대한 이미지들의 상대적인 위치와 관련될 수 있도록 움직인다. 다른 대체 방안으로서, 제어 장치는 센서를 이용하는, 이미지화될 표면까지의 거리를 측정하는 거리 측정기를 갖출수도 있으나, 이것은 물론 더 많은 비용의 지출을 요하는 것이다.

이미지 프로세싱 수단은 적절하게는 이미지의 상대적인 위치에서 얻어진, 적어도 한 개의 이동 벡터를 기초로 하여 상기 제어 신호를 발생시킨다.

추가적으로 또는 대체적으로, 이미지 프로세싱 수단은 이미지의 상대적인 위치에서 얻은, 적어도 한 개의 회전 표시를 기초로 하여 상기 제어 신호를 발생시킨다. 제어 신호들은 목적물의 회전 및 그 움직임을 제어하기 위해 사용될 수 있으며, 이것은 통상적인 컴퓨터 마우스에 비해서 유리한 점이다.

3차원 제어를 위한 제어 장치의 경우에는, 이미지 프로세싱 수단은 하나의 이동 벡터와 하나의 회전 벡터를 발생하기 위하여 이미지들의 상대적인 위치에 대한 모든 센서들로부터의 정보를 조합할 수 있다. 이런 식으로, 이미지 기록 수단의 위치는 명확하게 판단될 수 있다. 즉, 제어 장치는 손이 이미지 기록 수단을 움직이는 동안, 이 움직임을 기초로 컴퓨터가 목적물을 제어할 수 있도록 하기 위해 손에 의해 수행되는 움직임의 디지털화 과정을 수행한다.

한 실시예에서는, 이미지 프로세싱 수단은 이미지 기록 수단이 움직인 속도(speed)를 기초로 하여 상기 제어 신호를 발생시키는데, 상기 속도는 이미지들의 상대적인 위치와 이미지 기록 속도(frequency)로부터 판단된다.

적절하게는, 제어 신호들의 수신기는 제어 신호들은 상기 신호들이 이어서 프로세스될 것임을 알 수 있도록 상기 제어 신호들이 제어 신호임을 인지하고 있어야 한다. 결과적으로, 이미지 프로세싱 수단은 바람직하게는 수신기가 제어 신호를 목적물을 제어하도록 의도된 신호로 확인하므로써, 상기 제어 신호를 출력하게 된다. 이것은 예컨대 소정의 프로토콜을 사용하여 행해질 수 있다.

이미지를 기반으로 한 제어 장치 사용의 잇점은 이미지 기록 수단이 소정의 위치에 있는 때를 감지해 낼 수 있다는 데 있다. 왜냐하면 이 위치는 하나 또는 수개의 이미지들에 의해 형성될 수 있기 때문이다. 이러한 목적을 위해, 이미지 프로세싱 수단은 적어도 하나의 기준 이미지를 저장하고 이어서 완전히 오버랩되는 경우에 신호를 발생시키기 위해, 기록되는 이미지를 기준 이미지와 비교한다. 예를 들어, 상기 사용자는 이 위치에서 제어 장치를 클릭함으로써 임의의 위치를 기준 위치로서 정의할 수 있다.

이미지 기록 수단과 이미지 프로세싱 수단이 케이스 내의 서로 다른 곳에 위치할 경우에는, 상기 이미지 기록 수단은 이미지 기록 수단에서 이미지 프로세싱 수단으로 이미지를 무선으로 전송하기 위한 전송기를 포함한다. 또한, 특히 이미지 기록수단과 이미지 프로세싱 수단이 동일한 케이스 내에 위치한 경우에는, 이미지 프로세싱 수단이 상기 제어 신호의 예컨대 제어되는 커서의 컴퓨터로 무선 출력을 위한 전송기를 포함하는 것이 유리하다. 두 가지 모두의 경우에, 정보 전달을 위해 어떠한 코드도 요구되지 않기 때문에 제어 장치는 사용하기 매우 쉽다. 예컨대, 사용자는 개인의 이미지 기록 수단 또는 제어 장치를 가질 수 있고, 제어 신호의 서로 다른 컴퓨터나 수신기와 함께 사용할 수 있다. 상기 전송기로는, 서로 매우 가까이 위치한 두 개 유닛 사이의 무선 정보 전달을 위해 적합한 IR 전송기, 소위 블루투스(Bluetooth) 기준을 사용하는 라디오 전송기 등의 전송기가 가능하다.

보다 바람직한 실시예에서는, 상기 제어 장치는 컴퓨터 마우스, 즉 컴퓨터에 연결되어 1차원, 2차원 또는 3차원으로 커서를 위치시키는 장치이다.

제어 장치는 절대 모드 또는 상대 모드에서 사용될 수 있다. 절대 모드에서는, 제어되는 목적물의 움직임은 이미지 기록 수단의 움직임에 비례한다. 즉, 상기 목적물은 현재 그 위치에 관계없이 이미지 기록 수단에 대응하는 방향으로 움직인다. 그러나, 상대 모드에서는 제어 장치는 정렬되어 이미지 기록 수단과 소정의 좌표 원점 사이의 거리가 증가하면 제어되는 목적물의 속도 또는 가속도는 증가하도록 정렬된다. 이런 식으로, 이미지 기록 수단을 소정의 원점으로부터 멀리 떨어진 위치에 고정하면 더 빨리 움직이는 목적물도 처리할 수 있으며, 이미지 기록 수단을 원점에 가까운 위치에 고정하면 정확한 제어도 수행할 수 있게 된다.

본 발명의 두번째 관점에 따르면, 본 발명은 목적물을 이미지 기록 수단의 회전에 대한 함수로서 제어하기 위하여 바람직하게는 손으로 회전하도록 만들어진 이미지 기록 수단을 갖는 제어 장치에 관련된 것이다. 제어 장치는 이미지 기록 수단이 회전하는 동안 부분적으로 오버래핑되는 콘텐츠들을 갖는 다수의 이미지들을 기록하며, 상기 이미지들의 부분적으로 오버래핑되는 콘텐츠들은 이미지 기록 수단이 어떻게 회전되었는지에 대한 판단을 가능하도록 만들어 준다.

이 제어 장치는, 위에 설명된 제어 장치와 동일한 아이디어(idea)에 기반을 둔 것이지만, 이미지 기록 수단의 움직임에 대한 함수로서 목적물을 제어하는 대신에 그 회전의 함수로서 제어된다는 점이 다르다. 이 제어 장치는 예컨대 트랙 볼(track ball)일 수도 있다. 위에 논의된 실시예들은 넓은 범위의 회전 제어 장치에도 적용가능 하며, 동일한 잇점들을 얻을 수 있다.

본 발명의 세번째 관점에 따르면, 본 발명은 목적물을 제어하는 방법에 관련된 것으로서 상기 방법은, 제어 장치를 움직이는 단계; 제어 장치를 이용하여 제어 장치를 움직이면서 오버래핑되는 콘텐츠를 갖는 다수의 이미지들을 기록하는 단계; 및 상기 오버래핑되는 이미지들의 콘텐츠를 이용하여 제어 장치의 움직임을 판단하는 단계를 포함한다. 위에 언급된 장치와 관련된 동일한 잇점들을 얻을 수 있다. 본 발명은 첨부된 도면을 참조하여 실시예를 설명하므로써 좀 더 상세히 설명하고자 한다.

본 발명에 따른 제어 장치는, 본질적으로 두가지 주된 타입의 실시예에서 구현될 수 있다. 본 발명에 따른 첫번째 실시예는 아래에서 설명될 것이며 이 실시예는 2차원 마우스로 사용되도록 의도되어 진다. 다음, 상기 제어 장치의 두번째 실시예도 설명될 것이며, 이 실시예는 3차원 마우스로서 사용되도록 의도된 것이다. 마지막으로, 상기 2차원과 3차원 마우스의 동작이 설명될 것이다. 설명된 두 실시예에서, 상기 이미지 기록 수단과 상기 이미지 프로세싱 수단은 케이스 내의 동일한 위치에 위치하고 있으며, 그로부터 제어 신호가 출력된다. 위에 언급된 바와 같이, 이미지 프로세싱 수단은 또한 케이스 내에서 서로 분리되어 위치할 수도 있다. 당업자라면 이러한 변형을 아주 간단하게 할 수 있다.

제어 장치의 디자인(Design of the Control Device)

도 1에 보여진 제어 장치의 첫번째 실시예에 있어서, 본 발명은 통상적인 하이라이터 펜(highlighter pen)과 거의 동일한 모양을 갖는 케이스를 포함한다. 상기 케이스의 짧은 쪽은 윈도우(2)를 갖고 있으며, 윈도우(2)를 매개체로 하여 이미지들이 상기 장치로 읽혀 들어 온다. 상기 윈도우(2)는 그 밑에 놓인 표면에 의해 닳지 않도록 하기 위해 다소 우묵하게 들어가 있다.

케이스(1)는 본질적으로 광학부(3), 전자 회로부(4) 및 전력 공급부(5)를 포함한다.

상기 광학부(3)는 발광 다이오드(6), 렌즈 시스템(7) 및 감광 센서(8) 형태의 이미지 기록 수단을 포함하며, 감광 센서(8)는 전자 회로부(4)와의 인터페이스를 구성한다.

LED(6)의 역할은, 상기 제어 장치가 표면에 직접 붙어서 또는 매우 가까이에서 고정되어 있는 경우에, 현재 상기 윈도우 아래에 위치한 표면을 비추는 것이다. 확산기(9)가 빛을 확산시키기 위해 LED(6)의 앞에 장착된다.

상기 렌즈 시스템(7)의 역할은 윈도우(2) 밑에 위치한 표면의 이미지를, 가능한 한 정확하게 상기 감광 센서(8)위로 투영하는 것이다.

이 실시예에서, 상기 감광 센서(8)는 내장형 A/D 변환기를 갖는 2차원의 정사각형 CCD 유닛(CCD=charge coupled device)을 포함한다. 그러한 센서들은 상업적으로 이용가능하다. 센서(8)는 상기 윈도우(2)와 작은 각을 이루며 회로기판(11)에 장착된다.

제어 장치로의 전력은 배터리(12)가 공급하는데, 배터리(12)는 케이스 내의 분리된 구역(13)에 장착된다.

도 2의 블록 다이어그램은 전자회로부(4)를 도식적으로 보여준다. 이것은 회로 기판상에 위치하며, 프로세서(20)를 포함하고 버스(21)를 매개체로 하여 상기 프로세서의 프로그램들이 저장되는 ROM(22), 상기 프로세서의 동작 메모리를 구성하고 센서들로부터의 이미지들이 저장되는 읽기/쓰기 메모리(23), 제어 로직 유닛(24) 및 센서(8)와 LED(6)로 연결된다. 상기 프로세서(20), 버스(21), 메모리(22) 및 (23), 제어 로직 유닛(24) 및 이와 관련된 소프트웨어는 다함께 이미지 프로세싱 수단을 구성한다.

제어 로직 유닛(24)은 다수의 주변 유닛으로 연결되는데, 이 제어 로직 유닛(24)은 정보를 외부 컴퓨터로/외부 컴퓨터로부터 전송하기 위한 라디오 트랜스시버(26), 사용자가 이에 의해 이미지 기록 수단을 제어 할 수 있고 통상적인 마우스에서는 클릭 버튼으로도 사용될 수 있는 버튼(27) 및 상기 마우스가 사용될 준비가 되었음을 표시하는 예컨대 LED 같은 표시기(29)를 포함한다. 메모리, 센서 및 주변장치들로의 제어 신호들은 상기 제어 로직 유닛(24)에서 발생된다. 상기 제어 로직은 또한 상기 프로세서로의 인터럽트의 발생과 우선 순위 매기기 작업(prioritization)을 조절한다. 버튼(27), 라디오 트랜스시버(26), LED(6)은 상기 제어 로직 유닛(24)내의 레지스터에서 읽기 및 쓰기 작업을 하는 프로세서에 의해 액세스 된다. 상기 버튼(27)은, 가동되면 상기 프로세서(20)로의 인터럽트를 발생시킨다.

도 3은 본 발명에 따른 제어 장치의 두번째 실시예를 보여준다. 첫번째 실시예와 같이, 이 실시예는 펜 모양의 케이스(31)를 포함한다. 케이스의 짧은 쪽의 윈도우(32)외에, 상기 장치는 두개의 추가적인 윈도우(32')와 (32'')를 갖는다. 윈도우(32,32',32'') 각각은 상기 제어 장치가 사용될 때 또는 사용되지 않을 때라도, 표면에 충돌하여 닳거나 긁혀지지 않도록 하기 위해 다소 우묵하게 들어가 있다.

위의 경우와 같이, 케이스(1)는 본질적으로 광학부(33), 전자 회로부(34) 및 전력 공급부(5)를 포함한다.

상기 광학부(33)는 3개의 렌즈 시스템을 갖는 렌즈 패키지(미도시)와 윈도우(32,32',32'') 각각에 대한 전자 회로부(34)에 대한 인터페이스를 구성하는 3개의 감광 센서를 갖는 한 세트의 센서(미도시)를 포함한다. 상기 제어 장치는 이미지화되고 있는 표면으로부터 일정한 거리만큼 떨어져 고정되며, 결과적으로 대부분의 경우에 에워싼 빛이 기록될 이미지들을 받아들이기에 충분하게 된다.

상기 렌즈 시스템들은 상기 윈도우(32,32',32'')가 가능한 한 정확하게, 향하고 있는 표면의 이미지들을 감광 센서 위로 투영할 수 있도록 하는 역할을 한다.

위의 실시예와 같이, 상기 감광 센서들은 내장형의 A/D 변환기를 갖는 2차원이고 정사각형인 CCD 유닛을 포함한다. 각 센서는 그 회로 기판 상에 장착되어 있다.

이 실시예에서도, 상기 제어 장치로의 전력은 배터리가 공급하게 되며, 상기 배터리는 상기 케이스의 분리된 구역내에 장착되어 있다.

이 두번째 실시예에서는, 전자 회로부의 디자인은 첫번째 실시예에 관하여 위에 설명된 것과 본질적으로 동일하다. 상기 전자 회로부는 3개의 모든 센서들이 공유한다.

2차원 마우스로서의 응용(Application of the Device as a Two-dimensional Mouse)

첫번째 실시예에 따른 장치는 움직임 정보를 입력하기 위한 마우스로 사용될 수 있으며, 이에 의해 커서는 컴퓨터 스크린 상에서 제어될 수 있다.

사용자는 상기 제어 장치의 윈도우(2)를 패턴화된 표면 예컨대 마우스 패드쪽으로 향하게 한다. 사용자는 버튼(27)을 눌러서 상기 이미지 기록 수단을 가동시키고, 상기 프로세서(20)는 LED(6)로 하여금 소정의 주파수, 적합하게는 50Hz로 스트로브(strobe) 펄스 발생을 시작하도록 명령한다. 그 다음, 상기 사용자는 상기 제어 장치를 통상적인 마우스와 동일한 방식으로 상기 표면 위로 지나가게 하고, 부분적으로 오버래핑되는 콘텐츠를 갖는 이미지들은 센서(8)에 의해 기록되고 읽기/쓰기 메모리(23)에 저장된다. 상기 이미지들은 이미지들, 즉 다수의 픽셀들을 이용하여 저장되는데, 각 픽셀들은 백색에서 흑색 사이의 그레이 스케일 값을 갖는다.

도 4의 흐름도는 2차원 마우스의 동작을 좀 더 상세하게 보여준다. 스텝(400)에서, 첫번째 이미지가 기록된다. 스텝(401)에서, 다음 이미지가 기록된다. 이 이미지의 콘텐츠들은 부분적으로 이전 이미지의 콘텐츠들과 오버랩된다.

스텝(401)에서 이미지가 기록되자마자, 스텝(402)에서 이 이미지가 어떻게 이전 이미지와 오버랩되는지를 판단하는 과정을 시작한다. 즉 상기 이미지들의 콘텐츠들 사이에서 얻어지는 가장 좋은 매치를 이루는 상대적 위치를 판단하는 과정을 시작한다. 이 판단은 상기 이미지들을 서로에게 상대적인 수평 및 수직의 두방향 모두로 해석하고 서로에 대해 상대적인 이미지들을 회전시키므로써 수행된다. 이러한 목적을 위해 상기 이미지들의 모든 가능한 오버랩 위치가 픽셀의 레벨에서 조사되고, 오버랩 측정과정은 다음과 같다.

1) 각 오버래핑되는 픽셀 위치에 대하여, 두개의 관련된 픽셀들은 뒤에 것이 백색이 아닌 경우에는 그레이 스케일 값을 증가시킨다. 상기 픽셀들 중 어떤 것도 백색이 아닌 경우의 픽셀 위치는 양의 값으로 지정된다.

2) 모든 양의 위치에 대한 그레이 스케일 값의 합을 더한다.

3) 각 픽셀 위치의 이웃자리들(neighbours)이 조사된다. 오버래핑 픽셀 위치가 양의 위치의 이웃자리가 아니고 백색인 픽셀과 백색이 아닌 픽셀들로 구성되어 있는 경우에는, 점(2)의 합에서 백색이 아닌 픽셀의 그레이 스케일 값을 빼고, 상수를 곱한다.

4) 최고의 오버랩 측정치를 제공하는 오버랩 위치는 위에 언급된 바와 같이 선택된다.

스웨덴 특허 출원 제 9704924-1호와 그에 대응하는 미국 특허 출원 제 024,641호는 최상의 오버랩 위치를 찾기 위해 상기 이미지들을 매칭시키는 대체적인 방법을 소개하고 있다. 이러한 출원들의 콘텐츠는 여기서는 참고 문헌에 통합되어 있다.

상기 이미지와 이전 이미지 사이에서 최상의 오버랩 위치가 결정되자마자, 이전 이미지는 무시되고 현재의 이미지가 다음에 기록될 이미지에 대한 이전 이미지가 된다.

두 개의 이미지들의 상대적인 위치를 판단함으로써 이동 벡터를 얻을 수 있는데, 이 이동 벡터는 상기 이미지 기록 수단이 상기 두개의 이미지들을 기록하는 동안 얼마나 멀리 어느 방향으로 이동되었는가를 표시해 준다. 상기 마우스 또한 두개의 마우스 사이에서 회전된 경우에는, 이 회전의 측정치를 얻을 수 있다. 그 다음, 스텝(403)에서는 회전의 이동 벡터와 회전의 측정치를 포함하는 제어 신호가, 라디오 트랜스시버(26)에 의해 상기 제어 장치가 마우스로서 동작하고 있는 컴퓨터로 전송된다. 컴퓨터는 상기 이동 벡터와 회전의 측정치를 사용하여 스크린 상의 커서의 위치를 지정한다. 그 다음, 상기 흐름은 스텝(401)으로 돌아간다. 속도를 높이기 위해, 상기 스텝들은 부분적으로 병렬로, 예컨대 현재 이미지가 이전 이미지와 합체되고 있는 동안에 다음 이미지의 기록을 시작함으로써 수행될 수 있다.

상기 마우스가 가동되면, 상기 버튼(27)은 명령어들을 상기 컴퓨터에 입력하기 위한 클릭 버튼으로 사용될 수 있다.

3차원 마우스로서의 응용(Application of the Device as a Three-dimensional Mouse)

두번째 실시예에 따른 장치는 움직임 정보를 입력하기 위한 마우스로서 사용될 수 있으며, 이 마우스에 의해 커서는 컴퓨터 스크린 상의 3차원, 즉 공간 상에서 제어될 수 있다.

위에 설명된 바와 같이, 상기 3차원 마우스는 2차원의 감광 센서 표면을 갖는 3개의 센서(32,32',32'')를 갖는다. 상기 센서들의 주된 축들은 직각 좌표계의 x,y 및 z축을 따라 발생된 것이며, n x n 의 2차원 공간 해상도와 초당 m 개의 이미지 시간 해상도를 갖는다. 각 렌즈 시스템은 관련된 센서 표면에 대해 ν 라디안의 각을 갖는 시각 범위를 제공한다.

상기 장치가 사용될 때는, 상기 마우스의 움직임은 도 5에 따라 "개방 상자"(50)내에서 수행되는데, 이 개방 상자는 서로 직각을 이루는 적어도 두 면의 벽(51)과(52) 및 바닥(53)에 의해 형성된다. 상기 마우스는 공간 상에서 자유로이 잡을 수 있지만 이것은 아래에 설명될 것들 보다는 더 복잡한 계산 알고리즘을 필요로 한다.

상기 장치가 사용될 때는, 이미지의 상대적인 위치를 결정하기 위한 위의 방법이 각 센서에 대해 사용된다. 따라서, 이 경우의 동작은 도 4의 흐름도에 의해서도 설명될 수 있다. 각 이미지들을 기록하는 대신에, 3개의 이미지들로 구성되는 한 세트의 이미지들이 동시에 기록된다. 한 개의 이동 벡터와 한 개의 회전 벡터들이 각 감광 센서에 의해 기록되는 이미지를 이용하여 발생되고, 각 벡터들은 두개의 연속되는 이미지들을 기록하는 동안 상기 마우스에 의해 행해지는 움직임을 서술한다. 이러한 벡터들은 마우스에 의해 제어될 목적물로 전송될 제어 신호에 포함된다.

또한, 상기 마우스를 성공적으로 사용하기 위해, 상기 빛의 조건은 감광 센서들이 위에 설명된 프로세싱을 하기에 충분히 좋은 이미지들을 기록할 수 있도록 형성될 것이 필요하다.

상기 마우스의 움직임이 목적물을 어떻게 제어하는 지에 대한 이해를 돕기 위해, 마우스의 움직임을 결정하기 위해 수행되는 계산에 대하여 도 6을 참조하여 실시예에 의해 설명하고자 한다. 아래의 설명에서는, 상기 이미지 매칭 알고리즘을 각 센서에 대해서 2개의 이미지 사이에서 2개의 서로 수직인 방향으로 해석을 계산하기만 하는 단순한 타입이라고 가정한다. 상기 마우스가 (x,y,z)에 위치해 있고 직각 회전 매트릭스(the orthonormal rotation matrix)R에 의해 설명되는 회전을 갖고 있다고 가정하자. 상기 마우스의 x축은 Rㆍe_x방향을 가리키고, y축은 R ㆍe_y방향을 가리키며, z축은 Rㆍe_z방향을 가리킨다. 두개의 이미지들을 기록하는 동안, 상기 마우스는 다음과 같은 해석 작업 및/또는 회전 작업을 수행한다.

상기 마우스의 지역적인 좌표계(local coordinates)에서는, 상기 해석 벡터들은 도 7에 보여진 바와 같이 형성된다. 첫번째 센서는 x 방향과 y방향으로의 움직임을 기록하고, 두번째 센서는 y 방향과 z 방향으로의 움직임을 기록하며, 세번째 센서는 z 방향과 x 방향으로의 움직임을 기록한다. 결과적으로, 어떠한 연속된 이미지들의 3개로 된 순서쌍에 대하여, 해석 스칼라(x1, y1, y2, z2, x3, z3)는 상기 마우스의 감지된 움직임을 설명한다. 상기 해석 스칼라는 각 센서에 대한 이미지 매칭 알고리즘으로부터의 출력으로 구성되어 있다.

상기 마우스의 회전을 계산하기 위해, 상기 해석 스칼라에 대한 회전의 효과가 계산된다. 상기 마우스가 각 α를 통하여 회전하고 α는 sinαα만큼 충분히 작다. 설명의 명쾌함을 위해서, 상기 회전이 z축 주위에서 α_z라디안 범위의 내에서 발생한다고 가정할 수도 있다. 이 회전은 다음과 같은 스칼라가 된다.

여기서 n 은 상기 센서의 한 쪽을 따라서 있는 픽셀들의 수이고,ν는 상기 센서 표면의 시각 범위를 나타내는 각이며 라디안으로 표현되어 있다. 다음 것이 모든 축에 적용된다.

이미지 매칭 알고리즘으로부터의 출력 신호인 해석 스칼라의 값, 한 쪽의 센서 표면의 픽셀 수 n 및 상기 센서의 시각 범위 각ν을 알면, x,y 및 z축 주위의 마우스의 회전에 대한 회전 벡터(α_x,α_y,α_z)를 계산할 수 있다.

또한, 상기 해석 작업을 계산하기 위해, 사용자는 각 센서로부터 주변 목적물까지의 기능적 거리(the functional distance)를 알아야 한다. 상기 기능적 거리는 상기 출력을 상기 이미지 매칭 알고리즘으로부터 상기 해석 작업까지 연관시켜주는 상수이다. 상기 기능적 거리는 아래에서 설명될 측정 과정에 의해 결정된다. 마우스가 위에서 설명된 것과 같은 "개방 상자" 내에서 움직이는 특별한 경우에는. 상기 기능적 거리는 마우스의 중간에서 상자(50)의 각 벽들(51)(52) 및 (53) 까지의 기하학적 거리에 해당한다.

설명의 명쾌함을 위해서, x축을 따라 거리 δx을 해석해 보면 상기 스칼라 x1 와 x3에 관한 해석은 각각 다음과 같다.

그리고

.

여기서, d1 과 d3는 (x1,y1) 과 (x3,y3)에 관하여 상기 마우스로부터 투영된 표면까지의 기능적 거리이다. 이것을 모든 축에 대해 일반화 하면 다음의 식을 얻을 수 있다.

이미지 매칭 알고리즘으로부터의 출력 신호로서 얻어지는 해석 스칼라의 값, 한쪽의 센서 표면의 픽셀 수 n, 상기 센서의 시각 범위 ν 및 투영된 표면 까지의 기능적 거리 d1-d3를 알면, x축, y축 및 z축을 따른 마우스의 해석을 위한 해석 벡터(δx,δy,δz)를 계산할 수 있게 된다.

요약하면, 이미지 매칭에서 얻어지는 해석 스칼라 (x1, y1, y2, z2, x3, z3)는 회전 및 마우스의 해석 과정에 따라 달라진다. 위에 언급된 이러한 파라미터들을 알게 되면, 해석 벡터(δx,δy,δz)와 회전 벡터(α_x,α_y,α_z)는 다음의 방정식 시스템을 풀어서 구할 수 있다. 이러한 벡터들은 상기 마우스에 의해 제어되는 목적물로 전송되는 제어 신호안에 포함되어 있으며, 이 제어 신호는 목적물의 새로운 위치를 표시해 준다.

측정 과정, 즉 상기 기능적 거리 d1,d2 및 d3의 계산은 상기 마우스를 개방 상자의 가장 자리를 따라 움직여서 수행될 수 있다. 상기 마우스는 도 8의 시퀀스 A-B-C에 의해서, x축, y축 및 z축을 따라 이동된다. 각 이동은 2개의 방정식을 만들어 내고, 각 방정식은 함께 다음과 같은 방정식 시스템이 된다.

이 방정식에 의해 정의된 시스템은 상기 기능적 거리 d1, d2 및 d3의 값을 계산하는데 요구되는 모든 정보를 포함하고 있다.

또한, 이 실시예에 따른 마우스에 의해서, 상기 사용자는 어느 임의의 시간에 현재 센서가 메모리에 기록하고 있는 이미지들을 저장할 것을 선택할 수 있다. 그 다음, 기록된 이미지들의 각각은 저장된 이미지의 세트와 비교되고, 완전한 오버랩이 존재하는 경우에는 사용자에게 신호가 보내진다. 이것이 목적물의 정확한 제어를 가능하게 해 준다. 왜냐하면 상기 사용자는 마우스가 이전의 경우에 위치하던 정확한 위치로 돌아갈 수 있는 경로를 찾을 수 있기 때문이다. 당연히 동일한 원리가 목적물의 2차원적 제어의 경우에도 적용될 수 있다.

상기 마우스의 또 다른 응용에서는, 회전 움직임만이 감지된다. 이 경우에는, 어떤 측정과정도 요구되지 않으며, 회전에 대한 논의와 관련하여 위에 소개된 방정식들을 푸는 것만으로 충분하다. 이 응용에 있어서, 상기 마우스는 예컨대 사용자가 그것을 착용할 수 있고, 예컨대 다양한 타입의 가상 현실 응용에서 사용되기도 하는 헬멧과 같은 것에 장착될 수도 있다.

Claims

목적물을 제어하기 위해, 바람직하게는 사용자에 의해 손으로 움직일 수 있도록 만들어진 이미지 기록 수단을 갖는 제어 장치로서, 상기 이미지 기록 수단은 이것이 움직이는 동안 부분적으로 오버래핑되는 콘텐츠들(overlapping contents)을 갖는 다수의 이미지들을 기록하도록 만들어져 있으며, 상기 부분적으로 오버래핑되는 콘텐츠들은 상기 이미지 기록 수단이 어떻게 움직였는가를 판단할 수 있도록 해주는 것을 특징으로 하는 제어 장치.
제1항에 있어서, 상기 제어 장치는 평면에서 상기 목적물을 제어할 수 있는 것을 특징으로 하는 제어 장치.
제2항에 있어서, 상기 제어 장치는 상기 평면에서 각도 위치(angular position)를 제어할 수 있는 것을 특징으로 하는 제어 장치.
제2항 또는 제3항에 있어서, 상기 장치는 상기 이미지들을 기록하기 위한 2차원 센서 표면을 갖는 감광 센서 수단(8)을 더 갖는 것을 특징으로 하는 제어 장치.
제1항에 있어서, 상기 제어 장치는 공간 상에서 상기 목적물을 제어하기 위해 디자인 된 것을 특징으로 하는 제어 장치.
제5항에 있어서, 상기 제어 장치는 상기 공간 상에서 상기 목적물의 각도 위치를 제어하는 것을 특징으로 하는 제어 장치.
제5항 또는 제6항에 있어서, 상기 제어 장치는, 서로 다른 2개의 방향으로 상기 이미지들을 기록하기 위한 2차원 센서 표면을 갖는, 적어도 2개의 감광 센서 수단(8)을 더 포함하는 것을 특징으로 하는 제어 장치.
제5항 또는 제6항에 있어서, 상기 제어 장치는 3개의 선형적으로 독립된 방향으로 상기 이미지들을 기록하기 위한 2차원 센서 표면을 갖는 3개의 감광 센서 수단(8)을 더 포함하는 것을 특징으로 하는 제어 장치.
제1항 내지 제8항 중 어느 한 항에 있어서, 상기 제어 장치는 상기 목적물을 제어하기 위한 제어 신호를 제공하기 위하여, 이미지 프로세싱 수단(20-24)을 더 포함하는 것을 특징으로 하는 제어 장치.
제9항에 있어서, 상기 제어 장치 중 상기 이미지 프로세싱 수단(20-24)은 상기 제어 신호들을 제공하기 위하여 부분적으로 오버래핑되는 콘텐츠들을 이용하여 상기 이미지들의 상대적인 위치를 판단하는 것을 특징으로 하는 제어 장치.
제5항 내지 제8항 중 어느 한 항에 있어서, 상기 제어 장치는 상기 제어 신호들을 제공하기 위한 모든 감광 센서 수단(8)에 관하여, 부분적으로 오버래핑되는 콘텐츠들을 갖는 이미지들의 상대적인 위치를 판단하는 이미지 프로세싱 수단(20-24)을 더 포함하는 것을 특징으로 하는 제어 장치.
제11항에 있어서, 상기 제어 장치는 측정 모드를 더 갖고 있으며, 상기 측정 모드에서 상기 이미지 기록 수단(20-24)은 또한, 상기 이미지들의 상대적인 위치를 이미지 기록 수단의 실제 움직임에 관련시키는 방식으로 움직여 지는 것을 특징으로 하는 제어 장치.
제10항 내지 제12항 중 어느 한 항에 있어서, 상기 제어 장치 중 상기 이미지 프로세싱 수단(20-24)은 상기 이미지들의 상대적인 위치로부터 얻은 적어도 하나의 이동 벡터에 기초하여 상기 제어 신호를 발생시키는 것을 특징으로 하는 제어 장치.
제10항 내지 제13항 중 어느 한 항에 있어서, 상기 제어 장치 중 상기 이미지 프로세싱 수단(20-24)은 상기 이미지들의 상대적인 위치로부터 얻은 적어도 하나의 회전 표시에 기초하여 상기 제어 신호를 발생시키는 것을 특징으로 하는 제어 장치.
제10항 내지 제14항 중 어느 한 항에 있어서, 상기 제어 장치 중 상기 이미지 프로세싱 수단(20-24)은 상기 이미지 기록 수단이 움직인 속도(speed)를 기초로 하여 상기 제어 신호들을 발생시키며, 상기 속도는 상기 이미지들의 상대적인 위치로부터 결정되는 것을 특징으로 하는 제어 장치.
제9항 내지 제15항 중 어느 한 항에 있어서, 상기 제어 장치 중 상기 이미지 프로세싱 수단(20-24)은, 목적물을 제어하기 위해, 수신기로 하여금 의도된 대로 제어 신호를 확인할 수 있도록 하는 식으로 상기 제어 신호를 출력하는 것을 특징으로 하는 제어 장치.
제9항 내지 제16항 중 어느 한 항에 있어서, 상기 제어 장치 중 이미지 프로세싱 수단(20-24)은 또한, 완전한 오버랩의 경우에 신호를 발생시킬 수 있도록, 적어도 한 개의 이미지를 기준 이미지로 저장하고 저장된 이미지들을 그 이미지와 비교하는 것을 특징으로 하는 제어 장치.
제9항 내지 제17항 중 어느 한 항에 있어서, 상기 제어 장치 중 이미지 프로세싱 수단(20-24)은 상기 제어 신호의 무선 출력을 위한 전송기(26)를 포함하는 것을 특징으로 하는 제어 장치.
제9항 내지 제18항 중 어느 한 항에 있어서, 상기 제어 장치 중 상기 이미지 기록 수단은 상기 이미지 프로세싱 수단(20-24)으로 이미지를 무선 전송하기 위한 전송기(26)을 포함하는 것을 특징으로 하는 제어 장치.
제1항 내지 제19항 중 어느 한 항에 있어서, 상기 제어 장치는 마우스인 것을 특징으로 하는 장치.
제1항 내지 제10항 중 어느 한 항에 있어서, 상기 제어 장치는, 목적물을 상기 이미지 기록 수단의 움직임에 비례하여 움직이제 하는 식으로 상기 제어 장치가 상기 목적물을 제어하도록 하는 제1동작 모드를 갖는 것을 특징으로 하는 제어 장치.
제1항 내지 제21항 중 어느 한 항에 있어서, 상기 제어 장치는, 목적물의 이동 속도(speed)가 상기 이미지 기록 수단과 소정의 기준점 사이의 거리에 비례하도록 하여 상기 목적물을 제어하는 제2동작 모드를 갖는 것을 특징으로 하는 제어 장치.
상기 이미지 기록 수단의 회전에 대한 함수로서 목적물을 제어하기 위하여, 바람직하게는 손으로 회전되는 이미지 기록 수단을 갖는 제어 장치로서,

상기 제어 장치는 상기 이미지 기록 수단이 회전할 때 부분적으로 오버래핑되는 콘텐츠들을 갖는 다수의 이미지들을 기록하고, 상기 이미지들의 부분적으로 오버래핑되는 콘텐츠들은 상기 이미지 기록 수단이 어떻게 회전되었는가에 대한 판단을 할 수 있게 해주는 것을 특징으로 하는 제어 장치.
목적물을 제어하는 방법으로서,

제어 장치를 움직이는 단계;

제어 장치를 이용하여 제어 장치를 움직이면서 오버래핑되는 콘텐츠를 갖는 다수의 이미지들을 기록하는 단계; 및

상기 오버래핑되는 이미지들의 콘텐츠를 이용하여 제어 장치의 움직임을 판단하는 단계를 포함하는 것을 특징으로 하는 방법.
제24항에 있어서, 상기 목적물을 제어하는 방법은, 상기 목적물을 제어하기 위한 제어 신호를 제공하기 위하여, 부분적으로 오버래핑되는 콘텐츠들을 이용하여 상기 이미지들의 상대적인 위치를 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.