KR100792326B1 - 전자기기의 동작 조작용 인터페이스 - Google Patents

Abstract

전자기기의 동작 조작용 인터페이스가 개시된다. 인터페이스는, 디스플레이상에 부착되어 있는 재귀반사부재, 포인터상에 설치되어 재귀반사부재를 향해 광을 조사하는 발광소자, 포인터에 설치되어 재귀반사부재에 의해 재귀반사된 광을 수광하여 촬상하는 카메라, 및 카메라에 의해 촬상된 재귀반사부재의 촬상이미지를 토대로 표시화면상에서 포인터가 가리키는 판면상의 위치 또는 포인터의 표시화면에 대한 상대위치를 산출하는 위치산출부를 포함한다. 이에 따르면, 간단하고 저비용으로 표시화면상의 특정 위치를 가리킬 수 있으며 공간상에서 조작되는 인터페이스의 구현이 가능하게 된다.

포인터, 위치, 재귀반사, 적외선

Description

전자기기의 동작 조작용 인터페이스 {Interface used for controlling the operation of electrical devices}

도 1 은 본 발명에 따른 전자기기용 인터페이스가 건의 형태로 제작된 상태를 도시한 도면,

도 2 는 도 1 의 포인터의 내부 구성을 도시한 블록도,

도 3 은 도 1 에서 포인터 내의 카메라로 디스플레이를 촬상한 상태에서의 재귀반사부재의 이미지를 도시한 도면,

도 4 는 도 1 의 포인터가 디스플레이를 각각 상이한 위치에서 가리키고 있는 상태에서 촬상한 이미지를 도시한 도면, 그리고

도 5 는 도 1 의 포인터가 자체의 회전축선을 중심으로 회전된 상태에서 촬상한 이미지를 도시한 도면이다.

본 발명은 전자기기의 동작 조작용 인터페이스에 관한 것으로서, 보다 상세하게는, 컴퓨터나 게임기기 등과 같은 전자기기에 사용자가 원하는 다양한 명령을 입력하여 전자기기의 동작과 표시화면의 상태를 다양하게 제어할 수 있는 인터페이 스에 관한 것이다.

컴퓨터나 게임기기와 같은 전자기기는 사용자가 그 동작을 원하는 바에 따라 제어할 수 있도록 하기 위하여 컴퓨터와 사람을 연결해주는 인터페이스(HCI : Human-Computer Interface)를 구비하고 있다. 대표적인 인터페이스가 키보드와 마우스로서, 예컨대 마우스는 패드상에서 마우스를 움직임에 따라 표시화면상에서 커서가 마우스의 움직임을 따라 움직이고 특정 위치에 커서가 이동된 상태에서 버튼을 클릭함으로써 명령어를 입력하도록 구성되어 있다. 게임기기나 기타 다양한 전자기기에서 요구되는 다양한 명령을 입력하기 위한 인터페이스를 구현하기 위해서는 마우스와 같은 인터페이스의 위치를 추적하여 이동된 위치를 화면에 표시 가능하도록 인식하는 것이 전제조건이 된다.

본 발명의 출원인은 한국특허출원 제10-2006-0012864호(표시화면을 가리키는 포인터의 포인팅 위치를 산출하는 장치 및 방법)과 한국특허출원 제10-2006-0031916호(전자기기의 동작 조작용 인터페이스)에서 포인터의 위치를 추적하는 새로운 방법과 장치를 제안한 바 있다. 상기 특허출원들에서는 표시화면(모니터 등)상에 기준이미지를 표시하고 이 기준이미지를 토대로 포인터의 표시화면에 대한 상대적인 위치를 산출하는 방법을 제안하고 있다. 상기 특허출원들에서는 포인터의 3차원적 위치를 다양한 방법으로 산출하고 이를 토대로 명령어를 입력할 수 있는 토대롤 제공하고 있으나, 간단한 구조의 위치 추적을 통한 기본적인 마우스와 유사한 기능을 구현하는 데에는 그 구현 방법이 다소 복잡하며 포인터 자체가 인터페이스를 위한 단품으로서 구현되기 어렵고 컴퓨터 내에 어플리케이션이 구비되는 방식 으로 구현되어야 한다는 단점이 있다.

한편, 한국특허등록 제533525호에서 카메라를 이용한 3차원 포인팅 장치가 개시되어 있다. 동 특허에서는 디스플레이에 적외선 발광소자를 설치하고 이를 포인터상에 설치된 카메라로 촬상함으로써 포인터의 3차원적 위치를 추적한다. 그러나, 이는 디스플레이에 별도의 적외선 발광소자를 설치하여야 하므로 그 구성이 복잡하고 미관상 좋지 않으며, 또한 발광소자 자체에 전원 공급을 위한 장치가 필요하므로 발광소자가 설치되어 있지 않은 기 출시된 제품에는 적용이 어렵다는 단점이 있다.

본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 전술한 한국특허출원에서 제시된 것보다 간단하고 저비용으로 구현 가능하며 화면상의 위치 지적 기능을 하는 포인터를 단품으로서 제작가능하도록 한 인터페이스를 제공하는 것이다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 인터페이스는, 디스플레이의 표시화면상에 또는 표시화면의 주변에 부착되어 있는 재귀반사부재; 포인터상에 설치되어 상기 재귀반사부재를 향해 광을 조사하는 발광소자; 상기 포인터에 설치되며, 상기 발광소자에 의해 조사되어 상기 재귀반사부재에 의해 재귀반사된 광을 수광하여 촬상하는 카메라; 및 상기 카메라에 의해 촬상된 상기 재귀반사부재의 촬상이미지를 토대로 상기 표시화면상에서 상기 포인터가 가리키는 판면상의 위치 또는 상기 포인터의 상기 표시화면에 대한 상대위치를 산출하는 위치산출수단;을 포함하는 것을 특징으로 한다.

상기 위치산출수단이 산출하는 상기 상대위치는, 상기 포인터가 상기 표시화면의 판면 방향에 평행하게 이동하는 위치, 상기 포인터가 상기 표시화면으로부터 원근 방향으로 이동하는 위치, 및 상기 포인터가 상기 표시화면의 법선방향을 중심으로 회전하는 위치 중 적어도 어느 하나를 포함한다.

상기 재귀반사부재는 상기 디스플레이상의 복수의 지점에 설치될 수 있다. 또한, 상기 재귀반사부재는 각각 그 형태가 상이하도록 구성될 수 있다.

상기 위치산출수단은, 상기 재귀반사부재가 부착된 상기 디스플레이를 소정의 기준위치에서 촬상하여 얻어진 상기 재귀반사부재에 대한 기준이미지를 상기 촬상이미지와 비교하여 상기 상대위치를 산출한다.

상기 위치산출수단 또한 포인터 내에 설치되도록 할 수도 있다.

본 발명에 따르면, 간단하고 저비용으로 표시화면상의 특정 위치를 가리킬 수 있으며 공간상에서 조작되는 인터페이스의 구현이 가능하게 된다.

이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세하게 설명한다.

도 1 은 본 발명에 따른 인터페이스와 디스플레이를 도시한 도면이다.

도 1 에서 본 발명의 인터페이스가 디스플레이(20)상의 일정 지점에 커서(C)로서 표시된 위치표지의 판면상의 위치(예컨대 표시화면상의 좌표위치)를 제어하는 데에 사용되고 있음을 보여주고 있다. 즉, 본 발명에 따른 인터페이스는, 마우스 와 같이 그 위치 변화에 따라 표시화면상의 커서(C)의 위치를 이동시키는 데에 사용하는 포인터(30), 및 디스플레이(20)상에 부착된 재귀반사부재(M)를 포함하여 구성된다. 포인터(30)의 조작에 의해 포인터(30)가 가리키는 표시화면상의 판면상의 위치에서 포인터(30)에 마련된 버튼(도시되지 않음)을 클릭함으로써 특정 위치에서의 마우스 클릭과 동일한 조작을 할 수 있다.

포인터(30)는 모니터 등과 같은 각종 디스플레이(20)상의 표시화면의 전면에 배치되어 표시화면을 가리키는 장치로서, 통상적으로 게임 조작용 인터페이스를 위하여 제작될 경우에는 도 1 과 같이 건(Gun)의 형태로 제작될 수 있다.

재귀반사부재(M)는 입사된 광을 입사 방향의 역방향으로 반사시키는 소자이다. 이러한 재귀반사부재(M)는 빛이 어느 방향에서 어느 각도로 입사되더라도 광원의 방향으로 빛을 반사하며, 통상적으로 스티커와 같은 형태로 임의의 위치에 부착 가능하도록 제작되어 시판되고 있다. 재귀반사부재(M)를 디스플레이(20)상의 임의의 위치에 부착함으로써 디스플레이(20)를 향해 조사되는 빛이 재귀반사부재(M)에 의해 역방향으로 반사된다.

도 2 는 도 1 의 포인터의 내부 구성을 도시한 블록도이다. 포인터(30)는 발광소자(31), 카메라(32), 기준이미지 저장부(33), 및 위치산출부(35)를 포함하여 구성된다.

발광소자(31)는 포인터(30)상에 설치되어 재귀반사부재(M)를 향해 적외선을 조사하는 기능을 한다. 조사된 적외선은 재귀반사부재(M)에 의해 다시 포인터(30)를 향해 반사된다.

카메라(32)는 재귀반사부재(M)에 의해 재귀반사된 적외선을 수광하여 촬상한다. 이때, 카메라(32)가 재귀반사부재(M)에 의해 재귀반사된 광만을 수광하도록 하기 위하여, 카메라(32)는 적외선의 촬상이 가능한 것으로 구성되는 것이 바람직하다. 또한, 후술되는 위치산출부(35)에서 카메라(32)가 촬상한 이미지의 신호 내에서 적외선 신호(특히 발광소자(31)의 광의 파장에 해당하는 적외선 신호)만을 추출하도록 구성하거나 이를 위한 별도의 필터를 마련할 수도 있다.

기준이미지 저장부(33)는 포인터(30)를 소정의 기준위치에 놓고 디스플레이(20)를 촬상한 이미지인 기준이미지를 저장한다. 이러한 기준이미지 저장부(33)는 생략 가능한 구성요소이다.

위치산출부(35)는 카메라(32)에 의해 촬상된 재귀반사부재(M)의 촬상이미지를 토대로 포인터(30)의 표시화면에 대한 상대위치를 산출한다.

이하에서는 상기한 바와 같은 구성을 갖는 본 발명에 따른 인터페이스에 의한 위치 추적 과정을 설명한다.

먼저 사용자는 재귀반사부재(M)를 디스플레이(20)상의 임의의 위치에 배치하여 부착한다. 바람직하게는, 재귀반사부재(M)는 도 1 에 도시된 바와 같이 표시화면의 상하측 연부의 중앙 부분에 설치된다. 디스플레이(20) 자체가 재귀반사부재(M)가 설치된 상태로 제작될 수도 있다.

재귀반사부재(M)가 디스플레이(20)의 상하측 연부의 중앙부위에 설치된 상태에서 포인터(30)를 디스플레이(20)의 전면 정 중앙에 배치하고 촬상한 경우의 촬상이미지가 도 3 에 도시되어 있다. 도 3 과 같이 두 개의 재귀반사부재(M)만이 촬 상이미지에 포함된다.

포인터(30)의 디스플레이(20)에 대한 상대위치의 산출 방법에 대하여 도 4 및 도 5 를 참조하여 기술하면 다음과 같다. (도 3 내지 도 5 에서 표시화면의 모습이 이해의 편의를 위하여 점선으로 도시되어 있으나 실제로는 재귀반사부재(M)의 이미지만이 포함될 것이다.)

사용자가 포인터(30)를 파지하여 디스플레이(20)의 표시화면의 전면상에 위치시키면, 발광소자(31)의 빛이 재귀반사부재(M)에 의해 재귀반사되어 카메라(32)에 의해 촬상됨으로써 촬상이미지가 얻어진다.

포인터(30)가 좌우상하로 디스플레이(20)의 판면에 대해 평행하게 이동하거나 모니터(20)에 대해 전후방향(원근방향)으로 이동하면, 촬상이미지는 각각 도 4 에 도시된 바와 같이 된다. 예컨대, 포인터(30)가 디스플레이(20)를 향해 전진이동하면 촬상이미지 내의 재귀반사부재(M)는 상하방향으로 실제 거리보다 멀어지도록 상호 이격 이동된 이미지로서 추출되고, 좌측으로 이동하면 촬상이미지 내의 재귀반사부재(M)는 그 거리가 변하지 않은 상태에서 실제 위치보다 우측으로 이동하게 된다. 이와 같은 원리에 의하여 재귀반사부재(M)의 촬상이미지에서의 위치를 파악함으로써 포인터(30)의 위치 변화를 산출할 수 있게 된다.

포인터(30)의 위치 변화가 산출되면, 이를 토대로 포인터(30)가 디스플레이(20)의 표시화면상에서 가리키는 위치를 산출할 수 있다. 즉, 포인터(30)가 좌측으로 이동된 것으로 판단되면, 이동된 거리만큼(또는 이동된 거리에 비례한 거리만큼) 포인터(30)가 표시화면상에서 가리키는 판면상의 위치(표시화면상의 평면좌 표 위치)가 이동된 것으로 판단하여 커서(C)를 이동시킨다. 따라서, 포인터(30)의 변위를 산출함에 따라 포인터(30)가 디스플레이(20)상에서 가리키는 위치의 산출이 가능하게 되며, 산출된 결과는 컴퓨터(도시되지 않음)로 입력되고 입력된 위치가 커서(C)로서 표시됨으로써, 결과적으로 공간상에서 표시화면상의 커서(C)의 위치를 이동시키는 기능을 구현할 수 있게 된다. 이는 패드상에서 마우스를 이동시켜 커서(C)의 위치를 이동시키는 것과 동일한 효과를 가져온다. 커서(C)가 이동된 위치에서 포인터(30) 내에 마련된 버튼(도시되지 않음)을 누름으로써 마우스를 클릭하는 것과 동일한 동작이 취해진다.

이와 같은 본 발명은 하기와 같은 다양한 방식으로 변형될 수 있다.

즉, 본 발명에 따르면 포인터(30)가 표시화면의 판면상에서 가리키는 2차원적 위치뿐만 아니라 포인터(30) 자체의 회전이동된 각도의 산출도 가능하다. 5 는 포인터(30) 자체의 회전각위치 산출에 대해 설명하기 위한 도면이다. 예컨대 포인터(30)가 반시계방향(CCW)으로 회전이동하면 재귀반사부재(M)의 촬상이미지는 기준이미지에 비해 반시계방향으로 동일한 각도만큼 회전이동한 상태로 표시될 것이다. 이와 같이 회전이동되는 경우 커서(C)의 위치 자체는 변하지 않을 것이나, 본 발명에 따른 인터페이스가 단순하게 마우스의 기능 대체 외에 다양한 게임기기 등에 응용되어 회전이동 각도의 산출이 필요할 경우에도 채용 가능함을 알 수 있다.

한편, 상기한 실시예에 대한 설명에서는 재귀반사부재(M)에 대한 촬상이미지만을 토대로 포인터(30)의 위치 변화를 산출하는 것을 설명하였다. 이러한 방식은 예컨대 재귀반사부재(M)의 위치가 사전에 위치산출부(35)에서 가정한 위치와 부합 되는 위치로 설정되어 있는 것을 전제로 한다. 예컨대, 사용자에게 제공되는 매뉴얼에서 재귀반사소자를 디스플레이(20)의 표시화면의 상하측 연부 각 중앙 부분에 도 1 과 같은 배치로 부착하도록 안내하고 위치산출부(35)는 이와 같은 방식으로 재귀반사부재(M)가 설치되는 것을 전제로 하여, 재귀반사부재(M)의 촬상이미지만을 토대로 표시화면상에서 포인터(30)가 가리키는 위치 또는 포인터(30)의 상대위치의 산출이 가능하게 된다.

보다 정교한 포인터(30)의 위치 산출이 필요한 경우에는 다음과 같은 기준이미지와 촬상이미지의 비교 방식을 채용할 수 있다. 즉, 재귀반사부재(M)가 디스플레이(20)상에 부착된 상태에서, 사용자는 표시화면의 전면의 소정의 위치를 임의의 기준위치로 선정하고 이 위치에 포인터(30)를 배치한다. 이 기준위치는, 예컨대 포인터(30)가 디스플레이(20)의 표시화면의 정 중앙에서 법선방향으로 가리키는 위치로 설정되며, 또한 가장 높은 빈도로 포인터(30)가 놓이게 되는 표시화면으로부터의 거리를 갖는 위치로서 설정되는 것이 바람직하다. 이와 같은 기준위치에서 카메라(32)로 촬상한 이미지를 기준이미지로서 취하며, 이 기준이미지가 기준이미지 저장부(33)에 저장된다. 도 3 과 같은 전후방향 또는 상하좌우 방향의 이동에서 기준이미지로서 기 저장되어 있는 이미지와 촬상이미지를 비교하는 경우, 포인터(30)가 표시화면의 특정 지점(예컨대 정 중앙)을 가리키는 이미지가 기준이미지로서 설정되어 있으므로 포인터(30)가 가리키는 표시화면상의 위치의 상대적인 변화량과 변화 방향의 측정이 보다 정밀하게 이루어질 수 있게 된다.

한편, 재귀반사부재(M)는 도 1 과 같이 디스플레이(20)상에서 표시화면 주변 에 설치될 수 있으며 표시화면 위에 설치될 수도 있다. 표시화면이 예컨대 프로젝터 스크린과 같은 것으로 구성되어 있을 경우에는 스크린상의 특정 부위에 재귀반사부재(M)를 설치하는 것이 바람직할 것이다.

재귀반사부재(M)는 디스플레이(20)상의 하나의 지점에 설치될 수도 있다. 이러한 경우에는 복수의 지점에 설치되는 경우와 비교할 때 도 4 에서의 전후방향 이동이나 도 5 에서의 회전방향 이동에 대해서는 추적이 불가능할 것이나, 표시화면의 판면 방향에 평행한 이동에 대해서는 감지가 가능할 것이며, 이에 의하여 가장 기본적인 마우스의 기능에 유사한 기능(즉, 공간상에서 조작가능한 마우스의 기능)이 매우 간단하게 구현될 수 있을 것이다.

보다 다양한 국면에서의 위치 추적이 필요한 경우에는 재귀반사부재(M)는 다수의 위치에 설치될 수도 있다. 예컨대, 디스플레이의 사각형 꼭지점에 대응되는 위치에 각각 하나씩 네 개를 배치하면, 도 4 및 도 5 와 같은 전후좌우 위치 이동과 회전각 위치 이동은 물론이고, 포인터(30)가 표시화면의 법선방향에 대해 각이동하는 위치의 추적도 가능하게 될 것이다. 이는 보다 다양하고 복잡한 조작 방식을 요하는 게임기기 등에의 응용 가능성을 제공한다.

재귀반사부재(M)는 각각 그 형태가 상이하게, 예컨대 각 재귀반사부재(M)별로 그 크기가 상이하거나 그 모양이 상이하도록 구성될 수 있다. 이에 따르면, 각 재귀반사부재(M)별로 식별하여 특정이 가능하므로 예컨대 도 5 에서 포인터(30)가 180˚ 회전이동한 경우에 대해서도 식별이 가능하게 된다.

또한, 전술한 실시예에서는 발광소자(31)가 적외선을 조사하도록 하였으나, 발광소자(31)가 조사하는 빛의 종류는 다른 파장의 빛으로 구성될 수도 있다.

한편, 본 실시예에서는 단품으로서의 제작 가능성을 부여하기 위하여 포인터 내에 위치산출부(35)와 기준이미지 저장부(33)를 구비하도록 하고 있으나, 이 두 가지 구성요소는 컴퓨터 본체 내에 응용 프로그램으로서 또는 별도의 하드웨어 모듈로서 설치되고 포인터(30) 내에는 발광소자(31)와 카메라(32)만이 구비되도록 할 수도 있다.

이와 같은 본 발명에 따르면, 간단하고 저비용으로 표시화면상의 특정 위치를 가리킬 수 있으며 공간상에서 조작되는 인터페이스의 구현이 가능하게 된다. 따라서, 표시화면상의 특정 위치를 지적하는 기능을 공간상의 조작에 의해 구현하는 포인터의 기능을 간단한 구성으로 구현할 수 있으며, 나아가 포인터 자체의 위치에 대한 다양한 측면에서의 추적이 가능하여 게임기기의 조작기기 등과 같은 다양한 분야에의 응용 가능성을 제공한다.

또한, 본 발명의 인터페이스는 포인터를 단품으로서 제작가능하여 컴퓨터에 특정의 어플리케이션을 설치하지 않아도 구현 가능하도록 할 수 있다.

상기에서는 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 실시예에 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능할 것이며, 이러한 변형은 본 발명의 보호범위에 속할 것이다.

Claims (6)

1. 디스플레이의 표시화면상에 또는 표시화면의 주변에 부착되어 있는 재귀반사부재;

   포인터상에 설치되며, 상기 재귀반사부재를 향해 광을 조사하는 발광소자;

   상기 포인터상에 설치되며, 상기 발광소자에 의해 조사되어 상기 재귀반사부재에 의해 재귀반사된 광을 수광하여 촬상하는 카메라; 및

   상기 카메라에 의해 촬상된 상기 재귀반사부재의 촬상이미지를 토대로 상기 표시화면상에서 상기 포인터가 가리키는 판면상의 위치 또는 상기 포인터의 상기 표시화면에 대한 상대위치를 산출하는 위치산출수단;

   을 포함하는 것을 특징으로 하는 전자기기용 인터페이스.
2. 제 1 항에 있어서,

   상기 위치산출수단이 산출하는 상기 상대위치는, 상기 포인터가 상기 표시화면의 판면 방향에 평행하게 이동하는 위치, 상기 포인터가 상기 표시화면으로부터 원근 방향으로 이동하는 위치, 및 상기 포인터가 상기 표시화면의 법선방향을 중심으로 회전하는 위치 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 전자기기용 인터페이스.
3. 제 1 항에 있어서,

   상기 재귀반사부재는 상기 디스플레이상의 복수의 지점에 설치되는 것을 특징으로 하는 전자기기용 인터페이스.
4. 제 3 항에 있어서,

   상기 재귀반사부재는 각각 그 형태가 상이한 것을 특징으로 하는 전자기기용 인터페이스.
5. 제 1 항에 있어서,

   상기 위치산출수단은, 상기 재귀반사부재가 부착된 상기 디스플레이를 소정의 기준위치에서 촬상하여 얻어진 상기 재귀반사부재에 대한 기준이미지를 상기 촬상이미지와 비교하여 상기 상대위치를 산출하는 것을 특징으로 하는 전자기기용 인터페이스.
6. 제 1 항에 있어서,

   상기 위치산출수단은 상기 포인터 내에 마련되는 것을 특징으로 하는 전자기 기용 인터페이스.

Images