KR100951681B1 - 적외선 카메라를 이용한 사용자 인터페이스 시스템 및 방법 - Google Patents

Abstract

사용자 인터페이스 시스템은 마커(Marker)가 부착된 컨트롤러, 적외선을 발광하며, 컨트롤러를 촬영하여 컨트롤러에 대한 영상을 생성하고, 영상의 잡음을 제거하여 마커에 대한 적외선 영상을 생성하는 적외선 카메라, 및 마커에 대한 적외선 영상으로부터 마커의 움직임 및 움직임에 상응하는 좌표를 결정하는 좌표 결정부를 포함한다.

Description

적외선 카메라를 이용한 사용자 인터페이스 시스템 및 방법{USER INTERFACE SYSTEM AND METHOD USING INFRARED CAMERA}

개시된 기술은 적외선 카메라를 이용한 사용자 인터페이스 시스템에 관한 것이다.

컴퓨터의 성능의 급속한 발전에 비해, 사용자 인터페이스는 별다른 발전을 이루지 못하고 있다. 예를 들어, 1960년대에 개발된 마우스와 1970년대에 개발된 키보드는 지금까지도 컴퓨터와의 상호작용에 보편적으로 사용되고 있는 사용자 인터페이스들이다. 따라서 보다 자연스럽고 직관적인 사용자 인터페이스에 대한 다양한 연구들이 시작되고 있다.

실시예들 중에서, 사용자 인터페이스 시스템은 마커(Marker)가 부착된 컨트롤러, 적외선을 발광하며, 상기 컨트롤러를 촬영하여 상기 컨트롤러에 대한 영상을 생성하고, 상기 영상의 잡음을 제거하여 상기 마커에 대한 적외선 영상을 생성하는 적외선 카메라, 및 상기 마커에 대한 상기 적외선 영상으로부터 상기 마커의 움직임 및 상기 움직임에 상응하는 좌표를 결정하는 좌표 결정부를 포함한다.

실시예들 중에서, 사용자 인터페이스 방법은 적외선을 발광하는 단계, 마커가 부착된 컨트롤러를 촬영하여 상기 컨트롤러에 대한 영상을 생성하는 단계, 상기 영상의 잡음을 제거하여 상기 마커에 대한 적외선 영상을 생성하는 단계, 및 상기 마커에 대한 적외선 영상으로부터 상기 마커의 움직임 및 상기 움직임에 상응하는 좌표를 결정하는 단계를 포함한다.

개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서 와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

도 1은 개시된 기술의 일 실시예에 따른 적외선 카메라를 이용한 사용자 인터페이스 시스템의 구성을 나타내는 블록도이고, 도 2는 컨트롤러가 사용자의 신체 부위에 부착되는 일 예를 설명하기 위한 도면이다.

도 1을 참조하면, 적외선 카메라를 이용한 사용자 인터페이스 시스템(100)은 컨트롤러(110), 적외선 카메라(120), 좌표 결정부(130) 및 디스플레이 장치(140)를 포함한다.

컨트롤러(110)는 마커가 부착되어 있으며, 적외선 카메라(120)에 의해 촬영된다. 마커는 적외선 카메라(120)로부터 수신된 적외선을 반사하여 적외선을 적외선 카메라(120)로 송신할 수 있다. 여기에서, 컨트롤러(110)는 사용자의 신체 부위에 부착될 수 있다. 예를 들어, 도 2에 도시된 바와 같이 마커를 가지는 컨트롤러(110)는 장갑에 부착되어 사용자 손의 움직임에 따라 이동될 수 있다.

적외선 카메라(120)는 적외선 LED를 내장하여 적외선을 발광한다. 적외선 카 메라(120)는 컨트롤러(110)를 촬영하여 컨트롤러(110)에 대한 영상을 생성한다. 적외선 카메라(120)는 소프트웨어 필터(software filter)를 구비하여 촬영된 영상에서 잡음을 제거하여 마커에 대한 적외선 영상을 생성한다. 적외선 카메라(120)는 디스플레이 장치(140)의 전면 상단의 정중앙 또는 전면 하단의 정중앙에 구비될 수 있다.

좌표 결정부(130)는 마커에 대한 적외선 영상으로부터 마커의 움직임 및 마커의 움직임에 상응하는 좌표를 결정한다. 예를 들어, 좌표 결정부(130)는 이전에 생성되어 저장된 적외선 영상과 적외선 카메라(120)로부터 현재 제공받은 적외선 영상을 비교하여, 마커의 움직임 및 움직임에 따른 좌표를 결정할 수 있다. 여기에서, 마커의 움직임은 이전 적외선 영상에서의 마커의 위치와 현재 적외선 영상에서의 마커의 위치 간의 차이를 표시하는 벡터일 수 있다. 또한, 좌표 결정부(130)는 이전에 저장된 적외선 영상에 상응하는 좌표에 마커의 움직임을 적용하여 현재 적외선 영상에서의 마커의 좌표를 결정할 수 있다.

디스플레이 장치(140)는 좌표 결정부(130)로부터 마커의 좌표를 수신하고, 수신된 좌표를 화상으로 디스플레이한다.

도 3은 도 1에 도시된 적외선 카메라의 구성을 나타내는 블록도이고, 도 4는 도 3의 소프트웨어 필터부가 적외선 영상을 생성하는 일 예를 설명하기 위한 도면이다.

도 3을 참조하면, 적외선 카메라(120)는 발광부(310), 영상 생성부(320) 및 소프트웨어 필터부(330)를 포함한다.

발광부(310)는 복수의 적외선 발광 다이오드(IR LED)들을 포함하며, 컨트롤러(110)를 향하여 적외선을 발광한다.

영상 생성부(320)는 컨트롤러(110)로부터 광(light)을 수신하고, 수신된 광에 상응하는 영상을 생성한다. 여기에서, 수신되는 광은 발광부(310)로부터 발광된 적외선이 컨트롤러(110)의 마커에 의해 반사된 후 적외선 카메라(120)로 입사되는 광을 포함한다. 영상 생성부(320)는 가시광선을 차단하고 적외선을 통과시키는 적외선 통과 필터와 통과된 적외선에 상응하는 영상을 생성하는 이미지 센서를 포함할 수 있다. 이 경우, 적외선 통과 필터는 필터 특성에 따라 적외선 뿐만 아니라 가시광선을 일부 통과시킬 수도 있다.

소프트웨어 필터부(330)는 영상 생성부(320)에 의해 생성된 영상에 있는 잡음을 제거하여 마커에 대한 적외선 영상을 생성한다. 이하 마커에 대한 적외선 영상을 마킹 영상이라 칭하기로 한다. 예를 들어, 소프트웨어 필터부(330)는 다이렉트쇼 필터(DirectShow filter)를 구비하여 잡음이 섞인 영상으로부터 실시간으로 마킹 영상을 생성할 수 있다. 예를 들어, 소프트웨어 필터부(330)는 도 4의 (a)와 같은 영상을 필터링하여 도 4의 (b)와 같은 영상을 생성할 수 있다.

도 5는 개시된 기술의 일 실시예에 따른 적외선 카메라를 이용한 사용자 인터페이스 방법을 나타내는 흐름도이다.

도 5를 참조하면, 510 단계에서, 적외선 카메라는 마커가 부착되어 있는 컨 트롤러를 향하여 적외선을 발광한다.

520 단계에서, 적외선 카메라는 마커가 부착되어 있는 컨트롤러를 촬영하여, 컨트롤러에 대한 영상을 생성한다. 적외선 카메라는 컨트롤러로부터 광을 수신하고, 수신된 광에 상응하는 영상을 생성한다. 여기에서 수신되는 광은 발광된 적외선이 마커에 의해 반사된 후 적외선 카메라로 입사되는 광을 포함한다.

530 단계에서, 적외선 카메라는 소프트웨어 필터를 이용하여 컨트롤러에 대한 영상에서 잡음을 제거하여 마킹 영상을 생성한다. 예를 들어, 소프트웨어 필터는 다이렉트쇼 필터(DirectShow filter)일 수 있다.

540 단계에서, 좌표 결정부는 마킹 영상으로부터 마커의 움직임 및 마커의 움직임에 상응하는 좌표를 결정한다. 예를 들어, 좌표 결정부는 이전에 생성되어 저장된 마킹 영상과 적외선 카메라로부터 현재 제공받은 마킹 영상을 비교하여, 마커의 움직임 및 움직임에 따른 좌표를 결정할 수 있다. 여기에서, 마커의 움직임은 이전 마킹 영상에서의 마커의 위치와 현재 마킹 영상에서의 마커의 위치 간의 차이를 표시하는 벡터일 수 있다. 또한, 좌표 결정부는 이전에 저장된 마킹 영상에 상응하는 좌표에 마커의 움직임을 적용하여 현재 마킹 영상에서의 마커의 좌표를 결정할 수 있다.

550 단계에서, 디스플레이 장치는 마커의 좌표를 화상으로 디스플레이한다.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므 로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

일 실시예에 따른 사용자 인터페이스 시스템은 적외선 카메라가 사용자의 신체 부위에 부착된 마커에 대한 적외선 영상을 생성하고, 적외선 영상으로부터 마커의 움직임 및 마커의 좌표를 결정하므로, 사용자의 움직임에 상응하는 직관적이고 편리한 사용자 인터페이스를 제공할 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

도 1은 개시된 기술의 일 실시예에 따른 적외선 카메라를 이용한 사용자 인터페이스 시스템의 구성을 나타내는 블록도이다.

도 2는 컨트롤러가 사용자의 신체 부위에 부착되는 일 예를 설명하기 위한 도면이다.

도 3은 도 1에 도시된 적외선 카메라의 구성을 나타내는 블록도이다.

도 4는 도 3의 소프트웨어 필터부가 적외선 영상을 생성하는 일 예를 설명하기 위한 도면이다.

도 5는 개시된 기술의 일 실시예에 따른 적외선 카메라를 이용한 사용자 인터페이스 방법을 나타내는 흐름도이다.

Claims (16)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 마커가 부착된 컨트롤러;

   적외선을 발광하며, 상기 컨트롤러를 촬영하여 상기 컨트롤러에 대한 영상을 생성하고, 상기 영상의 잡음을 제거하여 상기 마커에 대한 적외선 영상을 생성하는 적외선 카메라;

   상기 마커에 대한 상기 적외선 영상으로부터 상기 마커의 움직임 및 상기 움직임에 상응하는 좌표를 결정하는 좌표 결정부; 및

   상기 결정된 좌표를 화상으로 디스플레이하는 디스플레이 장치를 포함하고,

   상기 좌표 결정부는

   복수의 움직임 패턴들을 참조하여, 상기 복수의 움직임 패턴들 중 상기 결정된 움직임과 가장 유사한 움직임을 가지는 움직임 패턴을 결정하고, 상기 결정된 움직임 패턴에 상응하는 좌표를 결정하는 사용자 인터페이스 시스템.
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 적외선을 발광하는 단계;

    마커가 부착된 컨트롤러를 촬영하여 상기 컨트롤러에 대한 영상을 생성하는 단계;

    상기 영상의 잡음을 제거하여 상기 마커에 대한 적외선 영상을 생성하는 단계;

    상기 마커에 대한 적외선 영상으로부터 상기 마커의 움직임 및 상기 움직임에 상응하는 좌표를 결정하는 단계; 및

    상기 결정된 좌표를 화상으로 디스플레이하는 단계를 포함하고,

    상기 마커에 대한 적외선 영상으로부터 상기 마커의 움직임 및 상기 움직임에 상응하는 좌표를 결정하는 단계는

    복수의 움직임 패턴들을 참조하여, 상기 복수의 움직임 패턴들 중 상기 마커의 움직임과 가장 유사한 움직임을 가지는 움직임 패턴을 결정하고, 상기 결정된 움직임 패턴에 상응하는 좌표를 결정하는 사용자 인터페이스 방법.
16. 삭제

Images