KR101549031B1 - 포인팅 기능을 제공하는 장치, 방법 및 기록매체 - Google Patents

Abstract

본 발명은 포인팅 기능을 제공하는 장치, 방법 및 기록매체에 관한 것으로서, 착용형 장치(Wearable device)에서 지시자를 이용하여 특정 포인트를 포인팅하는 방법 및 포인팅 정보를 착용형 장치의 디스플레이에 출력하는 장치, 방법 및 기록매체에 관한 것이다. 보다 상세히는, 본 발명의 포인팅 기능를 제공하는 안경형 디스플레이 장치는, 제 1 이미지를 획득하는 제 1 카메라부와 제 2 이미지를 획득하는 제 2 카메라부와 제 1 이미지에서 지시지점의 제 1 위치정보를 추출하고, 제 2 이미지에서 지시지점의 제 2 위치정보를 추출하는 이미지 처리부와 지시지점의 제 1 위치정보 및 지시지점의 제 2 위치정보에 기초하여 지시지점의 최종위치를 생성하는 포인팅 처리부 및 지시지점의 최종위치를 출력하는 디스플레이부를 포함하는 안경형 디스플레이 장치 및 방법을 제공한다.

Description

포인팅 기능을 제공하는 장치, 방법 및 기록매체{APPARATUSES, METHODS AND RECORDING MEDIUM FOR PROVIDING POINTING FUNCTION}

본 발명은 포인팅 기능을 제공하는 장치, 방법 및 기록매체에 관한 것으로서, 착용형 장치(Wearable device)에서 지시자를 이용하여 특정 포인트를 포인팅하는 방법 및 포인팅 정보를 착용형 장치의 디스플레이에 출력하는 장치, 방법 및 기록매체에 관한 것이다.

최근 이동성이 강조되고, 사용자의 신체에 착용할 수 있는 장치에 대한 관심이 고조되고 있다. 특히, 웨어러블 디바이스(Wearable Device)와 관련된 다양한 기술이 논의되고 있다. 웨어러블 디바이스란 단어 그대로 착용하는 전자기기를 뜻한다. 하지만 단순히 액세서리처럼 전자기기를 몸에 착용하는 것이 아니라, 사용자 신체의 가장 가까운 위치에서 사용자와 소통할 수 있는 전자기기를 의미한다. 웨어러블 디바이스의 종류로는 착용형 디스플레이인 스마트 안경, 손목에 착용할 수 있는 스마트 시계 또는 스마트 밴드 등과 같은 제품들이 있을 수 있다.

이러한 웨어러블 디바이스는 주변환경에 대한 상세 정보나 사용자의 신체 변화를 실시간으로 모니터링하고, 해당 정보를 지속적으로 수집하여 전송하거나 가공할 수 있다.

한편, 전술한 웨어러블 디바이스는 사용자의 신체에 착용 또는 신체와 가깝게 위치하고 항상 휴대하고 다녀야 하는 문제점으로 인해서 소형화 기술이 중요시 되고 있다. 또한, 소형화되더라도 사용자의 욕구를 만족시키기 위해서는 다양한 기능이 포함되어야 한다.

따라서, 사용자의 신체에 착용되고 소형화되는 추세에서 기존의 기기 제어방법 또는 지시 방법 등에 변화가 요구된다. 즉, 기존의 전력제공 장치 또는 제어명령 입력 장치 또는 제어방법 등을 더 이상 사용할 수 없거나 변형되어 사용되도록 설계되어야 하는 문제점이 있다.

이러한 배경에서, 본 발명은 웨어러블 디바이스가 기존의 전자기기 입력장치인 키보드, 마우스 또는 터치패드와 같은 별도의 장비를 사용할 수 없는 상황에서 직관적이고 정확한 입력 수단을 제안하고자 한다.

또한, 본 발명은 지시지점의 정확도를 높여서 사용자의 편의성을 증대시킬 수 있고, 별도의 장치 필요없이 웨어러블 디바이스를 제어할 수 있는 방법 및 장치를 제안하고자 한다.

전술한 목적을 달성하기 위하여, 일 측면에서, 본 발명은 포인팅 기능를 제공하는 안경형 디스플레이 장치에 있어서, 제 1 이미지를 획득하는 제 1 카메라부와 제 2 이미지를 획득하는 제 2 카메라부와 제 1 이미지에서 지시지점의 제 1 위치정보를 추출하고, 제 2 이미지에서 지시지점의 제 2 위치정보를 추출하는 이미지 처리부와 지시지점의 제 1 위치정보 및 지시지점의 제 2 위치정보에 기초하여 지시지점의 최종위치를 생성하는 포인팅 처리부 및 지시지점의 최종위치를 출력하는 디스플레이부를 포함하는 안경형 디스플레이 장치를 제공한다.

다른 측면에서, 본 발명은 안경형 디스플레이 장치가 포인팅 기능을 제공하는 방법에 있어서, 제 1 이미지를 획득하는 단계와 제 2 이미지를 획득하는 단계와 제 1 이미지에서 지시지점의 제 1 위치정보를 추출하고, 제 2 이미지에서 지시지점의 제 2 위치정보를 추출하는 이미지 처리단계와 지시지점의 제 1 위치정보 및 지시지점의 제 2 위치정보에 기초하여 지시지점의 최종위치를 생성하는 포인팅 처리단계 및 지시지점의 최종위치를 출력하는 디스플레이 단계를 포함하는 방법을 제공한다.

또 다른 측면에서, 본 발명은 포인팅 기능을 제공하는 방법을 실행시키기 위한 프로그램이 기록된 기록매체에 있어서, 제 1 이미지를 획득하는 기능과 제 2 이미지를 획득하는 기능과 제 1 이미지에서 지시지점의 제 1 위치정보를 추출하고, 제 2 이미지에서 지시지점의 제 2 위치정보를 추출하는 이미지 처리기능과 지시지점의 제 1 위치정보 및 지시지점의 제 2 위치정보에 기초하여 지시지점의 최종위치를 생성하는 포인팅 처리기능 및 지시지점의 최종위치를 출력하는 디스플레이 기능을 구현하는 프로그램이 기록되고 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

이상에서 설명한 바와 같이 본 발명에 의하면, 사용자가 별도의 장비없이 직관적인 방법에 의해서 안경형 디스플레이를 제어할 수 있는 방법 및 장치를 제공하는 효과가 있다.

또한, 본 발명에 의하면, 지시자에 의해서 지시되는 지시지점의 정확한 위치를 도출하여 정확한 포인팅 기능을 제공하는 장치 및 방법을 제공하는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 안경형 디스플레이 장치의 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 지시자를 이용한 포인팅 기능을 예를 들어 도시한 도면이다.
도 3은 본 발명의 또 다른 실시예에 따른 안경형 디스플레이 장치가 포인팅 기능을 제공함에 있어서 정확도를 제공할 수 있는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 또 다른 실시예에 따른 지시지점의 변화에 따른 커서 출력 위치의 변화를 설명하기 위한 도면이다.
도 5는 본 발명의 또 다른 실시예에 따른 지시지점의 변화에 따른 커서의 이동을 설명하기 위한 도면이다.
도 6은 본 발명의 또 다른 실시예에 따른 지시자의 모양 변화에 따른 명령 정보 실행의 일 예를 도시한 도면이다.
도 7은 본 발명의 또 다른 실시예에 따른 명령 정보 실행의 경우에 해당 오브젝트 연계 정보가 표시되는 기능을 설명하기 도면이다.
도 8은 본 발명의 또 다른 실시예에 따른 안경형 디스플레이 장치의 블록도이다.
도 9는 본 발명의 또 다른 실시예에 따른 안경형 디스플레이 장치의 동작을 도시한 흐름도이다.

본 발명은 포인팅 기능을 제공하는 안경형 디스플레이 장치, 웨어러블 디바이스 장치, 제어방법 및 기록매체를 개시한다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

본 발명은 사용자가 착용할 수 있는 웨어러블 기기에서 사용될 수 있는 포인팅 기능의 제공 방법 및 장치를 제공한다.

도 1은 본 발명의 일 실시예에 따른 안경형 디스플레이 장치의 블록도이다.

본 발명의 일 실시예에 따른 포인팅 기능를 제공하는 안경형 디스플레이 장치는, 제 1 이미지를 획득하는 제 1 카메라부(110)와 제 2 이미지를 획득하는 제 2 카메라부(120)와 제 1 이미지에서 지시지점의 제 1 위치정보를 추출하고, 제 2 이미지에서 지시지점의 제 2 위치정보를 추출하는 이미지 처리부(130)와 지시지점의 제 1 위치정보 및 지시지점의 제 2 위치정보에 기초하여 지시지점의 최종위치를 생성하는 포인팅 처리부(140) 및 지시지점의 최종위치를 출력하는 디스플레이부(150)를 포함할 수 있다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 안경형 디스플레이 장치는 사용자의 손가락과 같은 지시자를 포함하는 제 1 이미지를 촬영하여 획득하는 제 1 카메라부(110)를 포함할 수 있다. 또한, 본 발명의 일 실시예에 따른 안경형 디스플레이 장치는 전술한 지시자를 포함하는 제 2 이미지를 촬영하여 획득하는 제 2 카메라부(120)를 포함할 수 있다. 또한, 본 발명의 일 실시예에 따른 안경형 디스플레이 장치는 적어도 하나의 카메라부를 더 포함할 수도 있다. 제 1 카메라부(110) 및 제 2 카메라부(120)는 안경형 디스플레이 장치에 포함되어 사용자의 전방의 이미지를 획득할 수 있는 기능을 갖을 수 있으며, 카메라, 캠코더, 웹캠 등 이미지를 획득할 수 있는 다양한 장치로 구현될 수 있다.

본 발명에 따른 안경형 디스플레이 장치는 전술한 제 1 이미지 및 제 2 이미지에서 지시자의 끝점을 지시지점으로 인식할 수 있고, 해당 지시지점이 각 이미지에서 인식되는 지점의 위치정보를 추출하는 이미지 처리부(130)를 포함할 수 있다. 예를 들면, 제 1 이미지 및 제 2 이미지는 지시자를 포함하여 사용자의 전방 이미지를 포함할 수 있으며, 각 이미지에서 지시자가 가리키는 지시지점의 위치정보를 확적하여 추출할 수 있다. 일 예로, 제 1 카메라부(110) 및 제 2 카메라부(!20)가 안경형 디스플레이 장치에서 구성되는 위치의 차이에 의해서 제 1 이미지 및 제 2 이미지에서 지시지점의 위치에 차이가 발생할 수 있다.

이와 같은 지시지점의 차이를 보정하기 위해서 포인팅 처리부(140)는 제 1 위치정보 및 제 2 위치정보에 기초하여 지시지점의 최종위치를 생성할 수 있다. 예를 들어, 제 1 카메라부(110) 및 제 2 카메라부(120)의 사용자의 눈동자에 대한 상대적 위치정보와 지시지점의 제 1 위치정보 및 제 2 위치정보에 기초하여 사용자 눈동자에 의한 지시지점의 최종위치를 도출할 수 있다. 구체적인 지시지점의 최종위치 생성방법은 이하에서 도 3을 참조하여 더욱 상세히 설명한다.

안경형 디스플레이 장치는 포인팅 처리부(140)에 의해서 생성된 지시지점의 최종위치를 디스플레이부에 출력할 수 있다. 예를 들어, 지시자가 가리키는 지시지점의 최종위치가 생성되면, 디스플레이부에 해당 지시지점의 최종위치에 커서와 같은 특정 모양의 아이콘을 생성할 수 있다.

이와 같이 본 발명에 따르면, 사용자의 시선에 위치하는 지시지점의 정확한 도출이 가능하고, 별도의 입력장치 없이 사용자 손가락 등을 이용하여 디스플레이부에 커서를 표시함으로써 입력수단으로 사용할 수 있다. 즉, 포인팅 기능을 제공하며, 그 포인팅 지점의 정확성을 향상시킬 수 있다.

이하에서는, 전술한 본 발명에 대해서 도면을 참조하여 더욱 상세하게 예를 들어 설명한다.

도 2는 본 발명의 다른 실시예에 따른 지시자를 이용한 포인팅 기능을 예를 들어 도시한 도면이다.

도 2를 참조하면, 도 1에서 설명한 바와 같이 안경형 디스플레이 장치(200)는 제 1 카메라부(210) 및 제 2 카메라부(220)를 포함할 수 있다. 제 1 카메라부(110) 및 제 2 카메라부는 도시된 바와 같이 안경형 디스플레이 장치(200)에 구성될 수도 있고, 장치의 양쪽 끝에 구성될 수도 있다. 본 명세서에서는 한쪽 안경 알 부분의 양끝에 구성되는 경우를 예를 들어 설명하나, 다양한 위치에 구성될 수 있다.

사용자는 안경형 디스플레이 장치(200)를 통해서 외부 환경을 주시할 수 있으며, 지시자(201)를 이용하여 외부 환경에서 특정 지점(230)을 지시할 수 있다. 예를 들어, 지시지점은 사용자 손끝, 지시물의 끝, 레이저 포인터 장치에 의해서 생성되는 포인트 지점 및 비가시광선 포인터 장치에 의해서 생성되는 포인트 지점 중 어느 하나 이상을 포함할 수 있다. 즉, 지시지점은 지시자에 의해서 형성될 수 있으며, 지시자는 사용자의 손끝이 되거나, 지시봉과 같은 지시물 또는 포인터 장치와 같은 장치가 될 수 있다. 도 2에서는 사용자의 손가락이 지시자인 경우를 예를 들어 설명한다. 사용자가 지시자(201)를 이용하여 특정 지점(230)을 지시하는 경우에 안경형 디스플레이 장치(200)에 구성될 수 있는 디스플레이부(240)에 해당 지시지점의 위치가 출력될 수 있다. 예를 들어, 도 2와 같이 지시지점에 따라 디스플레이부(240)에 커서 모양이 출력될 수 있다.

이를 위해서 본 발명의 안경형 디스플레이 장치는 제 1 카메라부 및 제 2 카메라부를 구비하여 지시자가 지시하는 지점을 정확히 도출하기 위한 포인팅 처리부를 포함한다.

다른 예로, 비가시광선 포인터 장치가 지시자로 이용되는 경우에 안경형 디스플레이 장치는 적외선 카메라와 같은 비가시광선 대역의 이미지를 획득할 수 있는 구성이 추가될 수 있다. 이를 이용해서 제 1 카메라부 또는 제 2 카메라부에 의해서 생성된 가시광선 대역의 이미지에 적외선 카메라 구성에 의해서 획득될 수 있는 지시지점의 이미지가 합성되어 지시지점의 최종위치가 생성될 수도 있다. 또는 제 1 카메라부 및 제 2 카메라부가 적외선 카메라로 구성되거나, 적외선 카메라 구성을 포함할 수도 있다.

도 3은 본 발명의 또 다른 실시예에 따른 안경형 디스플레이 장치가 포인팅 기능을 제공함에 있어서 정확도를 제공할 수 있는 방법을 설명하기 위한 도면이다.

전술한 포인팅 처리부가 포인팅 지점, 즉 지시자가 지시하는 지점을 정확히 추출하여 지시지점의 최종위치를 생성하기 위한 방법을 도면을 참조하여 예를 들어 설명한다.

우선, 이미지 처리부는 제 1 카메라부에 의해서 입력되는 제 1 이미지 및 제 2 카메라부에 의해서 입력되는 제 2 이미지에서 지시자를 추출할 수 있다. 지시자 추출은 객체 추출 기술이 사용되거나, 미리 저장된 특정 지시자 모양과의 매핑 여부를 판단하여 결정할 수 있다. 객체 추출 기술은 배경이미지에서 특정 객체를 추출하는 방법으로 객체 추출 알고리즘이 사용될 수 있다. 일 예로, 그랩 컷 알고리즘을 사용하여 배경이미지와 지시자의 이미지를 분리하여 추출할 수 있다.

또한, 이미지 처리부는 추출된 지시자가 지시하는 지점의 제 1 이미지 및 제 2 이미지에서 위치정보를 추출할 수 있다.

본 발명의 또 다른 실시예에 따른 포인팅 처리부는, 지시지점의 제 1 위치정보와 지시지점의 제 2 위치정보 사이의 간격정보에 기초하여 지시지점의 최종위치를 생성할 수 있다. 또한, 포인팅 처리부는, 제 1 카메라부 및 제 2 카메라부 각각이 안경형 디스플레이 장치를 착용하는 사용자 눈동자와 이루는 거리비율 정보 및 간격정보에 기초하여 지시지점의 최종위치를 생성할 수 있다.

도 3을 참조하여 설명하면, 포인팅 처리부는 c1 및 c2 지점에 구성될 수 있는 각 카메라부로부터 획득되는 각 이미지에 기초하여 사용자가 눈동자로 지시하는 지시지점(p0)을 생성할 수 있다. 구체적으로 예를 들면, 사용자가 지시자(손가락)를 통해서 지시하는 지시지점은 c0과 지시자 끝을 잇는 지점인 p0일 수 있다. 이 경우에 제 1 카메라부(c1)에 의해서 획득되는 제 1 이미지에서 지시지점은 c1과 지시자 끝을 잇는 지점인 p1이 된다. 또한, 제 2 카메라부(c2)에 의해서 획득되는 제 2 이미지에서 지시지점은 c2와 지시자 끝을 잇는 지점인 p2가 될 수 있다. 따라서, 포인팅 처리부는 제 1 위치정보(p1)와 제 2 위치정보(p2) 간의 간격정보에 기초하여 지시지점의 최종위치(p0)를 도출할 수 있다. 즉, 포인팅 처리부는 사용자 눈동자(c0)와 각 카메라부(c1, c2)가 이루는 거리비율 정보 및 전술한 간격정보(p1과 p2 간격)를 이용하여 지시지점의 최종위치(p0)를 생성할 수 있다.

구체적으로, 포인팅 처리부는, 간격정보를 거리비율 정보로 나눈 지점을 지시지점의 최종위치를 생성할 수 있다. 예를 들어, 사용자 눈동자(c0)와 제 1 카메라부의 위치(c1)의 거리 및 제 2 카메라부의 위치(c2)의 거리 비율 정보에 기초하여 p1과 p2의 거리를 해당 거리 비율 정보로 나눈 지점은 지시지점의 최종위치(p0)로 생성할 수 있다. 즉, c0 ~ c1과 c0 ~ c2의 거리 비율이 m:n인 경우에 p1과 p2의 간격정보를 m;n으로 나눈 지점을 지시지점의 최종위치(p0)로 계산하여 생성할 수 있다.

각 카메라부가 안경형 디스플레이 장치의 양끝에 구성되는 경우에도 전술한 방법으로 지시지점의 최종위치를 생성할 수 있다.

본 발명의 또 다른 실시예의 경우에 포인팅 처리부는 사용자에 의해서 입력되는 보정정보에 기초하여 전술한 지시지점의 최종위치를 생성할 수 있다. 예를 들어, 사용자는 전술한 방법에 의해서 계산된 지시지점의 최종위치가 p0 지점과 차이가 있는 경우에 해당 지시지점의 최종위치를 보정할 수 있는 보정정보를 입력할 수 있다. 이는 각 사용자마다 눈과 카메라부의 거리가 상이할 수 있고, 안경형 디스플레이 장치의 착용방법에 의해서도 차이가 발생할 수 있으므로, 안경형 디스플레이 장치에 구성될 수 있는 버튼 또는 입력수단을 이용하여 지시지점의 최종위치를 보정할 수 있다. 또한, 포인팅 처리부는 입력된 보정정보를 저장 또는 가공하여 지시지점 최종위치를 생성하는 경우에 해당 보정정보를 일 파라미터로 사용할 수 있다.

본 발명의 또 다른 실시예에 따른 안경형 디스플레이 장치는 음성 신호, 제 1 카메라부에 의해서 획득되는 제스처 신호 및 버튼 입력 신호 중 하나 이상의 신호에 기초하여 포인팅 처리부의 지시지점 최종위치 생성 동작의 활성화 여부를 제어하는 활성화제어부를 더 포함할 수 있다. 예를 들어, 포인팅 처리부의 동작은 활성화/비활성화 명령 신호에 따라서 활성화되거나 비활성화될 수 있다. 즉, 사용자에 의해서 입력되는 특정 음성 신호가 미리 저장된 활성화 또는 비활성화 명령 신호에 대응되는 경우에 활성화 제어부는 포인팅 처리부의 기능을 활성화 또는 비활성화 되도록 제어할 수 있다. 다른 예로, 버튼 입력 신호 또는 미리 저장된 특정 제스쳐 신호가 감지되는 경우에도 활성화 또는 비활성화 명령 신호와의 대응 여부를 판단하여 포인팅 처리부의 기능을 활성화 또는 비활성화할 수 있다.

도 4는 본 발명의 또 다른 실시예에 따른 지시지점의 변화에 따른 커서 출력 위치의 변화를 설명하기 위한 도면이다.

본 발명의 또 다른 실시예에 따른 포인팅 처리부는, 지시지점의 위치변화 정보가 입력되면 지시지점의 위치변화 정보에 기초하여 지시지점의 최종위치를 갱신할 수 있다.

도 4를 참조하면, 포인팅 처리부는 전술한 지시지점의 제 1 위치정보 및 제 2 위치정보에 기초하여 최종위치를 생성한 후, 지시지점의 위치변화 정보가 입력되면 해당 지시지점의 변화된 위치에 따라서 최종위치를 새롭게 생성할 수 있다. 예를 들어, 도 4에서 실선으로 표시된 지시지점의 최종위치 지점을 디스플레이부에 출력한 후, 지시자의 위치가 변화되는 경우에 해당 지시자의 변화된 위치에 따른 지시지점의 최종위치를 계산하여 디스플레이부에 출력되는 커서의 위치를 변경할 수 있다. 이를 통해서 사용자는 지시지점을 변경하고, 기존의 마우스를 이용하는 것과 같이 디스플레이부에서 커서의 움직임을 자유롭게 제어할 수 있다.

도 5는 본 발명의 또 다른 실시예에 따른 지시지점의 변화에 따른 커서의 이동을 설명하기 위한 도면이다.

본 발명의 또 다른 실시예에 따른 안경형 디스플레이 장치는 지시지점의 최종위치 변화 패턴 정보와 미리 설정된 명령 패턴 정보의 일치여부를 확인하여, 최종위치 변화 패턴 정보가 명령 패턴 정보와 일치하는 경우에 명령 패턴 정보에 매핑되어 저장된 명령 동작이 수행되도록 제어하는 명령제어부를 더 포함할 수 있다.

도 5를 참조하면, 명령제어부는 최초 지시지점의 최종위치와 지시자의 움직임에 따른 지시지점의 최종위치가 변화하는 궤적정보를 확인할 수 있다. 명령제어부는 지시지점의 최종위치가 변화하는 변화 패턴 정보와 미리 설정될 수 있는 명령 패턴 정보의 일치여부를 확인하여 일치하는 경우에 일치하는 명령 패턴 정보에 매핑되어 저장된 명령 동작이 수행될 수 있도록 제어할 수 있다. 예를 들어, 도 5와 같이 지시자의 움직임으로 인해서 디스플레이부에 출력되는 커서가 궤적을 그리며 이동할 수 있다. 명령제어부는 이와 같은 궤적(즉, 변화 패턴 정보)이 미리 설정될 수 있는 명령 패턴 정보 중 특정 패턴과 일치하는 경우에 해당 명령 동작이 수행되도록 제어할 수 있다.

일 예로, 변화 패턴 정보가 원을 그리는 경우에 원에 해당하는 명령 패턴 정보가 클릭 동작에 매핑되면 명령제어부는 클릭 동작이 수행되도록 제어할 수 있다. 다른 예로, 변화 패턴 정보가 사용자로부터 멀어지는 경우에 해당 명령 패턴 정보에 줌인/줌아웃이 매핑되면 해당 지시지점이 줌인/줌아웃 되도록 제어할 수도 있다. 또한, 명령제어부는 최초 지시지점의 최종위치와 일직선상으로 변화 패턴이 생성되는 경우에 포인팅 처리부로부터 지시지점의 최종위치를 결정하는 동작에서 간격정보의 변화 정보를 수신하여 해당 간격정보의 변화에 따라서 변화 패턴을 생성할 수도 있다. 동일하게 안경형 디스플레이 장치는 변화 패턴 정보에 따라서 다양한 동작 제어 명령이 매핑될 수 있으며, 해당 변화 패턴이 발생하면 해당 명령이 수행될 수 있도록 제어될 수 있다.

전술한 명령 패턴 정보는 미리 저장될 수 있고, 사용자의 입력에 의해서 설정될 수도 있다. 예를 들어, 지시지점의 최종위치의 변화 패턴 정보가 생성되는 경우 사용자는 해당 변화 패턴 정보를 특정 명령 패턴 정보로 저장할 수 있다. 저장된 명령 패턴 정보는 데이터 저장부에 저장될 수 있고, 명령제어부는 이후 동일한 변화 패턴 정보가 발생하는 경우에 해당 명령 동작이 수행되도록 제어할 수 있다.

도 6은 본 발명의 또 다른 실시예에 따른 지시자의 모양 변화에 따른 명령 정보 실행의 일 예를 도시한 도면이다.

본 발명의 또 다른 실시예에 따른 제 1 이미지 및 제 2 이미지에 포함되는 지시지점을 가리키는 지시자의 모양 변화 패턴 정보와 미리 설정된 명령 패턴 정보의 일치여부를 확인하여, 모양 변화 패턴 정보가 명령 패턴 정보와 일치하는 경우에 명령 패턴 정보에 매핑되어 저장된 명령 동작이 수행되도록 제어하는 명령제어부를 더 포함할 수 있다.

도 6을 참조하면, 명령제어부는 제 1 이미지 및 제 2 이미지에 포함되는 지시자의 모양 변화에 따라서 특정 명령이 수행되도록 제어할 수 있다. 예를 들어, 포인팅 처리부는 사용자가 손가락으로 특정 지시지점을 지시하는 경우에 최초 지시지점의 최종위치를 생성하여 디스플레이부에 커서를 출력할 수 있다. 이후, 사용자가 손가락 끝을 구부리는 동작을 수행하면, 명령제어부는 사용자 손가락 모양의 변화에 따른 모양 변화 패턴 정보와 명령 패턴 정보를 비교하여 일치하는 경우에 해당 명령 동작이 수행되도록 제어할 수 있다. 일 예로, 사용자가 손가락 끝을 구부리는 경우에, 명령제어부는 해당 모양 변화 패턴 정보가 명령 패턴 정보 중 클릭 명령 패턴에 매핑되는 경우에 커서의 위치에서 클릭 동작이 수행되도록 제어할 수 있다.

또한, 명령 패턴 정보는 사용자에 의해서 저장/관리될 수도 있고, 미리 설정되어진 정보일 수도 있다.

또한, 명령제어부는 도 5에서 설명한 최종위치 변화 패턴 정보와 도 6의 모양 변화 패턴 정보 모두에 기초하여 특정 명령 동작의 수행을 제어할 수도 있다. 즉, 특정 변화 패턴 또는 지시자의 모양 변화 패턴에 기초하여 저장된 명령 패턴 정보와 일치 여부를 확인할 수 있다. 또한, 모양 변화 패턴과 최종위치 변화 패턴이 모두 일치하는 경우에만 해당 명령 동작이 수행되도록 제어할 수도 있다.

이상에서 설명한 명령제어부의 동작을 지시자가 손가락인 경우를 예로 들어 설명하였으나, 전술한 바와 같이 지시자가 손가락, 손, 지시물, 포인터와 같은 경우에도 동일하게 적용될 수 있다.

예를 들어, 명령제어부는 지시자가 지시물 또는 포인터인 경우에 지시물의 끝점 또는 포인터가 이동한 변화 패턴 정보와 명령 패턴 정보의 일치 여부를 통해서 특정 명령이 수행되도록 제어할 수 있다. 다른 예로, 명령제어부는 지시물의 모양 또는 포인터의 모양이 변화되지 않는 경우에 최종위치 변화 패턴 정보에만 기초하여 특정 명령이 수행되도록 제어할 수도 있다.

도 7은 본 발명의 또 다른 실시예에 따른 명령 정보 실행의 경우에 해당 오브젝트 연계 정보가 표시되는 기능을 설명하기 도면이다.

본 발명의 또 다른 실시예에 따른 안경형 디스플레이 장치는 최종위치 변화 패턴 정보 또는 지시자 모양 변화 패턴 정보와 지시지점의 최종위치에 기초하여 지시지점의 최종위치에 해당하는 오브젝트에 연계된 정보를 서버로부터 수신하는 수신부를 더 포함할 수 있다.

도 7을 참조하면, 사용자는 안경형 디스플레이 장치를 착용한 상태에서 전술한 지시지점의 최종위치를 변화시키거나, 지시자의 모양을 변화시키는 등의 동작을 수행할 수 있다. 이 경우, 전술한 명령제어부는 해당 동작이 특정 명령 패턴임을 인식하여 해당 명령이 수행되도록 제어할 수 있다. 예를 들어, 사용자가 지시지점의 최종위치에서 클릭 명령에 대응되는 동작을 수행하는 경우에 안경형 디스플레이 장치는 지시지점의 최종위치에 위치한 오브젝트에 연계된 정보를 출력할 수 있다. 이를 위해서 안경형 디스플레이 장치는 해당 오브젝트에 연계된 정보를 서버로부터 수신하는 수신부를 더 포함할 수 있다.

구체적으로, 사용자가 실내에서 쇼파 등이 존재하는 공간을 응시하고, 손가락으로 쇼파를 지시할 수 있다. 일 예로, 안경형 디스플레이 장치는 제 1 카메라 및 제 2 카메라를 이용하여 손가락이 포함된 이미지를 획득하고, 이미지 처리부와 포인팅 처리부에 의해서 해당 손가락이 지시하는 지시지점의 최종위치가 소파라는 것을 확인하여 디스플레이부에 커서를 소파 위치에 출력할 수 있다. 이후, 사용자가 클릭 명령에 대응되는 동작을 수행하면, 해당 클릭 명령에 대응되는 지시지점의 변화 궤적 또는 지시자의 모양 변화를 인식하여 클릭 동작이 수행될 수 있다. 이 경우, 커서가 위치한 소파에 연계된 연계정보가 존재하면 디스플레이부에 해당 연계정보가 출력될 수 있다. 도 7에 도시된 바와 같이 소파의 상세정보, 브랜드 정보, 구체적인 치수 정보 및 가격 정보 등과 같은 다양한 연계정보가 출력될 수 있다. 이를 통해서 사용자는 특정 사물 또는 광고 또는 위치와 연계된 정보를 손쉽게 획득할 수 있다.

이상에서 설명한 바와 같이 본 발명의 안경형 디스플레이 장치는 복수의 카메라부에 의해서 획득되는 이미지를 이용하여 지시자가 지시하는 지시지점을 정확히 생성할 수 있다. 또한, 안경형 디스플레이 장치는 해당 지시지점의 변화 또는 지시자의 모양 변화에 기초하여 특정 동작을 수행할 수도 있으며, 특정 연계정보를 디스플레이에 출력할 수도 있다.

전술한 각 기능이 모두 수행될 수 있는 안경형 디스플레이 장치의 구성을 도시하면 도 8과 같이 도시될 수 있다.

도 8은 본 발명의 또 다른 실시예에 따른 안경형 디스플레이 장치의 블록도이다.

도 8을 참조하면, 안경형 디스플레이 장치는 제 1 이미지를 획득하는 제 1 카메라부(810)과 제 2 이미지를 획득하는 제 2 카메라부(820)를 포함할 수 있다. 또한, 안경형 디스플레이 장치는 제 1 이미지 및 제 2 이미지를 처리하는 이미지 처리부(830)를 더 포함할 수 있다. 이미지 처리부(830)는 이미지에서 특정 객체를 추출하는 객체 추출 알고리즘 등을 이용하여 객체를 추출 분리하여 지시지점의 제 1 위치정보와 제 2 위치정보를 지정할 수 있다. 또한, 지시자의 모양을 감지할 수도 있다. 포인팅 처리부(840)는 제 1 위치정보 및 제 2 위치정보에 기초하여 지시지점의 최종위치를 생성할 수 있다. 디스플레이부(850)는 지시지점의 최종위치에 해당하는 위치에 커서 등의 표시를 출력할 수 있다. 또한, 디스플레이부(850)는 제 1 카메라부(810) 또는 제 2 카메라부(820)에 의해서 획득되는 이미지(사진 또는 영상 등)를 출력할 수도 있다.

한편, 명령제어부(860)는 전술한 지시지점의 위치 변화 또는 지시자의 모양 변화 및 명령 패턴 정보에 기초하여 특정 명령 동작이 수행되도록 제어할 수 있다. 즉, 명령제어부(860)는 디스플레이부(860)에 표시된 커서의 위치를 이동하거나, 클릭 동작이 수행되도록 제어하는 등의 동작 수행을 제어할 수 있다. 또한, 수신부(870)는 명령제어부(860)의 특정 명령 동작에 기초하여 사용자가 지시하는 오브젝트와 연계된 연계정보를 서버로부터 수신할 수 있다. 디스플레이부(850)는 해당 오브젝트에 연계된 연계정보를 디스플레이에 출력할 수 있다.

전술한 본 발명의 각 기능들에 의해서 사용자는 별도의 입력 장치가 없어도 안경형 디스플레이 장치의 동작을 제어할 수 있다. 또한, 정확한 지시지점의 최종위치 도출에 따라서 다양한 연계정보를 수신할 수도 있고, 정확한 제어 동작을 수행할 수도 있다.

이하에서는 전술한 본 발명이 모두 수행될 수 있는 안경형 디스플레이 장치의 동작을 도면을 참조하여 설명한다.

도 9는 본 발명의 일 실시예에 따른 안경형 디스플레이 장치의 동작을 도시한 흐름도이다.

본 발명의 일 실시예에 따른 안경형 디스플레이 장치가 포인팅 기능을 제공하는 방법에 있어서, 제 1 이미지를 획득하는 단계와 제 2 이미지를 획득하는 단계와 제 1 이미지에서 지시지점의 제 1 위치정보를 추출하고, 제 2 이미지에서 지시지점의 제 2 위치정보를 추출하는 이미지 처리단계와 지시지점의 제 1 위치정보 및 지시지점의 제 2 위치정보에 기초하여 지시지점의 최종위치를 생성하는 포인팅 처리단계 및 지시지점의 최종위치를 출력하는 디스플레이 단계를 포함할 수 있다.

도 9를 참조하면, 본 발명의 또 다른 실시예에 따른 안경형 디스플레이 장치는 제 1 이미지를 획득할 수 있다(S910). 제 1 이미지는 안경형 디스플레이 장치에 구성될 수 있는 제 1 카메라부에 의해서 획득될 수 있으며, 영상과 같은 동적 이미지와 사진과 같은 정적 이미지를 모두 포함한다. 또한, 안경형 디스플레이 장치는 제 2 이미지를 획득할 수 있다(S920). 제 2 이미지도 제 1 이미지와 마찬가지로 디스플레이 장치에 구성될 수 있는 제 2 카메라부에 의해서 획득될 수 있으며, 동적 또는 정적 이미지를 모두 포함한다. 제 1 카메라부 및 제 2 카메라부는 안경형 디스플레이 장치의 한쪽 또는 양쪽에 구성될 수 있다.

이후, 안경형 디스플레이 장치는 제 1 이미지 및 제 2 이미지에서 객체를 추출하여 지시자에 의한 지시지점의 제 1 위치정보와 제 2 위치정보를 추출할 수 있다(S930). 제 1 위치정보와 제 2 위치정보는 각 카메라부의 구성 위치에 따라서 약간의 차이가 발생할 수 있다. 따라서, 안경형 디스플레이 장치는 제 1 위치정보 및 제 2 위치정보와 카메라와 눈동자의 간격정보에 기초하여 지시지점의 최종위치를 생성하는 포인팅 처리 단계를 포함할 수 있다(S940).

또한, 안경형 디스플레이 장치는 해당 지시지점의 최종위치에 대응되는 위치에 커서 등이 출력하는 단계를 포함할 수 있다(S950).

한편, 도 9에 도시되지는 않았으나, 안경형 디스플레이 장치는 지시지점의 변화 패턴 또는 지시자의 모양 패턴 등에 기초하여 특정 명령 수행을 제어하는 명령제어 단계를 더 포함할 수도 있다. 또한, 특정 오브젝트에 연계된 연계정보를 서버로부터 수신하는 수신단계를 더 포함할 수 있으며, 해당 연계정보를 특정 명령 동작에 의해서 디스플레이에 출력하는 단계를 더 포함할 수도 있다.

이상에서 설명한 바와 같이 본 발명에 의하면, 사용자가 별도의 장비 없이 직관적인 방법에 의해서 안경형 디스플레이를 제어할 수 있는 방법 및 장치를 제공하는 효과가 있다.

또한, 본 발명에 의하면, 지시자에 의해서 지시되는 지시지점의 정확한 위치를 도출하여 정확한 포인팅 기능을 제공하는 장치 및 방법을 제공하는 효과가 있다.

이상에서 전술한 본 발명의 실시예에 따른 포인팅 기능을 제공하는 방법은, 안경형 디스플레이 장치에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼에 포함되거나 운영체제 등에 포함되거나 호환되는 프로그램일 수 있음)에 의해 실행될 수 있다. 또한, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 안경형 디스플레이 장치의 운영체제와 호환 가능하고 안경형 디스플레이 장치에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 여기서, 안경형 디스플레이 장치의 운영체제는, 데스크 탑 등의 일반 PC에 설치되는 윈도우(Window), 매킨토시(Macintosh), 리눅스(Linux) 등의 운영체제이거나, 스마트폰, 태블릿 PC 등의 모바일 단말기에 설치되는 iOS, 안드로이드(Android), 윈도우 모바일 등의 모바일 전용 운영체제 등일 수도 있다.

이러한 의미에서, 전술한 본 발명의 실시예에 따른 포인팅 기능을 제공하는 방법은 안경형 디스플레이 장치에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고, 안경형 디스플레이 장치 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.

본 발명의 실시예에 따른 포인팅 기능을 제공하는 방법을 구현한 프로그램은, 제 1 이미지를 획득하는 기능과 제 2 이미지를 획득하는 기능과 제 1 이미지에서 지시지점의 제 1 위치정보를 추출하고, 제 2 이미지에서 지시지점의 제 2 위치정보를 추출하는 이미지 처리기능과 지시지점의 제 1 위치정보 및 지시지점의 제 2 위치정보에 기초하여 지시지점의 최종위치를 생성하는 포인팅 처리기능 및 지시지점의 최종위치를 출력하는 디스플레이 기능 등을 실행할 수 있다. 이뿐만 아니라, 도 1 내지 도 9를 참조하여 설명하는 본 발명의 각 실시예에 따른 포인팅 기능 제공 방법에 대응되는 모든 기능을 실행할 수 있다.

이러한 프로그램은 컴퓨터에 의해 읽힐 수 있는 기록매체에 기록되고 컴퓨터에 의해 실행됨으로써 전술한 기능들이 실행될 수 있다.

이와 같이, 컴퓨터가 기록매체에 기록된 프로그램을 읽어 들여 프로그램으로 구현된 포인팅 기능 제공 방법을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다.

이러한 코드는 전술한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Function Code)를 포함할 수 있고, 전술한 기능들을 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수도 있다.

또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다.

또한, 컴퓨터의 프로세서가 전술한 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 프로세서가 컴퓨터의 통신 모듈(예: 유선 및/또는 무선 통신 모듈)을 이용하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야만 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수도 있다.

그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.

또한 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는 네트워크로 커넥션된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 이 경우, 다수의 분산된 컴퓨터 중 어느 하나 이상의 컴퓨터는 상기에 제시된 기능들 중 일부를 실행하고, 그 결과를 다른 분산된 컴퓨터들 중 하나 이상에 그 실행 결과를 전송할 수 있으며, 그 결과를 전송받은 컴퓨터 역시 상기에 제시된 기능들 중 일부를 실행하여, 그 결과를 역시 다른 분산된 컴퓨터들에 제공할 수 있다.

이상에서 전술한 바와 같은, 본 발명의 실시예에 따른 포인팅 기능을 제공하는 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있다.

또한, 본 발명의 실시예에 따른 포인팅 기능을 제공하는 방법을 실행시키기 위한 프로그램인 애플리케이션을 기록한 컴퓨터로 읽을 수 있는 기록매체는, 애플리케이션 스토어 서버(Application Store Server), 애플리케이션 또는 해당 서비스와 관련된 웹 서버(Web Server) 등을 포함하는 애플리케이션 제공 서버(Application Provider Server)에 포함된 저장매체(예: 하드디스크 등)이거나, 애플리케이션 제공 서버 그 자체일 수도 있으며, 프로그램을 기록한 다른 컴퓨터 또는 그 저장매체일 수도 있다.

본 발명의 일 실시예에 따른 포인팅 기능을 제공하는 방법을 실행시키기 위한 프로그램인 애플리케이션을 기록한 기록매체를 읽을 수 있는 컴퓨터는, 일반적인 데스크 탑이나 노트북 등의 일반 PC 뿐만 아니라, 스마트 폰, 태블릿 PC, PDA(Personal Digital Assistants), 웨어러블 디바이스 및 이동통신 단말기 등의 모바일 단말기를 포함할 수 있으며, 이뿐만 아니라, 컴퓨팅(Computing) 가능한 모든 기기로 해석되어야 할 것이다.

만약, 본 발명의 일 실시예에 따른 포인팅 기능을 제공하는 방법을 실행시키기 위한 프로그램인 애플리케이션을 기록한 기록매체를 읽을 수 있는 컴퓨터가 스마트 폰, 태블릿 PC, PDA(Personal Digital Assistants) 및 이동통신 단말기 등의 모바일 단말기인 경우, 모바일 단말기는 애플리케이션 스토어 서버, 웹 서버 등을 포함하는 애플리케이션 제공 서버로부터 해당 애플리케이션을 다운로드 받아 설치할 수 있고, 경우에 따라서는, 애플리케이션 제공 서버에서 일반 PC로 다운로드 된 이후, 동기화 프로그램을 통해 모바일 단말기에 설치될 수도 있다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (14)

1. 포인팅 기능를 제공하는 안경형 디스플레이 장치에 있어서,
   제 1 이미지를 획득하는 제 1 카메라부;
   제 2 이미지를 획득하는 제 2 카메라부;
   상기 제 1 이미지에서 지시지점의 제 1 위치정보를 추출하고, 상기 제 2 이미지에서 상기 지시지점의 제 2 위치정보를 추출하는 이미지 처리부;
   상기 지시지점의 제 1 위치정보 및 상기 지시지점의 제 2 위치정보 사이의 간격정보에 기초하여 상기 지시지점의 최종위치를 생성하는 포인팅 처리부; 및
   상기 지시지점의 최종위치를 출력하는 디스플레이부를 포함하되,
   상기 포인팅 처리부는,
   상기 제 1 카메라부와 상기 제2 카메라부 사이에 하나의 사용자 눈동자가 위치하는 경우, 상기 제 1 카메라부와 상기 사용자 눈동자가 이루는 거리정보 및 상기 제 2 카메라부와 상기 사용자 눈동자가 이루는 거리정보를 이용하여 상기 제 1 카메라부 및 상기 제 2 카메라부 각각이 상기 사용자 눈동자와 이루는 거리비율 정보를 산출하고,
   상기 간격정보를 상기 거리비율 정보에 따른 비율로 나눈 지점을 상기 지시지점의 최종위치로 생성하는 안경형 디스플레이 장치.
2. 삭제
3. 삭제
4. 삭제
5. 제 1 항에 있어서,
   상기 포인팅 처리부는,
   상기 사용자에 의해서 최종위치를 보정하기 위한 보정정보가 수신되는 경우, 상기 보정정보를 이용하여 상기 디스플레이부 상에 출력되는 상기 지시지점의 최종위치를 이동시켜 보정하고,
   상기 지시지점의 위치변화 정보가 입력되면, 상기 지시지점의 위치변화 정보 및 상기 보정정보를 이용하여 상기 지시지점의 최종위치를 갱신하는 것을 특징으로 하는 안경형 디스플레이 장치.
6. 제 1 항에 있어서,
   음성 신호, 상기 제 1 카메라부에 의해서 획득되는 제스처 신호 및 버튼 입력 신호 중 하나 이상의 신호에 기초하여 상기 포인팅 처리부의 상기 지시지점 최종위치 생성 동작의 활성화 여부를 제어하는 활성화제어부를 더 포함하는 안경형 디스플레이 장치.
7. 삭제
8. 제 1 항에 있어서,
   상기 지시지점의 최종위치 변화 패턴 정보와 미리 설정된 명령 패턴 정보의 일치여부를 확인하여, 상기 최종위치 변화 패턴 정보가 상기 명령 패턴 정보와 일치하는 경우에 상기 명령 패턴 정보에 매핑되어 저장된 명령 동작이 수행되도록 제어하는 명령제어부를 더 포함하는 안경형 디스플레이 장치.
9. 제 1 항에 있어서,
   상기 제 1 이미지 및 상기 제 2 이미지에 포함되는 상기 지시지점을 가리키는 지시자의 모양 변화 패턴 정보와 미리 설정된 명령 패턴 정보의 일치여부를 확인하여, 상기 모양 변화 패턴 정보가 상기 명령 패턴 정보와 일치하는 경우에 상기 명령 패턴 정보에 매핑되어 저장된 명령 동작이 수행되도록 제어하는 명령제어부를 더 포함하는 안경형 디스플레이 장치.
10. 제 1 항에 있어서,
    상기 지시지점은,
    사용자 손끝, 지시물의 끝, 레이저 포인터 장치에 의해서 생성되는 포인트 지점 및 비가시광 포인터 장치에 의해서 생성되는 포인트 지점 중 하나 이상을 포함하는 것을 특징으로 하는 안경형 디스플레이 장치.
11. 제 1 항에 있어서,
    최종위치 변화 패턴 정보 또는 지시자 모양 변화 패턴 정보와 상기 지시지점의 최종위치에 기초하여 상기 지시지점의 최종위치에 해당하는 오브젝트에 연계된 정보를 서버로부터 수신하는 수신부를 더 포함하는 안경형 디스플레이 장치.
12. 제 11 항에 있어서,
    상기 디스플레이부는,
    상기 오브젝트에 연계된 정보를 출력하는 것을 특징으로 하는 안경형 디스플레이 장치.
13. 안경형 디스플레이 장치가 포인팅 기능을 제공하는 방법에 있어서,
    제 1 카메라로부터 제 1 이미지를 획득하는 단계;
    제 2 카메라로부터 제 2 이미지를 획득하는 단계;
    상기 제 1 이미지에서 지시지점의 제 1 위치정보를 추출하고, 상기 제 2 이미지에서 상기 지시지점의 제 2 위치정보를 추출하는 이미지 처리단계;
    상기 지시지점의 제 1 위치정보 및 상기 지시지점의 제 2 위치정보 사이의 간격정보에 기초하여 상기 지시지점의 최종위치를 생성하는 포인팅 처리단계; 및
    상기 지시지점의 최종위치를 출력하는 디스플레이 단계를 포함하되,
    상기 포인팅 처리단계는,
    상기 제 1 카메라와 상기 제2 카메라 사이에 하나의 사용자 눈동자가 위치하는 경우, 상기 제 1 카메라와 상기 사용자 눈동자가 이루는 거리정보 및 상기 제 2 카메라와 상기 사용자 눈동자가 이루는 거리정보를 이용하여 상기 제 1 카메라 및 상기 제 2 카메라 각각이 상기 사용자 눈동자와 이루는 거리비율 정보를 산출하는 단계; 및
    상기 간격정보를 상기 거리비율 정보에 따른 비율로 나눈 지점을 상기 지시지점의 최종위치로 생성하는 단계를 더 포함하는 방법.
14. 포인팅 기능을 제공하는 방법을 실행시키기 위한 프로그램이 기록된 기록매체에 있어서,
    제 1 카메라로부터 제 1 이미지를 획득하는 기능;
    제 2 카메라로부터 제 2 이미지를 획득하는 기능;
    상기 제 1 이미지에서 지시지점의 제 1 위치정보를 추출하고, 상기 제 2 이미지에서 상기 지시지점의 제 2 위치정보를 추출하는 이미지 처리기능;
    상기 지시지점의 제 1 위치정보 및 상기 지시지점의 제 2 위치정보 사이의 간격정보에 기초하여 상기 지시지점의 최종위치를 생성하는 포인팅 처리기능; 및
    상기 지시지점의 최종위치를 출력하는 디스플레이 기능을 구현하되,
    상기 포인팅 처리기능은,
    상기 제 1 카메라와 상기 제2 카메라 사이에 하나의 사용자 눈동자가 위치하는 경우, 상기 제 1 카메라와 상기 사용자 눈동자가 이루는 거리정보 및 상기 제 2 카메라와 상기 사용자 눈동자가 이루는 거리정보를 이용하여 상기 제 1 카메라 및 상기 제 2 카메라 각각이 상기 사용자 눈동자와 이루는 거리비율 정보를 산출하는 기능; 및
    상기 간격정보를 상기 거리비율 정보에 따른 비율로 나눈 지점을 상기 지시지점의 최종위치로 생성하는 기능을 더 포함하는 프로그램이 기록되고 컴퓨터로 읽을 수 있는 기록매체.

Images