KR101492813B1 - 웨어러블 디스플레이용 입력장치 - Google Patents

Abstract

본 발명은 구글 글라스와 같은 웨어러블 디스플레이 디바이스에 적용할 수 있는 웨어러블 디스플레이용 입력장치에 관한 것이다. 본 발명에 따른 웨어러블 디스플레이용 입력장치는 웨어러블 디스플레이 디바이스를 제어하기 위한 것으로, 상기 웨어러블 디스플레이 디바이스에 장착되며, 복수의 영상을 연속적으로 촬영하는 카메라와, 상기 카메라에서 촬영된 복수의 영상을 분석하여 상기 카메라의 움직임 정보를 획득하는 영상 매칭부와, 상기 영상 매칭부에서 획득된 움직임 정보에 대응되는 제어신호를 생성하는 제어부를 포함하는 것을 특징으로 한다.

Description

웨어러블 디스플레이용 입력장치{A input device for wearable display device}

본 발명은 웨어러블 디스플레이용 입력장치에 관한 것으로, 보다 상세하게는 최근 구글에서 출시한 구글 글라스와 같이 사람의 몸에 착용하는 웨어러블 디스플레이를 조작하기 위한 장치에 관한 것이다.

최근들어 새로운 형태의 디스플레이 디바이스들이 다양하게 출현하고 있다. 특히, 모바일 디스플레이의 경우 기존의 디스플레이 기능에 소형 컴퓨터 기능을 부가한 스마트 디스플레이 디바이스를 넘어, 휴대성을 극대화하는 웨어러블 디스플레이의 형태로 발전하고 있다.

예컨대, 웨어러블 디스플레이 중 최근 구글에서 출시한 안경형 디스플레이(구글 글라스)의 경우 안경처럼 착용하면 되기 때문에 기존의 스마트 기기처럼 들고 다닐 필요가 없다. 즉, HMD(Head mount display)의 경우 안경처럼 착용하고 보기 때문에 TV와 같은 큰 부피의 디스플레이 디바이스가 필요 없다. 그리고, 시계형 디스플레이의 경우에도 소형으로 손목에 차고 다닐 수 있어, 양손이 편안한 상태에서 휴대형 디스플레이 기기를 이용할 수 있다.

한편, 안경형 디스플레이의 경우 눈과 밀착되어 휴대성 등의 여러 측면에서 효율적이지만, 기존의 스마트 디스플레이처럼 터치 스크린을 입력기로서 사용할 수 없어 새로운 형태의 입력장치가 필요하다.

예를 들어, 공개특허 10-2001-0012024호에 나타나 있는 바와 같이, 음성 인식 방법을 통해 명령신호를 입력할 수 있다. 하지만, 음성 인식 방법의 경우 시끄러운 곳에서 오동작의 가능성이 있고, 많은 사람이 모이는 곳에서는 타인의 청각을 자극할 수 있어 사용에 제한이 있다. 나아가, 음성 인식 방법으로 마우스의 이동이나 드래그와 같은 명령신호를 입력하기에는 어려움이 있다.

한편, 공개특허 10-2012-0047746호에는 터치 스크린을 직접 터치 하지 않고 마우스를 구동하는 가상마우스 구동방법 등이 제안된 바 있다. 하지만, 가상마우스 구동방법은 손의 움직임을 해석하여 명령을 구동하는 방법이다. 따라서, 안경형 디스플레이의 경우 명령입력을 위해 손을 카메라 앞에서 이동하면 전방의 시야를 가릴 수 있다는 문제점이 있으므로, 정면을 봐야하는 안경형 디스플레이에는 이와 같은 방식을 적용하기 어려움이 있다. 나아가, 손을 움직여 명령 입력을 하는 동작인식방법은 카메라 영상내로 손이 들어왔을 경우에만 동작이 가능하기 때문에 손이 영상내에 있는지를 확인하고 영상 영역밖으로 벗어나지 않게 주의해야 하는 문제점이 있다.

따라서, 웨어러블 디스플레이에 적용할 수 있는 새로운 형태의 입력장치의 개발이 요구된다.

선행특허1 : 공개특허 10-2001-0012024호 선행특허2 : 공개특허 10-2012-0047746호

본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 구글 글라스와 같은 웨어러블 디스플레이 디바이스에 적용할 수 있는 웨어러블 디스플레이용 입력장치를 제공하는 것이다.

본 발명에 따른 웨어러블 디스플레이용 입력장치는 웨어러블 디스플레이 디바이스를 제어하기 위한 것으로, 상기 웨어러블 디스플레이 디바이스에 장착되며, 복수의 영상을 연속적으로 촬영하는 카메라와, 상기 카메라에서 촬영된 복수의 영상을 분석하여 상기 카메라의 움직임 정보를 획득하는 영상매칭부와, 상기 영상매칭부에서 획득된 움직임 정보에 대응되는 제어신호를 생성하는 제어부를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 상기 제어부는 상기 움직임 정보를 디스플레이 상에서의 커서의 좌표 이동량으로 변환하는 것이 바람직하다.

또한, 본 발명에 따르면 상기 영상매칭부는 촬영된 각 영상을 일정 개수의 블럭으로 분할하고, 연속된 두 영상에서 상호 대응되는 블럭들의 이동량을 영상 매칭 방법으로 구하고, 상기 구해진 이동량의 통계 값으로부터 연속된 두 영상 사이의 변위를 산출하는 것이 바람직하다.

또한, 본 발명에 따르면 상기 제어부는, 상기 카메라가 기준시간 내에 상하 또는 좌우로 N회 이상 주기적으로 이동되는 움직임 정보를 커서의 on/off 신호로 활용하는 것이 바람직하다.

또한, 본 발명에 따르면 상기 제어부는, 상기 카메라가 기준시간 내에 상하 또는 좌우로 N회 이상 주기적으로 이동되는 움직임 정보를 커서의 클릭 신호로 활용하는 것이 바람직하다.

본 발명에 따르면, 웨어러블 디스플레이 디바이스를 용이하게 정확하게 조작할 수 있다.

도 1은 본 발명의 일 실시예에 따른 웨어러블 디스플레이용 입력장치의 개략적인 구성도이다.
도 2는 웨어러블 디스플레이 디바이스가 장착된 몸의 부위를 움직였을 때 카메라로부터 입력되는 영상들의 일례를 보여주는 도면이다.
도 3은 촬영된 영상을 블럭으로 나눈 일례를 보여주는 도면이다.
도 4는 카메라를 하측 방향으로 움직였을 때 촬영된 영상들간의 블럭들의 움직임을 보여 주는 도면이다.
도 5는 카메라를 하측 방향으로 움직였을 때 촬영된 영상들간의 블럭들의 움직임을 보여 주는 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 웨어러블 디스플레이용 입력장치에 관하여 설명한다.

도 1은 본 발명의 일 실시예에 따른 웨어러블 디스플레이용 입력장치의 개략적인 구성도이며, 도 2는 웨어러블 디스플레이 디바이스가 장착된 몸의 부위를 움직였을 때 카메라로부터 입력되는 영상들의 일례를 보여주는 도면이며, 도 3은 촬영된 영상을 블럭으로 나눈 일례를 보여주는 도면이며, 도 4는 카메라를 하측 방향으로 움직였을 때 촬영된 영상들간의 블럭들의 움직임을 보여 주는 도면이며, 도 5는 카메라를 하측 방향으로 움직였을 때 촬영된 영상들간의 블럭들의 움직임을 보여 주는 도면이다.

도 1 내지 도 5를 참조하면, 본 실시예에 따른 웨어러블 디스플레이용 입력장치는 구글 글라스와 같은 웨어러블 디스플레이 디바이스를 제어하기 위한 것으로, 카메라(10)와, 영상 매칭부(20)와, 제어부(30)를 포함한다.

카메라(10)는 복수의 영상을 연속적으로 촬영하기 위한 것으로, 웨어러블 디스플레이용 디바이스에 구비되어 있는 카메라가 활용될 수 있다. 예를 들어, 구글 글라스와 같이 안경 형태의 웨어러블 디스플레이용 디바이스는 안경테에 전방을 향하여 카메라가 설치될 수 있고, 손목시계 형태의 웨어러블 디스플레이용 디바이스의 경우에는 시계의 한쪽에 카메라가 설치될 수 있다. 이하에서는, 설명의 편의를 위해 구글 글라스와 같이 안경 형태를 가지는 웨어러블 디스플레이용 디바이스를 기준으로 설명한다.

영상 매칭부(20)는 카메라(10)에서 촬영된 복수의 영상을 입력받으며, 이 영상들을 분석하여 카메라의 움직임 정보를 획득한다.

구체적으로 설명하면, 안경 형태의 웨어러블 디스플레이용 디바이스에 설치되어 있는 카메라에 촬영되는 영상은, 사용자의 시선(보다 정확하게는 사용자가 바라보는 방향(얼굴 방향))에 의해 결정된다. 예를 들어, 카메라가 지면과 평행하게 달려 있다고 가정할 때, 머리를 좌우로 흔들면 도 2에 도시된 바와 같이 촬영된 영상도 좌우로 옵셋(차이)이 발생하게 된다. 또한, 머리를 상하로 흔들면 촬영된 영상도 상하로 옵셋이 발생하게 된다. 그런데, 연속적으로 촬영된 영상에서는 영상 사이의 옵셋량이 적게 되므로 영상 간의 매칭이 가능하다.

영상 매칭부(20)에서는 카메라의 움직임 정도(즉, 움직임 정보)를 나타내는 연속된 영상 간의 옵셋량을 구하기 위해, 도 3에 나타낸 바와 같이 촬영된 영상을 일정 개수의 블럭으로 나눈다. 연속된 두 개의 영상에서 상호 대응되는 블럭들의 이동량을 템플릿 매칭과 같은 영상 매칭 방법으로 구한다. 즉, 각 영상을 A~F까지 6개의 블럭으로 나눈다고 하면, N번째 영상에서 A 블럭과, N+1번째 영상에서의 A 블럭 사이의 이동량을 영상 매칭 방법으로 구하고, 동일하게 B~F 블럭에 대해서도 이동량을 구한다. 그리고, 이렇게 구해진 블럭들의 이동량들의 통계값으로부터 두 영상 사이의 변위(즉, 움직임 값)를 산출할 수 있다. 여기서, 통계값과 관련하여 블럭의 이동량들의 평균값을 사용할 수 있고, 아니면 빈도수가 많은 이동량을 영상 간의 변위로 정할 수 있다.

제어부(30)는 영상 매칭부에서 구해진 카메라의 움직임 정보에 따라 웨어러블 디스플레이 디바이스를 조작하기 위한 제어신호를 생성하는 것이다.

제어신호 생성에 관하여 구체적으로 설명하면, 도 4 및 도 5에서 보는 바와 같이, 카메라를 하측 방향으로 움직이면 움직임 벡터(움직임 정보)는 상측으로 구해지고 카메라를 좌측 방향으로 움직이면 움직임 벡터는 우측으로 구해진다. 이 경우 디스플레이 화면상의 커서는 카메라를 움직인 방향으로 움직이는 것이 직관적이다. 따라서 디스플레이의 y축 좌표는 구해진 움직임값의 방향과 반대로 캘리브레이션해줄 필요가 있다.

상기와 같이 구해진 영상간의 움직임 값을 캘리브레이션 과정을 통하여 디스플레이상의 좌표 변화량으로 바꾸어주면, 카메라의 움직임(즉, 사용자의 머리의 움직임)에 따라 디스플레이 상의 커서를 움직일 수 있다. 이때 머리의 상하좌우 움직임에 맞게 커서의 좌표도 상하좌우로 움직이도록 방향을 맞추어 좌표 변환을 해주면 직관적인 구동이 가능하다. 그리고 영상간의 움직임 값에 대한 디스플레이 좌표의 변화의 비율인 민감도에 관한 계수를 적절히 조절하면, 머리를 심하게 돌리지 않더라도 커서를 화면 끝에서 끝까지 움직일 수 있도록 할 수 있다. 또한, 정밀한 제어를 위해서는 영상간의 움직임값에 대한 디스플레이 좌표의 변화율을 선형적으로 곱해서 구하는 것이 아니라, 움직임 값의 제곱량을 이용할 수도 있다. 기본적으로는 연속되는 영상간의 매칭에 의해 구해지는 움직임 값의 정도에 따라 디스플레이상의 좌표의 변화량을 구함으로써, 화면상의 커서를 이동하고 원하는 메뉴를 선택할 수 있다.

한편, 커서를 켜고 끄기 위해서는 특별한 동작이 필요하다. 예를 들어, 사전에 설정된 기준시간 안에 머리(카메라)를 상하 또는 좌우로 N회 이상 반복적으로 움직이는 동작을 커서를 on/off 하는 제어신호로 활용할 수 있다.

즉, 머리를 상하로 여러번 움직이면 영상 간의 매칭에 의한 옵셋량의 증감이 주기적으로 나타내게 된다. 이것은 평상시에는 일어나기 힘든 동작으로, 기준시간 내에 이 주기적인 신호가 일정 횟수 이상 일어나게 되면 커서를 on/off 하는 동작으로 인식할 수 있다. 마찬가지로 머리를 좌우로 여러번 움직이는 동작을 커서를 끄는 동작으로 활용할 수 있다.

한편, 메뉴를 선택하는 클릭동작의 경우는 머리를 움직여 커서를 이동시키다가 일정 시간 멈추었을 때 클릭동작으로 해석할 수 있다. 이외에도 순간적으로 머리를 내렸다가 올리는 동작을 클릭동작으로 활용할 수 있다. 머리를 끄덕이는 동작은 직관적인 클릭동작과 일치하고 일정 시간 내에 하방으로 내려갔다가 올라오는 움직임값들을 해석하면 클릭동작을 인식할 수 있다. 이때 클릭하는 순간은 클릭동작을 인식한 후 과거의 기록으로부터 초기 클릭동작이 시작된 지점을 찾아내서 해당좌표에서 클릭이 일어났음을 소급 적용할 수 있다. 상기와 같은 방식으로 커서를 on, off하고 움직이고 클릭하여 메뉴를 선택할 수 있다.

참고로, 앞서 설명한 머리를 상하 또는 좌우로 흔드는 동작을 클릭하는 신호로도 활용할 수 있다.

한편, 웨어러블 디바이스중 손목시계형의 경우에도 안경형과 유사하게 구동할 수 있다. 손목시계 위에 달린 카메라를 이용하여 텍스처가 있는 대상을 바라보고 손목을 상하좌우로 움직이면 커서를 켜고 이동하고 클릭할 수 있다. 방법은 상기 기술한 안경형 디스플레이의 상하 움직임을 를 시계의 12시 방향 움직임으로 바꾸고 좌우 움직임을 3시 방향 움직임으로 치환하면 된다.

상기에 설명한 방법은 웨어러블 디스플레이에 장착된 카메라를 이용하는 방법에 대해 설명하였지만, 웨어러블 디스플레이에 장착된 자이로 센서를 이용해서도 비슷한 기능을 구현할 수 있다. 자이로 센서의 경우에는 해당하는 축의 각도의 변화량을 얻을 수 있다. 머리를 상하로 움직일때의 각도 변화량과 좌우로 움직일때의 각도 변화량을 상기 설명한 부분의 영상간의 옵셋량으로 치환하면 카메라를 이용했을 때와 유사한 결과를 얻을 수 있다.

상술한 바와 같이, 본 발명에 따르면 웨어러블 디스플레이 디바이스가 장착된 신체의 부위를 움직임으로써 웨어러블 디스플레이 디바이스를 용이하고 정확하게 조작할 수 있다. 그리고, 이러한 방식은 기존 음식 인식 방법과 달리 주변의 소음에 의해 방해를 받지 않을 뿐 아니라, 가상마우스 구동방식과 달리 사용자의 손을 특별히 움직이지 않아도 되므로, 웨어러블 디스플레이 디바이스를 매우 효율적으로 조작할 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

10...카메라 20...영상 매칭부
30...제어부

Claims (5)

1. 웨어러블 디스플레이 디바이스를 제어하기 위한 것으로,
   상기 웨어러블 디스플레이 디바이스에 장착되며, 복수의 영상을 연속적으로 촬영하는 카메라와,
   상기 카메라에서 촬영된 복수의 영상을 분석하여 상기 카메라의 움직임 정보를 획득하는 영상 매칭부와,
   상기 영상 매칭부에서 획득된 움직임 정보에 대응되는 제어신호를 생성하는 제어부를 포함하며,
   상기 영상 매칭부는 촬영된 각 영상을 일정 개수의 블럭으로 나누고, 연속된 두 영상에서 상호 대응되는 블럭들의 이동량을 영상 매칭 방법으로 구하고, 상기 구해진 이동량의 통계 값으로부터 연속된 두 영상 사이의 변위를 산출하는 것을 특징으로 하는 웨어러블 디스플레이용 입력장치.
2. 제1항에 있어서,
   상기 제어부는 상기 움직임 정보를 디스플레이 상에서의 커서의 좌표 이동량으로 변환하는 것을 특징으로 하는 웨어러블 디스플레이용 입력장치.
3. 삭제
4. 제1항에 있어서,
   상기 제어부는, 상기 카메라가 기준시간 내에 상하 또는 좌우로 N회 이상 주기적으로 이동되는 움직임 정보를 커서의 on/off 신호로 활용하는 것을 특징으로 하는 웨어러블 디스플레이용 입력장치.
5. 제1항에 있어서,
   상기 제어부는, 상기 카메라가 기준시간 내에 상하 또는 좌우로 N회 이상 주기적으로 이동되는 움직임 정보를 클릭 신호로 활용하는 것을 특징으로 하는 웨어러블 디스플레이용 입력장치.

Images