KR20140037464A - 사용자 인터페이스 장치 및 그의 방법 - Google Patents

Abstract

본 발명은 사용자 인터페이스 장치 및 그의 방법에 관한 것이다. 본 발명은 카메라의 전방에 위치한 사용자의 얼굴 방향과 시선 방향 중 적어도 하나의 방향 정보를 검출하는 검출부, 상기 검출부의 방향 정보에 기초하여 스크린의 전체 영역 중에서 사용자가 조작할 일부 영역을 스크린 영역으로 지정하는 제 1 영역 지정부, 상기 카메라를 통해 입력되는 손의 위치를 추적하여 상기 카메라가 촬영하는 카메라 영상의 전체 영역 중에서 사용자 손이 움직일 수 있는 영역을 추정하고 이를 카메라 영역으로 지정하는 제 2 영역 지정부, 상기 스크린 영역과 카메라 영역에서 표시되는 손의 움직임을 이동거리 정보 또는 이동속도 정보를 기초로 하여 상호 매핑시켜 상기 스크린 상에서 목적하는 좌표에 아이콘이 위치되게 하는 위치 지정부, 상기 카메라를 통해 입력되는 사용자의 손의 형상을 인식하는 인식부 및 인식된 상기 손의 형상에 대응하는 명령이 상기 아이콘이 가리키는 부분에서 실행되게 하는 실행부를 포함하는 구성이 제공된다. 이와 같은 본 발명에 따르면, 카메라와 스크린의 해상도가 차이가 있더라도, 사용자는 스크린상에서 자신이 원하는 위치에 아이콘을 정확하게 이동시킬 수 있는 이점이 있다.

Description

사용자 인터페이스 장치 및 그의 방법{USER INTERFACE APPARATUS AND THE METHOD THEREOF}

본 발명은 사용자 인터페이스 장치에 관한 것으로, 더욱 상세하게는 사용자가 자신의 모션(motion)을 통해 스크린에 조작하고자 하는 영역을 설정하면서 그 영역 내에서 손의 모션 정보를 검출하도록 하여, 스크린상에서 사용자가 의도하는 동작이 정확하게 수행되게 하는 사용자 인터페이스 장치 및 그 방법에 관한 것이다.

스크린(화면)에 표시되는 일련의 객체(예컨대, 웹브라우저나 각종 어플리케이션 등)를 조작하기 위해서는 대표적인 입력장치로 사용되는 키보드나 마우스, 리모컨이 사용되며, 근래에는 스크린을 직접 터치하기도 한다.

그런데 최근 컴퓨터의 성능 향상으로 인간과 컴퓨터 사이에 상호 작용이 강화된 직관적인 인터페이스 기술들이 부상하고 있다. 예컨대 사용자의 모션 정보를 검출하고 이로부터 조작명령을 인식하여 동작하게 하려는 시도가 다양하게 이루어지는 것이다. 특히 카메라를 이용하여 사용자의 움직임을 파악하고 스크린상의 각종 객체를 조작하도록 하는 기술 분야가 활발하다.

하지만, 상기 인터페이스 기술은 사용자의 모션 정보를 스크린에 단순하게 매핑(mapping)하는 방법이 대부분이다. 이 경우 사용자는 스크린 상에서 자신이 의도하는 동작을 수행하기 위한 소정 위치(좌표)에 자신의 손 움직임과 대응되어 움직이는 아이콘을 일치시키는 일이 어려웠다. 그렇기 때문에 사용자가 목적하는 동작과는 다른 동작이 종종 수행되는 오류를 일으킨다. 예컨대, 웹브라우저가 실행되는 대신 다른 프로그램이 실행되는 경우 등이 해당된다.

이는 사용자가 스크린 상에서 조작하고자 하는 정확한 위치로의 아이콘 이동이 어려웠기 때문에 발생하는 문제이다. 즉 스크린의 전체 영역 중에는 사용자가 조작하려고 하는 영역이 존재하는데, 종래에는 그러한 영역 없이 스크린의 전체 영역을 상대로 하여 아이콘을 이동시키기 때문이다.

상기의 문제점은 사용자의 모션 정보를 촬영하는 카메라의 해상도와 스크린의 해상도가 서로 차이가 나는 것이 본질적인 원인으로 작용하고 있다. 통상 사용자 인터페이스 장치에서 카메라와 스크린의 해상도는 당연히 차이가 날 수밖에 없는데 이처럼 해상도가 서로 차이가 나면, 사용자의 모션 정보를 촬영하는 카메라 영상에서의 손 위치와 스크린상에서의 손 위치가 서로 어긋나게 되는 것이다. 이러한 문제점은 종종 사용자 인터페이스 장치에서 불편한 점으로 인식되고 있다. 하지만 사용자들은 종종 자신이 의도하지 않는 동작이 실행되는 불편한 점을 감수하면서도 여전히 사용자 인터페이스 장치를 사용하여 스크린 조작을 하고 있는 것이 사실이다. 이는 아직까지 카메라와 스크린의 해상도 차이로 인하여 손(즉, 아이콘)의 위치가 스크린 상의 소정 위치로 정확하게 매핑시키는 기술이 구체적으로 제시되고 있지 않기 때문이다.

본 발명의 목적은 상기한 문제점을 해결하기 위한 것으로, 스크린의 전체 영역 중 일부가 사용자가 조작할 영역으로 지정되게 하여 사용자의 모션 행위가 보다 정밀하게 이루어지도록 하는 것이다.

본 발명의 다른 목적은 카메라와 스크린의 해상도 차이에 상관없이 사용자가 의도하는 동작이 스크린에서 실행되게 하는 것이다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따르면, 카메라의 전방에 위치한 사용자의 얼굴 방향과 시선 방향 중 적어도 하나의 방향 정보를 검출하는 검출부; 상기 검출부의 방향 정보에 기초하여 스크린의 전체 영역 중에서 사용자가 조작할 일부 영역을 스크린 영역으로 지정하는 제 1 영역 지정부; 상기 카메라를 통해 입력되는 손의 위치를 추적하여 상기 카메라가 촬영하는 카메라 영상의 전체 영역 중에서 사용자 손이 움직일 수 있는 영역을 추정하여 카메라 영역으로 지정하는 제 2 영역 지정부; 상기 스크린 영역과 카메라 영역에서 표시되는 손의 움직임을 이동거리 정보 또는 이동속도 정보를 기초로 하여 상호 매핑시켜 상기 스크린 상에서 목적하는 좌표에 아이콘이 위치되게 하는 위치 지정부; 상기 카메라를 통해 입력되는 사용자의 손의 형상을 인식하는 인식부; 및 인식된 상기 손의 형상에 대응하는 명령이 상기 아이콘이 가리키는 부분에서 실행되게 하는 실행부를 포함하는 사용자 인터페이스 장치가 제공된다.

여기서, 상기 스크린 영역은 상기 스크린의 크기 및 해상도, 상기 카메라의 해상도, 상기 카메라와 사용자와의 거리 정보에 따라 상기 얼굴 방향과 시선 방향 중 적어도 하나의 방향 정보에 의해 생성되는 영역이다.

그리고 상기 위치 지정부가 상기 이동거리 정보를 이용하여 매핑할 경우, 상기 스크린 영역과 상기 카메라 영역의 해상도를 비교하고, 해상도에 따라 상기 스크린 영역과 상기 카메라 영역에서의 손의 이동 거리를 서로 다르게 하여 매핑한다.

또한, 상기 위치 지정부가 상기 이동속도 정보를 이용하여 매핑할 경우, 손의 움직이는 속도를 계산하고, 속도에 따라 상기 스크린 영역과 상기 카메라 영역에서의 손이 움직이는 이동속도를 서로 다르게 조절하여 매핑한다.

본 발명의 다른 특징에 따르면, 정보를 디스플레이하는 스크린; 사용자를 촬영하는 카메라; 및 상기 스크린에서 사용자가 조작하고자 하는 스크린 영역을 상기 카메라에 의해 촬영된 사용자의 얼굴 방향과 시선 방향 중 적어도 하나의 방향정보를 이용하여 지정하고, 상기 카메라를 통해 입력되는 손의 최종 위치가 상기 스크린 영역에서 목적하는 좌표에 아이콘으로 표시될 수 있도록 상기 손의 이동 거리 또는 이동 속도를 조절하는 사용자 인터페이스장치를 포함하며, 상기 카메라를 통해 입력되는 손의 이동 거리 또는 이동 속도와 상기 스크린 영역에서의 이동 거리 또는 이동 속도는 다르게 설정됨을 특징으로 하는 단말장치가 제공된다.

본 발명의 또 다른 특징에 따르면, 사용자의 모션을 판단하여 스크린을 조작하도록 구성되는 사용자 인터페이스 장치가 인터페이스 하는 방법에 있어서, 카메라의 전방에 위치한 사용자의 얼굴 방향과 시선 방향 중 적어도 하나의 방향 정보를 검출하는 검출단계; 검출된 상기 방향 정보에 따라 상기 스크린의 전체 영역 중에서 스크린 영역을 지정하는 제 1 지정단계; 상기 카메라를 통해 입력되는 손의 위치를 추적하여 카메라 영상의 전체 영역 중에서 사용자 손이 움직이는 영역만을 카메라 영역으로 지정하는 제 2 지정단계; 상기 스크린 영역과 카메라 영역에서 표시되는 손의 움직임을 이동거리 정보 또는 이동속도 정보를 기초로 하여 매핑시키는 매핑단계; 상기 매핑단계에 의하여 아이콘이 스크린의 소정 좌표에 위치된 상태에서 카메라 영상에 들어오는 손의 형상을 인식하는 인식단계; 및 상기 손의 형상에 맞게 상기 아이콘이 가리키는 부분이 명령 실행되게 하는 실행단계를 포함하는 사용자 인터페이스 방법이 제공된다.

여기서 상기 제 1 지정단계는, 상기 스크린의 크기 및 해상도, 상기 카메라의 해상도, 상기 카메라와 사용자와의 거리 정보를 기초로 하여 상기 스크린 영역을 지정하며, 상기 스크린 영역은 사용자가 스크린 상에서 조작하고자 하는 영역이고, 상기 방향 정보에 대응되어 검출된 위치 및 상기 위치의 주변영역을 포함하게 된다.

그리고 상기 매핑 단계에서 상기 거리 정보를 이용하는 경우는, 상기 카메라 영역과 스크린 영역의 해상도를 비교하는 단계를 더 포함하고, 상기 해상도에 따라 상기 카메라 영역과 상기 스크린 영역에서의 손의 이동 거리를 다르게 조절하여 매핑한다.

또한 상기 매핑 단계에서 상기 속도 정보를 이용하는 경우는, 사용자 손이 움직이는 이동 속도를 계산하는 단계를 더 포함하고, 계산된 상기 이동 속도에 따라 상기 카메라 영역과 상기 스크린 영역에서의 이동 속도를 다르게 하여 매핑한다.

이와 같은 본 발명의 사용자 인터페이스 장치 및 방법에 따르면 사용자가 스크린의 전체 영역 중에서 자신이 조작할 영역을 선행하여 지정하고, 그 영역 내에서 조작할 최종 위치를 선택하고 있다. 또한 사용자가 명령 실행을 위하여 손을 움직일 때 그 움직이는 손의 위치를 카메라 영상을 통해 추적하면서, 그 카메라 영상에서의 손의 이동거리 및 손의 이동속도를 스크린에서는 다르게 조절하여 스크린에 매핑시키고 있다. 따라서, 사용자는 스크린상에서 자신이 원하는 위치에 아이콘을 정확하게 이동시킬 수 있어 스크린에서의 발생할 수 있는 조작 오류빈도를 최소화할 수 있다.

뿐만 아니라 본 발명의 사용자 인터페이스 장치를 단말장치 등의 전자장치 등에 적용할 수 있어, 전자장치의 기능 향상을 기대할 수도 있다.

이외에도 스크린을 원거리에서 조작하는 시스템, 예컨대 박물관, 모델 하우스, 기타 전시물을 전시하도록 하는 전시관에 설치되어 설명 정보나 그래픽으로 된 정보 등을 제공하는 시스템에 본 발명이 적용될 경우, 사용자가 요구하는 정보를 정확하게 제공할 수 있어, 사용자의 만족도를 향상시키는 효과도 있다.

도 1은 본 발명의 실시 예에 따라 스크린 조작을 위한 전체 시스템 구성도
도 2는 본 발명의 실시 예에 따른 사용자 인터페이스장치의 구성도
도 3은 본 발명의 실시 예에 따른 사용자 인터페이스 과정을 보인 흐름도
도 4는 본 발명에 따른 인터페이스 과정에서 스크린에 스크린 영역이 지정됨을 보인 예시도
도 5는 본 발명의 실시 예에 따라 카메라 영역과 스크린 영역에서의 손의 움직임을 매핑하는 개념도

이하 본 발명에 의한 사용자 인터페이스 장치 및 방법의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 실시 예에 따라 스크린 조작을 위한 전체 시스템 구성도이다. 도 1에 도시된 바와 같이 실시 예에 따른 시스템의 전체 구성은, 스크린(100) 및 카메라(200), 그리고 카메라(200)가 촬영한 사용자 모션 정보를 기초로 사용자가 의도하는 동작이 스크린(100)에서 수행되게 하는 사용자 인터페이스 장치(300)를 포함한다.

상기 구성 중 스크린(100)은 일련의 정보를 화면 표시하는 일반적인 장치로서 컴퓨터 스크린, 각종 전자장치에 구비된 표시부, 터치스크린 등을 모두 포함한다.

또한 카메라(200)는 카메라(200)의 전방에 위치한 사용자(A)의 움직임 정보를 촬영할 수 있으면 되는데, 실시 예에서는 3D 카메라가 이용된다. 그리고 카메라(200)는 스크린(100)의 상단에 장착될 수 있거나 스크린(100)의 전방에 위치되어 설치될 수 있다. 물론 카메라(200)의 설치 위치는 특별히 한정되지는 않고, 스크린(100)의 전방에 위치한 사용자(A)를 촬영할 수 있는 위치이면 어느 위치이든 상관없다. 특히 카메라(200)는 사용자(A)의 모든 부위를 촬영하는 것도 가능하나 실시 예에서는 사용자(A)의 얼굴, 눈동자 및 손의 움직임과 형상 정보를 가지고 스크린(100)을 조작하는 것이기 때문에, 얼굴, 눈동자 및 손의 움직임과 형상 정보를 촬영할 수 있는 위치에 셋팅되면 된다.

사용자 인터페이스 장치(300)는, 사용자의 모션 정보에 대응되는 기능이 스크린(100)에서 수행되도록 스크린(100)과 카메라(200) 사이에 연결되는 구성이다. 그렇지만 사용자 인터페이스 장치(300)가 별도의 장치로 반드시 구성되지 않아도 무방하다. 예컨대, 사용자(A)가 수행하고자 하는 기능에 대한 명령을 카메라(200)가 직접 스크린(100)으로 전달할 수 있도록 사용자 인터페이스 장치(300)가 카메라(200)에 구성될 수도 있다. 또는 스크린(100)과 같은 표시부가 구비된 컴퓨터나 전자장치인 경우에는 그 컴퓨터나 전자장치에 사용자 인터페이스 장치(300)가 구비될 수 있다. 그리고 사용자 인터페이스 장치(300)는 하드웨어적인 방안으로 구성될 수 있으나 이보다는 각각의 기능을 수행하는 알고리즘으로 처리되게 구성하는 것이 바람직할 것이다.

사용자 인터페이스 장치(300)의 상세 구성은 도 2를 참조하며 설명한다. 도 2는 본 발명의 실시 예에 따른 사용자 인터페이스 장치를 보인 구성도이다.

도 2에 도시된 바와 같이 실시 예에 따른 사용자 인터페이스 장치(300)는, 사용자(A)의 얼굴 방향 및 시선 방향을 검출하는 얼굴방향 검출부(302) 및 시선 방향 검출부(304)를 구비한다. 얼굴방향 검출부(302)는 사용자(A)의 얼굴 이미지와 그 얼굴 이미지로부터 얼굴이 향하는 방향을 검출하는 기능을 수행한다. 이의 기능은 3D 카메라를 통해 얼굴의 실제 위치, 즉 좌표를 획득할 수 있어 가능하다. 그리고 시선 방향 검출부(304)는 사용자(A)의 시선이 향하는 방향을 검출하는 기능을 수행한다. 이 역시 3D 카메라를 통해 눈의 좌표를 획득할 수 있어 가능하다. 이와 같이 얼굴 방향과 시선 방향을 검출하는 이유는 후술하는 스크린 영역(B, 도 5 참조)을 지정하기 위함이다. 스크린 영역(B)은 스크린(100)에서 사용자가 조작하고자 하는 영역을 말한다.

또한 사용자 인터페이스 장치(300)는, 얼굴방향 검출부(302)와 시선 방향 검출부(304)에 의해 검출된 얼굴 및 시선 방향을 이용하여 스크린 영역(B)을 지정하는 스크린영역 지정부(310)를 구비한다. 이때 스크린 영역(B)은 3개 일수 있다. 즉, 얼굴 방향 검출부(302)의 정보만을 기초로 지정되는 제 1 스크린영역, 시선 방향 검출부(304)의 정보만을 기초로 지정되는 제 2 스크린영역, 얼굴 방향 검출부(302)와 시선 방향 검출부(304)의 정보가 함께 이용되어 지정되는 제 3 스크린영역으로 구분할 수 있다. 상기 제 3 스크린영역은 상기 제 1 스크린영역과 제 2 스크린영역의 정보를 같이 이용하여 지정하거나 또는 둘 중 하나만 검출된 경우에는 검출된 스크린영역만을 이용하여 지정할 수 있다. 스크린(100)에는 최종적으로 지정한 제 3 스크린영역이 제공된다. 상기 제 1 스크린영역 및 제 2 스크린영역은 스크린(100)의 크기와 해상도, 카메라(200)의 해상도 및 카메라(200)와 사용자(A)의 거리 정보에 따라 각각 검출이 가능할 수도 있고 미검출될 수 있다. 예를 들어 사용자(A)와 카메라(200) 간의 거리가 멀어 시선을 검출하기 어려울 때에는 얼굴 방향으로 제1 스크린영역만 지정할 수 있다. 반면 시선 방향을 충분히 검출할 수 있는 조건인 경우에는 제 2 스크린영역의 지정이 가능하다. 어떤 상황에서는 얼굴방향의 변화없이 시선만 움직일 수 있으며 이때에는 제 2 스크린영역만 지정이 가능하다. 바람직하게 얼굴방향과 시선 방향을 모두 검출할 수 있다면, 얼굴 방향 및 시선 방향을 모두 고려하여 제 3 스크린영역을 지정하는 것이 좋을 것이다. 이는 사용자가 스크린(100)에서 조작하려는 영역을 더 정밀하게 조작할 수 있기 때문이다. 이하에서는 상기 1 스크린영역과 제 2 스크린영역의 정보가 합쳐진 제 3 스크린영역을 '스크린 영역'으로 통칭하여 설명하기로 한다.

한편, 스크린(100)의 소정 위치로 아이콘이 위치되게 사용자(A)가 손을 움직일 경우, 그 움직임 정보는 카메라(200)가 찍는 카메라 영상과 스크린(100)에서 보여지는 영상으로 구분된다. 이때, 카메라(200)와 스크린(100)의 해상도는 통상 다른 해상도를 가지게 된다. 대부분이 스크린(100)의 해상도가 카메라(200)의 해상도보다 더 높다. 그렇기 때문에 카메라(200)가 찍은 영상에 표시되는 손의 움직임과 스크린(100)에서 표시되는 손의 움직임을 서로 일치시키는 매핑 작업이 필요하다. 만약 이러한 매핑 작업이 수행되지 않으면, 사용자(A)는 스크린(100) 상에서 원하는 위치로 아이콘을 위치시킬 수 없게 된다. 따라서 상술한 스크린 영역(B)과의 매핑을 위하여 카메라(100)가 촬영하는 카메라 영상의 전체 영역 중에서 사용자 손이 움직일 수 있는 영역을 추정하여 이를 지정할 필요가 있다. 이렇게 지정한 영역을 '카메라 영역'(C, 도 5 참조)이라고 하기로 한다. 예를 들면, 이러한 영역은 (x,y,z) = (500mm, 400mm, 300mm)와 같은 실세계좌표계 이용하여 실제로 사용자가 해당 위치에서 손을 움직일 수 있는 공간을 추정하고 이를 다시 카메라 영상에서의 좌표 (예, (x,y) = (200, 100), 픽셀좌표)로 바꾸어 카메라 영역을 지정한다. 상기 카메라 영역(C)은 사용자(A)와 카메라(200) 사이의 거리가 가까워질수록 크기는 커지게 된다. 실시 예에서는 상기 카메라 영역(C)을 지정하도록 카메라 영역 지정부(320)를 구비한다.

또한 사용자 인터페이스 장치(300)는 매핑 작업을 수행하여 상기 스크린(100) 상에서 사용자(A)가 원하는 지점에 아이콘이 위치되게 하는 위치 지정부(330)를 구비한다. 이러한 위치 지정부(330)는 매핑 작업 시 손의 이동 거리 또는 이동 속도를 이용하는 방안이 고려된다.

그 중 하나의 방안으로 고려된 손의 이동 거리를 이용하는 경우이다. 이 경우는 상기 스크린 영역(B)과 상기 카메라 영역(C)의 해상도에 따라 손의 이동거리를 매핑시키는 방법이다. 예컨대, 상기 스크린 영역(B)의 해상도가 상기 카메라 영역(C)의 해상도 보다 2배 높다고 한다면, 상기 스크린 영역(B)에서의 이동 거리를 상기 카메라 영역(C)에서의 이동 거리보다 2배 더 이동되게 하는 것이다.

다른 방안으로 이동 속도를 이용하는 경우이다. 이 경우는 손이 실제 움직이는 속도를 계산하여 속도에 따라 이동 속도를 매핑하는 방법이다. 이는 상기 카메라 영역(B)에서의 이동 속도를 상기 스크린영역(C)에서는 더 빠르게 하거나 더 늦게 하여 매핑하는 것이다. 예를 들어 손의 이동 속도를 3단계로 구분한다면, 빠른 움직임의 경우에는 상기 카메라 영역(C)에서의 'n픽셀' 움직임을 상기 스크린 영역(B)에서는 'n*10 픽셀'로 매핑을 하는 것이고, 중간 움직임의 경우에는 상기 카메라 영역(C)에서의 'n픽셀' 움직임을 상기 스크린 영역(B)에서는 'n*2 픽셀'로 매핑을 하는 것이고, 느린 움직임의 경우에는 상기 카메라 영역(C)에서의 'n픽셀' 움직임을 상기 스크린 영역(B)에서는 'n/2 픽셀'과 같이 매핑을 하는 것이다. 물론, 상기의 방안들은 예를 들어 설명한 것이고, 이는 얼마든지 다른 속도로서 적용할 수 있다.

한편, 사용자 인터페이스 장치(300)는 카메라(200)를 통해 입력되는 사용자(A)의 손의 형상을 인식하는 인식부(340) 및 인식부(340)가 검출한 손의 형상에 대응하는 명령이 현재 아이콘이 가리키는 부분에서 실행되게 하는 실행부(350)를 구비한다. 또한 손의 형상에 따라 수행될 명령 정보를 저장하는 저장부(360)도 구비한다.

이어 본 발명의 실시 예에 따른 인터페이스 방법을 설명한다. 인터페이스 방법은 이의 과정을 설명하고 있는 도 3과, 본 발명에 따른 인터페이스 과정에서 스크린에 스크린 영역이 지정됨을 보인 도 4 및 카메라 영역과 스크린 영역에서의 손의 움직임을 매핑하는 개념을 보인 도 5를 함께 참조하기로 한다.

인터페이스를 위해서는 도 1에 도시한 시스템 구성과 같이 일련의 정보를 표시하는 스크린(100)과, 스크린(100)의 전방에 카메라(200)가 설치되며, 스크린(100)을 조작하기 위한 사용자(A)가 위치한다. 사용자(A)는 카메라(200)의 전방에서 서있거나 앉아 있는 자세를 유지한다.

그러한 상태로부터 사용자(A)가 스크린(100)을 조작하려 한다면, 사용자(A)는 카메라(200)의 전방에서 스크린 조작을 위한 행위를 하게 된다. 이러한 행위로는 대부분이 사용자(A) 자신이 스크린(100) 상에서 조작하고자 하는 영역을 응시하는 것으로부터 시작된다(s100).

일단 사용자(A)가 스크린(100)을 응시하면, 사용자 인터페이스 장치(300)는 사용자(A)가 스크린(100)을 조작하기 위한 행위를 시작한 것으로 인식한다.

그래서 카메라(200)에서 사용자(A)의 촬영 정보를 전달받은 사용자 인터페이스 장치(300)는 얼굴방향 검출부(302) 및 시선 방향 검출부(304)를 이용하여 사용자(A)의 얼굴 방향 및 시선 방향을 검출한다(s102). 이때 상술한 바와 같이 스크린의 크기/해상도, 카메라 해상도, 카메라와 사용자와의 거리 정보를 종합적으로 고려하여 얼굴 방향과 시선 방향 중 적어도 하나 이상의 방향정보가 이용되는데, 실시 예에서는 얼굴 방향과 시선 방향의 정보를 모두 이용되는 것으로 가정한다.

상기의 얼굴방향 및 시선방향 검출은 다음과 같이 진행된다.

얼굴방향 검출은 먼저 얼굴방향 검출부(302)가 카메라(200)가 촬영한 사용자(A)의 영상 정보를 이용하여 사용자의 얼굴위치를 검출한다. 즉 카메라(200)가 사용자(A)의 얼굴을 촬영하면 스크린(100)의 중앙을 (X, Y, Z) = (0, 0, 0)으로 했을 때, 얼굴의 현재 위치가 예컨대 (X, Y, Z) = (500㎝, 250㎝, 300㎝)와 같이 표현된다. 다음으로 얼굴방향 추적을 통해 얼굴 정면을 기준으로 어느 정도 얼굴이 틀어져 있는지도 검출한다. 이 두 가지 정보를 이용하여 스크린 영역 지정부(310)는 사용자가 집중하고 있는 스크린(100)상에서의 위치(X)를 계산할 수 있다.

다음으로 시선 방향을 검출하는데, 이 역시 시선방향 검출부(304)가 카메라(200)가 촬영한 사용자(A)의 눈동자 정보를 이용하여 검출한다. 이는 먼저 공간상에서 사용자의 눈의 위치를 검출한다. 예를 들면, 스크린(100)의 중앙을 (X, Y, Z) = (0,0,0)으로 했을 때, 눈의 위치가 예컨대 (X, Y, Z) = (510cm, 260cm, 300cm)와 같이 표현된다. 다음으로 정면을 기준으로 눈동자가 향하는 방향을 검출한다. 이 두 가지 정보를 이용하여 스크린 영역 지정부(310)는 사용자가 집중하고 있는 스크린(100)상에서의 위치(X)를 계산할 수 있다.

여기서, 먼저 얼굴방향을 검출하고 시선 방향을 검출하고 있으나, 그 반대로 시선 방향을 먼저 검출한 다음 얼굴 방향을 검출하는 것도 가능하다.

이와 같이 사용자(A)의 얼굴 방향과 시선 방향이 검출되면, 스크린 영역 지정부(310)는 스크린(100)에 스크린 영역(B)을 지정한다(s104). 이는 도 4에 도시하고 있는 바와 같이 스크린 영역 지정부(310)가 사용자 얼굴의 위치와 방향정보 그리고 눈의 위치와 시선방향 정보를 통해 사용자(A)가 응시하고 있는 스크린(100)에서의 좌표(X)를 계산할 수 있기 때문에 가능하다. 이때 스크린 영역(B)은 상기 좌표(X)의 주변 영역을 포함하게 된다. 여기서 상기 스크린 영역(B)에 포함되는 상기 좌표(X)의 주변 영역은 상기 좌표를 기준으로 특별히 어느 영역까지 미리 정해져 있는 것은 아니다. 스크린(100)의 전체 영역에서 스크린 영역(B)이 차지하는 비율을 미리 한정하거나 또는 상기 좌표(X)를 기준으로 몇 픽셀 이내로 정하기 나름이다.

상기 스크린 영역(B)이 지정되면, 사용자(A)는 동작 수행을 위해 손을 이동시키는 행동이 뒤따른다. 이때, 상술한 바 있는 매핑 작업이 필요하다. 매핑 작업은 카메라(200)가 찍은 영상에 표시되는 손의 움직임과 스크린(100)에서 표시되는 손의 움직임을 서로 일치시키는 작업이다.

이를 위해서는 기본적으로 카메라(200)가 손의 위치를 추적하고(s106), 카메라 영상에서 손이 움직임 상태를 확인할 수 있는 카메라 영역(C)을 설정하는 작업(s108)이 병행되어야 한다. 실시 예에서는 사용자(A)가 손을 움직였을 때 카메라(200)가 찍은 영상에 손의 움직임에 따른 카메라 영역(C)이 설정된 상태임을 가정하기로 한다.

이러한 상태에서 위치 지정부(330)의 매핑 작업은 다음의 2가지 방법으로 수행 가능하다(s110).

첫 번째, 손이 움직이는 이동거리 정보를 활용하는 것이다.

사용자(A)가 손을 움직였을 때, 그 움직임 정보는 도 5와 같이 스크린 영역(B)과 카메라 영역(C)을 통해 알 수 있다. 즉 카메라 영역(C)에서는 손이 c위치에서 c'위치로 이동하면, 스크린 영역(B)에서도 손이 b위치에서 b'위치로 이동해야 한다. 이 경우가 정상적인 경우라고 가정한다. 그런데, 스크린(100)과 카메라(200)의 해상도는 서로 다르다. 따라서 카메라 영역(C)에서는 손의 위치가 c에서 c'로 이동한 만큼 스크린 영역(B)에서도 손의 위치가 b위치에서 b'위치로 이동을 해야하는데 이동거리를 1:1로 매핑하게 되면 스크린상에서 너무 적게 이동하거나 너무 많이 이동할 수가 있다. 따라서 해상도에 따라 스크린 영역(B)에서의 이동 거리와 카메라 영역(C)의 이동 거리를 상이하게 조절하는 것이다. 예를 들어, 스크린 영역(B)의 해상도가 카메라 영역(C)의 해상도보다 2배 더 높다라면, 스크린 영역(B)의 이동거리를 카메라 영역(C)보다 2배 더 이동되게 한다. 따라서 스크린 영역(B)에서 손의 위치는 b위치에서 b'위치로 정상적으로 이동되게 된다.

두 번째, 손의 이동 속도를 활용하는 것이다.

이 경우는 손이 움직이는 속도를 계산하여 속도에 따라 스크린 영역(B)과 카메라 영역(C)에서의 이동 속도를 가변되게 조절하는 것이다. 이는 손의 움직이는 속도를 데이터 베이스와 한 다음 그 속도 정보를 평균화하여 몇 단계로 구분한다. 예컨대, 이동 속도를 빠른 속도, 중간 속도, 느린 속도와 같이 정하는 것이다. 그리고 상기의 속도마다 카메라 영역(C)의 이동속도를 스크린 영역(B)에서는 10배, 2배, 1/2배와 같은 이동속도로 매핑시켜 놓은 것이다. 그래서, 만약 사용자(A)가 손을 빠르게 움직였다면 카메라 영역(C)의 이동속도보다 스크린 영역(B)에서의 이동속도가 10배 빠르게 움직인다. 반면 사용자(A)가 손을 느리게 움직였다면 카메라 영역(C)의 이동속도보다 스크린 영역(B)에서의 이동속도는 그 절반인 속도로 움직인다.

이와 같이 매핑 과정이 수행되면, 사용자(A)는 자신이 목적하는 지점에 아이콘을 정확하게 위치됨을 확인할 수 있다.

이후 사용자(A)는 아이콘이 위치한 좌표에서 명령을 실행한다. 명령 실행은, 먼저 인식부(340)가 카메라(200)를 통해 들어오는 손의 형상이나 손가락 개수를 인식한다(s112). 그리고 실행부(350)는 인식부(340)에서 전달받은 손의 형상이나 손가락 개수와 동일한 정보가 저장부(360)에 있는지 판단하고 상기 판단결과에 따라 동일한 정보가 있으면 해당 명령을 실행시킨다(s114).

상기 명령 실행과정을 다음 [표 1]을 참조하여 다시 한번 설명한다.

손 형상	명령
가위	클릭
바위	더블클릭
보	드래그

[표 1]과 같이 손 형상과 명령 정보가 제공된 상태에서 사용자(A)가 자신의 손 형상을 '가위'로 하였다면, 실행부(350)는 아이콘이 위치한 좌표에서 클릭동작을 실행한다. 만약 손 형상이 '보'인 경우에는 아이콘이 있는 정보를 다른 위치로 드래그할 수 있다. 물론, 기 저장된 손 형상과 다른 형상이 인식되었다면 어떠한 명령도 실행되지 않게 된다.

이상에서 설명한 바와 같이, 본 발명의 실시 예는 스크린의 전체 영역을 사용자가 조작할 영역을 스크린에 미리 제공하며, 아울러 카메라 영역과 스크린 영역에서의 움직임 정보가 일치되게 서로 다르게 조절하고 있어, 사용자는 스크린의 전체 영역에서 자신이 원하는 지점에 정확하게 아이콘을 위치시킬 수 있게 됨을 알 수 있다.

이상과 같이 본 발명의 도시된 실시 예를 참고하여 설명하고 있으나, 이는 예시적인 것들에 불과하며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진자라면 본 발명의 요지 및 범위에 벗어나지 않으면서도 다양한 변형, 변경 및 균등한 타 실시 예들이 가능하다는 것을 명백하게 알 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적인 사상에 의해 정해져야 할 것이다.

즉, 실시 예에서는 스크린, 카메라 및 사용자 인터페이스 장치가 독립적인 구성 요소로 구성된 상태에서 사용자의 움직임 정보에 따라 스크린을 조작하는 예로 설명하고 있지만, 상기 스크린, 카메라 및 사용자 인터페이스 장치가 모두 포함된 형태의 단말장치를 구성하고, 그 단말장치를 이용하여 스크린을 조작하는 경우도 본 발명에 적용할 수 있음은 당연하다.

100 : 스크린 200 : 카메라
300 : 사용자 인터페이스 장치
302 : 얼굴방향 검출부 304 : 시선방향 검출부
310 : 스크린 영역 지정부 320 : 카메라 영역 지정부
330 : 위치 지정부 340 : 인식부
350 : 실행부 360 : 저장부

Claims (10)

1. 카메라의 전방에 위치한 사용자의 얼굴 방향과 시선 방향 중 적어도 하나의 방향 정보를 검출하는 검출부;
   상기 검출부의 방향 정보에 기초하여 스크린의 전체 영역 중에서 사용자가 조작할 일부 영역을 스크린 영역으로 지정하는 제 1 영역 지정부;
   상기 카메라를 통해 입력되는 손의 위치를 추적하여 상기 카메라가 촬영하는 카메라 영상의 전체 영역 중에서 사용자 손이 움직일 수 있는 영역을 추정하여 카메라 영역으로 지정하는 제 2 영역 지정부;
   상기 스크린 영역과 카메라 영역에서 표시되는 손의 움직임을 이동거리 정보 또는 이동속도 정보를 기초로 하여 상호 매핑시켜 상기 스크린 상에서 목적하는 좌표에 아이콘이 위치되게 하는 위치 지정부;
   상기 카메라를 통해 입력되는 사용자의 손의 형상을 인식하는 인식부; 및
   인식된 상기 손의 형상에 대응하는 명령이 상기 아이콘이 가리키는 부분에서 실행되게 하는 실행부를 포함하는 사용자 인터페이스 장치.
2. 제 1항에 있어서, 상기 스크린 영역은,
   상기 스크린의 크기 및 해상도, 상기 카메라의 해상도, 상기 카메라와 사용자와의 거리 정보에 따라 상기 얼굴 방향과 시선 방향 중 적어도 하나의 방향 정보에 의해 생성되는 영역임을 특징으로 하는 사용자 인터페이스 장치.
3. 제 2항에 있어서, 상기 스크린 영역은,
   사용자가 스크린 상에서 조작하고자 하는 영역이고, 상기 방향 정보에 대응되어 검출된 위치 및 상기 위치의 주변영역을 포함함을 특징으로 하는 사용자 인터페이스 장치.
4. 제 1항에 있어서,
   상기 위치 지정부가 상기 이동거리 정보를 이용하여 매핑할 경우,
   상기 스크린 영역과 상기 카메라 영역의 해상도를 비교하고, 해상도에 따라 상기 스크린 영역과 상기 카메라 영역에서의 손의 이동 거리를 서로 다르게 하여 매핑하는 것임을 특징으로 하는 사용자 인터페이스 장치.
5. 제 1항에 있어서,
   상기 위치 지정부가 상기 이동속도 정보를 이용하여 매핑할 경우,
   손의 움직이는 속도를 계산하고, 속도에 따라 상기 스크린 영역과 상기 카메라 영역에서의 손이 움직이는 이동속도를 서로 다르게 조절하여 매핑하는 것임을 특징으로 하는 사용자 인터페이스 장치.
6. 정보를 디스플레이하는 스크린;
   사용자를 촬영하는 카메라; 및
   상기 스크린에서 사용자가 조작하고자 하는 스크린 영역을 상기 카메라에 의해 촬영된 사용자의 얼굴 방향과 시선 방향 중 적어도 하나의 방향정보를 이용하여 지정하고, 상기 카메라를 통해 입력되는 손의 최종 위치가 상기 스크린 영역에서 목적하는 좌표에 아이콘으로 표시될 수 있도록 상기 손의 이동 거리 또는 이동 속도를 조절하는 사용자 인터페이스장치를 포함하며,
   상기 카메라를 통해 입력되는 손의 이동 거리 또는 이동 속도와 상기 스크린 영역에서의 이동 거리 또는 이동 속도는 다르게 설정됨을 특징으로 하는 단말장치.
7. 사용자의 모션을 판단하여 스크린을 조작하도록 구성되는 사용자 인터페이스 장치가 인터페이스 하는 방법에 있어서,
   카메라의 전방에 위치한 사용자의 얼굴 방향과 시선 방향 중 적어도 하나의 방향 정보를 검출하는 검출단계;
   검출된 상기 방향 정보에 따라 상기 스크린의 전체 영역 중에서 스크린 영역을 지정하는 제 1 지정단계;
   상기 카메라를 통해 입력되는 손의 위치를 추적하여 카메라 영상의 전체 영역 중에서 사용자 손이 움직이는 영역만을 카메라 영역으로 지정하는 제 2 지정단계;
   상기 스크린 영역과 카메라 영역에서 표시되는 손의 움직임을 이동거리 정보 또는 이동속도 정보를 기초로 하여 매핑시키는 매핑단계;
   상기 매핑단계에 의하여 아이콘이 스크린의 소정 좌표에 위치된 상태에서 카메라 영상에 들어오는 손의 형상을 인식하는 인식단계; 및
   상기 손의 형상에 대응하는 명령이 상기 아이콘이 가리키는 부분에서 실행되게 하는 실행단계를 포함하는 사용자 인터페이스 방법.
8. 제 7항에 있어서, 상기 제 1 지정단계는,
   상기 스크린의 크기 및 해상도, 상기 카메라의 해상도, 상기 카메라와 사용자와의 거리 정보를 기초로 하여 상기 스크린 영역을 지정하는 것임을 특징으로 하는 사용자 인터페이스 방법.
9. 제 7항에 있어서, 상기 매핑 단계에서 상기 거리 정보를 이용하는 경우는,
   상기 카메라 영역과 스크린 영역의 해상도를 비교하는 단계를 더 포함하고,
   상기 해상도에 따라 상기 카메라 영역과 상기 스크린 영역에서의 손의 이동 거리를 다르게 조절하여 매핑하는 것을 특징으로 하는 사용자 인터페이스 방법.
10. 제 7항에 있어서, 상기 매핑 단계에서 상기 속도 정보를 이용하는 경우는,
    사용자 손이 움직이는 이동 속도를 계산하는 단계를 더 포함하고,
    계산된 상기 이동 속도에 따라 상기 카메라 영역과 상기 스크린 영역에서의 이동 속도를 다르게 하여 매핑하는 것을 특징으로 하는 사용자 인터페이스 방법.

Images