KR101609353B1 - 화면을 제어하는 인터페이스 방법 및 장치 - Google Patents

Abstract

본 발명은 3차원 공간상의 손가락 움직임을 통해서 화면의 정해진 영역을 터치하는 인터페이스 방법에 관한 발명으로서, 카메라를 통해 정해진 영역의 화상데이터를 전송받는 단계, 화상데이터의 RGB값, YCbCr값 또는 HSV(Hue(색상), Saturation(채도), Value(명도))값을 연산하는 단계 및 RGB값, YCbCr값 또는 HSV값이 미리 설정된 값의 범위에 있는지를 판정하는 단계를 포함한다.

Description

화면을 제어하는 인터페이스 방법 및 장치{INTERFACE METHOD AND DEVICE FOR CONTROLLING SCREEN}

본 발명은 화면을 제어하는 인터페이스 방법 및 장치에 관한 발명으로써 보다 상세하게는 3차원 공간상에서의 움직임을 통해서 화면을 제어하는 인터페이스 방법 및 장치에 관한 발명이다.

최근 이동통신산업이 발달함으로서 이동통신 시장의 성장과 함께 휴대 가능한 이동 단말기의 대중화가 이루어지고 있다. 이동 단말기가 제공하는 기능 또한 점차 다양해지고 복잡해지고 있는 실정이다. 이동 단말기의 발달로 인하여 사용자로 하여금 이동 단말기의 사용을 보다 편리하게 하기 위한 이동 단말기의 입력방식도 버튼방식, 터치 스크린 방식, 동작인식방식의 변화를 거쳐 발달하게 되었다.

이동 단말기의 입력방식에 있어서 종래에는 이동 단말기에 장착되어 있는 버튼을 물리적인 힘을 가하여 누르게 되어, 선택과 조작을 수행하였다. 그러나 최근에 스마트 폰의 등장으로 인하여 터치 패널이 장착된 이동 단말기의 수가 급증하면서 단말에 장착되어 있는 물리적인 버튼이 아닌 화면에 출력되는 디지털화된 버튼을 터치하거나 화면을 드래깅함으로서 애플리케이션의 기능 모드를 전환하거나 화면을 전환하는 터치 스크린 방식이 주로 사용되기에 이르렀다.

대부분 터치 스크린 방식을 사용하고 있는 이동 단말기는 한손으로 단말기를 파지한 상태에서 다른 손의 손가락를 이용하여 원하는 기능을 수행하기 위한 항목을 터치할 수 있다. 그러나 최근 이동 단말기의 기능이 다양해지고, 화면의 크기가 커짐으로서 이동 단말기의 크기가 한손으로 잡을 수 없는 상황이 발생하고, 반드시 두손으로 작업을 해야 하는 제품이 출시되고 있다.

또한 화면의 반복된 터치에 의해서 자국이 남는다거나 표면 열화 현상이 일어나 화면을 교체하는 경우가 발생한다.

이와 같은 문제로 인하여 인간과 컴퓨터 사이의 의사소통을 위한 보다 효과적인 인터페이스의 개발과 연구가 진행중에 있으며, 그 일환으로 3차원 공간을 제어하는 장비가 등장하게 되었다. 더불어 게임산업의 발전으로 인하여 새로운 형태의 인터페이스를 요구하게 되었고, 3차원 인터페이스 분야도 크게 발전하였다.

기존 X박스, 플레이스테이션 등 3차원 공간상의 사용자의 움직임을 인식하고, 모니터상에 구현하는 장치들은 2개 이상의 카메라를 통해서 사용자의 공간상 위치를 검출하고 이를 모니터상에 표현할 수 있도록 하거나, 하나의 카메라를 사용하는 경우에는 사용자의 위치와 형상을 고정시키고 형상의 움직임에 따라서 장치를 제어한다. 그러나 이와 같은 방법은 사용자가 특정 위치에서 벗어난 경우 사용자의 움직임을 찾아내지 못하고, 유사한 형상을 갖는 다른 물체와의 식별오류로 인하여 정확한 움직임을 검출하지 못하는 경우가 발생한다.

본 발명의 목적은 공간상의 사용자의 움직임에 따라 보다 정확한 위치를 오류없이 검출하여 디스플레이 장치에 반영하도록 하는 인터페이스 방법 및 장치를 제공한다. 또한 외부광원, 다른 물체에 의한 간섭 등에도 불구하고 정확한 위치의 터치가 가능한 인터페이스 방법 및 장치를 제공한다.

본 발명의 실시예에 따른 인터페이스 방법은 3차원 공간상의 손가락 움직임을 통해서 화면의 정해진 영역을 터치하는 인터페이스 방법으로서, 카메라를 통해 상기 정해진 영역의 화상데이터를 전송받는 단계, 상기 화상데이터의 RGB값, YCbCr값 또는 HSV(Hue(색상), Saturation(채도), Value(명도))값을 연산하는 단계 및 상기 RGB값, YCbCr값 또는 HSV값이 미리 설정된 값의 범위에 있는지를 판정하는 단계를 포함한다.

여기서, 상기 YCbCr값과 상기 HSV값은 상기 RGB값을 통해 연산될 수 있다.

또한, 본 발명의 실시예에 따른 인터페이스 방법은 상기 RGB값, YCbCr값 또는 HSV값이 미리 설정된 값의 범위내에 있는 경우, 상기 화면의 정해진 영역을 터치한 것으로 인식하는 단계를 더 포함할 수 있다.

또한, 본 발명의 실시예에 따른 인터페이스 방법은 상기 RGB값, YCbCr값 또는 HSV값이 미리 설정된 값의 범위를 벗어난 경우, 상기 RGB값, YCbCr값 또는 HSV값 각각의 정해진 영역내에서 표준편차 변화량을 연산하는 단계를 더 포함할 수 있다.

또한, 본 발명의 실시예에 따른 인터페이스 방법은 상기 표준편차의 변화량이 미리 설정된 기준을 초과하는지를 판정하여 상기 정해진 영역내에 움직임 정보가 있는지를 판정하는 단계를 더 포함할 수 있다.

또한, 본 발명의 실시예에 따른 인터페이스 방법은 상기 RGB값, YCbCr값 또는 HSV값이 미리 설정된 값의 범위를 벗어난 경우, 상기 화면에 대한 그레이영상을 획득하는 단계를 더 포함할 수 있다.

또한, 본 발명의 실시예에 따른 인터페이스 방법은 상기 화면에 대한 그레이영상을 획득하는 단계 이후, 상기 화면의 정해진 영역내의 연속한 두 영상의 차연산을 통해 차영상 데이터를 생성하는 단계 더 포함할 수 있다.

또한, 본 발명의 실시예에 따른 인터페이스 방법은 상기 차영상 데이터를 생성하는 단계 이후, 상기 차영상 데이터의 상기 정해진 영역별 다중 임계값을 생성하는 단계를 더 포함할 수 있다.

여기서, 상기 차영상 데이터의 변화량이 상기 정해진 영역의 임계값에 의해 정해진 기준값 이상인지를 판단하여 상기 정해진 영역내 움직임 정보가 있는지를 판정하는 단계를 포함할 수 있다.

여기서, 상기 차연산은 상기 YCbCr값인 색채정보에서 밝기 값을 제외한 데이터를 이용하여 연산을 수행할 수 있다.

본 발명의 실시예에 따른 인터페이스 장치는 3차원 공간상의 손가락 움직임을 통해서 화면의 정해진 영역을 터치하는 인터페이스 장치로서, 카메라로부터 입력되는 화상데이터 중 정해진 영역의 데이터를 RGB값, YCbCr값 및 HSV값으로 변환하는 데이터 변환부, 상기 RGB값, YCbCr값 및 HSV값이 미리 설정된 값의 범위내에 있는지를 판정하는 데이터 판정부, 상기 데이터 변환부로부터 변환된, 정해진 영역내의 상기 RGB값, 상기 YCbCr값 및 상기 HSV값의 표준편차(STD)값을 생성하는 표준편차 생성부, 상기 RGB값, 상기 YCbCr값 및 상기 HSV값의 표준편차값의 변화량을 산출하는 표준편차 변화량 산출부 및 상기 표준편차값의 변화량이 미리 설정된 기준값을 초과하였는지를 판정하는 표준편차 변화량 판정부를 포함한다.

또한, 본 발명의 실시예에 따른 인터페이스 장치는 상기 데이터 판정부 또는 상기 표준편차 변화량 판정부의 신호에 의해서 상기 정해진 영역의 색을 변화시키는 화면제어부를 더 포함할 수 있다.

여기서, 상기 데이터 판정부에서 미리 설정된 값의 범위를 벗어난 경우, 상기 표준편차 변화량 산출부는 표준편차값의 변화량을 산출할 수 있다.

여기서, 상기 표준편차의 변화량이 미리 설정된 기준값을 초과하는 경우, 상기 화면제어부는 상기 정해진 영역의 색을 변화시킬 수 있다.

또한, 본 발명의 실시예에 따른 인터페이스 장치는 상기 데이터 판정부에서 미리 설정된 값의 범위를 벗어난 경우, 상기 영상에 대한 그레이영상을 생성하는 그레이영상생성부, 그레이영상에 대한 차연산을 통해서 차영상데이터를 생성하는 차영상 생성부 및 상기 차영상 데이터에서 임계값을 생성하는 다중 임계값 생성부를 더 포함할 수 있다.

여기서, 상기 차영상 데이터의 변화량이 차영상데이터를 통해 연산된 임계값에 의해 정해진 기준값 이상인 경우에 상기 화면제어부는 상기 정해진 영역의 색을 변화시킬 수 있다.

본 발명의 실시예에 따른 인터페이스 방법 및 장치에 의하면 스마트 폰과 같은 단말기 상에서 게임, 메뉴 및 다양한 위젯 사용을 위한 인터페이스 구현이 가능하고, 하드웨어가 아닌 카메라와 영상알고리즘을 통해 인터페이스 구현이 가능하다. 또한, 별도의 하드웨어가 필요치 않아서 장치제어를 위한 별도의 비용이 발생하지 않고, 터치스크린 방식과 같은 접촉방식이 아니므로 사용흔적이나 표면의 오염이 발생할 염려가 없다. 또한, 이미지 자체를 검출하는 방식이 아니라는 점에서 연산속도가 빨라지고, 검출을 위한 오류도 줄어든다.

도1은 본 발명의 실시예에 따른 인터페이스 방법의 순서도이다.
도2와 도3은 본 발명의 실시예에 따른 인터페이스 방법의 실제 구현사진이다.
도4는 본 발명의 실시예에 따른 인터페이스 방법의 순서도이다.
도5는 본 발명의 실시예에 따른 인터페이스 장치의 블록도이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1 구성 요소는 제2 구성 요소로 명명될 수 있고 유사하게 제2 구성 요소는 제1 구성 요소로도 명명될 수 있다.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.

도1은 본 발명의 실시예에 따른 인터페이스 방법의 순서도이다.

도1에 도시된 바와 같이 본 발명의 실시예에 따른 인터페이스 방법은 3차원 공간상의 손가락 움직임을 통해서 화면의 정해진 영역을 터치하는 인터페이스 방법으로서, 카메라를 통해 상기 정해진 영역의 화상데이터를 전송받는 단계(S100), 화상데이터의 RGB값, YCbCr값 또는 HSV(Hue(색상), Saturation(채도), Value(명도))값을 연산하는 단계(S200), RGB값, YCbCr값 및 HSV값이 미리 설정된 값의 범위에 있는지를 판정하는 단계(S300)를 포함한다.

만일 RGB값, YCbCr값 및 HSV값이 미리 설정된 값의 범위에 있는 경우, 터치한 것으로 인식하게 된다.

먼저 화상데이터를 전송받는 단계(S100)는 카메라를 통해서 입력되는 각 픽셀당 입력된 값을 전송받는 단계이다. 여기서 카메라는 하나의 단일 카메라 일 수 있으며, 실시간 프레임별로 영상을 촬영한다.

다음으로 화상데이터를 전송받아 RGB값, YCbCr값, HSV값을 연산하는 단계(S200)를 거친다. 특히 화상데이터를 RGB값으로 변환하는 단계를 살펴보면, 일반적으로 자연영상은 아날로그 영상이고 아날로그 카메라로 찍은 연속된 영상은 아날로그 신호로 되어있다. 그러나 이와 같은 아날로그 신호를 디지털 신호로 변환해야 한다. 카메라가 찍은 피사체의 색은 피사체가 반사하는 많은 빛의 파장성분들의 혼합상태로 실제의 색을 구현한다. 즉 빛에 포함되어 있는 파장성분의 차이가 색의 차이로 인식되는 것이다. 어떤 색도 빛의 3원색인 R(적색), G(녹색), B(청색)을 섞어 만들 수 있다. 보통 흑백의 경우 밝기를 표현하는 하나의 신호(휘도성분)만으로 구성되어 있는 점과 대별된다.

아날로그 데이터를 RGB값인 디지털 데이터로 변환하기 위해서 샘플링, 양자화, 부호화 과정을 거치는데 일반적인 신호변환으로서 자세한 설명은 생략한다.

YCbCr값과 HSV값은 앞서 연산된 RGB값으로부터 연산될 수 있다. YCbCr에서 Y는 화면의 밝기를 나타내는 성분이고, Cb, Cr은 색의 강도를 표현하는 성분으로서 Cb는 B(청색)성분에서 Y성분을 뺀값이고, Cr은 R(적색)성분에서 Y성분을 뺀 값이다. HSV의 H(Hue)는 색상, S(Saturation)는 채도, V(Value)는 명도를 나타낸다.

정해진 영역내의 RGB값에 의해서 3차원 공간상에서 터치가 되었는지를 판정하기 위해서 피부의 RGB값을 미리 저장해 놓고 정해진 영역내로 기 저장되어 있는 RGB값과 유사한 값이 검출되는 경우 터치가 된 것으로 판정할 수 있다. 그러나 RGB값에 의해서 터치여부를 판정하는 것은 RGB값의 민감도로 인하여 정확한 판정이 쉽지 않다.

따라서 RGB값을 기초로 YCbCr값과 HSV값을 연산한 후에 각 화소별 YCbCr값과 HSV값이 미리 설정된 값의 범위에 있는 경우에는 3차원 공간상에서 터치가 이루어진 것으로 판정할 수 있다. 미리 설정된 값의 범위는 Y, Cb, Cr 각 값에 대한 기준이 되는 피부의 값과 유사한 범위에 있는 값을 의미하고, HSV값 또한 마찬가지이다. 값의 범위는 인터페이스 장치의 민감도나 사용환경에 따라서 프로그램을 통해서 자유롭게 조절이 가능하다.

도2와 도3은 본 발명의 실시예에 따른 인터페이스 방법의 실제 구현사진이다.

도2와 도3에 도시되어 있는 오른편 그림의 좌측 상단에서 우측으로 4개의 사각형이 배치되어 있으며, 각 사각형은 앞서 설명한 정해진 영역이 된다. 각 영역이 터치가 되었다고 감지하는 경우 왼쪽편 화면에 있는 가상객체는 기 설정된 방향으로 움직이게 되는 것으로 설정했다.

도2와 같이 좌측 상단에서 두번째 사각형을 공간상에서 터치한 것으로 판정한 경우, 왼쪽편 화면의 가상객체는 오른쪽으로 이동하게 된다.

도3과 같이 좌측 상단에서 세번째 사각형을 공간상에서 터치한 것으로 판정한 경우, 왼쪽편 화면의 가상객체는 왼쪽으로 이동하게 된다.

즉 본 발명의 실시예에 따른 화면의 정해진 영역을 터치하는 인터페이스 방법에 의하면 공간상에서 손가락의 움직임만으로 정해진 영역이 터치된 것으로 인식하고, 가상객체는 사용자가 원하는 방향으로 움직이게 된다.

화면의 정해진 영역에 RGB값, YCbCr값 또는 HSV값을 측정하여 피부색과 유사한 색을 가진 객체가 인식된 경우에는 터치가 된 것으로 인식하여 좌측에 있는 가상객체를 자유자재로 움직일 수 있도록 조절한다.

이상 본 발명의 일실시예에 따른 화면의 정해진 영역을 터치하는 인터페이스 방법에 대해서 살펴보았다. 이하 본 발명의 또 다른 실시예에 따른 화면의 정해진 영역을 터치하는 인터페이스 방법에 대해서 살펴본다. 앞선 실시예와 중복된 구성에 대한 설명은 생략한다.

본 발명의 또 다른 실시예에 따른 화면의 정해진 영역을 터치하는 인터페이스 방법은 RGB값, YCbCr값 또는 HSV값이 정확하게 측정이 되지 않거나 측정이 불가능한 극한의 상황에서 터치 인터페이스를 실현시키는 방법에 관한 것이다.

만일 RGB값, YCbCr값 또는 HSV값이 미리 설정된 값의 범위를 벗어난 경우 화면의 정해진 영역에 터치가 이루어지지 않은 것으로 판정할 수도 있으나 본 발명의 실시예에 따른 인터페이스 방법은 실제 터치가 이루어지지 않았는지를 명확하게 판정하기 위해 별도의 판정과정을 거친다.

도4는 본 발명의 또 다른 실시예에 따른 인터페이스 방법에 따른 순서도이다.

도4에 의하면 먼저 화상데이터를 전송받고, RGB값, YCbCr값 및 HSV값을 연산한 이후에 RGB값, YCbCr값 및 HSV값이 미리 설정된 값의 범위에 있지 않는 경우, RGB값, YCbCr값 및 HSV값에 대한 표준편차를 구하고 각 표준편차에 대한 표준편차 변화량을 연산하는 단계(S210)를 거친다. 앞서 언급되어 있는 미리 설정된 값의 범위는 예상하다시피 피부색의 RGB값, YCbCr값 및 HSV값을 중심으로 일정범위의 설정값을 의미할 수 있는데, 외부의 광원이나 반사광의 유입으로 인하여 피부색의 RGB값, YCbCr값 및 HSV값이 왜곡이 되는 경우가 발생할 수 있고 이러한 경우에는 실제 사람의 신체 일부 특히 손가락이 정해진 영역내에 유입되었음에도 불구하고 장치는 터치로서 인식하지 못하는 경우가 발생하게 된다.

이러한 경우에 RGB값, YCbCr값 및 HSV값에 대한 표준편차를 구하고 각 표준편차에 대한 표준편차 변화량을 연산하여 정해진 영역내에 움직임, 즉 정해진 영역내로 손가락이 유입되었는지를 확인하게 된다. 표준편차의 변화량은 특히 Cb값과 Cr값의 표준편차를 위주로 판단하여 표준편차의 변화량이 미리 설정된 기준값의 범위내인 경우 즉 설정된 기준값 보다 큰 경우에는 정해진 영역내에 움직임이 있는 것으로 판단하게 된다.

또한 도4에 도시된 바와 같이 먼저 화상데이터를 전송받고, RGB값, YCbCr값 및 HSV값을 연산한 이후에 RGB값, YCbCr값 및 HSV값이 미리 설정된 값의 범위에 있지 않는 경우, RGB값, YCbCr값 및 HSV값의 표준편차변화량을 이용하는 방법 이외에 정해진 영역내의 움직임을 판단하기 위해 화상으로부터 그레이영상을 획득하는 단계(S310)를 거치고, 그레이영상으로부터 차영상데이터를 생성하는 단계를 거친다(S320)를 거친다.

차영상데이터를 생성하는 단계(S320)는 RGB값에서 생성된 연속한 두 영상을 그레이영상으로 변환한 후 차연산을 통해 생성된 차영상데이터의 변화량인 정해진 영역의 움직임 정보 데이터를 생성한다. 이 정보 데이터는 정해진 영역내의 움직임 객체 검출을 위해 사용된다.

차영상데이터를 생성하는 단계(S320)이후 진행되는 차영상데이터에서 다중 임계값을 생성하는 단계(S330)는 정해진 영역내의 RGB값에 대한 정보를 의미할 수 있으며, 차영상데이터의 변화량인, 정해진 영역의 움직임 정보 데이터의 임계값을 생성하는 단계이다.

차영상 데이터에서 다중 임계값을 생성하는 단계(S330) 이후에 차영상 데이터의 변화량을 연산하여 앞서 정해진 영역별로 구해진 임계값을 기준으로 생성된 기준값 이상인지를 판정하는 단계를 거친다. 만일 기준값 이상인 경우에는 정해진 영역에 움직임이 검출된 것으로서 정해진 영역을 터치한 것으로 판정할 수 있으며, 그렇지 않은 경우에는 다시 카메라로부터 화상데이터를 전송받아 터치여부를 판정하는 프로세스를 진행한다.

차영상 데이터의 변화량을 통해서 실제 연속된 영상을 비교하여 움직임이 있었는지를 판정하고, 차영상 데이터의 변화량이 기준값 이상인 경우에는 정해진 영역을 터치한 것으로 인식하여 도2와 같이 증강현실공간에서 두번째 영역이 터치되었을 때 가상객체는 오른쪽으로 이동하게 된다.

이상 본 발명의 실시예에 따른 화면의 정해진 영역을 터치하는 인터페이스 방법에 대해서 살펴보았다. 이하 본 발명의 또 다른 양태인 화면의 정해진 영역을 터치하는 인터페이스 장치에 대해서 살펴본다.

도5은 본 발명의 실시예에 따른 인터페이스 장치의 블록도이다.

도5에 도시된 바와 같이 본 발명의 실시예에 따른 인터페이스 장치는 3차원 공간상의 손가락 움직임을 통해서 화면의 정해진 영역을 터치하는 인터페이스 장치로서, 카메라로부터 입력되는 화상데이터 중 정해진 영역의 데이터를 RGB값, YCbCr값 및 HSV값으로 변환하는 데이터 변환부(100), RGB값, YCbCr값 및 HSV값이 미리 설정된 값의 범위내에 있는지를 판정하는 데이터 판정부(200), 데이터 변환부(100)로부터 변환된, 정해진 영역내의 RGB값, YCbCr값 및 HSV값의 표준편차(STD)값을 생성하는 표준편차 생성부(310), RGB값, YCbCr값 및 HSV값의 표준편차값의 변화량을 산출하는 표준편차 변화량 산출부(330) 및 표준편차값의 변화량이 미리 설정된 기준값을 초과하였는지를 판정하는 표준편차 변화량 판정부(350)를 포함한다.

데이터 변환부(100)는 카메라를 통해 입력받은 화상데이터를 RGB값으로 변환하고, 다시 RGB를 YCbCr값, HSV값으로 변환한다. 데이터 판정부(200)는 앞서 데이터 변환부(100)에서 변환한 RGB값, YCbCr값 또는 HSV값이 미리 설정된 값의 범위 내에 있는지를 판정한다. 사용자의 피부색에 대한 RGB값이 미리 설정된 값의 범위를 설정하는 기준이 되고, 장치의 민감도를 고려하여 그 범위를 결정할 수 있다.

표준편차 생성부(310)는 앞선 실시예에서 설명한 바와 같이 미리 설정된 값의 범위를 벗어난 경우 RGB값, YCbCr값 및 HSV값의 표준편차를 생성한다. 정해진 영역내의 각 픽셀들의 RGB값, YCbCr값 및 HSV값에 대한 표준편차를 생성한 후에 표준편차 변화량 산출부(330)에서 각 값들의 표준편차의 변화량을 산출하고, 표준편차 변화량 판정부(350)는 표준편차의 변화량이 미리 설정된 기준값을 초과하였는지를 판정한다. 표준편차 변화량이 미리 설정된 기준값을 초과한 경우에는 증강현실공간에서의 조작으로 인하여 터치된 것으로 인식하게 되고, 화면제어부(700)를 통해서 정해진 영역의 색을 변화시킬 수 있다. 미리 정해진 영역의 색을 변화시킬 뿐만 아니라 음향을 재생할 수도 있으며, 터치가 되었음을 표시할 수 있는 다양한 방법을 장치를 통해 구현할 수 있다.

본 발명의 또 다른 실시예에 따른 인터페이스 장치는 데이터 판정부(200)에서 미리 설정된 값의 범위를 벗어난 경우, 영상에 대한 그레이영상을 생성하는 그레이영상생성부(410), 그레이영상에 대한 차연산을 통해서 차영상데이터를 생성하는 차영상 생성부(430) 및 차영상에서 임계값을 생성하는 다중 임계값 생성부(450)를 더 포함할 수 있으며, 차영상 데이터의 변화량이 임계값에 의해 정해진 기준값 이상인 경우에 정해진 영역내의 움직임이 검출된 것으로 판정하여 화면제어부(700)는 정해진 영역의 색을 변화시킬 수 있다.

즉 본 발명의 실시예들에서 설명하는 인터페이스 장치는 데이터 판정부(200)에서 정해진 영역내의 움직임에 대해서 판정하지 못하는 경우 RGB값, YCbCr값 및 HSV값에 대한 표준편차의 변화량을 활용하는 것 및/또는 그레이영상의 차영상을 활용하여 정해진 영역내의 움직임을 검출할 수 있다.

본 발명의 실시예에 따른 인터페이스장치는 RGB값, YCbCr값 및 HSV값에 대한 미리 설정된 값의 범위를 저장하고, 표준편차값 변화량에 대한 미리 설정된 기준값을 저장하고, 차영상 데이터의 변화량에 대한 미리 설정된 기준값을 저장하는 메모리(미도시)를 더 포함할 수 있다.

본 발명의 실시예에 따른 인터페이스 장치는 일반적으로 스마트폰이나 태블릿 PC와 같은 이동 단말기에 적용이 가능하며, 노트북이나 사무용 PC등에도 적용이 가능하다.

100 데이터 변환부
200 데이터 판정부
310 표준편차 생성부
330 표준편차 변화량 산출부
350 표준편차 변화량 판정부
410 그레이영상 생성부
430 차영상 생성부
450 다중 임계값 생성부
700 화면 제어부

Claims (17)

1. 3차원 공간상의 손가락 움직임을 통해서 화면의 정해진 영역을 터치하는 인터페이스 방법으로서,
   (a) 카메라를 통해 상기 정해진 영역의 화상데이터를 전송받는 단계;
   (b) 상기 화상데이터의 RGB값, YCbCr값 또는 HSV(Hue(색상), Saturation(채도), Value(명도))값을 연산하는 단계;
   (c) 상기 RGB값, YCbCr값 또는 HSV값이 미리 설정된 값의 범위에 있는지를 판정하는 단계; 및
   (d) 상기 RGB값, YCbCr값 또는 HSV값이 미리 설정된 값의 범위를 벗어난 경우, 상기 RGB값, YCbCr값 또는 HSV값 각각의 정해진 영역내에서 표준편차 변화량을 연산하는 단계를 포함하는 인터페이스 방법.
2. 제1항에 있어서,
   상기 YCbCr값과 상기 HSV값은 상기 RGB값을 통해 연산되는 것을 특징으로 하는 인터페이스 방법.
3. 제1항에 있어서,
   상기 RGB값, YCbCr값 또는 HSV값이 미리 설정된 값의 범위내에 있는 경우, 상기 화면의 정해진 영역을 터치한 것으로 인식하는 단계를 더 포함하는 것을 특징으로 하는 인터페이스 방법.
4. 삭제
5. 제1항에 있어서,
   상기 표준편차의 변화량이 미리 설정된 기준을 초과하는지를 판정하여 상기 정해진 영역내에 움직임 정보가 있는지를 판정하는 단계를 더 포함하는 것을 특징으로 하는 인터페이스 방법.
6. 제1항에 있어서,
   상기 RGB값, YCbCr값 또는 HSV값이 미리 설정된 값의 범위를 벗어난 경우, 상기 화면에 대한 그레이영상을 획득하는 단계를 더 포함하는 것을 특징으로 하는 인터페이스 방법.
7. 제6항에 있어서,
   상기 화면에 대한 그레이영상을 획득하는 단계 이후,
   상기 화면의 정해진 영역내의 연속한 두 영상의 차연산을 통해 차영상 데이터를 생성하는 단계 더 포함하는 것을 특징으로 하는 인터페이스 방법.
8. 제7항에 있어서,
   상기 차영상 데이터를 생성하는 단계 이후
   상기 차영상 데이터의 상기 정해진 영역별 다중 임계값을 생성하는 단계를 더 포함하는 것을 특징으로 하는 인터페이스 방법.
9. 제8항에 있어서,
   상기 차영상 데이터의 변화량이 상기 정해진 영역의 임계값에 의해 정해진 기준값 이상인지를 판단하여 상기 정해진 영역내 움직임 정보가 있는지를 판정하는 단계를 포함하는 것을 특징으로 하는 인터페이스 방법.
10. 제9항에 있어서,
    상기 차연산은 상기 YCbCr값인 색채정보에서 밝기 값을 제외한 데이터를 이용하여 연산을 수행하는 것을 특징으로 하는 인터페이스 방법.
11. 3차원 공간상의 손가락 움직임을 통해서 화면의 정해진 영역을 터치하는 인터페이스 장치로서,
    카메라로부터 입력되는 화상데이터 중 정해진 영역의 데이터를 RGB값, YCbCr값 및 HSV값으로 변환하는 데이터 변환부;
    상기 RGB값, YCbCr값 및 HSV값이 미리 설정된 값의 범위내에 있는지를 판정하는 데이터 판정부;
    상기 데이터 변환부로부터 변환된, 정해진 영역내의 상기 RGB값, 상기 YCbCr값 및 상기 HSV값의 표준편차(STD)값을 생성하는 표준편차 생성부;
    상기 RGB값, 상기 YCbCr값 및 상기 HSV값의 표준편차값의 변화량을 산출하는 표준편차 변화량 산출부; 및
    상기 표준편차값의 변화량이 미리 설정된 기준값을 초과하였는지를 판정하는 표준편차 변화량 판정부를 포함하는 것을 특징으로 하는 인터페이스 장치.
12. 제11항에 있어서,
    상기 데이터 판정부 또는 상기 표준편차 변화량 판정부의 신호에 의해서 상기 정해진 영역의 색을 변화시키는 화면제어부를 더 포함하는 것을 특징으로 하는 인터페이스 장치.
13. 제12항에 있어서,
    상기 데이터 판정부에서 미리 설정된 값의 범위를 벗어난 경우, 상기 표준편차 변화량 산출부는 표준편차값의 변화량을 산출하는 것을 특징으로 하는 인터페이스 장치.
14. 제13항에 있어서,
    상기 표준편차의 변화량이 미리 설정된 기준값을 초과하는 경우, 상기 화면제어부는 상기 정해진 영역의 색을 변화시키는 것을 특징으로 하는 인터페이스 장치.
15. 제12항에 있어서,
    상기 데이터 판정부에서 미리 설정된 값의 범위를 벗어난 경우, 영상에 대한 그레이영상을 생성하는 그레이영상생성부;
    그레이영상에 대한 차연산을 통해서 차영상데이터를 생성하는 차영상 생성부; 및
    상기 차영상 데이터에서 임계값을 생성하는 다중 임계값 생성부를 더 포함하는 것을 특징으로 하는 인터페이스 장치.
16. 제15항에 있어서,
    상기 차영상 데이터의 변화량이 차영상데이터를 통해 연산된 임계값에 의해 정해진 기준값 이상인 경우에 상기 화면제어부는 상기 정해진 영역의 색을 변화시키는 것을 특징으로 하는 인터페이스 장치.
17. 제12항 내지 제16항 중 어느 한 항의 인터페이스 장치를 포함하는 이동단말기.

Images