KR20040088159A - 공간상 움직임에 기반한 입력 시스템 - Google Patents

Abstract

본 발명은 공간상 움직임에 기반한 입력 시스템에 관한 것으로서, (A) 안쪽에 비어있는 입력공간을 가지고 있는 프레임, 상기 입력공간으로 향하는 투사각을 가지고 상기 프레임 상에 설치된 2 대의 카메라를 포함하는 있는 공간상 입력장치; (B) 상기 공간상 입력장치로부터 일정한 거리만큼 떨어져 있는 공간 또는 면에 영상을 투여하기 위한 영상장치; 및 (C) 상기 공간상 입력장치와 영상장치의 작동을 제어하고, 상기 입력공간 상에서 움직이는 신체의 일부 또는 도구의 위치에 대한 정보를 2차원 좌표값으로 변환하여 상기 영상에 지시점으로 표시하여 나타내며, 상기 지시점이 일정한 조건하에서 영상 중의 활성 메뉴의 활성화 명령으로 인식될 때 이를 실행하는 제어장치;를 포함하는 것으로 구성되어있다.

상기 시스템에 따르면, 마우스와 같이 사용자가 직접 손으로 조작할 필요없이, 주어진 공간상에서 손동작 등에 의해 영상장치로부터 투영되는 영상에 지시점을 표시하고 특정한 활성메뉴를 활성화시킬 수 있으므로, 사용자의 관심을 유발해야하는 광고 장치나, 새로운 3차원 입체 영상 시스템에 새로운 입력 시스템으로서 유용하게 사용될 수 있다.

Description

공간상 움직임에 기반한 입력 시스템 {INPUT SYSTEM BASED UPON MOVEMENT IN SPACE}

본 발명은 공간상 움직임에 기반한 입력 시스템에 관한 것으로서, 더욱 구체적으로는, 2 대의 카메라가 장착된 공간상 입력장치에서의 신체 일부(예를 들어, 손) 또는 도구의 움직임을 인식하여 사용자가 의도하는 좌표 위치를 영상 위에 표현하고 영상 중의 활성메뉴도 일정한 조건하에 실행할 수 있도록 함으로써, 마치 컴퓨터의 디스플레이 화면의 내용을 마우스를 사용하여 입력하는 것과 같은 행위를 공간상의 동작으로 실행할 수 있도록 하는 입력 시스템을 제공한다.

정보를 확인하고 처리하는 기능으로서의 컴퓨터는 디스플레이 화면을 통해 정보를 제공하고 마우스와 같은 입력장치를 사용하여 필요한 명령을 수행하도록 구성되어있다. 이와 같이 영상 정보를 제공하는 디스플레이와 함께 별도의 입력장치의 조합에 의해 정보의 제공 및 처리가 행해지고 있다. 상기 입력장치는 기술의 발전과 사용자의 요구에 따라 다양한 형태로 개발되어 있다.

그러나, 관객들의 관심을 이끌어내고 관객들이 손쉽게 참여할 수 있도록 유도하는 과정이 무엇보다 필요한 광고 분야에서는 상기와 같은 입력장치가 큰 주목을 받지 못한다. 또한, 계속적으로 발전해나가는 영상분야는 2차원적인 디스플레이 패널로부터 3차원적인 디스플레이 이미지로 변화해가고 있고, 이에 부응할 수 있는 입력장치가 강력히 요구되고 있다.

따라서, 본 발명은 이러한 종래기술의 문제점과 과거로부터 요청되어온 기술적 과제를 해결하는 것을 목적으로 한다.

즉, 본 발명의 목적은 마우스와 같이 사용자가 직접 손으로 조작할 필요 없이, 공간상에서의 동작에 의해 디스플레이 장치에서 표현되는 영상에 직접 입력을 행할 수 있는 시스템을 제공하는 것이다. 이러한, 공간상 입력 시스템은 디스플레이되는 영상에 대한 호기심을 유발하고 3차원적인 입력 행위에 의해 사용자의 참여를 유도할 수 있는 특징도 갖는다.

도 1은 본 발명의 하나의 실시예에 따른 공간상 입력 시스템의 모식도이고;

도 2는 도 1의 시스템 중 공간상 입력장치의 작동을 보여주는 구조도이고;

도 3a 및 도 3b는 도 2의 입력장치의 유효 입력공간에 손이 들어와서 움직일 때 제 1 카메라와 제 2 카메라에 의해 촬영된 영상을 보여주는 대략적 영상도이고;

도 4는 도 3a 및 3b의 영상정보를 바탕으로 2차원 좌표를 설정하고 그로부터 입력 좌표값을 산출하는 좌표 구성도이고;

도 5는 본 발명의 시스템에서 사용되는 영상처리 알고리즘의 하나의 실시예에 따른 구성 블록도이고;

도 6은 본 발명의 시스템에서 입력신호가 영상중의 활성메뉴를 활성화시키기 과정의 순서도이다.

도면의 주요 부호에 대한 설명

100: 공간상 입력 시스템

200: 공간상 입력장치

300: 영상장치

400: 제어장치

500: 손

이러한 목적을 달성하기 위한 본 발명에 따른 공간상 입력 시스템은,

(A) 안쪽에 비어있는 입력공간을 가지고 있는 프레임, 상기 입력공간으로 향하는 투사각을 가지고 상기 프레임 상에 설치된 2 대의 카메라를 포함하는 있는 공간상 입력장치;

(B) 상기 공간상 입력장치로부터 일정한 거리만큼 떨어져 있는 공간 또는 면에 영상을 투여하기 위한 영상장치; 및

(C) 상기 공간상 입력장치와 영상장치의 작동을 제어하고, 상기 입력공간 상에서 움직이는 신체의 일부 또는 도구의 위치에 대한 정보를 2차원 좌표값으로 변환하여 상기 영상에 지시점으로 표시하여 나타내며, 상기 지시점이 일정한 조건하에서 영상 중의 활성 메뉴의 활성화 명령으로 인식될 때 이를 실행하는 제어장치를 포함하는 것으로 구성되어있다.

따라서, 본 발명에 따른 공간상 입력 시스템은, 사용자가 영상장치에 의해 표시되는 영상을 보면서 신체의 일부(예를 들어, 손)나 도구를 사용하여 상기 공간상 입력장치의 입력공간에서 움직이면, 그러한 움직임(동작)이 프레임에 설치된 2 대의 카메라에 의해 포착되어 제어장치의 작용에 의해 영상에 지시점(pointer)으로 표시함으로써, 사용자가 영상상의 특정한 위치를 정확히 표현할 수 있고, 더욱이 사용자가 그러한 영상 중에 표현되는 특정한 활성 메뉴(active menu)를, 일정한 시간동안 지시하는 등의 선택적 조건에 의해 활성화시킴으로써, 다음 영상으로의 전환, 또는 영상의 확대 등과 같은 활성 메뉴의 기능을 수행하도록 할 수 있다.

상기 공간상 입력장치의 상기 프레임은 바람직하게는 상단부가 개방되어있는 사각형 또는 원형의 프레임으로서, 개방부위에 인접한 프레임의 상단에 상기 2 대의 카메라가 설치되어있다. 따라서, 안쪽(중앙부위)이 비어있는 입력공간과 상기 상단부의 개방부위로 인해, 사용자는 허공에서 예를 들어 손동작으로 행함으로써 3차원 입체감을 더욱 강하게 느낄 수 있다. 바람직하게는, 프레임의 색상과 구별되는 경계선이 상기 프레임의 안쪽면을 따라 포함되어있다. 따라서, 프레임의 안쪽면을 투사하는 각각의 카메라는 프레임의 경계선을 연속적으로 촬영하게 된다. 더욱 바람직하게는, 프레임 색상과 경계선 색상은 명도차가 큰 색상의 조합으로 이루어져 있다. 예를 들어, 프레임의 색상은 검은색으로 경계선의 색상은 흰색으로 구성함으로써, 카메라에 의해 촬영된 검은색 배경에 흰색의 경계선으로 이루어진 프레임 안쪽은 영상 정보는 제어장치에 의해 분석이 용이하게 이루어진다.

활성화 메뉴의 활성화 명령은 다양한 방법에 의해 가능하며, 바람직하게는상기 지시점이 일정한 시간동안 활성화 메뉴 좌표값에 머무를 때 활성화 명령으로 처리하도록 할 수 있다.

이하, 본 발명에 따른 공간상 입력 시스템의 실시예에 따른 도면을 참조하여, 본 발명의 내용을 더욱 상술하지만, 본 발명의 범주가 그것에 의해 한정되는 것은 아니다.

도 1에는 본 발명의 하나의 실시예에 따른 공간상 입력 시스템의 모식도가 도시되어있다. 공간상 입력 시스템(100)은 공간상 입력장치(200), 영상장치(300) 및 제어장치(400)를 포함하는 것으로 구성되어있다. 공간상 입력장치(200)는 중앙에 비어있는 입력공간(210)을 가지고 상단부가 개방되어있는 사각형의 프레임(220)으로 되어있다. 프레임(220)의 더욱 자세한 구성은 도 2에 도시되어있다.

도 2를 참조하면, 프레임(220)의 양쪽 상단에는 제 1 카메라(231)와 제 2 카메라(232)가 설치되어있다. 각각 a1 및 a2의 투사각을 가진 두 개의 카메라(231, 232)는 프레임(200)의 안쪽면을 향하도록 배치되어 있다. 따라서, 프레임(220)의 입력공간(222) 중, 제 1 카메라(231)와 제 2 카메라(232)의 투사각이 교차하는 부위(빗금친 부분)가 유효 입력공간(available input space: AIS)이 된다. 즉, 유효 입력공간(AIS)에서 움직이는 손(500)은 두 개의 카메라(231, 232)에 의해 동시에 포착되게 된다.

다시, 도 1을 참조하면, 검은색의 프레임(220)의 안쪽면을 따라 흰색의 경계선(224)이 길게 연장되어 있음을 알 수 있다. 그러나, 앞서 설명한 바와 같이, 프레임(220)의 안쪽면의 색상과 경계선(224)의 색상은 특별히 한정되는 것은 아니고,큰 명도차를 가지는 색상 조합이 바람직하다.

도 2에서 유효 입력공간(AIS)에서 움직이는 손(500)을 제 1 카메라(231)와 제 2 카메라(232)가 촬영한 영상이 도 3a와 도 3b에 각각 도시되어 있다. 도 3a 및 도 3b에서 촬영된 영상(231F, 232F)에는 중앙에 검은색의 프레임 안쪽면(221)과 흰색의 경계선(224)이 각각 나타난다. 나머지 부위의 영상은 카메라(231, 232)에 의해 촬영되었더라도 제어장치에서 분리하거나 및/또는 별도로 인식하지 않는다. 도 2에서 사용자가 유효 입력공간(AIS)내에 손(500)을 넣어 A 지점에서 B 지점으로 움직이면, 제 1 카메라(231)에서는 도 3a에 같은 영상이 촬영되고, 제 2 카메라(232)에서는 도 3b에서와 같은 영상이 촬영된다. 따라서, 흰색의 경계선(224)에는 명도차를 갖는 새로운 영상(손의 영상)이, 제 1 카메라(231)의 촬영영상(231F)에서는 A'에서 B'로 움직이고, 제 2 카메라(232)의 촬영 영상(232F)에서는 A"에서 B"로 움직인다.

도 4에는 제 1 카메라(231)와 제 2 카메라(232)로부터의 영상에 의해 설정되는 2차원 좌표에서 경계선(224)의 명도에 변화를 주는 손(500)의 움직임에 의한 좌표값이 변화하는 작동내용이 도시되어 있다.

제 1 카메라(231)의 좌측 상단 위치에서 투사되는 촬영각(또는 투사각: a1)은 점선(L100)으로 표시되어있고, 그것에 의해 촬영되는 경계선(도 3의 224)의 위치는 좌표상에서 일점 쇄선(L120: 촬영선)으로 표시되어있다. 또한, 제 2 카메라(232)의 우측 상단 위치에서 투사되는 촬영각(a2)은 점선(L200)으로 표시되어있고, 그것에 의해 촬영되는 경계선(도 3의 224)의 위치는 좌표상에서 일점쇄선(L220: 촬영선)으로 표시되어있다. 제 1 카메라(231)의 촬영선(L120)과 제 2 카메라(232)의 촬영선(L220)을 2차원 영상에서 표시하는 방법 중의 하나는, 도 2에서의 프레임의 가로×세로의 비와 카메라(231, 232)의 위치 및 각도를 비례시켜 설정하면, 실제 프레임에 대응하는 2차원의 좌표가 얻어진다.

이렇게 설정된 도 4의 2차원 좌표에서, 도 3a의 손동작(A' -> B')은 제 1 카메라 촬영선(L120)을 따라 점선 화살표(A' -> B')로 표시된다. 따라서, 촬영선(L120)의 A'에 대응하는 좌표선(L101)과 B'에 대응하는 좌표선(L102)이 제 1 카메라(231)의 이동선으로 정의된다. 또한, 같은 방법으로, 도 3b의 손동작(A" -> B")은 제 2 카메라 촬영선(L220)을 따라 점선 화살표(A" -> B")로 표시되고, 촬영선(L220)의 A"에 대응하는 좌표선(L201)과 B"에 대응하는 좌표선(L202)이 제 2 카메라(232)의 이동선으로 정의된다. A 점의 2차원 좌표위치는 제 1 카메라(231)의 초기 이동선인 A'의 좌표선(L101)과 제 2 카메라(232)의 초기 이동선인 A"의 좌표선(L201)의 교차 위치에 의해 정해진다. 같은 방법으로 B 점의 2차원 좌표위치는 제 1 카메라(231)의 후기 이동선인 B'의 좌표선(L102)과 제 2 카메라(232)의 후기 이동선인 B"의 좌표선(L202)의 교차 위치에 의해 정해진다. 이와 같이, 도 2의 유효 입력공간(AIS)에서의 손동작은 두 개의 카메라(231, 232)에 의해 각각 촬영된 영상 정보를 바탕으로, 도 1의 제어장치(400)에 의해 2차원 좌표로 표시될 수 있다.

다시, 도 1을 참조하면, 공간상 입력장치(200)로부터 전송된 아날로그 방식의 영상신호는 프레임 그레이버(frame grabber: 410)에 의해 디지털 방식으로 변환되어, 제어장치(400)에 의해 처리되게 된다. 이러한 역할을 하는 프레임 그레이버(410)는 공간상 입력장치(200)에 포함되도록 구성하거나 또는 제어장치(400)에 포함되도록 구성할 수도 있다. 제어장치(400)는, 공간상 입력장치(200)를 제어하면서 그로부터 전송된 입력정보를 처리하고 영상장치(300)를 제어하는 것이라면 특별히 제한이 없으며, 일반 개인용 컴퓨터(PC)가 사용될 수도 있다. 영상장치(300) 역시 공간상 입력장치(200)로부터 일정한 거리만큼 떨어진 곳에 영상을 제공하는 것이라면 특별히 제한이 없으며, 도 1에서와 같이, LCD, PDP, FED 등과 같은 평판 디스플레이 디바이스일 수도 있고, 영상 투사방식의 프로젝터일 수도 있다. 그 외에도 입체 영상을 제공하는 각종 장치들이 사용되어 3차원 영상을 제공할 수도 있다.

도 5에는 2 개의 카메라(231, 232)로부터 영상을 획득하여, 도 2에서의 손의 위치를 찾아 이것을 영상장치(300)로부터 투영되는 영상에 표시하기 위한 영상처리 알고리즘의 순서도가 도시되어있다.

우선, 공간상 입력장치(200)에서는 제 1 카메라로부터의 입력정보(S201)와 제 2 카메라로부터의 입력정보(S202)를 획득한다. 도 5에서의 CCD 카메라의 CCD(Charge-coupled Device)는 전하결합소자의 의미로, 카메라 모듈의 눈에 해당하는 이미지 센서의 제조방식을 표시한다. 그러나, 그러한 제조방식의 카메라만으로 한정되는 것은 아니다. 각각 획득된 입력정보는 아날로그 신호로 되어있으므로, 이를 제어장치(400)에는 프레임 그레이버에서, 앞서의 설명과 같이, 디지털 신호로 전환하는 과정(S401)을 거치고, 풀칼라(full-color) 영상으로 입력된 영상 데이터를 처리에 적합한 신호체계로 바꾸기 위하여, 명암대비의 기준값을 산정하는 트레스홀드(threshold) 과정(S402)을 거친다. 예를 들어, 흰색의 경계선의 경우에 흰색인 명도 10을 상기 기준값으로 하고, 그보다 낮은 명도를 갖는 영상 데이터를 비교값으로 설정할 수 있다. 그렇게 설정된 기준값에 대하여, 경계선 상에 다른 명암의 영상 데이터(비교값)가 들어있는 경우에, 이를 입력수단(예를 들어, 손)으로 감지하는 과정(S403)을 거친다. 그런 다음, 도 4에서와 같이, 감지된 입력수단(상기에서의 손)의 이동이나 정지 시간에 실시간(예를 들어, 21~26 frame/s)으로 반응하여 좌표값을 획득하고(S404), 그러한 좌표값의 시간상 변화에 기반하여 마우스의 커서를 움직이거나 일정시간 정지시 클릭하는 것으로 인식하는 과정(S405)을 거친다. 상기 인식된 신호체계를 기존의 마우스에 의해 인식되도록 되어있는 컨텐츠와 일치시키는 과정(S406)을 거쳐, 영상처리(300)에서 디스플레이 하게 된다.

상기 영상처리 알고리즘에 있어서 S402 내지 S406은 소프트웨어에 의해 구현될 수 있으며, 상기 발명의 내용을 실현함에 있어서 필요한 기타 모듈 등은 마우스 연결 컴퓨터 등에서 손쉽게 응용될 수 있으므로, 이에 대한 설명은 생략한다.

도 6에는 영상장치(300)에 디스플레이되고 있는 영상정보 중에, 다음 화면으로의 전환, 화면 확대/축소, 링크 등의 활성메뉴가 있을 때, 사용자가 이를 활성화시키고자 하는 방법들 중의 하나로서, 그러한 활성메뉴를 일정한 시간동안 지시하고 있는 경우에, 이를 처리하는 과정의 대략적 순서도가 도시되어있다. 상기 영상처리 알고리즘에서는, 예를 들어, 21~26 frame/s로 스케닝을 행하여 실시간 정보를 처리하면서, 입력신호가 있는 경우에 그것의 좌표값을 획득한다(S410). 그러한 입력신호 좌표값이 활성메뉴의 좌표값과 일치하는지를 확인한다(S411). 상기 좌표값의 일치 여부는 활성메뉴에 대한 일정한 좌표값의 범위를 미리 설정하고, 입력신호의 좌표값이 그러한 범위에 포함되는지를 확인하는 방법으로 진행될 수도 있다. 좌표값이 일치하지 않으면(NO), 획득된 입력신호의 좌표값을 영상처리 알고리즘의 다음 단계로 전송한(S412) 후, 새로운 입력신호의 좌표값 획득 과정(S411)으로 루프된다. 일치여부 확인 단계(S411)에서 일치되면(YES), 기준시간을 경과하였는지를 판단한다(S413). 입력신호의 좌표값이 활성메뉴의 좌표값에 일치된 상태에서 경과되는 시간이 일정한 기준시간을 경과하였는지를 판단하는 것으로서, 기준시간은 예를 들어, 1 초, 2 초 등과 같이 특정한 초단위의 시간으로 미리 설정할 수도 있다. S413의 판단에서, 만일 기준시간을 경과하였으면(YES), 활성메뉴의 활성화를 위한 신호로 간주하여 이를 영상처리 알고리즘의 단음 단계로 전송한(S414) 후 S411 과정으로 루프되고, 기준시간을 경과하지 않았으면(NO), S411 과정으로 바로 루프된다. 그러나, 활성메뉴의 활성화 동작은, 이와 같이 기준시간의 경과 여부를 결정하는 방법 이외에 기타 다양한 방법이 가능할 수 있으며, 이러한 내용들은 본 발명의 범주에 포함되는 것으로 해석되어야 한다.

따라서, 본 발명이 속한 분야에서 통상의 지식을 가진 자라면 상기 내용을 바탕으로 본 발명의 범주내에서 다양한 응용 및 변형이 가능할 것이다.

본 발명의 공간상 입력 시스템에 따르면, 마우스와 같이 사용자가 직접 손으로 조작할 필요없이, 주어진 공간상에서 손동작 등에 의해 영상장치로부터 투영되는 영상에 지시점을 표시하고 특정한 활성메뉴를 활성화시킬 수 있으므로, 사용자의 관심을 유발해야하는 광고 장치나, 새로운 3차원 입체 영상 시스템에 새로운 입력 시스템으로서 유용하게 사용될 수 있다.

Claims (6)

1. (A) 안쪽에 비어있는 입력공간을 가지고 있는 프레임, 상기 입력공간으로 향하는 투사각을 가지고 상기 프레임 상에 설치된 2 대의 카메라를 포함하는 있는 공간상 입력장치;

   (B) 상기 공간상 입력장치로부터 일정한 거리만큼 떨어져 있는 공간 또는 면에 영상을 투여하기 위한 영상장치; 및

   (C) 상기 공간상 입력장치와 영상장치의 작동을 제어하고, 상기 입력공간 상에서 움직이는 신체의 일부 또는 도구의 위치에 대한 정보를 2차원 좌표값으로 변환하여 상기 영상에 지시점으로 표시하여 나타내며, 상기 지시점이 일정한 조건하에서 영상 중의 활성 메뉴의 활성화 명령으로 인식될 때 이를 실행하는 제어장치;

   를 포함하는 것으로 구성되어있는 것을 특징으로 하는 공간상 입력 시스템.
2. 제 1 항에 있어서, 상기 공간상 입력장치의 상기 프레임은 상단부가 개방되어있는 사각형 또는 원형의 프레임으로서, 개방부위에 인접한 프레임의 상단에 상기 2 대의 카메라가 설치되어있는 것을 특징으로 하는 공간상 입력 시스템.
3. 제 1 항에 있어서, 프레임의 안쪽면 색상과 구별되는 경계선이 상기 프레임의 안쪽면을 따라 포함되어있는 것을 특징으로 하는 공간상 입력 시스템.
4. 제 3 항에 있어서, 상기 프레임 안쪽면 색상과 경계선 색상은 명도차가 큰 색상의 조합인 특징으로 하는 공간상 입력 시스템.
5. 제 4 항에 있어서, 상기 프레임 안쪽면 색상은 검은색이고 경계선 색상은 흰색인 것을 특징으로 하는 공간상 입력 시스템.
6. 제 1 항에 있어서, 상기 활성화 메뉴의 활성화 명령은 상기 지시점이 일정한 시간동안 활성화 메뉴 좌표값에 머무를 때 활성화 명령으로 처리하는 것을 특징으로 하는 공간상 입력 시스템.