KR100796771B1 - 영상셔터를 이용한 가상 터치스크린 시스템 및 동작 방법 - Google Patents

Abstract

본 발명은 터치스크린 없이도 터치스크린 기능을 수행하는 영상셔터를 이용한 가상 터치스크린장치 및 방법에 관한 것이다. 본 발명에 의해 빔프로젝터의 영상에서도 터치스크린 기능을 구현할 수 있다.

영상셔터를 이용한 가상 터치스크린 시스템은 영상셔터(11), 출력부(12), 입력부(13), 처리부(14)로 구성된다. 영상셔터(11)는 출력부에서 출력되는 영상을 기 설정된 간격동안 출력을 차단하는 역할을 수행하고, 출력부(12)는 처리부에서 전달된 정보(영상 및 소리)를 출력하는 역할을 수행한다. 입력부(13)는 사용자의 의도된 신호(사용자 움직임이나 소리)를 감지하여 처리부로 입력하는 역할을 수행하고, 처리부(14)는 입력부로부터 전달받은 정보(사용자 움직임이나 소리)를 분석하여 사용자의 의도를 파악하고, 이를 반영한 결과인 영상 및 소리를 출력부로 전달하는 역할을 수행한다.

이러한 영상셔터, 출력부, 입력부, 처리부를 포함하는 영상셔터를 이용한 가상 터치스크린 시스템은 출력부에서 출력되는 영상 또는 소리를 사용자의 의도에 의해 제어할 수 있는 시스템이다.

가상 터치스크린, 동작인식, 영상처리, 카메라, 대화형시스템

Description

영상셔터를 이용한 가상 터치스크린 시스템 및 동작 방법{Image Shutter based Virtual Touch Screen System and Method}

도 1은 영상셔터 기반의 가상 터치스크린 시스템의 구성도.

도 2는 영상셔터가 활성화/비활성화 상태에 따른 동작 상세도.

도 3은 사용자 신체를 사용한 영상셔터 기반의 가상 터치스크린시스템의 실시 예에 따른 시스템 구성도.

도 4는 레이저 포인터를 사용한 영상셔터 기반의 가상 터치스크린시스템의 실시 예에 따른 시스템 구성도.

도 5는 후면스크린을 채용한 영상셔터 기반의 가상 터치스크린시스템의 실시 예에 따른 시스템 구성도.

빔프로젝터의 영상을 사용자가 직접 터치함으로 상호작용을 일으킬 수 있는 시스템을 "가상 터치스크린" 이라 한다. 이 시스템은 사용자의 움직임을 감지하여 출력영상에 피드백 시키는 역할을 수행한다. 즉 사용자가 출력된 영상에 있는 버튼이나 특정물체에 근접 혹은 교차하는 것만으로 마우스 입력과 동일한 효과를 주어 빔프로젝터의 영상을 사용자가 제어할 수 있다.

가상 터치스크린의 종래기술로는 "Video image based control system" (미국특허 5,534,917)와 "대화형 비디오 디스플레이 시스템"(출원번호 10-2003-7015990, 2004.4.8 공개) "체감형 게임용 화상처리 방법 및 이를 이용한 게임방법" (출원번호 10-2004-0072114, 2006.3.14. 공개)와 "인터액티브 프레젠테이션 시스템"(출원번호10-2004-0002700, 2005.7.19. 공개) 등이 있다.

가상 터치스크린 시스템의 핵심기술은 빔프로젝터의 출력영상에 사용자가 어떠한 작용을 하는 지를 판단하기 위해서 빔프로젝터의 출력영상과 빔프로젝터의 출력영상에 피드백을 주기 위한 사용자의 영상을 분리하는 기술이다.

종래에는 사용자의 영상을 분리하기 위해 파장이 다른 광원을 이용하였다. 즉 파장이 다른 광원(예: 적외선램프)을 설치하여 사용자에게 조사하고 파장이 다른 광원 촬영기(예: 적외선 카메라)로 촬영을 하여 출력영상과 사용자 영상을 분리하였다.

이러한 종래기술의 단점은 사용자의 활동을 정확히 감지하기 위해 사용자에게 조사되는 광원이 일정한 각도와 거리를 유지해야만 하고, 시스템의 주위에 태양광이 비칠 경우 빛의 간섭을 받아 정확도가 현저히 떨어지며, 사용자 영상을 단색 으로 처리할 수밖에 없는 단점이 있었다.

본 발명은 이러한 단점을 개선한 영상셔터를 이용한 가상 터치스크린 시스템 및 방법에 관한 것이다.

본 발명은 빔프로젝터의 출력영상과 이 출력영상에 피드백을 주는 사용자 영상을 분리하기 위하여 영상셔터를 이용하였다. 즉 영상셔터가 활성화된 순간에는 출력되는 영상이 차단되므로 이 순간에 사용자 영상만을 시스템에서 감지하는 가상 터치스크린 시스템 및 방법이다.

도 1은 영상셔터를 이용한 가상 터치스크린 시스템으로 영상셔터(11), 출력부(12), 입력부(13), 처리부(14), 스크린(15) 등으로 구성된다.

영상셔터(11)는 출력부에서 출력되는 영상을 기 설정된 간격동안 출력을 차단하는 역할-영상셔터를 이용해서 빔프로젝터의 출력영상을 순간적으로 차단할지라도 눈의 잔상이 메워줌으로 사람이 느낄 수가 없으므로 영상셔터가 동작해도 사람은 지속적으로 영상이 주사되는 것으로 인식한다. 이러한 특징에 의해 영상셔터를 이용한 가상 터치스크린 시스템은 출력부에서 출력되는 영상을 사용자의 의도에 의해 제어할 수 있는 것이다-을 수행하는 것으로 기계식 셔터, 전자식 셔터, 액정 셔터 등 다양한 방식이 가능하다.

출력부(12)는 처리부에서 전달된 정보(영상 및 소리)를 출력하는 역할을 수행하는 것으로 빔프로젝터가 예로 될 수 있다.

입력부(13)는 사용자의 의도된 신호(사용자 움직임, 색깔, 소리 등)를 감지하여 처리부로 입력하는 역할을 수행하는 것으로 영상을 감지하는 카메라와 소리를 감지하는 마이크로 세부적으로 구성된다.

처리부(14)는 입력부로부터 전달받은 정보를 기 설정된 처리과정에 따라 분석하여 사용자의 의도를 파악하고, 이를 반영한 결과인 영상 및 소리를 출력부로 전달하는 역할을 수행한다.

도 2는 가상 터치스크린 시스템의 영상셔터의 동작원리를 설명하기 위한 것이다.

영상셔터(21)는 입력부(23)에 포함된 카메라가 사용자를 촬영하는 순간에 출력부에서 출력되는 영상을 차단하는데, 도 2-1은 영상셔터(21)가 개방된 상태에서 출력부에서 출력되는 영상을 차단하지 않은 상태를 나타내며, 도 2-2는 영상셔터(21)가 활성화되어 출력부에서 출력되는 영상을 차단함과 동시에 입력부의 카메라가 이미지를 촬영하는 상태를 나타내고 있다.

영상셔터를 이용한 가상 터치스크린 동작 방법은 다음과 같은 단계로 구성된다.

영상셔터가 비활성화 상태에서 출력부에서 영상(또는 영상 및 소리)이 출력되는 단계 1과

영상셔터가 활성화 상태에서 출력부에서 출력되는 영상을 차단하는 단계 2와

영상셔터가 활성화 상태에서 입력부가 사용자의 의도된 신호를 감지(사용자의 이미지 촬영 또는 사용자의 음성 인식 또는 사용자에 의해 발생한 소리 또는 사용자에 의한 레이저포인터의 포인트를 인식)하는 단계 3과(이때 촬영되는 이미지는 단색 이미지 또는 컬러 이미지임),

입력부에서 감지된 사용자의 의도된 신호를 처리부로 전송하여 이를 분석하는 단계 4와,

단계 4의 분석결과에 따라 기 설정된 처리절차를 수행하여 그 결과를 출력부로 전달하는 단계 5로 구성되며, 이후 단계 1~5가 반복되어 수행된다.

도 3은 사용자 신체에 의한 가상 터치스크린을 제어하는 방법을 설명하기 위한 그림이다. 그림에서는 사용자(37)가 스크린(35)에 투영된 영상중 특정 객체(36)를 터치하는 경우로 보이나, 실제적으로는 출력영상에 직접 터치를 할 수는 없고, 출력영상의 특정 범위(또는 특정좌표)중에 사용자의 손이 위치하게 되면, 가상 터치스크린 시스템은 특정 범위에 있는 출력영상의 객체를 터치한 것으로 인지를 하게 되는 것이다. 이를 다시 설명하면, 가상 터치스크린 시스템의 입력부는 영상셔터가 활성화된 순간에 스크린(35)과 사용자(37)을 촬영하고(영상셔터가 활성화되어 있는 순간에는 출력부의 출력영상은 차단되어 있으므로 촬영되지 않음), 처리부는 스크린(35)을 기준으로 좌표화하여 사용자의 신체가 스크린상의 어떤 범위에 있는 지를 판단하고, 기 설정된 절차대로 수행된다. 예를 들어 사용자가 공을 터치하면 공이 터져버린다는 설정이 되어 있다면, 스크린을 기준으로 사용자의 손의 위치가 출력영상물의 공의 객체의 범위 내에 있다면 처리부는 공이 터지는 영상을 출력부로 전달하고 출력부는 이를 스크린에 투영하여 피드백 효과를 보여주게 된다.

도 4는 도 3의 실시예와 유사하나 사용자의 신체가 아닌, 레이저 포인터(47)의 포인트(48)에 의해 가상 터치스크린 시스템을 제어하는 것을 나타낸다. 즉 레이저 포인터(47)의 포인트(48)가 스크린(45)의 특정 위치에 있고, 이 위치가 특정 객체(46)의 범위 내에 있다면 시스템은 포인트(48)가 특정객체를 터치한 것으로 인지하는 것이다. 이때 포인트(48)의 색깔에 따라 다른 제어를 할 수도 있다. 가령 예를 들어 붉은색 포인트가 특정 객체를 터치한다면 공이 터져버리는 영상을 출력하고, 청색 포인트가 특정 객체를 터치한다면 공이 바깥으로 튀어 나가는 영상을 출력하는 것으로 제어할 수도 있다. 즉 형태나 모양뿐만 아니라 색깔에 의해서도 다양한 제어가 가능한 것이다. 영상셔터에 의해 스크린(45)와 포인트(48)를 촬영하는 것은 도 3에서 설명한 것과 동일하다.

도 5는 후면스크린을 채용한 영상셔터 기반의 가상 터치스크린시스템을 나타낸다. 도 1의 시스템 구성과 비교하면 전면스크린과 후면스크린의 차이만 있을 뿐이며 영상셔터를 이용하여 가상 터치스크린 시스템의 동작방법은 동일하다.

본 발명은 상기 실시예에 국한되지 않고 다양한 방법으로 실시 될 수 있다.

종래기술과 비교할 때 영상셔터를 이용한 가상 터치스크린 장치 및 방법은 다음과 같은 현저한 효과가 있다.

첫째, 파장이 다른 광원(예:적외선)을 이용하여 사용자의 움직임을 감지하지 않기 때문에 영상입력부와 스크린간의 거리 제한이 없다.

둘째, 파장이 다른 광원(예:적외선)을 이용하지 않고 일반 가시광선을 이용하기 때문에 사용자의 이미지를 컬러로 입력 받을 수 있으므로 빔프로젝터의 피드백 제어를 컬러 영상 기반으로 가능할 뿐만 아니라(적외선 카메라를 이용하는 경우에는 사용자의 이미지를 바탕으로 제어가 되나, 본 발명은 컬러화된 이미지를 촬영할 수 있으므로 이미지의 특정 부분의 색깔에 의한 제어가 가능하다) 소리를 동시에 입력받아 사용하므로 빔프로젝터의 피드백 되는 사용자의 제어정보는 음성 및 색깔의 조합에 의해 기존보다 훨씬 다양한 제어가 가능하다.

그러므로 본 발명은 종래보다 더욱 대형화된 스크린과 컬러화된 영상과 사운드를 기반으로 하는 다양한 피드백 제어가 가능한 가상 터치스크린 시스템 및 방법이다.

Claims (6)

1. 영상셔터 기반 가상 터치스크린 시스템에 있어서,

   영상 출력을 차단하는 역할을 수행하는 영상셔터;

   영상 또는 영상 및 소리를 출력하는 출력부;

   사용자의 의도된 신호를 감지하고 이를 처리부로 전달하는 입력부;

   입력부로부터 전달받은 신호를 디지털화된 이미지 및 소리로 변환하고, 이를 분석하여 기 설정된 제어를 수행하는 처리부;를 포함하는 것을 특징으로 하는 영상셔터 기반 가상 스크린 시스템
2. 제 1 항에 있어서 ,

   상기 영상셔터는 기계식 셔터, 전자식 셔터, 액정 셔터중의 어느 하나인 것을 특징으로 하는 영상셔터 기반 가상 스크린 시스템
3. 제 2 항에 있어서,

   상기 사용자의 의도된 신호는 이미지 또는 소리이며, 상기 이미지는 사용자 또는 레이저 포인터의 포인트 또는 지시봉 중에 어느 하나인 것을 특징으로 하는 영상셔터 기반 가상 터치스크린 시스템.
4. 제 3 항에 있어서,

   상기 이미지는 컬러인 것을 특징으로 하는 영상셔터 기반 가상 터치 스크린 시스템
5. 출력부, 입력부, 처리부, 영상셔터로 구성된 가상 터치스크린 시스템에 있어서,

   영상셔터가 비활성화된 상태에서 출력부에서 영상 또는 영상 및 소리를 출력되는 단계 1,

   영상셔터가 활성화된 상태에서 출력부에서 출력되는 영상을 차단하는 단계 2,

   단계 2와 동시에 입력부가 사용자의 의도된 신호를 감지하는 단계 3,

   입력부에 입력된 사용자의 의도된 신호를 처리부로 전송하여 이를 분석하는 단계 4,

   단계 4의 분석결과에 따라 기 설정된 처리절차를 수행하여 그 결과를 출력부로 전달하는 단계 5를 포함하는 것을 특징으로 하는 영상셔터 기반의 가상 터치스크린 동작 방법
6. 제 5 항에 있어서,

   상기 사용자의 의도된 신호는 이미지 또는 소리이며, 상기 이미지는 컬러인 것을 특징으로 하는 영상셔터 기반의 가상 터치스크린 동작 방법

Images