KR20160045945A - 프로젝터에 기반한 양방향 상호작용 사용자 인터페이싱 장치 - Google Patents

Abstract

본 발명은 사용자 움직임을 무구속하면서 사용자 손 움직임을 통해 프로젝터에 의해 투사되는 영상에 대응되는 각종 제어값을 다양하게 획득할 수 있도록 하는 새로운 방식의 프로젝터에 기반한 양방향 상호작용 사용자 인터페이싱 장치에 관한 것으로,
스크린에 소정의 영상을 투사하는 프로젝터; 사용자 손에 착용되며, 손 제스처를 센싱 및 통보하는 휨센서와 손 위치를 알려주기 위한 광을 발생하는 광원을 구비하는 장갑; 상기 스크린에 투사된 영상을 촬영 및 출력하는 카메라; 상기 장갑에 의해 발생된 광을 센싱하여 손 위치 값을 출력하는 광 센싱 장치; 및 상기 카메라를 통해 촬영된 영상을 수신 및 분석하여 상기 촬영 영상내 적어도 하나의 객체를 인식하고, 상기 손 위치 값과 상기 손 제스처를 기반으로 상기 객체에 대한 제어값을 산출 및 출력하는 사용자 단말을 포함할 수 있다.

Description

프로젝터에 기반한 양방향 상호작용 사용자 인터페이싱 장치{BIDIRECTIONAL INTERACTIVE USER INTERFACE BASED ON PROJECTOR}

본 발명은 사용자 움직임을 무구속하면서 프로젝터에 의해 투사되는 영상에 대응되는 제어값을 다양하게 획득할 수 있도록 하는 프로젝터에 기반한 양방향 상호작용 사용자 인터페이싱 장치에 관한 것이다.

프로젝터를 통해 스크린에 소정의 영상을 투사하는 기존의 프로젝터 시스템은 프로젝터에 연결된 사용자 단말(예를 들어, 데스크 탑, 노트북, 스마트 폰, 태블릿 PC 등)을 통해 모든 제어값을 제공받는 구조로 구현된다.

즉, 프로젝터를 통해 영상을 투사하는 도중에 영상 재생을 일시 중지하거나, 영상 재생 위치를 변경하고자 하는 경우에는 프로젝터에 연결된 사용자 단말의 키보드 또는 터치 스크린을 통해 이에 해당하는 제어값을 입력해야만 하는 구조를 가진다.

이에 프로젝터를 이용한 프레젠테이션을 하거나 하는 경우, 프레젠테이션발표자 이외에 사용자 단말을 제어하는 사람이 더 필요한 단점이 있었다. 만약 그렇지 않다면 프레젠테이션 발표자가 사용자 단말 가까이에 위치하면서 발표와 사용자 단말을 동시 제어하여야 하는 불편함이 발생하게 된다.

이에 본 발명은 사용자 움직임을 무구속하면서 사용자 손 움직임을 통해 프로젝터에 의해 투사되는 영상에 대응되는 각종 제어값을 다양하게 획득할 수 있도록 하는 새로운 방식의 프로젝터에 기반한 양방향 상호작용 사용자 인터페이싱 장치를 제공하고자 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면, 스크린에 소정의 영상을 투사하는 프로젝터; 사용자 손에 착용되며, 손 제스처를 센싱 및 통보하는 휨 센서와 손 위치를 알려주기 위한 광을 발생하는 광원을 구비하는 장갑; 상기 스크린에 투사된 영상을 촬영 및 출력하는 카메라; 상기 장갑에 의해 발생된 광을 센싱하여 손 위치 값을 출력하는 광 센싱 장치; 및 상기 카메라를 통해 촬영된 영상을 수신 및 분석하여 상기 촬영 영상내 적어도 하나의 객체를 인식하고, 상기 손 위치 값과 상기 손 제스처를 기반으로 상기 객체에 대한 제어값을 산출 및 출력하는 사용자 단말을 포함하는 프로젝터 기반의 양방향 상호작용 사용자 인터페이싱 장치를 제공한다.

상기 사용자 단말은 상기 손 위치 값과 상기 손 제스처를 기반으로 데이터 입력값을 산출하고, 상기 데이터 입력값에 대응되는 영상을 생성 및 출력하는 기능을 더 포함하는 것을 특징으로 한다.

또한 상기 사용자 단말은 상기 객체에 대한 제어값 및 상기 데이터 입력값에 상응하는 영상을 생성하여 상기 프로젝터에 제공하는 기능을 더 포함하는 것을 특징으로 한다.

본 발명에서는 사용자 행동을 기반으로 스크린 상에 투사되는 영상을 다양하게 조정할 수 있도록 함으로써, 영상 프로젝팅 도중에 사용자 단말을 별도 제어하거나 사용자 단말을 제어하기 위한 사람을 추가로 필요로 하지 않게 된다. 이에 사용자는 보다 편안하고 손쉽게 스크린 상에 투사되는 영상에 대한 제어 동작을 수행할 수 있게 된다.

또한 프로젝터에 기반한 양방향 상호작용 사용자 인터페이싱 방법을 기반으로 하여 새로운 방식의 숫자 계산 방법, 그림 그리기 방법, 비디오 재생 방법 등을 다양하게 구현할 수 있도록 한다.

도1은 본 발명의 일 실시예에 따른 프로젝터 기반의 양방향 상호작용 사용자 인터페이싱 장치를 도시한 도면이다.
도2은 본 발명의 일 실시예에 따른 프로젝터 기반의 양방향 상호작용 사용자 인터페이싱 장치에 구비되는 장갑을 도시한 도면이다.
도3은 본 발명의 일 실시예에 따른 프로젝터 기반의 양방향 상호작용 사용자 인터페이싱 장치를 이용한 숫자 계산 방법을 설명하기 위한 도면이다.
도4는 본 발명의 일 실시예에 따른 프로젝터 기반의 양방향 상호작용 사용자 인터페이싱 장치를 이용한 그림 그리기 방법을 도시한 도면이다.
도5는 본 발명의 일 실시예에 따른 프로젝터 기반의 양방향 상호작용 사용자 인터페이싱 장치를 이용한 비디오 재생 방법을 도시한 도면이다.

본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도1은 본 발명의 일 실시예에 따른 프로젝터 기반의 양방향 상호작용 사용자 인터페이싱 장치를 도시한 도면이다.

도1을 참고하면, 본 발명의 사용자 인터페이싱 장치는 프로젝터(200), 장갑(300), 적외선 카메라(400), 가시광선 카메라(500), 및 사용자 단말(600) 등을 포함하여 구성된다.

프로젝터(200)는 사용자 단말(600)이 제공하는 영상을 스크린(100)에 투사한다. 이때 스크린(100)는 건물의 벽, 화이트보드, 현수막 등과 같이 프로젝터(200)의 영상이 굴곡 없이 투사될 수 있는 2차원 평면을 제공하는 범위 내에서 구현 형태가 다양화될 수 있으나, 그 색상은 영상의 색감이 그대로 표현될 수 있도록 화이트 색상인 것이 가장 바람직하다.

장갑(300)는 사용자의 손에 착용되며, 도2에 도시된 바와 같이 손 제스처를 센싱 및 통보하는 적어도 하나의 휨 센서(310), 손 위치를 알려주기 위한 적외선 파장 영역의 광을 발생하는 광원(320), 휨 센서(310) 및 광원(320)의 동작을 제어하고, 휨 센서(310)의 센싱 결과를 유/무선 통신 방식으로 사용자 단말(600)에 제공하는 장갑 제어부(330)을 구비한다.

이때, 휨 센서(310)는 자신의 휨 정도에 따라 자신의 임피던스 값(예를 들어, 저항값)이 변화되는 센서로, 본 발명의 장갑(300)는 적어도 하나의 손가락에 대응되는 적어도 하나의 휨 센서(310)를 배치하고, 이를 통해 손가락 움직임 패턴을 센싱 및 통보하도록 한다. 즉, 본 발명에서는 사용자가 자신의 손가락을 구부렸다 피면서 클릭, 더블 클릭, 포인팅 등과 같은 각종 손 제스처를 발생함을 고려하여 휨 센서(310)의 임피던스 변화 패턴을 통해 사용자의 손가락 움직임 패턴을 파악할 수 있도록 한다.

적외선 카메라(400)는 프로젝터(200)의 영상이 투사된 스크린(100)과 스크린(100)의 전면에 위치하는 장갑(300)을 촬영하여 장갑(300)(특히, 광원(320))에 의해 발생되는 광을 검출하고, 광 검출 위치 값을 산출하여 사용자 단말(600)에 제공한다.

가시광선 카메라(500)는 프로젝터(200)에 의해 투사된 영상을 촬영하여 사용자 단말(600)에 제공한다.

사용자 단말(600)는 스마트 폰, 태블릿 PC, 데스크 탑, 및 노트북 등과 같은 각종 컴퓨팅 장치로 구현될 수 있으며, 외부 장치와의 통신을 지원하는 통신부(610), 사용자 단말(600)의 전반적인 동작을 제어하는 제어부(620), 사용자의 각종 입력값을 획득하고, 또한 사용자 단말(600)의 동작 결과에 상응하는 정보를 출력하는 데이터 입출력부(630) 이외에 어플리케이션 제공 서버 등에 접속하여 각종 어플리케이션(또는 프로그램)을 다운로드 및 설치하도록 한다.

특히, 본 발명의 사용자 단말(600)는 사용자 인터페이스용 어플리케이션(640)을 다운로드 및 설치할 수 있으며, 이때의 사용자 인터페이스용 어플리케이션(640)는 다음과 같이 구성되어, 프로젝터 기반의 양방향 상호작용 사용자 인터페이싱 기능을 제공하도록 한다.

먼저, 손 위치 산출부(641)는 광 검출 위치 값을 기반으로 사용자의 손 위치를 산출하고, 손 제스처 산출부(642)는 휨 센서(310)로부터 제공되는 임피던스 변화 패턴을 기반으로 사용자의 손 제스처를 산출하도록 한다.

영상 분석부(643)는 에지 검출 알고리즘 및 템플릿 매칭 알고리즘 등을 기반으로 가시광선 카메라(500)를 통해 촬영된 영상을 수신 및 분석하여 영상에 포함된 각종 객체를 검출하고, 객체 각각의 위치 값, 종류를 파악 및 출력하도록 한다.

영상 제어부(644)는 프로젝터(200)를 제어하여 프로젝터(200)가 스크린(100)에 소정의 영상을 투사하도록 하되, 사용자의 손 위치 값과 객체 각각의 위치 값을 비교 분석하여 사용자의 손에 인접 위치되는 관심 객체를 파악하고, 이때의 손 제스처를 기반으로 관심 객체에 대한 제어값(예를 들어, 관심 객체 선택, 관심 객체 선택 해제 등)을 산출한다. 그리고 관심 객체에 대한 제어값을 반영하는 영상을 생성하고, 프로젝터(200)가 이를 스크린(100)에 투사하도록 함으로써, 사용자가 자신의 제어 동작에 대한 결과를 실시간 파악할 수 있도록 한다.

또한, 영상 제어부(644)는 객체 제어 동작 대신에 데이터 입력 동작을 수행할 수도 있다. 즉, 사용자의 손 위치 값과 손 제스처를 기반으로 각종 데이터 입력값을 획득하고, 이에 대응되는 영상을 생성하여 프로젝터(200)를 통해 실시간 투사할 수도 있도록 한다.

즉, 본 발명의 사용자 인터페이싱 장치는 사용자의 손 위치 및 손 제스처를 기반으로 사용자의 데이터 입력 동작을 파악하고, 이를 기반으로 각종 영상을 생성 및 제공하거나 영상 재생 방법을 달리해줌으로써, 사용자와 사용자 단말이 양방향으로 상호 작용할 수 있는 새로운 방식의 인터랙션 방법을 제안한다.

이하, 도3 내지 도5를 참고하여 프로젝터 기반의 양방향 상호작용 사용자 인터페이싱 장치의 각종 활용 방법을 살펴보기로 한다.

도3은 본 발명의 일 실시예에 따른 프로젝터 기반의 양방향 상호작용 사용자 인터페이싱 장치를 이용한 숫자 계산 방법을 도시한 도면이다.

사용자가 사용자 인터페이스용 어플리케이션을 활성화한 후, 사용자가 자신의 손을 스크린 상에 위치시키고 계산하고자 하는 숫자와 연산자를 필기하면, 사용자 단말(600)은 적외선 카메라(400)를 통해 사용자 손 위치를 검색 및 추적하고, 손 위치 추적 결과에 대응되는 숫자와 연산자를 생성하여 프로젝터(200)를 통해 스크린(100)에 실시간 투사해준다.

사용자가 계산하고자 하는 숫자와 연산자를 모두 필기한 후 클릭 동작에 대응되는 손 제스처를 취하면, 사용자 단말(600)는 휨 센서(310)를 통해 이를 센싱한 후, 이에 응답하여 가시광선 카메라(500)를 통해 스크린 영상을 획득 및 분석하여 사용자가 필기한 계산식을 인식하도록 한다. 그리고 인식된 계산식에 대응되는 결과 값을 산출한 후, 프로젝터(200)를 통해 스크린(100)에 투사함으로써, 사용자가 자신이 필기한 계산식의 결과 값을 육안으로 확인할 수 있도록 한다.

도4는 본 발명의 일 실시예에 따른 프로젝터 기반의 양방향 상호작용 사용자 인터페이싱 장치를 이용한 그림 그리기 방법을 도시한 도면이다.

사용자가 그림 그리기 기능을 선택한 후 사용자 인터페이스용 어플리케이션을 활성화하면, 사용자 단말(600)은 그림 그리기 영역과 페인팅 UI(User Interface)을 프로젝터(200)를 통해 스크린(100)에 상에 투사한다.

이러한 상태에서, 사용자가 스크린(100)상에 투사된 페인팅 UI의 선 그리기 도구 메뉴 위에 손을 위치시킨 후 클릭 동작에 대응되는 손 제스처를 취하면, 사용자 단말(600)는 적외선 카메라(400) 및 휨센서(310)를 통해 이를 센싱한 후 선 그리기 도구를 선택한다.

이어서 사용자가 자신의 손을 그림 그리기 영역 내에 위치시킨 후 그림 그리는 행동을 취하면, 사용자 단말(600)은 적외선 카메라(400)를 통해 사용자 손 위치를 검색 및 추적한 후 추적 결과에 대응되는 그림 윤곽선을 표시하는 영상을 생성하여 프로젝터(200)를 통해 스크린(100)상에 투사하도록 한다. 이와 동시에 가시광선 카메라(500)는 스크린(100)을 촬영하여 스크린 영상을 획득하고, 사용자 단말(600)은 스크린 영상을 수신 및 분석하여 영상내에 존재하는 객체, 즉 사용자가 그린 그림 객체를 검출하도록 한다.

이어서 사용자가 페인팅 UI의 영역 채우기 메뉴 위에 손을 위치시킨 후 클릭 동작에 대응되는 손 제스처를 취하면, 사용자 단말(600)은 영역 채우기 도구를 선택 및 제공하도록 한다.

이어서 사용자가 페인팅 UI의 색상 선택 메뉴의 특정 색상에 손을 위치시킨 후 클릭 동작에 대응되는 손 제스처를 취하면, 사용자 단말(600)은 영역 채우기 도구의 색상을 사용자 손이 위치한 색상으로 변경하도록 한다.

그러고 나서 사용자가 자신의 손을 페인팅 영역내 특정 그림 객체(예를 들어, 지붕 객체)상에 위치시킨 후, 클릭 동작에 대응되는 손 제스처를 취하면, 사용자 단말(600)은 해당 그림 객체의 색상이 영역 채우기 도구의 색상으로 변경된 영상을 생성하고, 이를 프로젝터(200)를 통해 스크린(100)상에 투사하도록 한다.

이에 사용자는 사용자 단말에 구비된 데이터 입출력부에 접근한 후 이를 통해 그림 그리기를 위한 각종 제어값을 입력하지 않고도, 자신의 손 위치와 손 제스처를 변경하는 동작만으로 스크린(100)상에 각종 그림을 그릴 수 있게 된다.

도5는 본 발명의 일 실시예에 따른 프로젝터 기반의 양방향 상호작용 사용자 인터페이싱 장치를 이용한 비디오 재생 방법을 도시한 도면이다.

사용자가 비디오 재생 기능을 선택한 후 사용자 인터페이스용 어플리케이션을 활성화하면, 사용자 단말(600)은 해당 비디오와 재생 제어 UI를 프로젝터(200)를 통해 스크린(100)에 상에 투사한다.

이러한 상태에서, 사용자가 스크린(100)상에 투사된 재생 제어 UI(User Interface) 중 재생 메뉴 상에 손을 위치시킨 후 클릭 동작에 대응되는 손 제스처를 취하면, 사용자 단말(600)는 해당 비디오 재생 화면을 프로젝터(200)를 통해 실시간 투사하도록 한다.

이러한 상태에서, 사용자가 스크린(100)상에 투사된 재생 제어 UI(User Interface) 중 멈춤 메뉴 상에 손을 위치시킨 후 클릭 동작에 대응되는 손 제스처를 취하면, 사용자 단말(600)는 이에 응답하여 비디오 재생 멈춤 화면을 프로젝터(200)를 통해 투사하도록 한다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (3)

1. 스크린에 소정의 영상을 투사하는 프로젝터;
   사용자 손에 착용되며, 손 제스처를 센싱 및 통보하는 휨센서와 손 위치를 알려주기 위한 광을 발생하는 광원을 구비하는 장갑;
   상기 스크린에 투사된 영상을 촬영 및 출력하는 카메라;
   상기 장갑에 의해 발생된 광을 센싱하여 손 위치 값을 출력하는 광 센싱 장치; 및
   상기 카메라를 통해 촬영된 영상을 수신 및 분석하여 상기 촬영 영상내 적어도 하나의 객체를 인식하고, 상기 손 위치 값과 상기 손 제스처를 기반으로 상기 객체에 대한 제어값을 산출 및 출력하는 사용자 단말을 포함하는 프로젝터 기반의 양방향 상호작용 사용자 인터페이싱 장치.
2. 제1항에 있어서, 상기 사용자 단말은
   상기 손 위치 값과 상기 손 제스처를 기반으로 데이터 입력값을 산출하고, 상기 데이터 입력값에 대응되는 영상을 생성 및 출력하는 기능을 더 포함하는 것을 특징으로 하는 프로젝터 기반의 양방향 상호작용 사용자 인터페이싱 장치.
3. 제2항에 있어서, 상기 사용자 단말은
   상기 객체에 대한 제어값 또는 상기 데이터 입력값에 상응하는 영상을 생성하여 상기 프로젝터에 제공하는 기능을 더 포함하는 것을 특징으로 하는 프로젝터 기반의 양방향 상호작용 사용자 인터페이싱 장치.

Images