KR20140072666A - 펜 인터페이스 방법 및 이를 이용한 프로젝션 시스템 - Google Patents

Abstract

프로젝션 시스템에서, 투사면에서 동작하는 브러시 펜의 영상을 획득하고, 획득된 영상으로부터 브러시 펜의 끝점 영역과, 상기 끝점 영역의 빛의 변화량을 분석하고, 끝점 영역을 추적한다. 그리고 끝점 영역, 빛의 변화량 그리고 추적 결과를 토대로 소정 작업을 수행하고 그 결과를 투사면에 반영한다.

Description

펜 인터페이스 방법 및 이를 이용한 프로젝션 시스템{Method for interfacing with pen and projection system using the method}

본 발명은 프로젝션 시스템 및 그 인터페이스 방법에 관한 것으로, 더욱 상세하게 말하자면 손동작 기반의 사용자 인터페이스를 지원하는 프로젝션 시스템 및 그 인터페이스 방법에 관한 것이다.

프로젝션 컴퓨터란 프로젝터를 이용하여 증강된 영상을 투사하고, 투사된 영상에 대해 사람의 손 또는 사물을 이용하여 인터랙션 할 수 있는 장치를 말한다. 이러한 프로젝션 컴퓨터는 출력 결과물을 프로젝터를 이용하기 때문에 테이블이나 벽면 등과 같은 실제 사물이나 사람의 손바닥과 같은 곳에 영상을 투사할 수 있는 장점이 있다. 이런 장점으로 프로젝션 컴퓨터는 혼합 현실 서비스, 증강 현실 서비스를 제공할 수 있는 시스템으로 사용된다.

최근 섬세한 작업을 요구하는 응용을 위해 스마트 폰 및 테블릿에서 사용 가능한 펜이 개발되어 출시되고 있다. 하지만, 펜이 터치되는 터치 패드는 주로 저항 방식과 정전용량 방식임으로, 사용자가 펜을 사용할 경우, 오동작 방지를 위해, 펜의 끝점 이외에 신체 부위가 터치 패드에 닿지 않도록 손을 들거나 장갑을 끼고 작업해야 하는 단점이 있다.

프로젝션 컴퓨터는 카메라를 이용한 영상 처리 과정을 통해 사용자와 인터랙션을 가능하게 하므로, 펜을 사용하고 있는 사람의 손 부분에 어떠한 전자적인 센서도 닿지 않는다. 따라서 영상 처리를 이용하여 펜의 끝 부분 위치를 정확하게 찾는다면 터치 패드의 단점을 극복할 수 있다.

하지만, 현재까지 고안된 프로젝션 컴퓨터 사용자를 위한 펜 인터페이스는 테블릿의 터치패드가 가지고 있는 정교한 작업(선의 굵기 등)에 적합하지 못한 문제점이 있다.

본 발명이 해결하려는 과제는 프로젝션 컴퓨터 사용자를 위하여 브러시 펜의 끝점을 정확하게 인식할 수 있는 펜 인터페이스 방법 및 이를 이용한 프로젝션 시스템을 제공하는 것이다.

본 발명의 하나의 특징에 따른 펜 인터페이스 방법은, 투사면에 영상을 투사하는 단계; 상기 투사면의 영상을 촬영하고, 촬영된 영상으로부터 브러시 펜의 입력 여부를 판단하는 단계; 상기 브러시 펜의 입력이 있는 경우, 상기 영상으로부터 브러시 펜의 끝점 영역을 검출하는 단계; 상기 브러시 펜의 끝점 영역에 대한 빛의 변화량을 분석하는 단계; 상기 영상을 토대로 상기 브러시 펜의 끝점 영역을 추적하는 단계; 및 상기 브러시 팬의 끝점 영역, 빛의 변화량 그리고 추적 결과에 해당하는 영상을 상기 투사면에 반영하는 단계를 포함한다.

본 발명의 실시 예에 따르면, 프로젝션 컴퓨터 사용자가 브러시 펜을 이용하여 다양한 작업을 수행할 수 있다. 특히 브러시 펜의 끝점을 정확하게 인식하여 프로젝션 컴퓨터와 인터페이스를 제공함으로써, 사용자는 연필과 볼펜, 붓 등으로 작업하는 것과 같은 편의성을 제공받을 수 있다.

또한 일반적인 테블릿과 같이 프로젝션 컴퓨터 사용 환경에서도 사용자의 힘 조절에 의한 글쓰기의 두께 변화가 가능함으로써, 정교한 작업이 가능하여 사용 편의성을 개선시킬 수 있다. 그러므로 프로젝션 컴퓨터를 사용하는 사용자에게 다양하고 유연한 인터페이스를 제공함으로써 콘텐츠 사용의 편의성을 제공할 수 있다.

도 1은 본 발명의 실시 예에 따른 프로젝션 시스템의 구조를 나타낸 도이다.
도 2는 프로젝션 시스템과 브러시 펜을 이용한 서비스 제공을 나타낸 예시도이다.
도 3은 본 발명의 실시 예에 따른 브러시 펜의 구조를 나타낸 도이다.
도 4는 본 발명의 실시 예에 따른 프로젝션 시스템의 펜 인터페이스 방법의 흐름도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 본 발명의 실시 예에 따른, 펜 인터페이스 방법 및 이를 이용한 프로젝션 시스템에 대하여 설명한다.

도 1은 본 발명의 실시 예에 따른 프로젝션 시스템의 구조를 나타낸 도이며, 도 2는 프로젝션 시스템과 브러시 펜을 이용한 서비스 제공을 나타낸 예시도이다.

첨부한 도 1에 도시되어 있듯이, 본 발명의 실시 예에서, 프로젝션 시스템(1)은 프로젝터부(11)와 카메라부(12), 그리고 영상 처리부(13)를 포함하며, 영상이 투사되는 화면인 투사면(S)에서 동작하는 브러시 펜(2)을 인식하고 이에 해당하는 동작을 수행한다.

프로젝터부(11)는 영상을 투사하며, 특히, 영상 처리부(13)로부터 제공되는 디스플레이 하고자 하는 영상을 투사면(S)으로 투사한다.

카메라부(12)는 투사면(S)에 투사되는 영상을 촬영하며, 투사면(S)에 투사되는 영상과 함께 투사면(S)에서 동작하는 브러시 펜(S)에 관련된 영상을 촬영한다.

브러시 펜(2)은 사용자와의 인터페이스를 수행하며, 도 2에서와 같이, 적외선이나 자외선, 컬러 광선 등을 출력하는 펜 형태로 이루어질 수 있다. 따라서 카메라부(12)는 브러시 펜(2)으로부터 출력되는 빛을 촬영할 수 있는 카메라(예를 들어 적외선 카메라 등)를 사용할 수 있다.

영상 처리부(13)는 촬영된 영상을 처리한다. 카메라부(12)에 의하여 촬영된 영상을 판독 및 처리 가능한 신호로 처리하는 기술은 공지된 기술임으로 여기서는 상세한 설명을 생략한다. 영상 처리부(13)는 처리된 영상을 토대로, 브러시 펜(2)의 끝점을 인식하고, 인식된 브러시 펜의 끝점을 토대로 펜의 이동 궤적을 인식한다.

펜의 끝점은 브러시 펜(2)의 끝 부분으로부터 방출되는 빛(컬러, 적외선, 자외선 등)을 탐지 함으로써 인식할 수 있다. 또한 브러시 펜의 끝점이 투사면(S)에 접지되는 접지면으로 사용자에 의해 눌려지는 접촉 압력에 따라, 브러시 펜(2)으로부터 출력되는 빛의 단계적 변화량(면적의 증가)을 인식하여, 펜의 굵기를 인식한다.

이를 위하여, 영상 처리부(13)는 처리된 영상을 토대로 브러시 펜의 끝점을 검출하고 검출된 끝점의 궤적을 추적(Tracking)하는 제1 인식 모듈(131) 및 브러시 펜 끝에서 방출되는 빛의 변화량(면적 변화량)을 인식하여 펜의 굵기를 인식하는 제2 인식 모듈(132)을 포함한다.

한편 브러시 펜(2)은 도 3과 같은 구조로 이루어진다.

도 3은 본 발명의 실시 예에 따른 브러시 펜의 구조를 나타낸 도이다.

첨부한 도 3에서와 같이, 본 발명의 실시 예에 따른 브러시 펜(2)은 배터리(21)와, 배터리로부터 공급되는 전기에 따라 동작하여 빛을 출력하는 빛 출력부(22)를 포함한다. 빛 출력부(22)로부터의 빛이 브러시 펜(2)의 끝점을 통하여 출력되며, 끝점에는 스크린(예를 들어, 투사면) 과의 접지를 위한 고무(23)가 설치되어 있다. 또한 빛 출력부(22)의 일측(빛이 출력되는 부분의 반대쪽)에 스프링(24)이 형성되어, 사용자가 브러시 펜(2)의 끝점을 투사면(S)에 누르는 접촉 압력에 따라 스프링(24)에 의한 압력이 빛 출력부(22)로 가해지면서, 빛 출력부(22)의 접지면이 단계별로 가변된다. 특히 빛 출력부(22)의 접지면이 단계별로 변경되면서 빛 출력부(22)로부터 출력되는 빛이 양이 달라진다.

보다 구체적으로, 사용자가 브러시 펜(2)을 누르면, 도 3의 A와 같이, 스프링(24)에 의하여 빛 출력부(22)가 배터리(21)와 연결되면서 빛 출력부(22)가 동작하며, 동시에 눌러지는 압력에 따라 스프링(24)에 의한 내부 접지면이 이동하면서 접촉 단계에 따라 펜 끝에 발광하는 면적이 늘어남으로써, 빛의 양은 단계별로 증가하여 출력된다. 펜의 눌림을 브러시 펜 형태처럼 두께를 표현하기 위해 끝 부분에 부착된 고무(23)에 의하여, 눌린 면적을 눈으로 확인시켜 줄 수 있다.

다음에는 이러한 구조를 토대로 본 발명의 실시 예에 따른 프로젝션 시스템의 펜 인터페이스 방법에 대하여 설명한다.

도 4는 본 발명의 실시 예에 따른 프로젝션 시스템의 펜 인터페이스 방법의 흐름도이다.

프로젝션 시스템(1)은 프로젝터부(11)를 통하여 사용자가 투사하고자 하는 정보를 도 2와 같이 투사한다(S100). 영상이 투사되는 화면 즉, 투사면(S)에 대하여 사용자는 브러시 펜(2)을 이용한 다양한 동작을 수행할 수 있다. 예를 들어, 브러시 펜(2)을 투사면(S)에 접촉하면서 원하는 작업(메뉴 선택, 글자 쓰기, 그림 그리기 등)을 할 수 있다.

이러한 상태에서, 카메라부(12)는 투사면을 촬영하고 촬영된 영상을 영상 처리부(13)로 전달한다(S110). 영상 처리부(13)는 카메라부(12)에 의하여 촬영된 영상을 인식 가능한 상태로 처리하고, 처리된 영상을 토대로 브러시 펜의 동작을 인식한다(S120).

영상 처리부(13)는 처리된 영상으로부터 브러시 펜(2)에 의한 입력이 있는지를 판단한다(S130). 영상 처리부(13)는 처리된 영상으로부터 예를 들어, 브러시 펜 형상이 검출되는 경우에 브러시 펜(2)에 의한 입력이 존재하는 것으로 판단할 수 있다.

그리고 브러시 펜(2)에 의한 입력이 있는 경우에 브러시 펜(2)의 끝점 영역을 인식한다(S140). 브러시 펜(2)이 동작하는 경우에는 브러시 펜(2)으로부터 빛(적외선, 자외선 등)이 출력된다. 이에 따라 브러시 펜(2)의 끝점에 관련된 부분은 영상의 다른 부분에 비하여 매우 높은 휘도값을 가질 수 있다. 예를 들어, 영상으로부터 검출된 브러시 펜의 형상으로부터 휘도가 설정값 이상 높은 부분을 브러시 펜의 끝점 영역으로 검출할 수 있다. 이러한 끝점 영역 인식 방법은 하나의 예이며, 본 발명은 이것에 한정되지 않는다.

또한 영상 처리부(13)는 인식된 브러시 펜의 끝점 영역을 기준으로 빛의 양을 분석한다. 끝점 영역을 기준으로 휘도가 설정값 이상 높은 부분들을 측정하여 브러시 펜의 빛의 단계적 변화량(면적의 증가)을 인식하여, 펜의 굵기를 인식한다(S150).

이후, 영상 처리부(13)는 인식된 브러시 펜의 끝점 영역을 기준으로 브러시 펜(2)의 끝점을 추적한다(S160).

이후, 영상 처리부(13)는 브러시 팬의 끝점 영역, 빛의 변화량 그리고 추적 결과에 해당하는 영상을 투사면에 반영한다. 예를 들어, 브러시 팬의 끝점 추적에 따른 데이터를 토대로 해당하는 작업을 수행하고, 그 결과를 프로젝터(11)로 전달하여 투사면에 투사하도록 한다. 이에 따라 사용자가 브러시 펜(2)을 이용하여 투사면(S)에 대하여 수행하는 작업에 따른 결과물이 다시 투사면에 투사 및 표시된다. 특히 인식된 펜의 굵기에 따라 브러시 펜(2)의 끝점 영역을 추적한 결과물이 투사면에 표시됨으로써, 예를 들어, 사용자가 의도하고자 하는 굵기를 가지는 선 등이 투사면에 표시될 수 있다. 이와 같이 사용자의 브러시 펜(2)의 제어에 의한 증강 현실 영상 등이 투사면에 표시될 수 있다(S170).

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (1)

1. 투사면에 영상을 투사하는 단계;
   상기 투사면의 영상을 촬영하고, 촬영된 영상으로부터 브러시 펜의 입력 여부를 판단하는 단계;
   상기 브러시 펜의 입력이 있는 경우, 상기 영상으로부터 브러시 펜의 끝점 영역을 검출하는 단계;
   상기 브러시 펜의 끝점 영역에 대한 빛의 변화량을 분석하는 단계;
   상기 영상을 토대로 상기 브러시 펜의 끝점 영역을 추적하는 단계; 및
   상기 브러시 팬의 끝점 영역, 빛의 변화량 그리고 추적 결과에 해당하는 영상을 상기 투사면에 반영하는 단계
   를 포함하는 펜 인터페이스 방법.
   
   
   
   
   
   
   
   

Images