KR20140071170A - 손동작 기반 사용자 인터페이스를 지원하는 프로젝션 시스템 및 그 인터페이스 방법 - Google Patents

Abstract

프로젝션 시스템에서, 사용자가 투사하고자 하는 정보를 담고 있는 컬러 영상과 사용자 인터페이스를 지원하기 위하여 특정 패턴을 가지는 영상인 패턴 영상을 촬영하고 촬영된 영상으로부터, 컬러 영상이 투사된 컬러 영상 투사면과 프로젝션 시스템의 거리, 사용자 손과 프로젝션 시스템과의 거리, 컬러 영상 투사면과 사용자 손과의 거리에 관련된 정보들을 획득한다. 그리고 획득된 거리 정보들을 토대로 평면 손동작 기반 인터페이스와 공간 손동작 기반 인터페이스 중 하나의 인터페이스를 결정한다.

Description

손동작 기반 사용자 인터페이스를 지원하는 프로젝션 시스템 및 그 인터페이스 방법{Projection system for supporting user interface based on hand movements and interface method thereof}

본 발명은 프로젝션 시스템 및 그 인터페이스 방법에 관한 것으로, 더욱 상세하게 말하자면 손동작 기반의 사용자 인터페이스를 지원하는 프로젝션 시스템 및 그 인터페이스 방법에 관한 것이다.

프로젝터(projector)는 대화면, 고화질 영상을 제공해 줄 수 있는 반면, 프로젝터의 위치나 스크린의 위치 및 반사 특성, 주변 조명 환경 등을 고려하지 않으면 원하는 영상을 볼 수 없다. 임의 환경에서 프로젝터를 이용하여 원하는 영상을 제공해 주는 시스템을 프로젝션 시스템이라고 한다. 프로젝션 시스템을 이용한 다양한 서비스가 제공되고 있으며, 프로젝션 시스템을 구성하는 장치들과 서비스를 활용함에 있어서 적절한 인터페이스 방식에 대한 필요성이 대두되고 있다.

이에 따라 영상으로부터 사용자의 손 그림자 영역을 검출하고, 손 그림자 영역에 상응하는 손 동작을 인식하여 해당하는 제어 기능을 수행하는 방법이 있다. 사용자의 손동작을 인식하는 기술로는 사용자가 바라보는 디스플레이 장치에 부착된 근접 센서와 카메라를 이용하여 사용자의 손동작을 인식하는 방법이 있다.

그러나 이러한 방법들은 특정 크기의 물리적인 디스플레이 화면상에서 촬영되는 사용자의 손동작에 기반한 것으로, 서비스 환경이 매우 제한적이라는 단점이 있다.

본 발명이 해결하려는 과제는 보다 다양한 환경에서 사용자의 손동작 기반의 인터페이스를 지원하는 프로젝션 시스템 및 그 인터페이스 방법을 제공하는 것이다.

또한 본 발명이 해결하고자 하는 과제는 평면 손동작 기반 인터페이스와 3차원 공간에서 이루어지는 공간 손동작 기반 인터페이스를 지원하는 프로젝션 시스템 및 그 인터페이스 방법을 제공하는 것이다.

본 발명의 하나의 특징에 따른 프로젝션 시스템의 인터페이스 방법은, 사용자가 투사하고자 하는 정보를 담고 있는 컬러 영상과 사용자 인터페이스를 지원하기 위하여 특정 패턴을 가지는 영상인 패턴 영상을 투사하는 단계; 상기 투사된 컬러 영상을 촬영하여 컬러 투사 환경 영상을 획득하고, 상기 투사된 패턴 영상을 촬영하여 패턴 투사 영상, 그리고 사용자 손과 주변 환경을 포함하는 컬러 투사 환경 영상을 획득하는 단계; 상기 획득된 영상들로부터 상기 컬러 영상이 투사된 컬러 영상 투사면과 프로젝션 시스템의 거리, 사용자 손과 프로젝션 시스템과의 거리, 상기 컬러 영상 투사면과 사용자 손과의 거리를 획득하는 단계; 상기 거리들을 토대로 평면 손 동작 기반 인터페이스와 공간 손 동작 기반 인터페이스 중 하나의 인터페이스를 결정하는 단계; 및 상기 결정된 인터페이스에 따라 공간 손동작 인식기 또는 평면 손동작 인식기를 동작시키는 단계를 포함한다.

본 발명의 실시 예에 따르면, 사용자는 다양한 형태로 제작될 수 있는 프로젝션 시스템을 사용하여 다양한 환경으로 정보를 투사하여 디스플레이하고, 상기 프로젝션 시스템을 손동작에 기반한 인터페이스 방식으로 제어할 수 있다. 특히, 프로젝션 시스템을 통하여 사용자는 투사 환경에 따라 기존의 터치 장치에서와 같은 평면 손동작 기반 인터페이스 및 공간 손동작 기반 인터페이스를 제한 없이 편리하게 수행할 수 있다. 특히 하나의 프로젝션 시스템을 통하여 사용자는 다양한 서비스 환경에 따라 평면 제스처 기반 인터페이스와 공간 제스처 기반 인터페이스를 사용하여 시스템을 제어할 수 있다.

도 1은 본 발명의 실시 예에 따른 프로젝션 시스템의 구조를 나타낸 도이다.
도 2는 본 발명의 실시 예에 따른 사용자 인터페이스를 지원하기 위하여 프로젝터로부터 투사되는 영상을 나타낸 예시도이다.
도 3은 본 발명의 실시 예에 따른 처리부의 구조를 나타낸 도이다.
도 4는 본 발명의 실시 예에 따른 프로젝션 시스템의 인터페이스 방법의 흐름도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 본 발명의 실시 예에 따른, 프로젝션 시스템 및 그 인터페이스 방법에 대하여 설명한다.

도 1은 본 발명의 실시 예에 따른 프로젝션 시스템의 구조를 나타낸 도이다.

첨부한 도 1에 도시되어 있듯이, 본 발명의 실시 예에 따른 프로젝션 시스템(1)은 적어도 하나의 카메라를 포함하는 카메라부(11), 적어도 하나의 프로젝터를 포함하는 프로젝터부(12), 적어도 하나의 외부 인터페이스 장치를 포함하는 외부 인터페이스부(13), 그리고 처리부(14)를 포함한다.

카메라부(11)는 복수의 카메라(111~11m)을 포함하며, 각각의 카메라는 프로젝터부(12)의 각 프로젝터를 통하여 투사되는 영상을 촬영한다.

프로젝터부(12)는 복수의 프로젝터(112~11n)를 포함한다. 각각의 프로젝터는 영상을 투사하며, 특히, 실제 디스플레이하고자 하는 컬러 영상과 사용자 인터페이스 지원을 위한 패턴 영상을 투사한다.

도 2는 본 발명의 실시 예에 따른 사용자 인터페이스를 지원하기 위하여 프로젝터로부터 투사되는 영상을 나타낸 예시도이다.

컬러 영상(I1)은 프로젝션 시스템(1)을 통하여 디스플레이하고자 하는 영상으로, 사용자가 투사하고자 하는 정보를 담고 있는 영상이다. 패턴 영상(I2)는 사용자 인터페이스를 지원하기 위하여 특정 패턴을 가지는 영상이다. 패턴 영상(I2)은 패턴의 왜곡을 분석하여 투사 방향으로의 깊이를 측정하기 위해 특별한 패턴으로 디자인된 영상으로써, 적외선 등의 프로젝터를 통하여 사람의 시력으로 인식 할 수 없는 파장대역에서 투사될 수 있다.

컬러 영상(I1)과 패턴 영상(I2)은 동일한 방향으로 투사된다. 투사된 컬러 영상과 투사된 패턴 영상의 사이즈가 완벽히 일치하지 않을 수 있으나, 도 2와 같이, 투사된 패턴 영상(I2)의 사이즈가 투사된 컬러 영상(I1)의 사이즈보다 같거나 큰 형태를 이룬다.

프로젝터부(12)는 컬러 영상을 투사하는 프로젝터와 패턴 영상을 투사하는 프로젝터를 포함하며, 컬러 영상과 패턴 영상을 투사하는 프로젝터가 동일할 수도 있고 서로 다를 수도 있다. 예를 들어, 패턴 영상을 투사하는 프로젝터는 적외선 프로젝터 일 수 있다.

프로젝터부(12)에 의하여 영상이 투사되는 방향과 카메라부(11)의 촬영 방향은 서로 동일하며, 카메라부(11)의 촬영각(W1)과 프로젝터부(12)의 투사각(W2)는 완벽히 일치하지 않을 수 있으며, 카메라부(11)의 촬영각(W1)이 프로젝터부(12)의 투사각(W2)보다 크거나 같을 수 있다.

한편 외부 인터페이스부(13)는 USB(Universal Serial Bus)와 같은 인터페이스 장치를 포함한다.

처리부(14)는 카메라부(11)로부터 투사된 컬러 영상을 촬영한 영상인 컬러 투사 영상과, 투사된 패턴 영상을 촬영한 영상인 패턴 투사 영상 그리고, 사용자 손(H)과 주변 환경을 포함하는 컬러 투사 환경 영상을 제공받아서 영상 처리를 수행하고 이를 토대로 사용자 손 동작 인터페이스를 지원한다.

이를 위하여, 컬러 영상 투사면과 프로젝션 시스템의 거리(DIStance between Projection surface and System, 이하 DIS_PS라 칭함), 사용자 손과 프로젝션 시스템과의 거리(DIStance between Hand and System, 이하 DIS_HS라 칭함) 정보를 추출하고, 추출된 거리 정보를 바탕으로 컬러 영상 투사면과 사용자 손과의 거리(DIStance between Projection surface and Hand, 이하 DIS_PH라 칭함)를 구한다. 본 발명의 실시 예에서는 DIS_PS와 DIS_PH의 거리에 따라 사용자의 손 동작 기반 인터페이스를 평면 손동작 기반 인터페이스와 공간 손 동작 기반 인터페이스로 구분하여 지원한다.

평면 손동작 기반 인터페이스는 기존의 터치 장치의 터치 인터페이스와 비슷한 평면 핸드 터치와 평면 핸드 제스처를 포함하고, 공간 손동작 인터페이스는 핸드 포스처와 공간 핸드 제스처를 포함한다. 투사되는 영상이 맺히는 투사면과 사용자의 손의 위치에 따라 평면 손동작 기반 인터페이스와 공간 손동작 기반 인터페이스 모두를 동적으로 지원한다.

DIS_PS, DIS_PH의 거리에 따라 평면 손동작 기반 인터페이스를 지원하는 것으로 판단된 경우, 처리부(14)는 투사된 영상이 맺히는 투사면과 사용자의 손끝이 임계 값(TH_DIS_PH)내에서 인접하였을 경우 사용자의 단일 또는 다중 터치를 인식하고, 인식된 터치 포인트의 움직임에 따라 인터페이스를 지원한다.

반면, 공간 손 동작 인터페이스를 지원하는 것으로 판단된 경우, 사용자는 프로젝션 시스템과 컬러 투사 영상이 맺히는 투사면 사이의 3차원 공간에서의 공간 핸드 포스처와 공간 핸드 제스처를 통하여 시스템과 인터페이스 할 수 있다.

이러한 인터페이스 지원을 위하여 처리부(14)는 다음과 같은 구조로 이루어진다.

도 3은 본 발명의 실시 예에 따른 처리부의 구조를 나타낸 도이다.

처리부(14)는 도 3에서와 같이, 영상 인식 기반으로 손동작 기반 사용자 인터페이스를 지원하기 위하여, 애플리케이션 모듈(141), 카메라로부터 촬영된 패턴 영상 및 컬러 영상을 처리하고 인식하는 영상 인식 모듈(142), 영상 인식 모듈(142)으로부터 처리된 영상으로부터 DIS_PS, DIS_HS, DIS_PH 정보를 추출하고 지원할 인터페이스를 결정하는 투사 환경 처리 모듈(143), 투사 환경 처리 모듈의 처리 결과에 따라 사용자의 평면 손동작 기반 인터페이스 및 공간 손동작 인터페이스를 지원하기 위한 사용자 손동작을 인식하는 손동작 인식 엔진 모듈(14)을 포함하고, 이외에도, 하드웨어 관리를 위한 하드웨어 관리 모듈(145)을 더 포함한다.

애플리케이션 모듈(141)은 프로젝션 시스템에서 지원하는 다양한 애플리케이션을 제공하며, 각 애플리케이션에 따라 프로젝션 시스템(1)을 통한 다양한 서비스가 제공된다.

하드웨어 관리 모듈(145)은 카메라부(11)와 프로젝터부(12)와의 인터페이스를 수행하며, 카메라부(11)와 프로젝터부(12)를 동작시키기 위한 신호들을 카메라부(11)와 프로젝터부(12)로 제공하고, 카메라부(11)로부터 촬영된 영상을 제공받아 영상 인식 모듈(142)로 전달한다.

영상 인식 모듈(142)은 카메라부(11)로부터 제공되는 투사된 컬러 영상을 촬영한 영상인 컬러 투사 환경 영상과, 투사된 패턴 영상을 촬영한 영상인 패턴 투사 영상을 제공받아 영상 처리를 수행한다.

투사 환경 처리 모듈(143)은 영상 인식 모듈의 처리된 영상으로부터, 컬러 영상 투사면과 프로젝션 시스템의 거리(DIS_PS), 사용자 손과 프로젝션 시스템과의 거리(DIS_HS)를 추출하고, 추출된 거리 정보를 바탕으로 컬러 영상 투사면과 사용자 손과의 거리(DIS_PH)를 구한다. 그리고 DIS_PS, DIS_PH를 미리 설정된 임계값들과 비교하여 따라 평면 손동작 기반 인터페이스 또는 따라 공간 손동작 기반 인터페이스를 지원할지를 결정한다.

손동작 인식 엔진 모듈(144)은 평면 손동작 기반 인터페이스에 따라 사용자 손동작을 인식하고 인식 결과를 애플리케이션 모듈(141)로 전달하는 평면 손동작 인식기와, 공간 손동작 기반 인터페이스에 따라 사용자 손동작을 인식하고 인식 결과를 애플리케이션 모듈(141)로 전달하는 공간 손동작 인식기를 포함한다.

다음에는 이러한 구조를 토대로 본 발명의 실시 예에 따른 프로젝션 시스템의 인터페이스 방법에 대하여 설명한다.

도 4는 본 발명의 실시 예에 따른 프로젝션 시스템의 인터페이스 방법의 흐름도이다.

프로젝션 시스템(1)은 프로젝터부(12)를 통하여 사용자가 투사하고자 하는 정보인 컬러 영상과, 사용자의 손동작 인식을 위한 패턴 영상을 투사면으로 투사한다(S100).

카메라부(11)는 투사면에 투사된 패턴 투사 영상과 컬러 투사 영상을 촬영하며, 또한 사용자 손과 주변 환경을 포함하는 컬러 투사 환경 영상을 촬영한다(S110). 카메라부(11)에 의하여 획득된 영상은 처리부(14)로 전송되며, 처리부(14)의 영상 인식 모듈(144)에 의하여 처리된다.

이후, 처리부(14)의 투사 환경 처리 모듈(143)은 처리된 영상들로부터 DIS_PS, DIS_HS를 추출하고, 추출된 DIS_PS와 DIS_HS를 토대로 DIS_PH를 산출한다. 그리고, 산출된 DIS_PS와 DIS_PH를 토대로 어떠한 인터페이스를 지원할 것인지를 판단한다.

먼저, 처리부(14)는 DIS_PS와 평면 터치를 수행할 수 있는 거리 임계 값(TH_DIS_PS)을 비교하여(S130), DIS_PS가 TH_DIS_PS보다 먼 거리일 경우에는 공간 손동작 기반 인터페이스를 하는 것으로 결정한다. 그리고 손동작 인식 엔진 모듈(144)의 공간 손동작 인식기를 동작시킨다(S140).

반면, DIS_PS가 TH_DIS_PS 내에 해당하는 경우에는, 실질적인 컬러 영상 투사면과 사용자 손과의 거리인 DIS_PH와 사용자의 손이 컬러 투사면과 충분히 인접하여 평면 터치가 용이한 거리를 나타내는 인접 거리 임계값(TH_DIS_PH)을 비교한다(S150). 그리고 DIS_PH가 TH_DIS_PH보다 먼 경우에는 공간 손동작 인식기를 동작시키며, DIS_PH가 TH_DIS_PH 내에 위치하는 경우에는 평면 손동작 기반 인터페이스를 하는 것으로 결정한다. 그리고 손동작 인식 엔진 모듈(144)의 평면 손동작 인식기를 동작시킨다(S160).

위에 기술된 바와 같은 과정을 반복적으로 수행하며, 프로젝션 시스템(1)으로 종료 신호가 입력되면 위의 과정을 종료한다.

이러한 과정을 통하여, 프로젝션 시스템(1)은 사용자가 영상을 투사하는 다양한 환경에서, 평면 및 공간 손동작 기반 사용자 인터페이스를 지원한다.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (1)

1. 사용자가 투사하고자 하는 정보를 담고 있는 컬러 영상과 사용자 인터페이스를 지원하기 위하여 특정 패턴을 가지는 영상인 패턴 영상을 투사하는 단계;
   상기 투사된 컬러 영상을 촬영하여 컬러 투사 환경 영상을 획득하고, 상기 투사된 패턴 영상을 촬영하여 패턴 투사 영상, 그리고 사용자 손과 주변 환경을 포함하는 컬러 투사 환경 영상을 획득하는 단계;
   상기 획득된 영상들로부터 상기 컬러 영상이 투사된 컬러 영상 투사면과 프로젝션 시스템의 거리, 사용자 손과 프로젝션 시스템과의 거리, 상기 컬러 영상 투사면과 사용자 손과의 거리를 획득하는 단계;
   상기 거리들을 토대로 평면 손동작 기반 인터페이스와 공간 손동작 기반 인터페이스 중 하나의 인터페이스를 결정하는 단계; 및
   상기 결정된 인터페이스에 따라 공간 손동작 인식기 또는 평면 손동작 인식기를 동작시키는 단계
   를 포함하는 프로젝션 시스템의 인터페이스 방법.
   
   
   
   
   

Images