KR20220065227A

KR20220065227A - 손동작 인식 프리젠터 기능을 가진 스마트 프로젝터

Info

Publication number: KR20220065227A
Application number: KR1020200151517A
Authority: KR
Inventors: 이태양
Original assignee: 이태양
Priority date: 2020-11-13
Filing date: 2020-11-13
Publication date: 2022-05-20

Abstract

본 발명은 프리젠테이션을 수행하는 강연자를 포함한 유효영역에서의 특정 손동작을 기계학습을 통해 유효한 실행영상을 제어할 수 있도록 하는 기술에 대한 것으로, 프로젝터모듈을 통해 디스플레이 되는 실행파일의 제어방식을 사용자의 손동작을 포함하는 이미지를 입력값으로 하여 기계 학습을 통해 매칭되는 제어신호를 송출할 수 있도록 하여, 발표(프리젠테이션)을 시행하는 사용자의 편의성을 극대화할 수 있다.

Description

손동작 인식 프리젠터 기능을 가진 스마트 프로젝터{Projecting device using smart presenter}

본 발명은 프리젠테이션을 수행하는 강연자를 포함한 유효영역에서의 특정 손동작을 기계학습을 통해 유효한 실행영상을 제어할 수 있도록 하는 기술에 대한 것이다.

최근 사무실에서는 프로젝터를 통한 회의 및 세미나가 일반화되어 있으며 가정에서는 프로젝터를 통한 텔레비전시청도 가능한 상태이다. 이러한 프로젝터는 일반적으로 화면을 영사해주는 프로젝터 본체와; 이를 제어하는 리모트 컨트롤러와 컴퓨터(데스크탑 또는 노트북)와 연결하도록 하는 케이블로 구성된다.

그러나, 현재 출시되는 프로젝터를 살펴보면 컴퓨터와 프로젝터 사이의 통신 방법이 유선에서 블루투스 또는 무선 랜을 이용한 무선으로 바뀌고 있음을 알 수 있다. 또한, 종래 통신 방법은 최소한 1대의 노트북 또는 데스크탑 컴퓨터를 프로젝터에 연결하거나 네트워크로 연결된 컴퓨터에서 프로젝터의 내용을 제어한다.

또한, 프로젝터를 사용한 실행영상을 프리젠테이션하는 과정에서는, 컴퓨터의 조작이나, 무선 리모콘을 이용하여 실행영상을 넘기거나 표시하는 기능을 수행하나, 이러한 실행 방식은 리모콘과 컴퓨터와의 신호연동이 제대로 이루어지지 않거나, 기기 오동작 등으로 실효적인 제어가 이루어지지 않는 경우가 많아 사용자의 불편을 초래하게 된다. 또한, 강연자가 강연을 위해 USB 수신장치와 프리젠터를 매번 별도로 챙겨야 하는 번거로움과, 분실 등의 문제로 효과적인 강연 진행이 어려워지는 문제도 발생하게 된다.

한국등록특허 제10-0933402호

본 발명은 상술한 문제를 해결하기 위하여 안출된 것으로, 본 발명의 목적은 프로젝터모듈을 통해 디스플레이 되는 실행파일의 제어방식을 사용자의 손동작을 포함하는 이미지를 입력값으로 하여 기계 학습을 통해 매칭되는 제어신호를 송출할 수 있도록 하여, 발표(프리젠테이션)을 시행하는 사용자의 편의성을 극대화할 수 있는 스마트 프리젠터 기능을 가지는 프로젝터를 제공하는 데 있다.

상술한 과제를 해결하기 위한 수단으로서, 본 발명의 실시예에서는, 도 1 및 도 2에 도시된 것과 같이, 디스플레이단말에서의 실행영상을 외부에 디스플레이하는 프로젝터모듈(100); 및 상기 프로젝터모듈(100) 내부 또는 외부에 배치되어, 유선 또는 무선으로 상기 프로젝터모듈(100)의 제어부와 연동하며, 외부의 사용자의 동작을 촬영한 영상을 머신러닝모델을 통해 분석하여 동작정보를 추출하여, 상기 프로젝터모듈(100)의 제어신호를 송출하는 모션분석제어모듈(200);을 포함하는, 스마트 프리젠터 기능을 가지는 프로젝터를 제공할 수 있도록 한다.

또한, 상기 모션분석제어모듈(200)은, 외부 완경을 촬영가능한 카메라를 포함하는 촬영부(210); 상기 촬영부(210)에서 촬영된 이미지를 입력받아 저장하는 영상취득부(220); 상기 영상취득부(220)에 저장된 이미지를 가공하여, 사용자 및 사용자의 손동작이 포함되는 유효영역을 추출하는 전처리부(230); 상기 전처리부에서 추출된 유효영역을 포함하는 이미지데이터를 입력값으로 하여, 기계학습을 통해 동작정보를 추출하고, 해당 동작정보에 매칭되는 제어신호를 산출하는 동작분석매칭부(240); 상기 동작분석매칭부(240)에서 산출된 제어신호를 상기 프로젝터모듈(100)의 제어부(100)에 전송하여, 디스플레이되는 실행파일을 제어하는 제어신호처리부(250);를 포함하는, 스마트 프리젠터 기능을 가지는 프로젝터를 제공할 수 있도록 한다.

나아가, 상기 동작분석매칭부(240)는, 상기 유효영역을 사용자의 손동작이 포함되는 영역으로 특정하여, CNN(합성곱신경망 : Convolution Neural Network) 을 이용하여 동작정보를 추출하고, 해당 동작정보에 매칭되는 제어신호를 산출하는, 스마트 프리젠터 기능을 가지는 프로젝터를 제공할 수 있도록 한다.

또한, 상기 모션분석제어모듈(200)은, 상기 프로젝터모듈(100)과 독립적으로 형성되어 외부에 배치되는 구조이거나, 상기 프로젝터모듈(100)의 내부에 매립형으로 장착되는 구조인, 스마트 프리젠터 기능을 가지는 프로젝터를 제공할 수 있도록 한다.

본 발명의 실시예에 따르면, 프로젝터모듈을 통해 디스플레이 되는 실행파일의 제어방식을 사용자의 손동작을 포함하는 이미지를 입력값으로 하여 기계 학습을 통해 매칭되는 제어신호를 송출할 수 있도록 하여, 발표(프리젠테이션)을 시행하는 사용자의 편의성을 극대화할 수 있는 효과가 있다.

특히, 사용자의 동작인식에 대한 분석을 기계학습을 통해 수행하여 동작인식의 오류를 최소화하고, 상용화를 위해 임베디드 보드를 통해 기계학습을 수행할 수 있도록 해 제조단가를 현저하게 저렴하게 하여 범용적인 사용이 가능하도록 하는 장점을 구현할 수도 있다.

도 1은 본 발명의 실시예에 따른 프로젝터의 구성을 도시한 블록도이다.
도 2는 본 발명의 실시예에 따른 프로젝터의 동작인식 제어를 구현하는 순서를 도시한 흐름도이다.
도 3은 본 발명의 전처리부의 동작을 설명하기 위한 개념 이미지이다.
도 4는 본 발명의 모션분석제어모듈의 구현 실시예를 도시한 것이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1은 본 발명의 실시예에 따른 스마트 프리젠터 기능을 가지는 프로젝터(이하, '본 발명'이라 한다.)의 주요 구성을 도시한 구성도이다. 도 2는 도 1에 따른 본 발명의 실행순서를 도시한 순서도이다.

도 1 및 도 2를 참조하면, 본 발명은, 디스플레이단말에서의 실행영상을 외부에 디스플레이하는 프로젝터모듈(100) 및 상기 프로젝터모듈(100) 내부 또는 외부에 배치되어, 유선 또는 무선으로 상기 프로젝터모듈(100)의 제어부와 연동하며, 외부의 사용자의 동작을 촬영한 영상을 머신러닝모델을 통해 분석하여 동작정보를 추출하여, 상기 프로젝터모듈(100)의 제어신호를 송출하는 모션분석제어모듈(200)을 포함하여 구성될 수 있다.

이 경우, 상기 프로젝터모듈(100)은, 컴퓨터나 노트북 등의 단말장치에서 실행되는 실행파일(이를테면, PPT, 텍스트 문서, 이미지, 영상 등)을 스크린에 투사하는 기능을 수행하는 다양한 공지의 프로젝터를 포함하는 개념이다.

본 발명의 모션분석제어모듈(200)은 상기 프로젝터모듈(100)과 독립적으로 형성되어 외부에 배치되는 구조이거나, 상기 프로젝터모듈(100)의 내부에 매립형으로 장착되는 구조로 다양하게 적용이 가능하다. 즉, 종래의 프로젝터에 외부에 장착되는 형태로 연결되어 바로 적용이 가능하도록 하거나, 프로젝터 제조 단계에서 매립형(일체형) 타입으로 구현하여 제조할 수도 있다.

본 발명은 특히, 모션분석제어모듈(200)을 구비하여, 외부의 사용자의 동작을 촬영한 영상을 머신러닝모델을 통해 분석하여 동작정보를 추출하여, 상기 프로젝터모듈(100)의 제어신호를 송출하는 기능을 수행하여, 사용자가 리모콘 조작이나, 메인 컴퓨터의 조작 없이도, 실행하는 프리젠테이션 파일을 자유롭게 제어할 수 있도록 하는 특징을 구현할 수 있다.

이를 위해, 본 발명에서의 상기 모션분석제어모듈(200)은, 외부 환경을 촬영가능한 카메라를 포함하는 촬영부(210), 상기 촬영부(210)에서 촬영된 이미지를 입력받아 저장하는 영상취득부(220), 상기 영상취득부(220)에 저장된 이미지를 가공하여, 사용자 및 사용자의 손동작이 포함되는 유효영역을 추출하는 전처리부(230), 상기 전처리부에서 추출된 유효영역을 포함하는 이미지데이터를 입력값으로 하여, 기계학습을 통해 동작정보를 추출하고, 해당 동작정보에 매칭되는 제어신호를 산출하는 동작분석매칭부(240), 상기 동작분석매칭부(240)에서 산출된 제어신호를 상기 프로젝터모듈(100)의 제어부(100)에 전송하여, 디스플레이되는 실행파일을 제어하는 제어신호처리부(250)를 포함하여 구성될 수 있도록 한다.

상기 외부 환경을 촬영하는 촬영부(210)은 카메라를 포함하며, 카메라를 포함하여 촬영된 영상이미지 데이터를 영상취득부(220)에 보내며, 영상취득부에서는, 이 영상데이터를 입력받아 저장하는 기능을 수행한다.

동시에, 상기 전처리부(230)에서는, 사용자가 포함되는 외부영상에서, 사용자의 동작중 제어신호와 연계되도록 설정한 특정 손동작을 포함하는 영역(이하, '유효영역'이라 한다.)을 추출할 수 있도록 한다. 이러한 전처리부의 유효영역의 산출 방식은 다양한 이미지 추출 방식을 적용할 수 있다.

일예로, 차영상기법을 적용할 수 있는데, 이는 전프레임영상과 현재 프레임영상의 차이(차영상)를 통해 움직이는 물체를 검출하는 영상처리 기법을 적용하는 것으로, 프로젝터 앞 강연자의 움직임을 파악하는 것으로 강연자의 위치를 대략적으로 파악할 수 있는 것이다.

이와 동시에, 움직임을 가지는 노이즈 부분(이를테면, 사용자 이외의 움직임을 가지는 외부 물체, 움직이는 영상, 프리젠테이션 영상의 동적인 동작을 움직임으로 인식하는 오류)으로 인한 오류를 보완하기 위해, 스테레오비젼을 활용한 보완방식을 적용할 수 있도록 한다.

이는, 도 3에 도시된 것과 같이, (a)는 원본이미지, (b)는 거리를 인식하여 표시한 뎁스 이미지를 도시한 것으로, 본 발명에서, 촬영모듈(100)에 장착되는 카메라를 한 쌍으로 마련하고, 인간의 눈 처럼 두 개의 카메라를 양쪽에서 촬영하면 거리를 인식할 수 있다. 거리(뎁스)를 인식한다는 것은 가까운 물체는 밝게, 거리가 먼 물체는 어둡게 표시(depth map 또는 disparity map) 한 후, 강연자는 프로젝터가 비춘 화면 스크린보다는 앞에 있기 때문에 뎁스 맵에서 스크린의 색보다 상대적으로 밝은 부분인 강연자의 위치를 대략적으로 파악한다. 더불어 강연자가 손을 뻗게 되면 이 또한 상대적으로 더 밝게 나오는데 이러한 특징을 활용해 알고리즘적으로 강연자의 위치를 파악하고 강연자 및 강연자의 특정 손동작을 포함하는 영역(유효영역)으로 파악하게 하는 것을 적용할 수 있다.

이러한 전처리를 통해 추출된 유효영역을 포함하는 이미지데이터는, 동작분석매칭부(240)에 입력값으로 입력되며, 기계학습을 통해 동작정보를 추출하고, 해당 동작정보에 매칭되는 제어신호를 산출할 수 있도록 한다.

산출된 제어신호는 제어신호처리부(250)를 통해, 프로젝터모듈(100)의 제어보로 송출되고, 이를 통해 실행되는 파일의 동작을 손쉽게 제어할 수 있게 할 수 있다.

특히, 본 발명의 바람직한 일실시예로는, 본 발명에서 사용되는 기계학습모델은, 3D CNN 기반 딥러닝을 진행하여 구현될 수 있으며, 상용화 버전을 위해, 임베디드 보드를 적용하여 기계학습을 수행하는 방식으로 구현하도록 함이 바람직하다.

본 발명에서, 기계학습모델을 진행함에, 임베디드 보드를 사용하여 상업적 활용도를 높이고 단가를 낮출 수 있다. 이는 임베디드 보드를 이용하는 바, 다용도 입출력(general-purpose input/output, GPIO)을 통해 딥러닝 결과를 전기적 신호로 보낼 수 있게 할 수 있다. 이러한 전기 신호는 컴퓨팅 제어장치(제어신호처리부)를 거쳐 프로젝터와 연결된 메인 컴퓨터로 전송된다. 프로젝터와 연결된 메인 컴퓨터는 키보드의 다음키, 이전키, 볼륨업, 볼륨 다운 등의 기본 키나 단축키 신호를 컴퓨팅 제어장프로젝터와 연결된 메인 컴퓨터를 통해 받게 되고, 컴퓨터 화면이 곧 프로젝터 화면이므로 PT화면이 넘어가거나 뒤로가기 등의 기능을 수행할 수 있도록 하는 것이다.

도 4는 도 1에서 상술한 본 발명의 프로젝터모듈(100)과 모션분석제어모듈(200)의 장착구조의 실시예를 도시한 것이다.

도 4 (a)는 프로젝터모듈(100)과 모션분석제어모듈(200)의 배치를 상호 독립적으로 배치하도록 구현한 예를 도시한 것이며, 상기 프로젝터모듈(100)과 모션분석제어모듈(200)은 각각의 전원공급부를 구비하는 별개의 장치고 구현하며, 인터페이스를 통해 상호 전기적으로 연결할 수 있도록 하여 본 발명의 기능을 구현할 수 있도록 할 수 있다. 이는, 이미 공급된 다수의 프로젝터에 본 발명의 모션분석제어모듈(200)를 장착하는 것으로 호환성을 가지도록 한다는 측면에서 그 활용성이 매우 크다 할 것이다.

도 4(b)는 프로젝터모듈(100)과 모션분석제어모듈(200)을 일체형(매립구조)로 구현한 것으로, 하나의 전원공급부를 구비하도록 하고, 심플한 디자인을 통해 사용의 편의성을 높일 수 있는 특징이 있다.

이상에서와 같이 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 바람직한 실시예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아니다. 이처럼 이 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 본 발명의 실시예의 결합을 통해 다양한 실시예들이 가능함을 이해할 수 있을 것이다.

100: 프로젝터모듈
200: 모션분석제어모듈
210: 촬영부
220: 영상취득부
230: 전처리부
240: 동작분석매칭부
250: 제어신호처리부

Claims

디스플레이단말에서의 실행영상을 외부에 디스플레이하는 프로젝터모듈(100); 및
상기 프로젝터모듈(100) 내부 또는 외부에 배치되어, 유선 또는 무선으로 상기 프로젝터모듈(100)의 제어부와 연동하며,
외부의 사용자의 동작을 촬영한 영상을 머신러닝모델을 통해 분석하여 동작정보를 추출하여, 상기 프로젝터모듈(100)의 제어신호를 송출하는 모션분석제어모듈(200);을 포함하는,
손동작 인식 프리젠터 기능을 가진 스마트 프로젝터.
청구항 1에 있어서,
상기 모션분석제어모듈(200)은,
외부 환경을 촬영가능한 카메라를 포함하는 촬영부(210);
상기 촬영부(210)에서 촬영된 이미지를 입력받아 저장하는 영상취득부(220);
상기 영상취득부(220)에 저장된 이미지를 가공하여, 사용자가 포함되는 유효영역을 추출하는 전처리부(230);
상기 전처리부에서 추출된 유효영역을 포함하는 이미지데이터를 입력값으로 하여, 기계학습을 통해 동작정보를 추출하고, 해당 동작정보에 매칭되는 제어신호를 산출하는 동작분석매칭부(240);
상기 동작분석매칭부(240)에서 산출된 제어신호를 상기 프로젝터모듈(100)의 제어부(100)에 전송하여, 디스플레이되는 실행파일을 제어하는 제어신호처리부(250);를 포함하는,
손동작 인식 프리젠터 기능을 가진 스마트 프로젝터.
청구항 2에 있어서,
상기 동작분석매칭부(240)는,
상기 유효영역을 사용자의 손이 포함되는 영역으로 특정하여, CNN(합성곱신경망: Convolution Neural Network) 을 이용하여 동작정보를 추출하고, 해당 동작정보에 매칭되는 제어신호를 산출하는,
손동작 인식 프리젠터 기능을 가진 스마트 프로젝터.
청구항 3에 있어서,
상기 모션분석제어모듈(200)은,
상기 프로젝터모듈(100)과 독립적으로 형성되어 외부에 배치되는 구조이거나,
상기 프로젝터모듈(100)의 내부에 매립형으로 장착되는 구조인,
손동작 인식 프리젠터 기능을 가진 스마트 프로젝터.