KR102173608B1 - 제스처 기반 nui를 이용한 조명효과 제어 시스템 및 방법 - Google Patents

제스처 기반 nui를 이용한 조명효과 제어 시스템 및 방법 Download PDF

Info

Publication number
KR102173608B1
KR102173608B1 KR1020180082089A KR20180082089A KR102173608B1 KR 102173608 B1 KR102173608 B1 KR 102173608B1 KR 1020180082089 A KR1020180082089 A KR 1020180082089A KR 20180082089 A KR20180082089 A KR 20180082089A KR 102173608 B1 KR102173608 B1 KR 102173608B1
Authority
KR
South Korea
Prior art keywords
nui
light source
gesture
motion data
data
Prior art date
Application number
KR1020180082089A
Other languages
English (en)
Other versions
KR20200008227A (ko
Inventor
김광진
Original Assignee
(주)젠트정보기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)젠트정보기술 filed Critical (주)젠트정보기술
Priority to KR1020180082089A priority Critical patent/KR102173608B1/ko
Publication of KR20200008227A publication Critical patent/KR20200008227A/ko
Application granted granted Critical
Publication of KR102173608B1 publication Critical patent/KR102173608B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/175—Controlling the light source by remote control
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V23/00—Arrangement of electric circuit elements in or on lighting devices
    • F21V23/04—Arrangement of electric circuit elements in or on lighting devices the elements being switches
    • F21V23/0442—Arrangement of electric circuit elements in or on lighting devices the elements being switches activated by means of a sensor, e.g. motion or photodetectors
    • F21V23/0471—Arrangement of electric circuit elements in or on lighting devices the elements being switches activated by means of a sensor, e.g. motion or photodetectors the sensor detecting the proximity, the presence or the movement of an object or a person
    • F21V23/0478—Arrangement of electric circuit elements in or on lighting devices the elements being switches activated by means of a sensor, e.g. motion or photodetectors the sensor detecting the proximity, the presence or the movement of an object or a person by means of an image recording device, e.g. a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/24—Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2448—Output devices
    • A63F2009/245—Output devices visual
    • A63F2009/2451—Output devices visual using illumination, e.g. with lamps
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

제스처 기반 NUI를 이용한 조명효과 제어 시스템이 제공되며, 실감체험을 위한 VR 부스 내외부에 설치되어 게임 주체의 모션이나 제스처를 포함한 움직임 데이터 또는 게임진행상황에 따라 특수효과를 구현하기 위하여 기 설정된 이벤트에 대응되도록 빛을 조사하는 적어도 하나의 광원, DALI(Digital Addressable Lighting Interface) 프로토콜을 이용하여 적어도 하나의 광원의 광출력의 퍼센트를 증감시키고, 적어도 하나의 광원마다 독립적으로 어드레스(Address)를 부여하여 개별적인 제어를 실시하는 조광기(Dimmer Controller), 게임 주체의 움직임 데이터를 감지하도록 촬영하는 적어도 하나의 적외선 카메라, 및 적어도 하나의 적외선 카메라로부터 입력된 움직임 데이터에 기반하여 조광기를 통하여 적어도 하나의 광원을 움직임 데이터 또는 기 설정된 이벤트가 발생할 때 제어하는 제어 장치를 포함한다.

Description

제스처 기반 NUI를 이용한 조명효과 제어 시스템 및 방법{SYSTEM AND METHOD FOR CONTROLLING GESTURE BASED LIGHT DIMMING EFFECT USING NATURAL USER INTERFACE}
본 발명은 제스처 기반 NUI를 이용한 조명효과 제어 방법에 관한 것으로, 제스처 또는 게임에서 발생하는 이벤트에 기 NUI 매핑되어 저장된 특수효과를 VR 부스에서 네온으로 출력할 수 있는 방법을 제공한다.
최근 4차 산업혁명의 성장축인 가상현실 게임 및 사용자의 제스처를 이용한 게임 시스템에 대한 연구가 많은 관심을 받고 있고, 키보드, 마우스와 같은 단순한 인터페이스 방식에서 벗어나 기계와 사람간의 감성인식 기술인 제스처인식, 얼굴인식, 음성 인식 기술들을 이용하는 휴먼 인터페이스 관련 기술이 활발히 연구 되고 있다. 그 중에서도 손을 이용한 제스처 인식은 일상생활에서 가장 많이 사용하는 인터페이스(Natrual User Interface)로, 사물을 지정하거나 손동작으로 빠른 의사전달을 할 수 있는 장점을 가지며, 사람과 기계간의 인터페이스에서도 쉽고 자연스러운 표현이 가능해 상호작용성이 뛰어나다는 장점을 가지고 있다.
이때, 게임에서 제스처를 NUI로 매핑하여 인식하는 방법은 제스처와 근전도 데이터를 게임 데이터에 매핑하는 방법으로 이루어지고 있다. 이와 관련하여, 선행기술인 한국공개특허 제2017-0059300호(2017년05월30일 공개)에는, 설정된 명령을 적어도 하나 이상의 제스처로 정의하여 데이터베이스에 저장하고, 사용자의 동작과 사용자의 근전도 데이터를 입력받아 사용자의 동작에 맵핑되는 제스처를 인식하고, 입력된 사용자의 동작과 근전도 데이터를 이용하여 인식된 제스처를 평가하여 가장 적합한 제스처를 선정하여 사용자가 앉은 상태에서도 편하게 게임을 제어할 수 있는 구성이 개시되어 있다.
다만, 가상현실에서 게임의 제스처를 인식하거나 평가하는 것 이외에도, 아케이드 영역에 설치되는 VR 부스는 다양한 고객이 모여들어 게임을 하는 사용자와 게임 영상을 관람하게 되는데, 게임의 이벤트에 따른 특수효과가 부가되지 않는 VR 게임은 그 흥미가 떨어져 마케팅 효과가 줄어들게 되고, 게임을 하는 사용자에게도 실감효과를 주기에는 어려운 것이 현 실정이다.
본 발명의 일 실시예는, 가상현실에서 발생하는 게임의 이벤트 또는 게임 주체의 손동작, 모션 및 제스처에 대응되도록 적어도 하나의 광원의 온오프 및 출력레벨을 제어하며, NUI 매핑을 통하여 별도의 장비를 조작함이 없이 사람의 자연스러운 동작이 그대로 게임에 반영되거나 특수효과를 출력하는 입력값으로 동작하도록 하며, DALI 프로토콜을 이용하여 적어도 하나의 광원을 개별적으로 구동시키고, VR 부스 주위에서 게임을 구경하는 사람들에게도 광원의 발광으로 인한 흥미요소 및 마케팅 효과를 거둘 수 있는, 제스처 기반 NUI를 이용한 조명효과 제어 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 실감체험을 위한 VR 부스 내외부에 설치되어 게임 주체의 모션이나 제스처를 포함한 움직임 데이터 또는 게임진행상황에 따라 특수효과를 구현하기 위하여 기 설정된 이벤트에 대응되도록 빛을 조사하는 적어도 하나의 광원, DALI(Digital Addressable Lighting Interface) 프로토콜을 이용하여 적어도 하나의 광원의 광출력의 퍼센트를 증감시키고, 적어도 하나의 광원마다 독립적으로 어드레스(Address)를 부여하여 개별적인 제어를 실시하는 조광기(Dimmer Controller), 게임 주체의 움직임 데이터를 감지하도록 촬영하는 적어도 하나의 적외선 카메라, 및 적어도 하나의 적외선 카메라로부터 입력된 움직임 데이터에 기반하여 조광기를 통하여 적어도 하나의 광원을 움직임 데이터 또는 기 설정된 이벤트가 발생할 때 제어하는 제어 장치를 포함한다.
본 발명의 다른 실시예는, 적어도 하나의 적외선 카메라로부터 촬영된 실감체험을 위한 VR 부스에 설치되어 게임 주체의 모션이나 제스처를 포함한 움직임 데이터를 수신하는 단계, 움직임 데이터와 기 저장된 NUI 매핑(Natural User Interface mapping) 데이터를 비교하여 특수효과의 구현여부를 판단하는 단계, 판단 결과 특수효과가 구현되어야 할 움직임 데이터인 경우, 적어도 하나의 광원을 독립적으로 제어하기 위하여 DALI(Digital Addressable Lighting Interface) 프로토콜을 이용하는 조광기(Dimmer Controller)로 제어신호를 전송하는 단계, 및 조광기에서 적어도 하나의 광원을 제어하는 신호를 출력한 결과를 피드백 데이터로 수신하여 PID(Proportional Integral Derivative) 제어를 실시하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 가상현실에서 발생하는 게임의 이벤트 또는 게임 주체의 손동작, 모션 및 제스처에 대응되도록 적어도 하나의 광원의 온오프 및 출력레벨을 제어하며, NUI 매핑을 통하여 별도의 장비를 조작함이 없이 사람의 자연스러운 동작이 그대로 게임에 반영되거나 특수효과를 출력하는 입력값으로 동작하도록 하며, DALI 프로토콜을 이용하여 적어도 하나의 광원을 개별적으로 구동시키고, VR 부스 주위에서 게임을 구경하는 사람들에게도 광원의 발광으로 인한 흥미요소 및 마케팅 효과를 거둘 수 있다.
도 1은 본 발명의 일 실시예에 따른 제스처 기반 NUI를 이용한 조명효과 제어 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 제어 장치를 설명하기 위한 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 제스처 기반 NUI를 이용한 조명효과 제어 시스템이 구현된 일 실시예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 제스처 기반 NUI를 이용한 조명효과 제어 시스템이 VR 부스에 적용된 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 제스처 기반 NUI를 이용한 조명효과 제어 방법을 설명하기 위한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 제스처 기반 NUI를 이용한 조명효과 제어 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 제스처 기반 NUI를 이용한 조명효과 제어 시스템(1)은, 적어도 하나의 적외선 카메라(100), 제어 장치(300), 조광기(400), 및 적어도 하나의 광원(500)을 포함할 수 있다. 다만, 이러한 도 1의 제스처 기반 NUI를 이용한 조명효과 제어 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 적외선 카메라(100)는 네트워크(200)를 통하여 제어 장치(300)와 연결될 수 있다. 그리고, 제어 장치(300)는, 네트워크(200)를 통하여 적어도 하나의 적외선 카메라(100), 조광기(400), 적어도 하나의 광원(500)과 연결될 수 있다. 또한, 조광기(400)는, 네트워크(200)를 통하여 제어 장치(300)와 연결될 수 있다. 그리고, 적어도 하나의 광원(500)은, 네트워크(200)를 통하여 제어 장치(300) 및 조광기(400)와 연결될 수 있다.
여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5rd Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.
적어도 하나의 적외선 카메라(100)는, 적외선에 대한 충분한 감도를 갖는 전하 결합 소자(CCD) 카메라. 야간에 야생 동식물을 촬영할 경우 집광성이 강한 조명에 적외선 필터를 부착하여 사용하여 게임 객체를 촬영하는 카메라일 수 있다. 그리고, 적어도 하나의 적외선 카메라(100)는, 실감체험을 위한 VR 부스의 내외부에 설치될 수 있고, 레이저를 이용한 근적외선 광원과 II(image intensifier)를 사용한 일체형 적외선 카메라일 수도 있다.
적외선 영상은 물체 표면에서부터 직접적으로 방사되는 눈에 보이지 않는 적외선 복사에너지를 이용하고, 이동체의 외부온도가 높을수록 그 이동체는 복사에너지의 방출량이 많기 때문에 영상에서 이동체의 밝게 표현되며 이들 복사 에너지 강도는 그레이 스케일로 표현될 수 있다. 주변 환경보다 적외선 복사에너지의 방출량이 많은 이동체는 일반적으로 널리 쓰이는 컬러기반의 카메라보다 이동체를 찾기에 용이할 수 있다. 이에 따라, 멀리 있는 이동체도 추적이가능하고 야간, 안개 및 포화 등의 가시광선이 없는 상태에서도 이동체의 위치를 보여 줄 수 있다. 적외선 영상의 최대 평균(max-mean)및 최대 중간 (max-median) 필터를 사용한 방법은 구름 및 주변 환경의 윤곽선을 보존하고 반 중앙 및 반 평균값 연산(anti-mean and anti-median operations)이 클러터와 다른 특성을 가지는 이동체 검출에 유용하다는 사실을 이용할 수 있다. 최대 평균 및 최대 중간 필터로 얻은 영상은 이동체들을 검출하기 위하여 원본 프레임과 차영상을 이용할 수 있으며, 문턱치(threshold)가 이동체가 될 수 있는 화소들의 수가 추가될 수 있다. 또한, 적외선 영상을 처리하기 위하여 형태학적 필터(Morphological filter)를 사용한 방법이 이용될 수도 있는데, 적외선 영상 프레임에서 움직이는 점으로 표현되는 이동체의 검출 및 추적을 위한 새로운 탐지 기법을 이용하는 방법이고, 이는 top-hat 연산자를 이용하여 원 영상을 전처리한 후, 3차원 시공간적 탐지 기법을 2차원 공간 탐지 차원으로 축소시켜 이동체를 검출할 수 있으며, 이동체는 일정한 오경보율(Constant false alarm rate detector)을 가지면서 검색될 수 있다. 또는, 적외선 영상에서 시간적 화소 프로파일에 연속 웨이블릿 변환(continuous wavelet transform, CWT)을 이용한 시간적 필터 방법이 이용될 수 있는데, 이는 이동체와 배경 클러터를 구분하기 위해 Mexican hat CWT을 이용하여 일정한 휘도 값을 가지면서 일정 시간동안 화소가 유지되면 배경으로 인식하여 이동체가 될 수 있는 영역에서 제거하는 것이다. 물론, 상술한 방법에 한정되는 것은 아니고 실시예에 따라 다양한 방법이 적외선 카메라(100)로부터 얻은 영상을 분석할 수 있음은 자명하다 할 것이다.
제어 장치(300)는, 제스처 기반 NUI를 이용한 조명효과 제어를 실시하기 위하여 적어도 하나의 적외선 카메라(100)로부터 게임 주체를 촬영한 영상을 수신하고, 영상 내에서 움직임 데이터의 위치와 반경 등을 파악하여 분석하며, 기 저장된 NUI(Natural User Interface) 매핑에 저장된 이벤트를 파악함으로써 어떠한 특수효과를 출력할 것인지를 결정하는 장치일 수 있다. 이에 따라, 제어 장치(300)는, 특수효과가 NUI 매핑 데이터로부터 추출되는 경우, 조광기(400)를 제어함으로써 적어도 하나의 광원(500)의 온오프(ON/OFF) 및 조도를 제어할 수 있도록 하는 장치일 수 있다. 이때, 제어 장치(300)에서 적외선 영상을 구분하는 방법은 상술한 바와 같으므로 상세한 설명은 생략하기로 한다. 여기서, 제어 장치(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.
조광기(400)는, 제어 장치(300)로부터 적어도 하나의 광원(500)의 전원을 온오프하고 조도를 DALI(Digital Addressable Lighting Interface) 프로토콜을 이용하여 개별적으로 제어하는 장치일 수 있다. 이때, DALI는 현재 IEC 62386에 의한 개방형 표준의 조광제어 방식이며, 이에 적합한 프로토콜을 사용하는 경우 서로 다른 회사의 제품들도 상호 연계되어 동작할 수 있도록 하는 프로토콜이다. 이는, 기본적으로 송신과 수신을 위한 디지털 통신 프로토콜에 의해서 동작되나 통신 매체로는 단순한 2선 방식을 사용할 수 있다. 조명제어의 경우 이더넷과 같이 많은 양의 데이터를 신속히 처리할 필요가 없기 때문에 데이터 전송율은 1초에 1200bit로 설정될 수 있으나, 물론 이에 한정되는 것은 아니다. 전송시 노이즈에 의한 오동작의 영향을 줄이기 위해서 하이레벨에 해당되는 전압은 9.5 V～22.5V로 규정되고 로우레벨로 인식되는 전압은 -6.5V～6.5V로 규정되어 있지만, 물론 상술한 규정에 한정되는 것은 아니고 다양한 실시예가 가능함은 자명하다 할 것이다. 또한, DALI 프로토콜은 246 수준의 밝기를 조절할 수 있고 이것들은 선형적인 값이 아닌 로그함수의 관계로 광원을 조절, 즉 높은 조광수준에서 광량이 보다 큰 증가를 보여주고 낮은 조광 수준에서 보다 적은 광량의 증가를 허용할 수 있다. 그 이유는, 인간의 눈은 높은 광량보다는 낮은 광량에서 더 예민하기 때문에 인간의 입장에서 선형적인 관계로 인식할 수 있도록 설정된 것이다.
또한, DALI 프로토콜은, 원하는 조명 작업과 주어진 상황에 맞추어서 다양한 명령을 프로그램할 수 있도록 유연성을 가지고 있어서, 작업 공간의 변화에 대해 별도의 배선 작업 없이 조명의 변경이 가능하다. 이를 통하여, 조광기(400)에 의해 구성되는 DALI 루프 또는 버스를 통해서 최대 64개의 주소를 갖는 적어도 하나의 광원(500)들을 독립적으로 제어할 수 있고 양방향 통신이 가능하다. 적어도 하나의 광원(500)은 조합하여 그룹으로 제어될 경우, 조광기(400)에 의해 16 그룹으로 나누어서 동작될 수 있고, 조광기(400)는, 독립운전으로도 동작할 수 있으나, 게이트웨이 또는 트랜스미터를 이용하여 VR 부스의 네트워크에 연결하여 양방향 통신의 서브 시스템으로도 동작시킬 수 있다. DALI 버스로 사용될 수 있는 도선은 일반적인 도선(twisted 또는 shielded cable)을 사용할 수 있다. 여기서, 적어도 하나의 광원(500)을 최종적으로 제어하는 것은 전력변환장치(미도시)가 수행할 수 있는데, LED의 경우에는 드라이버로 명칭되며, 이들을 컨트롤 기어로 명명할 수도 있다. DALI 제어를 위해서는 DALI 프로토콜로 동작되는 전용 드라이버가 필요하며 이를 위해서 기존의 드라이버나 안정기에 추가로 마이크로콘트롤러가 사용될 수 있다. DALI 드라이버는 DALI 버스를 통해서 광원(500)에 대한 제어 명령을 받아서 수행하고 광원(500)의 상태와 관련된 데이터를 버스로 넘겨서 조광기(400)에 전달할 수 있다. 각 데이터는 신호제어계와 전력제어계의 전기적 분리를 위해서 전기적으로 포토커플러나 트랜스포머에 의해서 절연된 신호로 통신될 수 있고, DALI용 드라이버는 자체에 광출력과 페이드 타임(Fade Time), 액세스가 가능한 주소와 그룹에 대한 파라미터가 저장될 수 있다. 조광기(400)가 드라이버로부터 받는 정보는 현 조명상태와 광원(500)의 출력 레벨 그리고 램프와 안정기의 상태에 관한 것인데, 이를 통하여 제어 장치(300)에서 PID 제어가 가능할 수 있다. 조광기(400)를 통하여 적어도 하나의 광원(500)의 조광 범위는 0.1% 내지 100%로 설정이 가능하며 조광의 최소 레벨 값은 제품에 따라 달라질 수 있다.
적어도 하나의 광원(500)은, 조광기(400)에 의해 온오프 및 출력 레벨이 조절되어 빛을 조사하는 장치일 수 있다. 이때, 적어도 하나의 광원(500)의 출력 레벨은 상술한 바와 같이 다시 조광기(400)로 전달됨으로써, 조광기(400)에서 원하는 출력 레벨에 따라 빛이 조사되고 있는지를 확인할 수 있도록 한다. 이때, 저거도 하나의 광원(500)은, 플렉서블(Flexible) 네온, LED, OLED, LCD 등일 수 있으나, 이에 한정되지는 않고 다양한 실시예에 따라 다양한 구성이 추가될 수 있음은 물론이라 할 것이다.
도 2를 참조하면, 제어 장치(300)는, 수신부(310), 판단부(320), 전송부(330), 실시부(340)를 포함할 수 있다. 도 2를 참조하면, 수신부(310)는, 적어도 하나의 적외선 카메라(100)로부터 촬영된 실감체험을 위한 VR 부스에 설치되어 게임 주체의 모션이나 제스처를 포함한 움직임 데이터를 수신할 수 있다. 이때, 모션 또는 제스처 중 게임 주체의 손동작은, 손가락을 이용한 도형 그리기 동작, 좌우 흔들기, 상하 터치, 수평 터치, 주먹쥐기, 손가락 모으기, 손가락 벌리기, 손바닥 터치하기, 손가락 펴기, 구부리기, 및 손바닥 뒤집기 중 어느 하나 또는 적어도 하나의 조합일 수 있다. 이때, 손동작은 적어도 하나의 광원(500)의 구동 및 출력을 제어하는 데이터와 NUI 매핑(Natural User Interface mapping)으로 연결되어 저장될 수 있다. 이때, 게임 주체의 움직임을 감지하기 위하여 적어도 하나의 적외선 카메라(100) 이외에도 게임 주체의 움직임 데이터를 감지하도록 게임 주체의 적어도 하나의 인체부위에 위치하는 적어도 하나의 컨트롤러(Game Controller, 미도시) 또는 적외선 센서(미도시)를 더 포함할 수 있다.
판단부(320)는, 움직임 데이터와 기 저장된 NUI 매핑(Natural User Interface mapping) 데이터를 비교하여 특수효과의 구현여부를 판단할 수 있다. 이때, 사용자 인터페이스 기술은 NUI 기반으로 NUI 매핑 이외에도, UML(Unified Modeling Language)을 이용한 객체지향적 명세 기법과, Object-Z, Petri Net등을 이용한 정형 명세(Formal Specification)기법 등의 다양한 접근법을 이용할 수도 있다. 터치, 제스처, 음성인식 등 NUI 환경에서는 멀티터치 인터페이스 환경에서 적용가능한 도메인 명세언어인 GDL(Gesture Definition Language)이 이용될 수도 있고, 3D 카메라를 통한 제스처 인식을 위하여, FAAST(the Flexible Action and Articulated Skeleton Toolkit)가 이용될 수도 있는데, FAAST는 Kinect 센서를 통해 사용자의 골격모델(Skeletal Model)을 기반으로 제스처를 인식하고 이를 마우스와 키보드 이벤트로 변환하여 VR 어플리케이션 및 게임을 컨트롤 할 수 있는 툴킷으로 body, position, angular, velocity, time 등 5가지 형태의 제스쳐 입력형식과 keyboard, mouse, time등 8가지 출력형식을 지원할 수 있다. 물론, 상술한 방법 이외에도 다양한 NUI 환경의 사용자 인터페이스가 적용될 수 있음은 자명하다 할 것이다. 또한, 제스처에 따른 특수효과 제어에 대해서는, 본 출원인이 출원하여 등록공고된 특허 제10-1794233호(2017년11월07일 공고)에 개시되어 있으므로, 상세한 설명은 생략하기로 한다.
전송부(330)는, 판단 결과 특수효과가 구현되어야 할 움직임 데이터인 경우, 적어도 하나의 광원(500)을 독립적으로 제어하기 위하여 DALI(Digital Addressable Lighting Interface) 프로토콜을 이용하는 조광기(Dimmer Controller, 400)로 제어신호를 전송할 수 있다. 이때, 게임 주체의 움직임 데이터의 X,Y,Z을 포함하는 3축 데이터를 수집하기 위한 적어도 하나의 적외선 센서(미도시)가 더 포함될 수도 있고, 제어 장치(300)는 적어도 하나의 적외선 카메라(100)에서 촬영된 촬영 데이터와, 적어도 하나의 적외선 센서로부터 수집한 게임 주체의 움직임 데이터의 X,Y,Z을 포함하는 3축 데이터를 분석하여 프로토콜을 생성할 수도 있다.
실시부(340)는, 조광기(400)에서 적어도 하나의 광원(500)을 제어하는 신호를 출력한 결과를 피드백 데이터로 수신하여 PID(Proportional Integral Derivative) 제어를 실시할 수 있다. 이때, 제어 장치(300)는 적어도 하나의 적외선 카메라(100)로부터 수신된 게임 주체의 위치 정보, 좌표 범위 및 감지 레벨을 이용하여 게임 주체의 움직임 데이터를 감지 및 분석할 수 있다. 이때, 적어도 하나의 광원(500)은 플렉서블 네온(Flexiable Neon), LED, OLED, 및LCD 중 어느 하나 또는 적어도 하나의 조합으로 이루어질 수 있다.
한편, 제어 장치(300)는, 적외선 카메라(100)가 스테레오 시스템으로 구성될 경우, 스테레오 조정(stereo rectification) 과정을 거쳐 각 적외선 카메라(100)의 초점거리, 픽셀 규격 등과 같은 내부 파라미터(intrinsic parameter)와 카메라들 간의 공간적인 변환상태를 정의해 주는 외부 파라미터(extrinsic parameter)를 파악하고, 스테레오 영상에 투영된 3차원 공간좌표가 각 스테레오 영상의 어느 위치로 투영되었는지를 기하학적으로 예측할 수 있다. 이러한 스테레오 영상간의 기하학적인 대응 관계를 에피폴라 구조(epipolar geometry) 라고 한다. 에피폴라 기하구조는 하나의 3차원 공간좌표가 좌우 스테레오 영상의 어디에 각각 투영되는가를 기하학적으로 정의하는 것인데, 스테레오 카메라들이 공간적으로 어떻게 배치되어 있는가에 따라서 달라질 수 있다. 가장 일반적인 카메라 배치는 두 대의 카메라가 물체로부터 동일한 거리와 높이에 놓여 있으면서 서로 수직방향 정면으로 평행하게 바라보는 형태이다. 이를 평행식 카메라 배열이라고 한다. 평행식 배열의 경우, 카메라의 위치는 좌우 방향으로만 어긋나 있기 때문에, 투영되는 상의 위치도 좌우 수평방향으로만 차이가 난다. 그러므로 에피폴라 기하구조는 각 영상에 대하여 수평선이 된다. 특별히 별도의 언급을 하지 않는 스테레오 시스템에서는 일반적으로 이 평행식 카메라 배열 가정한다. 스테레오 카메라 간의 배치가 평행식이 아닌 경우에는, 사전에 카메라 보정 과정을 통하여 얻은 카메라 파라미터를 이용하여 각 영상들을 평행식 배열 구조가 되도록 조정(rectification)한다. 조정된 스테레오 영상은 대응점 추정 시 x 축 위에 맞추어 있기 때문에, 동일 y 좌표를 가지는 주사선(scan-line) 만을 검색하면 된다. 그리고 나서, 제어 장치(300)는 스테레오 정합(stereo matching)을 실시하게 된다. 즉, 상술한 에피폴라 기하구조는 좌우 스테레오 영상간의 대응관계가 존재하는 기하학적인 관계식을 정의한 것으로서, 대응관계가 존재하는 스테레오 영상의 위치를 규정하는 것이다.
스테레오 정합은 이러한 에피폴라 기하구조를 바탕으로 좌우 스테레오 영상의 대응점을 찾는 과정을 의미한다. 평행식 카메라 배열을 갖는 스테레오 시스템에서는 스테레오 정합을 통하여 추정된 좌우 스테레오 영상간의 대응 관계를 대응점 간의 픽셀 위치의 차이로 표현하기 때문에, 스테레오 정합을 시차추정(disparity estimation)이라고도 부른다. 시차 추정에서 깊이정보(depth information)를 변환하기 위해서는 1 pixel의 실제 크기를 측정하면 된다. 카메라의 CCD 크기, focal length, 카메라 영상의 화각과 해상도를 알 수 있으면 삼각함수를 이용하여 1 pixel 크기를 계산할 수 있다. 평행식 스테레오 카메라의 기하학적 해석은 렌즈의 초점 앞에 영상 평면이 위치하고 이것을 중심투영(central projection)이라 하고 두 렌즈 중심을 연결하는 직선을 기준선(base line)이라 하며, 이 좌측에 위치한 카메라영상의 중심에 기준 좌표계(X, Y, Z)의 원점이 위치한다. 예를 들어, 초점거리 f와 두 렌즈의 중심 사이의 거리 즉, 기준선 거리 b가 주어지면, 닮은 삼각형 성질에 의해 기준 좌표계와 물체의 3차원 위치와 대응하는 영상좌표 (x, y) 사이의 상관 관계식을 구할 수 있다. 픽셀간의 물리적 크기 또는 간격(mm), 두 카메라 간의 거리(기준거리, mm), 스테레오 정합에 의하여 추정된 물체 대응점에 대한 시차값을 이용하면, 간단한 비례식을 이용하여 카메라로부터 물체까지의 거리를 측정할 수 있다. 물론, 복수의 적외선 카메라(100)가 이용되지 않은 경우에는 상술한 정합과정은 요구되지 않을 수 있음은 물론이다.
덧붙여서, 제어 장치(300)는, 스마트글래스가 구비되는 경우, 손의 제스처를 감지하기 위하여 CNN(Convolutional Neural Network) 기반의 손 제스처 인식 기법을 이용할 수 있다. MPEG IoMT에서는 손 제스처 검출과 인식이 별도의 기기에서 수행되는 것을 일반적인 경우로 가정하고, 이들 모듈간의 상호 연동 가능한 API(Application Programming Interface) 및 데이터 포맷 등의 인터페이스를 마련하고 있다. 따라서, 본 발명의 일 실시예에 따른 제어 장치(300)는, 영상 처리 기반의 손 윤곽선 검출 파트와 CNN 기반의 손 제스처 인식 파트로 구성되어, 손 제스처 검출 모듈에서는 스마트 글래스의 입력 스테레오 영상으로부터 획득한 깊이 정보와 색 정보를 이용하여 손 윤곽선을 이진 영상으로 검출할 수 있고, 인식 모듈에서는 검출 모듈에서 얻어진 제스처 이진 영상을 CNN 학습을 위한 데이터 셋으로 사용하고 학습 결과를 바탕으로 손 제스처를 인식할 수 있으며, 그 인식결과는 웨어러블 기기로 전송될 수 있다.
이를 위하여, 제어 장치(300)에서 실행되는, 손 제스처 검출, CNN 기반 제스처 인식, CNN 최적화 알고리즘, 딥러닝 프레임 워크를 이하에서 설명하기로 한다. 첫 번째로, 제어 장치(300)는 손 제스처 검출을 위해서 스마트글라스의 스테레오 카메라 또는 적어도 하나의 적외선 카메라(100)를 스테레오 비디오를 획득하고 이로 부터 손의 윤곽선을 찾는다. 그리고, 제어 장치(300)는, 좌, 우 영상(RGB 영상)의 차이를 스테레오 매칭을 통하여 깊이(depth) 영상을 획득한다. VR 부스의 특성상 사용자의 손은 카메라로부터 일정한 거리 범위(30 ~ 50cm)에 있다고 가정을 하고, 제어 장치(300)는 이를 바탕으로 깊이 영상과 색정보를 적용하여 손 제스처 영역을 검출한다. 보다 정확한 손 제스처의 영역을 얻어내고 잡음을 제거하기 위해 모폴로지(morphology) 연산을 더 실시할 수도 있다.
두 번째로, 제어 장치(300)는 CNN 기반 제스처 인식을 수행해야 하는데, CNN은 다층신경망의 한 종류로 인식 분야에서 매우 좋은 결과를 보이고 있고, CNN은 기존의 신경망과 다르게 입력 원본 데이터를 바로 연산하여 출력하지 않고, 특징(feature) 추출 단계와 분류화(classification) 단계를 거쳐 결과값을 내는 것이 특징이다. CNN의 구조는 컨벌루션(convolution)층, 풀링(Pooling) 층, 완전연결(Fully-Connected: FC) 층으로 구성되어 되어 있으며, C1, C2는 Convolution 층으로 입력계층에서 입력되는 영상 데이터를 5×5 크기의 필터를 사용하여 간격 1(stride=1)로 컨벌루션 연산을 수행하고, 입력 손 윤곽선 영상의 특징을 추출해 낸다. S1, S2는 Pooling 층으로 여기서는 Max Pooling 기법을 사용하여 특징 맵의 크기를 2×2, 즉 가로와 세로크기를 각각 반으로 줄이는 역할을 수행할 수 있다. Max Pooling 층은 설정한 크기 범위 내에서 가장 특징이 두드러진 부분을 그 범위의 대표 값으로 지정하는 방식으로 설정된 크기 범위는 2×2일 수 있다. F1, F2는 Fully-Connected 층이며, 이 계층은 일반적인 다층신경망의 구조와 같이 추출된 특징을 바탕으로 신경망에서 연산하여 출력 값을 결정할 수 있다. 그리고, 제어 장치(300)는 확률 값이 계산되면 Softmax함수를 사용하여 확률 값이 가장 큰 제스처가 입력 영상의 제스처로 인식하고,(결과 값 ‘1’) 나머지 9개의 제스처는 결과 값 ‘0’으로 설정할 수 있다.
세 번째로 CNN 최적화 알고리즘을 구동해야 하는데, CNN 학습과정에서 비용함수를 최소화하도록 각 층의 가중치(weight)를 학습시키며, 가중치는 입력 값에 곱해져 출력 값을 내게 된다. 이때 가중치를 조절하기 위해서 제어 장치(300)는 최적화 알고리즘을 사용할 수 있다. 대표적으로 기울기감소법(gradient descent), 모멘텀(momentum) 등이 있으며, 기울기 감소법은 네트워크의 출력 결과 값과 실제 값의 오차함수인 손실함수(loss function)를 이용하는데, 가중치를 조절하여 손실함수가 최소 값이 되는 방향으로 이동하게 하는 알고리즘이다. 이때 모멘텀은 기울기감소법을 통해 이동하는 과정에 과거에 이동했던 결과를 기억하면서 그 방향으로 일정 정도를 추가적으로 이동하는 방식이다. 이에 대한 상세한 수학식 등은 공개된 기술과 동일하므로 상세한 설명은 생략하기로 한다.
마지막으로, 딥러닝 프레임 워크는 Tensorflow, Theano, MXnet, Keras 등이 있으며, 예측하거나 분석하려는 대상에 따라 맞는 프레임워크를 선택하면 좋은 성능을 얻어낼 수 있다. 본 발명의 일 실시예에서는, S/W 언어는 통계나 병렬계산에 특화되어 있는 R 언어를 사용할 수 있는데, R 언어에서 활용할 수 있는 MXnetR, Deepnet, H20 등을 이용할 수 있으며, 각각의 프레임워크 별로 내부함수 형태가 다르게 설정되어 있다. 예를 들면, MXnet의 경우 심볼릭 프로그래밍과 명령형 프로그래밍의 혼합된 형태를 허용해서 효율성과 유연성을 극대화하기 위해 설계된 프레임워크이며, Deepnet은 다른 프레임워크에 비해 상대적으로 작지만 다양한 구조형식을 선택할 수 있게 설계되어 있다. 또한 H20는 분산 컴퓨터 시스템을 활용할 수 있으며, 예측분석 플랫폼으로 다양한 프로그래밍에 대한 인터페이스를 제공한다. 물론, 상술한 방법 이외에도 손의 제스처를 추출하는 방법은 실시예에 따라 추가되거나 변형 및 변경될 수 있음은 자명하다 할 것이다.
덧붙여서, 본 발명의 일 실시예에 따른 제어 장치(300)는, 조명변화에 강건한 제스처 검출 방법을 더 이용할 수도 있다. 우선, 제어 장치(300)는, 손의 움직임으로 실시간으로 검출해내 인식하기 위하 연산량이 적은 2차원 패턴정보를 이용할 수 있는데, 영상에서 피부색 영역을 효과적으로 찾기 위해 RGB 컬러 모델을 HSI 컬로 모델로 변환하여 피부색 영역을 검출할 수 있고, 검출된 피부색 영역을 이진화 한 후 모폴로지 연산을 통해 잡음을 제거하고 레이블링을 통해 얼굴, 손과 같은 피부색 영역을 검출할 수 있다. 그리고, 제어 장치(300)는, 검출된 영역에서 Haar-like 특징을 사용하여 얼굴 영역을 찾아 얼굴과 손 영역을 분류하고, 분류된 얼굴과 손 영역에서 얼굴 영역을 제거함으로써 정확한 손 영역을 찾을 수 있도록 한다.
그 다음에, 제어 장치(300)는, RGB 색상 모델을 색상(Hue), 채도(Saturation), 명도(Intensity)의 HSI 칼라 모델로 변환하여 조명 변화에 견고하도록 할 수 있다. 그리고, 손 영역을 검출해야 하는데, 일반적으로 피부색 검출을 하면 얼굴 영역과 손 영역이 같이 검출되고, 정확한 손 영역을 찾기 위해 얼굴과 손 영역의 분류를 통해 얼굴 영역을 제거 하는 작업이 필요하다. 또한 손 영역은 유동성이 크고 형태가 고정되어있지 않아 눈, 코, 입부분등이 고정되어있는 얼굴 영역을 찾는 것이 좀 더 용이하다. 이렇게 얼굴 영역이 제거된 손 영역에서도 사용자의 옷의 길이에 따라 피부색 검출 영역이 달라진다. 긴팔을 입어 손목까지 오는 경우는 팔이 제외된 손의 영역이 추출되지만 반팔을 입고 있을 경우는 팔의 영역이 포함된 손 영역이 인식된다. 따라서, 제어 장치(300)는, 제스처 인식을 위해 손목부분을 제거한 고유한 손 영역만을 찾는 방법이 필요한데, 손목을 찾기 위해서는 움직임이 적은 비 유동적인 영역이 필요하다. 손 영역중 손가락 영역은 가장 움직임이 심한 영역이지만 손바닥, 손목 부분은 이동성이 매우 적은 영역 이다. 특히 손목과 팔의 너비 부분은 변화가 거의 없다. 그렇기 때문에 손의 모양과 관계없이 팔과 손바닥의 너비를 이용하여 손목을 찾을 수 있다. 또한 팔의 하단 너비에서 상단 너비까지 조금씩 좁아지다가 손목 부분에서부터 급격히 증가하는 특징을 이용하여 손목의 라인을 검출할 수 있다. 물론, 상술한 방법 이외에도 조명변화에 강건한 다양한 방법이 이용될 수 있음은 물론이다.
이하, 상술한 도 2의 제어 장치의 구성에 따른 동작 과정을 도 3 및 도 4를 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.
도 3을 참조하면, (a) VR 부스는 아케이드에 설치될 수 있으며, 사용자는 HMD, 컨트롤러 등을 이용하여 VR을 체험할 수 있다. 이때 특수효과와 같은 조명은 상술한 바와 같이 게임 내의 이벤트가 발생하거나 사용자의 제스처 또는 모션이 감지될 경우에 온오프 또는 출력 레벨이 제어되며, 극장 등의 아케이드 공간에 설치되어 지폐 등이 투입되면 단독(Standalone)으로 관리없이도 작동이 가능하므로 최소 관리인원으로 매출을 달성할 수 있도록 구성된다. 그리고, 적어도 하나의 광원(500)이 네온으로 구성될 경우, 야간 게임시에 부스의 외주연을 따라 설치된 적어도 하나의 광원(500)의 온오프 및 발광으로 사용자는 물론 이를 구경하는 고객에게도 홍보효과 및 마케팅이 될 수 있다. (b)는 손 동작이 특수효과와 NUI 매핑으로 연결된 것을 도시한다. 물론, 손 동작은 상술한 것 이외에도 다양한 동작이 추가 또는 삭제되거나 변형될 수 있음은 자명하다 할 것이다.
도 4를 참조하면, 도 4는 VR 부스를 다양한 각도에서 본 모델링 도면이다. VR 부스는 2 명이 게임을 할 수 있도록 의자와 모든 장비가 2 개 구비될 수도 있지만, 1 명이 진행하거나 2 명을 초과하여 운용되도록 디자인될 수도 있다. 이때, 2 명이 게임을 진행하는 경우, 2 명을 촬영하기 위한 각각의 카메라가 스테레오로 구비되는 경우, 스테레오 영상의 정합 등의 과정을 거침은 상술한 바와 같다.
이와 같은 도 2 및 도 3의 제스처 기반 NUI를 이용한 조명효과 제어 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 제스처 기반 NUI를 이용한 조명효과 제어 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5는 본 발명의 일 실시예에 따른 도 1의 제스처 기반 NUI를 이용한 조명효과 제어 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 5를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 4에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.
도 5를 참조하면, 제어 장치는, 적어도 하나의 적외선 카메라로부터 촬영된 실감체험을 위한 VR 부스에 설치되어 게임 주체의 모션이나 제스처를 포함한 움직임 데이터를 수신한다(S5100).
그리고, 제어 장치는, 움직임 데이터와 기 저장된 NUI 매핑(Natural User Interface mapping) 데이터를 비교하여 특수효과의 구현여부를 판단하고(S5200), 판단 결과 특수효과가 구현되어야 할 움직임 데이터인 경우, 적어도 하나의 광원을 독립적으로 제어하기 위하여 DALI(Digital Addressable Lighting Interface) 프로토콜을 이용하는 조광기(Dimmer Controller)로 제어신호를 전송한다(S5300).
또한, 제어 장치는, 조광기에서 적어도 하나의 광원을 제어하는 신호를 출력한 결과를 피드백 데이터로 수신하여 PID(Proportional Integral Derivative) 제어를 실시한다(S5400).
상술한 단계들(S5100~S5400)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S5100~S5400)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.
이와 같은 도 5의 제스처 기반 NUI를 이용한 조명효과 제어 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 제스처 기반 NUI를 이용한 조명효과 제어 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
이와 같은 도 5의 제스처 기반 NUI를 이용한 조명효과 제어 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 제스처 기반 NUI를 이용한 조명효과 제어 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5를 통해 설명된 일 실시예에 따른 제스처 기반 NUI를 이용한 조명효과 제어 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 일 실시예에 따른 제스처 기반 NUI를 이용한 조명효과 제어 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 제스처 기반 NUI를 이용한 조명효과 제어 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (8)

  1. 실감체험을 위한 VR 부스 내외부에 설치되어 게임 주체의 모션이나 제스처를 포함한 움직임 데이터 또는 게임진행상황에 따라 특수효과를 구현하기 위하여 기 설정된 이벤트에 대응되도록 빛을 조사하는 적어도 하나의 광원;
    DALI(Digital Addressable Lighting Interface) 프로토콜을 이용하여 상기 적어도 하나의 광원의 광출력의 퍼센트를 증감시키고, 상기 적어도 하나의 광원마다 독립적으로 어드레스(Address)를 부여하여 개별적인 제어를 실시하는 조광기(Dimmer Controller);
    상기 게임 주체의 움직임 데이터를 감지하도록 촬영하는 적어도 하나의 적외선 카메라;
    상기 적어도 하나의 적외선 카메라로부터 입력된 움직임 데이터에 기반하여 상기 조광기를 통하여 상기 적어도 하나의 광원을 상기 움직임 데이터 또는 기 설정된 이벤트가 발생할 때 제어하고, 상기 적어도 하나의 적외선 카메라로부터 게임 주체를 촬영한 영상을 수신하여 영상 내에서 움직임 데이터의 위치와 반경을 분석하고, 기 저장된 NUI(Natural User Interface) 매핑에 저장된 이벤트를 파악하여, 파악된 이벤트에 대응하는 특수효과를 추출하고, 상기 추출된 특수효과가 NUI 매핑 데이터로부터 추출되는 경우, 상기 조광기를 제어하여 적어도 하나의 광원의 온오프(ON/OFF) 및 조도를 제어하는 제어 장치;
    상기 게임 주체의 움직임 데이터의 X,Y,Z을 포함하는 3축 데이터를 수집하기 위한 적어도 하나의 적외선 센서;
    를 포함하고,
    상기 제어 장치는, 상기 적외선 카메라로부터 수신된 영상 내에서 손가락에 의한 제스처 인식을 위해 손목부분을 제거하도록, 영상 내의 객체의 너비의 변화가 기 설정된 기준 변화값을 초과하는 부분을 손목부분으로 인식하고,
    상기 제어 장치는 상기 적어도 하나의 적외선 카메라에서 촬영된 촬영 데이터와, 상기 적어도 하나의 적외선 센서로부터 수집한 상기 게임 주체의 움직임 데이터의 X,Y,Z을 포함하는 3축 데이터를 분석하여 프로토콜을 생성하고,
    상기 제어 장치는, 조광기에서 상기 적어도 하나의 광원을 제어하는 신호를 출력한 결과를 피드백 데이터로 수신하여 PID(Proportional Integral Derivative) 제어를 실시하는 것을 특징으로 하는 제스처 기반 NUI를 이용한 조명효과 제어 시스템.
  2. 제 1 항에 있어서,
    상기 모션 또는 제스처 중 상기 게임 주체의 손동작은,
    손가락을 이용한 도형 그리기 동작, 좌우 흔들기, 상하 터치, 수평 터치, 주먹쥐기, 손가락 모으기, 손가락 벌리기, 손바닥 터치하기, 손가락 펴기, 구부리기, 및 손바닥 뒤집기 중 어느 하나 또는 적어도 하나의 조합이고,
    상기 손동작은 상기 적어도 하나의 광원의 구동 및 출력을 제어하는 데이터와 NUI 매핑(Natural User Interface mapping)으로 연결되어 저장되는 것을 특징으로 하는 제스처 기반 NUI를 이용한 조명효과 제어 시스템.
  3. 제 1 항에 있어서,
    상기 제어 장치는, 상기 적어도 하나의 적외선 카메라로부터 수신된 상기 게임 주체의 위치 정보, 좌표 범위 및 감지 레벨을 이용하여 상기 게임 주체의 움직임 데이터를 감지 및 분석하는 것을 특징으로 하는 제스처 기반 NUI를 이용한 조명효과 제어 시스템.
  4. 제 1 항에 있어서,
    상기 게임 주체의 움직임 데이터를 감지하도록 상기 게임 주체의 적어도 하나의 인체부위에 위치하는 적어도 하나의 컨트롤러;
    를 더 포함하는 것을 특징으로 하는 제스처 기반 NUI를 이용한 조명효과 제어 시스템.
  5. 제 1 항에 있어서,
    상기 적어도 하나의 광원은 플렉서블 네온(Flexiable Neon), LED, OLED, 및LCD 중 어느 하나 또는 적어도 하나의 조합으로 이루어지는 것을 특징으로 하는 제스처 기반 NUI를 이용한 조명효과 제어 시스템.
  6. 제어 장치에서 실행되는 조명효과 제어 방법에 있어서,
    적어도 하나의 적외선 카메라로부터 촬영된 실감체험을 위한 VR 부스에 설치되어 게임 주체의 모션이나 제스처를 포함한 움직임 데이터를 수신하는 단계;
    상기 움직임 데이터와 기 저장된 NUI 매핑(Natural User Interface mapping) 데이터를 비교하여 특수효과의 구현여부를 판단하는 단계;
    상기 판단 결과 상기 특수효과가 구현되어야 할 움직임 데이터인 경우, 상기 적어도 하나의 광원을 독립적으로 제어하기 위하여 DALI(Digital Addressable Lighting Interface) 프로토콜을 이용하는 조광기(Dimmer Controller)로 제어신호를 전송하는 단계;
    상기 조광기에서 상기 적어도 하나의 광원을 제어하는 신호를 출력한 결과를 피드백 데이터로 수신하여 PID(Proportional Integral Derivative) 제어를 실시하는 단계;
    를 포함하고,
    상기 제어 장치는, 상기 적어도 하나의 적외선 카메라로부터 게임 주체를 촬영한 영상을 수신하여 영상 내에서 움직임 데이터의 위치와 반경을 분석하고, 기 저장된 NUI(Natural User Interface) 매핑에 저장된 이벤트를 파악하여, 파악된 이벤트에 대응하는 특수효과를 추출하고, 상기 추출된 특수효과가 NUI 매핑 데이터로부터 추출되는 경우, 상기 조광기를 제어하여 적어도 하나의 광원의 온오프(ON/OFF) 및 조도를 제어하고,
    상기 제어 장치는, 상기 게임 주체의 움직임 데이터의 X,Y,Z을 포함하는 3축 데이터를 수집하기 위한 적어도 하나의 적외선 센서와 연결되고,
    상기 제어 장치는, 상기 적외선 카메라로부터 수신된 영상 내에서 손가락에 의한 제스처 인식을 위해 손목부분을 제거하도록, 영상 내의 객체의 너비의 변화가 기 설정된 기준 변화값을 초과하는 부분을 손목부분으로 인식하고,
    상기 제어 장치는 상기 적어도 하나의 적외선 카메라에서 촬영된 촬영 데이터와, 상기 적어도 하나의 적외선 센서로부터 수집한 상기 게임 주체의 움직임 데이터의 X,Y,Z을 포함하는 3축 데이터를 분석하여 프로토콜을 생성하는 것인, 제스처 기반 NUI를 이용한 조명효과 제어 방법.
  7. 삭제
  8. 제 6 항에 기재된 제스처 기반 NUI를 이용한 조명효과 제어 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
KR1020180082089A 2018-07-16 2018-07-16 제스처 기반 nui를 이용한 조명효과 제어 시스템 및 방법 KR102173608B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180082089A KR102173608B1 (ko) 2018-07-16 2018-07-16 제스처 기반 nui를 이용한 조명효과 제어 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180082089A KR102173608B1 (ko) 2018-07-16 2018-07-16 제스처 기반 nui를 이용한 조명효과 제어 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200008227A KR20200008227A (ko) 2020-01-28
KR102173608B1 true KR102173608B1 (ko) 2020-11-18

Family

ID=69370549

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180082089A KR102173608B1 (ko) 2018-07-16 2018-07-16 제스처 기반 nui를 이용한 조명효과 제어 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102173608B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102433080B1 (ko) * 2020-06-25 2022-08-17 주식회사 리얼리티매직 가상 현실 게임용 플레이어 위치 기반 조명 연출 방법 및 이를 수행하는 가상 현실 시스템
KR102433082B1 (ko) * 2020-06-25 2022-08-17 주식회사 리얼리티매직 가상 현실 게임용 인-게임 이벤트 기반 조명 연출 방법 및 이를 수행하는 가상 현실 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101531825B1 (ko) * 2012-12-27 2015-06-26 국민대학교산학협력단 동작인식을 이용한 감성조명 시스템의 디지털 감성조명 콘텐츠 저작 방법 및 이를 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
KR101794233B1 (ko) * 2015-05-11 2017-11-07 (주)젠트정보기술 모션 인식 및 특수 효과 제어기술을 이용한 체감형 게임 콘텐츠 제공 시스템
KR101756326B1 (ko) * 2015-11-20 2017-07-26 동국대학교 산학협력단 Nui/nux 기반의 vr환경 게임 컨트롤을 시뮬레이션하는 방법, 시스템 및 컴퓨터 판독가능 기록매체
KR20180078046A (ko) * 2016-12-29 2018-07-09 (주)디엔소프트 가상현실 또는 증강현실 디스플레이를 이용한 문자교육방법 및 그 기록매체

Also Published As

Publication number Publication date
KR20200008227A (ko) 2020-01-28

Similar Documents

Publication Publication Date Title
US10990189B2 (en) Processing of gesture-based user interaction using volumetric zones
EP3284011B1 (en) Two-dimensional infrared depth sensing
US10394334B2 (en) Gesture-based control system
US10437347B2 (en) Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
JP7538806B2 (ja) 高一時的分解能を伴う軽量かつ低電力のクロスリアリティデバイス
CN107430437B (zh) 在虚拟现实/增强现实环境中创建真实的抓取体验的系统和方法
US10007336B2 (en) Apparatus, system, and method for mobile, low-cost headset for 3D point of gaze estimation
US10540812B1 (en) Handling real-world light sources in virtual, augmented, and mixed reality (xR) applications
CN113454518A (zh) 多相机交叉现实设备
US20080252596A1 (en) Display Using a Three-Dimensional vision System
CN110073316A (zh) 混合现实环境中的交互虚拟对象
CN107066962A (zh) 用于通过光学成像进行的对象检测和表征的增强对比度
CN103135753A (zh) 手势输入的方法及系统
JP2022519310A (ja) 受動深度抽出を伴う軽量のクロスリアリティデバイス
WO2020225562A1 (en) Processing captured images
KR20170028371A (ko) 적외선 이미징을 사용한 색상 식별
Schütt et al. Semantic interaction in augmented reality environments for microsoft hololens
KR102173608B1 (ko) 제스처 기반 nui를 이용한 조명효과 제어 시스템 및 방법
Shariff et al. Event Cameras in Automotive Sensing: A Review
US20240107256A1 (en) Augmented reality spatial audio experience
Arai et al. Autonomous control of eye based electric wheel chair with obstacle avoidance and shortest path finding based on Dijkstra algorithm
Niranjani et al. System application control based on Hand gesture using Deep learning
CN116685028A (zh) 一种虚拟环境数字人场景灯光智能控制系统
Tsesmelis et al. Human-centric light sensing and estimation from RGBD images: The invisible light switch
Karaıl et al. Hand Recognition Solution as Conference Room Intelligent Lighting Control Technique

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right