KR102275702B1 - 신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템 - Google Patents

신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템 Download PDF

Info

Publication number
KR102275702B1
KR102275702B1 KR1020190071560A KR20190071560A KR102275702B1 KR 102275702 B1 KR102275702 B1 KR 102275702B1 KR 1020190071560 A KR1020190071560 A KR 1020190071560A KR 20190071560 A KR20190071560 A KR 20190071560A KR 102275702 B1 KR102275702 B1 KR 102275702B1
Authority
KR
South Korea
Prior art keywords
player
movement
event
interactive content
digital camera
Prior art date
Application number
KR1020190071560A
Other languages
English (en)
Other versions
KR20200122202A (ko
Inventor
고종필
Original Assignee
주식회사 지티온
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 지티온 filed Critical 주식회사 지티온
Priority to PCT/KR2019/007315 priority Critical patent/WO2020213786A1/ko
Publication of KR20200122202A publication Critical patent/KR20200122202A/ko
Application granted granted Critical
Publication of KR102275702B1 publication Critical patent/KR102275702B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens

Abstract

본 발명은 신체 움직임 인식을 이용하는 가상 인터렉티브 컨텐츠 실행 시스템에 관한 것으로, 더욱 상세하게는 디지털 카메라로 플레이어의 상체 및/또는 하체의 특정 동작을 인식하여 미리 정해진 이벤트를 발생시킴으로써 가상 인터렉티브 컨텐츠를 실행하는 시스템에 관한 것이다. 플레이어의 움직임을 물리적인 터치 센서 없이도 정확하게 인식할 수 있으므로, 시스템 구축을 위한 경제적인 부담을 덜 수 있고 센서의 잦은 고장으로 인한 번거로움을 해소할 수 있다.

Description

신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템 {system for executing virtual interactive contents software using recognition of player's kinetic movement}
본 발명은 신체 움직임 인식을 이용하는 가상 인터렉티브 컨텐츠 실행 시스템에 관한 것으로, 더욱 상세하게는 디지털카메라로 플레이어의 상체 및/또는 하체의 특정 동작을 인식하여 미리 정해진 이벤트를 발생시킴으로써 가상 인터렉티브 컨텐츠를 실행하는 시스템에 관한 것이다.
벽면과 같은 대형 화면에 게임 등의 컨텐츠를 투사하고 플레이어의 동작이나 플레이어가 던지는 공 등의 투척물을 인식 및 추적하여 컨텐츠의 실행과 연동하는 가상 인터렉티브 컨텐츠 실행 기술이 최근 각광을 받고 있다. 특히 스포츠 교육 분야에서는 실외의 온도나 미세먼지 농도, 강우, 강설 등의 환경 조건에 상관없이 실내에서 즐길 수 있는 가상 인터렉티브 컨텐츠가 서서히 도입되고 있는 추세이다.
종래의 가상 인터렉티브 컨텐츠 실행 시스템 중 하나는 적외선(IR) 카메라를 이용하여 플레이어의 동작 또는 투척물의 이동을 추적한다. 이 시스템의 IR카메라 모듈은 적어도 하나의 적외선 광 조사 모듈과 적어도 하나의 광 센서 모듈을 포함하며, 촬영된 이미지의 모든 픽셀에 대하여 변조된 광 신호의 지연(lag) 또는 위상 천이(shift)를 이용하여 카메라와 투척물 간의 거리를 측정하는 소위 ToF 기법(Time-Of-Flight measurement)을 이용한다.
대한민국 특허공개 제10-2012-0114767호(특허문헌 0001)는 사물 투척형 게임 디스플레이 시스템에 관한 것으로, 디스플레이 전면에 투척되는 물체의 적외선 빛의 반사정보를 인식하는 IR 카메라와, 상기 IR 카메라에 인식된 적외선 빛의 정보를 수신하여 위치 정보를 획득하는 컴퓨터를 포함하여 이루어진다.
특허문헌 0001의 기술은 적외선을 이용하여 투척물의 위치를 파악하기 때문에 정상적인 게임을 수행할 수 있을 정도의 인식률을 얻기 위해서는 게임 공간이 소정의 기준 이하로 조도가 유지되거나 주광에 노출되지 말아야 한다. 따라서 밀폐된 실내에서 낮은 조도의 조명 하에 게임을 수행하든지, 주광에 노출되지 않도록 창문을 암막 커튼으로 가린 채 게임을 수행해야 하는 제약이 있다.
아울러 적외선의 특성상 소정 온도 이상의 고온 환경이나 소정의 습도 이상에서는 원활한 게임 수행이 어려운 제약도 있다. 예를 들어 여름 날의 더운 실내 게임장이나 대낮의 실외 코트, 안개가 끼거나 우천 시의 실내 또는 실외 코트에서는 투척 물체의 인식률이 대폭 저하되는 문제가 발생한다.
특허문헌 0001은 플레이어가 던진 투척물을 추적하는 기술에 관한 것이지만 적외선 카메라로 플레이어의 동작을 추적하는 기술에 대하여도 동일한 제약에 따른 문제점이 발생한다.
종래 인터렉티브 컨텐츠 실행 시스템 중 다른 하나는 바닥에 압전 센서에 의한 터치 플레이트를 설치하고, 플레이어가 벽체 스크린에 투사되는 인터렉티브 컨텐츠를 보면서 터치 플레이트 위에서 여러 가지 동작을 취하면, 압전 센서에 의해 플레이어의 발의 움직임이 감지되어 인터렉티브 컨텐츠의 실행에 반영되는 방식이다.
그러나 터치 플레이트에 플레이어의 하중이 지속적으로 가해지면서 누적되는 충격에 의해 압전 센서가 빈번하게 고장나는 문제가 있고, 터치 플레이트에 지속적으로 전원을 공급해야 하므로 컨텐츠 실행 장소가 전원선 등으로 복잡해져 시각적으로도 유려하지 못하였다.
대한민국 특허공개 제10-2012-0114767호 (2012.10.17)
본 발명은 위의 언급된 문제점들을 해결하기 위해 제안된 것으로서, 조도나 온도, 습도 등과 같은 플레이 장소의 환경적 요인들에 영향 받지 않는 가상 인터렉티브 컨텐츠 실행 시스템을 제공하는 것을 일 목적으로 한다.
본 발명의 다른 일 목적은 플레이어를 플레이 영상 중에서 신속하고 정확하게 식별해 내기 위해 사람이 가지는 여러 가지 특징을 반복적인 사전 분석을 통해 미리 학습함으로써 인식율을 획기적으로 향상시킬 수 있는 가상 인터렉티브 컨텐츠 실행 시스템을 제공하는 것이다.
위의 목적을 달성하기 위한 본 발명의 일 실시예는, 플레이어의 움직임을 촬영하는 디지털 카메라; 및 상기 디지털 카메라의 촬영 영상에서 플레이어의 신체 일부의 움직임 패턴을 식별하는 인식 모듈과, 상기 신체 일부의 움직임 패턴이 미리 설정된 패턴과 일치하면 해당 패턴의 식별자가 포함된 이벤트를 인터렉티브 컨텐츠 애플리케이션에 전달하는 이벤트 모듈을 포함하는 변환 엔진을 실행하는 애플리케이션 구동 장치를 포함하는 것을 특징으로 하는 신체 움직임 인식을 이용한 인터렉티브 컨텐츠 실행 시스템에 관한 것이다.
상기 인식 모듈은, 플레이어의 신체 일부와의 거리를 기반으로 신체 일부의 이동을 트래킹하며, 상기 이벤트 모듈은 신체 일부의 이동 거리 및 이동 방향이 미리 설정된 패턴과 일치하면 해당 패턴의 식별자가 포함된 이벤트를 발생시키고, 발생된 이벤트를 인터렉티브 컨텐츠 애플리케이션에 전달한다.
상기 디지털 카메라는 적어도 두 개의 이미지 센서를 가지며, 상기 인식 모듈은, 상기 이미지 센서들의 화각 차이를 이용하여 상기 디지털 카메라와 상기 플레이어의 신체 일부와의 거리를 추정한다.
상기 인식 모듈은, 플레이어의 왼팔, 오른팔, 왼발, 오른발 중 적어도 하나의 움직임을 식별한다.
상기 이벤트 모듈은, 상기 신체 일부의 움직임으로부터 걷기, 점프, 미리 설정된 복수의 방향 중 어느 한 방향으로의 이동 중 적어도 하나에 대한 이벤트를 발생시킨다.
상기 디지털 카메라의 다른 실시예는 적어도 하나의 이미지 센서를 가지며, 이 경우 상기 인식 모듈은, 상기 디지털 카메라의 촬영 영상 속 플레이어의 신체 일부의 크기를 기초로 상기 디지털 카메라와 플레이어의 신체 일부와의 거리를 추정한다.
플레이어에게 미리 설정된 이동 방향 및 이동 범위에 대한 시각적인 가이드를 제공하기 위해 바닥에 설치되는 스테이지를 더 포함할 수 있다.
또한 사람이 포함된 복수의 영상 데이터를 분석하여 영상 속의 배경으로부터 사람을 식별하기 위한 패턴 정보를 미리 학습하는 머신러닝 서버를 더 포함할 수 있다.
본 발명의 실시예들에 의하면 조도나 온도, 습도 등과 같은 플레이 장소의 환경적 요인들에 영향 받지 않고 가상 인터렉티브 컨텐츠를 즐길 수 있다. 일례로 덥거나 춥거나 미세먼지 농도가 높은 날에도 충분히 밝은 조명의 실내 공간에서 쾌적하게 컨텐츠를 즐길 수 있고, 운동에 적절한 온도와 날씨가 유지되는 지역에서는 실외 코트에서도 컨텐츠를 즐길 수 있다.
본 발명의 실시예들에 의하면 플레이어의 신체 동작을 인식하기 위해 압전 소자 등과 같은 터치센서를 요구하지 않으므로 고장에 의한 시스템의 사용 불편함을 미연에 방지할 수 있다.
본 발명의 실시예들에 의하면 플레이어를 플레이 영상 중에서 신속하고 정확하게 식별해 내기 위해 사람이 가지는 여러 가지 특징을 반복적인 분석을 통해 미리 학습함으로써 인식율을 획기적으로 향상시킬 수 있다.
본 발명의 실시예들에 의하면 이벤트를 발생시키는 변환 엔진과 이벤트를 수신하는 가상 인터렉티브 컨텐츠가 독립적으로 실행되므로 두 프로그램 간에 호환성을 유지하기 위해 가상 인터렉티브 컨텐츠를 수정할 필요가 없다. 따라서 인터렉티브 컨텐츠 개발의 생산성이 증대되는 한편 변환 엔진의 범용성이 보장된다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 실시예 1의 가상 인터렉티브 컨텐츠 실행 시스템의 구성을 개략적으로 도시한 개념도이다.
도 2는 실시예 1의 가상 인터렉티브 컨텐츠 실행 시스템의 세부 구성을 도시한 블록도이다.
도 3 및 도 4는 실시예 1의 변형 실시예의 시스템 구성을 도시한 블록도이다.
도 5는 스테이지에 대한 다양한 실시예들을 도시한 것이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 명세서에서 기재한 모듈(MODULE)이란 용어는 특정한 기능이나 동작을 처리하는 하나의 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합을 의미할 수 있다.
본 명세서 및 청구범위에 사용되는 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 도면들 중 동일한 구성요소들은 가능한 한 어디든 동일한 부호들로 나타내고 있음에 유의해야 한다.
본 발명의 명세서에서 “인터렉티브 컨텐츠”라 함은 미리 정해진 구성(plot)대로 일방적으로 재생 또는 실행되는 컨텐츠가 아니라 사용자의 실시간 행위(action)에 반응하여 그에 따른 다양한 결과물을 출력 또는 실행하는 컨텐츠를 말한다.
또한 마우스나 터치패드(이하 '마우스 등'이라 함)와 같은 통상의(conventional) 입력 수단을 이용하여 컨텐츠를 실행하는 것이 아니라, 실제 컨텐츠는 별도의 컴퓨터 장치에서 실행되지만 그 컨텐츠의 실행 영상은 빔 프로젝터를 통해 벽면이나 바닥, 또는 천정(이하 '벽면 등'이라 함)에 직접 투사되거나, 벽면 등에 설치된 스크린 막에 투사되거나, 벽면 등에 설치되는 디스플레이 장치(예를 들면 디지털 TV나 디지털 모니터)를 통해 출력되고, 플레이어는 컨텐츠의 영상이 디스플레이 되는 벽면 등을 보면서 바닥에 배치되는 방향 방위판 위에서 점핑하거나, 걷거나, 오른 팔 또는 왼팔을 움직이거나, 오른 다리 또는 왼 다리를 움직이는 등의 다양한 동작을 통해 마우스 등의 입력 수단과 동일한 효과를 가상으로 구현하는 인터렉티브 컨텐츠를 말한다.
본 발명의 명세서에서 "가상 인터렉티브 컨텐츠"라 함은 플레이어의 역동적인 움직임 또는 운동을 유도하는 인터렉티브 컨텐츠를 총칭한다. 그러나 그 명칭에도 불구하고 "가상 인터렉티브 컨텐츠"라 함은 플레이어의 운동(kinetic action)을 유도할 수 있는 모든 종류의 컨텐츠를 포함하는 개념으로 이해될 수 있다. 따라서 9개 방향의 바닥 터치를 이용한 탭 댄스 게임, 걷기 및 팔 움직임을 이용하여 가상의 역사 유적을 체험하는 게임 등의 미디어 컨텐츠로 구현될 수도 있음은 당업자에게 자명하다.
<실시예 1>
실시예 1은 스테레오 카메라를 이용하여 플레이어의 신체 움직임을 인식하는 가상 인터렉티브 컨텐츠 실행 시스템에 관한 것이다.
도 1은 실시예 1의 가상 인터렉티브 컨텐츠 실행 시스템의 구성을 개략적으로 도시한 개념도이다.
도 1에서 보듯, 인터렉티브 컨텐츠가 투사되는 벽면의 반대쪽 벽면 또는 천정 또는 어느 일 측 벽면에는 사용자의 액션을 촬영하는 디지털 카메라(10)가 배치되고, 인터렉티브 컨텐츠는 별도로 마련된 애플리케이션 구동 장치(20)에서 실행된다.
컨텐츠가 투사되는 벽면의 반대쪽 벽면 또는 천정에는, 애플리케이션 구동 장치(20)로부터 인터렉티브 컨텐츠의 영상을 전송 받아 벽면을 향해 출력하는 영상 출력 장치(30)가 배치된다. 또한 바닥에는 플레이어에게 미리 정해진 방위 및 다달음 거리(reach distance)에 관한 시각적인 가이드를 제공하기 위한 스테이지(50)가 배치된다.
도 2는 실시예 1의 가상 인터렉티브 컨텐츠 실행 시스템의 세부 구성을 도시한 블록도이다.
도 2를 참고하면, 실시예 1의 시스템은 디지털 카메라(10), 애플리케이션 구동 장치(20) 및 영상 출력 장치(30)를 포함하며, 머신러닝 서버(40) 및 스테이지(50) 중 적어도 하나를 더 포함할 수 있다.
디지털 카메라(10)는 플레이어의 움직임 장면을 촬영하고, 촬영된 영상 데이터를 애플리케이션 구동 장치(20)로 전송한다.
용이한 데이터의 전송을 위해 디지털 카메라(10)는 애플리케이션 구동 장치(20)와 USB, RJ-45 등과 같은 유선 통신 인터페이스나, 블루투스, IEEE 802.11, LTE와 같은 근거리 또는 광대역 무선 통신 인터페이스 또는 통신 프로토콜로 연결될 수 있다. 여기에 언급한 통신 인터페이스 또는 통신 프로토콜은 예시에 불과하며 영상 데이터를 원활하게 전송하기 위한 어떠한 통신 인터페이스 및 프로토콜도 사용 가능하다.
영상 데이터에서 플레이어를 식별하고 카메라(10)와 플레이어의 왼팔 간의 거리, 카메라(10)와 오른팔 간의 거리, 카메라(10)와 플레이어의 왼발 간의 거리, 카메라(10)와 오른발 간의 거리 중 적어도 하나를 추정하기 위해 스테레오 타입 기법의 알고리즘(stereo-type measurement algorithm)이 사용될 수 있다. 스테레오 타입 기법은 이격된 두 개의 카메라 모듈(이미지 센서)를 이용하여 동일 객체를 촬영하고, 두 카메라 모듈 간 시점의 불일치에 의해 발생하는 각도 차이를 이용하여 객체와의 거리를 추정한다.
실시예 1의 시스템은 스테레오 타입 기법을 이용하므로 실시예 1의 디지털 카메라(10)는 적어도 2개의 2D 이미지 센서 모듈(미도시)을 포함한다.
애플리케이션 구동 장치(20)는 변환 엔진(21)과 인터렉티브 컨텐츠 애플리케이션(22)을 실행한다.
애플리케이션 구동 장치(20)는 데스크탑 PC, 노트북, 모바일 탭, 스마트폰, 서버와 같은 단일 장치 내에 변환 엔진(21)과 인터렉티브 컨텐츠 애플리케이션(22)을 함께 설치 및 실행할 수 있다.
또는 애플리케이션 구동 장치(20)는 위의 예시된 데스크탑 PC 등의 단일 장치에 변환 엔진(21)이 설치 및 실행되고, 별도의 서버(20-1)에 인터렉티브 컨텐츠 애플리케이션(22)을 설치 및 실행할 수도 있다. 도 3은 이와 같은 변형 실시예의 시스템 구성을 도시한 블록도이다.
또는 변환엔진(21)은 디지털 카메라(10)에 설치되어 실행되고, 인터렉티브 컨텐츠 애플리케이션만 애플리케이션 구동 장치(20)에서 실행되며, 디지털 카메라(10)와 애플리케이션 구동 장치(20)는 Wifi나 LAN 등과 같은 근거리 통신망 또는 LTE나 5G 광대역 통신망을 통해 연결될 수 있다. 도 4는 이와 같은 변형 실시예의 시스템 구성을 도시한 블록도이다.
변환 엔진(21)은 플레이어의 팔 또는 발이 미리 정해진 패턴으로 움직인 것이 감지된 때 그 패턴에 상응하는 이벤트를 생성하고, 생성된 이벤트를 인터렉티브 컨텐츠 애플리케이션(22)에 전달한다. 이를 위해 변환 엔진(21)은 인식 모듈(21-1) 및 이벤트 모듈(21-2)을 포함할 수 있다.
인식 모듈(21-1)은 카메라(10)가 보내온 영상 데이터를 프로세싱 하여 플레이어를 식별하고, 스테레오 타입 기법을 이용하여 카메라(10)와 플레이어의 움직인 신체(예를 들면 움직인 오른 발) 간의 거리를 추정한다. 플레이어의 식별과 움직인 신체와의 거리 추정을 통칭하여 트래킹(tracking)이라 정의하기로 한다. 트래킹은 카메라(10)가 보내온 영상 데이터의 모든 프레임에 대해 수행될 수도 있고, 잦은 트래킹에 따른 변환 엔진(21)의 처리 부담(burden of load)을 고려하여 미리 설정된 간격의 프레임에 대하여 간헐적으로 수행될 수도 있다.
또한 인식 모듈(21-1)은 변환 엔진(21)에 포함될 수도 있고, 디지털 카메라(10)에 펌웨어로 설치될 수도 있다. 디지털 카메라(10)에 펌웨어로 설치될 경우, 디지털 카메라(10)는 영상 데이터 대신 객체와의 거리 및 객체의 좌표를 포함하는 트래킹 정보를 변환 엔진(21)의 이벤트 모듈(21-2)에 제공한다.
이벤트 모듈(21-2)은 플레이어의 신체 움직임이 미리 정해진 패턴과 일치하는 여부를 판단하고, 움직임 패턴의 식별 플래그를 포함한 이벤트를 생성하고, 생성된 이벤트를 인터렉티브 컨텐츠 애플리케이션에 전송한다.
이벤트 모듈(21-2)이 플레이어의 신체 움직임이 미리 정해진 패턴과 일치하는 여부를 판단하는 원리는 다양한 알고리즘으로 구현될 수 있다. 이해를 돕기 위해 플레이어의 신체 중 다리의 움직임을 이용하여 인터렉티브 컨텐츠를 실행하는 예를 들어 설명한다.
우선 일례로, 플레이어가 특정 방위로 발을 움직일 때의 패턴을 인식하는 알고리즘은 다음과 같이 구현될 수 있다.
즉, 인식 모듈(21-1)은 스테이지(50)의 정 중앙 위에 위치하여 대기 중인 플레이어의 촬영 영상으로부터 카메라(10)와 오른쪽 발, 카메라(10)와 왼쪽 발 간의 거리를 우선 추정하고, 이것을 패턴 인식의 기준값으로 설정한다. 또는 인식 모듈(21-1)은 스테이지(50)의 영상만을 먼저 분석하되, 스테이지(50)의 상부면에 표시된 구획선을 이용하여 중앙 지점까지의 거리를 추정하거나 영상 속 스테이지 객체를 분리 인식한 후 중앙 지점까지의 거리를 추정하고, 그 중앙 지점까지 거리를 플레이어의 초기 위치로 간주하여 패턴 인식의 기준값으로 설정할 수도 있다.
이후, 인식 모듈(21-1)은 플레이어의 왼발 및 오른발의 움직임을 지속적으로 추적하여 이벤트 모듈(21-2)로 전송하고, 이벤트 모듈(21-2)은 왼발의 이동 거리와 이동 방향이 미리 설정된 패턴의 왼발의 이동 거리, 이동방향과 일치하면 해당 패턴의 움직임이 발생한 것으로 판단하고, 해당 패턴의 이벤트를 발생시킨다.
구체적인 예로, 플레이어가 정 중앙에 서 있다가 왼발을 10시 방향으로 내밀되 스테이지(50)의 좌측 상부 영역에까지 내밀게 되면, 이벤트 모듈(21-2)은 플레이어의 왼발이 기준점으로부터 10시 방향으로 계속 멀어지다가 미리 정해진 거리(스테이지의 좌측 상부 영역까지의 거리)에 도달하면 “왼발 10시 방향 패턴”으로 인식하고, 스테이지 좌측 상부 영역을 가리키는 플래그가 포함된 “왼발 10시 방향 이벤트”를 발생시킨다.
다른 일례로, 플레이어가 제 자리에서 점핑하는 패턴을 인식하는 알고리즘은 다음과 같이 구현될 수 있다.
즉, 먼저 설명한 예와 같이 기준값이 설정된 상태에서, 인식 모듈(21-1)은 플레이어의 왼발 및 오른발의 움직임을 지속적으로 추적하여 이벤트 모듈(21-2)로 전송한다. 이벤트 모듈(21-2)은 왼발 및 오른발의 이동 방향이 수직 방향이고 이동 거리가 미리 설정된 높이 이상이면 “점핑 패턴”으로 인식하여 “점핑 이벤트”를 발생시킨다.
또 다른 일례로, 플레이어가 제 자리에서 걷는 패턴을 인식하는 알고리즘은 다음과 같이 구현될 수 있다.
즉, 먼저 설명한 예와 같이 기준값이 설정된 상태에서, 인식 모듈(21-1)은 플레이어의 왼발 및 오른발의 움직임을 지속적으로 추적하여 이벤트 모듈(21-2)로 전송한다. 이벤트 모듈(21-2)은 왼발 및 오른발의 이동 방향이 수직 방향이고 이동 거리가 미리 설정된 높이 이상이되 왼발과 오른발이 번갈아 가면서 상하로 이동하는 것으로 판단되면 “걷기 패턴”으로 인식하여 “걷기 이벤트”를 발생시킨다.
본 명세서에 추가적으로 상세히 설명하지 않더라도 10시 방향 외에, 12시 방향, 1시반 방향, 3시 방향, 4시반 방향, 6시 방향, 7시반 방향, 9시 방향 등의 왼발 및 오른발의 움직임 패턴을 식별하는 원리 역시 당업자라면 전술한 알고리즘의 원리를 이용하여 용이하게 구현 가능할 것이다. 또한 플레이어의 발 뿐만 아니라 왼팔 및 오른팔의 움직임 패턴 역시 대동소이한 원리를 이용하여 구현 가능할 것이다.
이벤트 모듈(21-2)은 판별된 패턴의 식별자를 포함하는 이벤트를 생성하여 인터렉티브 컨텐츠 애플리케이션(22)에 전달한다.
마이크로 소프트사의 윈도우즈(Windows)나 애플사의 맥 OS(MAC OS)와 같은 그래픽 유저 인터페이스(GUI) 기반의 운영체제 및 그러한 운영체제에서 실행되는 애플리케이션들은 소위 이벤트 구동 방식(event driven)으로 사용자의 지시를 입력 받는다.
인터렉티브 컨텐츠 애플리케이션(22)은 위와 같은 UI 기반의 운영체제에서 실행되는 것으로 개발되었다고 전제할 때, 이벤트 모듈(21-2)로부터 이벤트가 수신되면, 그 이벤트 안에 포함된 패턴의 식별자에 따라 미리 정해진 컨텐츠 플롯을 실행한다.
구체적인 예로, 벽면 스크린에 연속적으로 탭 댄스의 발자국 형상이 랜덤으로 출력되고 플레이어가 왼발 또는 오른발을 움직여서 스크린 안의 발자국 대로 따라하면 점수가 카운팅되는 인터렉티브 댄싱 컨텐츠(22)가 실행된다고 가정할 때, 인터렉티브 댄싱 컨텐츠(22)는 스크린에 10시 방향의 비활성 발자국 이미지가 출력된 상태에서 이벤트 모듈(21-2)로부터 “왼발 10시 방향 이동 이벤트”가 수신되면, 비활성 발자국을 활성 발자국 이미지로 전환시키는 한편 플레이어에게 미리 정해진 점수를 카운트해 주는 플롯으로 실행될 수 있다.
다른 구체적인 예로, 벽면 스크린에 고대 유적을 하나 하나 찾아가면서 특정 유적에 대해 해설을 듣는 교육용 인터렉티브 컨텐츠(22)가 실행된다고 가정한다. 컨텐츠(22)는 이벤트 모듈(21-2)로부터 “걷기 이벤트”가 수신되면 스크린에 전방 걷기에 따른 광경을 지속적으로 출력한다. 그러다가 플레이어가 특정 유물의 앞에서 정지하면 이벤트 모듈(21-2)로부터 “걷기 정지 이벤트”를 수신 받고 그 지점의 정지된 풍광을 출력한다. 그리고 이벤트 모듈(21-2)로부터 “오른 팔 10시 방향 이벤트”가 수신되면 해당 유물에 대한 설명이 나레이션되는 플롯으로 실행될 수 있다. 이러한 종류의 컨텐츠는 영상출력장치(30)로 가상현실(VR) 헤드셋을 이용할 경우 컨텐츠의 흥미로움이 배가될 수 있을 것이다.
한편, 실시예 1을 포함한 본 발명의 모든 실시예들에 있어서 “이벤트”라 함은 인터렉티브 컨텐츠 애플리케이션(22)에 사용자의 지시를 입력하기 위한 그 어떠한 이벤트라도 모두 포함하는 개념으로 이해될 수 있다. 따라서 변환 엔진(21)이 인터렉티브 컨텐츠 애플리케이션(22)에 전달하는 이벤트는 전술한 팔/다리의 움직임에 관한 이벤트가 될 수도 있지만, 그 외에도 마우스 좌 클릭 이벤트, 마우스 우 클릭 이벤트, 마우스 이동 이벤트, 마우스 더블 클릭 이벤트, 마우스 휠 클릭 이벤트 등으로 다양하게 정의될 수 있다.
변환 엔진(21)이 생성하는 이벤트는 인터렉티브 컨텐츠 애플리케이션(22)이 실행되는 운영체제와 호환된다. 인터렉티브 컨텐츠 애플리케이션(22)의 개발자인 앨리스(Alice)는 변환 엔진(21)의 개발자인 밥(Bob)과 호환성에 대해 미리 협의할 필요가 없으며, 따라서 본 발명의 변환 엔진(21)은 시중에 판매되는 어떠한 인터렉티브 컨텐츠라도 인터페이싱을 위한 별도의 수정 없이 적용이 가능해지는 장점을 가진다.
다음으로, 영상 출력 장치(30)는 벽면 등에 컨텐츠 영상을 출력할 수 있는 기능을 가지기만 하면 어떠한 종류의 장치라도 상관없다.
예를 들어 빔 프로젝터, 벽면에 거치되는 대형 TV나 모니터와 같은 디스플레이 장치, 증강현실 헤드셋이 영상 출력 장치(30)로 사용될 수 있다. 영상 출력 장치(30)는 케이블이나 무선 통신을 통해 애플리케이션 구동 장치(20)와 연결된다.
머신러닝 서버(40)는 카메라(10)가 보내온 영상 데이터를 기반으로 객체를 식별하기 위한 여러 가지 특성을 학습하는 머신러닝 엔진(미도시)을 포함한다.
예를 들어 인식 대상의 객체가 플레이어라면, 머신러닝 서버(40)는 통상적인 사람의 형상, 팔의 위치, 다리의 위치, 남성과 여성을 구별하기 위한 신체 실루엣 중 적어도 하나의 특성을 기초로 객체를 식별하기 위한 일정한 패턴을 발견할 수 있다.
머신러닝 서버(40)는 디지털 카메라(10)와 연결된 애플리케이션 구동 장치(20)를 통해 영상 데이터를 제공 받을 수도 있고, 디지털 카메라(10)와 직접 연결되어 영상 데이터를 제공 받을 수도 있다.
머신러닝 서버(40)는 사람(또는 남성 및 여성)에 대하여 촬영된 수십 개 내지 수백 개의 서로 다른 영상 데이터를 반복적으로 분석함으로써 사람을 보다 분명하게 식별하기 위한 특정 패턴을 발견한다.
변환 엔진(21)의 인식 모듈(21-1)은 머신러닝 모듈(40)이 미리 학습하여 도출한 결과물인 식별 패턴 정보를 이용하여 영상 데이터로부터 플레이어를 용이하게 식별할 수 있다.
한편 머신러닝 서버(40)는 일 컨텐츠에 대하여 하나의 객체만을 학습할 수도 있지만 컨텐츠의 종류에 따라서 복수의 객체로 컨트롤이 필요한 경우에는 일 컨텐츠에 대해 서로 다른 복수의 객체들을 식별하도록 미리 학습할 수도 있다.
마지막으로, 스테이지(50)는 플레이어의 최초 위치에 대한 기준점을 제공하고 플레이어가 하체의 발 또는 상체의 팔을 이용하여 용이하게 특정 방향을 점지할 수 있도록 시각적인 방향 가이드를 제공한다.
도 5는 스테이지(50)에 대한 다양한 실시예들을 도시한 것이다.
도 5의 (A) 실시예에 따른 스테이지(50)는 소정 넓이의 외부 레이아웃(OL)을 포함하며, 외부 레이아웃(OL)의 내부 영역을 나누어 구별하기 위한 구획선(IL)을 포함한다. 플레이어는 스테이지(50) 위에 서서 구획선(IL)을 참고하여 하체의 왼발 및/또는 오른발을 움직임으로써 원하는 이벤트 동작에 대응하는 동작을 취하는 것이 가능하다.
특히, (A)의 실시예에서는 스테이지(50)가 구획선(IL)에 의해 9개로 분할되며, 플레이어는 9개의 구획을 통해 앞, 뒤, 좌, 우, 중앙, 대각선 및 이를 혼합한 동작 등을 보다 명확하게 수행하는 것이 가능하다.
다음으로, 도 2 의 (B) 실시예는 레이저 광원(L)을 이용하여 외부 레이아웃(OL)과 구획선(IL)을 표시하는 일례이다. (B) 실시예는 (A) 실시예와 마찬가지로 레이저 광원(L)을 바닥면에 조사하여 외부 레이아웃(OL)과 구획선(IL)을 표시하는 것이 가능할 뿐 아니라 레이저 광원(L)을 벽면에 조사하여 외부 레이아웃(OL)과 구획선(IL)을 표시하는 것도 가능하다.
여기서, 바닥면에 표시되는 외부 레이아웃(OL)과 구획선(IL)의 경우 플레이어의 하체 동작을 안내하기 위한 기능을 가질 수 있으며, 벽면에 표시되는 외부 레이아웃(OL)과 구획선(IL)의 경우 플레이어의 상체 동작을 안내하기 위한 기능을 가질 수 있다.
마지막으로, 도 2 의 (C) 실시예는 홀로그램 장치(H)를 이용하여 외부 레이아웃(OL)과 구획선(IL)을 일정 공간에 표시하는 일례이다. 홀로그램 장치(H)에 의한 홀로그램은 촬영장치(10)에서 촬영이 가능한 공간에 투영되는 것이 바람직하며, 플레이어는 홀로그램 일 측에서 구획선(IL)을 참고하여 상체의 왼팔 및/또는 오른팔을 움직임으로써 원하는 이벤트 동작에 대응하는 동작을 취하는 것이 가능하다.
여기서, 도 2 의 (A), (B), (C) 실시예는 각각 별도로 사용하는 것도 가능하며 혼합하여 사용하는 것도 가능하다. 즉, 하체 동작을 안내 받기 위하여 (A), (B) 실시예를 선택적으로 사용하고 상체 동작을 안내 받기 위하여 (B) 실시예를 벽면에 적용하거나 (C) 실시예를 선택적으로 사용하는 것이 가능하다.
스테이지(50)는 단순히 플레이어에게 시각적으로 방향성을 가이드하는 역할을 제공할 뿐이므로 구획선의 도료나 스테이지의 재질 등은 특정한 어떤 것들에 제한될 필요가 없다. 일례로, 구획선은 페인트나 잉크 등의 일반적인 착색 도료를 이용하여 표시할 수 있고 스테이지는 인조 섬유 재질의 매트로 구현될 수 있다.
한편 본 발명에서 스테이지(50)는 반드시 구비되어야 하는 구성요소가 아닐 수 있다. 즉, 또 다른 실시예에서, 바닥에는 실체성을 가지는 별도의 스테이지(50)는 배치되지 않는다. 대신 컨텐츠가 실행되고 사용자가 카메라(10)의 촬영 대상 영역 중 임의의 위치에 서서 미리 설정된 시간 동안 움직이지 않으면 애플리케이션 구동장치(20)는 해당 위치를 플레이어의 초기 위치로 인식한다. 그리고 플레이어가 경험과 감에 의지하여 9가지 방향에 대해 상체의 팔을 움직이거나 하체의 발을 움직이면, 애플리케이션 구동장치(20)는 팔 및/또는 발의 움직임을 추적함으로써 각 움직임에 상응하는 이벤트를 발생시킨다.
이상에서 설명한 가상 인터렉티브 컨텐츠 실행 시스템의 전체 또는 부분적 기능들은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음을 당업자들이 쉽게 이해할 수 있을 것이다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 상기 컴퓨터 판독 가능한 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, USB 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 외에도, 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며 그 반대도 마찬가지이다.
또한 본 발명은 위에서 설명한 실시예들에 한정되지 아니하며, 적용범위가 다양함은 물론이고 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 다양한 변형 실시가 가능한 것은 물론이다.
10: 디지털 카메라 20 : 애플리케이션 구동 장치
30 : 영상 출력 장치 40 : 머신러닝 서버
50 : 스테이지
21 : 변환 엔진 22 : 인터렉티브 컨텐츠 애플리케이션
21-1 : 인식 모듈 21-2 : 이벤트 모듈

Claims (8)

  1. 플레이어의 움직임을 촬영하는 디지털 카메라; 및
    상기 디지털 카메라의 촬영 영상에서 플레이어의 왼팔, 오른팔, 왼발, 오른발 중 적어도 하나의 신체 일부 움직임 패턴을 식별하는 인식 모듈과, 상기 신체 일부의 움직임 패턴이 미리 설정된 패턴과 일치하면 해당 패턴의 식별자가 포함된 이벤트를 인터렉티브 컨텐츠 애플리케이션에 전달하는 이벤트 모듈을 포함하는 변환 엔진을 실행하는 애플리케이션 구동 장치를 포함하고,
    상기 이벤트는 마우스 좌 클릭 이벤트, 마우스 우 클릭 이벤트, 마우스 이동 이벤트, 마우스 더블 클릭 이벤트, 마우스 휠 클릭 이벤트 중 어느 하나이며,
    상기 이벤트 모듈은 신체 일부의 움직임으로부터 걷기, 점프, 미리 설정된 복수의 방향 중 어느 한 방향으로의 이동 중에서 적어도 하나의 식별자가 포함된 이벤트를 발생시키고, 발생된 이벤트를 상기 변환 엔진과 독립적으로 실행되는 인터렉티브 컨텐츠 애플리케이션에 전달하는 것을 특징으로 하며,
    상기 인식 모듈은 상기 디지털 카메라의 촬영 영상 속 플레이어의 신체 일부의 크기를 기초로 상기 디지털 카메라와 플레이어의 신체 일부와의 거리를 계산하며, 상기 인식 모듈은 상기 계산된 거리를 기반으로 신체 일부의 이동을 트래킹함으로써 플레이어의 신체 일부의 움직임 패턴을 식별하는 것을 특징으로 하는
    신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 디지털 카메라는 적어도 두 개의 이미지 센서를 가지며,
    상기 인식 모듈은, 상기 이미지 센서들의 화각 차이를 이용하여 상기 디지털 카메라와 상기 플레이어의 신체 일부와의 거리를 추정하는 것을 특징으로 하는 신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    플레이어에게 미리 설정된 이동 방향 및 이동 범위에 대한 시각적인 가이드를 제공하기 위해 바닥에 설치되는 스테이지를 더 포함하는 신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템.
  8. 제1항에 있어서,
    사람이 포함된 복수의 영상 데이터를 분석하여 영상 속의 배경으로부터 사람을 식별하기 위한 패턴 정보를 미리 학습하는 머신러닝 서버를 더 포함하는 것을 특징으로 하는 신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템.
KR1020190071560A 2019-04-17 2019-06-17 신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템 KR102275702B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/007315 WO2020213786A1 (ko) 2019-04-17 2019-06-18 신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190045098 2019-04-17
KR1020190045098 2019-04-17

Publications (2)

Publication Number Publication Date
KR20200122202A KR20200122202A (ko) 2020-10-27
KR102275702B1 true KR102275702B1 (ko) 2021-07-09

Family

ID=68729655

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020190058258A KR102054148B1 (ko) 2019-04-17 2019-05-17 운동 유도를 위한 스포츠 인터렉티브 컨텐츠 실행 시스템
KR1020190058257A KR102041279B1 (ko) 2019-04-17 2019-05-17 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 시스템, 방법 및 이를 위한 컴퓨터 프로그램이 저장된 기록매체
KR1020190071560A KR102275702B1 (ko) 2019-04-17 2019-06-17 신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020190058258A KR102054148B1 (ko) 2019-04-17 2019-05-17 운동 유도를 위한 스포츠 인터렉티브 컨텐츠 실행 시스템
KR1020190058257A KR102041279B1 (ko) 2019-04-17 2019-05-17 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 시스템, 방법 및 이를 위한 컴퓨터 프로그램이 저장된 기록매체

Country Status (2)

Country Link
KR (3) KR102054148B1 (ko)
WO (2) WO2020213784A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102454833B1 (ko) * 2022-05-12 2022-10-14 (주)이브이알스튜디오 가상의 아쿠아리움의 이미지를 표시하는 디스플레이 장치, 및 디스플레이 장치와 통신 가능한 사용자 단말의 제어 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110013076A (ko) * 2009-08-01 2011-02-09 강병수 카메라 시스템을 이용한 손짓 및 터치형 양손 반지 마우스 입력 장치
KR101211178B1 (ko) * 2010-10-20 2012-12-12 에스케이플래닛 주식회사 증강 현실 컨텐츠 재생 시스템 및 방법
KR101357260B1 (ko) * 2010-10-22 2014-02-03 주식회사 팬택 증강 현실 사용자 인터페이스 제공 장치 및 방법
KR20120114767A (ko) 2011-04-08 2012-10-17 동서대학교산학협력단 사물 투척형 게임 디스플레이 시스템 및 그 방법
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
KR101330531B1 (ko) 2011-11-08 2013-11-18 재단법인대구경북과학기술원 ３차원 카메라를 이용한 가상 터치 방법 및 장치
KR20130071059A (ko) * 2011-12-20 2013-06-28 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR101572346B1 (ko) * 2014-01-15 2015-11-26 (주)디스트릭트홀딩스 증강현실 스테이지, 라이브 댄스 스테이지 및 라이브 오디션을 위한 서비스 시스템 및 서비스 방법
KR20150035854A (ko) * 2015-02-17 2015-04-07 주식회사 홍인터내셔날 원격 멀티 모드 시 스로우 라인을 이용한 인증이 가능한 다트 게임 장치
KR101860753B1 (ko) * 2016-06-13 2018-05-24 (주)블루클라우드 사용자 인식 컨텐츠 제공 시스템 및 그 동작방법
US10229322B2 (en) * 2017-04-06 2019-03-12 Ants Technology (Hk) Limited Apparatus, methods and computer products for video analytics
KR101963682B1 (ko) * 2018-09-10 2019-03-29 주식회사 큐랩 증강현실 기반의 스포츠 콘텐츠에 따른 신체 측정 데이터 관리 시스템

Also Published As

Publication number Publication date
WO2020213784A1 (ko) 2020-10-22
KR20200122202A (ko) 2020-10-27
KR102054148B1 (ko) 2019-12-12
KR102041279B1 (ko) 2019-11-27
WO2020213783A1 (ko) 2020-10-22

Similar Documents

Publication Publication Date Title
US10004984B2 (en) Interactive in-room show and game system
US11948260B1 (en) Streaming mixed-reality environments between multiple devices
US10831278B2 (en) Display with built in 3D sensing capability and gesture control of tv
US10024968B2 (en) Optical modules that reduce speckle contrast and diffraction artifacts
CN102414641B (zh) 改变显示环境内的视图视角
CN102163324B (zh) 深度图像的去混叠
US8762894B2 (en) Managing virtual ports
KR101881620B1 (ko) 게임플레이에서의 3차원 환경 모델 사용
US7961174B1 (en) Tracking groups of users in motion capture system
US8467574B2 (en) Body scan
US8864581B2 (en) Visual based identitiy tracking
EP2964353B1 (en) User body angle, curvature and average extremity positions extraction using depth images
US20110221755A1 (en) Bionic motion
US20110109617A1 (en) Visualizing Depth
US20150070489A1 (en) Optical modules for use with depth cameras
US20140333917A1 (en) Interference reduction for tof systems
US20120165096A1 (en) Interacting with a computer based application
US9993733B2 (en) Infrared reflective device interactive projection effect system
KR20140021619A (ko) 수동 및 카메라 기반 아바타 제어
KR20140023951A (ko) 수동 및 카메라 기반 게임 제어
US20210149478A1 (en) Silhouette-based limb finder determination
KR102275702B1 (ko) 신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템
US9211472B2 (en) Game device, game control method, and game control program configured to control a game in which a character is moved along a shadow
WO2020213786A1 (ko) 신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템
US11804006B2 (en) Enhanced vision system and method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant