KR102041279B1 - 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 시스템, 방법 및 이를 위한 컴퓨터 프로그램이 저장된 기록매체 - Google Patents

가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 시스템, 방법 및 이를 위한 컴퓨터 프로그램이 저장된 기록매체 Download PDF

Info

Publication number
KR102041279B1
KR102041279B1 KR1020190058257A KR20190058257A KR102041279B1 KR 102041279 B1 KR102041279 B1 KR 102041279B1 KR 1020190058257 A KR1020190058257 A KR 1020190058257A KR 20190058257 A KR20190058257 A KR 20190058257A KR 102041279 B1 KR102041279 B1 KR 102041279B1
Authority
KR
South Korea
Prior art keywords
event
image
interactive content
mouse
virtual interactive
Prior art date
Application number
KR1020190058257A
Other languages
English (en)
Inventor
고종필
Original Assignee
주식회사 지티온
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 지티온 filed Critical 주식회사 지티온
Priority to PCT/KR2019/006028 priority Critical patent/WO2020213783A1/ko
Application granted granted Critical
Publication of KR102041279B1 publication Critical patent/KR102041279B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 벽면이나 바닥면을 스크린으로 활용하는 가상 인터렉티브 컨텐츠를 위한 사용자 인터페이스 제공 기술에 관한 것이다. 더욱 상세하게는, 본 발명은 벽면이나 바닥면에 투사되는 가상 인터렉티브 컨텐츠를 축구공과 같은 가상 마우스 객체를 이용하여 플레이하기 위한 사용자 인터페이스 제공 기술에 관한 것이다. 컨텐츠가 플레이 되는 상황을 디지털 카메라로 촬영한 영상에서 이동 객체를 식별하고, 객체의 이동 경로를 트래킹하여 객체가 벽면에 닿는 순간 마우스의 클릭에 해당하는 이벤트를 발생시킨다. 객체를 명확하게 식별하기 위해 사전에 머신러닝을 통해 객체의 특징적 패턴을 미리 학습할 수 있다.

Description

가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 시스템, 방법 및 이를 위한 컴퓨터 프로그램이 저장된 기록매체{system, method for providing user interface of virtual interactive contents and storage of computer program therefor}
본 발명은 벽면이나 바닥면을 스크린으로 활용하는 가상 인터렉티브 컨텐츠를 위한 사용자 인터페이스 제공 기술에 관한 것이다. 더욱 상세하게는, 본 발명은 벽면이나 바닥면에 투사되는 가상 인터렉티브 컨텐츠를 축구공과 같은 가상 마우스 객체를 이용하여 플레이하기 위한 사용자 인터페이스 제공 기술에 관한 것이다. 컨텐츠가 플레이 되는 상황을 디지털 카메라로 촬영한 영상에서 이동 객체를 식별하고, 객체의 이동을 트래킹하여 객체가 벽면에 닿는 순간 마우스의 클릭에 해당하는 이벤트를 발생시킨다. 객체를 명확하게 식별하기 위해 사전에 머신러닝을 통해 객체의 특징적 패턴을 미리 학습할 수 있다.
벽면과 같은 대형 화면에 인터렉티브 컨텐츠를 투사하고 공과 같은 가상의 마우스를 이용하여 인터렉티브 컨텐츠를 실행하는 기술이 최근 각광을 받고 있다. 특히 스포츠 교육 분야에서는 실외의 온도나 미세먼지 농도, 강우, 강설 등의 환경 조건에 상관없이 실내에서 즐길 수 있는 인터렉티브 실내 스포츠 컨텐츠가 서서히 도입되고 있는 추세이다.
이와 같은 인터렉티브 컨텐츠는 가상의 마우스 역할을 담당하는 공 등의 객체를 인식하고, 객체의 이동을 트래킹하여 벽에 터치되는 순간의 좌표를 알아내는 기능이 필수적이다.
이러한 기능을 구현하기 위한 방안으로 머신비전(machine vision) 기술이 제안되었다. 머신비전 기술은 이미지를 캡처하고 프로세싱하는 기능을 실행하는 장치의 작동 지침을 제공하는 하드웨어 및 소프트웨어의 조합을 지칭하며 다양한 산업 분야에서 제품의 생산 품질을 관리하는 기술로 주로 사용되어 왔다.
머신비전 기술의 하나로 적외선(IR, Infrared Ray) 카메라를 이용하는 3차원 깊이 카메라(3 Dimensional Depth camera) 기술을 들 수 있다. 적외선 카메라는 적어도 하나의 적외선 광 조사 모듈과 적어도 하나의 광 센서 모듈을 포함하며, 촬영된 이미지의 모든 픽셀에 대하여, 변조된 광 신호의 지연(lag) 또는 위상 천이(shift)를 이용하여 카메라(10)와 이동 객체 간의 거리를 측정하는 소위 ToF 기법(Time-Of-Flight measurement)을 이용한다.
그러나 적외선 카메라를 이용하는 인터렉티브 컨텐츠는 일정 조도 이하의 어두운 환경에서 객체를 정확하게 트레킹할 수 있기 때문에 컨텐츠가 실행되는 실내에 추가적으로 차양막을 쳐야 하는 번거로움이 있고, 주광에 노출되면 급격하게 객체의 인식률이 떨어지는 문제가 있다.
일반적인 디지털 카메라를 이용하여 촬영한 컨텐츠의 플레이 영상을 디지털 프로세싱을 거쳐 가상 마우스에 해당하는 객체를 식별 및 트레킹하는 기술도 제안된 바 있다.
그러나 객체의 식별 성공률이 만족스럽지 않고 설사 특정 객체를 인식하도록 설정되었다 하더라도 동일 영상 안에 식별이 필요한 제1객체와, 제1객체와 일부 유사하지만 식별되면 안되는 제2객체가 함께 존재할 때 두 객체를 제대로 분간하지 못하는 문제로 인해 본격적으로 실용화되지 못하고 있다.
한편, 최근에는 증강현실에 머신비전을 접목하기 위한 연구가 활발히 진행되고 있다. 혼합현실(MR: Mixed Reality)은 현실과 가상을 결합하여 실물과 가상 객체들이 공존하는 새로운 환경을 만들고 사용자가 그 새로운 환경과 실시간으로 상호 작용을 함으로써 다양한 디지털 정보들을 보다 실감나게 체험할 수 있도록 하는 기술이다. 혼합현실(MR)은 현실을 기반으로 가상 정보를 부가하는 증강 현실(AR: Augmented Reality)과 가상 환경에 현실 정보를 부가하는 증강 가상(AV: Augmented Virtuality)의 의미를 포함한다.
대한민국 특허공개 제2013-0050672호에 개시된 3차원 카메라를 이용한 가상터치 방법 및 장치는 머신비전과 증강 현실(AR)을 함께 이용하는 기술로서, 사용자의 형상을 감지하고 사용자에 의한 터치 동작을 3차원으로 인식하는 3차원 카메라를 사용하여 터치 디스플레이나 특수 터치인식 장치 없이 실제 터치스크린과 같은 가상의 터치 방식을 실현시키는 방법이다.
그러나, 사용자의 손 형상과 움직임의 패턴을 감지하기 때문에, 카메라가 인지할 수 없는 각도나 움직임의 패턴이 명확하지 않거나, 화면상에 사용자의 그림자 형상이 비칠 경우, 잘못된 인식을 하여 가상 터치의 오류가 발생할 수 있다.
대한민국 특허공개 10-2013-0050672호 (2013.05.16)
본 발명의 목적은 인터렉티브 컨텐츠가 실행되는 장소의 밝기에 상관없이 컨텐츠 영상 속의 객체를 정확하게 식별하는 사용자 인터페이스 방안을 제공하는 것이다.
본 발명의 다른 목적은 시중에 유통되는 인터렉티브 컨텐츠 애플리케이션에 별도의 수정을 가하지 않고도 호환성을 제공하는 사용자 인터페이스 방안을 제공하는 것이다.
위와 같은 목적을 달성하기 위한 본 발명의 일 실시예는, 벽면에 디스플레이 되는 가상 인터렉티브 컨텐츠 영상을 촬영하는 디지털 카메라; 및 상기 가상 인터렉티브 컨텐츠의 촬영 영상에서 미리 정의된 객체를 식별하고 상기 객체의 거리와 좌표를 파악하는 객체인식 모듈과, 상기 객체가 벽면에 부딪힌 때 상기 객체의 좌표가 포함된 이벤트를 인터렉티브 컨텐츠 애플리케이션에 전달하는 이벤트 모듈을 포함하는 변환 엔진을 실행하는 애플리케이션 구동 장치를 포함하는 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 시스템에 관한 것이다.
본 실시예의 시스템은 상기 가상 인터렉티브 컨텐츠의 영상을 벽면에 디스플레이 하는 영상 출력 장치를 더 포함할 수 있다.
또한 본 실시예의 시스템은 상기 객체가 포함된 복수의 영상 데이터를 반복적으로 분석하여 상기 객체를 식별하기 위한 형상, 크기, 표면의 패턴 무늬, 색상 중 적어도 하나에 관한 패턴을 학습하는 머신러닝 서버를 더 포함할 수 있다.
본 실시예의 상기 디지털 카메라는 적어도 두 개의 이미지 센서를 가질 수 있으며, 이때 상기 객체인식 모듈은, 상기 이미지 센서들의 화각 차이를 이용하여 상기 디지털 카메라와 상기 객체 간의 거리를 계산할 수 있다.
본 실시예의 상기 디지털 카메라는 적어도 하나의 이미지 센서를 가질 수 있으며, 이때 상기 객체인식 모듈은, 상기 디지털 카메라로 촬영한 영상 속의 객체의 크기를 기초로 상기 디지털 카메라와 벽면 간의 거리를 계산할 수 있다.
본 발명의 다른 일 실시예는, 가상 인터렉티브 컨텐츠의 촬영 영상에서 미리 학습된 객체를 식별하는 단계; 상기 식별된 객체의 거리 및 좌표를 파악하는 단계; 상기 객체가 벽면에 부딪힌 때 터치 지점의 좌표가 포함된 이벤트를 생성하는 단계; 및 상기 이벤트를 가상 인터렉티브 컨텐츠 애플리케이션에 전달하는 단계를 포함하는 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 방법에 관한 것이다.
본 발명의 사용자 인터페이스 제공 방법은, 상기 계산된 객체의 거리와 미리 설정된 벽면의 거리가 일치하면 상기 객체가 벽면에 터치된 것으로 판단하는 단계를 더 포함할 수 있다.
또한 본 발명의 사용자 인터페이스 제공 방법은, 상기 객체가 포함된 복수의 영상 데이터를 반복적으로 분석하여 상기 객체를 식별하기 위한 형상, 크기, 표면의 패턴 무늬, 색상 중 적어도 하나에 관한 패턴을 학습하는 머신러닝 단계를 더 포함할 수 있다.
본 발명의 다른 일 실시예는, 전술한 사용자 인터페이스 제공 방법을 알고리즘으로 구현한 컴퓨터 프로그램 또는 그 프로그램이 저장되는 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
본 발명의 실시예에 의하면 조도나 온도, 습도 등과 같은 플레이 장소의 환경적 요인들에 영향 받지 않고 스포츠 인터렉티브 컨텐츠를 즐길 수 있다. 일례로 덥거나 춥거나 미세먼지 농도가 높은 날에도 충분히 밝은 조명의 실내 공간에서 쾌적하게 컨텐츠를 즐길 수 있고, 운동에 적절한 온도와 날씨가 유지되는 지역에서는 실외 코트에서도 컨텐츠를 즐길 수 있다.
또한 본 발명의 실시예에 의하면 컨텐츠의 실행을 제어하는 마우스 역할을 담당하는 투척 물체의 여러 가지 특징을 반복적인 분석을 통해 미리 학습함으로써 인식율을 획기적으로 향상시킬 수 있다.
또한 본 발명의 실시예에 의하면 이벤트를 발생시키는 변환 엔진과 이벤트를 수신하는 가상 인터렉티브 컨텐츠가 독립적으로 실행되므로 두 프로그램 간에 호환성을 유지하기 위해 가상 인터렉티브 컨텐츠를 수정할 필요가 없다. 따라서 인터렉티브 컨텐츠의 생산성이 증대되는 한편 변환 엔진의 범용성이 보장된다.
도 1은 실시예 1의 사용자 인터페이스 제공 시스템의 구성을 개략적으로 도시한 개념도이다.
도 2는 실시예 1의 사용자 인터페이스 제공 시스템에 대한 블록 구성도이다.
도 3 및 도 4는 실시예1의 변형 실시예의 시스템 구성을 도시한 블록도이다.
도 5a 내지 도 5d는 머신러닝을 위한 객체 영상의 촬영 장면들을 도시한다.
도 6은 실시예 2의 사용자 인터페이스 제공 시스템에 대한 블록 구성도이다.
도 7은 실시예 3의 사용자 인터페이스 제공 방법을 단계별로 도시한 플로우챠트이다.
도 8은 실시예 3의 사용자 인터페이스 제공 방법 중 머신러닝 과정을 단계별로 도시한 플로우챠트이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 명세서에서 기재한 모듈(MODULE)이란 용어는 특정한 기능이나 동작을 처리하는 하나의 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합을 의미할 수 있다.
본 명세서 및 청구범위에 사용되는 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 도면들 중 동일한 구성요소들은 가능한 한 어디든 동일한 부호들로 나타내고 있음에 유의해야 한다.
본 발명의 명세서에서 “이동 객체” 또는 “객체”라 함은 사용자가 자신의 신체 일부를 사용하거나 라켓, 클럽 등의 장비를 사용하여 움직임을 야기시킬 수 있는 물체를 말하는 것으로 축구공, 농구공, 배구공, 정구공, 배드민턴공, 오자미, 다트 등을 예로 들 수 있다. 그러나, 이에 한정되는 것은 아니며 일정한 형태가 유지되고 사용자에 의해 용이하게 이동시킬 수 있는 물체라면 그 어느 것이라도 “객체”에 해당될 수 있다. 이러한 “객체”는 가상 인터렉티브 컨텐츠의 실행이나 제어를 위한 입력 수단(예를 들어 마우스, 포인터 등)의 역할을 수행한다는 점에서 “가상 마우스 객체” 또는 “가상 포인터 객체” 로도 불리울 수 있다.
본 발명의 명세서에서 “인터렉티브 컨텐츠”라 함은 미리 정해진 구성(plot)대로 일방적으로 재생 또는 실행되는 컨텐츠가 아니라 사용자의 실시간 행위(action)에 반응하여 그에 따른 다양한 결과물을 출력 또는 실행하는 컨텐츠를 말한다.
또한 “가상 인터렉티브 컨텐츠”라 함은 마우스나 터치패드(이하 '마우스 등'이라 함)와 같은 통상의(conventional) 입력 수단을 이용하여 컨텐츠를 실행하는 것이 아니라, 실제 컨텐츠는 별도의 컴퓨터 장치에서 실행되지만 그 컨텐츠의 실행 영상은 빔 프로젝터를 통해 벽면이나 바닥, 또는 천정(이하 '벽면 등'이라 함)에 직접 투사되거나, 벽면 등에 설치된 스크린 막에 투사되거나, 벽면 등에 설치되는 디스플레이 장치(예를 들면 디지털 TV나 디지털 모니터)를 통해 출력되고, 사용자는 컨텐츠의 영상이 디스플레이 되는 벽면 등을 이동 객체를 통해 터치함으로써 마우스 등의 입력 수단과 동일한 효과를 가상으로 구현하는 인터렉티브 콘텐츠를 말한다.
이와 같은 인터렉티브 컨텐츠는 영화, 디지털 서적, 디지털 액자 등의 미디어 컨텐츠로 구현되거나 사용자의 터치 입력에 의해 진행되는 대화형 게임으로 구현될 수 있다.
<실시예 1>
실시예 1은 스테레오 카메라를 이용하여 이동 객체를 인식하는 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 시스템에 관한 것이다.
도 1은 실시예 1의 사용자 인터페이스 제공 시스템의 구성을 개략적으로 도시한 개념도이다.
도 1에서 보듯, 사용자는 가상 마우스 객체에 해당하는 공을 컨텐츠가 디스플레이 되는 벽면의 특정 지점을 향해 던짐으로써 컨텐츠를 실행(play)시킨다.
컨텐츠가 투사되는 벽면의 반대쪽 벽면 또는 천정 또는 어느 일 측 벽면에는 사용자의 액션과 컨텐츠 장면을 촬영하는 디지털 카메라(10)가 배치되고, 인터렉티브 컨텐츠는 별도로 마련된 애플리케이션 구동 장치(20)에서 실행된다.
컨텐츠가 투사되는 벽면의 반대쪽 벽면 또는 천정에는, 애플리케이션 구동 장치(20)로부터 인터렉티브 컨텐츠의 영상을 전송 받아 벽면을 향해 출력하는 영상 출력 장치(30)가 배치된다.
도 2는 실시예 1의 사용자 인터페이스 제공 시스템의 세부 구성을 도시한 블록도이다.
도 2를 참고하면, 실시예 1의 시스템은 디지털 카메라(10), 애플리케이션 구동 장치(20) 및 영상 출력 장치(30)를 포함하며, 머신러닝 서버(40)를 더 포함할 수 있다.
디지털 카메라(10)는 이동 중인 가상 포인터 객체가 포함된 컨텐츠 장면을 촬영하고, 촬영된 영상 데이터를 애플리케이션 구동 장치(20)로 전송한다.
용이한 데이터의 전송을 위해 디지털 카메라(10)는 애플리케이션 구동 장치(20)와 USB, RJ-45 등과 같은 유선 통신 인터페이스나, 블루투스, IEEE 802.11, LTE와 같은 근거리 또는 광대역 무선 통신 인터페이스로 연결될 수 있다. 여기에 언급한 통신 인터페이스 또는 통신 프로토콜은 예시에 불과하며 영상 데이터를 원활하게 전송하기 위한 어떠한 통신 인터페이스 및 프로토콜도 사용 가능하다.
영상 데이터에서 이동 객체를 식별하고 카메라(10)와 이동 객체 간의 거리를 추정하기 위해 스테레오 타입 기법의 알고리즘(stereo-type measurement algorithm)이 사용될 수 있다. 스테레오 타입 기법은 이격된 두 개의 카메라 모듈(이미지 센서)를 이용하여 동일 객체를 촬영하고, 두 카메라 모듈 간 시점의 불일치에 의해 발생하는 각도 차이를 이용하여 객체와의 거리를 추정한다.
실시예 1의 시스템은 스테레오 타입 기법을 이용하므로 실시예 1의 디지털 카메라(10)는 적어도 2개의 2D 이미지 센서 모듈(미도시)을 포함한다.
다음으로, 애플리케이션 구동 장치(20)는 변환 엔진(21)과 인터렉티브 컨텐츠 애플리케이션(22)을 실행한다.
애플리케이션 구동 장치(20)는 데스크탑 PC, 노트북, 모바일 탭, 스마트폰, 서버와 같은 단일 장치 내에 변환 엔진(21)과 인터렉티브 컨텐츠 애플리케이션(22)을 함께 설치 및 실행할 수 있다.
또는 애플리케이션 구동 장치(20)는 위의 예시된 데스크탑 PC 등의 단일 장치에 변환 엔진(21)이 설치 및 실행되고, 별도의 서버(20-1)에 인터렉티브 컨텐츠 애플리케이션(22)을 설치 및 실행할 수도 있다. 도 3은 이와 같은 변형 실시예의 시스템 구성을 도시한 블록도이다.
또는 변환엔진(21)은 디지털 카메라(10)에 설치되어 실행되고, 인터렉티브 컨텐츠 애플리케이션만 애플리케이션 구동 장치(20)에서 실행되며, 디지털 카메라(10)와 애플리케이션 구동 장치(20)는 Wifi나 LAN 등과 같은 근거리 통신망 또는 LTE나 5G 광대역 통신망을 통해 연결될 수 있다. 도 4는 이와 같은 변형 실시예의 시스템 구성을 도시한 블록도이다.
변환 엔진(21)은 이동 객체가 벽면에 충돌한 때 마우스의 클릭에 해당하는 이벤트를 생성하고, 이 이벤트를 인터렉티브 컨텐츠 애플리케이션(22)에 전달한다. 이를 위해 변환 엔진(21)은 객체인식 모듈(21-1)과 이벤트 모듈(21-2)를 포함할 수 있다.
객체인식 모듈(21-1)은 카메라(10)가 보내온 영상 데이터를 프로세싱 하여 이동 객체를 식별하고, 스테레오 타입 기법을 이용하여 카메라(10)와 객체 간의 거리를 추정한다. 객체 식별과 거리 추정을 통칭하여 트래킹(tracking)이라 정의하기로 한다. 트래킹은 카메라(10)가 보내온 영상 데이터의 모든 프레임에 대해 수행될 수도 있고, 잦은 트래킹에 따른 변환 엔진(21)의 처리 부담(burden of load)을 고려하여 미리 설정된 간격의 프레임에 대하여 간헐적으로 수행될 수도 있다.
또한 객체인식 모듈(21-1)은 변환 엔진(21)에 포함될 수도 있고, 디지털 카메라(10)에 펌웨어로 설치될 수도 있다. 디지털 카메라(10)에 펌웨어로 설치될 경우, 디지털 카메라(10)는 영상 데이터 대신 객체와의 거리 및 객체의 좌표를 포함하는 트래킹 정보를 변환 엔진(21)의 이벤트 모듈(21-2)에 제공한다.
이벤트 모듈(21-2)은 이동 객체가 벽면에 충돌하였는지 여부를 판단하고, 충돌 지점의 좌표를 인터렉티브 컨텐츠 애플리케이션의 실행 화면상의 좌표로 변환하며, 변환된 좌표를 포함한 이벤트를 생성하고, 이벤트를 인터렉티브 컨텐츠 애플리케이션에 전송한다.
이벤트 모듈(21-2)이 이동 객체가 벽면에 충돌하였는지 여부를 판단하는 원리는 다양한 알고리즘으로 구현될 수 있다.
일 예의 알고리즘은 다음과 같다. 즉, 카메라(10)와 벽면 간의 거리(A)는 미리 측정되어 변환 엔진(21)에 저장된다. 이벤트 모듈(21-2)은 객체인식 모듈(21-1)이 지속적으로 보내오는 객체와의 거리(B)를 미리 저장된 거리(A)와 비교하고, 두 거리(A, B)가 동일해지면 객체가 벽면에 충돌한 것으로 간주한다.
다른 일 예의 알고리즘은 다음과 같다. 즉, 이벤트 모듈(21-2)은 객체인식 모듈(21-1)이 보내오는 객체와의 거리(B)의 변화의 추이를 지속적으로 모니터링한다. 그리고 거리(B)가 증가하다가 감소로 돌아서는 순간을 충돌 순간으로 판단한다.
또 다른 일 예의 알고리즘은 다음과 같다. 즉, 이벤트 모듈(21-2)은 객체인식 모듈(21-1)이 보내오는 영상 데이터에서 식별한 객체의 크기 변화의 추이를 지속적으로 모니터링한다. 카메라(10)에서 멀어질수록 크기가 점점 작아질 것이므로 객체의 크기가 감소하다가 증가로 돌아서는 순간을 충돌 순간으로 판단한다.
위에서 언급한 세 개의 알고리즘은 예시에 불과하며 당업자라면 다양한 원리에 의해 객체의 충돌 여부를 판단할 수 있을 것이다.
이벤트 모듈(21-2)은 컨텐츠 영상이 실제로 디스플레이 되는 벽면 화면의 XY좌표와 컨텐츠 애플리케이션의 실행 화면상의 xy좌표를 미리 매칭해 놓은 매핑 테이블을 가지고 있다.
이벤트 모듈(21-2)은 이동 객체가 벽면에 충돌한 것으로 판단되면, 영상 데이터를 프로세싱 하여 충돌 지점의 XY좌표를 알아내고, 매핑 테이블에서 이 XY좌표에 매칭되는 xy좌표를 찾는다. 여기서 매핑 테이블이라 함은 미리 정해진 간격의 XY좌표와 미리 정해진 간격의 xy좌표를 미리 저장해 놓은 데이터베이스일 수도 있고, XY좌표와 xy좌표 간의 상관 관계(correlation)를 수학식으로 정의한 알고리즘일 수도 있다.
이벤트 모듈(21-2)은 변환된 xy좌표를 포함하는 이벤트를 생성하여 인터렉티브 컨텐츠 애플리케이션에 전달한다.
마이크로 소프트사의 윈도우즈(Windows)나 애플사의 맥 OS(MAC OS)와 같은 그래픽 유저 인터페이스(GUI) 기반의 운영체제 및 그러한 운영체제에서 실행되는 애플리케이션들은 소위 이벤트 구동 방식(event driven)으로 사용자의 지시를 입력 받는다.
예를 들면, 사용자가 마우스를 애플리케이션 화면 상의 (An, Bn)의 좌표 지점으로 위치시킨 후 왼쪽 마우스를 클릭하면, 운영체제는 마우스의 좌표를 포함하는 mouse_move_Event(A1,B1), mouse_move_Event(A2,B2), mouse_move_Event(A3,B3)…를 지속적으로 발생시킴으로써 마우스의 커서가 (A1,B1), (A2,B2), (A3,B3)…의 경로로 이동되어 표시되도록 하고, 마우스가 멈춘 지점에서는 mouse_left_Click(An, Bn)을 발생시킴으로써 (An, Bn)의 좌표에서 마우스 왼쪽 버튼이 클릭되었음을 운영체제 또는 활성화된 애플리케이션에 알린다.
실시예 1을 포함한 본 발명의 모든 실시예들에서 “이벤트”라 함은 인터렉티브 컨텐츠 애플리케이션(220)에 사용자의 지시를 입력하기 위한 어떠한 이벤트라도 모두 포함하는 개념으로 이해되어야 한다. 따라서 변환 엔진(21)이 인터렉티브 컨텐츠 애플리케이션(220)에 전달하는 이벤트는 마우스 좌 클릭 이벤트, 마우스 우 클릭 이벤트, 마우스 이동 이벤트, 마우스 더블 클릭 이벤트, 마우스 휠 클릭 이벤트 등으로 다양하게 정의될 수 있다.
구체적인 일례로, 객체인식 모듈(21-1)이 복수의 객체를 식별하는 경우, 객체인식 모듈(21-1)에 의해 제1 객체가 인식되면 이벤트 모듈(21-2)에 의해 마우스 좌 클릭 이벤트가 발생되고, 제2 객체가 인식되면 마우스 우 클릭 이벤트가 발생되고, 제3 객체가 인식되면 마우스 휠 클릭 이벤트가 발생하는 방식으로 구현될 수 있다. 이 경우, 플레이어는 3종류의 객체를 이용하여 가상 인터렉티브 컨텐츠를 컨트롤 할 수 있으므로 보다 풍부한 구성(plot)의 컨텐츠를 즐길 수 있게 된다.
본 발명은 변환 엔진(21)이 이벤트를 생성하고, 그 생성된 이벤트를 인터렉티브 컨텐츠 애플리케이션(22)에 전달하는 방식을 통해 이동 객체가 마치 마우스나 포인터처럼 동작하도록 만든다.
변환 엔진(21)이 생성하는 이벤트는 인터렉티브 컨텐츠 애플리케이션(22)이 실행되는 운영체제와 호환된다. 인터렉티브 컨텐츠 애플리케이션(22)의 개발자인 앨리스(Alice)는 변환 엔진(21)의 개발자인 밥(Bob)과 호환성에 대해 미리 협의할 필요가 없으며, 따라서 본 발명의 변환 엔진(21)은 시중에 판매되는 어떠한 인터렉티브 컨텐츠라도 인터페이싱을 위한 별도의 수정 없이 적용이 가능한 장점을 가진다.
다음으로, 영상 출력 장치(30)는 벽면 등에 컨텐츠 영상을 출력할 수 있는 기능을 가지기만 하면 어떠한 종류의 장치라도 상관없다.
예를 들어 빔 프로젝터, 벽면에 거치되는 대형 TV나 모니터와 같은 디스플레이 장치, 증강현실 헤드셋이 영상 출력 장치(30)로 사용될 수 있다. 영상 출력 장치(30)는 케이블이나 무선 통신을 통해 애플리케이션 구동 장치(20)와 연결된다.
빔 프로젝터를 이용하여 영상을 출력하면, 객체를 움직이는 사용자에 의해 영상에 그림자가 생기는 등에 문제가 발생할 수 있다. 이때, 복수의 빔 프로젝터로 동일한 영상을 다른 각도에서 조사함으로써 사용자에 의한 음영 영역이 없는 영상을 디스플레이 할 수 있다.
마지막으로, 머신러닝 서버(40)는 카메라(10)가 보내온 영상 데이터를 기반으로 객체를 식별하기 위한 여러 가지 특성을 학습하는 머신러닝 엔진(미도시)을 포함한다.
예를 들어 인식 대상의 객체가 축구공이라면, 머신러닝 서버(40)는 공의 형상, 공의 크기, 공 표면의 패턴 무늬, 공의 색상 중 적어도 하나의 특성을 기초로 객체를 식별하기 위한 일정한 패턴을 발견할 수 있다.
머신러닝 서버(40)는 디지털 카메라(10)와 연결된 애플리케이션 구동 장치(20)를 통해 영상 데이터를 제공 받을 수도 있고, 디지털 카메라(10)와 직접 연결되어 영상 데이터를 제공 받을 수도 있다.
도 5a 내지 도 5d는 머신러닝으로 객체의 식별 정보를 미리 학습하기 위해 다양한 위치에서 객체를 촬영하는 예를 도시한 것이다.
도 5a 내지 도 5d에서 보듯, 머신 러닝 단계에서 사용자는 공과 같은 객체를 손에 얹고 카메라(10)를 기준으로 전, 후, 좌, 우, 상, 하의 방위를 변경해 가면서 수십 개 내지 수백 개의 영상을 촬영한다. 도 5a 내지 도 5d에서는 사용자가 직접 객체를 잡고 하나 하나 촬영하는 케이스를 예를 들었지만 반드시 이에 한정될 것은 아니며, 카메라(10)의 촬영 영역 안으로 객체(공)를 던져 넣거나, 촬영 영역 안에서 사용자가 객체(공)를 벽면으로 던지는 장면을 동영상으로 촬영하고, 동영상을 구성하는 각 프레임의 영상에 대해 머신러닝을 수행할 수도 있다.
머신러닝 서버(40)는 이와 같이 촬영된 수십 개 내지 수백 개의 서로 다른 영상 데이터를 반복적으로 분석함으로써 객체를 보다 분명하게 식별하기 위한 특정 패턴을 발견한다.
변환 엔진(21)의 객체인식 모듈(21-1)은 머신러닝 모듈(40)이 미리 학습하여 도출한 결과물인 식별 패턴 정보를 이용하여 영상 데이터로부터 객체를 용이하게 식별할 수 있다.
특히 실시예 1에서는 적어도 두 개의 이미지 센서 모듈(미도시)을 구비하는 스테레오 카메라(10)를 채택하므로, 객체의 3D 이미지를 대상으로 머신러닝을 수행할 수도 있다. 따라서 머신러닝 이후 인터렉티브 컨텐츠를 플레이하는 단계에서 카메라의 촬영 영상 안에 또는 디스플레이되는 컨텐츠 영상 안에 설령 객체와 유사한 형태의 2D 이미지가 포함되어 있더라도 변환 엔진의 객체인식 모듈(21-1)은 객체와 유사 2D 이미지를 정확하게 구별해 낼 수 있다.
한편 머신러닝 서버(40)는 하나의 객체만을 학습할 수도 있지만 컨텐츠의 종류에 따라서 복수의 객체로 컨트롤이 필요한 경우에는 서로 다른 복수의 객체들을 식별하도록 미리 학습할 수도 있다.
<실시예 2>
실시예 2는 모노 카메라를 이용하여 이동 객체를 인식하는 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 시스템에 관한 것이다.
실시예 2는 방범(security)의 목적으로 폐쇄형 카메라(CCTV)와 같은 모노 카메라가 이미 설치되어 있거나, 상대적으로 저렴하게 사용자 인터페이스 제공 시스템을 구축하기 위해 모노 카메라를 채택하는 경우 등을 상정한 것이지만 반드시 이러한 경우들에 한정하는 것은 아니다.
도 6은 실시예 2의 사용자 인터페이스 제공 시스템의 세부 구성을 도시한 블록도이다.
도 6을 참고하면, 실시예 2의 사용자 인터페이스 제공 시스템은 디지털 카메라(100), 애플리케이션 구동 장치(200) 및 영상 출력 장치(300)를 포함하고, 머신러닝 서버(400)를 더 포함할 수 있다.
디지털 카메라(100)는 이동 중인 가상 포인터 객체가 포함된 컨텐츠 장면을 촬영하고, 촬영된 영상 데이터를 애플리케이션 구동 장치(200)로 전송한다.
디지털 카메라(100)와 애플리케이션 구동 장치(200)와의 연결 구조나 통신 프로토콜은 실시예 1의 디지털 카메라(10)와 동일하다.
디지털 카메라(100)는 영상 데이터에서 이동 객체를 식별하고 카메라(100)와 이동 객체 간의 거리를 추정하기 위해 구조화 패턴 기법 알고리즘(structured pattern measurement algorithm)을 사용한다.
구조화 패턴 기법의 디지털 카메라(100)는 적어도 하나의 광 투사 모듈과 적어도 하나의 이미지 센서 모듈을 포함하며, 광 투사 모듈이 구조화된 한 세트의 광 패턴을 객체에 투사하면 이미지 센서가 투사로 인해 비치는 이미지를 캡처함으로써 광학적 3D 스캐닝을 수행하고, 3D 스캐닝 결과를 이용하여 카메라(100)와 객체 간의 거리를 측정한다.
애플리케이션 구동 장치(200)는 변환 엔진(210)과 인터렉티브 컨텐츠 애플리케이션(220)을 실행한다. 변환 엔진(210)과 인터렉티브 컨텐츠 애플리케이션(220)이 하나의 장치(200) 안에서 실행되거나, 별도로 구분된 장치에서 개별적으로 실행될 수 있음은 실시예 1에서 설명한 바와 동일하다.
변환 엔진(210)은 이동 객체가 벽면에 충돌한 때 마우스의 클릭에 해당하는 이벤트를 생성하고, 이 이벤트를 인터렉티브 컨텐츠 애플리케이션(220)에 전달한다. 이를 위해 변환 엔진(210)은 객체인식 모듈(211)과 이벤트 모듈(212)를 포함할 수 있다.
객체인식 모듈(211)은 카메라(100)가 보내온 영상 데이터를 프로세싱 하여 이동 객체를 식별하고, 구조화 패턴 기법을 이용하여 카메라(100)와 객체 간의 거리를 추정한다.
이벤트 모듈(212)은 이동 객체가 벽면에 충돌하였는지 여부를 판단하고, 충돌 지점의 좌표를 인터렉티브 컨텐츠 애플리케이션의 실행 화면상의 좌표로 변환하며, 변환된 좌표를 포함한 이벤트를 생성하고, 이벤트를 인터렉티브 컨텐츠 애플리케이션에 전송한다.
이벤트 모듈(212)이 좌표를 변환하는 원리는 실시예 1에서 설명한 바와 동일하다.
영상 출력 장치(300) 및 머신러닝 서버(400) 역시 실시예 1의 영상 출력 장치(30) 및 머신러닝 서버(40)와 동일하다.
<실시예 3>
실시예 3은 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 방법에 관한 것이다.
도 7은 실시예 3의 사용자 인터페이스 제공 방법을 단계별로 도시한 플로우챠트이다.
설명의 편의를 위해 벽면에는 빔 프로젝터와 같은 영상 출력 장치에 의해 가상 인터렉티브 컨텐츠 영상이 디스플레이 되고, 사용자는 가상 마우스 객체를 벽면에 던져 컨텐츠를 플레이 시키고 있는 상황을 가정하여 상세히 설명한다.
다만 이러한 가정(premise)은 이해를 돕기 위한 것에 불과하며 실시예 3의 사용자 인터페이스 제공 방법은 실시예 1 및 실시예 2에서 제시된 다양한 변형 실시예들이 적용될 수 있음을 물론이다.
천정에 설치된 디지털 카메라는 벽면에 디스플레이 되는 영상과 사용자가 객체를 벽면에 던지는 장면을 촬영하고, 촬영된 영상 데이터를 실시간으로 애플리케이션 구동 장치로 전송한다(S101).
애플리케이션 구동 장치에서 실행 중인 변환 엔진은, 카메라가 보내온 영상 데이터에서 미리 학습된 가상 마우스 객체를 식별하고(S102), 객체의 이동을 트래킹(tracking)한다(S103). 여기서 트래킹이라 함은 식별된 객체와 카메라 간의 거리와 객체가 위치한 벽면 화면상의 좌표를 파악하는 절차를 말한다.
변환 엔진은 트래킹 과정에서 객체가 벽면에 부딪힌 것으로 판단되면(S104), 해당 터치 지점의 XY좌표를 인터렉티브 컨텐츠 애플리케이션의 실행 화면상의 xy좌표로 변환한다(S105).
그리고 변환된 좌표를 포함한 마우스 이벤트를 발생시키고, 그 마우스 이벤트를 인터렉티브 컨텐츠 애플리케이션에 전달한다(S106).
도 8은 실시예 3의 사용자 인터페이스 제공 방법 중 머신러닝 과정을 단계별로 도시한 플로우챠트이다.
이해를 돕기 위해 사용자가 디지털 카메라의 촬영 범위 안에 들어가 한 손에 공과 같은 가상 마우스 객체를 들고 수십 번 내지 수백 번의 테스트 촬영을 수행하는 도 5의 상황을 참고로 상세히 설명한다.
머신러닝 서버는 디지털 카메라 또는 디지털 카메라와 연결된 애플리케이션 구동 장치로부터 영상 데이터를 수신하고(S201), 영상 데이터를 프로세싱 하여 객체의 형상, 크기, 표면의 패턴 무늬, 색상 중 적어도 하나의 특성을 도출한다(S202).
만약 도출된 특성을 기초로 객체를 식별하기 위한 일정한 패턴이 정의되면(S203) 머신러닝 과정을 종료하고, 정의된 식별 패턴을 변환 엔진에 제공하여(S204) 추후 객체 식별의 기준 데이터로 활용될 수 있도록 한다. 그리고 아직 일정한 패턴을 정의하기에 미흡한 상태이면 S201 내지 S203 단계를 반복하여 수행한다.
사용자는 공과 같은 객체를 손에 얹고 카메라를 기준으로 전, 후, 좌, 우, 상, 하의 방위를 변경해 가면서 수십 개 내지 수백 개의 영상을 촬영할 수 있다. 머신러닝 서버는 이와 같이 촬영된 수십 개 내지 수백 개의 서로 다른 영상 데이터를 반복적으로 분석함으로써 객체를 보다 분명하게 식별하기 위한 특정 패턴을 정의한다.
머신러닝 과정의 종료는 미리 설정된 기준이 만족되면 자동으로 실행될 수도 있고 관리자의 판단에 의해 임의적으로 실행될 수도 있다.
위와 같은 단계를 통해 정의된 객체 식별을 위한 패턴은 변환 엔진에 제공되어, 움직이는 객체의 스틸 영상에서 어떠한 종류의 배경이 있더라도 객체를 정확하게 파악할 수 있도록 한다.
이상에서 설명한 실시예 3 및 실시예 4의 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 방법의 전체 또는 부분적 기능들은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음을 당업자들이 쉽게 이해할 수 있을 것이다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 상기 컴퓨터 판독 가능한 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, USB 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 외에도, 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며 그 반대도 마찬가지이다.
또한 본 발명은 위에서 설명한 실시예들에 한정되지 아니하며, 적용범위가 다양함은 물론이고 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 다양한 변형 실시가 가능한 것은 물론이다.
10, 100 : 디지털 카메라 20, 200 : 애플리케이션 구동 장치
30, 300 : 영상 출력 장치 40, 400 : 머신러닝 서버
21, 210 : 변환 엔진
21-1, 211 : 객체인식 모듈 21-2, 212 : 이벤트 모듈
22, 220 : 인터렉티브 컨텐츠 애플리케이션

Claims (12)

  1. 벽면에 디스플레이 되는 가상 인터렉티브 컨텐츠 영상을 촬영하는 디지털 카메라;
    상기 가상 인터렉티브 컨텐츠의 촬영 영상에서 미리 정의된 객체를 식별하고 상기 객체의 거리와 좌표를 파악하는 객체인식 모듈과, 상기 객체가 벽면에 부딪힌 때 상기 객체의 좌표에 매핑되는 상기 가상 인터렉티브 컨텐츠의 실행 화면상의 좌표가 포함된 이벤트를 인터렉티브 컨텐츠 애플리케이션에 전달하는 이벤트 모듈을 포함하는 변환 엔진을 실행하는 애플리케이션 구동 장치; 및
    동일한 객체를 서로 다른 위치에서 촬영한 복수의 영상 데이터를 반복적으로 분석하여 상기 객체를 식별하기 위한 형상, 크기, 표면의 패턴 무늬, 색상 중 둘 이상에 관한 패턴을 학습하는 머신러닝 서버를 포함하고,
    상기 이벤트는 마우스 좌 클릭 이벤트, 마우스 우 클릭 이벤트, 마우스 이동 이벤트, 마우스 더블 클릭 이벤트, 마우스 휠 클릭 이벤트 중 어느 하나이며,
    상기 디지털 카메라는 적어도 두 개의 이미지 센서를 가지고,
    상기 객체인식 모듈은, 상기 이미지 센서들의 화각 차이를 이용하여 상기 디지털 카메라와 상기 객체 간의 거리를 계산하는 것을 특징으로 하는
    가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 시스템.
  2. 제1항에 있어서,
    상기 가상 인터렉티브 컨텐츠의 영상을 벽면에 디스플레이 하는 영상 출력 장치를 더 포함하는 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 시스템.
  3. 제2항에 있어서,
    상기 영상 출력 장치는,
    빔 프로젝터, 벽면에 거치되는 디스플레이 기기, 증강현실 헤드셋 중 어느 하나인 것을 특징으로 하는 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 시스템.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 디지털 카메라는 적어도 하나의 이미지 센서를 가지며,
    상기 객체인식 모듈은, 상기 디지털 카메라로 촬영한 영상 속의 객체의 크기를 기초로 상기 디지털 카메라와 상기 객체 간의 거리를 계산하는 것을 특징으로 하는 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 시스템.
  7. 동일한 객체를 서로 다른 위치에서 촬영한 복수의 영상 데이터를 반복적으로 분석하여 상기 객체를 식별하기 위한 형상, 크기, 표면의 패턴 무늬, 색상 중 둘 이상에 관한 패턴을 학습하는 머신러닝 단계;
    가상 인터렉티브 컨텐츠의 촬영 영상에서 미리 학습된 객체를 식별하는 단계;
    상기 식별된 객체의 거리 및 좌표를 파악하는 단계;
    상기 객체가 벽면에 부딪힌 때 터치 지점의 좌표에 매핑되는 상기 가상 인터렉티브 컨텐츠의 실행 화면상의 좌표가 포함된 이벤트를 생성하는 단계; 및
    상기 이벤트를 가상 인터렉티브 컨텐츠 애플리케이션에 전달하는 단계를 포함하며,
    상기 이벤트는 마우스 좌 클릭 이벤트, 마우스 우 클릭 이벤트, 마우스 이동 이벤트, 마우스 더블 클릭 이벤트, 마우스 휠 클릭 이벤트 중 어느 하나이며,
    상기 촬영 영상은 적어도 두 개의 이미지 센서를 가지는 디지털 카메라로 촬영되고, 상기 거리는 상기 이미지 센서들의 화각 차이에 기초하여 계산되는 것을 특징으로 하는
    가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 방법.
  8. 삭제
  9. 제7항에 있어서,
    상기 촬영 영상은 하나의 이미지 센서를 가지는 디지털 카메라로 촬영되며,
    상기 거리는, 상기 컨텐츠 영상 속의 객체의 크기를 기초로 계산되는 것을 특징으로 하는 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 방법.
  10. 제7항에 있어서,
    상기 계산된 객체의 거리와 미리 설정된 벽면의 거리가 일치하면 상기 객체가 벽면에 터치된 것으로 판단하는 단계를 더 포함하는 것을 특징으로 하는 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 방법.
  11. 삭제
  12. 제7항, 제9항 내지 제10항 중 어느 하나의 방법을 알고리즘으로 구현한 컴퓨터 프로그램이 저장되는, 컴퓨터로 읽을 수 있는 기록매체.
KR1020190058257A 2019-04-17 2019-05-17 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 시스템, 방법 및 이를 위한 컴퓨터 프로그램이 저장된 기록매체 KR102041279B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/006028 WO2020213783A1 (ko) 2019-04-17 2019-05-20 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 시스템, 방법 및 이를 위한 컴퓨터 프로그램이 저장된 기록매체

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190045098 2019-04-17
KR20190045098 2019-04-17

Publications (1)

Publication Number Publication Date
KR102041279B1 true KR102041279B1 (ko) 2019-11-27

Family

ID=68729655

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020190058257A KR102041279B1 (ko) 2019-04-17 2019-05-17 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 시스템, 방법 및 이를 위한 컴퓨터 프로그램이 저장된 기록매체
KR1020190058258A KR102054148B1 (ko) 2019-04-17 2019-05-17 운동 유도를 위한 스포츠 인터렉티브 컨텐츠 실행 시스템
KR1020190071560A KR102275702B1 (ko) 2019-04-17 2019-06-17 신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020190058258A KR102054148B1 (ko) 2019-04-17 2019-05-17 운동 유도를 위한 스포츠 인터렉티브 컨텐츠 실행 시스템
KR1020190071560A KR102275702B1 (ko) 2019-04-17 2019-06-17 신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템

Country Status (2)

Country Link
KR (3) KR102041279B1 (ko)
WO (2) WO2020213783A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102454833B1 (ko) * 2022-05-12 2022-10-14 (주)이브이알스튜디오 가상의 아쿠아리움의 이미지를 표시하는 디스플레이 장치, 및 디스플레이 장치와 통신 가능한 사용자 단말의 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130050672A (ko) 2011-11-08 2013-05-16 재단법인대구경북과학기술원 ３차원 카메라를 이용한 가상 터치 방법 및 장치
KR20130071059A (ko) * 2011-12-20 2013-06-28 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20180293442A1 (en) * 2017-04-06 2018-10-11 Ants Technology (Hk) Limited Apparatus, methods and computer products for video analytics
KR101963682B1 (ko) * 2018-09-10 2019-03-29 주식회사 큐랩 증강현실 기반의 스포츠 콘텐츠에 따른 신체 측정 데이터 관리 시스템

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110013076A (ko) * 2009-08-01 2011-02-09 강병수 카메라 시스템을 이용한 손짓 및 터치형 양손 반지 마우스 입력 장치
KR101211178B1 (ko) * 2010-10-20 2012-12-12 에스케이플래닛 주식회사 증강 현실 컨텐츠 재생 시스템 및 방법
KR101357260B1 (ko) * 2010-10-22 2014-02-03 주식회사 팬택 증강 현실 사용자 인터페이스 제공 장치 및 방법
KR20120114767A (ko) 2011-04-08 2012-10-17 동서대학교산학협력단 사물 투척형 게임 디스플레이 시스템 및 그 방법
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
KR101572346B1 (ko) * 2014-01-15 2015-11-26 (주)디스트릭트홀딩스 증강현실 스테이지, 라이브 댄스 스테이지 및 라이브 오디션을 위한 서비스 시스템 및 서비스 방법
KR20150035854A (ko) * 2015-02-17 2015-04-07 주식회사 홍인터내셔날 원격 멀티 모드 시 스로우 라인을 이용한 인증이 가능한 다트 게임 장치
KR101860753B1 (ko) * 2016-06-13 2018-05-24 (주)블루클라우드 사용자 인식 컨텐츠 제공 시스템 및 그 동작방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130050672A (ko) 2011-11-08 2013-05-16 재단법인대구경북과학기술원 ３차원 카메라를 이용한 가상 터치 방법 및 장치
KR20130071059A (ko) * 2011-12-20 2013-06-28 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20180293442A1 (en) * 2017-04-06 2018-10-11 Ants Technology (Hk) Limited Apparatus, methods and computer products for video analytics
KR101963682B1 (ko) * 2018-09-10 2019-03-29 주식회사 큐랩 증강현실 기반의 스포츠 콘텐츠에 따른 신체 측정 데이터 관리 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102454833B1 (ko) * 2022-05-12 2022-10-14 (주)이브이알스튜디오 가상의 아쿠아리움의 이미지를 표시하는 디스플레이 장치, 및 디스플레이 장치와 통신 가능한 사용자 단말의 제어 방법

Also Published As

Publication number Publication date
KR102054148B1 (ko) 2019-12-12
KR20200122202A (ko) 2020-10-27
KR102275702B1 (ko) 2021-07-09
WO2020213783A1 (ko) 2020-10-22
WO2020213784A1 (ko) 2020-10-22

Similar Documents

Publication Publication Date Title
KR101881620B1 (ko) 게임플레이에서의 3차원 환경 모델 사용
CN102938844B (zh) 利用立体成像生成自由视点视频
US10523929B2 (en) Systems and methods for creating an immersive video content environment
US8624962B2 (en) Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
US9628755B2 (en) Automatically tracking user movement in a video chat application
KR101518857B1 (ko) 고정된 카메라로 운동하는 피사체를 촬영하고 그 촬영 이미지에 기초하여 피사체의 실제의 운동 궤적의 투사 이미지를 획득하기 위한 방법 및 시스템
JP7051315B2 (ja) ボールの回転を測定するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体
US20110109617A1 (en) Visualizing Depth
CN101919241B (zh) 在投射图像上定位光斑的双模投影装置及方法
CN105073210A (zh) 使用深度图像的用户身体角度、曲率和平均末端位置提取
US20210038975A1 (en) Calibration to be used in an augmented reality method and system
US20230289982A1 (en) Methods and systems to track a moving objects trajectory using a single camera
Meško et al. Laser spot detection
KR102041279B1 (ko) 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 시스템, 방법 및 이를 위한 컴퓨터 프로그램이 저장된 기록매체
US20230100572A1 (en) Methods and systems to track a moving sports object trajectory in 3d using multiple cameras
US10924721B2 (en) Volumetric video color assignment
JP6869826B2 (ja) ボールの画像撮影のために関心領域を決定するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体
US20240155257A1 (en) Determining a camera control point for virtual production
US20230326075A1 (en) Methods and systems for camera calibration based on apparent movement of image content at a scene

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant