KR102662975B1 - 인공지능 모델을 이용한 음악 vr게임 장치 및 방법 - Google Patents

Abstract

본 발명은 인공지능 모델을 이용한 음악 VR게임 장치에 관한 것이며, 인공지능 모델을 이용한 음악 VR게임 장치는 게임 제작자 단말로부터 사운드 데이터를 입력받는 입력부; 인공지능 모델을 이용하여 상기 사운드 데이터에 대응하는 음악 VR게임 데이터를 생성하는 VR게임 생성부; 상기 VR게임 생성부에서 생성된 상기 음악 VR게임 데이터를 제공하는 제공부; 및 각 부의 작동을 제어하는 제어부를 포함할 수 있다.

Description

인공지능 모델을 이용한 음악 VR게임 장치 및 방법{Music VR game device and method using artificial intelligence model}

본 발명은 인공지능 모델을 이용한 음악 VR게임 장치 및 방법에 관한 것이다.

일반적으로 멀티미디어는 사용자의 입장에서 컴퓨터의 정보가 텍스트, 이미지, 그래픽스, 애니메이션 뿐만 아니라 오디오나 비디오로도 표현되는 것을 의미한 것으로, 현대의 오락게임은 이러한 멀티미디어를 응용한 것이 대부분이다.

현재 사용되고 있는 오락게임은 게임장치에 의해 오락게임을 즐기거나, CD 및 PC를 이용하여 즐기도록 되어 있으며, 과거에는 10대 초반 위주로 게임을 즐겼던 반면, 최근에는 10대 뿐만 아니라 젊은층을 포함해 다양한 연령층의 사람들이 게임을 즐기고 있는 추세이다.

상기와 같은 게임 계층의 변화에 따라, 최근에는 보조적인 역할(일예로 배경음악)에 머물러 있던 음악(music)을 주게임으로 변경한 음악게임이 급성장하고 있다.

도 1은 종래의 음악게임의 예를 나타낸다. 도 1을 참조하면, 종래에 공지된 음악게임으로는, 도 1의 (a)에 도시된 것과 같이 화면 아래쪽에서 위쪽 방향으로 이동하는 화살표 아이콘들을 보면서 그래픽 화면에서 지시하는 화살표의 방향에 따라 스텝을 밟으며 신체를 움직이는 댄스 댄스 레볼루션(DDR), 도 1의 (b)에 도시된 것과 같이 배경음악이 흘러나오는 가운데 그래픽 화면의 위쪽에서 아랫방향으로 떨어지는 음표(바 아이콘)에 맞춰 건반을 누르면 음악이 나오는 비트매니아 등이 존재한다.

그런데, 상술한 종래의 공지된 음악게임들은, 대부분 게임 진행시 제공되는 그래픽 화면이 배경으로 흘러나오는 음악(배경음악)의 사운드의 변화에 따라 변화되는 것 없이, 단순히 획일적인 형태로 기 생성된 아이콘(즉, 화살표 아이콘이나 바 아이콘 등)을 일측 방향(일예로 상측방향 혹은 하측방향)으로 움직이게 하는 단조로운 형태로 제공될 뿐이어서, 제공되는 해당 그래픽 화면을 통하여 흘러나오는 음악 자체를 온전히 느끼고 몰입하며 게임을 수행하기에 어려운 측면이 있다.

즉, 종래의 공지된 음악게임들의 그래픽 화면은, 대부분 이동되는 아이콘들이 특정 지점에 도달했을 때에 그 타이밍에 정확히 맞추어 사용자가 버튼(발판 버튼, 또는 건반 버튼)을 눌렀는지 여부를 시각적으로 보여주기 위한 목적 위주로 제작되어 제공되고 있는 실정이다. 이러한 형태의 그래픽 화면을 토대로 한 종래의 음악게임은, 이동되는 아이콘들이 특정 지점에 도달했을 때 그 타이밍에 맞게 버튼을 누르는 방식으로 게임 진행이 이루어지는 것임에 따라, 게임을 하는 사용자가 단순히 음악의 비트(박자)에만 집중하여 온전히 정확한 비트에 맞게 버튼을 누르고자 하는 데에만 신경 쓰며 게임을 수행하게 하는 환경을 제공할 뿐, 흘러나오는 음악 자체에 몰입하며 게임을 즐기기에 어려운 환경이라 할 수 있다.

본 발명의 배경이 되는 기술은 한국공개특허공보 제10-2009-0025321호에 개시되어 있다.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 게임을 행하는 사용자(즉, 게임 참여자)가 음악게임을 수행함에 있어서, 흘러나오는 음악 자체를 온전히 느끼고 몰입하며 게임을 수행할 수 있도록 하는 그래픽 화면을 갖는 게임의 제공이 가능한, 인공지능 모델을 이용한 음악 VR게임 장치 및 방법을 제공하려는 것을 목적으로 한다.

다만, 본 발명의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 인공지능 모델을 이용한 음악 VR게임 장치는, 게임 제작자 단말로부터 사운드 데이터를 입력받는 입력부; 인공지능 모델을 이용하여 상기 사운드 데이터에 대응하는 음악 VR게임 데이터를 생성하는 VR게임 생성부; 상기 VR게임 생성부에서 생성된 상기 음악 VR게임 데이터를 제공하는 제공부; 및 각 부의 작동을 제어하는 제어부를 포함할 수 있다.

또한, 상기 VR게임 생성부는, 상기 사운드 데이터를 상기 인공지능 모델의 입력으로 적용하여 상기 사운드 데이터에 대응하는 복수의 패턴파일 데이터를 추출하는 데이터 처리부를 포함하고, 상기 복수의 패턴파일 데이터를 기반으로, 상기 음악 VR게임 데이터를 생성할 수 있다.

또한, 상기 복수의 패턴파일 데이터 각각은, 바닥타일의 속성 정보로서, 바닥타일의 패턴 변화의 시작 시간 정보와 끝 시간 정보, 바닥타일의 시작 위치 정보, 및 바닥타일의 패턴 변화의 진행방향 정보를 포함할 수 있다.

또한, 상기 VR게임 생성부는, 상기 복수의 패턴파일 데이터 각각 내 바닥타일의 속성 정보를 기반으로, 상기 복수의 패턴파일 데이터 각각에 대응되는 복수의 바닥타일을 3차원 공간의 VR게임 맵 상에서 Z 축 방향으로 연결시킴으로써 상기 음악 VR게임 데이터를 생성할 수 있다.

또한, 상기 제어부는, 게임 참여자 단말에서 게임제공 요청을 한 경우, 게임 DB에 저장된 복수개의 음악 VR게임 데이터의 리스트를 상기 게임 참여자 단말로 제공하고, 상기 리스트 내 복수개의 음악 VR게임 데이터 중 어느 한 음악 VR게임 데이터인 제1 음악 VR게임 데이터에 대하여 상기 게임 참여자 단말에서 재생 요청이 이루어진 것으로 감지된 경우, 상기 제1 음악 VR게임 데이터의 재생 영상이 상기 게임 참여자 단말의 화면에 표출되도록 상기 게임 참여자 단말의 작동을 제어할 수 있다.

또한, 상기 제1 음악 VR게임 데이터의 재생 영상은, 상기 제1 음악 VR게임 데이터를 구성하는 복수의 바닥타일을 바닥타일의 연결 방향을 따라 이동하는 영상이되, 상기 제1 음악 VR게임 데이터 내 복수의 바닥타일 중 첫번째 위치한 바닥타일을 시작 지점으로 하여, 시간이 경과함에 따라 시점이 Z 축 방향으로 전진 이동하도록 변화되고, 시점의 이동으로 인해 복수의 바닥타일 중 지나간 바닥타일의 경우 비활성화되어 화면에 표출되지 않도록 설정된 영상일 수 있다.

또한, 본 발명의 일 실시예에 따른 인공지능 모델을 이용한 음악 VR게임 장치는, 상기 재생 영상이 상기 게임 참여자 단말의 화면에 표출 중일 때, 상기 제1 음악 VR게임 데이터에 대한 게임 참여자의 게임 참여에 따른 게임 조작신호가 입력된 것으로 감지된 경우, 상기 제1 음악 VR게임 데이터 내 복수의 바닥타일의 패턴 변화와 상기 게임 조작신호 간의 비교를 통해 게임 점수를 도출하여 제공하는 게임 점수 관리부를 더 포함할 수 있다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.

전술한 본 발명의 과제 해결 수단에 의하면, 인공지능 모델을 이용한 음악 VR게임 장치 및 방법을 제공함으로써, 게임 제작자로 하여금, 게임에서 흘러나오는 음악 자체를 온전히 느끼고 몰입하며 게임을 수행할 수 있도록 하는 그래픽 화면을 갖는 게임(즉, 음악 VR게임 데이터)을 손쉽게 생성(제작) 가능하도록 할 수 있다.

전술한 본 발명의 과제 해결 수단에 의하면, 인공지능 모델을 이용한 음악 VR게임 장치 및 방법을 제공함으로써, 게임을 행하는 사용자(즉, 게임 참여자)로 하여금, 음악 VR게임 데이터에 대응하는 게임(음악게임)을 수행할 때 흘러나오는 음악 자체를 온전히 느끼면서 몰입하며 게임을 즐겁게 수행 가능하도록 할 수 있다.

다만, 본 발명에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.

도 1은 종래의 음악게임의 예를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 인공지능 모델을 이용한 음악 VR게임 장치를 포함하는 인공지능 모델을 이용한 음악 VR게임 시스템의 개략적인 구성을 나타낸 도면이다.
도 3 내지 도 8은 본 발명의 일 실시예에 따른 인공지능 모델을 이용한 음악 VR게임 장치를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 인공지능 모델을 이용한 음악 VR게임 방법에 대한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 발명의 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.

본 발명의 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본 발명의 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

도 2는 본 발명의 일 실시예에 따른 인공지능 모델을 이용한 음악 VR게임 장치(10)를 포함하는 인공지능 모델을 이용한 음악 VR게임 시스템(1)의 개략적인 구성을 나타낸 도면이다. 도 3 내지 도 8은 본 발명의 일 실시예에 따른 인공지능 모델을 이용한 음악 VR게임 장치(10)를 설명하기 위한 도면이다.

이하에서는 설명의 편의상, 본 발명의 일 실시예에 따른 인공지능 모델을 이용한 음악 VR게임 장치(10)를 본 장치(10)라 하고, 본 발명의 일 실시예에 따른 인공지능 모델을 이용한 음악 VR게임 시스템(1)을 본 시스템(1)이라 하기로 한다. 또한, 도 2 내지 도 8에 도시(기재)된 사항은 이하 생략된 내용이라 하더라도 본 장치(10)에 대한 설명에도 동일하게 적용될 수 있다.

도 2 내지 도 8을 참조하면, 본 시스템(1)은 본 장치(10), 게임 제작자 단말(20) 및 게임 참여자 단말(30)을 포함할 수 있다.

본 장치(10)는 사운드 데이터를 기반으로, 인공지능 모델을 이용해 음악 VR게임 데이터를 생성하여 제공하는 장치일 수 있다. 본 장치(10)에 의해 생성되는 음악 VR게임 데이터는 음악게임, 음악 VR(Virtual Reality)게임, 음악게임 데이터, 게임 등의 용어로 달리 지칭될 수 있다.

게임 제작자 단말(20)은 본 장치(10)를 통하여 음악 VR게임 데이터(음악게임)의 제작을 희망하는 사용자(즉, 게임 제작자(21))가 소지한 단말을 의미할 수 있다. 게임 제작자 단말(20)은 본 장치(10)에 사운드 데이터를 업로드하고, 업로드된 사운드 데이터에 대응하도록 생성된 음악 VR게임 데이터를 본 장치(10)로부터 제공받을 수 있다. 또한, 게임 제작자 단말(20)은 제공받은 음악 VR게임 데이터를 일예로 본 장치(10)를 통해 타 사용자에게 제공(배포)되도록 할 수 있고, 이를 통해 타 사용자가 해당 음악게임을 수행(실행, 이용) 가능하도록 할 수 있다. 여기서, 타 사용자는 본 장치(10)를 이용하는 복수의 게임 제작자 및 복수의 게임 참여자 중 적어도 한 사용자를 의미할 수 있다.

게임 참여자 단말(30)은 본 장치(10)로부터 제공되는 음악 VR게임 데이터를 재생(플레이)하여 게임을 수행하는 사용자(즉, 게임 참여자(31))가 소지한 단말을 의미할 수 있다. 게임 참여자 단말(30)은 일예로 본 장치(10)에 접속하여 본 장치(10)의 게임 DB(14)에 저장된 복수의 음악 VR게임 데이터(즉, 복수의 음악게임) 중 적어도 하나의 음악 VR게임 데이터를 재생(플레이)함으로써 재생시킨 음악 VR게임 데이터에 해당하는 게임을 수행할 수 있다.

게임 제작자(21)와 게임 참여자(31)는 모두 본 장치(10)를 이용하는 사용자일 수 있다. 이하에서는 설명의 편의상, 게임 제작자(21)와 게임 참여자(31)의 경우 역할 구분을 위해 서로 간에 구분하여 설명하기로 한다. 다만, 이는 본 발명의 이해를 돕기 위한 하나의 예시일 뿐, 이에만 한정되는 것은 아니고, 게임 제작자(21)가 게임 참여자가 될 수도 있고, 게임 참여자(31)가 게임 제작자가 될 수도 있다. 따라서, 게임 제작자(혹은 게임 제작자 단말)에 대하여 설명된 내용은 이하 생략된 내용이라 하더라도 게임 참여자(혹은 게임 참여자 단말)에 대한 설명에도 동일하게 적용될 수 있고, 그 반대로도 적용될 수 있다.

게임 제작자 단말(20)과 게임 참여자 단말(30)은 사용자 단말, 단말 등의 용어로 통칭되어 지칭될 수 있다.

본 발명에서 고려되는 단말(즉, 게임 제작자 단말(20)과 게임 참여자 단말(30) 각각)은, 일예로 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(WCode Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC, 노트북, 웨어러블 디바이스, 데스크탑 PC 등과 같은 모든 종류의 유무선 통신 장치를 포함할 수 있으며, 이에 한정되는 것은 아니다.

본 장치(10)는 게임 제작자 단말(20) 및 게임 참여자 단말(30) 각각과 네트워크(2)를 통해 연동되어 데이터를 송수신할 수 있다.

네트워크(2)는 일예로 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC(Near Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등을 포함할 수 있으나, 이에 한정된 것은 아니고, 다양한 유/무선 통신 네트워크를 포함할 수 있다.

또한, 도 1에 도시된 일예에서는 본 시스템(1)이 1개의 게임 제작자 단말(20)과 1개의 게임 참여자 단말(30)을 포함하는 것으로 예시하였으나, 이는 본 발명의 이해를 돕기 위한 하나의 예시일 뿐, 이에만 한정되는 것은 아니고, 본 시스템(1)은 복수개의 게임 제작자 단말 및 복수개의 게임 참여자 단말을 포함할 수 있다. 이에 따르면, 본 장치(10)는 복수개의 게임 제작자 단말 각각 및 복수개의 게임 참여자 단말 각각과 네트워크(2)를 통해 연동되어 데이터를 송수신할 수 있다. 또한, 이하 본 발명을 설명함에 있어서, 게임 제작자 단말(20)에 대하여 설명된 내용은 복수개의 게임 제작자 단말 각각에 대한 설명에도 동일하게 적용될 수 있고, 마찬가지로 게임 참여자 단말(30)에 대하여 설명된 내용은 복수개의 게임 참여자 단말 각각에 대한 설명에도 동일하게 적용될 수 있다.

본 장치(10)는 인공지능 모델을 이용한 음악 VR게임(혹은 인공지능 모델을 이용한 음악 VR게임 관련 서비스의 제공)과 관련된 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 본 장치(10)를 이용하는 사용자들이 소지한 단말로(즉, 게임 제작자 단말(20) 및 게임 참여자 단말(30) 각각에게) 제공할 수 있으며, 이를 통해 사용자들(즉, 게임 제작자와 게임 참여자)은 본 장치(10)에 의해 제공되는 인공지능 모델을 이용한 음악 VR게임 관련 서비스를 이용할 수 있다.

즉, 본 장치(10)는 일예로 단말(즉, 게임 제작자 단말(20) 및 게임 참여자 단말(30) 각각)에 설치되는 프로그램 또는 애플리케이션(어플, 앱)의 형태로 구현 가능한 장치일 수 있으며, 이를 달리 표현하면, 본 장치(10)를 통해 제공되는 인공지능 모델을 이용한 음악 VR게임 방법은 프로그램 또는 애플리케이션의 형태로 구현되어 단말을 통해 사용자들에게 제공될 수 있다. 다만, 이에 한정되는 것은 아니고, 다른 일예로 본 장치(10)는 단말(즉, 게임 제작자 단말(20) 및 게임 참여자 단말(30) 각각)과 데이터 송수신이 가능한 서버의 형태로 마련될 수 있으며, 서버의 형태로 마련된 본 장치(10)는, 본 장치(10)에 의해 제공되는 애플리케이션 등에 접속한 단말의 작동(일예로 화면 표시)를 제어할 수 있다. 도 1을 참조한 설명에서는 본 장치(10)가 일예로 서버의 형태로 마련되는 것을 예로 들어 설명하기로 하며, 이러한 경우 본 장치(10)는 서버, 인공지능 모델을 이용한 음악 VR게임 서버, 게임서버 등으로 달리 지칭될 수 있다. 본 장치(10)에 대한 보다 구체적인 설명은 다음과 같다.

도 2 내지 도 8을 참조하면, 본 장치(10)는 입력부(11), VR게임 생성부(12), 제공부(13), 게임 DB(14), 제어부(15) 및 게임 점수 관리부(16)를 포함할 수 있다.

입력부(11)는 게임 제작자 단말(20)로부터 사운드 데이터를 입력받을 수 있다. 게임 제작자(21)는 자신이 음악 VR게임 데이터로(즉, 음악게임으로) 만들고자 하는 음악의 사운드 데이터를 본 장치(10)에 업로드할 수 있으며, 이를 통해 입력부(11)는 게임 제작자 단말(20)로부터 업로드된 사운드 데이터를 입력받을 수 있다.

사운드 데이터는 노래, 소리, 및 음악과 관련된 데이터로서, 일예로 음원 데이터를 의미할 수 있다. 사운드 데이터는, 일예로 가수, 작사가, 작곡가 등의 종래의 뮤지션들에 의해 기 제작된 복수의 음원 데이터(음원파일) 중 어느 한 음원 데이터일 수 있으나, 이에만 한정되는 것은 아니고, 게임 제작자(21)에 의해 직접 제작된 음원 데이터일 수도 있다. 사운드 데이터는 일예로 가요, 팝송 등의 장르의 음악과 관련된 음원 데이터일 수 있다. 사운드 데이터는 일예로 wav, mp3, m4a 등의 확장자를 가진 음원 데이터(음원파일)일 수 있으며, 이에만 한정되는 것은 아니다. 사운드 데이터는 노래, 소리, 연주, 악곡, 오디오 등과 관련된 데이터일 수 있다.

VR게임 생성부(12)는, 인공지능 모델을 이용하여 입력부(11)에서 입력된 사운드 데이터에 대응하는(즉, 사운드 데이터에 따른) 음악 VR게임 데이터를 생성할 수 있다.

VR게임 생성부(12)는 데이터 처리부(12')를 포함할 수 있다. 데이터 처리부(12')는, 입력부(11)에서 입력된 사운드 데이터를 인공지능 모델의 입력으로 적용하여 인공지능 모델로부터 사운드 데이터에 대응하는 복수의 패턴파일 데이터(d)(d1, d2, d3, d4, …)를 추출할 수 있다. 이에, VR게임 생성부(12)는 데이터 처리부(12')에서 추출된 복수의 패턴파일 데이터(d)를 기반으로, 사운드 데이터에 대응하는 음악 VR게임 데이터를 생성할 수 있다.

여기서, 사운드 데이터에 대응하는 음악 VR게임 데이터는, 도 5 내지 도 7에 도시된 것과 같이, 사운드 데이터를 3차원 공간의 VR게임 맵 상에 시각화한 데이터(즉, 시각적으로 표현한 데이터)를 의미할 수 있다.

데이터 처리부(12')는, 입력된 사운드 데이터를 인공지능 모델의 입력으로 적용할 때, 일예로 입력된 사운드 데이터를 전처리함으로써, 전처리된 사운드 데이터를 인공지능 모델의 입력으로 적용할 수 있다. 여기서, 전처리로는 크로마(chroma) 분석 기법, 멜 스펙트로그램(Mel Spectrogram) 추출 기법이 적용될 수 있으며, 다만, 이에만 한정되는 것은 아니고, 이들 외에도 , MFCC, STFT(Short Time Fouriter Transform) 등 종래에 기 공지되었거나 향후 개발되는 다양한 음원(음악, 음성, 오디오)의 특징 추출 및 분석이 가능한 음원 분석 기법이 적용될 수 있다. 데이터 처리부(12')는 일예로 소리 데이터 분석에 유용한 도구인 리브로사(Librosa) 라이브러리를 이용하여 사운드 데이터에 대한 전처리를 수행할 수 있다.

간단히 설명하면, Librosa 라이브러리는, 파이썬(Python)에서 음원 데이터를 분석해주는 도구(라이브러리)로서, 일반적으로 사용하는 데이터 가공방법 및 여러가지 기능들을 제공하며, 간단하게 wav파일을 불러오는 것이 가능하다.

STFT(Short Time Fourier Transform)는 시간(Time) 도메인의 파형을 주파수(Frequency) 도메인으로 변형시키는 푸리에 변환을 의미하며, 이때 전체 파형을 대상으로 하면 제대로 된 주파수 분석을 할 수 없기 때문에, 짧은 시간 단위로 분리해서 각각의 구간에 대해 변환을 수행할 수 있다.

멜 스펙트로그램(Mel Spectrogram)은 주파수 특성이 시간에 따라 달라지는 오디오를 분석하기 위한 특징 추출 기법을 의미한다. 멜 스펙트로그램은 주파수의 단위를 아래의 식 1에 따라 멜 단위(Mel unit) 로 바꾼 스펙트럼(즉, 멜 스케일로 변환된 스펙트로그램)을 말한다.

[식 1]

멜 스케일(Mel-scale)은 이러한 피치(pitch)에서 발견한 사람의 음을 인지하는 기준(threshold)을 반영한 스케일(scale) 변환 함수를 의미하며, 이는 위 식 1과 같다. 피치(Pitch)는 음의 높낮이를 의미하며, 사람은 소리의 Hz가 저주파일 때 더 민감하게 인지하고, 고주파로 갈수록 둔감해진다는 점에서 출발한 개념이다.

MFCC(Mel Frequency Ceptstral Coefficient)는 멜 스펙트로그램을 DCT(Discrete Cosine Transform)으로 처리함으로써 얻게되는 결과값을 의미한다. 쉽게 말해, MFCC는 mel scale로 변환된 스펙트로그램을 더 적은 값들로 압축하는 과정이라 볼 수 있으며, 이때 압축하는 과정에서도 DCT를 사용하기도 한다. Librosa에서는 RAW데이터인 음원을 바로 MFCC로 만들어주는 기능이 존재하기도 한다. MFCC는 스펙트로그램 대비 압축된 정보를 담고 있다고 볼 수 있으며, 압축하는 과정에서 손실이 발생, 노이즈가 제거되는 효과가 있다. 이 때문에 MFCC 값이 고유의 음성 정보를 담고 있다고 보기도 한다. 주로 음성 데이터 분석을 할 때 MFCC로 하는 경우가 많으며, 이는 역변환을 하면 원본 파형데이터인 y의 형태로도 연산이 가능하기 때문이라 할 수 있다.

일예로, MFCC의 추출 과정에서는 Mel Filter Bank 과정이 이루어지는데, Mel Filter Bank 과정을 위해 각각의 프레임에 대해 얻어낸 주파수들에 대해서 Mel 값을 얻어내기 위한 Filter를 적용하게 되며, 이때 필터 N개를 모두 적용한 필터를 Mel-filter Bank 라고 부른다. 이에 따르면, 푸리에 변환을 통과한 신호가 Mel-filter Bank를 통과하게 되면 Mel-Spectrogram이라는 피쳐가 추출되게 된다.

MFCC는 간단히 말해 음성데이터를 특징벡터(Feature)화 해주는 알고리즘이라 할 수 있다. 즉, MFCC는 음성데이터를 벡터화하는 것이 주 목적이라 할 수 있다. 머신러닝(기계학습)에서 어떠한 데이터를 벡터화 한다는 것은 곧 학습이 가능하다는 의미이기 때문에 상당히 중요한 부분이라 할 수 있으며, 데이터에서 특징(Feature)을 어떤 방법으로 뽑느냐에 따라 모델의 성능이 상당히 좌우될 수 있기 때문에 굉장히 중요하다 할 수 있다. 일예로 이러한 MFCC Feature는 librosa 라이브러리를 이용해서 추출 가능할 수 있다.

크로마(chroma)는 음악에 있는 음 높이의 정보에 관한 특징을 의미한다. 크로마 특징은 음악의 흥미롭고 강렬한 표현이다. 크로마는 인간 청각이 옥타브 차이가 나는 주파수를 가진 두 음을 유사음으로 인지한다는 음악이론에 기반하며, 모든 스펙트럼을 12개의 Bin으로 표현하고, 12개의 Bin은 옥타브에서 12개의 각기 다른 반음(Semitones=Chroma)을 의미한다.

이처럼, 데이터 처리부(12')는, 입력부(11)에서 입력된 사운드 데이터에 대하여 일예로 리브로사(Librosa) 라이브러리를 이용해 음원 분석 기법을 적용함으로써 입력된 사운드 데이터를 전처리할 수 있고, 일예로 전처리된 사운드 데이터로서 사운드 데이터에 대응하는 멜 스펙트로그램(Mel Spectrogram)을 추출할 수 있다. 이후, 데이터 처리부(12')는 전처리된 사운드 데이터(일예로 멜 스펙트로그램)를 인공지능 모델의 입력값으로 적용할 수 있으며, 이를 통해 인공지능 모델로부터 출력값으로서 사운드 데이터에 대응하는 복수의 패턴파일 데이터(d)를 추출할 수 있다.

MFCC와 Mel-Spectrogram을 비교해 보면, 기존의 컴퓨팅 파워가 부족할 때에는 연산량을 적은 MFCC를 무조건적으로 선호하였던 반면, 최근에는 기계학습에 GPU 이용이 가능해짐에 따라 Mel-Spectrogram을 Feature로 뽑아서 쓰는 경우도 많고, 실제로 MFCC보다 더 긍정적인 결과를 보인 논문들도 공지된 바 있다.

이에, 본 발명에서 데이터 처리부(12')는 일예로 전처리된 사운드 데이터로서 사운드 데이터의 멜 스펙트로그램을 특징으로 추출하고, 추출된 멜 스펙트로그램을 인공지능 모델의 입력으로 적용함으로써 복수의 패턴파일 데이터(d)를 추출할 수 있다. 이때, 인공지능 모델로부터 출력되는 복수의 패턴파일 데이터(d)는, 사운드 데이터를 벡터화하여 표현한 데이터를 의미할 수 있다. 즉, 데이터 처리부(12')는 사운드 데이터를 벡터화시키고자 함에 있어서, MFCC를 이용하는 것이 아닌, 일예로 인공지능 모델을 이용하여 사운드 데이터를 벡터화시켜 사운드 데이터에 대응하는 복수의 패턴파일 데이터(d)를 추출할 수 있다.

이때, 데이터 처리부(12')에서 이용되는 인공지능 모델은, 복수의 사운드 데이터의 멜 스펙트로그램을 입력값으로 하고, 각각의 멜 스펙트로그램을 벡터화시킨 결과값(일예로 복수의 패턴파일 데이터)을 출력값으로 도출하도록 기 학습된 인공지능 모델일 수 있다.

이러한 인공지능 모델은, 딥러닝 모델, 기계학습(머신러닝) 모델, 신경망 모델(인공 신경망 모델), 뉴로 퍼지 모델 등을 의미할 수 있다. 또한, 인공지능 모델은 예시적으로 컨볼루션 신경망(Convolution Neural Network, CNN, 합성곱 신경망), 순환신경망(RNN, Recurrent Neural Network), 딥 신경망(Deep Neural Network) 등 종래에 이미 공지되었거나 향후 개발되는 다양한 신경망 모델이 적용될 수 있다.

데이터 처리부(12')에서 추출된 복수의 패턴파일 데이터(d)(즉, 입력부(11)에서 입력된 사운드 데이터에 대응하는 복수의 패턴파일 데이터)는, 인공지능 모델의 출력값으로서, 사운드 데이터를 벡터화로 표현한 데이터를 의미할 수 있다. 즉, 데이터 처리부(12')는 인공지능 모델을 이용하여 사운드 데이터(음악)에서 각 시점별 음악 VR게임에 적용되는 액션 정보로서 복수의 패턴파일 데이터(d)를 추출할 수 있다. 이러한 복수의 패턴파일 데이터(d)(d1, d2, d3, d4, …)는 일예로 도 4에 도시된 것과 같을 수 있다. 복수의 패턴파일 데이터(d)는 텍스트 파일 형태로 표현될 수 있는바, 복수의 텍스트 파일, 혹은 VR게임 맵핑 테이블 데이터 등의 용어로 달리 지칭될 수 있다.

도 4를 참조하면, 복수의 패턴파일 데이터(d) 각각은, 바닥타일의 속성 정보로서, 바닥타일의 패턴 변화의 시작 시간 정보(time_s)와 끝 시간 정보(time_e), 바닥타일의 시작 위치 정보(prog), 및 바닥타일의 패턴 변화의 진행방향 정보(즉, 꺾임 방향 정보)(move)를 포함할 수 있다. 즉, 복수의 패턴파일 데이터(d) 각각은 [time_s, time_e, prog, move]와 같은 형태의 텍스트 데이터로 표현되는 데이터(파일 데이터)일 수 있다.

여기서, 바닥타일은 3차원 공간의 VR게임 맵 상에서 특정 지점(포인트)에 위치하도록 생성되는 데이터로서, 사운드 데이터의 음악의 흐름을 표현하는 최소 단위의 데이터(객체, 아이콘)를 의미할 수 있다.

prog 정보는 VR게임 맵 상의 랜덤한 위치에서 바닥(바닥타일)을 새로 이어가기 하게하는 정보를 의미할 수 있다. 다시 말하면, prog 정보는 VR게임 맵 상에서, 생성되는 바닥타일이 이어지는 위치(바닥타일의 시작 위치 정보)를 정의한 정보를 의미할 수 있다. 일예로, prog 정보의 유형에는 노말(NORMAL) 및 워프업(WARP_UP)을 포함하여 2가지 유형이 포함될 수 있다. 일예로, 노말은 VR게임 맵 상에서 게임 제작자(21)에 의해 기 지정된 기준점 라인에서 바닥타일이 생성되어 이어지도록 설정된 정보를 의미할 수 있다. 워프업은 기준점 라인의 위치를 기준으로, 그보다 상측 방향으로 일정 거리만큼 이격된 상측 라인의 위치에서 바닥타일이 생성되어 이어지도록 설정된 정보를 의미할 수 있다.

move 정보는 바닥타일의 패턴 변화의 진행방향 정보(즉, 꺾임 방향 정보)를 의미할 수 있다. 즉, move 정보의 유형(타입)에는 업(UP), 다운(DOWN), 레프트(LEFT) 및 라이트(RIGHT)를 포함하여 4가지 유형이 포함될 수 있다. move 정보 유형이 업이면, 새롭게 생성되는 바닥타일이 VR게임 맵 상에서 이전에 생성되었던 바닥타일 대비 위쪽 방향으로 꺾여 이어지도록 생성될 수 있다. move 정보 유형이 다운이면, 새롭게 생성되는 바닥타일이 VR게임 맵 상에서 이전에 생성되었던 바닥타일 대비 아래쪽 방향으로 꺾여 이어지도록 생성될 수 있다. move 정보 유형이 레프트이면, 새롭게 생성되는 바닥타일이 VR게임 맵 상에서 이전에 생성되었던 바닥타일 대비 왼쪽 방향으로 꺾여 이어지도록 생성될 수 있다. move 정보 유형이 라이트이면, 새롭게 생성되는 바닥타일이 VR게임 맵 상에서 이전에 생성되었던 바닥타일 대비 오른쪽 방향으로 꺾여 이어지도록 생성될 수 있다.

VR게임 생성부(12)는 데이터 처리부(12')에서 추출된 복수의 패턴파일 데이터(d)를 기반으로, 사운드 데이터에 대응하는 음악 VR게임 데이터를 생성할 수 있다.

특히, VR게임 생성부(12)는, 복수의 패턴파일 데이터(d) 각각 내 바닥타일의 속성 정보를 기반으로, 복수의 패턴파일 데이터(d) 각각에 대응되는 복수의 바닥타일을 3차원 공간의 VR게임 맵 상에서 Z 축 방향(깊이 방향의 시점)으로 연결시킴으로써 음악 VR게임 데이터를 생성할 수 있다. 여기서, VR게임 맵 상에서의 Z 축 방향은, 일예로 게임 제작자 단말(20) 또는 게임 참여자 단말(30)의 화면(즉, 단말 화면)을 기준으로 보았을 때, 단말 화면과 수직하는 방향을 의미할 수 있다. 즉, 단말 화면(액정패널)의 가로(좌우) 방향은 VR게임 맵 상에서의 X 축 방향과 대응되고, 단말 화면의 세로(상하) 방향은 VR게임 맵 상에서의 Y 축 방향과 대응되며, 단말 화면의 평면과 수직하는 수직 방향(전후) 방향은 VR게임 맵 상에서의 Z 축 방향과 대응될 수 있다.

VR게임 생성부(12)는, 데이터 처리부(12')에서 추출된 복수의 패턴파일 데이터(d)를 로드하여(불러오기하여), 복수의 패턴파일 데이터(d)를 VR게임 맵 상에 반영함으로써 음악 VR게임 데이터를 생성할 수 있다.

일예로, 도 4와 도 5를 참조하면, 복수의 패턴파일 데이터(d)(d1, d2, d3, d4, …) 중 제1 패턴파일 데이터(d1)는, 패턴파일 데이터에 포함되는 바닥타일의 속성 정보를 정의한 값으로 설정될 수 있다.

제2 패턴파일 데이터(d2)는 바닥타일의 속성 정보가 일예로 [1.0, 2.0, TYPE_NORMAL, TYPE_DOWN]와 같을 수 있다. 이러한 제2 패턴파일 데이터(d2)의 속성 정보(바닥타일의 속성 정보)에 의하면, VR게임 맵 상에서 제2 패턴파일 데이터(d2)에 대응하는 바닥타일(d2')은, 도 5에 도시된 것과 같이 1초 이상 2초 미만에 해당하는 시간 구간동안 기 지정된 기준점 라인(노말)을 기준으로 아래쪽 방향으로 꺾인 형상을 갖도록 생성되어 마련(배치)될 수 있다.

제3 패턴파일 데이터(d3)는 바닥타일의 속성 정보가 일예로 [2.0, 3.0, TYPE_NORMAL, TYPE_UP]와 같을 수 있다. 이러한 제3 패턴파일 데이터(d3)의 속성 정보(바닥타일의 속성 정보)에 의하면, VR게임 맵 상에서 제3 패턴파일 데이터(d3)에 대응하는 바닥타일(d3')은, 도 5에 도시된 것과 같이 2초 이상 3초 미만에 해당하는 시간 구간동안 기 지정된 기준점 라인(노말)을 기준으로 위쪽 방향으로 꺾인 형상을 갖도록 생성되어 마련(배치)될 수 있다.

이때, 제3 패턴파일 데이터(d3)의 이전에 위치하는 제2 패턴파일 데이터(d2)가 아래쪽 방향으로 꺾이는 진행방향(하강하는 사선 방향)으로 향하고 있었으므로, 제3 패턴파일 데이터(d3)는 제2 패턴파일 데이터(d2)의 끝부분과 이어지도록 마련되되, 제2 패턴파일 데이터(d2)의 진행방향을 기준으로 그보다 위쪽 방향으로 꺾인 형상을 갖도록 생성될 수 있고, 이에 따르면 제3 패턴파일 데이터(d2)는 진행방향이 상승하는 사선 방향으로 향하는 것이 아닌, Z축에 대응하는 전진방향으로 진행하는 형상으로 마련될 수 있다.

제4 패턴파일 데이터(d4)와 같이 바닥타일의 속성 정보 내 prog 정보의 유형이 워프업(WARP_UP)과 같다면, 일예로 제4 패턴파일 데이터(d4)에 대응하는 바닥타일(d4')은 VR게임 맵 상에서 도 6에 도시된 것과 같이, 이전에 생성된 바닥타일(일예로 제3 패턴파일 데이터(d3)에 대응하는 바닥타일)의 위치를 기준으로, 그보다 상측 방향(y축 방향)으로 일정 거리만큼 이격된 상측 라인의 위치에 생성되고 배치(마련)될 수 있다.

이처럼, VR게임 생성부(12)는, 복수의 패턴파일 데이터(d) 각각을 VR게임 맵 상에 반영함으로써, 복수의 패턴파일 데이터(d) 각각에 대응되는 바닥타일들을 VR게임 맵 상에 배치시키되, 이때 VR게임 맵 상에 배치(마련)된 복수의 패턴파일 데이터(d) 각각에 대응되는 바닥타일들을 Z 축 방향으로 모두 이어지도록 연결시킴으로써, 최종적으로 사운드 데이터에 대응하는 음악 VR게임 데이터를 생성할 수 있다.

이에 따르면, VR게임 생성부(12)는 인공지능 모델을 이용하여, 사운드 데이터의 음악 흐름(사운드 입력에 따른)에 따라 자동 생성된 VR게임 맵의 디자인을 갖는 음악 VR게임 데이터를 생성할 수 있다.

즉, VR게임 생성부(12)에서 생성된 음악 VR게임 데이터는, 복수의 패턴파일 데이터(d) 각각이 3차원 공간의 VR게임 맵 상에 모두 연결된 형태로 마련되어 있는 상태의 그래픽 화면을 갖도록 생성된 음악게임을 의미할 수 있다. 즉, 음악 VR게임 데이터는, 사운드 데이터의 음악 자체에 대한 흐름을 온전히 느끼고 몰입하며 게임을 수행할 수 있도록 하는 그래픽 화면을 가진 음악게임의 데이터일 수 있다. 음악 VR게임 데이터는, 사운드 데이터의 음악적 자체의 특성이 반영되도록 생성된 그래픽 화면을 가진 음악게임일 수 있다. 음악 VR게임 데이터는 사운드 데이터의 음악 자체의 특성에 맞추어 표현된 배경 연출 정보와 VR맵 연출 정보가 결합된 형태의 그래픽 화면을 가질 수 있다.

VR게임 생성부(12)에서 생성된 음악 VR게임 데이터는, 인공지능 모델을 이용하여 사운드 데이터의 음악에 따라서 게임 흐름에 기하학적인 변화를 줌으로써 생성된 데이터일 수 있다. 이러한 음악 VR게임 데이터는 게임을 수행하는 게임 참여자(31)로 하여금, 공간지각력(공간지각능력)이 향상되도록 도움줄 수 있다.

제공부(13)는 VR게임 생성부(12)에서 생성된 음악 VR게임 데이터를 제공할 수 있다. 일예로 제공부(13)는 VR게임 생성부(12)에서 생성된 음악 VR게임 데이터를 게임 제작자 단말(20)로 제공할 수 있다. 뿐만 아니라, 제공부(13)는 VR게임 생성부(12)에서 생성된 음악 VR게임 데이터를 게임 참여자 단말(30)로 제공할 수도 있다.

게임 제작자 단말(20)은 본 장치(10)로 업로드한 사운드 데이터에 응답하여, 본 장치(10)의 제공부(13)로부터 사운드 데이터에 대응하도록 생성된 음악 VR게임 데이터를 제공받을 수 있다. 이를 통해, 게임 제작자(21)는 자신이 업로드한 사운드 데이터에 대응하는 음악게임(특히, 사운드 데이터의 음악 특성에 맞도록 디자인되고 연출된 그래픽 화면을 갖는 음악 VR게임 데이터)을 제공받아 확인하거나, 해당 음악게임을 토대로 게임을 수행할 수 있다.

제어부(15)는 본 장치(10) 내 각 부의 작동을 제어할 수 있다. 뿐만 아니라, 제어부(15)는, 본 장치(10)와 네트워크(2)를 통해 연동된 게임 제작자 단말(20) 및 게임 참여자 단말(30) 각각의 작동(일예로 화면표시 등)을 제어할 수 있다.

게임 제작자 단말(20)은 본 장치(10)로부터 제공받은 음악 VR게임 데이터를 타 사용자에게 배포하기를 희망하는 경우, 제공받은 음악 VR게임 데이터에 대하여 배포 요청을 할 수 있다. 게임 제작자 단말(20)은 일예로 제공받은 음악 VR게임 데이터를 본 장치(10)로 업로드함으로써 배포 요청을 할 수 있다. 제어부(15)는 게임 제작자 단말(20)에서 배포 요청을 한 음악 VR게임 데이터를 게임 DB(14)에 저장하고 관리할 수 있다.

게임 DB(14)에는 복수개의 음악 VR게임 데이터가 저장될 수 있다. 게임 DB(14)에 저장된 복수개의 음악 VR게임 데이터는, 본 장치(10)를 통해 음악 VR게임 데이터를 제작하고 제공받은 적어도 하나의 게임 제작자 단말에서 배포 요청을 한 음악 VR게임 데이터를 의미할 수 있다. 즉, 게임 DB(14)에 저장된 복수개의 음악 VR게임 데이터는, 복수개의 게임 제작자 단말에서 배포 요청을 한 음악 VR게임 데이터를 의미할 수 있다.

일예로, 제어부(15)는 VR게임 생성부(12)에서 생성된 모든 음악 VR게임 데이터를 게임 DB(14)에 저장하는 것이 아니라, VR게임 생성부(12)에서 생성된 음악 VR게임 데이터들 중에서도, 특히 게임 제작자가 타 사용자에게로의 배포를 희망하여 배포 요청을 한 음악 VR게임 데이터만 저장되도록 할 수 있다. 다만, 이에만 한정되는 것은 아니고, 다른 예로, VR게임 생성부(12)에서 생성된 모든 음악 VR게임 데이터가 게임 DB(14)에 저장될 수도 있다.

제어부(15)는, 본 장치(10)에 접속한 단말에서 게임제공 요청을 한 경우, 게임제공 요청에 응답하여 게임 DB(14)에 저장된 복수개의 음악 VR게임 데이터의 리스트를 게임제공 요청을 한 단말로 제공할 수 있다. 여기서, 본 장치(10)에 접속하여 게임제공 요청을 한 단말은, 게임 참여자 단말(30) 및/또는 게임 제작자 단말(20)일 수 있다.

제어부(15)는, 게임 참여자 단말(30)에서 게임제공 요청을 한 경우, 게임 DB(14)에 저장된 복수개의 음악 VR게임 데이터의 리스트를 게임 참여자 단말(30)로 제공할 수 있다. 또한, 제어부(15)는, 리스트 내 복수개의 음악 VR게임 데이터 중 어느 한 음악 VR게임 데이터인 제1 음악 VR게임 데이터에 대하여 게임 참여자 단말(30)에서 재생 요청이 이루어진 것으로 감지된 경우, 상기 제1 음악 VR게임 데이터의 재생 영상이 게임 참여자 단말(30)의 화면에 표출되도록 게임 참여자 단말(30)의 작동을 제어할 수 있다.

이하에서는 설명의 편의상, 제1 음악 VR게임 데이터가 게임 제작자 단말(20)이 배포 요청을 한 음악 VR게임 데이터인 것으로 예시하기로 한다. 또한, 이하 본 발명을 설명함에 있어서, 복수개의 음악 VR게임 데이터 중 어느 한 음악 VR게임 데이터(일예로 제1 음악 VR게임 데이터)에 대하여 설명된 내용은, 이하 생략된 내용이라 하더라도 복수개의 음악 VR게임 데이터 각각에 대한 설명에도 동일하게 적용될 수 있다.

일예로, 제어부(15)의 제어에 의해, 게임 참여자 단말(30)의 화면에 표출되는 제1 음악 VR게임 데이터의 재생 영상은 도 7에 도시된 것과 같을 수 있다. 제1 음악 VR게임 데이터는 동영상 파일(영상 컨텐츠)일 수 있다.

도 7을 참조하면, 게임 참여자 단말(30)의 화면에 표출되는 제1 음악 VR게임 데이터의 재생 영상은, 제1 음악 VR게임 데이터를 구성하는 복수의 바닥타일(전체 바닥타일)을 바닥타일의 연결 방향(즉, Z축 방향)을 따라 이동하는 영상일 수 있다.

특히나, 게임 참여자 단말(30)의 화면에 표출되는 제1 음악 VR게임 데이터의 재생 영상은, 제1 음악 VR게임 데이터 내 복수의 바닥타일 중 첫번째 위치한 바닥타일을 시작 지점으로 하여, 시간이 경과함에 따라 시점이 Z 축 방향으로 전진 이동하도록 변화되고, 시점의 이동으로 인해 복수의 바닥타일 중 지나간 바닥타일의 경우 비활성화되어 게임 참여자 단말(30)의 화면에 표출되지 않도록 설정된 영상일 수 있다.

즉, 게임 참여자 단말(30)에서 제1 음악 VR게임 데이터에 대해 재생 요청을 한 것으로 감지되면, 제어부(15)는, 제1 음악 VR게임 데이터의 재생 영상과 관련하여, 음악이 플레이된 이후(즉, 제1 음악 VR게임 데이터가 재생된 이후) 제1 음악 VR게임 데이터를 구성하는 복수의 바닥타일(전체 바닥타일)이 시점의 Z축 방향으로 연결되어 생성되도록 정렬시키고, 음악이 진행됨에 따라(즉, 시간이 흐름에 따라) 게임 참여자(31)가 바라보는 화면의 시점이 Z축 방향으로 전진 이동시키되, 이동에 의해 지나간 바닥타일이 비활성화되도록 하고, 전진 이동시에 텍스트 파일(즉, 복수의 패턴파일 데이터(d)) 내에 포함되어 있는 진행방향 정보(즉, move 정보)와 같이 바닥(바닥타일)의 진행방향이 변화되는재생 영상을 게임 참여자 단말(30)의 화면에 표출시킬 수 있다.

이때, 복수의 패턴파일 데이터(d) 내 포함되어 있는 진행방향 정보(즉, move 정보)에 따라 바닥타일의 진행방향이 변화될 때, 일예로 진행방향이 꺾이도록 변화되거나, 또는 도 6에 도시된 것과 같이 이어지던 기준점 라인의 좌표와는 상측 방향에 대해 일정 거리만큼 이격된 새로운 위치 좌표에서 바닥타일이 다시 시작되도록 진행방향이 변화될 수 있다.

게임 참여자 단말(30)은 제1 음악 VR게임 데이터의 재생 영상을 자체 화면에 표출시킴으로써, 게임 참여자(31)가 재생 영상을 보며 제1 음악 VR게임 데이터에 대응하는 음악게임을 즐기도록 할 수 있다.

게임 점수 관리부(16)는, 상기 재생 영상이 게임 참여자 단말(30)의 화면에 표출 중일 때, 상기 제1 음악 VR게임 데이터에 대한 게임 참여자(31)의 게임 참여에 따른 게임 조작신호가 입력된 것으로 감지된 경우, 제1 음악 VR게임 데이터 내 복수의 바닥타일의 패턴 변화 정보인 제1 정보와 상기 게임 조작신호인 제2 정보 간의 비교를 통해 제1 음악 VR게임 데이터에 대한 게임 참여에 따른 게임 참여자(31)의 게임 점수를 도출하여 게임 참여자 단말(30)로 제공할 수 있다.

게임 점수 관리부(16)는, 전진 방향으로 시점 이동되는 재생 영상이 게임 참여자 단말(30)의 화면에 표출 중일 때, 재생 영상에 대응하는 제1 음악 VR게임 데이터 내 복수의 바닥타일의 패턴 변화 정보(특히, 바닥타일의 패턴 변화의 시작 시간 정보(time_s)가 고려된 패턴 변화의 진행방향 정보(move 정보))인 제1 정보와, 게임 참여자(31)에 의해 입력된 게임 조작신호의 방향키의 방향 정보인 제2 정보를 비교하여 서로 일치하는지 여부를 기반으로, 일치도(일치 수준)에 따라 게임 점수를 도출하여 게임 참여자 단말(30)로 제공할 수 있다.

간단히 예를들면, 제1 음악 VR게임 데이터가 3분 길이의 영상이고, 제1 음악 VR게임 데이터 내에 move 정보와 관련하여 총 50개의 move 정보(즉, 50개의 패턴 변화의 진행방향 정보)가 존재한다고 하자. 이러한 경우, 게임 점수 관리부(16)는, 게임 참여자(31)에 의해 입력된 게임 조작신호(즉, 게임 참여자가 입력한 복수개의 방향키의 방향 정보 및 상기 복수개의 방향키 각각을 누른 방향키 입력 시점(시간)의 정보를 포함한 게임 조작신호)가, 일예로 50개의 move 정보 각각과 모두 동일한 방향에 대응하는 방향키의 방향 정보이면서, 방향키 입력 시점이 50개의 move 정보 각각에 대응하는 바닥타일의 패턴 변화의 시작 시간 정보(time_s)에 해당하는 시점과 모두 동일한 경우인 것으로 판단될 때(즉, 제1 정보와 제2 정보가 모두 일치하는 경우일 때), 일예로 게임 점수를 100점과 같이 도출하여 제공할 수 있다.

게임 점수 관리부(16)는 제1 음악 VR게임 데이터의 재생이 종료되었을 때(즉, 일예로 3분 길이의 영상이 모두 재생 완료되었을 때), 제1 음악 VR게임 데이터에 대한 게임 참여에 따른 게임 참여자(31)의 게임 점수를 도출하여 게임 참여자 단말(30)로 제공할 수 있다. 이처럼, 제1 음악 VR게임 데이터에 대하여 재생이 종료되고 그에 따라 게임 점수가 도출되고 나면, 이후 제어부(15)는 게임 점수가 도출된 제1 음악 VR게임 데이터를 게임 참여자(31)가 게임 수행을 완료한 수행완료 제1 음악 VR게임 데이터로서 게임 DB(14)에 저장하고 관리할 수 있다.

게임 점수 관리부(16)는 재생이 종료되었을 때(즉, 게임이 마지막까지 진행 완료되고 나면), 일예로 게임 인트로 화면이 게임 참여자 단말(30)의 화면에 표시되도록 할 수도 있다.

게임 점수 관리부(16)는 재생 요청에 의해 게임 참여자 단말(30)의 화면에 재생 영상이 플레이(재생)된 시점(재생 시작 시점)을 기준으로, i) 일예로 처음에는 0점으로 시작했다가, 시간의 흐름에 따라 게임 조작신호인 제2 정보가 제1 정보와 일치할수록 점차 증가되는 형태의 점수(점차 높아지는 점수)가 부여되도록 게임 점수를 도출하거나, 또는 ii) 처음에는 100점(만점)으로 시작했다가, 시간이 흐름에 따라 게임 조작신호인 제2 정보가 제1 정보와 일치하는 경우 처음 점수(일예로 100점)를 유지하는 한편, 제2 정보가 제1 정보와 불일치할수록 점차 감소되는 형태의 점수(점차 낮아지는 점수)가 부여되도록 게임 점수를 도출할 수 있다.

게임 점수 관리부(16)는 재생 영상이 화면에 표출 중일 때(즉, 재생 영상이 게임 참여자 단말(30)에서 재생 중일 때), 재생 영상 내에서 꺾이는 부분에서 게임 참여자(31)가 그와 동일한 꺾이는 방향에 대응하는 방향키를 누르면, 제2 정보와 제1 정보가 일치하는 것으로 판단하고 그에 따라 게임 점수를 도출할 수 있다.

이때, 도 7을 참조하면, 재생 영상은 시간이 흐름에 따라 Z축 방향을 따라 전진하며 시점 이동이 이루어지므로, 게임 점수 관리부(16)는 제2 정보와 제1 정보 간에 일치하는지 여부를 판단할 때, 시간이 흐름에 따라 재생 영상 내에서 꺾이는 지점(즉, 재생 영상 내에서 p로 표시된 지점)이 기준지점(rp)에 위치에 도달한 시점(즉, p로 표시된 지점이 기준지점 rp에 위치하는 시점)일 때에 게임 참여자(31)가 입력한 게임 조작신호의 방향키의 방향 정보가, 상기 재상 영상 내에서 꺾이는 지점(즉, 재생 영상 내에서 p로 표시된 지점)의 그 다음에 위치하는 바닥타일의 패턴 변화의 진행방향 정보(move 정보)와 서로 정확히 일치할 때에만, 제2 정보와 제1 정보가 서로 일치하는 것으로 판단하여 그에 따라 게임 점수를 도출할 수 있다.

여기서, 재생 영상 내에서 p로 표시된 지점은 재생 영상 내에서 꺾이는 부분의 지점을 표시한 것으로서, 게임 참여자(31)가 게임 점수로 높음 점수를 받고자 할 경우 방향키 입력이 필요한 시점(즉, 방향전환 시점)의 위치를 나타낸 것일 수 있다. 기준지점(rp)은 게임 참여자(31)가 방향키 입력을 눌러야 하는 타이밍의 기준이 되는 지점의 정보를 의미할 수 있다. 앞서 말한 바와 같이, 게임 참여자(31)는 재생 영상 내 p로 표시된 지점이 기준지점(rp)에 일치할 때 게임 조작신호를 입력함으로써(방향키 정보를 누름으로써) 게임을 수행할 수 있다. 기준지점(rp)은 도 7에 도시된 것과 같이 일예로 재생 영상의 표출 영역의 하단 라인에 대응하는 지점으로 설정될 수 있다. 기준지점(rp)을 기준으로 지나간 바닥타일은 비활성화되어 게임 참여자 단말(30)의 화면 상에서 미표출될 수 있다.

게임 점수 관리부(16)는 i) 꺾이는 지점(p)이 기준지점(rp)에 위치한 시점일 때 게임 조작신호가 입력되되, 입력된 게임 조작신호의 방향키의 방향 정보와 진행방향 정보(move 정보)가 서로 일치하지 않는 경우와, ii) 꺾이는 지점(p)이 기준지점(rp)에 위치하지 않은 시점일 때 게임 조작신호가 입력되되, 입력된 게임 조작신호의 방향키의 방향 정보와 진행방향 정보(move 정보)가 서로 일치하는 경우 및 서로 일치하지 않는 경우에는, 제2 정보와 제1 정보가 서로 일치하지 않는 것으로 판단하여 그에 따라 게임 점수를 도출할 수 있다.

게임 참여자 단말(30)은 일예로 게임 참여자 단말(30)과 연동된 키보드의 방향키(일예로 도 7에 도시된 것과 같이 업키, 다운키, 레프트키, 라이트키를 포함한 4개의 방향키 정보)를 이용하여 게임 조작신호를 입력할 수 있고, 또는, 제어부(15)의 제어에 의해 게임 참여자 단말(30)의 화면의 일영역에 표시되는 조작키패드 아이콘을 이용해 게임 조작신호를 입력할 수 있다.

게임 참여자 단말(30)이 데스크탑 pc나 노트북 등과 같은 경우에는 키보드를 이용한 게임 조작신호가 입력 가능할 것이나, 게임 참여자 단말(30)이 휴대폰, 스마트폰 등과 같은 단말인 경우에는 물리적인 방향키를 갖는 키보드가 없음에 따라 게임 조작신호의 입력이 어려울 수 있다. 이러한 점을 고려하여 일예로 제어부(15)는 게임제공 요청에 의해 게임 참여자 단말(30)로 복수개의 음악 VR게임 데이터의 리스트를 제공했을 때, 게임 참여자 단말(30)의 단말 유형이 일예로 키보드를 가진 데스크탑pc나 노트북과 같은 제1 유형의 단말인지, 아니면 키보드가 없는 휴대폰이나 스마트폰과 같은 제2 유형의 단말인지를 식별하고, 게임 참여자 단말(30)의 단말 유형이 제2 유형의 단말인 것으로 식별된 경우, 게임 참여자 단말(30)에서 제1 음악 VR게임 데이터에 대하여 재생 요청이 이루어졌을 때, 일예로 제1 음악 VR게임 데이터의 재생 영상과, 조작키패드 아이콘이 포함된 게임페이지를 게임 참여자 단말(30)의 화면에 표출시킬 수 있다. 이때, 일예로 게임페이지 내에서 재생 영상이 표시되는 제1 영역과, 조작키패드 아이콘이 표시되는 제2 영역은 서로 중첩되지 않는 위치에 배치될 수 있다.

조작키패드 아이콘은, 일예로 도 7에 도시된 것과 같이 업키, 다운키, 레프트키, 및 라이트키를 포함한 4개의 방향키 정보의 입력이 가능한 형태로 마련(즉, 4개의 방향키 형상을 갖도록 마련)되는 아이콘일 수 있다.

이처럼, 본 장치(10)는 게임 참여자(31)가 음악게임을 수행함에 있어서, 본 장치(10)에 의해 제공되는 음악 VR게임 데이터(즉, 음악에 따라 게임 흐름이 기하학적으로 변화되는 그래픽 화면을 갖는 음악 VR게임 데이터)로 하여금, 음악의 특성에 따라 그에 맞게 연출된 실시간으로 변화되는 그래픽 화면을 보면서 음악게임을 수행할 수 있는바, 흘러나오는 음악 자체를 온전히 느끼며 몰입하면서 게임을 수행 가능하도록 할 수 있다. 또한, 본 장치(10)는 다음과 같은 기능들을 제공할 수도 있다.

앞서 말한 바와 같이, 제어부(15)는, 게임 참여자 단말(30)이 제2 유형의 단말인 경우, 게임 참여자 단말(30)에서 제1 음악 VR게임 데이터에 대하여 재생 요청이 이루어졌을 때, 일예로 제1 음악 VR게임 데이터의 재생 영상과, 조작키패드 아이콘이 포함된 게임페이지를 게임 참여자 단말(30)의 화면에 표출시킬 수 있다. 이때, 일예로 게임페이지 내에서 재생 영상이 표시되는 제1 영역과, 조작키패드 아이콘이 표시되는 제2 영역은 서로 중첩되지 않는 위치에 배치될 수 있다. 게임페이지는 하나의 웹화면의 페이지(즉, 하나의 웹페이지), 또는 하나의 앱화면의 페이지(즉, 하나의 앱페이지)일 수 있다.

이때, 제어부(15)는 게임 참여자(31)가 제1 음악 VR게임 데이터로 게임(음악게임)을 수행할 때, 게임 난이도를 높이기 있도록 하기 위해, 회전제어버튼을 포함한 게임페이지를 게임 참여자 단말(30)의 화면에 표출시킬 수 있다.

즉, 제어부(15)는 제1 음악 VR게임 데이터에 대하여 재생 요청이 이루어졌을 때, 제1 영역에 표시되는 제1 음악 VR게임 데이터의 재생 영상, 제2 영역에 표시되는 조작키패드 아이콘, 및 제3 영역에 표시되는 회전제어버튼이 포함된 게임페이지를 게임 참여자 단말(30)의 화면에 표출시킬 수 있다. 여기서, 제1 영역, 제2 영역 및 제3 영역은 게임 페이지 내에서 서로 중첩되지 않는 위치에 배치될 수 있다.

회전제어버튼은, 게임 참여자 단말(30)의 화면에 표출된 게임페이지 내에서, 제1 영역에 표시되는 재생 영상의 회전 각도를 제어할 수 있는 버튼을 의미할 수 있다. 즉, 회전제어버튼은, 화면에 표출된 게임페이지 내에서, 제2 영역에 표시되는 조작키패드 아이콘과 제3 영역에 표시되는 회전제어버튼 각각의 회전 방향은 처음 제공된 상태로 변화 없이 그대로 유지한 상태로(즉, 게임페이지 내에서 재생 영상 이외의 다른 데이터는 그대로 유지한 상태로), 단지 제1 영역에 표시되는 재생 영상의 회전 각도만을 달리 제어(조절)할 수 있는 버튼을 의미할 수 있다. 회전제어버튼에 의해 제어되는 재생 영상의 회전 각도 제어 예에 대한 설명은 도 8을 참조하여 보다 쉽게 이해될 수 있다.

도 8을 참조하면, 회전제어버튼은 제1 영역에 표시되는 재생 영상의 회전 각도의 각도 조절값으로서, 0도 이상 360도 이하의 값 중 어느 한 각도값으로 선택 또는 입력 가능하도록 마련될 수 있다. 게임 참여자(31)는 게임 난이도를 높이기 위해 재생 영상을 회전시키고자 할 경우, 자신이 소지한 게임 참여자 단말(30)의 화면에 표출된 게임페이지 내에서 회전제어버튼을 통해 자신이 원하는 회전 각도의 각도 조절값을 선택 또는 입력할 수 있다. 제어부(15)는 게임 참여자(31)로부터 회전제어버튼을 통해 선택 또는 입력된 각도 조절값을 기반으로, 상기 선택 또는 입력된 각도 조절값에 대응하는 각도만큼 제1 영역에 표시된 재생 영상의 회전 각도를 조절(제어)함으로써 재생 영상이 회전되도록 제어할 수 있다. 이때, 제어부(15)는 일예로 재생 영상의 회전 각도를 시계방향(또는 반시계방향)으로 조절할 수 있으며, 도 8에서는 재생 영상의 회전 각도가 시계방향으로 조절된 경우를 예로 들어 설명한다.

일예로 도 8에는 게임페이지 내 제1 영역에 표시된 재생 영상의 회전 각도가, 0도(즉, 기본)로 제어된 상태의 예(a), 90도만큼 회전되도록 제어된 상태의 예(b), 180도 만큼 회전되도록 제어된 상태의 예(c), 및 270도 만큼 회전되도록 제어된 상태의 예(d)가 각각 도시되어 있다.

이에 따르면, 도 8의 (a)와 같은 기본 상태일 때에는, 게임 참여자(31)는 음악게임을 수행할 때 직관적으로 게임 참여자 단말(30)의 화면 상에 보이는 재생 영상의 상태 그대로를 보면서, 재생 영상 내에서 꺾이는 지점(p 지점)의 꺾이는 방향에 따라 그와 동일한 방향의 방향키를 누름(일예로 레프트키를 누름)으로써 게임을 쉽게 수행 가능할 수 있다. 일예로 게임 참여자(31)가 도 8의 (a)와 같은 화면에서 p 지점이 기준지점(rp)에 위치에 도달한 시점에 레프트키를 누르는 게임 조작신호를 입력했다면, 게임 점수 관리부(16)는 제2 정보와 제1 정보가 서로 일치하는 것으로 판단(즉, 정답인 것으로 판단)함에 따라 게임 참여자(31)가 높은 게임 점수를 얻을 수 있도록 게임 점수를 도출할 수 있다.

그런데, 기본상태일 때 대비, 도 8의 (b)와 같이 재생 영상이 시계방향으로 90도만큼 회전된 상태의 화면에서는, 게임 참여자(31)에게 직관적으로 보여지는 꺾임 방향이 상측 방향임에 따라, 이는 실제 정답이 요구하는 꺾임 방향(즉, 도 8의 (a)에 도시된 것과 같은 기본 상태일때의 꺾임 방향인 좌측 방향)과는 상이하다고 할 수 있다. 이에 따르면, 게임 참여자(31)가 도 8의 (b)와 같은 화면을 보며 음악게임을 수행할 때, 게임 참여자 단말(30)의 화면 상에 보여지는 꺾임 방향이 상측 방향이라 할지라도, 게임 참여자(31)는 실제로 p 지점이 기준지점(rp)에 위치에 도달한 시점에 레프트키를 눌러아?? 정답인 것으로 인정되어 보다 높은 게임 점수를 얻을 수 있게 될 수 있다.

이때, 도 8의 (a)와 같은 기본 상태일 때에는 기준지점(rp)이 재생 영상의 표출 영역의 하단 라인에 대응하는 지점으로 설정되어 있으나, 회전제어버튼에 의해 재생 영상의 회전 각도가 제어(조절)된 경우에는, 제어된 재생 영상의 회전 각도만큼 기준지점(rp) 역시 이동되어 달리 설정될 수 있다. 즉, 일예로 도 8의 (b)와 같은 상태일 때에는 기준지점(rp)이 재생 영상의 표출 영역의 좌측 라인에 대응하는 지점으로 설정될 수 있고, 도 8의 (c)와 같은 상태일 때에는 기준지점(rp)이 재생 영상의 표출 영역의 상측 라인에 대응하는 지점으로 설정될 수 있고, 도 8의 (d)와 같은 상태일 때에는 기준지점(rp)이 재생 영상의 표출 영역의 우측 라인에 대응하는 지점으로 설정될 수 있다.

마찬가지로, 기본상태일 때 대비, 도 8의 (c)와 같이 시계방향으로 180도만큼 회전된 상태의 화면에서는, 게임 참여자(31)에게 직관적으로 보여지는 꺾임 방향이 우측 방향임에 따라, 이는 실제 정답이 요구하는 꺾임 방향(즉, 도 8의 (a)에 도시된 것과 같은 기본 상태일때의 꺾임 방향인 좌측 방향)과는 상이하다고 할 수 있다. 이에 따르면, 게임 참여자(31)가 도 8의 (c)와 같은 화면을 보며 음악게임을 수행할 때, 게임 참여자 단말(30)의 화면 상에 보여지는 꺾임 방향이 우측 방향이라 할지라도, 게임 참여자(31)는 실제로 p 지점이 기준지점(rp)에 위치에 도달한 시점에 레프트키를 눌러아?? 정답인 것으로 인정되어 보다 높은 게임 점수를 얻을 수 있게 될 수 있다.

도 8의 (d)와 같은 상태일 때에는, 게임 참여자(31)가 화면 상에 보여지는 꺾임 방향이 하측 방향이라 할지라도, 게임 참여자(31)는 실제로 p 지점이 기준지점(rp)에 위치에 도달한 시점에 레프트키를 눌러아?? 정답인 것으로 인정되어 보다 높은 게임 점수를 얻을 수 있게 될 수 있다.

이처럼, 제어부(15)는 게임페이지의 제공시, 회전제어버튼을 포함한 게임페이지를 게임 참여자 단말(30)로 제공함으로써, 게임 참여자(31)가 제1 영역에 표시되는 재생 영상의 회전 각도를 자유롭게 조절(제어) 가능하도록 할 수 있고 이에 따라 회전된 재생 영상을 보며 음악게임을 수행할 수 있도록 할 수 있는바, 게임 참여자(31)로 하여금 난이도 조절을 가능하게 하고 공간지각능력을 효과적으로 향상시키고 두뇌 발당 등의 향상에 도움줄 수 있다.

또한, 제어부(15)는 본 장치(10)와 네트워크(2)를 통해 연동된 복수개의 게임 참여자 단말 각각에 대하여, 복수개의 게임 참여자 단말 각각의 게임 참여에 따른 게임 참여 이력 정보를 게임 DB(14)에 저장하고 관리할 수 있으며, 복수개의 게임 참여자 단말의 게임 참여 이력 정보를 기반으로 랭킹(순위)을 결정하고, 게임 점수가 높은 순으로 하여 기 정해진 상위 랭크(일예로 1등, 2등 및 3등)에 속하는 일부 게임 참여자 단말로 보상을 제공할 수 있다.

여기서, 보상은 현금, 또는 본 장치(10)에서 제공되는 판매상품의 구매가 가능한 포인트 등일 수 있다.

일예로, 제어부(15)는 본 장치(10)를 이용하는 사용자들(게임 제작자, 게임 참여자 등)에게 포인트, 현금 또는 카드결제로 구매 가능한 복수의 판매상품이 표시된 상품판매 페이지를 제공할 수 있다. 여기서, 본 발명에서 고려되는 상기 판매상품의 종류, 가격 등에는 특별히 제한되는것 없이 다양한 상품(제품)이 적용될 수 있다.

일예로, 제어부(15)는 게임 참여자 단말(30)에서 쇼핑메뉴에 대한 게임 참여자(31)의 선택 입력이 이루어진 경우, 상기 선택 입력에 응답하여 복수의 판매상품이 표시된 상품판매 페이지를 게임 참여자 단말(30)의 화면에 표시되도록 할 수 있다. 게임 참여자(31)는 상품판매 페이지 내에 표시된 복수의 판매상품 중 원하는 판매상품을 선택하여 포인트, 현금 또는 카드결제로 결제를 수행함으로써 상기 선택한 판매상품의 구매가 가능할 수 있다.

이때, 일예로, 제어부(15)는 게임 참여자 단말(30)에서 상품판매 페이지 내 복수의 판매상품 중 어느 한 판매상품인 제1 판매상품에 대한 구매요청신호(즉, 제1 판매상품을 구매하려는 신호)가 감지된 경우, 게임 참여자 단말(30)에서 기설정된 결제절차를 진행함으로써 제1 판매상품에 대한 구매가 이루어지도록 할 수 있다.

이때, 기설정된 결제절차는, 게임 참여자 단말(30)에 복수의 소지카드가 미리 등록되어 있는 경우, 결제절차가 진행되는 현시점에 게임 참여자 단말(30)에 미리 등록된 복수의 소지카드의 실적데이터를 획득하고, 획득된 실적데이터를 고려하여 상기 복수의 소지카드 중 상기 현 시점에 실적 미달금액의 값이 가장 낮은 어느 한 소지카드를 식별하며, 식별된 상기 어느 한 소지카드로 제1 판매상품에 대한 결제가 이루어지도록 하는 프로세스를 의미할 수 있다. 이때, 기설정된 결제절차는 일예로 게임 참여자 단말(30)에서 실적 기반 결제진행동의 항목칸에 대한 게임 참여자(31)의 입력(체크)이 이루어진 경우에 한하여 진행되는 결제절차일 수 있다. 또한, 소지카드는 게임 참여자(31)가 소지한 카드를 의미할 수 있다.

상술한 설명에서, 실적데이터는, 소지카드의 실적을 의미하는 것으로서, 특히 각 소지카드에서 서비스하는 혜택을 제공받기 위해 사용자(게임 참여자)가 이용(달성)해야 하는 소지카드 사용 금액에 관한 정보를 의미할 수 있다. 이러한 실적데이터는 각 소지카드의 실적 기간, 실적 기준 금액, 상기 현 시점(즉, 결제절차가 진행되는 현 시점)까지의 사용자의 소지카드 사용에 따른 실적 미달금액 등에 에 관한 정보를 포함할 수 있다.

즉, 제어부(15)는 게임 참여자(31)가 소지한 복수의 소지카드 각각의 실적데이터를 고려해 복수의 소지카드 중 어느 소지카드가 우선으로 결제되도록 할지를 자동으로 선정하되, 이때 우선 결제될 소지카드로서 복수의 소지카드 중 실정 미달금액이 가장 낮은 소지카드를 선정하여 선정된 해당 소지카드로 우선 결제가 진행되도록 할 수 있다. 일예로 복수의 소지카드가 2개이고, 그 중 제1 소지카드의 경우 실적 미달금액이 5만원(즉, 5만원을 더 써야 실적이 충족되고), 제2 소지카드의 경우 실적 미달금액이 14만원인 경우, 제1 소지카드가 우선 결제될 소지카드로 선정될 수 있다.

상술한 기설정된 결제절차에 의하면, 본 장치(10)는 게임 참여자(31)가 복수의 소지카드를 게임 참여자 단말(30)에 등록해둔 상태에서 상품판매 페이지 내 복수의 판매상품 중 특정 판매상품에 대한 구매 및 결제를 수행하려 할 때, 자신이 소지한 복수의 소지카드가 모두 실적 기준 금액을 두루 충족할 수 있도록 하는 형태로 결제가 이루어지도록 할 수 있다.

또한, 제어부(15)는 앞서 말한 바와 같이 게임 참여자 단말(30)의 화면의 일영역에 표시된 쇼핑메뉴에 대한 게임 참여자(31)의 선택 입력이 이루어진 경우, 상기 선택 입력에 응답하여 복수의 판매상품이 표시된 상품판매 페이지를 게임 참여자 단말(30)의 화면에 표시되도록 할 수 있다.

이때, 상품판매 페이지는 복수의 판매상품의 개략 정보(일예로 판매상품의 이름과 가격), 및 복수의 판매상품 각각과 1:1 대응되도록 생성된 복수의 상세버튼을 포함할 수 있다. 상세버튼은, 판매상품에 대한 상세한 설명 정보(일예로, 성분, 제조사, 구매자수 등)인 판매상품 상세설명 정보의 확인(제공)이 가능하도록 하는 버튼을 의미할 수 있다.

이때, 제어부(15)는 게임 참여자 단말(30)에서 복수의 상세버튼 중 제1 상세버튼에 대한 게임 참여자(31)의 입력이 이루어진 경우, 게임 참여자(31)의 입력을 토대로 제1 상세버튼에 대응하는 제1 판매상품에 대한 상세한 설명 정보인 제1 판매상품 상세설명 정보를 게임 참여자 단말(30)로 제공할 수 있는데, 이때 게임 참여자(31)의 입력 방식에 따라 다음과 같이 각기 다른 표시 유형으로 제1 판매상품 상세설명 정보를 제공(표시, 노출)할 수 있다.

구체적인 예로, 제어부(15)는 게임 참여자 단말(30)에서 게임 참여자(31)가 제1 상세버튼을 기 설정된 시간(일예로 1초) 미만으로 선택 입력(클릭 입력)한 것으로 감지된 경우(즉, 단순히 클릭했다가 바로 손을 뗀 것으로 감지된 경우), 제1 상세버튼에 대응하는 제1 판매상품 상세설명 정보가, 제1 상세버튼이 노출되어 있는 게임 참여자 단말(30)의 현재의 화면 페이지(즉, 상품판매 페이지)와는 다른 새로운 페이지를 통해 상기 새로운 페이지의 전체에 표시되도록 게임 참여자 단말(30)을 작동을 제어할 수 있다.

반면, 제어부(15)는 게임 참여자(31)가 제1 상세버튼을 기 설정된 누름 입력 시간(일예로 1.5초) 이상 누르고 있는 상태인 것으로 감지된 경우, 이를 제1 판매상품 상세설명 정보가 새로운 페이지로 제공되도록 하는 것이 아닌, 제1 상세버튼이 노출된 현재의 게임 참여자 단말(30)의 화면 상의 일부 영역에 팝업 방식으로 오버레이하여 표시되도록 요청하는 신호로 인식하여, 게임 참여자(31)가 제1 상세버튼을 누른 시점으로부터 상기 기 설정된 누름 입력 시간(일예로 1.5초)이 경과된 시점에(즉, 제1 상세버튼을 처음 누르고 나서 1.5초가 지난 시점에) 제1 판매상품 상세설명 정보를 게임 참여자 단말(30)의 화면 상의 일부 영역에 팝업 방식으로 표시되도록 게임 참여자 단말(30)의 작동을 제어할 수 있다.

이때, 제어부(15)는, 제1 판매상품 상세설명 정보가 게임 참여자 단말(30)의 화면 상의 일부 영역에 팝업 방식으로 표시되고 있는 상태에서, 제1 상세버튼을 누르고 있던 게임 참여자(31)의 손가락이 게임 참여자 단말(30)의 화면으로부터 떼어진 위치가 제1 상세버튼에 대응하는 버튼 영역 내의 위치인 것으로 감지(식별)된 경우, 게임 참여자(31)의 손가락이 버튼 영역 내의 위치에서 화면으로부터 떼어진 시점에 팝업 방식으로 게임 참여자 단말(30)의 화면에 표시되어 있던 제1 판매상품 상세설명 정보가 게임 참여자 단말(30)의 화면 상에서 미표시되도록(즉, 없어지도록) 게임 참여자 단말(30)의 작동을 제어할 수 있다. 이에 따르면, 제어부(15)는, 제1 상세버튼을 누르고 있던 게임 참여자(31)의 손가락이 버튼 영역 내의 위치에서 떼어지면, 손가락이 화면으로부터 떼어짐과 동시에 팝업으로 표시되어 있던 제1 판매상품 상세설명 정보가 즉시 사라지도록 할 수 있는바, 게임 참여자(31)의 손가락이 버튼 영역을 누르고 있는 시간 동안에 한하여 제1 판매상품 상세설명 정보가 일부 영역에 표시되도록 하여 게임 참여자(31)가 일시적으로 해당 상품의 상세정보를 확인 가능하도록 할 수 있다.

여기서, 게임 참여자 단말(30)의 화면 상에서 손가락이 떼어진 위치의 식별은 게임 참여자 단말(30)의 화면이 스마트폰인 경우 터치패널 등으로 구현되어 있음에 따라 이를 통해 식별이 가능할 수 있다.

이때, 게임 참여자 단말(30)의 화면 상에서, 팝업 방식으로 제1 판매상품 상세설명 정보가 표시되는 일부 영역(즉, 팝업 표시 영역)과 제1 상세버튼에 대응하는 버튼 영역은 서로 중첩되지 않도록 표시될 수 있다.

만약, 제어부(15)는, 제1 판매상품 상세설명 정보가 게임 참여자 단말(30)의 화면 상의 일부 영역에 팝업 방식으로 표시되고 있는 상태에서, 제1 상세버튼을 누르고 있던 게임 참여자(31)의 손가락이 버튼 영역을 벗어나 일부 영역 내의 위치까지 드래그됨에 따라 이후 게임 참여자(31)의 손가락이 게임 참여자 단말(30)의 화면으로부터 떼어진 위치가 상기 일부 영역 내의 위치인 것으로 감지(식별)된 경우, 게임 참여자(31)의 손가락이 일부 영역 내의 위치에서 화면으로부터 떼어진 이후에도 팝업 방식으로 게임 참여자 단말(30)의 화면에 표시되어 있던 제1 판매상품 상세설명 정보가 지속적으로 게임 참여자 단말(30)의 화면 상에서 표시되도록(즉, 없어지지 않도록) 게임 참여자 단말(30)의 작동을 제어할 수 있다. 이에 따르면, 제어부(15)는, 제1 상세버튼을 누르고 있던 게임 참여자(31)의 손가락이 일부 영역 내의 위치에서 떼어지면, 손가락이 화면으로부터 떼어지더라도 그와는 무관하게, 팝업으로 표시되어 있던 제1 판매상품 상세설명 정보가 지속적으로 게임 참여자 단말(30)의 화면 상에 계속 표시된 상태로 유지되도록 할 수 있는바, 이를 토대로 게임 참여자(31)가 일부 영역에 표시된 제1 판매상품 상세설명 정보를 스크롤, 확대, 축소 등의 조작을 통해 상세설명을 보다 상세히 확인 가능하도록 할 수 있다.

상술한 바에 따르면, 본 장치(10)의 제어부(15)는 게임 참여자(31)가 제1 상세버튼을 선택한 이후, 언제 손가락을 화면에서 떼었는지, 어느 위치에서 손가락을 화면에서 떼었는지 등에 따라 제1 판매상품 상세설명 정보의 표시 유형(즉, 새로운 페이지에 표시할 것인지 팝업 방식으로 표시할 것인지) 및 팝업 방식으로 제공된 제1 판매상품 상세설명 정보의 사라짐 여부 등을 달리 제어할 수 있다.

제어부(15)는, 제1 상세버튼을 제공함으로써 게임 참여자(31)가 구매하고자 하는 판매상품의 제1 판매상품 상세설명 정보를 확인 가능하도록 하되, 제1 판매상품 상세설명 정보를 확인 가능하도록 함에 있어서, 새로운 페이지로 넘어갔다가 다시 이전 페이지로 넘어왔다가 하는 등의 번거로움의 필요 없이, 효율적이고 상세정보를 빠르고 편리하게 확인 가능하도록 할 수 있다.

또한, 제어부(15)는 앞서 말한 바와 같이 게임 참여자 단말(30)에서 게임제공 요청을 한 경우, 게임 DB(14)에 저장된 복수개의 음악 VR게임 데이터의 리스트를 게임 참여자 단말(30)로 제공할 수 있다. 이때, 제어부(15)는 리스트의 제공시, 화면의 일영역에 리스트 내 항목들의 필터링을 위한 필터링 버튼을 함께 제공할 수 있다. 여기서 항목은 복수개의 음악 VR게임 데이터의 항목을 의미할 수 있다.

필터링 버튼은, 수행 미완료 필터링 체크란(일예로 제1 체크란), 수행완료 필터링 체크란(일예로 제2 체크란), 및 게임 점수 입력란을 포함할 수 있다. 일예로 리스트 내 복수개의 음악 VR게임 데이터의 개수가 100개라고 하자. 이는 리스트 내 항목의 개수가 100개임으로 달리 표현될 수 있다.

제어부(15)는, 게임 참여자(31)가 필터링 버튼 내 수행 미완료 필터링 체크란(제1 체크란)에 체크 입력을 한 것으로 감지되는 경우, 리스트 내 복수개(일예로 100개)의 음악 VR게임 데이터 중에서, 게임 참여자(31)에 의해 게임 수행의 완료가 1회 이상 이루어지지 않은 음악 VR게임 데이터들(즉, 한번도 끝까지 게임을 완료하지 못하여 수행완료가 안된 음악 VR게임 데이터들)만을 일부 항목으로서 추출하여 게임 참여자 단말(30)의 화면에 표시할 수 있다. 이러한 제1 체크란 제공에 의하면, 제어부(15)는 게임 참여자(31)가 게임 DB(14)에 저장된 복수개의 음악 VR게임 데이터 중에서, 한번도 게임을 재생하지 않았거나, 혹은 게임을 재생했으나 끝까지 완료하지 못하여 수행완료하지 못한 음악 VR게임 데이터들의 리스트만을 제공받아, 이를 토대로 게임을 수행 가능하도록 할 수 있다.

제어부(15)는, 게임 참여자(31)가 필터링 버튼 내 수행완료 필터링 체크란(제2 체크란)에 체크 입력을 한 것으로 감지되는 경우, 리스트 내 복수개(일예로 100개)의 음악 VR게임 데이터 중에서, 게임 참여자(31)에 의해 게임 수행의 완료가 1회 이상 이루어진 음악 VR게임 데이터들(즉, 한번 이상 게임을 끝까지 수행하여 게임 점수가 도출되었던 적 있는 음악 VR게임 데이터들)(일예로 16개의 음악 VR게임 데이터)만을 일부 항목으로서 추출하여 게임 참여자 단말(30)의 화면에 표시할 수 있다. 이러한 제2 체크란 제공에 의하면, 제어부(15)는 게임 참여자(31)가 게임 DB(14)에 저장된 복수개의 음악 VR게임 데이터 중에서, 자신이 재생하여 1회 이상 끝까지 수행완료한 기록이 있는(즉, 게임 점수가 도출된 기록이 있는) 음악 VR게임 데이터들의 리스트만을 제공받아, 이를 토대로 게임을 수행 가능하도록 할 수 있다.

게임 점수 입력란은, 필터링 버튼 내 제2 체크란을 게임 참여자(31)가 체크 입력을 한 경우에 한하여, 게임 점수의 입력이 가능하도록 활성화되는 입력란을 의미할 수 있다. 여기서, 게임 점수 입력란은, 게임 참여자(31)가 한번 이상 게임을 끝까지 수행완료하여 게임 점수가 도출된 기록이 있는 음악 VR게임 데이터들(즉, 복수개의 수행완료 음악 VR게임 데이터들) 중에서도, 특히나 게임 참여자(31)가 게임 점수 입력란에 입력한 특정 게임 점수에 해당하는 기록을 가진 음악 VR게임 데이터들을 추출하여 제공하기 위한 입력란일 수 있다.

일예로, 게임 점수 입력란은, 복수개의 선택란을 포함할 수 있고, 일예로 복수개의 선택란 중 제1 선택란은 100점, 제2 선택란은 90점 이상 100점 미만, 제3 선택란은 80점 이상 90점 미만, 제4 선택란은 70점 이상 80점 미만, 제5 선택란은 70점 미만에 해당하는 정보를 가지도록 설정될 수 있다.

일예로 제어부(15)는, 게임 참여자(31)가 필터링 버튼 내 수행완료 필터링 체크란(제2 체크란)에 체크 입력을 한 것으로 감지되고, 또한 게임 점수 입력란에 제3 선택란(즉, 80점 이상 90점 미만의 정보를 가진 제3 선택란)을 게임 참여자(31)가 선택 입력한 것으로 감지되는 경우, 우선 리스트 내 복수개(일예로 100개)의 음악 VR게임 데이터 중에서 게임 참여자(31)에 의해 게임 수행의 완료가 1회 이상 이루어진 음악 VR게임 데이터들(일예로 16개의 음악 VR게임 데이터)만을 1차적으로 일부 항목으로서 추출하고, 이후, 1차로 추출된 일부 항목들(즉, 16개의 음악 VR게임 데이터) 중에서 게임 참여자(31)의 게임 점수의 도출 기록으로서 80점 이상 90점 미만에 해당하는 게임 점수의 기록을 가진 음악 VR게임 데이터들(일예로 10개의 음악 VR게임 데이터)만을 2차적으로 일부 항목으로서 추출하여, 결과적으로 2차로 추출된 일부 항목에 해당하는 음악 VR게임 데이터들의 리스트를 게임 참여자 단말(30)의 화면에 표시할 수 있다.

이러한 제2 체크란 및 게임 점수 입력란의 제공에 의하면, 제어부(15)는 게임 참여자(31)가 게임 DB(14)에 저장된 복수개의 음악 VR게임 데이터 중에서, 자신이 수행완료한 기록은 있으나, 특정 점수대의 게임 점수로 기록되었던 음악 VR게임 데이터들의 리스트만을 제공받아 이를 토대로 게임을 수행 가능하도록 할 수 있다. 이에 따르면, 게임 참여자(31)는 예시적으로 과거에 90점이 게임 점수로 기록된 적 있던 음악 VR게임 데이터에 대하여 100점을 받기 위해 게임을 재수행(재도전)할 수 있다.

제어부(15)는 필터링 버튼의 제공을 통해, 게임 참여자(31)로 하여금 게임 DB(14)에 저장된 복수개의 음악 VR게임 데이터 중 게임 참여자(31)가 원하는 정보만을 갖는 일부의 음악 VR게임 데이터를 제공받아 효율적인 게임이 이루어지도록 할 수 있다.

이하에서는 상기에 자세히 설명된 내용을 기반으로, 본 발명의 동작 흐름을 간단히 살펴보기로 한다.

도 9는 본 발명의 일 실시예에 따른 인공지능 모델을 이용한 음악 VR게임 방법에 대한 동작 흐름도이다.

도 9에 도시된 인공지능 모델을 이용한 음악 VR게임 방법은 앞서 설명된 본 장치(10)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 본 장치(10)에 대하여 설명된 내용은 인공지능 모델을 이용한 음악 VR게임 방법에 대한 설명에도 동일하게 적용될 수 있다.

도 9를 참조하면, 단계S11에서 입력부는, 게임 제작자 단말로부터 사운드 데이터를 입력받을 수 있다. 다음으로, 단계S12에서 VR게임 생성부는, 인공지능 모델을 이용하여 상기 사운드 데이터에 대응하는 음악 VR게임 데이터를 생성할 수 있다. 다음으로, 단계S13에서 제공부는, 상기 VR게임 생성부에서 생성된 상기 음악 VR게임 데이터를 제공할 수 있다. 다음으로, 단계S14에서 제어부는, 인공지능 모델을 이용한 음악 VR게임 장치 내 각 부의 작동을 제어할 수 있다.

상술한 설명에서, 단계 S11 내지 S14은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.

본 발명의 일 실시 예에 따른 인공지능 모델을 이용한 음악 VR게임 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

또한, 전술한 인공지능 모델을 이용한 음악 VR게임 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 인공지능 모델을 이용한 음악 VR게임 시스템
10: 인공지능 모델을 이용한 음악 VR게임 장치
11: 입력부
12: VR게임 생성부
12': 데이터 처리부
13: 제공부
14: 게임 DB
15: 제어부
16: 게임 점수 관리부

Claims (5)

1. 인공지능 모델을 이용한 음악 VR게임 장치로서,
   게임 제작자 단말로부터 사운드 데이터를 입력받는 입력부;
   인공지능 모델을 이용하여 상기 사운드 데이터에 대응하는 음악 VR게임 데이터를 생성하는 VR게임 생성부;
   상기 VR게임 생성부에서 생성된 상기 음악 VR게임 데이터를 제공하는 제공부; 및
   각 부의 작동을 제어하는 제어부,
   를 포함하고,
   상기 VR게임 생성부는, 상기 사운드 데이터를 상기 인공지능 모델의 입력으로 적용하여 상기 사운드 데이터에 대응하는 복수의 패턴파일 데이터를 추출하는 데이터 처리부를 포함하고, 사운드 데이터를 벡터화하여 표현한 데이터를 의미하는 상기 복수의 패턴파일 데이터를 기반으로, 상기 음악 VR게임 데이터를 생성하고,
   상기 데이터 처리부는, 상기 사운드 데이터에 대하여, 크로마(chroma) 분석 기법, 주파수 특성이 시간에 따라 달라지는 오디오를 분석하기 위한 특징 추출 기법인 멜 스펙트로그램(Mel Spectrogram) 추출 기법, 음원 분석 기법인 MFCC 또는 STFT(Short Time Fouriter Transform)를 적용함으로써 전처리를 하거나, 파이썬(Python)에서 음원 데이터를 분석해주는 도구인 리브로사(Librosa) 라이브러리를 이용하여 전처리를 수행하고, 이후 전처리된 사운드 데이터를 상기 인공지능 모델의 입력으로 적용하고,
   상기 복수의 패턴파일 데이터는, 바닥타일의 속성 정보로서, 바닥타일의 패턴 변화의 시작 시간 정보(time_s)와 끝 시간 정보(time_e), 바닥타일의 시작 위치 정보(prog), 및 바닥타일의 패턴 변화의 진행방향 정보(move)를 포함하고, [time_s, time_e, prog, move] 형태의 텍스트 데이터로 표현되며,
   상기 바닥타일은 사운드 데이터의 음악의 흐름을 표현하는 최소 단위의 데이터이고,
   상기 prog 정보는 VR게임 맵 상에서, 생성되는 바닥타일의 시작 위치 정보를 정의한 정보이되, 2가지 유형으로서 VR게임 맵 상에서 게임 제작자에 의해 기 지정된 기준점 라인에서 바닥타일이 생성되어 이어지도록 설정된 정보인 노말(NORMAL) 유형, 및 기준점 라인의 위치를 기준으로, 그보다 상측 방향으로 일정 거리만큼 이격된 상측 라인의 위치에서 바닥타일이 생성되어 이어지도록 설정된 정보인 워프업(WARP_UP) 유형을 포함하고,
   상기 move 정보는 4가지 유형으로서 업(UP), 다운(DOWN), 레프트(LEFT) 및 라이트(RIGHT)를 포함하고,
   상기 음악 VR게임 데이터는, 게임 참여자에게 공간지각능력의 향상에 도움주기 위해 사운드 데이터의 음악에 따라서 게임 흐름에 기하학적인 변화를 줌으로써 생성된 데이터이되, 사운드 데이터를 3차원 공간의 VR게임 맵 상에 시각화한 데이터이고,
   상기 사운드 데이터는, 뮤지션들에 의해 기 제작된 복수의 음원 데이터 중 어느 한 음원 데이터이거나 게임 제작자에 의해 직접 제작된 음원 데이터이되, wav, mp3, 또는 m4a의 확장자를 가진 음원 데이터이고,
   상기 제어부는,
   게임 참여자 단말에서 게임제공 요청을 한 경우, 게임 DB에 저장된 복수개의 음악 VR게임 데이터의 리스트를 상기 게임 참여자 단말로 제공하고,
   상기 리스트 내 복수개의 음악 VR게임 데이터 중 어느 한 음악 VR게임 데이터인 제1 음악 VR게임 데이터에 대하여 상기 게임 참여자 단말에서 재생 요청이 이루어진 것으로 감지된 경우, 상기 제1 음악 VR게임 데이터의 재생 영상이 상기 게임 참여자 단말의 화면에 표출되도록 상기 게임 참여자 단말의 작동을 제어하고,
   상기 재생 요청이 감지되면, 상기 제1 음악 VR게임 데이터의 재생 영상과 관련하여, 제1 음악 VR게임 데이터가 재생된 이후 제1 음악 VR게임 데이터를 구성하는 복수의 바닥타일이 시점의 Z축 방향으로 연결되어 생성되도록 정렬시키고, 음악이 진행되는 시간 흐름에 따라 게임 참여자가 바라보는 화면의 시점이 Z축 방향으로 전진 이동되도록 제어하되, 이동에 의해 지나간 바닥타일이 비활성화되도록 하고, 전진 이동시에 복수의 패턴파일 데이터 내에 포함되어 있는 진행방향 정보인 move 정보와 같이 바닥타일의 진행방향이 변화되는 재생 영상을 게임 참여자 단말의 화면에 표출시키고,
   상기 제1 음악 VR게임 데이터의 재생 영상은, 상기 제1 음악 VR게임 데이터를 구성하는 복수의 바닥타일을 바닥타일의 연결 방향을 따라 이동하는 영상이고,
   상기 인공지능 모델을 이용한 음악 VR게임 장치는,
   상기 재생 영상이 상기 게임 참여자 단말의 화면에 표출 중일 때, 상기 제1 음악 VR게임 데이터에 대한 게임 참여자의 게임 참여에 따른 게임 조작신호가 입력된 것으로 감지된 경우, 상기 제1 음악 VR게임 데이터 내 복수의 바닥타일의 패턴 변화 정보와 상기 게임 조작신호 간의 비교를 통해 게임 점수를 도출하여 제공하는 게임 점수 관리부를 더 포함하되,
   상기 게임 점수 관리부는,
   전진 방향으로 시점 이동되는 재생 영상이 게임 참여자 단말의 화면에 표출 중일 때, 재생 영상에 대응하는 제1 음악 VR게임 데이터 내 복수의 바닥타일의 패턴 변화 정보로서 바닥타일의 패턴 변화의 시작 시간 정보가 고려된 패턴 변화의 진행방향 정보인 상기 move 정보에 대응하는 제1 정보와, 게임 참여자에 의해 입력된 게임 조작신호의 방향키의 방향 정보인 제2 정보를 비교하여 서로 일치하는지 여부를 기반으로, 일치도에 따라 게임 점수를 도출하여 게임 참여자 단말로 제공하고,
   상기 재생 영상의 경우 시간이 흐름에 따라 Z축 방향을 따라 전진하며 시점 이동이 이루어지므로, 제2 정보와 제1 정보 간에 일치하는지 여부를 판단할 때, 시간이 흐름에 따라 재생 영상 내에서 꺾이는 지점이 기준지점에 위치에 도달한 시점일 때에 게임 참여자가 입력한 게임 조작신호의 방향키의 방향 정보가, 상기 재생 영상 내에서 꺾이는 지점의 그 다음에 위치하는 바닥타일의 패턴 변화의 진행방향 정보인 move 정보와 서로 정확히 일치할 때에만, 상기 제2 정보와 상기 제1 정보가 서로 일치하는 것으로 판단하여 상기 판단에 따라 게임 점수를 도출하고,
   상기 재생 요청에 의해 게임 참여자 단말의 화면에 재생 영상이 플레이된 시점을 기준으로 하여, 처음에 0점으로 시작했다가, 시간의 흐름에 따라 게임 조작신호인 제2 정보가 제1 정보와 일치할수록 점차 증가되는 형태의 점수가 부여되도록 게임 점수를 도출하거나, 또는 처음에 100점으로 시작했다가, 시간이 흐름에 따라 게임 조작신호인 제2 정보가 제1 정보와 일치하는 경우 처음 점수인 100점을 유지하되, 제2 정보가 제1 정보와 불일치할수록 점차 감소되는 형태의 점수가 부여되도록 게임 점수를 도출하고,
   상기 기준지점은 재생 영상의 표출 영역의 하단 라인에 대응하는 지점으로 설정되고,
   상기 게임 조작신호는, 업키, 다운키, 레프트키 및 라이트키를 포함한 4개의 방향키를 이용하여 입력 가능하고,
   상기 제어부는,
   상기 리스트를 제공했을 때, 게임 참여 단말의 단말 유형이 키보드를 가진 데스크탑 PC 또는 노트북에 해당하는 제1 유형의 단말인지, 또는 키보드가 없는 스마트폰에 해당하는 제2 유형의 단말인지를 식별하고,
   상기 게임 참여자 단말의 단말 유형이 제2 유형의 단말인 것으로 식별된 경우, 제1 음악 VR게임 데이터에 대하여 재생 요청이 이루어졌을 때, 제1 영역에 표시되는 제1 음악 VR게임 데이터의 재생 영상과, 제2 영역에 표시되되 4개의 방향키 정보의 입력이 가능한 형태로 마련되는 아이콘인 조작키패드 아이콘, 및 제3 영역에 표시되되 게임 난이도를 조절 가능하게 하고 공간지각능력과두뇌 발달의 향상에 도움주기 위해 마련된 회전제어버튼이 포함된 게임 페이지를 게임 참여자 단말의 화면이 표출시키고, 상기 제1 영역, 제2 영역 및 제3 영역을 게임 페이지 내에서 서로 중첩되지 않는 위치에 배치시키고,
   상기 회전제어버튼은, 화면에 표출된 게임페이지 내에서, 제2 영역에 표시되는 조작키패드 아이콘과 제3 영역에 표시되는 회전제어버튼 각각의 회전 방향은 처음 제공된 상태로 변화 없이 그대로 유지한 상태로, 제1 영역에 표시되는 재생 영상의 회전 각도만을 달리 제어할 수 있는 버튼이되, 제1 영역에 표시되는 재생 영상의 회전 각도의 각도 조절값으로서, 0도 이상 360도 이하의 값 중 어느 한 각도값으로 선택 또는 입력 가능하도록 마련되고,
   상기 제어부는,
   게임 참여자로부터 상기 회전제어버튼을 통해 선택 또는 입력된 각도 조절값을 기반으로, 상기 선택 또는 입력된 각도 조절값에 대응하는 각도만큼 제1 영역에 표시된 재생 영상을 시계방향으로 조절하여 상기 재생 영상의 회전 각도를 제어하고,
   상기 재생 영상이 기본 상태일 때 기준지점이 재생영상의 표출 영역의 하단 라인에 대응하는 지점으로 설정되도록 하되, 상기 회전제어버튼에 의해 상기 재생 영상의 회전 각도가 제어된 경우일 때 제어된 재생 영상의 회전 각도만큼 기준지점이 이동되어 달리 설정되도록 하고,
   상기 게임 점수 관리부는,
   상기 재생 영상이 기본 상태일 때, 재생 영상 내 꺾이는 지점의 꺾이는 방향이 좌측 방향인 경우, 상기 꺾이는 지점이 기준지점에 도달한 시점에 레프트키를 누르는 게임 조작신호를 입력한 경우, 정답인 것으로 판단하여 게임 점수를 도출하고,
   상기 재생 영상이 상기 회전제어버튼에 의해 시계방향으로 180도만큼 회전된 상태일 때, 회전에 의해 화면 상에 보여지는 상기 꺾이는 방향이 우측 방향이지만 게임 참여자가 실제로 상기 꺾이는 지점이 기준지점에 도달한 시점에 레프트키를 눌러아만 정답인 것으로 인정하여 게임 점수를 도출하고,
   상기 재생 영상이 상기 회전제어버튼에 의해 시계방향으로 270도만큼 회전된 상태일 때, 회전에 의해 화면 상에 보여지는 상기 꺾이는 방향이 하측 방향이지만 게임 참여자가 실제로 상기 꺾이는 지점이 기준지점에 도달한 시점에 레프트키를 눌러아?? 정답인 것으로 인정하여 게임 점수를 도출하고,
   상기 제어부는,
   복수개의 게임 참여자 단말 각각에 대하여, 복수개의 게임 참여자 단말 각각의 게임 참여에 따른 게임 참여 이력 정보를 게임 DB에 저장하고 관리하며, 복수개의 게임 참여자 단말의 게임 참여 이력 정보를 기반으로 랭킹을 결정하고, 게임 점수가 높은 순으로 하여 기 정해진 상위 랭크에 속하는 일부 게임 참여자 단말로 보상을 제공하고, 보상으로서 현금 또는 인공지능 모델을 이용한 음악 VR게임 장치에 의해 제공되는 판매상품의 구매가 가능한 포인트를 제공하고,
   게임 참여자 단말의 화면에 표시된 쇼핑메뉴에 대한 게임 참여자의 선택 입력이 이루어진 경우, 복수의 판매상품이 표시된 상품판매 페이지를 게임 참여자 단말의 화면에 표시하되, 상기 상품판매 페이지 내에 복수의 판매상품의 개략 정보, 및 복수의 판매상품 각각과 1:1 대응되도록 생성된 , 판매상품에 대한 상세한 설명 정보인 판매상품 상세설명 정보의 확인이 가능하도록 하는 버튼인 복수의 상세버튼이 포함되도록 하고,
   상기 복수의 상세버튼 중 제1 상세버튼에 대한 게임 참여자의 입력이 이루어진 경우, 상기 제1 상세버튼에 대응하는 제1 판매상품 상세설명 정보를 게임 참여자 단말로 제공하되,
   게임 참여자가 제1 상세버튼을 기 설정된 시간 미만으로 클릭 입력한 경우, 제1 상세버튼이 노출되어 있는 게임 참여자 단말의 현재의 화면 페이지인 상품판매 페이지와는 다른 새로운 페이지를 통해 상기 제1 판매상품 상세설명 정보가 상기 새로운 페이지의 전체에 표시되도록 게임 참여자 단말을 작동을 제어하고,
   게임 참여자가 제1 상세버튼을 기 설정된 누름 입력 시간 이상 누르고 있는 상태인 경우, 제1 상세버튼을 누른 후 상기 기 설정된 누름 입력 시간이 지난 시점에 제1 판매상품 상세설명 정보가 게임 참여자 단말의 화면 상의 일부 영역에 팝업 방식으로 오버레이하여 표시되도록 게임 참여자 단말의 작동을 제어하되,
   상기 팝업 방식으로 표시된 상태에서, 상기 제1 상세버튼을 누르고 있던 게임 참여자의 손가락이 제1 상세버튼에 대응하는 버튼 영역 내의 위치에서 ?燦沮? 경우 게임 참여자 단말의 화면에 표시되어 있던 제1 판매상품 상세설명 정보가 화면 상에서 미표시되도록 제어하고, 상기 손가락이 상기 제1 상세버튼과 중첩되지 않게 표시되는 상기 일부 영역인 경우 상기 제1 판매상품 상세설명 정보가 화면 상에 계속 표시되도록 하고,
   상기 게임 DB에 저장된 복수개의 음악 VR게임 데이터의 리스트를 게임 참여자 단말로 제공할 때, 화면의 일영역에 리스트 내 복수개의 음악 VR게임 데이터의 항목들의 필터링을 위한 필터링 버튼을 함께 제공하고, 필터링 버튼이 수행 미완료 필터링 체크란에 해당하는 제1 체크란, 수행완료 필터링 체크란에 해당하는 제2 체크란 및 게임 점수 입력란을 포함하도록 마련하고,
   게임 참여자가 필터링 버튼 내 수행 미완료 필터링 체크란인 제1 체크란에 체크 입력을 한 것으로 감지되는 경우, 리스트 내 복수개의 음악 VR게임 데이터 중에서, 게임 참여자에 의해 한번도 끝까지 게임을 완료하지 못함에 따라 게임 수행의 완료가 1회 이상 이루어지지 않은 음악 VR게임 데이터들만을 일부 항목으로서 추출하여 게임 참여자 단말의 화면에 표시하고,
   게임 참여자가 필터링 버튼 내 수행완료 필터링 체크란인 제2 체크란에 체크 입력을 한 것으로 감지되는 경우, 리스트 내 복수개의 음악 VR게임 데이터 중에서, 게임 참여자에 의해 한번 이상 게임이 끝까지 수행되어 게임 수행의 완료가 1회 이상 이루어짐에 따라 게임 점수가 도출되었던 적이 있는 음악 VR게임 데이터들만을 일부 항목으로서 추출하여 게임 참여자 단말의 화면에 표시하고,
   상기 게임 점수 입력란은, 필터링 버튼 내 제2 체크란을 게임 참여자가 체크 입력을 한 경우에 한하여, 게임 점수의 입력이 가능하도록 활성화되는 입력란이되, 게임 참여자가 한번 이상 게임을 끝까지 수행완료하여 게임 점수가 도출된 기록이 있는 음악 VR게임 데이터들 중에서도, 게임 참여자가 게임 점수 입력란에 입력한 특정 게임 점수에 해당하는 기록을 가진 음악 VR게임 데이터들을 추출하여 제공하기 위해 마련되는 입력란이고, 복수개의 선택란으로서, 100점에 해당하는 제1 선택란, 90점 이상 100점 미만에 해당하는 제2 선택란, 80점 이상 90점 미만에 해당하는 제3 선택란, 70점 이상 80점 미만에 해당하는 제4 선택란, 및 70점 미만에 해당하는 제5 선택란을 갖도록 설정되고,
   상기 제어부는,
   게임 참여자가 필터링 버튼 내 수행완료 필터링 체크란인 제2 체크란에 체크 입력을 한 후, 게임 점수 입력란에 80점 이상 90점 미만에 해당하는 제3 선택란을 선택 입력한 것으로 감지되는 경우, 리스트 내 복수개의 음악 VR게임 데이터 중에서 게임 참여자에 의해 게임 수행의 완료가 1회 이상 이루어진 음악 VR게임 데이터들만을 1차적으로 일부 항목으로서 추출하고, 이후, 1차로 추출된 일부 항목들 중에서 게임 참여자의 게임 점수의 도출 기록으로서 80점 이상 90점 미만에 해당하는 게임 점수의 기록을 가진 음악 VR게임 데이터들만을 2차적으로 일부 항목으로서 추출하고, 이후 2차로 추출된 일부 항목에 해당하는 음악 VR게임 데이터들의 리스트를 게임 참여자 단말의 화면에 표시하는 것인, 인공지능 모델을 이용한 음악 VR게임 장치.
2. 삭제
3. 삭제
4. 삭제
5. 삭제

Images