KR20200003022A - Vr 시나리오에서의 롤 플레이 시뮬레이션 방법 및 단말 기기 - Google Patents

Vr 시나리오에서의 롤 플레이 시뮬레이션 방법 및 단말 기기 Download PDF

Info

Publication number
KR20200003022A
KR20200003022A KR1020197034888A KR20197034888A KR20200003022A KR 20200003022 A KR20200003022 A KR 20200003022A KR 1020197034888 A KR1020197034888 A KR 1020197034888A KR 20197034888 A KR20197034888 A KR 20197034888A KR 20200003022 A KR20200003022 A KR 20200003022A
Authority
KR
South Korea
Prior art keywords
scene
tool
role
virtual
interaction
Prior art date
Application number
KR1020197034888A
Other languages
English (en)
Other versions
KR102354274B1 (ko
Inventor
홍이 장
Original Assignee
텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 filed Critical 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Publication of KR20200003022A publication Critical patent/KR20200003022A/ko
Application granted granted Critical
Publication of KR102354274B1 publication Critical patent/KR102354274B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/814—Musical performances, e.g. by evaluating the player's ability to follow a notation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/365—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems the accompaniment information being stored on a host computer and transmitted to a reproducing terminal by means of a network, e.g. public telephone lines
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1081—Input via voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/302—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device specially adapted for receiving control signals not targeted to a display device or game input means, e.g. vibrating driver's seat, scent dispenser
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8047—Music games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/005—Musical accompaniment, i.e. complete instrumental rhythm synthesis added to a performed melody, e.g. as output by drum machines
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/401—3D sensing, i.e. three-dimensional (x, y, z) position or movement sensing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

VR 시나리오에서의 롤 플레이 시뮬레이션 방법, 및 단말 기기가 제공된다. VR 시나리오에서의 롤 플레이 시뮬레이션 방법은 VR 시나리오에서 손 모델에 의해 트리거되는 역할 취득 명령을 취득하는 단계 - 상기 VR 시나리오에서의 상기 손 모델의 이동은 상호작용 제어기에 의해 제어됨 -; 상기 역할 취득 명령에 따라, 상기 VR 시나리오에서 가상 역할을 결정하는 단계; 상기 VR 시나리오에서 재생되는 음악 파일에 따라 상기 VR 장면에서의 가상 아이템를 동적으로 조정하는 단계; 및 VR 디스플레이 기기에 의해 상기 VR 시나리오에서의 상기 가상 역할을 표시하고, 및 상기 동적으로 조정된 가상 아이템을 표시하는 단계를 포함한다.

Description

VR 시나리오에서의 롤 플레이 시뮬레이션 방법 및 단말 기기
본 개시의 실시예는 통신 분야, 특히 가상 현실(virtual reality, VR) 장면에서의 역할 시뮬레이션 방법 및 단말 장치에 관한 것이다.
현재, 주크박스가 널리 사용된다. 주크박스의 노래 선택 시스템은 플레이어가 노래 데이터베이스에서 노래할 곡을 선택할 수 있도록 지원하여, 플레이어와 노래 선택 시스템 간의 간단한 상호작용을 달성할 수 있다. 그러나, 현재 이러한 노래 선택 시스템은 주로 독립형 버전의 형태이다. 이 경우, 각 플레이어는 스스로를 재현할 수 있을 뿐이고, 몰입 경험 없이 "소 귀에 경 읽기"처럼 기계를 향해 노래를 부를 수 있을 뿐이다.
가라오케(Karaoke)는 사람들의 가장 기본적인 사회적 경험 중 하나가 되었다. 친척과 친구는 항상 홈 파티 또는 KTV와 같은 여흥을 즐길 수 있는 장소의 사적인 공간에 모인다. 그러나 지리적 위치의 제한으로 인해, 서로 멀리 떨어져 있는 두 사람이 실제KTV에서 느낌을 경험할 수 없다.
이상으로부터 종래의 주크박스 및 가라오케는 플레이어에게 좋은 가창 경험을 제공할 수 없고 플레이어에게 몰입감 있는 역할 경험을 제공할 수 없음을 알 수있다.
본 개시의 실시예에 따른 VR 장면에서의 역할 시뮬레이션 방법 및 단말 장치가 제공되며, 이를 통해 VR 장면에서의 역할 시뮬레이션이 구현될 수 있으며, 플레이어에게 몰입감 있는 역할 경험을 제공한다.
제1 측면에서, 본 개시의 일 실시예에 따른 VR 장면에서의 역할 시뮬레이션 방법이 제공된다. 상기 방법은,
상기 VR 장면에서 손 모델에 의해 트리거되는 역할 획득 명령을 획득하는 단계 - 상기 VR 장면에서의 상기 손 모델의 이동은 상호작용 제어기에 의해 제어됨 -;
상기 역할 획득 명령에 응답하여 상기 VR 장면으로부터 가상 역할을 결정하는 단계;
상기 VR 장면에서 재생되는 음악 파일에 따라 상기 VR 장면에서의 가상 도구(virtual prop)를 동적으로 조정하는 단계; 및
VR 디스플레이를 통해, 상기 VR 장면에서의 상기 가상 역할, 및 상기 동적으로 조정된 가상 도구를 표시하는 단계를 포함한다.
제2 측면에서, 본 개시의 일 실시예에 따른 단말 장치가 제공된다. 상기 단말 장치는, 단말 장치로서,
VR 장면에서 손 모델에 의해 트리거되는 역할 획득 명령을 획득하도록 구성된 획득 모듈 - 상기 VR 장면에서의 상기 손 모델의 이동은 상호작용 제어기에 의해 제어됨 -;
상기 역할 획득 명령에 응답하여 상기 VR 장면으로부터 가상 역할을 결정하도록 구성된 역할 결정 모듈;
상기 VR 장면에서 재생되는 음악 파일에 따라 상기 VR 장면에서의 가상 도구를 동적으로 조정하도록 구성된 도구 조정 모듈; 및
VR 디스플레이를 통해, 상기 VR 장면에서의 상기 가상 역할 및 상기 동적으로 조정된 가상 도구를 표시하도록 구성된 디스플레이 모듈을 포함한다.
제3 측면에서, 본 개시의 일 실시예에 따른 단말 장치가 더 제공된다. 상기 단말 장치는 프로세서, 메모리, 상호작용 제어기 및 VR 디스플레이를 포함한다. 상기 프로세서와 상기 메모리는 버스를 통해 서로 통신한다. 상기 프로세서는 무선 네트워크를 통해 상기 상호작용 제어기 및 상기 VR 디스플레이와 통신한다. 상기 상호 작용 제어기는 손 모델의 이동을 제어하도록 구성된다. 상기 메모리는 프로그램, 명령어 및 데이터를 저장하도록 구성된다. 상기 프로세서는 상기 메모리 내의 상기 프로그램, 명려어 및 데이터를 호출하여, 다음 작업: VR 장면에서 손 모델에 의해 트리거되는 역할 획득 명령을 획득하는 작업 - 상기 VR 장면에서의 상기 손 모델의 이동은 상기 상호작용 제어기 의해 제어됨 -; 및 상기 역할 획득 명령에 응답하여 상기 VR 장면으로부터 가상 역할을 결정하는 단계; 및 상기 VR 장면에서 재생되는 음악 파일에 따라 상기 VR 장면에서의 가상 도구를 동적으로 조정하는 단계를 포함한다. 상기 VR 디스플레이는 상기 프로세서의 제어하에, 상기 VR 장면에서의 가상 역할 및 동적으로 조정된 가상 기구를 표시하도록 구성된다.
본 개시의 제3 측면에서, 상기 단말 장치를 구성하는 모듈들은 전술한 제1 측면 및 다양한 가능한 구현예에서 설명된 단계를 더 수행할 수 있으며, 세부사항은 제1 측면 및 다양한 가능한 구현예의 전술한 설명에서 제공된다.
본 개시의 제4 측면에서, 컴퓨터로 판독 가능한 저장 매체가 제공된다. 상기 컴퓨터로 판독 가능한 저장 매체는 명령어를 저장한다. 상기 명령어는, 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 전술한 측면에서의 방법을 수행하게 한다.
전술한 기술적 방안으로부터 본 개시의 실시예가 다음과 같은 장점이 있다는 것을 알 수 있다.
본 개시의 실시예에서, VR 장면에서 손 모델에 의해 트리거되는 역할 획득 명령이 먼저 획득되며, 여기서 VR 장면에서의 손 모델의 이동은 상호작용 제어기에 의해 제어된다. 다음으로, 역할 획득 명령에 응답하여 VR 장면으로부터 가상 역할이 결정된다. 다음으로, VR 장면에서의 가상 도구가 VR 장면에서 재생되는 음악 파일에 따라 동적으로 조정된다. 끝으로 VR 장면에서의 가상 역할과 동적으로 조정된 가상 도구가 VR 디스플레이를 통해 표시된다. 본 개시의 실시예에서, VR 장면에서 재생되는 음악 파일에 따라 VR 장면에서의 가상 도구를 동적으로 조정함으로써, VR 장면에서의 가상 도구가 동적으로 조정될 수 있다. 이러한 방식으로, 플레이어는 음악 파일과 함께 가상 도구의 동적 조정을 관찰하면서, VR 장면에서 재생되는 음악 파일을 들을 수 있으므로, VR 장면에서의 역할 시뮬레이션이 구현될 수 있어, 플레이어에게 몰입감 있는 역할 경험을 제공할 수 있다.
도 1은 본 개시의 일 실시예에 따른 VR 장면에서의 역할 시뮬레이션 방법의 블록 흐름도이다.
도 2는 본 개시의 일 실시예에 따른 가상 보컬 콘서트 장면에서 가수 역할이 노래를 부르는 프로세스 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 가상 보컬 콘서트 장면에서 가라오케 장면의 개략도이다.
도 4는 본 개시의 일 실시예에 따른 가사 화면, 무대 조명 및 관중석 퍼포먼스와 가수 역할의 상호작용을 나타낸 개략도이다.
도 5는 본 개시의 일 실시예에 따른 조명 이동 및 깜박거림(flicker)을 제어하기 위한 시간축의 인터페이스도이다.
도 6은 본 개시의 일 실시예에 따른 동적 마스크를 처리하는 프로세스를 나타낸 개략도이다.
도 7a는 본 개시의 일 실시예에 따라 샌드 해머(sand hammer)가 상호작용 도구로서 기능하는 구현 장면의 개략도이다.
도 7b는 본 개시의 일 실시예에 따라 샌드 해머의 다중 상태 간의 전환 프로세스를 나타낸 개략도이다.
도 8a는 본 개시의 일 실시예에 따라 형광봉(light stick)이 상호작용 도구로서 기능하는 구현 장면의 개략도이다.
도 8b는 본 개시의 일 실시예에 따른 형광봉과 방울(bubble)의 충돌 처리 프로세스를 나타낸 개략도이다.
도 9a는 본 개시의 일 실시예에 따른 단말 장치의 개략 구성도이다.
도 9b는 본 개시의 일 실시예에 따른 다른 단말 장치의 개략 구성도이다.
도 10은 본 개시의 일 실시예에 따른 다른 단말 장치의 개략 구성도이다.
본 개시의 실시예에 따른 VR 장면에서의 역할 시뮬레이션 방법 및 단말 장치가 제공되며, 이를 통해 VR 장면에서의 역할 시뮬레이션이 구현될 수 있으며, 플레이어에게 몰입감 있는 경험을 제공한다.
이하, 첨부 도면을 참조하여 본 개시의 실시예를 설명한다.
본 개시의 명세서, 청구범위 및 첨부도면에서, 용어 "제1(first)", "제2(second)" 등은 특정한 순서를 나타내는 것이 아니라 유사한 대상 간을 구별하도록 의도된다. 이해해야 할 것은, 이러한 방식으로 사용된 용어는 적절한 경우에 상호교환 가능하고, 이는 본 개시의 실시예에서 동일한 속성을 갖는 대상들이 설명될 때 사용되는 구별 방식일 뿐이라는 것이다. 또한 용어 "포함하다(include, contain)" 및 임의의 다른 변형은 비배타적 포함을 포함하도록 의도되므로, 예를 들어 일련의 유닛을 포함하는 프로세스, 방법, 시스템, 제품 또는 기기는 그러한 유닛으로 한정되는 것이 아니라, 명시적으로 기재되지 않거나 그러한 프로세스, 방법, 제품 또는 기기에 고유하지 않은 유닛을 포함할 수 있다.
가상 현실(VR) 기술은 가상 세계를 참조하여 경험할 수 있는 컴퓨터 시뮬레이션 시스템이다. 이 기술에서, 컴퓨터를 사용하여 시뮬레이션 환경이 생성될 수 있고, 상호작용형의 3차원 동적 장면의 시스템 시뮬레이션 및 멀티소스 정보 융합(multi-source information fusion )의 엔티티 거동(entity behavior)이 구현될 수 있어, 사용자가 환경에 몰입될 수 있도록 한다. 현재 VR 기술은 주로 VR 게임에 적용된다. 그러나, 본 개시의 실시예에서는 VR 장면에 기초한 역할 시뮬레이션을 구현하여, 플레이어가 손 모델을 사용하여 VR 장면에서 역할 제어를 수행할 수 있도록 하므로, 플레이어는 가상 역할로 표현되어 가상 장면을 경험할 수 있다. VR 장면에는 역할 및 가상 도구가 더 표시될 수 있다. 이러한 가상 도구는 VR 장면에서 재생되는 음악 파일에 따라 동적으로 조정될 수 있다. VR 경험과 작동 모드를 통해, 플레이어는 큰 자유를 부여받고, 기존의 가라오케 시스템에 비교가 안될 정도로 강한 몰입감을 갖는다. 종래 기술에서는 서로 멀리 떨어져 있는 두 사람이 실제 KTV에서의 느낌을 함께 경험하기가 매우 어렵다. 본 개시의 실시예들에서 제공되는 VR 장면에서의 역할 시뮬레이션 솔루션들에 의해, 사용자는 두 눈으로 가상 장면을 보는 것을 도울 수 있고, 가상 노래방 경험이 제공될 수 있다.
본 개시의 일 실시예에서 제공되는 VR 장면에서의 역할 시뮬레이션 방안에 의해, 사용자는 두 눈으로 가상 장면을 보는 것을 도움받을 수 있고, 가상 가라오케 경험이 제공될 수 있다.
본 개시의 일 실시예에 따른 VR 장면에서의 역할 시물레이션 방법은 구체적으로 가상 장면에서 사용자가 상호작용 제어기를 사용하는 실제 느낌을 경험하기 위해 손 모델이 사용되는 장면에 구체적으로 적용될 수 있다. 본 개시의 실시예에서의 VR 장면은 구체적으로 VR 게임 장면을 지칭할 수 있거나, 또는 애플리케이션 프로그램의 VR 동작 장면, 예를 들어 사무용 소프트웨어를 위한 VR 애플리케이션 동작 장면, 및 역할을 위한 VR 애플리케이션 동작 장면을 지칭할 수 있다. 도 1을 참조하면, 본 개시의 일 실시예에 따른 VR 장면에서의 역할 시뮬레이션 방법은 다음의 단계 101 내지 104를 포함할 수 있다.
101에서, VR 장면에서 손 모델에 의해 트리거되는 역할 획득 명령이 획득되며, 여기서 VR 장면에서의 손 모델의 이동은 상호작용 제어기에 의해 제어된다.
본 개시의 본 실시예에서, 상호작용 제어기는 VR 장치 제조자에 의해 생산된 제어 장치이다. 예를 들어, 사용자는 하나의 상호작용 제어기를 각각 쥐기 위해 왼손과 오른손을 사용할 수 있다. 상호작용 제어기는 VR 장치와 매칭된 손 제어 장치로서, 양 손의 위치, 회전 및 입력을 추적하고, 실제 공간에서의 손 이동을 VR에서의 손 모델의 이동으로 변환하고, VR 장면에서 획득된 관련 데이터를 적용할 수 있은 손 제어 장치이다. 상호작용 제어기의 위치 결정은 측정 공간에서 측정된 데이터의 실시간 통계를 통해 수행될 수 있다. 측정 공간은 VR 하드웨어 장치 제조자에 의해 생산된 위치결정 시스템에 의해 교정되는 실제 물리 공간이며, 일반적으로 수 제곱 미터 내지 수십 제곱 미터이다. 측정 공간은 실제 물리 공간에서 상호작용 제어기의 회전 및 이동을 획득하는 데 사용된다. 예를 들어, 상호작용 제어기는 Oculus Touch와 같은 VR 게임에서 사용되는 조작 핸들일 수 있다.
본 개시의 실시예에서, 상호작용 제어기는 조작을 위해 사용자가 쥘 수 있고, 사용자는 상호작용 제어기를 쥐고 제어 명령을 발행할 수 있다. 예를 들어, 사용자는 상호작용 제어기를 조작하여 VR 장면에서 역할 획득 명령을 트리거하도록 손 모델을 제어한다. VR 장면을 표시하기 전에, 플레이어는 역할을 선택할 수 있다. 본 개시의 실시예에서, 다수의 상이한 가상 역할이 VR 장면에서 설정될 수 있고, 각각의 플레이어는 하나 이상의 가상 역할을 제어할 수 있다. 각각의 플레이어는 VR 장면으로 방에 들어간 후 각각의 상호작용 제어기를 통해 플레이어의 대응하는 역할을 선택할 수 있다. 다시 말해, 각각의 플레이어는 상호작용 제어기를 사용하여 손 모델을 제어하여 역할 선택 명령을 트리거한다. 다른 VR 장면에서, 설정해야 할 역할 범주와 역할 모델이 다르다. 예를 들어, 보컬 콘서트의 역할 시뮬레이션 장면인 VR 장면에서, 관중 역할과 가수 역할(예: 스타 역할)이 설정될 수 있다. 다른 예를 들어, 게임 배틀의 역할 시뮬레이션 장면인 VR 장면에서, 친구팀 및 적 팀 등을 포함하여 다수의 배틀 팀의 역할이 설정될 수 있다.
유의해야 할 것은, 본 개시의 실시예에서, 상호작용 제어기는 명령 트리거링을 제어하기 위해 사용자가 손에 쥔다는 것이다. 상호작용 제어기의 명령 트리거링은 VR 장면에서 손 모델을 제어하여 이동 조작을 수행하는 데 사용되며, 상호작용 제어기의 이동은 사용자에 의해 제어될 수 있다. 또한, 본 개시의 실시예에서, 손 모델은 가상 역할의 일부에 속할 수 있거나, 또는 가상 역할과 무관할 수 있다. VR 장면에서 손 모델의 이동은 상호작용 제어기에 의해 수행되는 트리거링 조작을 시뮬레이션하는 데 사용된다. 손 모델은 VR 장면에서 손의 모델링으로서 먼저 표시될 수 있거나, 또는 장갑 또는 손가락과 같은, 트리거링을 수행하기 위해 손을 대체하는 게임 도구일 수 있다.
102에서, 역할 획득 명령에 응답하여 가상 역할이 VR 장면으로부터 결정된다.
본 개시의 실시예에서, 플레이어는 상호작용 제어기를 조작한다. 상호작용 제어기는 손 모델의 이동을 제어할 수 있고, 손 모델은 역할 획득 명령을 트리거할 수 있다. 가상 역할은 역할 획득 명령의 요건에 따라 VR 장면으로부터 결정될 수 있다. 예를 들어, 역할 획득 명령은 역할 드롭다운 메뉴에서 플레이어가 선택한 역할 명칭과 역할 식별자를 실어 전달한다. 이 경우, VR 장면에 표시될 가상 역할은 역할 명칭 및 역할 식별자에 따라 결정될 수 있다. 또한, 플레이어에 의해 요구되는 파일 정보는 역할 획득 명령에 의해 실려 전달되는 파라미터 정보에 따라 입력될 수 있으며, VR 장면에 표시될 가상 역할은 파일 정보를 이용하여 결정될 수 있다.
유의해야 할 것은, 본 개시의 실시예에서, VR 장면에서 선택된 역할 모델은 VR 장면에서 나타나지 않을 수 있고, 역할 모델에 장착된 카메라 렌즈는 사용자가 VR 디스플레이를 작용하여 VR 장면을 보는 시야각이다. 카메라 렌즈는 또한 손 모델의 이동에 따라 끊임없이 이동해야 하므로, 사용자는 손 모델의 이동 중에 역할 모델의 이동을 경험할 수 있다.
본 개시의 일부 실시예에서, VR 장면에서 손 모델에 의해 트리거되는 역할 획득 명령을 획득하는 전술한 단계 101은,
A1. VR 장면에서 손 모델에 의해 선택되는 불려질 노래를 검출하고, 불려질 노래를 노래 목록에 추가하는 단계; 및
A2. 손 모델의 선택 조작에 따라 역할 획득 명령을 결정하는 단계를 포함한다.
VR 장면은 보컬 콘서트의 역할 시뮬레이션 장면일 수 있다. 플레이어는 상호작용 제어기를 조작하여 손 모델을 제어하여 불려질 노래를 선택할 수 있다. 부려질 노래의 수는 하나 이상일 수 있다. 플레이어는 불려질 노래를 선택한 후 불려질 노래를 노래 목록에 추가한다. 확장된 노래 목록에 기초하여 새로운 불려질 노래가 목록에 추가되는 것으로 결정될 수 있다. 이 경우, 손 모델의 노래에 대한 선택 조작에 따라 플레이어가 역할 획득 명령을 발행하는 것으로 결정될 수 있다.
전술한 단계 A1 및 단계 A2를 수행하는 구현 장면에서, 역할 획득 명령에 응답하여 VR 장면으로부터 가상 역할을 결정하는 단계 102는,
B1. 노래 목록에 따라 가상 역할의 가창 순서를 결정하는 단계;
B2. 가창 순서에 따라 가상 역할이 노래를 부를 차례인 경우, 가상 역할의 현재 역할 상태를 가수 역할로서 결정하고 마이크로폰을 활성화하는 단계; 및
B3. 가창 순서에 따라 가상 역할이 노래를 부를 차례가 아닌 경우, 가상 역할의 현재 역할 상태를 관중 역할로서 결정하는 단계를 포함한다.
다수의 플레이어가 동일한 VR 장면에 진입하여 VR 장면에서 가상 상호작용을 수행할 수 있다. 각각의 플레이어는 예를 들어 VR 디스플레이의 화면을 통해 VR 장면에서 노래 목록을 볼 수 있다. 노래 목록은 다수의 플레이어에 의해 선택된 노래를 포함한다. 이 경우, 노래 목록에서의 가창 순서는 노래 선택 시간 또는 가상 역할의 우선순위에 기초하여 결정될 수 있다. 예를 들어, 특정 가상 역할이 맡은 스타 역할이 속한 지역이 불려질 노래의 목록이 속한 지역과 일치하면, 가상 역할의 우선 순위는 높아서, 가창 순서의 최전선에 순위가 부여될 수 있다. 가창 순서는 다수의 가상 역할의 역할 상태 전환 기준이다. 가창 순서에 따라 가상 역활이 노래를 부를 차례인 경우, 가상 역할의 현재 역할 상태가 가수 역할로서 결정되고, 마이크로폰이 활성화된다. 가창 순서에 따라 가상 역할이 노래를 부를 차례가 아닌 경우, 가상 역할의 현재 역할 상태는 관중 역할로서 결정된다. 예를 들어, 플레이어는 VR 클라이언트와 같은 단말 장치를 조작할 수 있다. 각각의 플레이어는 단말 장치의 애플리케이션 프로그램 인터페이스를 통해 방에 입장한 후에 보컬 콘서트의 가상 장면을 보고, 보컬 콘서트의 가상 장면에 손 모델이 로딩된다. 플레이어는 손 모델을 조작하여 관중석의 위치에서 자유롭게 탐색하고 손 모델을 통해 노래 선택 조작을 트리거함으로써 노래 선택을 위한 메뉴를 호출할 수 있다. 노래 목록에서 플레이어에 의해 조작되는 가상 역할의 차례인 경우, 단말 장치의 마이크로폰이 활성화되고, 단말 장치는 마지막 가수의 가상 역할을 자동으로 관중석에 전송하며, 이 경우, 마지막 계층의 가상 역할의 역할 상태는 관중 역할이다. 다음으로, 단말 장치는 현재 플레이어의 가상 역할을 퍼포먼스를을 위한 무대로 전송하며, 가상 역할의 현재 역할 상태는 가수 역할이다.
본 개시의 일부 실시예에서, 본 개시의 실시예에서 수행되는 전술한 단계에 더하여, 본 개시의 실시예에서 제공되는 방법은 또한 다음 장면을 수행하여 음악 파일을 생성하는 데 사용될 수 있다. 구체적으로, 본 방법은,
C1. 노래 데이터베이스로부터 불려질 노래의 반주 파일 및 가사 파일을 획득하는 단계;
C2. 마이크로폰을 통해 상기 가수 역할이 부르는 사운드 파일을 수집하는 단계; 및
C3. 반주 파일, 가사 파일 및 사운드 파일에 따라 VR 장면에서 재생된 음악 파일을 결정하는 단계를 더 포함한다.
VR 장면은 보컬 콘서트의 역할 시뮬레이션 장면일 수 있으며, 다수의 노래의 반주 파일 및 가사 파일이 노래 데이터베이스에 저장될 수 있다. 불려질 노래를 결정하는 경우, 플레이어는 노래 데이터베이스로부터 불려질 노래의 반주 파일 및 가사 파일을 획득하고, 마이크로폰을 통해 가수 역할이 부르는 사운드 파일을 수집한 다음, 반주 파일, 가사 파일 및 음악 파일에 따라 VR 장면에서 재생된 음악 파일을 결정한다. 예를 들어, 현재 가수가 노래하고 있는지의 여부가 식별될 수 있다. 가수가 노래를 부르고 있으면, 가수 역할의 사운드 상태가 수집되어 사운드 파일을 획득한다. 현재 가수가 노래를 부르지 않으면, 반주 파일과 가사 파일이 수집될 수 있다.
103에서, VR 장면에서의 가상 도구는 VR 장면에서 재생되는 음악 파일에 따라 동적으로 조정된다.
본 개시의 실시예에서, VR 장면에서의 몰입감에 대한 플레이어의 요구를 충족시키기 위해, VR 장면에서의 가상 도구는 VR 장면에서 재생되는 음악 파일에 따라 동적으로 조정될 수 있다. 동적 조정은 미리 설정된 재생 순서 시간 축상에서 VR 장면에서 재생되는 음악 파일의 재생 진행 상태(play progress state)에 따른 실시간 조정일 수 있다. 예를 들어, VR 장면에서의 VR 도구를 동적으로 조정하는 것은 가상 도구를 동적으로 조정하는 것을 지칭할 수 있거나, 또는 색상 표시 파라미터, 방향 방위 파라미터 및 진동 주파수 파라미터와 같은, 가상 도구의 다양한 파라미터를 동적으로 조정하는 것을 지칭할 수 있다. 본 개시의 실시예에서, VR 장면에서 재생되는 음악 파일에 따라 VR 장면에서의 가상 도구를 동적으로 조정함으로써, VR 장면에서의 가상 도구가 동적으로 조정될 수 있다. 이러한 방식으로, 플레이어는 음악 파일과 함께 가상 도구의 동적 조정을 관찰하면서 VR 장면에서 재생되는 음악 파일을 들을 수 있으며, 이는 사용자에게 더 강한 몰입감을 제공한다.
유의해야 할 것은, 본 개시의 실시예에서 VR 장면에서 재생되는 음악 파일은 플레이어에 의해 입력된 음악 파일, VR 장면에서의 시스템 자체 구성 음악 파일, 또는 실시간으로 플레이어부터 수집된 음악 파일일 수 있으며, 여기서는 이를 한정하지 않는다는 것이다. VR 장면에서 재생되는 음악 파일은 악보가 있는 음악 정보, 멜로디만 있는 음악 데이터, 또는 플레이어로부터 수집된 연속 음성 데이터 등일 수 있으며, 여기서는 이를 한정하지 않는다.
본 개시의 실시예에서, VR 장면에는 여러 종류의 가상 도구가 있을 수 있다. 예를 들어, 가상 도구는 VR 장면에서의 장면 도구, 즉 장면을 장식하고 장면을 보조하기 위한 도구일 수 있다. 가상 도구는 또한 다수의 플레이어가 동일한 VR 장면에서 상호작용하기 위한 상호작용 도구일 수 있다. 보컬 콘서트의 역할 시뮬레이션 장면을 VR 장면의 예로 들면, 장면 도구는 VR 장면에 표시된 무대, 조명 및 풍선 등을 포함할 수 있고, 상호작용 도구는 형광봉, 손 모델에 의해 조작되는 샌드 해머, 징(gong) 및 북 등을 포함할 수 있다.
본 개시의 일부 실시예에서, VR 장면에서 재생되는 음악 파일에 따라 VR 장면에서의 가상 도구를 동적으로 조정하는 단계 103은,
D1. 음악 파일의 음악 리듬에 따라 전역 배율 파라미터를 결정하는 단계; 및
D2. 전역 배율 파라미터를 사용하여 VR 장면에서의 가상 도구를 동적으로 조정하는 단계를 포함한다.
VR 장면에서 재생되는 음악 파일이 획득된 후, 음악 파일의 음악 리듬을 결정하기 위해 음악 파일이 파싱되고, 전역 배율 파라미터는 음악 리듬을 참조하여 생성될 수 있다. 예를 들어, 각 노래의 분당 비트(beat per minute, BPM)는 음악 파일로부터 획득될 수 있다. BPM을 판독한 후, 음악 파일의 BPM에 따라 전역 배율 파라미터가 결정된 다음, 가상 도구의 동적 조정 주기는 수치 변환을 통해 계산된다. 전역 배율 파라미터는 미리 설정된 재생 순서 시간 축상에서 VR 장면에서 재생 된 음악 파일의 재생 진행 상태를 나타내는 데 사용된다. 전역 배율 파라미터는 전역로 유지되는 정적 포인터(static pointer)를 통해 획득될 수 있다. VR 장면에서의 가상 도구는 전역 배율 파라미터를 사용하여 동적으로 조정될 수 있다. 예를 들어, 전역 통일을 보장하기 위해, 전역 배율 파라미터가 게임 상태에 추가된다. 전역 배율 파라미터는 가상 도구를 제어하는 데 사용될 수 있다. 플레이어는 VR 디스플레이와 이어폰을 착용한 후에 새로운 세계에 들어가는 것처럼 보이며, 눈에 보이는 풍경은 귀에 들리는 소리와 매칭되므로, 시각과 청각이 크게 충족되어, 플레이어에게 몰입감을 제공한다. 본 개시의 실시예에서, 전역 배율 파라미터는 가상 도구를 제어하는 사용되어, 가상 도구의 추가 및 실행이 동적으로 제어될 수 있도록 하여, 가상 장면에서의 가상 도구의 설정을 용이하게 한다.
본 개시의 일부 실시예에서, 전역 배율 파라미터를 사용하여 VR 장면에서의 가상 도구를 동적으로 조정하는 단계 D2는,
전역 배율 파라미터를 순환 재생 시간축에 도입하는 단계; 및
순환 재생 시간축의 재생 주기에 따라 가상 도구의 도구 속성 파라미터를 설정하는 단계를 포함한다.
전역 배율 파라미터는 미리 설정된 재생 순서 시간축 상에 VR 장면에서 재생되는 음악 파일의 재생 진행 상태를 나타낼 수 있다. 전역 배율 파라미터는 전역으로 유지되는 정적 포인터를 통해 획득될 수 있다. VR 장면에서의 가상 도구의 도구 속성 파라미터는 전역 배율 파라미터를 사용하여 쉽게 제어될 수 있다. 도구 속성 파라미터는 도구의 이동 파라미터 또는 도구의 재료를 포함할 수 있다. 전역 배율 파라미터는 순환 재생 시간축에 도입되므로, 시간축의 재생 주기가 도구 속성 파라미터와 일치하도록 설정될 수 있어, 리듬으로 가득찬 동적인 환경 효과를 달성할 수 있다. 예를 들어, 가상 도구는 구체적으로 VR 장면에서의 상호작용 도구일 수 있고, 상호작용 도구의 생성 수 및 생성 빈도는 전역 배율 파라미터를 사용하여 제어될 수 있다. 예를 들어, VR 장면에서 생성된 방울의 수 및 방울을 생성하는 빈도는 제어될 수 있다.
또한, 본 개시의 일부 실시예에서, 가상 도구는 VR 장면에서의 장면 도구를 포함한다. 이러한 구현 장면에서, 전역 배율 파라미터를 사용하여 VR 장면에서의 가상 도구를 동적으로 조정하는 단계 D2는,
D21: 전역 배율 파라미터를 사용하여 초기 마스크 텍스처 맵(original mask texture map)에 대해 곱셈 연산을 수행하여 동적 마스크 텍스처 맵을 획득하는 단계; 및
D22: 동적 마스크 텍스처 맵과 장면 도구의 초기 색상 텍스처 맵에 대해 곱셈 연산을 수행하여 장면 도구의 실제 색상 텍스처 맵을 획득하는 단계를 포함한다.
장면 도구는 VR 장면에 표시될 필요가 있다. 장면 도구는 텍스처 맵 형태로 표시될 수 있다. 예를 들어, 초기 마스크 텍스처 맵 및 초기 색상 텍스처 맵은 장면 도구에 대해 구성되며, 여기서 초기 마스크 텍스처 맵 및 초기 색상 텍스처 맵은 각각 특정 화소의 UV 좌표로 표현될 수 있다. 초기 색상 텍스처 맵은 장면 도구의 전역 색상을 제공할 수 있다. 예를 들어, 초기 색상 텍스처 맵은 여러 색상의 텍스처 맵을 포함할 수 있다. 초기 마스크 텍스처 맵은 장면 도구에 대한 부분 색상 마스크 처리를 제공할 수 있으며, 예를 들어, 초기 마스크 텍스처 맵은 흑백 텍스처 맵일 수 있다. 먼저, 전역 배율 파라미터에 따라 초기 마스크 텍스처 맵에 대해 곱셈 연산이 수행되어 동적 마스크 텍스처 맵을 획득한다. 동적 마스크 텍스처 맵의 지역 텍스처(local texture)는 전역 배율 파라미터에 따라 변경될 수 있다. 동적 마스크 텍스처 맵이 획득된 후, 동적 마스크 텍스처 맵과 장면 도구의 초기 색상 텍스처 맵에 대해 곱셈 연산이 수행하여 장면 도구의 실제 색상 텍스처 맵을 획득한다. 실제 색상 텍스처 맵은 최종적으로 VR 장면에서의 실제 색상을 나타낼 수 있다. 장면 도구는 동적 마스크 텍스처 맵을 초기 색상 텍스처 맵에 중첩시킴으로써 VR 장면에서 상이한 색상을 나타낼 수 있다. 동적 마스크 텍스처 맵은 전역 배율 파라미터를 사용하여 초기 마스크 텍스처 맵을 처리함으로써 획득되기 때문에, 장면 도구의 실제 색상 텍스처 맵은 동적으로 조정될 수 있다. 예를 들어, 텍스처 맵은 언리얼 엔진(Unreal engine)의 최신 버전 UE4를 사용하여 렌더링될 수 있다. 엔진은 게임 개발자에게 그래픽 렌더링, 물리적 충돌 및 자원 관리와 같은 강력한 기능을 제공한다. 본 개시의 실시예에서, 텍스처 맵의 마스크는 동적 재료의 표현 형태를 제어하는 데 사용될 수 있다.
104에서, VR 장면에서의 가상 역할 및 동적으로 조정된 가상 도구는 VR 디스플레이를 통해 표시된다.
본 개시의 실시예에서, VR 디스플레이는 VR 장치 제조자에 의해 제조된 디스플레이 장치이다. 예를 들어, VR 디스플레이는 HTC VIVE 디스플레이일 수 있으며, 이는 HTC사와 Valve사가 공동으로 개발한 가상 현실 헤드마운트 디스플레이 제품(virtual reality head-mounted display product)이다.
본 개시의 실시예에서, VR 장면에 표시될 가상 역할이 전술한 단계 102를 통해 결정되고, VR 장면에 표시될 가상 도구가 전술한 단계 103을 통해 동적으로 조정된 후, VR 장면에서의 가상 역할은 VR 디스플레이를 통해 플레이어에게 표시될 수 있다. 또한 가상 역할을 표시하는 동안, 동적으로 조정된 가상 도구가 VR 디스플레이를 통해 표시된다. 단계 103으로부터 가상 도구가 VR 장면에서 재생되는 음악 파일에 따라 동적으로 조정될 수 있고, 따라서 가상 도구는 VR 디스플레이를 통해 음악 파일에 따라 동적으로 표시될 수 있음을 알 수 있다.
본 개시의 일부 실시예에서, 가상 도구는 VR 장면에서의 상호작용 도구를 구체적으로 포함할 수 있음을 전술한 예로부터 알 수있다. 이러한 구현 장면에서, 동적으로 조정된 가상 도구를 표시하는 단계 104는,
E1. 상호작용 제어기의 이동을 통해 VR 장면에서의 상호작용 도구의 이동을 제어하는 단계;
E2. 상호작용 도구의 이동 정보를 수집하는 단계 - 여기서 이동 정보는 다음 정보: 속도, 각속도, 가속도 및 각가속도 중 적어도 하나를 포함함 -; 및
E3. 이동 정보에 따라, VR 장면에서 소리를 내거나 소리를 내지 않도록 상호작용 도구를 제어하는 단계를 포함한다.
가상 도구가 구체적으로 VR 장면에서 상호작용 도구인 경우, 플레이어는 상호작용 제어기를 통해 상호작용 도구의 이동을 제어할 수 있다. 예를 들어, 센서가 상호작용 제어기 상에 배치되어 상호작용 도구의 이동 정보로서 상호작용 제어기의 이동 정보를 수집할 수 있다. 이동 정보는 다음 정보: 속도, 각속도, 가속도 및 각가속도 중 적어도 하나를 포함한다. 끝으로, 플레이어는 이동 정보에 따라 상호작용 도구를 제어하여 VR 장면에서 소리를 내거나 소리를 내지 않을 수 있다. 소리를 낼지 여부는 상호작용 도구의 이동 정보에 따라 결정되며, 이는 여러 방식으로 구현될 수 있다. 예를 들어, 소리를 낼지 또는 어떤 종류의 소리를 낼지는 속도의 값에 따라 결정될 수 있거나, 소리를 낼지의 여부는 각속도의 값에 따라 또는 위의 이동 정보의 조합에 따라 결정될 수 있다. 보컬 콘서트의 역할 상호작용 장면을 VR 장면의예로 들면, 상호작용 도구는 가수 역할에 의해 사용되는 샌드 해머, 징 또는 북일 수 있다. 징과 북을 사용하는 반주의 경우, 해결해야 할 주요 문제는 동작과 소리 간의 매칭이며, 충돌은 속도, 각속도, 가속도 및 각가속도를 포함한 4가지 변수를 통해 완전히 시뮬레이션된다.
본 개시의 일부 실시예에서, 이동 정보에 따라, VR 장면에서 소리를 내거나 소리를 내지 않도록 상호작용 도구를 제어하는 단계 E3은,
발성 판단 조건(sounding determining condition)을 미리 설정하는 단계 - 여기서 발성 판단 조건은 다음 임계치 조건: 속도 임계치 조건, 각속도 임계치 조건, 가속도 임계치 조건 및 각가속도 임계치 조건 중 적어도 하나를 포함함 -;
이동 정보가 발성 판단 조건을 충족시키는지의 여부를 판단하는 단계;
이동 정보가 발성 판단 조건을 충족시키는 경우에 VR 장면에서 소리를 내도록 상호작용 도구를 제어하는 단계; 및
이동 정보가 발성 판단 조건을 충족시키지 않는 경우에 VR 장면에서 소리를 내지 않도록 상호작용 도구를 제어하는 단계를 포함한다.
대응하는 임계치 조건은 상호작용 도구의 상이한 이동 파라미터에 따라 각각 설정될 수 있고, 상이한 이동 파라미터가 대응하는 임계치 조건을 충족시키는지의 여부에 기초하여 소리를 낼지의 여부가 판단된다. 예를 들어, 다음 단계: 상호작용 도구의 속도가 속도 임계치 조건을 충족시키는지의 여부를 판단하는 단계, 상호작용 도구의 가속도가 가속도 임계치 조건을 충족시키는지의 여부를 판단하는 단계, 상호작용 도구의 각속도가 각속도 임계치 조건을 충족시키는지의 여부를 판단하는 단계, 및 상호작용 도구의 각가속도는 각가속도 임계치 조건을 충족시키는지의 여부를 판단하는 단계 중 적어도 하나가 수행될 수 있다. 이해할 수 있는 것은, 상호작용 도구를 트리거하여 소리를 낼지의 여부는 전술한 임계치 조건 중 적어도 하나가 충족되는지의 여부에 기초하여 판단될 수 있다는 것이다. 예를 들어, 소리를 내도록 징과 북을 제어하기 위해 상태 머신이 도입될 수 있다. 고속 운동 시의 징과 북의 속도가 특정 임계치 아래로 감소하고 징과 북의 가속도이 특정 가속도 임계치를 초과할 때마다 징과 북이 한 번 소리를 낸다.
본 개시의 일부 실시예에서, 가상 도구가 구체적으로 VR 장면에서의 상호작용 도구를 포함할 수 있음을 전술한 예로부터 알 수있다. 이러한 구현 장면에서, 동적으로 조정된 가상 도구를 표시하는 단계 104는,
F1. 상호작용 제어기의 이동을 통해 VR 장면에서의 상호작용 도구의 이동을 제어하는 단계;
F2. 상호작용 도구가 VR 장면에서의 다른 가상 도구와 충돌 하는지의 여부를 예측하는 단계; 및
F3. 상호작용 도구가 다른 가상 도구와 충돌하는 것으로 예측되면, 미리 설정된 전진량(amount of advance)에 따라 충돌 효과 정보를 획득하고 충돌 효과 정보에 따라 충돌 사운드(collision sound)를 재생하는 단계를 포함한다.
다른 가상 도구는 상호작용 도구와 충돌할 수 있다. 다른 가상 도구는 플레이어에 의해 손 모델을 통해 조작될 수 있다. 다른 가상 도구는 상호작용 도구와 부딪쳐 충돌할 수 있다. 충돌이 성공한 경우, 충돌 효과 정보에 따라 충돌음이 재생될 수 있다. 충돌음은 장면에 따라 유연하게 구성될 수 있다.
또한, 본 개시의 일부 실시예에서, 전술한 단계 F1 내지 단계 F3을 포함하는 것에 외에, 동적으로 조정된 가상 도구를 표시하는 단계 104는,
F4. 충돌 효과 정보가 표시된 후에 상호작용 제어기를 통해 성공적인 충돌을 지시하는 진동 피드백 메시지를 전송하는 단계를 포함한다.
플레이어는 손 모델을 통해 상호작용 도구를 만지고 잡는다. 충돌이 성공한 후, 성공적인 충돌이 상호작용 제어기의 내장 모터의 기계적 진동을 통해 플레이어에게 피드백될 수 있으므로, 플레이어는 상호작용 제어기의 진동을 통해, 손 모델이 상호작용 도구를 잡았다고 판단할 수 있으며, 따라서 상호작용 도구를 움직일 수 있다.
본 개시의 전술한 실시예에서, 가상 도구가 구체적으로 VR 장면에서의 상호작용 도구이면, 플레이어는 상호작용 제어기를 통해 상호작용 도구의 이동을 제어할 수 있다. 보컬 콘서트의 역할 상호작용 장면을 VR 장면의 예로 들면, 상호작용 도구는 관중 역할에 의해 사용되는 형광봉 등일 수 있다. 응원을 위해 형광봉을 사용하는 미니 게임에서, 전역 배율 파라미터는 생성된 방울의 수 및 방울을 생성하는 빈도를 제어하는 데 사용될 수 있다. 손 느낌의 조정은 가장 어려운 문제이다. 우수한 타격감(sense of hitting)을 얻으려면, 핸들의 적절한 트리거링 효과, 음향 효과 및 진동 피드백을 추가해야 한다. 플레이어의 조작이 퍼포먼스와 일치하지 않으면, 불편함이 야기될 것이다. 따라서 효과를 트리거하는 데 사용되는 충돌 시점이 매우 중요하다. 그러나 방울이 커질 때 프레넬 효과로 인해 방울에 불규칙한 변화가 있다. 따라서, 본 개시의 실시예에서, 손이 흔들리는 느낌(hand feeling of swing)은 동적 충돌에 의해 보장될 수 있다. 방울의 에지가 불안정하기 때문에, 형광봉의 임의의 히트(hit)를 판단할 때에 시간의 전진량(amount of advance)이 존재한다. 상호작용 도구의 충돌이 예측되는 경면, 미리 설정된 전진량에 따라 충돌 효과 정보가 획득되고, 충돌 효과 정보에 따라 충돌 사운드가 재생된다.
본 개시의 전술한 실시예에서의 예로부터, 본 개시의 실시예에서는 VR 장면에서의 손 모델에 의해 트리거되는 역할 획득 명령이 먼저 획득되며, 여기서 VR 장면에서의 손 모델의 이동은 상호작용 제어기에 의해 제어된다는 것을 알 수 있다. 다음으로, 역할 획득 명령에 응답하여 VR 장면으로부터 가상 역할이 결정된다. 다음으로 VR 장면에서의 가상 도구가 VR 장면에서 재생되는 음악 파일에 따라 동적으로 조정된다. 끝으로 VR 장면에서의 가상 역할과 동적으로 조정된 가상 도구가 VR 디스플레이를 통해 표시된다. 본 개시의 실시예에서, VR 장면에서 재생되는 음악 파일에 따라 VR 장면에서의 가상 도구를 동적으로 조정함으로써, VR 장면에서 가상 도구가 동적으로 조정될 수 있다. 이러한 방식으로, 플레이어는 음악 파일과 함께 가상 도구의 동적 조정을 관찰하면서, VR 장면에서 재생되는 음악 파일을 들을 수 있으며, 이는 사용자에게 더 강한 몰입감을 제공한다.
본 개시의 실시예의 전술한 방안을 더 잘 이해하고 구현하기 위해, 이하에서는 대응하는 애플리케이션 시나리오의 예를 사용하여 설명한다.
도 2를 참조하면, 도 2는 본 개시의 일 실시예에 따른 가상 보컬 콘서트 장면에서 가수 역할이 노래를 부르는 프로세스 흐름도이다. 가상 보컬 콘서트의 역할 상호작용 장면을 VR 장면의 예로 들면, 가상 보컬 콘서트는 가상 3차원(three-dimensional, 3D) 장면으로 이해될 수 있으며, 이는 가상 보컬 콘서트의 무대, 강당 및 기타 물품(article)으로 구축된 현실적인 모델의 조합이다. 가상 보컬 콘서트 장면에서의 가상 역할은 3D 게임 및 가상 현실에 널리 적용되는 아바타(Avatar)일 수 있다.
본 개시의 실시예에서, 새로운 사회적 경험이 제안된다. 보컬 콘서트는 VR로 시뮬레이션되며, 각각의 플레이어는 자신의 아바타가 있으므로, 플레이어는 슈퍼 스타 역할을하여 스폿라이트를 받으며 가창을 즐길 수 있거나, 작은 팬 역할을 하여 아이돌과 친밀하게 상호작용할 수 있다. 가상 장면은 현재 음악 리듬과 가수의 가창에 따라 제시되어 플레이어에게 강한 대체감과 몰입감을 제공한다.
종래의 기술에서, 주크박스는 몰입감 없는 가상 무대 및 다른 사람과의 상호작용 또는 다른 사람으로부터의 피드백 없이 우수한 가창 경험을 플레이어에게 제공할 수 없다. 본 개시의 실시예에서, VR 경험과 작동 모드로 인해, 플레이어는 일반적인 가라오케 게임과 비교할 때 큰 자유를 부여받고 비교도 안될 정도의 강한 몰입감을 갖는다. 상호작용 물품은 매우 재미 있으며 플레이어가 게임에 적극적으로 참여하도록 이끌 수 있다. 또한 맞춤형 의상, 장면, 동작 및 사운드 템플릿에 대한 플레이어의 요구사항을 충분히 충족시키는 많은 개인화 계획이 있다.
도 2는 가상 보컬 콘서트 장면에서 가수 역할이 노래를 부르는 처리 흐름을 도시하며, 주로 다음의 단계 1) 내지 10)을 포함한다.
1)에서, 플레이어가 손 모델을 조작하여 가상 방에 들어간다.
2)에서, 플레이어가 손 모델을 조작하여 노래를 선택한다.
3)에서, 단말 장치가 반주를 재생한다.
4)에서, 단말 장치가 가사를 재생한다.
5)에서, 가수 역할이 노래를 부른다.
6)에서, 가수 역할이 도구를 사용하여 다른 플레이어와 상호작용한다.
7)에서, 가수의 노래 부르기가 끝나고 점수가 발표된다.
8)에서, 플레이어가 손 모델을 조작하여 플레이백을 열람하거나 노래부르기를 계속한다.
9)에서, 노래부르기 계속을 선택하는 경우, 플레이어는 노래 목록이 비어 있는지의 여부를 판단해야 하고, 단계 2)는 노래 목록이 비어 있으면 노래를 다시 선택하도록 트리거되고, 그렇지 않으면 노래를 부르도록 단계 5)가 다시 트리거된다.
10)에서, 플레이백을 열람하도록 선택하는 경우, 플레이어는 방에서 퇴장할 수 있다.
플레이어는 방에 입장한 후 가상 보컬 콘서트 장면을 보고, 강당에서 자유롭게 탐색하며, 노래를 선택하기 위한 메뉴를 불러낸다. 노래 목록에서 플레이어의 차례가 되면 마이크로폰이 활성화되고, 가상 역할이 무대로 전송되어 퍼포먼스를 시작하며, 마지막 가수가 자동으로 관중석으로 전송된다.
상호작용 도구는 장면에서의 공연 의상 및 물품을 포함한, 가수가 관중과 상호작용하기 위한 도구를 지칭한다. 플레이어는 가상 역할의 퍼포먼스 의상을 자유롭게 전환하고, 좋아하는 장면을 선택하고, 장면의 일부 물품을 간단히 변경할 수 있다. 플레이어는 또한 가상 역할의 댄스 및 상호작용 모션(관중과 상호작용하기 위해 가수가 사용하는 모션을 지칭함)을 선택할 수 있어, 플레이어의 개인화된 요구를 최대한 충족시킬 수 있다.
도 3을 참조하면, 도 3은 본 개시의 일 실시예에 따른 가상 보컬 콘서트 장면에서의 가라오케 장면의 개략도이며, 각각의 플레이어는 하나의 가상 역할을 사용한다. 예를 들어, 도 3에는 총 3개의 가상 역할이 있으며, Kreiner, Jarad 및 Caputto로 각각 명명된다. 가상 보컬 콘서트 장면에는 가상 무대 및 가상 조명과 같은 여러 장면 도구가 있다. 유의해야 할 것은, 본 개시의 실시예에서, 도 3은 설명을 위해 흑백 도면을 나타낸다는 것이다. 가상 역할 및 가상 장면의 각각의 색상은 장면 요구에 따라 추가로 구성될 수 있으며, 제한되지 않는다. 가상 보컬 콘서트 장면에서의 가라오케 장면과 관련하여, 다자간 상호작용 방식은 매우 풍부하다. 메인 무대, 강당 및 조명은 가수와의 상호작용을 위해 풍부하게 제공된다. 플레이어가 상호작용을 위해 사용하는 도구에는 형광봉, 샌드 해머, 마이크로폰 등이 있다. 언제든, 무대에는 한 명의 가수만 있다. 그러나 노래를 선택함으로써 모든 가상 역할 각각이 가수가 될 수 있으며, 가창 순서는 현재 노래 목록에 따라 결정된다.
도 4를 참조하면, 도 4는 본 개시의 일 실시예에 따른 가사 화면, 무대 조명 및 관중석 퍼포먼스와 가수 역할의 상호작용을 나타내는 개략도이다. 플레이어의 가상 역할이 가수 역할이면, 플레이어는 마이크로폰이 표시된 가사 화면을 볼 수 있으며, 플레이어는 무대에서 양광봉을 들고 있는 관중을 볼 수 있어, 플레이어에게 몰입감을 제공할 수 있다. 플레이어의 가상 역할이 관중 역할이면, 플레이어는 형광봉이 형광봉 선반 근처의 위치로 전송될 때 형광봉을 집어 들고 형광봉으로 관중 앞에 나타나는 방울을 히트할 수 있다. 이러한 방울은 현재 노래 리듬에 따라 나타난다. 예를 들어, 각 곡의 분당 비트(BPM)가 획득되며, BPM이 프로그램내로 판독된 후, 방울이 나타나는 간격이 수치 변환을 통해 계산된다. 또한 이러한 방울은 가수에게 보이지 않는다. 따라서 가수는 무대를 벗어난 관중이 가수를 응원하기 위해 리듬에 따라 형광봉을 흔드는 것을 보며, 관중도 또한 VR에서 방울을 히트시키는 즐거움을 경험할 수 있다.
우수한 VR 보컬 콘서트 그래픽 표현력을 달성하기 위해, 본 개시의 실시예에서, 쉐이더(shader)가 UE4에 내장된 프레임워크로 기록되고, 효과 및 효율 모두가 엔진(즉, 게임 엔진, 다시 말해 Unreal Engine)의 다중스레드 렌더링 특성(multi-threaded rendering feature)에 의해 고려될 수 있다. 또한, 본 개시의 실시예는 배경 음악의 리듬과 전체 무대의 제시의 통합을 달성하도록 의도되며, 이는 노래의 음악 및 가수의 음성의 분석을 필요로 한다. 먼저, 데이터가 중앙 처리 장치(CPU)에서 추출되며, 여기서 데이터는 플레이어의 마이크로폰의 샘플 데이터이다. 다음으로, 데이터는 렌더링을 위해 GPU(graphics processing unit)로 송신된다. 전역적으로 통일을 보장하기 위해, 본 개시의 실시예에서는 전역 배율 파라미터가 게임 상태에 추가된다. 게임 상태는 전역적으로 유지되는 정적 포인터를 통해 획득될 수 있다. 전역 배율 파라미터는 GPU에서 이러한 동적 재료를 제어하는 데 사용될 수 있다. 플레이어는 HTC VIVE와 이어폰을 착용한 후에 새로운 세계에 들어 간 것처럼 보이며, 눈으로 보이는 풍경이 귀에 들리는 소리와 매칭되어, 시각과 청각이 크게 충족된다.
도 5를 참조하면, 도 5는 본 개시의 일 실시예에 따른 조명 이동 및 깜박거림을 제어하기 위한 시간축의 인터페이스도이다. 도 5에서 조명 이동 및 깜박거림을 제어하기 위한 시간축은 조명의 깜박거림을 보여준다. 조명은 고정 주파수로 켜지거나 꺼지거나 한다. 또는 조도가 변화한다. UE4는 시간 변화를 통해 변수 값을 제어하는 도구(tool)이다. 여기서는 3차원 벡터(x, y, z)가 제어되며, 여기서 x, y 및 z는 각각 적색, 녹색 및 청색으로 표현되는 값에 대응한다. 3차원 벡터는 조명의 움직임 파라미터를 나타낸다. 도 5의 상부에서, x축 곡선과 z축 곡석을 조정함으로써 조명의 위치를 제어할 수 있다. 도 5의 하부에서, y축 곡선과 z축 곡선을 조절하여 조명의 회전을 제어할 수 있다.
본 개시의 실시예에서, 일부 맞춤형 시간축이 설계된다. 도 5는 UE4 엔진의 시간축의 인터페이스 도면일 수 있다. 도 5에 도시된 바와 같이, 장면에서 물품의 움직임 파라미터 또는 재료 파라미터는 용이하게 제어될 수 있고, 전역 배율 파라미터는 순환 재생 시간 축에 도입되어, 시간 축의 재생 주기가 도구 속성 파라미터와 일치할 수 있도록 하므로, 리듬으로 가득찬 역동적인 환경 효과를 얻을 수 있다.
본 개시의 실시예에서, 대부분의 동적 재료는 텍스처 오프셋을 통해 구현된다. 가상 보컬 콘서트 장면에서, 거의 모든 모델이 Surface Shader를 사용하여 렌더링된다. Surface Shader는 UE4에 패키징된 물리 기반 쉐이더(physics-based shader)로, 이를 사용하면 재료 에디터(material editor)에서 맞춤형 효과를 얻을 수 있다. 물리 기반 채색(physics-based coloring)은 컴퓨터 그래픽에서 현실감을 강조하기 위한 렌더링 방식이며 고품질 게임에 널리 사용된다. 물리 기반 채색의 기본 원리는 미세 표면 모델(micro-surface model)을 도입하여 미세 표면에서 조명의 반사를 대략 계산하여, 정규 분포가 가장 중요한 물체의 거칠기 및 투명도와 같은 데이터를 시뮬레이션하는 것이다. 각각의 모델은 텍스처 색상 값과 일대일 매핑으로 UV 좌표가 있다. UV 좌표는 그래픽 렌더링에서 텍스처 맵 색상 값의 2차원 벡터를 샘플링하는 데 사용된다. 결국 샘플링으로 획득된 색상 값이 화면에 대상을 렌더링하는 효과를 결정한다. 렌더링 알고리즘에는 샘플링이 필요하다. 이 경우, 텍스처 데이터가 샘플링될 수 있다.
동적 조명 효과를 효과적으로 얻기 위해, 본 개시의 실시예에서 이들 색상 값이 변경될 필요가 있다. 즉, 초기 텍스처 맵이 재구성될 필요가 있다. 본 개시의 실시예에서, 마스크는 일반적으로 이들 맵을 제어하기 위해 쉐이더에 도입된다. 음악 리듬을 실시간으로 매칭시키기 위해, 동적 마스크를 생성하는 방법이 본 개시의 실시예에서 구현되어, 무대에 대한 모든 맞춤형 텍스처 오프셋 효과가 간단하고 효과적으로 달성될 수 있다. 도 6을 참조하면, 도 6은 본 개시의 일 실시예에 따라 동적 마스크를 처리하는 프로세스를 도시하는 개략도이다. 전역 배율 파라미터를 사용하여 초기 마스크 텍스처 맵에 대해 곱셈 연산이 수행되어 동적 마스크 텍스처 맵을 획득하고, 장면 도구의 동적 마스크 텍스처 맵과 초기 색상 텍스처 맵에 대해 곱셈 연산이 수행되어 장면 도구의 실제 색상 텍스처 맵을 획득한다.
장면 도구의 재료는 가상 보컬 콘서트 장면의 무대 조명이 감정을 상승시키면서 하나씩 조명되는 효과를 달성하기 위해 사용된다. 본 개시의 실시예에서, 현재 가수가 노래를 부르고 있으면, 감정은 가수의 사운드 상태를 나타낼 수 있다. 현재 가수가 노래를 부르고 있지 않으면, 감정은 반주를 나타낼 수 있다. 초기 색상 텍스처 맵은 미술에 의해 주어진 초기 데이터이고 또한 맵이 있는 완전한 모델이다. 모델은 모든 조명이 켜진 상태로 표현되며, 모델의 UV 좌표는 일정하다. 따라서, 일부 조명이 켜지고 다른 조명이 어두워지는 네온 조명 효과를 얻으려면, 희미한 조명의 UV에 대응하는 색상 값을 0으로 만들어야 하고, 마스킹 작업은 텍스처 샘플을 곱함으로써 완료될 수 있다. 반 흑백(half-black and half-white) 초기 텍스처가 제공되며, 임의의 비율의 마스크가 본 개시의 실시예에서 능숙하게 계산될 수 있다. 예를 들어, UV 오프셋이 백분율 파라미터를 사용하여 제어되어 동적 마스크 텍스처 맵을 동적으로 획득한 다음, 동적 마스크 텍스처 맵에 초기 색상 텍스처 맵을 곱하여 대응하는 실제 텍스처를 획득한다. 오프셋 양은 B로 표시되고 백분율이 p로 표시되는 것으로 가정하면, 이 경우에,
Figure pct00001
이며, 여기서 u는 u 좌표를 나타낸다.
가상 역할 간의 상호작용은 주로 핸드 해머 반주 및 형광봉을 사용한 방울 히트과 같은 두 개의 미니 게임을 통해 구현된다. 플레이어는 Oculus Touch 또는 Vive Controller와 같은 VR 핸들을 통해 조작할 수 있으며, 대부분의 상호작용 또한 핸들을 사용하여 완료된다. 본 개시의 실시예에서, UE4에서의 입력 제어 시스템을 통해 완전한 입력 매핑 추상화가 확립되어, 다중 플랫폼의 통일성을 보장한다. VR 장면에서, 플레이어가 쥔 게임 핸들은 두 개의 가상 손으로서 매핑되고, 가상 공간에서 두 개의 가상 손의 위치와 방향은 센서에 의해 캡처되어 헤드마운트 디스플레이의 화면에 실시간으로 그려진다. 한 쌍의 가상 손의 가장 중요한 기능은 제스처와 버튼을 통해 물품을 잡고 물품을 제어하는 것이다. 도 7a 및 도 8a는 샌드 해머 및 형광봉이 가수와 관중의 상호작용을 위한 주요 캐리어임을 보여준다.
먼저, 이하에 도 7a의 샌드 해머를 사용치를 이용한 상호작용을 설명한다. 도 7b에 도시된 바와 같이, 샌드 해머 반주에서 해결되어야 할 주요 문제는 움직임과 소리의 매칭이다. 실제로, 샌드 해머는 소리를 낼 수 있는 것은 물품 내부의 모래가 내벽과 충돌하기 때문이다. 내부 입자 운동이 실시간으로 완전히 시뮬레이션된다면, 이러한 오버헤드는 본 개시의 실시예에서 경량 게임(lightweight game)에 의해 제공될 수 없다. 따라서, 본 개시의 실시예에서, UE4에 내장된 물리 엔진은 폐기되고, 경량 충돌 사운딩 방법이 설계되며, 여기서 충돌은 속도, 각속도, 가속도 및 각가속도를 포함한 4개의 변수를 사용하여 완전하게 시풀레이션된다. 본 개시의 실시예에서, 샌드 해머의 사운딩을 제어하기 위해 상태 머신이 도입된다. 도 7b에 도시된 바와 같이, 샌드 해머의 사운딩을 위한 상태 머신은 고속 운동 상태, 고속 가속도 운동 상태, 정적 상태 또는 저속 운동 상태를 포함한 다수의 상태를 갖는다. 이러한 운동 상태는 자유롭게 전환될 수 있다. 예를 들어, 고속 운동에서 서 샌드 해머의 속도가 비교적 큰 가속도로 특정 임계치 아래로 감소될 때마다, 샌드 해머는 한번 소리를 낸다. 각속도와 각가속도의 경우는 속도와 가속도의 경우와 비슷하다. 그러나 각속도와 각가속도는, 속도와 가속도와 별도로 계산된 다음, 샌드 해머의 사운딩을 함께 제어하기 위해 중첩된다.
도 8b에 도시된 바와 같이, 응원을 위해 형광봉을 사용하는 미니 게임에서, 전술한 전역 배율 파라미터는 본 개시의 실시예에서 생성된 방울의 수 및 방울을 생성하는 빈도를 제어하는 데 사용된다. 손 느낌의 조정은 가장 어려운 문제이다. 우수한 타격감을 얻으려면, 적절한 특수 트리거링 효과, 음향 효과 및 핸들의 진동 피드백이 추가되어야 한다. 플레이어의 조작이 퍼포먼스와 일치하지 않으면, 불편함이 야기될 것이다. 따라서 효과를 트리거하는 데 사용되는 충돌 시점이 매우 중요하다. 그러나 방울이 커질 때 프레넬 효과로 인해 방울에 불규칙한 변화가 있다. 따라서, 본 개시의 실시예에서, 손이 흔들리는 느낌은 동적 충돌에 의해 보장될 수 있다. 방울의 에지가 불안정하기 때문에, 형광봉의 임의의 히트를 판단할 때 시간의 전진량이 존재한다. 방울의 재료는 프레넬 반사에 의해 구현되고, 방울의 크기는 시각적으로 불안정하다. 플레이어가 방울을 히트했는지의 여부는 충돌 감지를 통해 결정된다. 플레이어가 방울을 히트한 손의 느낌은 전진량이 없으면 실제 퍼포먼스와 부합하지 않는다. 충돌 히트가 예측된 후에, 특수 효과가 호출된다. 특수 효과가 지속적으로 재생된 후, 콜백 및 파괴 프로세스가 수행될 수 있다. 끝으로, 이 히트률이 카운트되는 경우에 이 히트는 히트률에 갱신되어, 기존 히트률은 1 증가된다. 플레이어가 방울을 히트하거나 방울이 존재하는 기간이 미리 설정된 수명 주기를 초과하면, 콜백 및 파괴 프로세스가 진행되어 방울을 파괴한다.
본 개시의 실시예에서 제안된 퍼포먼스 및 상호작용 방안을 사용하면, VR에서 보컬 콘서트를 시뮬레이트하는 문제가 해결되어, 플레이어는 시청각 향연(audio-visual feast)을 즐길 때 VR 사회적 접촉을 통해 다른 사람들과 가까워질 수 있다. 이 방안을 사용하면, 한 사용자가 가수를 시뮬레이션하고, 다른 사용자가 관중을 시뮬레이션하여, 사용자들이 서로 상호작용하여 서로 가까워진다.
유의해야 할 것은, 전술한 방법 실시예는 간단한 설명을 위해 일련을 동작으로서 예시되어 있지만, 당업자는 본 개시는 동작의 순서에 제한되지 않으며, 본 개시에 따라 일부 단계는 다른 순서로 수행되거나 동시에 수행될 수 있음을 이해해야 한다는 것이다. 또한, 당업자는 본 명세서에서 기술된 모든 실시예는 바람직한 실시예이며, 관련 동작 및 모듈이 본 개시에서 반드시 요구되는 것은 아니라는 것을 이해해야 한다.
본 개시의 실시예의 전술한 방안 더 잘 구현하기 위해, 전술한 방안을 구현하기 위한 관련 장치가 이하에 더 제공된다.
도 9a를 참조하면, 본 개시의 일 실시예에 따른 단말 장치(900)가 제공되며, 이는 획득 모듈(901), 역할 결정 모듈(902), 도구 조절 모듈(903) 및 디스플레이 모듈(904)을 포함할 수 있다.
획득 모듈(901)은 VR 장면에서 손 모델에 의해 트리거되는 역할 획득 명령을 획득하도록 구성된다. VR 장면에서의 손 모델의 이동은 상호작용 제어기에 의해 제어된다.
역할 결정 모듈(902)은 역할 획득 명령에 응답하여 VR 장면으로부터 가상 역할을 결정하도록 구성된다.
도구 조정 모듈(903)은 VR 장면에서 재생되는 음악 파일에 따라 VR 장면에서 가상 도구를 동적으로 조정하도록 구성된다.
디스플레이 모듈(904)은 VR 디스플레이를 통해 VR 장면에서의 가상 역할 및 동적으로 조정된 가상 도구를 표시하도록 구성된다.
본 개시의 일부 실시예에서, 획득 모듈(901)은 구체적으로, VR 장면에서 손 모델에 의해 선택된 불려질 노래를 검출하고, 불려질 노래를 노래 목록에 추가하고; 손 모델의 선택 조작에 따라 역할 획득 명령을 결정하도록 구성된다.
또한, 본 개시의 일부 실시예에서, 역할 결정 모듈(902)은 구체적으로, 노래 목록에 따라 가상 역할의 가창 순서를 결정하고; 가창 순서에 따라 가상 역할이 노래를 부를 차례인 경우, 가상 역할의 현재 역할 상태를 가수 역할로서 결정하고 마이크로폰을 활성화하고; 가창 순서에 따라 가수 역할이 노래를 부를 차례가 아닌 경우, 가상 역할의 현재 역할 상태를 관중 역할로서 결정하도록 구성된다.
본 개시의 일부 실시예에서 도 9b를 참조하면, 단말 장치(900)는 음악 파일 획득 모듈(905)을 더 포함한다. 음악 파일 획득 모듈(905)은, 노래 데이터베이스로부터 불려질 노래의 반주 파일 및 가사 파일을 획득하고; 마이크로폰을 통해 가수 역할이 노래하는 사운드 파일을 수집하고; 반주 파일, 가사 파일 및 사운드 파일에 따라 VR 장면에서 재생된 음악 파일을 결정하도록 구성된다.
본 개시의 일부 실시예에서, 도구 조정 모듈(903)은 구체적으로, 음악 파일의 음악 리듬에 따라 전역 배율 파라미터를 결정하고; 전역 배율 파라미터를 사용하여 VR 장면에서의 가상 도구를 동적으로 조정하도록 구성된다.
본 개시의 일부 실시예에서, 도구 조정 모듈(903)은 구체적으로, 전역 배율 파라미터를 순환 재생 시간 축에 도입하고; 순환 재생 시간 축의 재생 주기에 따라 가상 도구의 도구 속성 파라미터를 설정하도록 구성된다.
또한, 본 개시의 일부 실시예에서, 가상 도구는 VR 장면에서의 장면 도구를 포함하고, 도구 조정 모듈(903)은 구체적으로, 전역 배율 파라미터를 사용하여 초기 마스크 텍스처 맵에 대해 곱셈 연산을 수행하여 동적 마스크 텍스처 맵을 획득하고; 동적 마스크 텍스처 맵과 장면 도구의 초기 색상 텍스처 맵에 대해 곱셈 연산을 수행하여 장면 도구의 실제 색상 텍스처 맵을 획득하도록 구성된다.
본 개시의 일부 실시예에서, 가상 도구는 VR 장면에서의 상호작용 도구를 포함하고, 디스플레이 모듈(904)은 구체적으로, 상호작용 제어기의 이동을 통해 VR 장면에서의 상호작용 도구의 이동을 제어하고; 상호작용 도구의 이동 정보를 수집하고 - 여기서 이동 정보는 다음 정보: 속도, 각속도, 가속도 및 각가속도 중 적어도 하나를 포함함 -; 이동 정보에 따라, VR 장면에서 소리를 내거나 소리를 내지 않도록 상호작용 도구를 제어하도록 구성된다.
본 개시의 일부 실시예에서, 디스플레이 모듈(904)은 구체적으로 발성 판단 조건을 미리 설정하고 - 여기서 발성 판단 조건은 속도 임계치 조건, 각속도 임계치 조건, 가속도 임계치 조건 및 각가속도 임계치 조건 중 적어도 하나를 포함함 -; 이동 정보가 발성 판단 조건을 충족시키는지의 여부를 판단하고; 이동 정보가 발성 판단 조건을 충족시키는 경우에 VR 장면에서 소리를 내도록 상호작용 도구를 제어하고; 이동 정보가 발성 판단 조건을 충족시키지 않는 경우에 VR 장면에서 소리를 내지 않도록 상호작용 도구를 제어하도록 구성된다.
본 개시의 일부 실시예에서, 가상 도구는 VR 장면에서의 상호작용 도구를 포함하고, 디스플레이 모듈(904)은 구체적으로, 상호작용 제어기의 이동을 통해 VR 장면에서의 상호작용 도구의 이동을 제어하고; 상호작용 도구가 VR 장면에서 다른 가상 도구와 충돌하는지의 여부를 예측하고; 상호작용 도구가 다른 가상 도구와 충돌하는 것으로 예측되면, 미리 설정된 전진량에 따라 충돌 효과 정보를 획득하고 충돌 효과 정보를 표시하도록 구성된다.
본 개시의 일부 실시예에서, 디스플레이 모듈(904)은 추가로, 충돌 효과 정보에 따라 충돌 사운드가 재생된 후에 상호작용 제어기를 통해 성공적인 충돌을 지시하는 진동 피드백 메시지를 전송하도록 구성된다.
본 개시의 전술한 실시예에서의 예로부터, 본 개시의 실시예에서, VR 장면에서 손 모델에 의해 트리거되는 역할 획득 명령이 먼저 획득되며, 여기서 손의 모델의 이동이 상호작용 제어기에 의해 제어된다는 것을 알 수 있다. 다음으로, 역할 획득 명령에 응답하여 VR 장면으로부터 가상 역할이 결정된다. 다음으로, VR 장면에서의 가상 도구가 VR 장면에서 재생되는 음악 파일에 따라 동적으로 조정된다. 끝으로 VR 장면에서의 가상 역할과 동적으로 조정된 가상 도구가 VR 디스플레이를 통해 표시된다. 본 개시의 실시예에서, VR 장면에서 재생되는 음악 파일에 따라 VR 장면에서의 가상 도구를 동적으로 조정함으로써, VR 장면에서의 가상 도구가 동적으로 조정될 수 있다. 이러한 방식으로, 플레이어는 음악 파일과 함께 가상 도구의 동적 조정을 관찰하면서, VR 장면에서 재생되는 음악 파일을 들을 수 있으므로, 플레이어에게 더 강한 몰입감을 제공한다.
유의해야 할 것은, 동일한 개념에 기초하여, 전술한 기기의 모듈/유닛 사이의 정보 상호작용 및 실행 프로세스와 같은 컨텐츠가 낳는 기술적 효과는 본 개시의 방법 실시예에서의 그 것과 동일하다는 것이다. 세부사항에 대해서는 본 개시의 전술한 방법 실시예의 설명을 참조할 수 있으며, 여기서는 세부 사항을 다시 설명하지 않는다.
본 개시의 실시예에 따라 컴퓨터 저장 매체가 추가로 제공된다. 컴퓨터 저장 매체는 프로그램을 저장한다. 프로그램은 방법 실시예에서 언급된 단계의 일부 또는 전부를 수행하도록 실행된다.
본 개시의 일 실시예에 따른 단말 장치가 더 제공된다. 도 10을 참조하면, 단말 장치(1000)는 프로세서(1010), 메모리(1020), 상호작용 제어기(1030) 및 VR 디스플레이(1040)를 포함한다. 프로세서(1010)와 메모리(1020)는 버스를 통해 서로 통신한다. 프로세서(1010)는 무선 네트워크를 통해 상호작용 제어기(1030) 및 VR 디스플레이(1040)와 통신한다.
상호작용 제어기(1030)는 손 모델의 이동을 제어하도록 구성된다.
메모리(1020)는 프로그램, 명령어 및 데이터를 저장하도록 구성된다.
프로세서(1010)는 전술한 방법 실시예들에서의 방법을 수행하기 위해 메모리에서 프로그램, 명령어 및 데이터를 호출하도록 구성된다.
VR 디스플레이(1040)는 프로세서(1010)의 제어하에 VR 장면에서의 가상 역할 및 동적으로 조정된 가상 도구를 표시하도록 구성된다.
구체적으로, 메모리(1020)는 소프트웨어 프로그램 및 모듈을 저장하도록 구성될 수 있다. 프로세서(1010)는 메모리(1020)에 저장된 소프트웨어 프로그램 및 모듈을 실행함으로써 단말 장치(1000)의 다양한 기능 애플리케이션 및 데이터 처리를 수행할 수 있다. 메모리(1020)는 주로 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있다. 프로그램 저장 영역은 운영체제, 적어도 하나의 기능(예: 사운드 재생 기능 및 이미지 재생 기능)에 필요한 애플리케이션 프로그램 등을 저장할 수 있다. 데이터 저장 영역은 단말 장치 등의 사용에 따라 생성된 데이터(오디오 데이터 및 전화 번호부 등)를 저장할 수 있다. 또한, 메모리(1020)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 하나 이상의 자기 디스크 저장 기기, 플래시 메모리와 같은 비휘발성 메모리 또는 기타른 휘발성 반도체 저장 기기를 포함할 수 있다.
프로세서(1010)는 단말 장치(1000)의 제어 센터이며, 다양한 인터페이스 및 선로를 사용하여 단말 장치 전체의 일부를 연결하는 데 사용된다. 프로세서(1010)는 메모리(1020)에 저장된 소프트웨어 프로그램 및/또는 모듈을 실행(running or executing)하고, 메모리(1020)에 저장된 데이터를 호출함으로써, 단말 장치의 다양한 기능 및 데이터 처리를 수행하여, 단말 장치에 대한 전반적인 모니터링을 수행할 수 있다. 선택적으로, 프로세서(1010)는 하나 이상의 처리 유닛을 포함할 수 있다. 바람직하게는, 프로세서(1010)는 애플리케이션 프로세서와 모뎀 프로세서를 통합할 수 있다. 애플리케이션 프로세서는 주로 운영체제, 사용자 인터페이스, 애플리케이션 프로그램 등을 처리한다. 모뎀 프로세서는 주로 무선 통신을 처리한다. 전술한 모뎀 프로세서는 대안적으로 프로세서(1010)에 통합되지 않을 수 있다는 것을 이해할 수 있을 것이다.
본 개시의 본 실시예에서, 단말 장치(1000)에 포함된 프로세서(1010)는 또한 단말 장기에 의해 수행되는 VR 장면에서 전술한 역할 시뮬레이션 방법을 수행하는 데 사용된다.
또한, 유의해야 할 것은 기술된 장치 실시예는 단지 예시적인 것에 불과하다는 것이다. 별도의 부분으로 기술된 유닛은 물리적으로 분리될 수 있거나 물리적으로 분리되지 않을 수 있고, 유닛으로서 표시된 부분은 물리적 유닛일 수도 있고 물리적인 부분이 아닐 수도 있다, 즉, 하나의 장소에 위치할 수 있거나 여러 네트워크 유닛에 분살될 수 있다. 본 실시예에서의 방안의 목적을 구현하기 위해, 실제 요건에 기초하여 그 일부 또는 모든 모듈이 선택될 수 있다. 또한, 본 개시에서 제공되는 장치 실시예의 첨부도면에서, 모듈들 간의 연결 관계는 모듈들이 서로 통신 연결을 갖는 것을 나타내며, 이는 하나 이상의 통신 버스 또는 신호 케이블로서 구체적으로 구현될 수 있다. 당업자는 창조적 노력없이 목적을 이해하고 구현할 수 있다.
전술한 구현예의 설명에 기초하여, 당업자는 본 개시가 필요한 범용 하드웨어에 더하여 소프트웨어에 의해 구현될 수 있음을 명확하게 이해할 수 있다. 본 개시는 대안적으로 주문형 반도체(application-specific integrated circuit), 전용 CPU, 전용 메모리, 전용 요소 등을 포함하는 특정 하드웨어에 의해 구현될 수 있다. 일반적으로, 컴퓨터 프로그램에 의해 수행될 수 있는 임의의 기능은 대응하는 하드웨어를 사용하여 쉽게 구현될 수 있다. 또한, 동일한 기능을 달성하기 위해 사용되는 특정 하드웨어 구성은 다양한 형태, 예를 들어 아날로그 회로, 디지털 회로 또는 전용 회로의 형태일 수 있다. 그러나, 본 개시에 관해서는, 소프트웨어 프로그램 구현이 대부분의 경우 더 나은 구현이다. 이러한 이해를 바탕으로, 본 개시의 기술적 솔루션은 본질적으로 또는 종래 기술에 기여하는 부분이 소프트웨어 제품의 형태로 구현될 수 있다. 컴퓨터 소프트웨어 제품은 플로피 디스크, USB 플래시 드라이브, 이동식 하드 디스크, ROM(read-only memory), RAM(random access memory), 자기 디스크, 또는 컴퓨터의 광 디스크와 같은 판독 가능한 저장 매체에 저장되며, 컴퓨터 기기(개인용 컴퓨터, 서버, 네트워크 기기 등일 수 있음)에게 본 개시의 실시예에서 기술된 방법을 수행하도록 지시하기 위한 여러 명령어를 포함한다.
전술한 실시예의 전부 또는 일부는 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합을 사용하여 구현될 수 있다. 실시예가 소프트웨어를 사용하여 구현되는 경우, 실시예의 전부 또는 일부는 컴퓨터 프로그램 제품의 형태로 구현될 수 있다.
컴퓨터 프로그램 제품은 하나 이상의 컴퓨터 명령어을 포함한다. 컴퓨터 프로그램 명령어가 컴퓨터에 로딩되어 실행될 때, 본 개시의 실시예에 따른 프로세스 또는 기능의 전부 또는 일부가 구현된다. 컴퓨터는 범용 컴퓨터, 전용 컴퓨터, 컴퓨터 네트워크 또는 다른 프로그램 가능한 장치일 수 있다. 컴퓨터 명령어는 컴퓨터로 판독 가능한 저장 매체에 저장되거나 컴퓨터로 판독 가능한 저장 매체로부터 다른 컴퓨터로 판독 가능한 저장 매체에 전송될 수 있다. 예를 들어, 컴퓨터 명령어는 웹사이트, 컴퓨터, 서버 또는 데이터 센터에서 다른 웹사이트, 컴퓨터, 서버 또는 데이터 센터로 유선(예: 동축 케이블, 광섬유 또는 DSL(digital subscriber line) 또는 무선(예: 적외선, 무선 또는 마이크로파) 방식으로 송신될 수 있다. 컴퓨터로 판독 가능한 저장 매체는 컴퓨터에 의해 저장될 수 있은 임의의 이용 가능한 매체일 수 있거나, 하나 이상의 이용 가능한 매체를 통합함으로써 형성된 서버 및 데이터 센터를 포함한 데이터 저장 장치일 수 있다. 이용 가능한 매체는 자기 매체(예: 플로피 디스크, 하드 디스크 또는 자기 테이프), 광학 매체(예: DVD), 반도체 매체(예: 솔리드 스테이트 디스크(SSD)) 등일 수 있다.

Claims (24)

  1. 가상 현실(virtual reality, VR) 장면에서의 역할 시뮬레이션 방법으로서,
    상기 VR 장면에서 손 모델에 의해 트리거되는 역할 획득 명령을 획득하는 단계 - 상기 VR 장면에서의 상기 손 모델의 이동은 상호작용 제어기에 의해 제어됨 -;
    상기 역할 획득 명령에 응답하여 상기 VR 장면으로부터 가상 역할을 결정하는 단계;
    상기 VR 장면에서 재생되는 음악 파일에 따라 상기 VR 장면에서의 가상 도구(virtual prop)를 동적으로 조정하는 단계; 및
    VR 디스플레이를 통해, 상기 VR 장면에서의 상기 가상 역할, 및 상기 동적으로 조정된 가상 도구를 표시하는 단계
    를 포함하는 가상 현실(VR) 장면에서의 역할 시뮬레이션 방법.
  2. 제1항에 있어서,
    상기 VR 장면에서 손 모델에 의해 트리거되는 역할 획득 명령을 획득하는 단계는,
    상기 VR 장면에서 상기 손 모델에 의해 선택된 불려질 노래를 검출하고, 상기 불려질 노래를 노래 목록에 추가하는 단계; 및
    상기 손 모델의 선택 조작에 따라 상기 역할 획득 명령을 결정하는 단계를 포함하는, 가상 현실(VR) 장면에서의 역할 시뮬레이션 방법.
  3. 제2항에 있어서,
    상기 역할 획득 명령에 응답하여 상기 VR 장면으로부터 가상 역할을 결정하는 단계는,
    상기 노래 목록에 따라 상기 가상 역할의 가창 순서(singing order)를 결정하는 단계;
    상기 가창 순서에 따라 상기 가상 역할이 노래를 부를 차례인 경우에 상기 가상 역할의 현재 역할 상태를 가수 역할로서 결정하고 마이크로폰을 활성화하는 단계; 및
    상기 가창 순서에 따라 상기 가상 역할이 노래를 부를 차례가 아닌 경우에 상기 가상 역할의 현재 역할 상태를 관중 역할로서 결정하는 단계를 포함하는, 가상 현실(VR) 장면에서의 역할 시뮬레이션 방법.
  4. 제3항에 있어서,
    노래 데이터베이스로부터 불려질 노래의 반주 파일 및 가사 파일을 획득하는 단계;
    상기 마이크로폰을 통해 상기 가수 역할이 부르는 사운드 파일을 수집하는 단계; 및
    상기 반주 파일, 상기 가사 파일 및 상기 사운드 파일에 따라 상기 VR 장면에서 재생된 음악 파일을 결정하는 단계를 더 포함 가상 현실(VR) 장면에서의 역할 시뮬레이션 방법.
  5. 제1항에 있어서,
    상기 VR 장면에서 재생되는 음악 파일에 따라 상기 VR 장면에서의 가상 도구를 동적으로 조정하는 단계는,
    상기 음악 파일의 음악 리듬에 따라 전역 배율 파라미터(global magnification parameter)를 결정하는 단계; 및
    상기 전역 배율 파라미터를 사용하여 상기 VR 장면에서의 상기 가상 도구를 동적으로 조정하는 단계를 포함하는, 가상 현실(VR) 장면에서의 역할 시뮬레이션 방법.
  6. 제5항에 있어서,
    상기 전역 배율 파라미터를 사용하여 상기 VR 장면에서의 상기 가상 도구를 동적으로 조정하는 단계는,
    상기 전역 배율 파라미터를 순환 재생 시간축(loop playing time axis)에 도입하는 단계; 및
    상기 순환 재생 시간축의 재생 주기에 따라 상기 가상 도구의 도구 속성 파라미터를 설정하는 단계를 포함하는, 가상 현실(VR) 장면에서의 역할 시뮬레이션 방법.
  7. 제5항에 있어서,
    상기 가상 도구는 상기 VR 장면에서의 장면 도구를 포함하고;
    상기 전역 배율 파라미터를 사용하여 상기 VR 장면에서의 가상 도구를 동적으로 조정하는 단계는,
    상기 전역 배율 파라미터를 사용하여 초기 마스크 텍스처 맵(mask texture map)에 대해 곱셈 연산을 수행하여 동적 마스크 텍스처 맵을 획득하는 단계; 및
    상기 동적 마스크 텍스처 맵과 상기 장면 도구의 초기 색상 텍스처 맵에 대해 곱셈 연산을 수행하여 상기 장면 도구의 실제 색상 텍스처 맵을 획득하는 단계를 포함하는, 가상 현실(VR) 장면에서의 역할 시뮬레이션 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 가상 도구는 상기 VR 장면에서의 상호작용 도구를 포함하고;
    상기 동적으로 조정된 가상 도구를 표시하는 단계는,
    상기 상호작용 제어기의 이동을 통해 상기 VR 장면에서의 상기 상호작용 도구의 이동을 제어하는 단계;
    상기 상호작용 도구의 이동 정보를 수집하는 단계 - 상기 이동 정보는 다음 정보: 속도, 각속도, 가속도 및 각가속도 중 적어도 하나를 포함함 -; 및
    상기 이동 정보에 따라, 상기 VR 장면에서 소리를 내거나 소리를 내지 않도록 상기 상호작용 도구를 제어하는 단계를 포함하는, 가상 현실(VR) 장면에서의 역할 시뮬레이션 방법.
  9. 제8항에 있어서,
    상기 이동 정보에 따라, 상기 VR 장면에서 소리를 내거나 소리를 내지 않도록 상기 상호작용 도구를 제어하는 단계는,
    발성 판단 조건(sounding determining condition)을 미리 설정하는 단계 - 상기 발성 판단 조건은 다음 임계치 조건: 속도 임계치 조건, 각속도 임계치 조건, 가속도 임계치 조건 및 각가속도 임계치 조건 중 적어도 하나를 포함함 -;
    상기 이동 정보가 상기 발성 판단 조건을 충족시키는지의 여부를 판단하는 단계;
    상기 이동 정보가 상기 발성 판단 조건을 충족시키는 경우에 상기 VR 장면에서 소리를 내도록 상기 상호작용 도구를 제어하는 단계; 및
    상기 이동 정보가 상기 발성 판단 조건을 충족시키지 않는 경우에 상기 VR 장면에서 소리를 내지 않도록 상기 상호작용 도구를 제어하는 단계를 포함하는, 가상 현실(VR) 장면에서의 역할 시뮬레이션 방법.
  10. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 가상 도구는 상기 VR 장면에서의 상호작용 도구를 포함하고;
    상기 동적으로 조정된 가상 도구를 표시하는 단계는,
    상기 상호작용 제어기의 이동을 통해 상기 VR 장면에서의 상기 상호작용 도구의 이동을 제어하는 단계;
    상기 상호작용 도구가 상기 VR 장면에서의 다른 가상 도구와 충돌하는지의 여부를 예측하는 단계; 및
    상기 상호작용 도구가 상기 다른 가상 도구와 충돌하는 것으로 예측되면, 미리 설정된 전진량에 따라 충돌 효과 정보를 획득하고 상기 충돌 효과 정보에 따라 충돌 사운드를 재생하는 단계를 포함하는, 가상 현실(VR) 장면에서의 역할 시뮬레이션 방법.
  11. 제10항에 있어서,
    상기 동적으로 조정된 가상 도구를 표시하는 단계는,
    상기 충돌 효과 정보에 따라 상기 충돌 사운드가 재생된 후에 상기 상호작용 제어기를 통해 성공적인 충돌을 지시하는 진동 피드백 메시지를 전송하는 단계를 포함하는, 가상 현실(VR) 장면에서의 역할 시뮬레이션 방법.
  12. 단말 장치로서,
    VR 장면에서 손 모델에 의해 트리거되는 역할 획득 명령을 획득하도록 구성된 획득 모듈 - 상기 VR 장면에서의 상기 손 모델의 이동은 상호작용 제어기에 의해 제어됨 -;
    상기 역할 획득 명령에 응답하여 상기 VR 장면으로부터 가상 역할을 결정하도록 구성된 역할 결정 모듈;
    상기 VR 장면에서 재생되는 음악 파일에 따라 상기 VR 장면에서의 가상 도구를 동적으로 조정하도록 구성된 도구 조정 모듈; 및
    VR 디스플레이를 통해, 상기 VR 장면에서의 상기 가상 역할 및 상기 동적으로 조정된 가상 도구를 표시하도록 구성된 디스플레이 모듈
    을 포함하는 단말 장치.
  13. 제12항에 있어서,
    상기 획득 모듈은,
    상기 VR 장면에서 상기 손 모델에 의해 선택된 불려질 노래를 검출하고, 상기 불려질 노래를 노래 목록에 추가하고;
    상기 손 모델의 선택 조작에 따라 상기 역할 획득 명령을 결정하도록 구성되는, 단말 장치.
  14. 제12항에 있어서,
    상기 역할 결정 모듈은,
    상기 노래 목록에 따라 상기 가상 역할의 가창 순서를 결정하고;
    상기 가창 순서에 따라 상기 가상 역할이 노래를 부를 차례인 경우에 상기 가상 역할의 현재 역할 상태를 가수 역할로서 결정하고 마이크로폰을 활성화하고;
    상기 가창 순서에 따라 상기 가상 역할이 노래를 부를 차례가 아닌 경우에 상기 가상 역할의 현재 역할 상태를 관중 역할로서 결정하도록 구성되는, 단말 장치.
  15. 제14항에 있어서,
    음악 파일 획득 모듈을 더 포함하고,
    상기 음악 파일 획득 모듈은,
    노래 데이터베이스로부터 불려질 노래의 반주 파일 및 가사 파일을 획득하고;
    상기 마이크로폰을 통해 상기 가수 역할이 노래하는 사운드 파일을 수집하고;
    상기 반주 파일, 상기 가사 파일 및 상기 사운드 파일에 따라 상기 VR 장면에서 재생된 음악 파일을 결정하도록 구성되는, 단말 장치.
  16. 제12항에 있어서,
    상기 도구 조정 모듈은,
    상기 음악 파일의 음악 리듬에 따라 전역 배율 파라미터를 결정하고;
    상기 전역 배율 파라미터를 사용하여 상기 VR 장면에서의 상기 가상 도구를 동적으로 조정하도록 구성되는, 단말 장치.
  17. 제16항에 있어서,
    상기 도구 조정 모듈은,
    상기 전역 배율 파라미터를 순환 재생 시간축에 도입하고;
    상기 순환 재생 시간축의 재생 주기에 따라 상기 가상 도구의 도구 속성 파라미터를 설정하도록 구성되는, 단말 장치.
  18. 제17항에 있어서,
    상기 가상 도구는 상기 VR 장면에서의 장면 도구를 포함하고;
    상기 도구 조정 모듈은,
    상기 전역 배율 파라미터를 사용하여 초기 마스크 텍스처 맵에 대해 곱셈 연산을 수행하여 동적 마스크 텍스처 맵을 획득하고;
    상기 동적 마스크 텍스처 맵과 상기 장면 도구의 초기 색상 텍스처 맵에 대해 곱셈 연산을 수행하여 상기 장면 도구의 실제 색상 텍스처 맵을 획득하도록 구성되는, 단말 장치.
  19. 제12항 내지 제18항 중 어느 한 항에 있어서,
    상기 가상 도구는 상기 VR 장면에서의 상호작용 도구를 포함하고;
    상기 디스플레이 모듈은,
    상기 상호작용 제어기의 이동을 통해 상기 VR 장면에서의 상기 상호작용 도구의 이동을 제어하고;
    상기 상호작용 도구의 이동 정보를 수집하고 - 상기 이동 정보는 다음 정보: 속도, 각속도, 가속도 및 각가속도 중 적어도 하나를 포함함 -;
    상기 이동 정보에 따라, 상기 VR 장면에서 소리를 내거나 소리를 내지 않도록 상기 상호작용 도구를 제어하도록 구성되는, 단말 장치.
  20. 제19항에 있어서,
    상기 디스플레이 모듈은,
    발성 판단 조건을 미리 설정하고 - 상기 발성 판단 조건은 다음 임계치 조건: 속도 임계치 조건, 각속도 임계치 조건, 가속도 임계치 조건 및 각가속도 임계치 조건 중 적어도 하나를 포함함 -;
    상기 이동 정보가 상기 발성 판단 조건을 충족시키는지의 여부를 판단하고;
    상기 이동 정보가 상기 발성 판단 조건을 충족시키는 경우에 상기 VR 장면에서 소리를 내도록 상기 상호작용 도구를 제어하고;
    상기 이동 정보가 상기 발성 판단 조건을 충족시키지 않는 경우에 상기 VR 장면에서 소리를 내지 않도록 상기 상호작용 도구를 제어하도록 구성되는, 단말 장치.
  21. 제12항 내지 제18항 중 어느 한 항에 있어서,
    상기 가상 도구는 상기 VR 장면에서의 상호작용 도구를 포함하고;
    상기 디스플레이 모듈은,
    상기 상호작용 제어기의 이동을 통해 상기 VR 장면에서의 상기 상호작용 도구의 이동을 제어하고;
    상기 상호작용 도구가 상기 VR 장면에서의 다른 가상 도구와 충돌하는지의 여부를 예측하고;
    상기 상호작용 도구가 상기 다른 가상 도구와 충돌하는 것으로 예측되면, 미리 설정된 전진량에 따라 충돌 효과 정보를 획득하고 상기 충돌 효과 정보에 따라 충돌 사운드를 재생하도록 구성되는, 단말 장치.
  22. 제21항에 있어서,
    상기 디스플레이 모듈은 추가로, 상기 충돌 효과 정보에 따라 상기 충돌 사운드가 재생된 후에 상기 상호작용 제어기를 통해 성공적인 충돌을 지시하는 진동 피드백 메시지를 전송하도록 구성되는, 단말 장치.
  23. 명령어를 포함하는, 컴퓨터로 판독 가능한 저장 매체로서,
    상기 명령어는 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 제1항 내지 제11항 중 어느 한 항에 따른 방법을 수행하게 하는, 컴퓨터로 판독 가능한 저장 매체.
  24. 단말 장치로서,
    손 모델의 이동을 제어하도록 구성된 상호작용 제어기;
    프로그램, 명령어 및 데이터를 저장하도록 구성된 메모리;
    상기 메모리에서 상기 프로그램, 상기 명령어 및 상기 데이터를 호출하여,
    제1항 내지 제11항 중 어느 한 항에 따른 방법을 수행하도록 구성된 프로세서; 및
    VR 디스플레이를 포함하고,
    상기 프로세서와 상기 메모리는 버스를 통해 서로 통신하고;
    상기 프로세서는 무선 네트워크를 통해 상기 상호작용 제어기 및 상기 VR 디스플레이와 통신하는,
    단말 장치.
KR1020197034888A 2017-11-17 2017-11-17 Vr 시나리오에서의 롤 플레이 시뮬레이션 방법 및 단말 기기 KR102354274B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/111519 WO2019095250A1 (zh) 2017-11-17 2017-11-17 Vr场景下的角色模拟方法和终端设备

Publications (2)

Publication Number Publication Date
KR20200003022A true KR20200003022A (ko) 2020-01-08
KR102354274B1 KR102354274B1 (ko) 2022-01-20

Family

ID=66184336

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197034888A KR102354274B1 (ko) 2017-11-17 2017-11-17 Vr 시나리오에서의 롤 플레이 시뮬레이션 방법 및 단말 기기

Country Status (5)

Country Link
US (1) US10953336B2 (ko)
JP (1) JP6925589B2 (ko)
KR (1) KR102354274B1 (ko)
CN (1) CN109690450B (ko)
WO (1) WO2019095250A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264393B (zh) * 2019-05-15 2023-06-23 联想（上海）信息技术有限公司 一种信息处理方法、终端和存储介质
WO2020236171A1 (en) * 2019-05-22 2020-11-26 Google Llc Methods, systems, and media for object grouping and manipulation in immersive environments
CN110297684B (zh) * 2019-06-28 2023-06-30 腾讯科技（深圳）有限公司 基于虚拟人物的主题显示方法、装置及存储介质
CN110493642B (zh) * 2019-07-23 2023-11-17 北京拉近众博科技有限公司 一种虚拟互动观赛方法、系统、装置和存储介质
CN110322741A (zh) * 2019-07-24 2019-10-11 广东校园卫士网络科技有限责任公司 一种学生的学能和心智测评系统
CN110705063A (zh) * 2019-09-20 2020-01-17 深圳市酷开网络科技有限公司 一种模拟震动方法、系统及存储介质
CN111324334B (zh) * 2019-11-12 2023-07-28 天津大学 一种基于叙事油画作品开发虚拟现实体验系统的设计方法
CN111408137A (zh) * 2020-02-28 2020-07-14 苏州叠纸网络科技股份有限公司 一种基于增强现实的场景交互方法、装置、设备和介质
CN111589148B (zh) * 2020-05-15 2023-02-24 腾讯科技（深圳）有限公司 用户界面的显示方法、装置、终端及存储介质
CN111784850B (zh) * 2020-07-03 2024-02-02 深圳市瑞立视多媒体科技有限公司 基于虚幻引擎的物体抓取仿真方法及相关设备
CN112203114B (zh) * 2020-09-07 2022-07-12 佛山创视嘉科技有限公司 协同演奏方法、系统、终端设备及存储介质
CN112121410B (zh) * 2020-10-22 2024-04-12 深圳市瑞立视多媒体科技有限公司 一种基于vr游戏的装备入柜的方法
US20240203058A1 (en) * 2021-04-20 2024-06-20 Quill & Quaver Associates Pty. Ltd. System and method for performance in a virtual reality environment
CN113689256A (zh) * 2021-08-06 2021-11-23 江苏农牧人电子商务股份有限公司 一种虚拟物品推送方法和系统
CN113934347B (zh) * 2021-09-17 2022-08-26 完美世界(北京)软件科技发展有限公司 模型切换方法、设备及存储介质
CN114020978B (zh) * 2021-09-28 2024-06-11 北京市农林科学院信息技术研究中心 基于多源信息融合的园区数字化漫游展示方法及系统
CN114115534B (zh) * 2021-11-12 2023-12-22 山东大学 一种基于房间式互动投影的关系增强系统及方法
CN114168044A (zh) * 2021-11-30 2022-03-11 完美世界(北京)软件科技发展有限公司 虚拟场景的交互方法及装置、存储介质、电子装置
CN114625466B (zh) * 2022-03-15 2023-12-08 广州歌神信息科技有限公司 线上歌厅交互执行、控制方法及装置、设备、介质、产品
CN115509360B (zh) * 2022-10-11 2023-10-20 云宝宝大数据产业发展有限责任公司 基于元宇宙虚拟现实vr交互系统
CN116896608B (zh) * 2023-09-11 2023-12-12 山东省地震局 一种虚拟地震场景演播系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090258700A1 (en) * 2008-04-15 2009-10-15 Brian Bright Music video game with configurable instruments and recording functions
US20170182414A1 (en) * 2015-12-29 2017-06-29 Bandai Namco Entertainment Inc. Game device, processing method, and information storage medium

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002006871A (ja) * 2000-06-26 2002-01-11 Shinichiro Ohora インターネット・カラオケ・システム
JP4229318B2 (ja) * 2003-05-12 2009-02-25 株式会社バンダイナムコゲームス 画像生成システム、プログラム及び情報記憶媒体
JP5302516B2 (ja) * 2007-07-03 2013-10-02 任天堂株式会社 音再生プログラム、音再生装置、音再生システムおよび音再生方法
CN101414322A (zh) * 2007-10-16 2009-04-22 盛趣信息技术（上海）有限公司 虚拟角色的展示方法及系统
CN103050114B (zh) * 2011-10-17 2015-03-04 上海渐华科技发展有限公司 一种网络卡拉ok系统的构建方法
JP2013231951A (ja) * 2012-04-06 2013-11-14 Yamaha Corp 音響データ処理装置および音響データ通信システム
CN202929567U (zh) * 2012-11-19 2013-05-08 深圳市数虎图像科技有限公司 虚拟角色动画表演系统
CN103093665A (zh) * 2013-01-09 2013-05-08 湖州电力局 配网运检协同仿真培训装置及方法
JP6244219B2 (ja) * 2014-02-17 2017-12-06 Ｐｉｏｎｅｅｒ ＤＪ株式会社 再生装置及び方法、並びにコンピュータプログラム
JP6315568B2 (ja) * 2014-04-25 2018-04-25 株式会社第一興商 通信カラオケシステム及びサーバ
CN104102146B (zh) * 2014-07-08 2016-09-07 苏州乐聚一堂电子科技有限公司 虚拟伴舞通用控制系统
US9272418B1 (en) * 2014-09-02 2016-03-01 The Johns Hopkins University System and method for flexible human-machine collaboration
JP6834962B2 (ja) * 2015-09-08 2021-02-24 ソニー株式会社 情報処理装置、方法およびコンピュータプログラム
JP6769697B2 (ja) * 2015-09-16 2020-10-14 株式会社バンダイナムコエンターテインメント プログラム及びゲーム装置
CN106681479A (zh) * 2015-11-05 2017-05-17 丰唐物联技术（深圳）有限公司 基于虚拟现实的用户交互方法及系统
CN105425955A (zh) * 2015-11-06 2016-03-23 中国矿业大学 多用户沉浸式全互动虚拟现实工程培训系统
JP6515057B2 (ja) * 2016-03-31 2019-05-15 株式会社バンダイナムコエンターテインメント シミュレーションシステム、シミュレーション装置及びプログラム
CN106095235B (zh) * 2016-06-07 2018-05-08 腾讯科技（深圳）有限公司 基于虚拟现实的控制方法和装置
CN106604014A (zh) * 2016-12-07 2017-04-26 惠州Tcl移动通信有限公司 一种基于移动终端vr观影多人互动的方法及其系统
CN107103801B (zh) * 2017-04-26 2020-09-18 北京大生在线科技有限公司 远程三维场景互动教学系统及控制方法
US10228760B1 (en) * 2017-05-23 2019-03-12 Visionary Vr, Inc. System and method for generating a virtual reality scene based on individual asynchronous motion capture recordings

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090258700A1 (en) * 2008-04-15 2009-10-15 Brian Bright Music video game with configurable instruments and recording functions
US20170182414A1 (en) * 2015-12-29 2017-06-29 Bandai Namco Entertainment Inc. Game device, processing method, and information storage medium

Also Published As

Publication number Publication date
CN109690450B (zh) 2020-09-29
US10953336B2 (en) 2021-03-23
WO2019095250A1 (zh) 2019-05-23
CN109690450A (zh) 2019-04-26
JP2020521208A (ja) 2020-07-16
KR102354274B1 (ko) 2022-01-20
JP6925589B2 (ja) 2021-08-25
US20200047074A1 (en) 2020-02-13

Similar Documents

Publication Publication Date Title
KR102354274B1 (ko) Vr 시나리오에서의 롤 플레이 시뮬레이션 방법 및 단말 기기
JP7406602B2 (ja) オーディオファイルの頭部姿勢ミキシング
CN106924966A (zh) 游戏装置以及处理方法
JP6515057B2 (ja) シミュレーションシステム、シミュレーション装置及びプログラム
JPH09115004A (ja) 画像生成／表示装置
JP2017119032A (ja) ゲーム装置及びプログラム
JP2009301477A (ja) コンテンツ編集装置、方法及びプログラム
US20240203058A1 (en) System and method for performance in a virtual reality environment
Mitchusson Indeterminate Sample Sequencing in Virtual Reality
JP2000047675A (ja) 歌唱音響装置及び演技表現判定方法
de Lima Costa et al. Songverse: a digital musical instrument based on virtual reality
Hamilton Perceptually coherent mapping schemata for virtual space and musical method
CN112587915B (en) Lighting effect presentation method and device, storage medium and computer equipment
US20240024776A1 (en) Game environment customized generation of gaming music
JPH11133987A (ja) 振り付け動画表示に特徴を有するカラオケ装置
Eloul et al. Motion Tracking of a Fish as a Novel Way to Control Electronic Music Performance
Dehaan Compositional Possibilities of New Interactive and Immersive Digital Formats
Hamilton maps and legends: FPS-Based Interfaces for Composition and Immersive Performance
Parker Theater as virtual reality
JP5981095B2 (ja) カラオケ装置、端末および本体装置
WO2024020496A1 (en) Game environment customized generation of gaming music
Challis et al. Defining digital-Foley for live performance
JP2017058525A (ja) カラオケ装置及びカラオケ用プログラム
Kobayashi et al. MR4MR: Mixed Reality for Melody Reincarnation
JP6465780B2 (ja) カラオケ装置及びカラオケ用プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant