KR102135117B1 - 가상환경 내의 사용자 행동에 따른 가청음의 사용자 인식 구조의 생성 방법 및 시스템 - Google Patents

가상환경 내의 사용자 행동에 따른 가청음의 사용자 인식 구조의 생성 방법 및 시스템 Download PDF

Info

Publication number
KR102135117B1
KR102135117B1 KR1020180144987A KR20180144987A KR102135117B1 KR 102135117 B1 KR102135117 B1 KR 102135117B1 KR 1020180144987 A KR1020180144987 A KR 1020180144987A KR 20180144987 A KR20180144987 A KR 20180144987A KR 102135117 B1 KR102135117 B1 KR 102135117B1
Authority
KR
South Korea
Prior art keywords
user
audio
processor
tracks
digital audio
Prior art date
Application number
KR1020180144987A
Other languages
English (en)
Other versions
KR20190110422A (ko
Inventor
존 케일 발레이
Original Assignee
존 케일 발레이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 존 케일 발레이 filed Critical 존 케일 발레이
Publication of KR20190110422A publication Critical patent/KR20190110422A/ko
Application granted granted Critical
Publication of KR102135117B1 publication Critical patent/KR102135117B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/02—Synthesis of acoustic waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

VE 내의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법이 제공된다. 프로세서를 사용하여 음향의 복수의 다른 소정의 디지털 오디오 트랙들이 제공된다. 음향의 디지털 오디오 트랙들은 음향의 디지털 오디오 트랙들의 조합에 따라 음향의 소정의 구조가 사용자에게 인식되도록 결정된다. 프로세서를 사용하여 VE 내의 오디오 영역들의 공간적 위치와 크기가, 적어도 두 오디오 영역들이 적어도 부분적으로 중첩되도록 결정된다. 프로세서를 사용하여, 각 오디오 영역이 디지털 오디오 트랙들 중의 하나와 연계되고 각 오디오 영역 내의 각 디지털 오디오 트랙의 볼륨 수준 분포가 결정된다. 프로세서에 연결된 디스플레이를 사용하여 VE가 사용자에게 화상표시된다. 프로세서에 연결된 사용자 입력 장치와 사용자 행동 센서 중의 적어도 하나를 사용하여, VE 내의 사용자 행동을 나타내는 사용자 정보가 수신된다, 프로세서를 사용하여, 사용자 정보에 따른 VE 내의 공간적 위치가 결정된다. 프로세서를 사용하여, 공간적 위치에 일치하는 각 오디오 영역의 디지털 오디오 트랙의 볼륨 수준이 공간적 위치와 각 오디오 영역 내의 디지털 오디오 트랙의 볼륨 수준 분포에 따라 결정된다. 프로세서를 사용하여, 공간적 위치와 일치하는 오디오 영역들의 디지털 오디오 트랙들이 디지털 오디오 트랙의 결정된 볼륨 수준에 따라 조합되고 이를 나타내는 음향 신호가 제공된다. 프로세서에 연결된 스피커를 사용하여, 음향 신호에 따른 가청음이 생성되어 사용자에게 제공된다.

Description

가상환경 내의 사용자 행동에 따른 가청음의 사용자 인식 구조의 생성 방법 및 시스템{METHOD AND SYSTEM FOR GENERATING A USER-PERCEIVED STRUCTURE OF AN AUDIBLE SOUND IN DEPENDENCE UPON USER ACTION WITHIN A VIRTUAL ENVIRONMENT}
본 발명은 가상환경(virtual environment) 기술에 관한 것으로, 더 구체적으로는 가상환경 내의 사용자 행동(user action)에 따른 가청음(audible sound)의 사용자 인식 구조(user-perceived structure)를 생성하는 방법 및 장치에 관한 것이다.
음악 - 또는 더 광의의 관점으로 '음향(sound)' - 의 작곡(composition)과, 제작(production)과, 재생(playback)은 현대의 디지털 엔터테인먼트 기술의 일체적 부분이다. 음악은 예를 들어 모의 훈련기(training simulator), 360° 영화/비디오(film/video), 그리고 비디오 게임 등의 가상환경(Virtual Environments; VE)들을 위해 작곡된다. 음악의 다양한 구성요소(악기, 음성, 음향)들이 함께 디지털 오디오 워크스테이션(digital audio workstation) 내에서 믹싱(mixing)된 후, 익스포트(export)됨으로써 최종 제품으로 구현된다. 음악은 예를 들어 VE 내의 해설(narrative), 과업(task), 목적(goal), 또는 문제(puzzle)들을 통해 사용자를 안내하는 감성적 큐(emotional cue)와 음경(音景; 음향적 배경; soundscape)으로 사용된다. 사용자의 관점(perspective)에서 소곡(musical piece)의 시작과 끝을 신호(cue)하는 다양한 조건적 트리거(trigger)들이 사용된다.
전통적으로, VE 내에 구현되기 전에 소곡(piece of music)의 개별적 구성요소(악기, 음성, 음향)들이 단일한 트랙(track)으로 함께 믹싱된다. 공간화된(spatialized) 3D 오디오 환경 내의 동일한 포인트에 인식된 오디오 소스(audio source)를 구현 또는 위치시키기 전에 개별 구성요소들을 조합하는 것은 VE 내의 사용자의 음향 경험(sound experience)에 다음과 같이 여러 가지 구체적 제약들을 부과한다.
첫째로, 소곡이 정적(silence) 또는 다른 소곡으로 천이할 때 두 음악 상태들 사이에 인식 경계(perceptual border)가 있다.
둘째로, 사용자는 해당 감성적 정보가 새 음악을 통해 제공되기 전에는 VE 내에서 행동을 수행하도록 사용자를 강제하는 감성적 오디오 큐(emotional audio cues)들을 수신 받지 않는다.
셋째로, VE 내의 사용자의 음향 경험은 반복적이고 사용자에게 독특하지 않아, VE 경험으로의 사용자의 몰입(immersion)의 수준을 제한한다.
넷째로, 사용자는 VE 내의 음향 경험 내의 수동적 참여자이다. 음악의 변화는 예를 들어 새로운 가상공간에 진입하거나 목표를 달성하는 등의 조건이 충족되었을 때 시작하는 새로운 소곡으로 제한된다. 소곡들은 서로 분리되어, 감성 품질(emotional quality)에 있어서 소정의 반복되는 VE 경험들에서 동일하다.
다섯째로, 360° 영화 제작(film-making)과 VE 비디오 게임 개발에 있어서의 상당한 어려움이 사용자의 인식(perception)이 VE 내의 관련된 사건(event)들을 추종하도록 유도함으로써, 정보의 중요한 사건 또는 소스(source)들이 종종 사용자에 의해 착각된다(missed by).
사용자가 적극적 참여자가 되어 사용자에게 독특한 음향 경험을 제공할 뿐 아니라 VE 내에서 사용자를 안내할 수 있는, VE 내의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법 및 장치가 제공되면 바람직할 것이다.
또한, 가청음의 사용자 인식 구조가 VE 내의 사용자의 행동에 따라 점진적으로(gradually) 변화될 수 있는, VE 내의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법 및 장치가 제공되면 바람직할 것이다.
또한, 소곡의 화음(harmony), 멜로디, 음조(tone) 및 리듬들이 사용자 행동에 따라 변화되는, VE 내의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법 및 장치가 제공되면 바람직할 것이다.
또한, 사용자 인식 구조가 사용자에게 감성적 오디오 큐들의 제공을 가능하게 하는 음악의 감성적 특성(emotional character)을 나타내는(indicative), VE 내의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법 및 장치가 제공되면 바람직할 것이다.
이에 따라 본 발명의 한 목적은 사용자가 적극적 참여자가 되어 사용자에게 독특한 음향 경험을 제공할 뿐 아니라 VE 내에서 사용자를 안내할 수 있는, VE 내의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법 및 장치를 제공하는 것이다.
본 발명의 다른 목적은 가청음의 사용자 인식 구조가 VE 내의 사용자의 행동에 따라 점진적으로 변화될 수 있는, VE 내의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법 및 장치를 제공하는 것이다.
본 발명의 다른 목적은 소곡의 화음, 멜로디, 음조 및 리듬들이 사용자 행동에 따라 변화되는, VE 내의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법 및 장치를 제공하는 것이다.
본 발명의 다른 목적은 사용자 인식 구조가 사용자에게 감성적 오디오 큐들의 제공을 가능하게 하는 음악의 감성적 특성을 나타내는, VE 내의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법 및 장치를 제공하는 것이다.
본 발명의 한 국면(aspect)에 따르면, VE 내의 사용자 행동에 따라 가청음(audible sound)의 사용자 인식 구조(user-perceived structure)를 생성하는 방법이 제공된다.
a) 프로세서를 사용하여, 음향의 복수의 다른 소정의(predetermined) 디지털 오디오 트랙들이 제공된다. 음향의 디지털 오디오 트랙들은 음향의 디지털 오디오 트랙들의 조합에 따라 음향의 소정의 구조가 사용자에 인식되도록 결정된다.
b) 프로세서를 사용하여, VE 내의 오디오 영역(audio zone)들의 공간적 위치 및 크기가, 적어도 두 오디오 영역들이 적어도 부분적으로 중첩(overlap)되도록 결정된다.
c) 프로세서를 사용하여, 각 오디오 영역이 디지털 오디오 트랙들의 하나와 연계되고 각 오디오 영역 내에서 각 디지털 오디오 트랙의 볼륨 수준 분포(volume level distribution)가 결정된다.
d) 프로세서에 연결된 디스플레이(display)를 사용하여 VE가 사용자에게 화상표시(display)된다.
e) 프로세서에 연결된 사용자 입력 장치와 사용자 행동 센서 중의 적어도 하나를 사용하여, VE 내의 사용자의 행동을 나타내는 사용자 정보가 수신된다.
f) 프로세서를 사용하여, 사용자 정보에 따른 VE 내의 공간적 위치가 결정된다.
g) 프로세서를 사용하여, 공간적 위치와 일치하는 각 오디오 영역의 디지털 오디오 트랙의 볼륨 수준이 공간적 위치와 각 오디오 영역 내의 디지털 오디오 트랙의 볼륨 수준 분포에 따라 결정된다.
h) 프로세서를 사용하여, 공간적 위치와 일치하는 오디오 영역들의 디지털 오디오 트랙들이 디지털 오디오 트랙들의 결정된 볼륨 수준에 따라 조합되어 이를 나타내는 음향 신호(sound signal)가 제공된다.
i) 프로세서에 연결된 스피커(loudspeaker)를 사용하여, 음향 신호에 따른 가청음(audible sound)을 생성하여 사용자에게 제공한다.
사용자가 VE 내에서 행동하는 동안, 단계 d) 내지 i)가 반복된다.
본 발명의 한 국면에 따르면, VE 내의 사용자의 행동에 따라 가청음의 사용자 인식 구조를 생성하는 시스템이 제공된다. 이 시스템은: 프로세서와; 이 프로세서에 연결되어 VE를 사용자에게 화상표시하는 디스플레이와; 프로세서에 연결되어 VE 내의 사용자의 행동을 나타내는 사용자 정보를 수신 또는 감지하는 적어도 하나의 사용자 입력 장치 및 사용자 행동 센서와; 프로세서에 연결되어 가청음을 생성하고 이를 사용자에게 제공하는 스피커와; 그리고 프로세서에 연결된 저장 매체(storage medium)를 구비한다. 저장 매체는 음향의 복수의 다른 소정의 디지털 오디오 트랙들과 프로세서에 의해 실행될 명령(command)들을 거기에 저장하고 있다. 음향의 디지털 오디오 트랙들은 음향의 디지털 오디오 트랙들의 조합에 따라 음향의 소정의 구조가 사용자에게 인식되도록 결정된다. 프로세서는 명령들을 실행할 때:
적어도 두 오디오 영역들이 적어도 부분적으로 중첩되도록 VE 내의 오디오 영역들의 공간적 위치와 크기를 결정하고;
각 오디오 영역들을 디지털 오디오 트랙들 중의 하나와 연계시키고 각 오디오 영역 내에서의 각 디지털 오디오 트랙의 볼륨 수준 분포를 결정하며;
사용자 정보에 따라 VE 내의 공간적 위치를 결정하고;
공간적 위치와 일치하는 디지털 오디오 트랙의 볼륨 수준을 공간적 위치와 각 오디오 영역 내의 디지털 오디오 트랙의 볼륨 수준 분포에 따라 결정하며; 그리고
공간적 위치와 일치하는 오디오 영역들의 디지털 오디오 트랙들을 디지털 오디오 트랙들의 결정된 볼륨 수준들에 따라 조합하고 이를 나타내는 음향 신호를 스피커에 제공한다.
본 발명의 한 국면에 따르면, 음향의 복수의 다른 소정의 디지털 오디오 트랙들과 프로세서에 의해 실행될 명령들을 거기에 저장하는 컴퓨터 판독 가능한(computer readable) 저장 매체가 제공된다. 음향의 디지털 오디오 트랙들은 음향의 디지털 오디오 트랙들의 조합에 따라 음향의 소정의 구조가 사용자에게 인식되도록 결정된다. 프로세서는 명령들을 실행할 때:
적어도 두 오디오 영역들이 적어도 부분적으로 중첩되도록 VE 내의 오디오 영역들의 공간적 위치와 크기를 결정하고;
각 오디오 영역들을 디지털 오디오 트랙들 중의 하나와 연계시키고 각 오디오 영역 내에서의 각 디지털 오디오 트랙의 볼륨 수준 분포를 결정하며;
사용자 정보에 따라 VE 내의 공간적 위치를 결정하고;
공간적 위치와 일치하는 각 오디오 영역의 디지털 오디오 트랙의 볼륨 수준을 공간적 위치와 각 오디오 영역 내의 디지털 오디오 트랙의 볼륨 수준 분포에 따라 결정하며; 그리고
공간적 위치와 일치하는 오디오 영역들의 디지털 오디오 트랙들을 디지털 오디오 트랙들의 결정된 볼륨 수준들에 따라 조합하고 이를 나타내는 음향 신호를 스피커에 제공한다.
본 발명의 이점은 사용자가 적극적 참여자가 되어 사용자에게 독특한 음향 경험을 제공할 뿐 아니라 VE 내에서 사용자를 안내할 수 있는, VE 내의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법 및 장치가 제공된다는 것이다.
본 발명의 다른 이점은 가청음의 사용자 인식 구조가 VE 내의 사용자의 행동에 따라 점진적으로 변화될 수 있는, VE 내의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법 및 장치가 제공된다는 것이다.
본 발명의 다른 이점은 소곡의 화음, 멜로디, 음조 및 리듬들이 사용자 행동에 따라 변화되는, VE 내의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법 및 장치가 제공된다는 것이다.
본 발명의 다른 이점은 사용자 인식 구조가 사용자에게 감성적 오디오 큐들의 제공을 가능하게 하는 음악의 감성적 특성을 나타내는, VE 내의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법 및 장치를 제공하는 것이다.
이하 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명될 것인데, 도면에서:
도 1a는 본 발명의 바람직한 실시예에 따라 VE 내에서의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 시스템을 보이는 개략 블록도;
도 2a는 본 발명의 바람직한 실시예에 따라 VE 내에서의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법을 보이는 개략 흐름도;
도 2b는 본 발명의 바람직한 실시예에 따라 VE 내에서의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법을 구현한 VE의 평면을 보이는 개략 블록도;
도 3a는 본 발명의 바람직한 실시예에 따라 VE 내에서의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법의 예시적 구현예인 VE의 평면을 보이는 개략 블록도;
도 3b는 본 발명의 바람직한 실시예에 따라 VE 내에서의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법의 예시적 구현예를 보이는 개략 흐름도;
도 4는 본 발명의 바람직한 실시예에 따라 VE 내에서의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법을 구현하는 오디오 영역들의 평면을 보이는 개략 블록도;
도 5는 본 발명의 바람직한 실시예에 따라 VE 내에서의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법의 다른 예시적 구현예인 VE의 평면을 보이는 개략 블록도;
도 6은 본 발명의 바람직한 실시예에 따라 VE 내에서의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법을 구현하는 오디오 영역들의 평면을 보이는 개략 블록도;
도 7a는 본 발명의 바람직한 실시예에 따라 VE 내에서의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법의 다른 예시적 구현예인 VE의 평면을 보이는 개략 블록도;
도 7b는 본 발명의 바람직한 실시예에 따라 VE 내에서의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 도 7a에 도시된 방법의 다른 예시적 구현예의 오디오 트랙의 구조를 보이는 개략 블록도; 그리고
도 8은 본 발명의 바람직한 실시예에 따라 VE 내에서의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법의 구현을 촉진하는 플러그인의 오디오 영역 구조를 보이는 개략 블록도이다.
달리 규정되지 않는 한, 이 명세서에 사용된 모든 기술적 및 과학적 용어들은 본 발명이 속한 업계에 통상의 기술을 가진 자가 공통으로 이해하는 것과 동일한 의미를 가진다. 본 발명의 구현 또는 시험에 이 명세서에 기재된 것과 유사 또는 등가의 어떤 방법 및 구성들이 사용될 수 있지만, 이하에서는 바람직한 방법과 구성들을 설명하기로 한다.
이하의 바람직한 실시예들의 설명은 비디오 게임의 VE에 관련된 음악 작곡을 참조하지만, 당업계에 통상의 기술을 가진 자에게는 본 발명의 실시예들이 이에 한정되지 않고 예를 들어 (자연, 도시, 산업 등) 다양한 환경들에서 녹음된 음향 또는 컴퓨터 생성 음(computer generated sound) 등 음악이 아닌 가청음의 생성과 함께, 예를 들어 360° 영화, 모의 훈련기(training simulator), 또는 매핑된(mapped) 실제 환경(real-world environment) 등의 다양한 다른 응용분야들에도 적용 가능하다는 것이 명백해질 것이다.
도 1에는, 본 발명의 바람직한 실시예에 따라 VE 내에서의 사용자 행동에 따른 가청음의 사용자 인식 구조를 생성하는 시스템(100)이 제공된다. 이 시스템은 - 예를 들어 비디오 게임 수행(video gaming)에 맞춰진 통상적인 게임용 컴퓨터 등의 - 다음:
프로세서(processor; 104)와;
그래픽 카드(graphic card; 105)와;
프로세서(104)에 의해 실행될 실행 가능한 명령들이 거기에 저장되는 - 예를 들어 하드디스크(Hard Disc Drive; HDD) 또는 반도체디스크(Solid-State Drive; SSD) 등의 - 저장 매체(storage medium; 106)와; 그리고
프로세서(104)에 의해 실행된 지령(instruction) 및 데이터를 수신하는 - 예를 들어 인터넷을 통해 다른 컴퓨터를 연결하는 포트(port), 근거리통신망(Local Area Network; LAN) 또는 DVD 드라이브를 연결하는 포트 등의 - 통신 포트(communications port; 108)를
가지는 컴퓨터를 구비한다.
저장 매체(106)는 전술하고 이하에 상세히 설명할 바와 같이, 프로세서가 본 발명에 따라 VE 내의 사용자 행동에 따른 가청음의 사용자 인식 구조를 생성하는 방법을 실행하도록 프로세서(104)에 의해 실행될 실행 가능한 명령들과 디지털 오디오 트랙들을 거기에 저장하고 있다. 실행 가능한 명령들과 디지털 오디오 트랙들은 통신 포트(108)를 통해 저장 매체(106)에 제공된다.
이와는 달리, 프로세서(104)가 방법을 실행할 때 실행 가능한 명령들과 디지털 오디오 트랙들 - 또는 그 일부 - 을 예를 들어 DVD 또는 인터넷을 통한 서버 컴퓨터로부터 통신 포트(108)를 통해 직접 수신할 수 있다.
프로세서(104)는 사용자 상호작용(user interaction)이 가능하도록 통상적인 휴먼 머신 인터페이스(Human Machine Interface; HMI)(110)에 연결된다. HMI(110)는 다음:
VE를 사용자에게 화상표시하는 디스플레이(110.1)와;
VE 내의 사용자의 행동을 나타내는(indicative) 사용자 정보를 수신 및/또는 감지하는 - 예를 들어 휴대용 게임 콘솔(handheld gaming console) 등의 - 사용자 입력 장치(110. 2) 및 - 예를 들어 사용자의 머리 동작(head motion)을 감지하는 센서 및/또는 사용자의 주시 방향(gaze direction)을 감지하는 센서 등의 - 사용자 행동 센서(110.3)와; 그리고
가청음을 생성하여 이를 사용자에게 제공하는 - 예를 들어 헤드폰 등의 - 스피커(loudspeaker; 110.4)를
구비한다.
예를 들어, 디스플레이(110.1)와, 사용자 행동 센서(110.3)과, 그리고 스피커(110.4)는 통상적인 가상현실 헤드셋(virtual reality headset) 내에 통합된다.
도 2a 및 2b에는, 본 발명에 따라 VE 내의 사용자 행동에 따른 가청음의 사용자 인식 구조를 생성하는 방법이 제공된다.
a) 프로세서(104)를 사용하여 음향의 복수의 소정의 다른 디지털 오디오 트랙들이 제공된다. 예를 들어 프로세서는 저장 매체(106)로부터 디지털 오디오 트랙들을 호출(retrieve)한다. 음향의 디지털 오디오 트랙들은 음향의 디지털 오디오 트랙들의 조합에 따라 음향의 소정의 구조들이 사용자에게 인식되도록 결정된다. 예를 들어 소정의 구조는 소곡(piece of music)의 감성적 특성(emotional character)을 나타내는 화음, 멜로디, 음조, 리듬을 구비한다.
바람직하기로, 특정한 VE에 사용될 악곡(musical composition)을 작곡함으로써 VE 내의 사용자 행동에 따라 그 감성적 특성을 변화시킬 다른 디지털 오디오 트랙들이 생성된다. 이어서 악곡이 연주(perform)되어 복수의 다른 디지털 오디오 트랙들에 녹음된다. 연주되는 악곡은 예를 들어 각 디지털 오디오 트랙이 다음: 개별적인 악기(instrument)와; 악기들의 그룹과; 개별적 목소리(voice)와; 그리고 목소리들의 그룹 중 적어도 하나를 나타내도록 녹음된다. 선택적으로, 각 디지털 오디오 트랙은 트랙의 종단이 그 시작과 이음매 없이 순환(loop)되도록 편집된다.
b) 프로세서(104)를 사용하여, VE(200) 내의 오디오 영역(audio zone; A-D)들의 공간적 위치와 크기들이, 도 2b에 점선으로 지시된 바와 같이 적어도 두 오디오 영역들이 적어도 부분적으로 중첩(overlap)되도록 결정된다.
기서 오디오 영역 A는 VE(200)의 방(room; 202)의 전체 영역을 포괄하고, 오디오 영역 B는 가동 물체(movable object; 208)에 연계되며, 오디오 영역 C는 방(202)에 위치된 - 예를 들어 탁자 등의 - 고정 물체(stationary object; 210)에 연계되고, 그리고 오디오 영역 D는 방(202)의 출구(212)에 위치된다.
c) 프로세서(104)를 사용하여, 각 오디오 영역(audio zone; A-D)이 디지털 오디오 트랙들 중의 하나에 연계되고 각 오디오 영역에서 각 디지털 오디오 트랙의 볼륨 수준 분포(volume level distribution)가 결정된다. 바람직하기로, 볼륨 수준 분포는 가청음의 사용자 인식 구조가 VE 내의 사용자 행동에 의해 점진적으로(gradually) 변화, 예를 들어 - 점선으로 지시된 - 오디오 영역의 모서리로부터 오디오 영역 내부의 *?**?*소스 점(source point)*?**?*을 향해 볼륨 수준이 점진적으로 증가되도록 결정된다. 이와는 달리, 예를 들어 방(202)의 전체 영역을 포괄하는 오디오 영역 A 내의 '배경(background)' 음향을 제공하기 위한 오디오 영역 내의 볼륨 수준은 일정하다.
d) 디스플레이(110.1)를 사용하여 VE(200)가 사용자에게 화상표시된다.
e) 사용자 입력 장치(110.2) 및 사용자 행동 센서(110.3) 중의 적어도 하나를 사용하여 VE(200) 내의 사용자의 행동을 나타내는 사용자 정보가 수신된다. 예를 들어 아바타(avatar; 206)로 표현된 사용자가 입구(204)를 통해 방(202)에 진입하여(I) - 블록 화살표로 지시된 바와 같이 - 머리를 이동시켜 물체(208)를 주시한다(II).
f) 프로세서(104)를 사용하여 아바타(206)의 방(202) 내의 위치와 - 점선 화살표로 지시된 - 머리 이동 및 주시(방향)가 사용자 정보에 따라 결정된다.
g) 프로세서(104)를 사용하여 공간적 위치와 일치하는 오디오 영역의 디지털 오디오 트랙의 볼륨 수준과, 머리 이동 및 주시(방향)가 공간적 위치와 각 오디오 영역 내의 디지털 오디오 트랙의 볼륨 수준 분포에 따라 결정된다. (II)에서 오디오 영역 A 및 B의 볼륨 수준이 결정된다.
h) 프로세서(104)를 사용하여 공간적 위치 및 사용자 주시(방향)와 일치하는 디지털 오디오 트랙들이 디지털 오디오 트랙들의 결정된 볼륨 수준들에 따라 조합되어 이를 나타내는 음향 신호가 제공된다.
i) 스피커(110.4)를 사용하여 음향 신호에 따른 가청음이 생성되어 사용자에게 제공된다.
사용자가 VE(200) 내에서 행동하는 동안 단계 d) 내지 i)가 반복된다. 예를 들어 사용자가 방에 들어갈 때(I) - 오디오 영역 A의 - 쾌적한(pleasant) 배경 음악을 듣는다. (II)에서 사용자가 물체(208)를 볼 때 사용자의 과업이 무거운 물체(208)를 들어 옮기는 것이므로 오디오 영역 A 및 B가 조합된 트랙들이 감성적 긴장(emotional stress)의 수준을 야기하는 음악을 제공한다. (III)에서, 사용자가 물체(208)를 건드린 순간부터 오디오 영역 A 및 B가 조합된 트랙들이 더 높은 수준의 감성적 긴장을 야기하는 음악을 사용자에게 제공한다. (IV)에서 사용자가 물체(208)를 탁자(210) 상에 놓으면 오디오 영역 A, B, 및 C들의 조합된 트랙들이 저하된 수준의 감성적 긴장을 야기하는 음악을 사용자에게 제공한다. (V)에서 사용자가 물체(208)를 탁자(210) 상에 놓은 뒤 출구(212)를 주시할 때 오디오 영역 A 및 D의 조합된 트랙들이 감성적 이완(emotional relief)을 야기하는 음악을 사용자에게 제공한다.
통상적인 게임용 컴퓨터 하드웨어와 통상적인 게임 엔진(game engine) 레벨 에디터(level editor)를 사용하여 본 발명에 따른 VE 내의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법은, e)와 i) 간의 대기 시간(latency)이 사용자에 의해 감지(detect)되기에는 너무 짧아, 예를 들어 200ms 미만이다.
도 3a 및 3b는 전술한 VE 내에서 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법의 예시적 구현예를 도시한다. 방법은 윈도우즈(Windows) PC와, HTC Vive 가상현실 시스템(virtual reality system)과, 그리고 Unreal 4(게임 엔진 레벨 에디터) - v4.18.3. 음향 녹음/처리는 통상적인 설비: 마이크와; UR824 오디오 인터페이스(audio interface); 스튜디오 참조 모니터(studio reference monitor)들과; 그리고 Toft ATB 사운드보드(soundboard)와 통상적인 음향 처리 소프트웨어 Cubase 5 (DAW) 등을 사용하여 수행되었다..
VE의 결정 후에 이 VE 내의 원하는 감성적 상태가 결정된다. 도 3a에 도시된 VE 내에서 사용자는 해설 선택으로 유도하는 일련의 간단한 행동들을 통해 안내된다. 사용자는 서쪽 벽의 문을 통해 방으로 들어간다, 방 가운데에는 사용자에 의해 파지되어 어느 문으로건 이동시킬 수 있는 물리 액터(physics actor)(큐브; cube)가 존재할 것이다. 사용자는 동쪽 벽의 문들 중의 하나를 통해 물체를 이송할 선택을 가진다. 한 문은 즐거움(joy)와 연계되고 다른 문은 우울(melancholy)과 연계된다. 사용자가 큐브 없이 떠나기를 선택한다면 음악 사운드트랙(soundtrack)의 불협화음으로 거슬리는(dissonant and uncomfortable) 버전(version)이 연주되기 시작하여, 뭔가 잘못된 것을 귀띔할 것이다.
다음 특성들을 가지는 여섯 가지 상호작용(interacting)하는 음악 트랙들이 작곡되는데:
A_Melody - C 장조의 키(key)에 기반한 멜로디 라인(melody line).
B_Ambient & C_Ambient - 마침음(tonal center)을 개괄하는(outlining) 두 주변(ambient) 트랙들 - 이 경우 C의 키. 풍부한 화음을 암시(imply)하는 3번 및 7번 음정(interval)들은 회피된다.
D_MinBass - C의 상대적 단조(minor)인 A단조에 집중하는 단조 화음의 멜로디에 기원하는(rooting) 베이스 라인(bass line).
E_MajBass - C 으뜸음 및 장3도(C tonic and major third)에 집중하는 즐거운 장조 화음에 기원하는 베이스 라인.
F_LocBass - 더 불협화음인 로크리언(Locrian) 화음에 기원하는 베이스 라인.
소곡(musical part)들은 MIDI 키보드 또는 아날로그 악기들 상에서 연주되고 디지털 오디오 인터페이스를 통해 Cubase 내의 별도의 트랙들에 녹음된다. 각 트랙은 트랙의 종단이 시작과 이음매 없이 순환(loop)되도록 편집된다.
디지털 오디오 트랙들은 -2 dBTP로 제한 및/또는 압축되고 예술적 판단(artistic judgement)들이 이뤄진다.
이어서 각 오디오 트랙들이 별도의 .wav 파일들로 익스포트(export)된다.
Unreal Engine 4 내에 포함된 VR 템플릿(template)과 MotionControllerMap(동작 제어 맵)이 오픈된다. 정적 망 액터(static mesh actor)들을 사용하여 작은 사각형 방이 생성된다. 서쪽 벽에 한 문이 위치된다. 동쪽 벽에는 남쪽 벽 근방의 하나와 북쪽 벽 근방의 하나로 두 문들이 위치된다.
.wav 파일들이 임포트(import)되어 각 파일에 연계된 오디오 어셋(audio asset) 및 오디오 큐(audio cue)들이 생성된다. 각 큐 내의 wav 플레이어(wave player) 음향 절점(sound node)들에 대한 *?**?*루핑(Looping)" 박스가 티킹(tick)되어야 한다.
각 오디오 큐들의 소스(source)가 도 3a에 도시된 바와 같이 가상 방(virtual room) 내에 위치된다. A_Melody 큐가 방의 중심에 위치한 1-미터의 파지 가능한 물체(정적 망 액터; static mesh actor)의 오디오 컴포넌트(audio component)에 위치된다. 오디오 큐의 위치는 This Actor Instance(이 액터의 경우)이다.
각 오디오 큐의 *?**?*상세(details)" 페인(pane)을 다음과 같이 티킹(ticking)하거나 조정함으로써 감쇠(attenuation)가 설정된다:
감쇠의 공간화 오버리드 허용(Allow Spatialization Override Attenuation)
감쇠 함수(Attenuation function) = 로그값으로서의
내경(Inner radius) - 도 3a에서의 원의 크기
외경(Outer radius) - 전체 방을 포괄하기에 충분히 큼
청자 초점(listener focus)이 E_MajBass 및 D_MinBass 큐들을 상세(details)" 페인(pane)에서 티킹(ticking)하거나 조정함으로써 설정되는데, 추가적인 설정(setting)은 다음과 같다:
청자 초점을 이네이블(enable)한다(초점 방위각(Focus Azimuth) = 30, 비 초점 방위각 = 60, 비 초점 볼륨 = 0.05, 초점 볼륨 = 1.0)
F_LocBass에 대한 큐(cue)의 볼륨이 0으로 설정된다.
두 동쪽 문들에 위치된 트리거 박스(trigger box) 볼륨에 의해 촉발되는(fired) F_LocBass 트랙을 목표로 하는(targeting) 청사진(blueprint)이 작성된다(scripted). 사용자가 물체 없이 두 문들에 근접하면 코드(code)가 F_LocBass 트랙의 볼륨을 올린다.
Unreal 4 내의 한 옵션(option)은 공통적인 ActorBeginOverlap(액터 시작 중첩) 및 ActorEndOverlap(액터 종료 중첩) 사건들을 사용하는 것이다. 물체의 정적 망 컴포넌트 - 큐브의 위치 - 가 문들 근방의 트리거 박스에 중첩되면 F_LocBass 큐에 대한 볼륨 값이 1.0이 되도록 AdjustVolume(볼륨 조정)을 촉발시킨다. 스크립트(script)에 VR 폰(VR pawn) 역시 트리거 박스에 중첩되어야 한다는 조건을 추가한다. 액터가 중첩을 종료하면 볼륨을 0으로 설정한다. 이는 실제로 VR 폰이 물체 없이 트리거 볼륨에 진입하지 않는 한 불협화음 트랙이 침묵(mute)된다는 것을 의미할 것이다.
사용자가 프로그램을 시작시키고 Vive 헤드셋(화상 디스플레이 및 헤드폰). Vive 베이스 스테이션(Base Station)들이 헤드셋으로부터 WorldRotation(세계 회전), WorldLocation(세계 위치)에 관한 데이터를 수집한다. Unreal 엔진과 Steam VR은 이 정보를 사용하여 VE 내의 사용자의 주시 방향(gaze direction)과 위치를 추적(track)한다. 이 변수들은 트랙들 상의 볼륨 수준을 설정하는 데 사용된다(감쇠/청자 초점).
방에 들어가면, 사용자는 음악의 화음 구조를 개괄하는(outlining) 주변 음악(ambient music)을 들을 것이다. 사용자가 물체를 주시하거나 이에 근접하면 주변 음악(ambient chords)에 멜로디가 추가될 것이다. 사용자가 한 문 F로부터 문 E로 주의를 전환하면, 베이스 노트(bass note)들은 단조에서 장조(Major chords)로 전환되어, 우리가 의도한 감성적 연계들을 암시한다. 사용자가 물체를 남겨두기로 결정하면 트랙 F의 추가에 의해 불협화음으로 거슬리는 음악이 생성될 것이다.
사용자가 위치와 그들의 주시 방향을 변경함에 따라 이 변수들이 지속적으로 참조된다. 사용자가 트랙의 초점 방위각(focus azimuth)을 주시하면 큐의 볼륨이 스피커에서 커진다(boosted). 사용자에 더 가깝고 사용자의 주시 방향에 있는 오디오 큐가 출력 믹스(output mix)에서 더 크게(louder) 감쇠된다(attenuated). 사용자(player)가 물체 또는 문에 근접하거나 주시하거나 이들을 이동시키기를 선택하면 큐브에서 나오는 멜로디 트랙은 주변 트랙들 및 베이스 트랙(bass track)과 혼합(blend)되어 적절한 버전의 음악을 생성할 것이다.
악곡의 오디오 환경은 예를 들어 도 4에 도시된 바와 같이, 3D 가상 음악 환경의 평면도(top-down view) 등 2D 도면 내의 중첩되는 원들로 시각화될 수 있다. 도 4에 도시된 도표는 변화되는 악곡에서 시간의 얇은 절편(thin slice)을 나타낸다. 일련의 유사한 도표들이 시간의 폭(span)에 걸쳐 악곡을 구조화하는 데 사용될 수 있다. 시간에 걸친 상호작용으로 변화되는 음악 구조를 작곡할 때는 동시에 들릴 어떤 트랙들 간의 음악적 관계가 고려되어야 할 것이다.
작곡 시에는, 바람직하기로 다른 조합들로 연주될 때 원하는 음악적 화음, 멜로디, 음조(tone) 또는 리듬을 암시하는 복수의 디지털 오디오 트랙들이 생성된다. 음악 이론의 원리들을 사용하여, 상호 작용의 위치들이 화음, 리듬 및 멜로디의 원하는 상태들을 생성한다. 코드 대체(chord substitution), 반전(inversion), 폴리리듬(poly-rhythm) 등이 사용자의 인식 필드(perceptual field)에 중첩되어 공간 상의 해당하는 점들에서 감성적 효과를 변경시키는 모든 트랙들 간에 적용될 수 있다.
예를 들어, i에서 물체 C#가 트랙 A와 믹싱(mixing)되어 편안한 장3도(major third)를 생성한다. ii에서는 침묵한다. iii에서는 트랙 G 및 D 및 D들이 조합되어 장3화음(major triad), 즉*?**?*행복한(happy)" 화음을 생성한다. C#는 사용자에 의해 필드 내의 임의의 위치로 이동될 수 있는 반면, A는 움직이지 않는다. i에서 C#를 잡은 사용자는 A와 함께 연주되는 C#를 들을 것이다. 사용자가 C#를 필드 내의 다른 위치로 이동시킴에 따라, 어떤 영역들에서는 즐거운 화음이 들리고 다른 영역들에서는 불협화음이 들릴 것이다. 필드 내의 템포(tempo) 변화를 원한다면, 다양한 방식의 폴리리듬이 두 리듬들 간에 명확한 경계 없이 두 다른 템포들 간의 천이(transition)에 사용될 수 있다.
VE 내의 어떤 변화되는 조건은 오디오 트랙들 중의 어떤 것이 감쇠, 침묵, 또는 다른 트랙들과 교환이 촉발되도록 프로그램될 수 있다. 비디오 게임의 맥락에서 가능한 조건들은: 위치, 초점/ 주시 작동(activation), 물체 위치, 물체 존재, 인벤토리(inventory), 사용자 아닌 캐릭터(non-player character)의 근접(proximity), 일자의 시간, 퀘스트 완료(quest completion), 건강, 게임 내 윤리(ethics and morality)를 포함한다.
멜로디, 화음, 및 리듬 간의 상호작용들은 다양한 위치들에서의 원하는 감성적 반응을 암시(imply)하는 음악 환경을 생성한다. 도 5에서, 더 작은 도표는 공간에서 움직이지 않지만 여러 방향들을 주시할 때의 사용자 경험을 나타내는데, 사용자가 단일한 문을 가지는 작은 방을 둘러봄에 따라 악기들이 믹스에서 추가되고 제외된다. 해설의 목적으로, 우리는 물체 1을 부정적인 경험(negative experience)에, 물체 2를 서두름(haste)에, 물체 3 및 4를 즐거움(joy)에 연계시키기를 원한다.
악기로 기본 현악기들을 가진 실내악단(chamber orchestra)을 가정한다. 한 쌍의 악기들, 각각 물체 3과 물체 4에 위치한 비올라와 바이올린을 위한 장조 키(major key)에서의 대위법(counterpoint)에서의 즐거운 멜로디의 생성은 환경의 그 영역에서 긍정적인 감성을 생성할 것이다. 그러나 사용자가 물체 1(부정적)에 집중하면 그 키의 상대적 단조를 내재하는(imply) 베이스(bass)가 믹스에 도입될 것이다. 사용자가 이에 더 접근하면 바이올린과 비올라가 사용자 너머로 소실(fade away)되면서 프리지언(Phrygian) 또는 다른 불길한(ominous) 화음을 내재하는 다른 악기들이 도입될 수 있다. 사용자가 물체 2에 집중하면, 장조 대위법이 소실되고 경쾌한 16분 음표(16th note)의 첼로 패턴이 믹스에 도입된다. 셋잇단음표(triplet) 또는 다른 분할(subdivision)들이 템포를 이음매 없이 전환하도록 중첩 영역(overlapping zone)들 내의 가교(bridge)로 사용될 수 있다.
도 6은 사용자가 어느 음향 영역들(spheres of sound)을 통과함에 따라 몇 개의 감성 환경(emotional environment)들과 시간에 걸친 사용자 경험을 시각화한다. EmoEnv1에서는 베이스 및 멜로디 라인이 콘트라베이스와 바이올린 상에 연주된다(영역 S). 2로 진입하면 피아노(P)가 믹스에 추가된다. 피아노(P)가 현악기들에 믹스되면, 이는 단11도 코드(minor 11 chords)를 생성한다. 사용자가 Env3 내로 이동하면, 현악기들이 사라지고 피아노만 단독으로 연주된다. 사용자가 Env4 내로 전진하면, 호른(H)이 도입되어 중립인 피아노 위에 장조 멜로디를 생성한다. 이들이 진전됨에 따라 사용자 경험에 더 많은 악상(musical idea)들이 더하거나 빼지면서 지속될 수 있다.
도 7a 및 7b는 전술한 VE 내의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법의 다른 예시적 구현예를 도시한다. 50x80-미터 환경은 두 별개의(distinct) 영역들을 가지는데, 이들은 상호작용하는 악기 트랙들의 필드를 통해 사용자를 시각적으로 안내하도록 설계되었다. 24개의 오디오 트랙들이 작곡되어 다양한 방법으로 중첩되도록 환경에 위치되었다. 22개의 트랙들은 정적으로 움직이지 못하는 반면, 나머지 두 트랙들은 수준(level) 내의 파지 가능한(grippable) 물리 액터(physics actor)들 상의 오디오 컴포넌트로 설정된다. 이 *?**?*큐브들(cubes)'은 맵(map)의 다른 영역들로 이송되도록 의도된 것인데, 이들은 여러 트랙들과 상호작용하여 그 영역 내의 음악의 특성을 변경시킨다. 큐브들은 회색 영역(gray zone)의 트랙들과 조합되어 어둡고 음울한 화음을 형성한다. 반면, 조림된 영역(forested region)으로 이송되면, 활기차고 행복한 음악 경험을 생성한다.
음악 트랙들의 의도된 상호작용은 도 7b에 도시된 표기법(notation)을 통해 구현되는데, 각 트랙에 문자가 할당된다. 네 모서리 영역들은 감성적 상태들을 대략(roughly) 반영하고, 영역 2, 4, 및 6들은 천이 영역(transitional zone)들로 작용한다. 이 구현예에서 .wav 파일들은 10뿐 길이이며 순환한다(looping).
각 트랙은 다른 특정한 트랙들과 정확히 중첩되도록 감쇠되지만 음악 필드를 통한 사용자의 경로(path)와 그 세계(world) 내의 물체와의 상호작용은 예측 불가능하다. 오디오 필드는 주시 방향과 공간 내의 위치에 따라 지속적으로 변화(shift)된다. 환경 내의 어떤 한 점에서 악기들의 독특한 혼합이 들려질 수 있다. 이는 가동 물체들의 존재 또는 부재에 의해 더 복잡하다. 사용자의 이동 및 상호작용의 선택이 음악의 구조를 결정한다.
본 발명에 따른 VE 내의 사용자 행동에 따른 가청음의 사용자 인식 구조의 생성 방법의 구현은 예를 들어 게임 엔진 레벨 에디터와 통신할 수 있는 플러그인(Plug-in)을 구비함으로써 촉진될 수 있다. 이 플러그인은 작곡자가 대략적인 축척의 VE의 크기(dimension)와 원하는 VE의 형상을 스케치(sketch out)하여 예를 들어 도 8에 도시된 바와 같이 3개의 오디오 영역 등 오디오 영역들의 수와 가동 물체들의 수에 대한 기본적 설정을 결정할 수 있게 해준다. 작곡자는 규정된 "중심(center)"를 기준으로 오디오 영역들을 추가, 크기 조절(resize), 및 편집할 수 있다. 이어서 작곡자는 A Bass, B Melody, C MinMelody, D Rhythm, 및 E Polyrhythm의 오디오 트랙들을 가지는 도 8에 도시된 바와 같이, “Sound-bank"로부터 오디오 트랙들을 원하는 오디오 영역 드랙 앤 드롭(drags and drops)한다. 조건적 트리거(conditional trigger)들의 옵션이 예를 들어 감쇠 저하(attenuation falloff), 사용자 초점 수준, 볼륨 등의 설정과 함께 사용 가능하다. 완료되었을 때, 작곡자는 단일한 파일 또는 파일들의 세트를 익스포트(export)하는데, 이는 게임 엔진 레벨 에디터에 임포트(import)될 수 있다. 파일(들)을 임포트한 다음 게임 엔진 레벨 에디터가 VE 내의 적절한 점들에서의 오디오 큐들을 "중심(center)"에 대해 위치시킬 수 있게 하도록 기준점 "중심(center)"이 설정된다. 게임 엔진 레벨 에디터는 원하는 중첩이 일어나도록 감쇠와 트리거 설정들을 조정한다.
본 발명에 따라 VE 내의 사용자 행동에 따라 가청음의 사용자 인식 구조를 생성하는 방법은 현재의 기술수준에 대해 많은 이점들을 가진다. 폴리코드(poly chords), 폴리리듬, 코드 대체, 그리고 악기 편성(instrumental orchestration)의 고유한 분리를 포함하는 음악 이론의 원리들이 이용하여 전체 VE에 걸쳐 악곡이 전개된다. 각 오디오 트랙은 VE 내의 소정 위치에 위치된 그 소스(source)를 가진다. 사용자의 관점에서 이 음향의 소스들은 사용자가 VE 내를 이동하고 상호작용함에 따라 동적인 방법들로 조합되어 소곡(piece of music)을 생성한다. 한 소곡으로부터 다른 소곡으로의 전통적 천이점은 시간적이건 공간적이건 존재하지 않는다. 중첩되는 아날로그 변화도(gradient)들의 조합으로 한 소곡이 다른 소곡이 되는 규정된 점이 없다. "소곡(piece)" 또는 "악곡(composition)"은 그 안에서 악기들과 악상(musical idea)들이 독특한 방법으로 상호작용하고 조합되는 음악적 필드로서 더 잘 설명될 수 있다. 상호작용들은 단지 환경 내의 주어진 점에서 어떤 것이건 개발자가 적절하다고 느끼는 변수(주도적 물체(manifest object), 인식의 방향, 달성된/수행중인 목표 등)들에 따른, 원하는 감성적 정보를 제공하는 개발자 및 작곡자의 선호에만 제한된다. 이 점진적으로 변화되는 오디오 천이들은 새로운 예술적 가능성들과 이음매 없는 사용자 경험을 제공한가. 공간화된 음경(audio-scape)의 이러한 방식은 사용자의 행동에 의해 지속적으로 변경되는 상호작용하는 오디오 트랙들의 언제나 변화하는(ever-changing) 세트이다. 이는 사용자를 그들의 경험에 몰입(immerse)시키는 데 사용될 수 있는 아티스트 및 개발자들의 음악의 공간적 요소를 제공한다.
본 발명에 따라 VE 내의 사용자 행동에 따른 가청음의 사용자 인식 구조를 생성하는 방법에 의해 가능하게 된 작곡 및 믹싱 기법은 개발자에게 행동 및 이동의 장래 결과에 대해 감성적 안내 또는 "귀띔(hint)"을 제공할 수 있게 해준다. 사용자 위치 및 주시 방향 데이터는 들릴 수 있는 오디오 트랙들의 변경에 지속적으로 참조된다. 작곡자와 창작자는 오디오 트랙들의 조합들을 사용하여 사용자가 어디에 있는지, 사용자가 어디로 가는지, 그리고 사용자가 무엇을 마주칠 가능성이 높은지에 대한 명확한 감성적 감각(sense)을 생성할 수 있다. 이 감성적 음악 상태들은 트랙들이 믹스에서 커지고 작아짐에 따른 악곡 내의 변화들을 통해 암시(imply)된다.
본 발명에 따라 VE 내의 사용자 행동에 따른 가청음의 사용자 인식 구조를 생성하는 방법을 사용하여 작곡되고 공간적으로 믹싱된 음악은, 기대될 수 있지만 그 길이, 순서, 및 크기는 예측할 수 없는 방식으로 사용자가 조정할 변수들에 따라 지속적으로 변화된다. 이는 음악적 경험이 단일한 사용자 또는 일련의 사용자들에 의해 절대 동일하게 반복되지 않을 것을 보장한다. 체스 게임을 합리적으로 유추할 수 있을 것이다. 개발자와 작곡자는 게임의 규칙들을 설정하지만 사용자는 그를 위해 생성된 규칙 내에서 아주 많은 자유 선택을 수행할 수 있다.
사용자 경험 동안의 사용자의 행동들은 작곡 과정의 일부이다. 사용자들은 그들의 환경과의 상호작용의 범위(scope)에 대한 음악 형태 내에서의 "실시간(real-time)" 피드백을 받게 된다. 예를 들어, 사용자의 공간 내의 이동에 대한 비례적 음악적 반응이 나타난다. 주시 방향, 동작, 및 환경의 변경을 포함한 사용자의 선택의 각각은 이들이 듣는 악보(score)를 변경할 수 있다. 사용자는 이제 화음, 멜로디, 리듬, 템포, 그리고 악기 편성의 수준까지 음악의 요소들을 변경할 수 있다.
독립적으로 촉발되는 트랙들이 더 많아져서 사용자는 전통적인 작곡 및 믹싱에서는 무시되던 변수들에 따라 악곡의 음악적 요소들을 실시간으로 변경할 수 있다. 사용자가 작곡자에 의해 결정된 조건들을 만나면 이에 따라 음악의 감성적 특성이 변경된다. VE 내의 행동과 가청 트랙들 간의 이 직접적인 링크(link)는 훨씬 더 동적이고 몰입적인 사용자 경험을 가능하게 한다.
사용자가 그의 주시 방향을 조정하면, 악곡의 음악적 요소들에 대한 변경들이 집중하거나 보는 곳에 대한 안내를 제공하는 데 사용될 수 있다. 사용자가 한 방향을 볼 때, 발생될 사건의 중요성에 대한 가치 있는 단서(clue)들을 제공할 수 있는 특정한 화음들이 들릴 것이다. 이는 360° 영화 전체에 걸쳐 사용자를 안내하는 데 활용될 수 있다.
(이상에서) 본 발명이 바람직한 실시예들에 관해 설명되었다. 그러나 당업계에 통상의 기술을 가진 자에게는 이 명세서에 설명된 본 발명의 범위를 벗어나지 않고 수많은 변형과 변경이 이뤄질 수 있음이 자명할 것이다.

Claims (19)

  1. 가상환경 내의 사용자 행동에 따라 가청음의 사용자 인식 구조를 제공하는 방법으로:
    a) 프로세서를 사용하여, 음향의 복수의 다른 소정의 디지털 오디오 트랙들이 제공되는 단계로, 음향의 디지털 오디오 트랙들은 음향의 디지털 오디오 트랙들의 조합에 따라 음향의 소정의 구조가 사용자에 인식되도록 결정되는 단계와;
    b) 프로세서를 사용하여, VE 내의 전체 영역과 연계된 오디오 영역 A, VE 내의 가동 물체와 연계된 오디오 영역 B, 상기 VE 내의 고정 물체와 연계된 오디오 영역 C 및 VE의 출구와 각각 연계된 오디오 영역 D를 포함하는 오디오 영역들의 공간적 위치 및 크기가, 적어도 두 오디오 영역들이 적어도 부분적으로 중첩되도록 결정되는 단계와;
    c) 프로세서를 사용하여, 각 오디오 영역이 디지털 오디오 트랙들의 하나와 연계되고 각 오디오 영역 내에서 각 디지털 오디오 트랙의 볼륨 수준 분포가 결정되는 단계와;
    d) 프로세서에 연결된 디스플레이를 사용하여 가상환경이 사용자에게 화상표시되는 단계와;
    e) 프로세서에 연결된 사용자 입력 장치와 사용자 행동 센서 중의 적어도 하나를 사용하여, VE 내의 머리 이동 및 사용자 주시 방향을 포함하는 사용자의 행동을 나타내는 사용자 정보가 수신되는 단계와;
    f) 프로세서를 사용하여, 사용자 정보에 따른 가상환경 내의 공간적 위치가 결정되는 단계와;
    g) 프로세서를 사용하여, 공간적 위치와 일치하는 각 오디오 영역의 디지털 오디오 트랙의 볼륨 수준과, 상기 머리 이동 및 상기 사용자 주시 방향이 공간적 위치와 각 오디오 영역 내의 디지털 오디오 트랙의 볼륨 수준 분포에 따라 결정되는 단계와
    h) 프로세서를 사용하여, 공간적 위치 및 및 사용자 주시 방향과 일치하는 오디오 영역들의 디지털 오디오 트랙들이 디지털 오디오 트랙들의 결정된 볼륨 수준에 따라 조합되어 이를 나타내는 음향 신호가 제공되는 단계와; 그리고
    i) 프로세서에 연결된 스피커를 사용하여, 음향 신호에 따른 가청음을 생성하여 사용자에게 제공하는 단계를 구비하고,
    상기 디지털 오디오 트랙들의 결정된 볼륨 수준에 따라 조합되어 이를 나타내는 음향 신호가 제공되는 단계는
    h-1) 프로세서를 사용하여, 상기 공간적 위치, 상기 사용자 주시 방향 및 상기 머리 이동을 이용하여 사용자의 행동을 판단하는 단계;
    h-2) 프로세서를 사용하여, 상기 사용자가 VE 내에 들어갈 때 상기 오디오 영역 A에 해당하는 음향 신호를 제공하는 단계;
    h-3) 프로세서를 사용하여, 상기 사용자가 상기 VE 내에서 상기 가동 물체를 보거나 건드릴 때 오디오 영역 A 및 오디오 영역 B가 조합된 트랙들의 결정된 볼륨 수준에 따라 조합되어 이를 나타내는 음향 신호를 제공하는 단계;
    h-3) 프로세서를 사용하여, 상기 사용자가 상기 VE 내에서 상기 가동 물체를 상기 고정 물체에 놓으면 상기 오디오 영역 A, 상기 오디오 영역 B 및 상기 오디오 영역 C가 조합된 트랙들의 결정된 볼륨 수준에 따라 조합되어 이를 나타내는 음향 신호를 제공하는 단계; 및
    h-4) 프로세서를 사용하여, 상기 사용자가 상기 출구를 지시할 때 상기 오디오 영역 A 및 상기 오디오 영역 D가 조합된 트랙들의 결정된 볼륨 수준에 따라 조합되어 이를 나타내는 음향 신호를 제공하는 단계를 포함하고,
    상기 볼륨 수준 분포는
    상기 오디오 영역이 VE 내의 전체 영역, VE 내의 가동 물체, 상기 VE 내의 고정 물체 및 VE의 출구 중 어느 하나와 연계되어 있는지 여부에 따라 볼륨 수준이 일정하거나 점진적으로 증가되는 것을 특징으로 하는
    사용자 인식 구조 생성 방법.
  2. 청구항 1에서,
    사용자가 가상환경 내에서 행동하는 동안, 단계 d) 내지 i)가 반복되는 사용자 인식 구조 생성 방법.
  3. 청구항 2에서,
    단계 e)와 i) 간의 대기시간이 사용자에게 이것이 감지되기에는 너무 짧은 사용자 인식 구조 생성 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 청구항 1에서,
    단계 e)에서의 사용자 정보가 가상환경 내의 사용자 위치 및 사용자 이동 중의 적어도 하나를 나타내는 사용자 인식 구조 생성 방법.
  8. 삭제
  9. 삭제
  10. 청구항 1에서,
    음향이 음악인 사용자 인식 구조 생성 방법.
  11. 청구항 10에서,
    단계 b)에서의 소정의 구조가 화음, 멜로디, 음조, 및 리듬을 구비하는 사용자 인식 구조 생성 방법.
  12. 청구항 11에서,
    단계 b)에서의 소정의 구조가 음악의 감성적 특성을 나타내는 사용자 인식 구조 생성 방법.
  13. 청구항 11에서,
    연주된 악곡을 복수의 다른 디지털 오디오 트랙들에 녹음하는 단계를 구비하는 사용자 인식 구조 생성 방법.
  14. 청구항 13에서,
    연주된 악곡이, 각 디지털 오디오 트랙이:
    개별적인 악기와;
    악기들의 그룹과;
    개별적 목소리와; 그리고
    목소리들의 그룹
    중의 적어도 하나를 나타내도록 녹음되는 사용자 인식 구조 생성 방법.
  15. 청구항 13에서,
    각 디지털 오디오 트랙을 트랙의 종단이 그 시작과 이음매 없이 순환하도록 편집하는 단계를 포함하는 사용자 인식 구조 생성 방법.
  16. 가상환경 내의 사용자의 행동에 따라 가청음의 사용자 인식 구조를 생성하는 시스템으로:
    프로세서와;
    이 프로세서에 연결되어 가상환경을 사용자에게 화상표시하는 디스플레이와;
    프로세서에 연결되어 VE 내의 머리 이동 및 사용자 주시 방향을 포함하는 사용자의 행동을 나타내는 사용자 정보를 수신 또는 감지하는 적어도 하나의 사용자 입력 장치 및 사용자 행동 센서와;
    프로세서에 연결되어 가청음을 생성하고 이를 사용자에게 제공하는 스피커와;
    음향의 복수의 다른 소정의 디지털 오디오 트랙들과 프로세서에 의해 실행될 명령들을 저장하는 저장 매체를 구비하고,
    음향의 디지털 오디오 트랙들은 음향의 디지털 오디오 트랙들의 조합에 따라 음향의 소정의 구조가 사용자에게 인식되도록 결정되며,
    명령들을 수행할 때 프로세서가:
    VE 내의 전체 영역과 연계된 오디오 영역 A, VE 내의 가동 물체와 연계된 오디오 영역 B, 상기 VE 내의 고정 물체와 연계된 오디오 영역 C 및 VE의 출구와 각각 연계된 오디오 영역 D 중 적어도 두 오디오 영역들이 적어도 부분적으로 중첩되도록 가상환경 내의 오디오 영역들의 공간적 위치와 크기를 결정하고;
    각 오디오 영역들을 디지털 오디오 트랙들 중의 하나와 연계시키고 각 오디오 영역 내에서의 각 디지털 오디오 트랙의 볼륨 수준 분포를 결정하며;
    사용자 정보에 따라 가상환경 내의 공간적 위치를 결정하고;
    공간적 위치와 일치하는 디지털 오디오 트랙의 볼륨 수준을 공간적 위치와 각 오디오 영역 내의 디지털 오디오 트랙의 볼륨 수준 분포에 따라 결정하며;
    상기 공간적 위치, 상기 사용자 주시 방향 및 상기 머리 이동을 이용하여 사용자의 행동을 판단하고, 상기 사용자가 VE 내에 들어갈 때 상기 오디오 영역 A에 해당하는 음향 신호를 제공하고, 상기 사용자가 상기 VE 내에서 상기 가동 물체를 보거나 건드릴 때 오디오 영역 A 및 오디오 영역 B가 조합된 트랙들의 결정된 볼륨 수준에 따라 조합되어 이를 나타내는 음향 신호를 제공하고, 상기 사용자가 상기 VE 내에서 상기 가동 물체를 상기 고정 물체에 놓으면 상기 오디오 영역 A, 상기 오디오 영역 B 및 상기 오디오 영역 C가 조합된 트랙들의 결정된 볼륨 수준에 따라 조합되어 이를 나타내는 음향 신호를 제공하고, 상기 사용자가 상기 출구를 지시할 때 상기 오디오 영역 A 및 상기 오디오 영역 D가 조합된 트랙들의 결정된 볼륨 수준에 따라 조합되어 이를 나타내는 음향 신호를 제공하고,
    상기 볼륨 수준 분포는
    상기 오디오 영역이 VE 내의 전체 영역, VE 내의 가동 물체, 상기 VE 내의 고정 물체 및 VE의 출구 중 어느 하나와 연계되어 있는지 여부에 따라 볼륨 수준이 일정하거나 점진적으로 증가되는 것을 특징으로 하는
    사용자 인식 구조 생성 시스템.
  17. 삭제
  18. 청구항 16에서,
    사용자 행동 센서가 사용자 머리의 이동을 감지하도록 맞춰진 사용자 인식 구조 생성 시스템.
  19. 음향의 복수의 다른 소정의 디지털 오디오 트랙들과 프로세서에 의해 실행될 명령들을 저장하는 컴퓨터 판독 가능한 저장 매체로,
    음향의 디지털 오디오 트랙들이 음향의 디지털 오디오 트랙들의 조합에 따라 음향의 소정의 구조가 사용자에게 인식되도록 결정되며,
    명령들을 실행할 때 프로세서가:
    VE 내의 전체 영역과 연계된 오디오 영역 A, VE 내의 가동 물체와 연계된 오디오 영역 B, 상기 VE 내의 고정 물체와 연계된 오디오 영역 C 및 VE의 출구와 각각 연계된 오디오 영역 D 중 적어도 두 오디오 영역들이 적어도 부분적으로 중첩되도록 가상환경 내의 오디오 영역들의 공간적 위치와 크기를 결정하고;
    각 오디오 영역들을 디지털 오디오 트랙들 중의 하나와 연계시키고 각 오디오 영역 내에서의 각 디지털 오디오 트랙의 볼륨 수준 분포를 결정하며;
    가상환경을 사용자에게 화상표시하도록 프로세서에 연결된 디스플레이에 화상표시 데이터를 제공하고:
    프로세서에 연결된 사용자 입력 장치와 사용자 행동 센서 중의 적어도 어느 하나로부터 가상환경 내의 머리 이동 및 사용자 주시 방향을 포함하는 사용자의 행동을 나타내는 사용자 정보를 수신하며;
    사용자 정보에 따라 가상환경 내의 공간적 위치를 결정하고;
    공간적 위치와 일치하는 각 오디오 영역의 디지털 오디오 트랙의 볼륨 수준을 공간적 위치와 각 오디오 영역 내의 디지털 오디오 트랙의 볼륨 수준 분포에 따라 결정하며; 그리고
    상기 공간적 위치, 상기 사용자 주시 방향 및 상기 머리 이동을 이용하여 사용자의 행동을 판단하고, 상기 사용자가 VE 내에 들어갈 때 상기 오디오 영역 A에 해당하는 음향 신호를 제공하고, 상기 사용자가 상기 VE 내에서 상기 가동 물체를 보거나 건드릴 때 오디오 영역 A 및 오디오 영역 B가 조합된 트랙들의 결정된 볼륨 수준에 따라 조합되어 이를 나타내는 음향 신호를 제공하고, 상기 사용자가 상기 VE 내에서 상기 가동 물체를 상기 고정 물체에 놓으면 상기 오디오 영역 A, 상기 오디오 영역 B 및 상기 오디오 영역 C가 조합된 트랙들의 결정된 볼륨 수준에 따라 조합되어 이를 나타내는 음향 신호를 제공하고, 상기 사용자가 상기 출구를 지시할 때 상기 오디오 영역 A 및 상기 오디오 영역 D가 조합된 트랙들의 결정된 볼륨 수준에 따라 조합되어 이를 나타내는 음향 신호를 제공하고,
    상기 볼륨 수준 분포는
    상기 오디오 영역이 VE 내의 전체 영역, VE 내의 가동 물체, 상기 VE 내의 고정 물체 및 VE의 출구 중 어느 하나와 연계되어 있는지 여부에 따라 볼륨 수준이 일정하거나 점진적으로 증가되는
    컴퓨터 판독 가능한 저장 매체.
KR1020180144987A 2018-03-20 2018-11-22 가상환경 내의 사용자 행동에 따른 가청음의 사용자 인식 구조의 생성 방법 및 시스템 KR102135117B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CA2,998,918 2018-03-20
CA2998918A CA2998918A1 (en) 2018-03-20 2018-03-20 Method and system for generating a user-perceived structure of an audible sound in dependence upon user action within a virtual environment

Publications (2)

Publication Number Publication Date
KR20190110422A KR20190110422A (ko) 2019-09-30
KR102135117B1 true KR102135117B1 (ko) 2020-08-26

Family

ID=67982990

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180144987A KR102135117B1 (ko) 2018-03-20 2018-11-22 가상환경 내의 사용자 행동에 따른 가청음의 사용자 인식 구조의 생성 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR102135117B1 (ko)
CA (1) CA2998918A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101374961B1 (ko) * 2012-09-10 2014-03-18 김정헌 사운드 기반 인터페이스 장치 및 방법
JP2017184048A (ja) * 2016-03-30 2017-10-05 株式会社バンダイナムコエンターテインメント プログラム及び仮想現実体験提供装置
JP2018026701A (ja) * 2016-08-10 2018-02-15 株式会社カプコン 録音装置、映像音声処理プログラム及びゲーム装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3760027B2 (ja) * 1997-06-12 2006-03-29 株式会社ナムコ 情報記憶媒体及びゲーム装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101374961B1 (ko) * 2012-09-10 2014-03-18 김정헌 사운드 기반 인터페이스 장치 및 방법
JP2017184048A (ja) * 2016-03-30 2017-10-05 株式会社バンダイナムコエンターテインメント プログラム及び仮想現実体験提供装置
JP2018026701A (ja) * 2016-08-10 2018-02-15 株式会社カプコン 録音装置、映像音声処理プログラム及びゲーム装置

Also Published As

Publication number Publication date
KR20190110422A (ko) 2019-09-30
CA2998918A1 (en) 2019-09-20

Similar Documents

Publication Publication Date Title
Zagorski-Thomas The musicology of record production
Robertson et al. Real-time music generation for a virtual environment
Hamanaka Melody slot machine: a controllable holographic virtual performer
KR102135117B1 (ko) 가상환경 내의 사용자 행동에 따른 가청음의 사용자 인식 구조의 생성 방법 및 시스템
Kallionpaa Beyond the piano: the super instrument. Widening the instrumental capacities in the context of the piano music of the 21st century
Furduj Virtual orchestration: a film composer's creative practice
Gillespie et al. Solving adaptive game music transitions from a composer centred perspective
Margounakis et al. Interactive Serious Games for Cultural Heritage: A Real-Time Bouzouki Simulator for Exploring the History and Sounds of Rebetiko Music
McGuire et al. The art of digital orchestration
Fukuda Simulacra
US11797267B2 (en) Method for playing audio source using user interaction and a music application using the same
Bahn Composition, improvisation and meta-composition
Escarce Junior et al. A Meta-interactive Compositional Approach that Fosters Musical Emergence through Ludic Expressivity
Wilson An Autoethnography on Film Composition Practice: Integrating Virtual Instruments and the Live Performance Realisation within the DAW
Migneco et al. An audio processing library for game development in Flash
Barlindhaug The Kids Want Noise-How Sonic Mediations Change the Aesthetics of Music
Vigoda et al. Jamioki-purejoy: a game engine and instrument for electronically-mediated musical improvisation
Kallionpää et al. Climb!—A Composition Case Study: Actualizing and Replicating Virtual Spaces in Classical Music Composition and Performance
Marinissen The composition of concert music within the Digital Audio Workstation environment.
Wells The Crossings: Defining Slave to the Rhythm
Norderval Electrifying Opera, Amplifying Agency: Designing a performer-controlled interactive audio system for opera singers
Farkaš Understanding Auditory Space in Digital Games for Visually Impaired People
Mämmi An Unlimited Instrument: Teaching Live Electronics and Creativity
Morris Live sampling in improvised musical performance: Three approaches and a discussion of aesthetics
Holzborn Building Mobile Instruments for Improvised Musical Performance

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant