WO2021079690A1 - コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システム - Google Patents

コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システム Download PDF

Info

Publication number
WO2021079690A1
WO2021079690A1 PCT/JP2020/036607 JP2020036607W WO2021079690A1 WO 2021079690 A1 WO2021079690 A1 WO 2021079690A1 JP 2020036607 W JP2020036607 W JP 2020036607W WO 2021079690 A1 WO2021079690 A1 WO 2021079690A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice device
voice
control unit
sound
content reproduction
Prior art date
Application number
PCT/JP2020/036607
Other languages
English (en)
French (fr)
Inventor
修一 倉林
Original Assignee
株式会社Ｃｙｇａｍｅｓ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｃｙｇａｍｅｓ filed Critical 株式会社Ｃｙｇａｍｅｓ
Priority to CN202080072739.7A priority Critical patent/CN114585425A/zh
Publication of WO2021079690A1 publication Critical patent/WO2021079690A1/ja
Priority to US17/727,089 priority patent/US20220244908A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/02—Synthesis of acoustic waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/03—Connection circuits to selectively connect loudspeakers or headphones to amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Definitions

  • the present invention relates to a content reproduction program, a content reproduction device, a content reproduction method, and a content reproduction system that produce an effect by voice.
  • Patent Document 1 describes a program, an information processing device, and information processing capable of improving the processing efficiency of audio reproduction even when the arithmetic processing load of the CPU becomes large due to repeated generation and destruction of audio reproduction objects. The method is disclosed.
  • smartphones have a plurality of means for connecting headphones and external audio devices
  • users who are concerned about sound quality voluntarily connect headphones or the like to smartphones to enjoy games. That is, the impression of the game sound played by the built-in speaker and the game sound played by external sound devices such as headphones (External Sound Devices) is the width of the treble region and the bass region to be reproduced, and the fine nuances of the sound.
  • External Sound Devices There is a big difference in the power and presence that arises from the difference in reproducibility. From the above, in a smartphone as a content playback environment, it is desirable to realize a sound environment suitable for the built-in speaker for the built-in speaker and a sound environment suitable for the external audio device for the external audio device.
  • the present invention has been made in view of the above problems, and by selecting settings such as a sound file, an equalizer, and a mixer according to the output destination of the sound, it is possible to reproduce the sound closer to the sound intended by the game creator. It is an object of the present invention to provide a content reproduction program, a content reproduction device, a content reproduction method, and a content reproduction system.
  • the content playback program of the present invention reads one or more sound files into a computer, decodes the sound files, performs equalizing, performs signal processing for mixing, and outputs an audio data stream.
  • the sound effect control function to be performed and the sound data path control function to selectively send the audio data stream output by the sound effect control function to a desired audio device are realized.
  • the voice device change detection function that detects that the connection state of the voice device has changed, and the voice device confirmation that acquires the voice device information of the voice device to which the audio data stream is sent according to the inquiry request received from the outside.
  • the processing function and the voice device control function for reading the definition file corresponding to the voice device information into the sound production control function are realized.
  • a content playback program which enables playback closer to the sound intended by the game creator by selecting settings such as a sound file, an equalizer, and a mixer according to the sound output destination.
  • a content reproduction method and a content reproduction system can be provided. Issues, configurations and effects other than those described above will be clarified by the description of the following embodiments.
  • the sound in the game is pronounced by multiple sound sources at the same time, such as playing the sound effects of the game and the dialogue of the characters at the same time while playing the BGM. That is, sound processing in a game requires processing of decoding a plurality of digital audio files, converting them into digital audio stream data, performing equalizing processing on them, and further performing appropriate mixing processing. Implementing such complex processing in game development is time consuming and costly. On the other hand, since sound processing is a routine processing, as disclosed in Patent Document 1, many game makers including the applicant leave the sound processing to third-party sound middleware.
  • the game system monitors the sound reproduction environment (built-in speaker or external audio device), and sets a suitable sound file and DSP such as an equalizer or mixer according to the final sound output destination. By selecting, the playback closer to the sound intended by the game creator is possible.
  • an equalizer setting when using headphones for example, one that emphasizes deep bass
  • an equalizer setting when using a built-in speaker for example, one that emphasizes mid-high range
  • the built-in speaker it is possible to emphasize the entire mid-high range and select sound reproduction equalizing that is easy to hear even in a noisy environment.
  • the user uses headphones or earphones, it is possible to dynamically switch to sound reproduction equalizing that emphasizes the deep bass of BGM.
  • a sound source file when using headphones for example, one containing deep bass
  • a sound source file when using the built-in speaker for example, a melody composed only of high frequencies. This allows the user to select a sound file that emphasizes the overall treble and is easy to hear even in a noisy environment, and an equalizer setting or mixer setting that emphasizes the character's voice when the user uses the built-in speaker.
  • FIG. 1 is a schematic view showing a content reproduction device 101 and a surrounding environment according to the first embodiment of the present invention.
  • the smartphone reads the game program and functions as the content playback device 101.
  • the user operates the touch panel display 101a of the content playback device 101 to play a game.
  • the content reproduction device 101 downloads and executes a game program from the server 102 via the Internet 103 and through the base station 104 or the wireless LAN router 105 for wide area wireless communication.
  • the built-in speaker 106 emits sounds such as voice and music in the game content.
  • external audio devices such as headphones 107, speakers and amplifiers are connected by a wired cable 108 or wirelessly, sound is similarly emitted from these external audio devices.
  • FIG. 2 is a block diagram showing a hardware configuration of the content reproduction device 101.
  • the content playback device 101 which is a well-known computer, includes a CPU 201, a ROM 202, a RAM 203, a display unit 204 such as an LCD, an operation unit 205 which is an electrostatic touch panel, a wide area wireless communication unit 206, and a wireless LAN connected to the bus 209. It includes an interface 207 and a non-volatile storage 208.
  • the bus 209 has a short distance such as DSP210, D / A converter 211, serial interface such as USB or Lightning (registered trademark) 212 (hereinafter abbreviated as "serial I / F") 212, Bluetooth (registered trademark), etc.
  • serial I / F serial interface
  • Bluetooth registered trademark
  • the non-volatile storage 208 stores a plurality of sound files in which the BGM of the game, the sound effects of the game, the dialogue of the character, etc. are recorded. These plurality of sound files are read into the DSP 210 and / or the CPU 201 and decoded. The decoded sound data stream is equalized, mixed with digital signal processing, and then sent to the currently active audio device.
  • the currently active audio device is the built-in speaker 106
  • a plurality of sound files are sent to the D / A converter 211.
  • the currently active audio device is an external analog headphone 214
  • a plurality of sound files are sent to the D / A converter 211 and an analog audio signal is output from the external audio terminal 215.
  • a switch (not shown) is built in the external audio terminal 215 (mini stereo jack), and the on / off state of this switch is grasped by a program such as an OS operating through the bus 209.
  • the external digital headphone 216 has a built-in D / A converter 217, and the D / A converter 217 drives the headphone unit 218.
  • the currently active audio device is a short-range wireless audio device 219 such as Bluetooth® headphones or a Bluetooth® audio interface
  • a plurality of sound files are sent to the short-range wireless communication unit 213.
  • the short-range wireless audio device 219 incorporates a short-range wireless communication unit 220 and a D / A converter 221.
  • the short-range wireless communication unit 220 demodulates digital audio data from the radio waves received from the short-range wireless communication unit 213.
  • the demodulated digital audio data is converted into an analog signal by the D / A converter 221, and the D / A converter 221 drives the headphone unit 222.
  • FIG. 3 is a block diagram showing a software function of the content reproduction device 101.
  • the input / output control unit 301 which is an OS, interprets the operation information of the operation unit 205 and delivers the operation information to the content reproduction processing unit 302 as needed. Further, the input / output control unit 301 delivers the screen display data output by the content reproduction processing unit 302 to the display unit 204.
  • the input / output control unit 301 manages the foreground / background execution of a plurality of application programs, and gives a trigger to that effect to the program designated as the foreground.
  • the foreground state refers to an application program displayed on the touch panel display and can be operated by the user
  • the background state refers to another application that is running simultaneously with another application but cannot be directly operated. Refers to a program.
  • the content reproduction processing unit 302 is the main body of the game program.
  • the content playback processing unit 302 controls the display and operation of the game character on the display unit 204 based on the scenario data and the like, reproduces the video file, reproduces the sound file, displays the text data, and operates various contents by the user. Display or play back on the display unit 204 according to the above.
  • the content reproduction processing unit 302 includes an initialization processing unit 303 and an audio device control unit 304.
  • the initialization processing unit 303 is activated in response to a trigger from the input / output control unit 301, which is an OS, when the content reproduction processing unit 302 is started and when the content reproduction processing unit 302 is returned to the foreground, and executes a predetermined process.
  • the voice device control unit 304 receives the trigger from the initialization processing unit 303 and the trigger from the voice device change detection unit 305 which is a part of the function of the input / output control unit 301, the voice device control unit 304 confirms the voice device and makes a sound.
  • An appropriate definition file is specified in the effect control unit 306.
  • the first definition file 310 is a definition file used when the currently active voice device is the built-in speaker 106.
  • the second definition file 311 is a definition file used when the currently active audio device is other than the built-in speaker 106.
  • the input / output control unit 301 includes a voice device change detection unit 305 and a voice device confirmation processing unit 307 as a part of its functions.
  • the voice device change detection unit 305 polls the voice data path control unit 308, detects a change in the voice device, and generates a trigger.
  • the voice device confirmation processing unit 307 accesses the voice data path control unit 308 in response to a request for voice device information sent from the voice device control unit 304 of the content reproduction processing unit 302 to acquire the currently active voice device information. , Is sent to the voice device control unit 304 which is the request source.
  • the sound production control unit 306 which is sound middleware, reads the definition file specified by the content reproduction processing unit 302, and then receives a necessary sound file from the sound file group 309 according to a command issued from the content reproduction processing unit 302. read out. Then, the read sound file is decoded and reproduced, and the sound stream data is equalized. These processes are realized by utilizing the arithmetic resources of the CPU 201 and the DSP 210 shown in FIG. The sound effect control unit 306 generates integrated soundstream data as a result of these arithmetic processes.
  • the integrated soundstream data output by the sound effect control unit 306 is sent to the audio data path control unit 308, which is a part of the function of the OS.
  • the voice data path control unit 308 selectively sends integrated soundstream data to the currently active voice device.
  • integrated soundstream data is sent to the built-in speaker 106 through the D / A converter 211.
  • the integrated soundstream data is not output to the built-in speaker 106.
  • a plurality of external voice devices may be connected to the voice data path control unit 308.
  • the external analog headphone 214 is connected to an external audio terminal 215 including a mini stereo jack.
  • the integrated soundstream data output from the audio data path control unit 308 is sent to the D / A converter 211 and converted into an analog audio signal.
  • the analog audio signal output from the D / A converter 211 is output to the external analog headphone 214 through the external audio terminal 215.
  • a switch is built in the external audio terminal 215, and the on / off state of this switch is grasped by the voice data path control unit 308.
  • the external digital headphones 216 are connected to the serial I / F 212.
  • the integrated soundstream data output from the audio data path control unit 308 is sent to the D / A converter 217 built in the external digital headphones 216 through the serial I / F 212 and converted into an analog audio signal.
  • the analog audio signal output from the D / A converter 217 is output to the analog headphone unit 218.
  • the short-range wireless audio device 219 such as Bluetooth (registered trademark) headphones and Bluetooth (registered trademark) audio interface
  • bidirectional communication is established by wireless communication with the short-range wireless communication unit 213.
  • the integrated sound stream data output from the voice data path control unit 308 passes through the short-range wireless communication unit 213, the short-range wireless communication unit 220 built in the short-range wireless audio device 219, and the D / A converter. It is supplied to 221 and converted into an analog audio signal by the D / A converter 221.
  • the analog audio signal output from the D / A converter 221 is output to the analog headphone unit 222, an audio amplifier (not shown), or the like.
  • OSs for smartphones such as Android (registered trademark) and iOS (registered trademark) are multitasking OSs and can execute a plurality of application programs at the same time.
  • application programs that can be directly operated by the user are displayed on the touch panel display, but other programs cannot be directly operated because they are not displayed with some exceptions.
  • an application program that is displayed on the entire surface of the touch panel display and can be operated is called a foreground state, and another application program that is simultaneously executed but cannot be directly operated is called a background state.
  • the content reproduction processing unit 302 that realizes the content reproduction device 101 according to the embodiment of the present invention is a game program main body, and outputs sound in a foreground state where various operations are possible, but conversely, various operations are impossible. In such a background state, sound output is basically not performed, with some exceptions such as a game program equipped with a BGM viewing function. Further, the content reproduction processing unit 302 changes from a state in which sound output has not been performed until then to a state in which sound output is performed at the time of activation and when returning from the background state to the foreground state. Therefore, the content reproduction processing unit 302 needs to confirm the audio device that executes the sound output in these situations.
  • the content reproduction processing unit 302 checks the audio device at the time of startup and at the time of returning to the foreground state, and sets the sound effect control unit 306 using a sound file suitable for the audio device based on the definition file. Further, even when the voice device is changed in the foreground state, the sound effect control unit 306 is set using the sound file suitable for the changed voice device based on the definition file.
  • FIG. 4 is a flowchart showing a processing flow of the content reproduction processing unit 302 at the time of starting the game and returning to the foreground.
  • the content reproduction processing unit 302 activates the initialization processing unit 303 to execute a predetermined initialization process (S402).
  • the content reproduction processing unit 302 activates the audio device control unit 304 through the initialization processing unit 303.
  • the voice device control unit 304 inquires the voice device confirmation processing unit 307 of the input / output control unit 301 for the currently active voice device information in order to confirm the currently active voice device (S403).
  • the content reproduction processing unit 302 instructs the sound effect control unit 306 to read the first definition file (S405). If, as a result of the inquiry, the currently active audio device is other than the built-in speaker 106 (NO in S404), the content reproduction processing unit 302 instructs the sound effect control unit 306 to read the second definition file (S406). This completes a series of processes at the time of starting the game and returning to the foreground (S407).
  • FIG. 5 is a flowchart showing a processing flow of the content reproduction processing unit 302 at the time of detecting the voice device change trigger.
  • the voice device control unit 304 detects the trigger issued by the voice device change detection unit 305 (S501)
  • the content reproduction processing unit 302 activates the voice device control unit 304.
  • the voice device control unit 304 inquires the voice device confirmation processing unit 307 of the input / output control unit 301 for information on the currently active voice device in order to confirm the currently active voice device (S502).
  • the content reproduction processing unit 302 instructs the sound effect control unit 306 to read the first definition file (S504). If, as a result of the inquiry, the currently active audio device is other than the built-in speaker 106 (NO in S503), the content reproduction processing unit 302 instructs the sound effect control unit 306 to read the second definition file (S505).
  • steps S502 to S505 of FIG. 5 are the processes of steps S403 to S406 shown in FIG. 4 at the time of starting the game and returning to the foreground. Same as processing. That is, the processing at the time of starting the game, returning to the foreground (FIG. 4), and detecting the voice device change trigger (FIG. 5) is the same processing except for the initialization processing shown in step S402.
  • FIG. 6 is a timing chart showing the processing flow of the content reproduction processing unit 302 at the time of starting the game and returning to the foreground.
  • FIG. 6 includes, for example, processing that can be performed on Android® and iOS®.
  • the operation information generated from the operation unit 205 becomes a game start process or a foreground return process by the input / output control unit 301 which is the OS (S602).
  • the trigger generated by the game start processing or the foreground return processing from the input / output control unit 301 is sent to the content reproduction processing unit 302.
  • This trigger is sent to the initialization processing unit 303 inside the content reproduction processing unit 302. Further, this trigger is transferred from the initialization processing unit 303 to the voice device control unit 304.
  • the voice device control unit 304 that receives the trigger from the input / output control unit 301 through the initialization processing unit 303 instructs the voice device confirmation processing unit 307 of the input / output control unit 301 to perform the voice device confirmation processing (S603).
  • the voice device confirmation processing unit 307 makes an inquiry to the voice data path control unit 308.
  • the voice device confirmation processing unit 307 performs voice device confirmation processing based on the voice device information acquired from the voice data path control unit 308, and returns the voice device information indicating the currently active voice device to the voice device control unit 304 ( S604).
  • the voice device control unit 304 determines the definition file to be used based on the voice device information which is the return value reported from the voice device confirmation processing unit 307. Then, the sound effect control unit 306 is instructed to read the designated definition file (S605).
  • the sound effect control unit 306 reads the definition file specified from the voice device control unit 304, and performs the sound file name, the equalizer setting, the mixer setting, and the like (S606). Then, the sound processing is started according to the request from the voice device control unit 304 (S607).
  • FIG. 7 is a timing chart showing the processing flow of the content reproduction processing unit 302 when the audio device is switched during the foreground operation of the game.
  • FIG. 7 includes, for example, the case where the OS of the smartphone is Android (registered trademark).
  • the content reproduction processing unit 302 which is the main body of the game program, continues to execute the content reproduction processing.
  • the audio device control unit 304 of the content reproduction processing unit 302 continues to issue a sound processing command to the sound effect control unit 306 along with the content reproduction processing (S701).
  • the sound effect control unit 306 continues to execute sound processing (S702).
  • the voice device change detection unit 305 of the input / output control unit 301 reactively detects a change such as attachment / detachment of an audio device to the voice data path control unit 308 (S703).
  • the mini stereo plug of analog headphones is plugged into the mini stereo jack.
  • -External digital headphones 216 are connected to the serial I / F 212, -Near field wireless audio device 219 has completed the pairing process.
  • the voice device change detection unit 305 performs this change process. Is detected, and the audio device change trigger is transmitted to the audio device control unit 304 of the content reproduction processing unit 302 (S705). After that, the voice device change detection unit 305 reactively detects changes such as attachment / detachment of the audio device (S706).
  • the voice device confirmation processing unit 307 of the input / output control unit 301 is instructed to perform the voice device confirmation processing (S707).
  • the voice device confirmation processing unit 307 makes an inquiry to the voice data path control unit 308 (S708).
  • the voice data path control unit 308 returns the voice device name to the voice device confirmation processing unit 307 (S709).
  • the voice device confirmation processing unit 307 acquires the voice device name from the voice data path control unit 308, the voice device confirmation processing unit 307 returns the voice device name to the voice device control unit 304 of the content reproduction processing unit 302 (S710).
  • the voice device control unit 304 determines the definition file to be used based on the voice device information which is the return value reported from the voice device confirmation processing unit 307, and instructs the sound effect control unit 306 to read the definition file specified (the voice device control unit 304). S711).
  • the sound effect control unit 306 reads the definition file designated from the voice device control unit 304, the sound file name, the equalizer setting, the mixer setting, and the like are reset (S712).
  • the sound effect control unit 306 executes sound processing based on the new setting (S713).
  • FIG. 8 is a timing chart showing the processing flow of the content reproduction processing unit 302 when the audio device is switched during the foreground operation of the game.
  • FIG. 8 includes, for example, the case where the OS of the smartphone is iOS (registered trademark).
  • the content reproduction processing unit 302 which is the main body of the game program, continues to execute the content reproduction processing.
  • the audio device control unit 304 continues to issue a sound processing command to the sound effect control unit 306 along with the content reproduction processing (S801).
  • the sound effect control unit 306 continues to execute sound processing (S802).
  • the voice device change detection unit 305 of the input / output control device 301 reactively detects changes such as attachment / detachment of audio equipment to the voice data path control unit 308 (S803).
  • the mini stereo plug of analog headphones is plugged into the mini stereo jack.
  • -External digital headphones 216 are connected to the serial I / F 212, -Near field wireless audio device 219 has completed the pairing process.
  • the voice device change detection unit 305 performs this change process. Is detected, and the voice device change trigger and the voice device information are transmitted to the voice device control unit 304 (S805). After that, the voice device change detection unit 305 reactively detects changes such as attachment / detachment of the audio device (S806).
  • the voice device control unit 304 of the content playback processing unit 302 receives the voice device change trigger and the voice device information from the voice device change detection unit 305, the voice device information which is a return value reported from the voice device change detection unit 305 is used.
  • the definition file to be used is determined (S807), and the sound effect control unit 306 is instructed to read the designated definition file (S808).
  • the sound effect control unit 306 reads the definition file specified from the voice device control unit 304, the sound file name, the equalizer setting, the mixer setting, and the like are reset (S809). When the resetting is completed, the sound effect control unit 306 executes sound processing based on the new setting (S810).
  • FIG. 9A is a schematic view showing an example of equalizing setting in the form of a graphic equalizer when the audio device is an external audio device.
  • the mid-low range is emphasized centering on 125 Hz, and the gain is set to emphasize 8 kHz or more. With this setting, high-pitched to low-pitched sounds can be reproduced in a good-looking manner.
  • FIG. 9B is a schematic view showing an example of equalizing setting in the form of a graphic equalizer when the audio device is the built-in speaker 106.
  • the gain is set to emphasize the midrange around 500 Hz and 1 kHz. With this setting, the attractiveness of the character's voice can be accurately reproduced even with the built-in speaker 106.
  • the audio device is an external audio device or the built-in speaker 106.
  • the performance of the built-in speaker 106 of a smartphone which is a general-purpose device, is often lower than that of a dedicated device such as headphones that specializes in audio reproduction. Therefore, the impression of the game sound reproduced by the built-in speaker 106 of the smartphone and the game sound reproduced by an external audio device such as headphones is the width of the reproduced treble region and the bass region, and the reproduction of fine nuances of the sound.
  • the volume of the sub-character is changed according to the distance in the battle field.
  • the voice device is the built-in speaker 106
  • the volume of the sub-character is uniformly fixed to, for example, about 70% of the volume of the main character regardless of the distance in the battle field.
  • FIG. 10 is a schematic view showing the content reproduction device 1001 and the surrounding environment according to the second embodiment of the present invention.
  • the smartphone reads the game program and functions as the content playback device 1001.
  • the game program is executed by downloading the game program from the content reproduction control server 1002 via the Internet 103 and through the wide area wireless communication base station 104 or the wireless LAN router 105.
  • the smartphone emits sounds such as voice and music in the game content by the built-in speaker 106. Also, external headphones produce sound in the same way.
  • the content reproduction control server 1002 includes the voice device control unit 304.
  • the voice device control unit 304 receives a trigger from the content playback device 1001 indicating that the voice device change detection unit 305 has detected a change in the connection state of the voice device, the voice device confirmation process of the content playback device 1001 An inquiry request is sent to unit 307. Then, a control instruction for causing the sound effect control unit 306 to read the definition file corresponding to the voice device information received from the voice device confirmation processing unit 307 is transmitted to the content reproduction device 1001.
  • the content reproduction device 1001 Since the voice device control unit 304 exists in the content reproduction control server 1002, the content reproduction device 1001 cannot completely realize the content reproduction function by itself. By communicating with the content reproduction control server 1002, the content reproduction device 1001 becomes a content reproduction system 1003 having a content reproduction function. With the above configuration, the content reproduction system 1003 can obtain the same effects as the content reproduction device 101 according to the first embodiment.
  • the content reproduction device 101 described in the first embodiment and the content reproduction system 1003 described in the second embodiment are the sound effect control unit 306, the audio data path control unit 308, and the audio device change detection unit, respectively. 305, a voice device confirmation processing unit 307, and a voice device control unit 304 are provided.
  • the voice device confirmation processing function realized by the above and the voice device control function realized by the voice device control unit 304 are realized by a content playback program constituting the content playback device 101 in a computer such as a smartphone.
  • the content reproduction processing unit 302 realizes a content reproduction processing function for reproducing desired content
  • the input / output control unit 301 transmits screen information generated from the content reproduction processing function to the display unit and receives operation information.
  • the initialization processing unit 303 detects that the input / output control function has performed the activation processing and / or the foreground execution processing of the content reproduction processing function, and transmits an initialization processing function of transmitting a trigger to the voice device control function. Realize.
  • the sound file selection, the equalizer setting, and the mixer setting are switched according to the audio device, but the setting to be changed is not limited to this.
  • sound effects such as echo, delay, and chorus may be changeable depending on the audio device.
  • the first definition file 310 which is the purpose of the built-in speaker 106
  • the second definition file 311 which is the purpose other than the built-in speaker 106
  • the number of definition files may be larger.
  • a definition file corresponding to the frequency characteristics of commercially available headphones may be prepared, and the optimum definition file may be selected according to the model name of the headphones obtained by any means.
  • the content reproduction device 101 and the content reproduction system 1003 have been described for smartphones, the devices to which the present invention can be implemented are not limited to smartphones.
  • the present invention can be implemented in a portable game machine, a personal computer, or the like as long as it is a digital device to which an audio reproduction device can be connected.
  • the content reproduction device 101, the content reproduction system 1003, and the content reproduction program for realizing the contents are disclosed.
  • the content reproduction processing unit 302 checks the audio device at the time of startup and at the time of returning from the background state to the foreground state, and makes settings suitable for the audio device. In addition, even when the voice device is changed in the foreground state, the setting suitable for the changed voice device is made. This enables reproduction closer to the sound intended by the game creator depending on the audio device.
  • 101 ... Content playback device 101a ... Touch panel display, 102 ... Server, 103 ... Internet, 104 ... Base station, 105 ... Wireless LAN router, 106 ... Built-in speaker, 107 ... Headphones, 108 ... Cable, 201 ... CPU, 202 ... ROM , 203 ... RAM, 204 ... Display, 205 ... Operation, 206 ... Wide area wireless communication, 207 ... Wireless LAN interface, 208 ... Non-volatile storage, 209 ... Bus, 210 ... DSP, 211 ... D / A converter, 212 ... Serial interface, 213 ... Short-range wireless communication unit, 214 ... External analog headphone, 215 ... External audio terminal, 216 ...
  • External digital headphone 217 ... D / A converter, 218 ... Headphone unit, 219 ... Short-range wireless audio Equipment, 220 ... Short-range wireless communication unit, 221 ... D / A converter, 222 ... Headphone unit, 301 ... Input / output control unit, 302 ... Content playback processing unit, 303 ... Initialization processing unit, 304 ... Voice device control unit , 305 ... Voice device change detection unit, 306 ... Sound production control unit, 307 ... Voice device confirmation processing unit, 308 ... Voice data path control unit, 309 ... Sound file group, 310 ... First definition file, 311 ... Second definition File, 1001 ... Content playback device, 1002 ... Content playback control server, 1003 ... Content playback system

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

サウンドの出力先に応じて、サウンドファイル、イコライザやミキサ等の設定を選択することにより、ゲーム製作者の意図した音響により近い再生を可能にする、コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システムを提供する。コンテンツ再生処理部は、起動時と、バックグラウンド状態からフォアグラウンド状態への復帰時に音声デバイスのチェックを行い、音声デバイスに適した設定を行う。また、フォアグラウンド状態において音声デバイスが変更された際にも、変更された音声デバイスに適した設定を行う。これにより、音声デバイスに応じてゲーム製作者の意図した音響により近い再生が可能になる。

Description

コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システム
　本発明は、音声による演出を行うコンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システムに関する。
　出願人は、ゲームプログラム及びゲームサービスを開発し、頒布している。近年では、ゲーム専用機向けのゲームプログラムより、スマートフォン向けのゲームプログラムあるいはゲームサービスの需要が増えている。このようなゲームは、ゲームキャラクタ（以下、単に「キャラクタ」と略）がユーザの操作に従って動くアクションゲームの要素のみならず、キャラクタが対話することでストーリーが進行するノベルゲームの要素、アニメーション動画、ｗｅｂブラウザ等の機能要素を統合した、複合的なコンテンツ再生機能を有する、コンテンツ再生サービスとしての側面を有する。
　このようなスマートフォン向けのゲームが成熟していくに連れて、ゲームの背景音楽（ＢＧＭ：Background Music、類似語として劇伴、サウンドトラック等）及び効果音を含めた「サウンド（sound）」が、ユーザをゲームの世界観に惹き込むための重要な演出要素として、多くのユーザに認知され始めている。またこのような需要に対し、出願人を含む多くのゲームメーカが、ゲームサウンドの高品質化に力を入れている。
　特許文献１には、音声再生オブジェクトの生成と破壊が繰り返されることでＣＰＵの演算処理負荷が大きくなった場合でも、音声再生の処理効率を向上させることができるプログラム、情報処理装置、及び情報処理方法が開示されている。
特許第６４８２７１２号公報
　今日、スマートフォンはゲーム専用機を上回る普及率に達しており、市場規模の観点から見るとゲーム専用機に代わるゲーム実行環境として極めて重要である。しかしながら、パソコンに比肩する演算能力を有し、なおかつ小型化及び高密度化を実現するスマートフォンの内蔵スピーカは小口径であり、大口径のスピーカやヘッドフォンに比べると再生能力は不足すると言わざるを得ない。
　その一方で、スマートフォンはヘッドフォンや外部オーディオ機器を接続するための手段が複数存在するので、音質に拘るユーザは自発的にスマートフォンにヘッドフォン等を接続して、ゲームを楽しんでいる。すなわち、内蔵スピーカで再生されるゲームサウンドと、ヘッドフォン等の外付け音響機器（External Sound Devices）で再生されるゲームサウンドの印象は、再生される高音領域と低音領域の幅、音の細かいニュアンスの再現性の違いなどから生じる、迫力や臨場感の点で大きく異なっている。
　以上のことから、コンテンツ再生環境としてのスマートフォンにおいて、内蔵スピーカには内蔵スピーカに適したサウンド環境を、外付け音響機器には外付け音響機器に適したサウンド環境を、それぞれ実現することが望ましい。
　本発明は係る課題に鑑みてなされたものであり、サウンドの出力先に応じて、サウンドファイル、イコライザやミキサ等の設定を選択することにより、ゲーム製作者の意図した音響により近い再生を可能にする、コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システムを提供することを目的とする。
　上記課題を解決するために、本発明のコンテンツ再生プログラムは、コンピュータに、１以上のサウンドファイルを読み込んで、サウンドファイルをデコードし、イコライジングを施し、ミキシングする信号処理を行い、オーディオデータストリームを出力するサウンド演出制御機能と、サウンド演出制御機能が出力するオーディオデータストリームを所望の音声デバイスに選択的に送出する音声データ経路制御機能とを実現させる。
　更に、音声デバイスの接続状態に変化が生じたことを検出する音声デバイス変更検出機能と、外部から受信した問い合わせ要求に従い、オーディオデータストリームが送出される音声デバイスの音声デバイス情報を取得する音声デバイス確認処理機能と、音声デバイス情報に応じた定義ファイルを、サウンド演出制御機能に読み込ませる音声デバイス制御機能とを実現させる。
　本発明により、サウンドの出力先に応じて、サウンドファイル、イコライザやミキサ等の設定を選択することにより、ゲーム製作者の意図した音響により近い再生を可能にする、コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システムを提供することができる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の第一の実施形態に係るコンテンツ再生装置と周辺環境を示す概略図である。 コンテンツ再生装置のハードウェア構成を示すブロック図である。 コンテンツ再生装置のソフトウェア機能を示すブロック図である。 ゲーム起動時及びフォアグラウンド復帰時における、コンテンツ再生処理部の処理の流れを示すフローチャートである。 音声デバイス変更トリガを検出した時における、コンテンツ再生処理部の処理の流れを示すフローチャートである。 ゲーム起動時及びフォアグラウンド復帰時における、コンテンツ再生処理部の処理の流れを示すタイミングチャートである。 ゲームがフォアグラウンド動作中に音声デバイスが切り替わった時の、コンテンツ再生処理部の処理の流れを示すタイミングチャートである。 ゲームがフォアグラウンド動作中に音声デバイスが切り替わった時の、コンテンツ再生処理部の処理の流れを示すタイミングチャートである。 音声デバイスが外部オーディオ機器と内蔵スピーカである場合における、イコライジングの設定例をグラフィックイコライザの形態で示す概略図である。 本発明の第二の実施形態に係るコンテンツ再生装置と周辺環境を示す概略図である。
　ゲームにおけるサウンドは、ＢＧＭを鳴らしながらゲームの効果音やキャラクタの台詞を同時に再生する等、複数の音源が同時に発音している。つまり、ゲームにおけるサウンドの処理には、複数のデジタルオーディオファイルをデコードしてデジタルオーディオストリームデータに変換し、それらにイコライジング処理を施し、さらに適切なミキシング処理を施す、という処理が必要になる。ゲーム開発においてこのような複雑な処理を実装することは時間と費用が嵩む。一方で、サウンドの処理は定型的な処理であるため、特許文献１に開示されるように、出願人を含む多くのゲームメーカは、サウンドの処理をサードパーティ製のサウンドミドルウェアに任せている。
　従来のコンシューマゲームは、ＴＶ等の優れたコンテンツ再生環境が固定的に設けられていることを前提として制作されており、スマートフォンやタブレットＰＣ等の端末特有の、内蔵スピーカと外付け音響機器を選択的に利用できるコンテンツ再生環境を想定していない。また、スマートフォンやタブレットＰＣ等においても、内蔵スピーカと外付け音響機器の切り替えを検出して、自動でサウンドファイルの選択やイコライザを自動的に切り替える機能を有するゲームは未だ制作されていない。
　そこで本発明は、ゲームシステムがサウンドの再生環境（内蔵スピーカかそれとも外付け音響機器か）を監視し、最終的なサウンドの出力先に応じて、適したサウンドファイルとイコライザやミキサ等のＤＳＰ設定を選択することにより、ゲーム製作者の意図した音響により近い再生を可能にする。
　本発明によれば、例えば、ヘッドフォン使用時のイコライザ設定（例えば重低音を強調したもの）と、内蔵スピーカ使用時のイコライザ設定（例えば中高域を強調したもの）を別々に用意する。ユーザが内蔵スピーカを使用する場合は、全体の中高域を強調して、ノイズ環境下でも聞き取りやすいサウンド再生イコライジングを選択することができる。また、ユーザがヘッドフォンやイヤフォンを使用する場合は、ＢＧＭの重低音を強調したサウンド再生イコライジングに動的に切り替えることができる。
　また同様に、ヘッドフォン使用時の音源ファイル（例えば重低音を含んだもの）と、内蔵スピーカ使用時の音源ファイル（例えば高音のみでメロディーを構成したもの）を別々に用意する。これにより、ユーザが内蔵スピーカを使用する場合は、全体の高音を強調してノイズ環境下でも聞き取りやすいサウンドファイルと、キャラクタのボイスを強調したイコライザ設定やミキサ設定を選択することができる。
　［第一の実施形態：コンテンツ再生装置１０１：全体構成］
　図１は、本発明の第一の実施形態に係るコンテンツ再生装置１０１と周辺環境を示す概略図である。
　スマートフォンはゲームプログラムを読み込んで、コンテンツ再生装置１０１として機能する。ユーザはコンテンツ再生装置１０１のタッチパネルディスプレイ１０１ａを操作して、ゲームに興じる。
　図１に示すように、コンテンツ再生装置１０１は、サーバ１０２からインターネット１０３経由で、広域無線通信の基地局１０４あるいはは無線ＬＡＮルータ１０５を通してゲームプログラムをダウンロードして、実行する。
　コンテンツ再生装置１０１は、ゲームプログラムを実行すると、内蔵スピーカ１０６でゲームコンテンツにおける音声や音楽等のサウンドを発する。また、ヘッドフォン１０７、スピーカやアンプ等の外部オーディオ機器が有線であるケーブル１０８または無線で接続されている場合には、これらの外部オーディオ機器から同様にサウンドを発する。
　［第一の実施形態：コンテンツ再生装置１０１：ハードウェア構成］
　図２はコンテンツ再生装置１０１のハードウェア構成を示すブロック図である。
　周知のコンピュータであるコンテンツ再生装置１０１は、バス２０９に接続されているＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＬＣＤ等である表示部２０４、静電式タッチパネルである操作部２０５、広域無線通信部２０６、無線ＬＡＮインターフェース２０７、及び不揮発性ストレージ２０８を備える。
　バス２０９にはこの他に、ＤＳＰ２１０、Ｄ／Ａ変換器２１１、ＵＳＢまたはＬｉｇｈｔｎｉｎｇ（登録商標）等のシリアルインターフェース（以下「シリアルＩ／Ｆ」と略）２１２、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信部２１３が接続されている。
　不揮発性ストレージ２０８には、ゲームのＢＧＭ、ゲームの効果音、キャラクタの台詞等が収録された複数のサウンドファイルが格納されている。これら複数のサウンドファイルは、ＤＳＰ２１０及び／またはＣＰＵ２０１に読み込まれてデコードされる。デコードされたサウンドデータストリームは、イコライジングが施され、ミキシングするデジタル信号処理が行われた後、現在アクティブな音声デバイスに送られる。
　例えば、現在アクティブな音声デバイスが内蔵スピーカ１０６であれば、複数のサウンドファイルがＤ／Ａ変換器２１１に送られる。現在アクティブな音声デバイスが外部アナログヘッドフォン２１４であれば、複数のサウンドファイルがＤ／Ａ変換器２１１に送られ、外部オーディオ端子２１５からアナログオーディオ信号が出力される。なお、外部オーディオ端子２１５（ミニステレオジャック）には図示しないスイッチが内蔵されており、このスイッチのオン・オフ状態がバス２０９を通じて稼働するＯＳ等のプログラムによって把握される。
　また、現在アクティブな音声デバイスが外部デジタルヘッドフォン２１６であれば、複数のサウンドファイルがＵＳＢまたはＬｉｇｈｔｉｎｇ（登録商標）であるシリアルＩ／Ｆ２１２に送られる。外部デジタルヘッドフォン２１６はＤ／Ａ変換器２１７を内蔵し、Ｄ／Ａ変換器２１７はヘッドフォンユニット２１８を駆動する。
　現在アクティブな音声デバイスがＢｌｕｅｔｏｏｔｈ（登録商標）ヘッドフォンやＢｌｕｅｔｏｏｔｈ（登録商標）オーディオインターフェース等の近距離無線オーディオ機器２１９であれば、複数のサウンドファイルが近距離無線通信部２１３に送られる。近距離無線オーディオ機器２１９は近距離無線通信部２２０とＤ／Ａ変換器２２１を内蔵する。近距離無線通信部２２０は近距離無線通信部２１３から受信した電波からデジタルオーディオデータを復調する。復調されたデジタルオーディオデータはＤ／Ａ変換器２２１によってアナログ信号に変換され、Ｄ／Ａ変換器２２１はヘッドフォンユニット２２２を駆動する。
　［第一の実施形態：コンテンツ再生装置１０１：ソフトウェア機能］
　図３はコンテンツ再生装置１０１のソフトウェア機能を示すブロック図である。
　ＯＳである入出力制御部３０１は、操作部２０５の操作情報を解釈し、必要に応じてコンテンツ再生処理部３０２に操作情報を引き渡す。
　また、入出力制御部３０１は、コンテンツ再生処理部３０２が出力する画面表示データを表示部２０４に引き渡す。
　入出力制御部３０１は、複数のアプリケーションプログラムのフォアグラウンド／バックグラウンド実行を管理し、フォアグラウンドに指定されたプログラムにはその旨を示すトリガを与える。なお、ここで、フォアグラウンド状態とは、タッチパネルディスプレイに表示され、ユーザが操作可能なアプリケーションプログラムを指し、バックグランド状態とは、他のアプリケーションと同時実行しているものの直接的に操作できない他のアプリケーションプログラムを指す。
　コンテンツ再生処理部３０２は、ゲームプログラムの本体である。
　コンテンツ再生処理部３０２は、シナリオデータ等に基づくゲームキャラクタの表示部２０４への表示と動作の制御、動画ファイルの再生、サウンドファイルの再生、テキストデータの表示等、種々のコンテンツをユーザの操作等に応じた表示部２０４へ表示または再生を実行する。
　コンテンツ再生処理部３０２は、初期化処理部３０３と音声デバイス制御部３０４を含む。
　初期化処理部３０３は、コンテンツ再生処理部３０２の起動時とフォアグラウンド復帰時に、ＯＳである入出力制御部３０１からのトリガに呼応して起動され、所定の処理を実行する。
　音声デバイス制御部３０４は、初期化処理部３０３からのトリガと、入出力制御部３０１の機能の一部である音声デバイス変更検出部３０５からのトリガを受けると、音声デバイスの確認を行い、サウンド演出制御部３０６に適切な定義ファイルの指定を行う。
　図３中、第一定義ファイル３１０は現在アクティブな音声デバイスが内蔵スピーカ１０６である場合に使用する定義ファイルである。第二定義ファイル３１１は現在アクティブな音声デバイスが内蔵スピーカ１０６以外である場合に使用する定義ファイルである。
　入出力制御部３０１は、その機能の一部として、音声デバイス変更検出部３０５と、音声デバイス確認処理部３０７を含む。
　音声デバイス変更検出部３０５は、音声データ経路制御部３０８をポーリングして、音声デバイスの変更を検出し、トリガを生成する。
　音声デバイス確認処理部３０７は、コンテンツ再生処理部３０２の音声デバイス制御部３０４から送られる音声デバイス情報の要求に応じて音声データ経路制御部３０８にアクセスして、現在アクティブな音声デバイス情報を取得し、要求元である音声デバイス制御部３０４に送る。
　サウンドミドルウェアであるサウンド演出制御部３０６は、コンテンツ再生処理部３０２から指定された定義ファイルを読み込んだ上で、コンテンツ再生処理部３０２から発される命令に従い、サウンドファイル群３０９から必要なサウンドファイルを読み出す。そして、読み出したサウンドファイルのデコード及び再生処理、サウンドストリームデータに対するイコライジング処理を実行する。これらの処理は、図２に示すＣＰＵ２０１及びＤＳＰ２１０の演算リソースを利用して実現される。サウンド演出制御部３０６は、これらの演算処理の結果として、統合サウンドストリームデータを生成する。
　サウンド演出制御部３０６が出力する統合サウンドストリームデータは、ＯＳの機能の一部である音声データ経路制御部３０８に送られる。
　音声データ経路制御部３０８は、現在アクティブな音声デバイスに対し、選択的に統合サウンドストリームデータを送る。外部音声デバイスが何も接続されていない時は、Ｄ／Ａ変換器２１１を通じて内蔵スピーカ１０６に統合サウンドストリームデータを送る。但し、ＯＳの機能によってミュートが設定されている場合は、内蔵スピーカ１０６に対する統合サウンドストリームデータの出力は行わない。
　図３に示すように、音声データ経路制御部３０８には、複数の外部音声デバイスが接続され得る。
　外部アナログヘッドフォン２１４は、ミニステレオジャックよりなる外部オーディオ端子２１５に接続される。音声データ経路制御部３０８から出力される統合サウンドストリームデータは、Ｄ／Ａ変換器２１１に送られて、アナログオーディオ信号に変換される。Ｄ／Ａ変換器２１１から出力されるアナログオーディオ信号は、外部オーディオ端子２１５を通じて、外部アナログヘッドフォン２１４に出力される。外部オーディオ端子２１５にはスイッチが内蔵されており、このスイッチのオン・オフ状態は、音声データ経路制御部３０８によって把握される。
　外部デジタルヘッドフォン２１６は、シリアルＩ／Ｆ２１２に接続されている。音声データ経路制御部３０８から出力される統合サウンドストリームデータは、シリアルＩ／Ｆ２１２を通じて外部デジタルヘッドフォン２１６に内蔵されるＤ／Ａ変換器２１７に送られて、アナログオーディオ信号に変換される。Ｄ／Ａ変換器２１７から出力されるアナログオーディオ信号は、アナログヘッドフォンユニット２１８に出力される。
　Ｂｌｕｅｔｏｏｔｈ（登録商標）ヘッドフォンやＢｌｕｅｔｏｏｔｈ（登録商標）オーディオインターフェース等の近距離無線オーディオ機器２１９は、近距離無線通信部２１３と無線通信にて双方向通信が確立される。その上で、音声データ経路制御部３０８から出力される統合サウンドストリームデータは、近距離無線通信部２１３から近距離無線オーディオ機器２１９に内蔵される近距離無線通信部２２０を経てＤ／Ａ変換器２２１に供給され、Ｄ／Ａ変換器２２１によってアナログオーディオ信号に変換される。Ｄ／Ａ変換器２２１から出力されるアナログオーディオ信号は、アナログヘッドフォンユニット２２２あるいは図示しないオーディオアンプ等に出力される。
　Ａｎｄｒｏｉｄ（登録商標）やｉＯＳ（登録商標）等のスマートフォン用ＯＳは、マルチタスクＯＳであり、複数のアプリケーションプログラムを同時に実行可能である。その一方で、ユーザが直接操作可能なアプリケーションプログラムはタッチパネルディスプレイに表示されるが、他のプログラムは一部の例外を除いて表示されないので直接操作することができない。
　なお、既に述べたように、タッチパネルディスプレイ全面に表示され、操作可能なアプリケーションプログラムをフォアグラウンド状態と呼び、同時実行しているものの直接的に操作できない他のアプリケーションプログラムをバックグラウンド状態と呼ぶ。
　本発明の実施形態に係るコンテンツ再生装置１０１を実現するコンテンツ再生処理部３０２はゲームプログラム本体であり、種々の操作が可能なフォアグラウンド状態ではサウンド出力を行うが、逆に、種々の操作が不可能なバックグラウンド状態では、ＢＧＭ鑑賞機能を装備するゲームプログラム等、一部の例外を除き、基本的にはサウンド出力を行わない。
　また、コンテンツ再生処理部３０２は、起動時と、バックグラウンド状態からフォアグラウンド状態への復帰時に、それまでサウンド出力を行わなかった状態から、サウンド出力を行う状態に変化する。したがってコンテンツ再生処理部３０２は、これらの状況においてサウンド出力を実行する音声デバイスを確認する必要がある。そこでコンテンツ再生処理部３０２は、起動時とフォアグラウンド状態への復帰時に音声デバイスのチェックを行い、定義ファイルに基づいて音声デバイスに適したサウンドファイルを用いてサウンド演出制御部３０６の設定を行う。また、フォアグラウンド状態において音声デバイスが変更された際にも、定義ファイルに基づいて変更された音声デバイスに適したサウンドファイルを用いたサウンド演出制御部３０６の設定を行う。
　［第一の実施形態：コンテンツ再生装置１０１：全体の処理の流れ］
　図４は、ゲーム起動時及びフォアグランド復帰における、コンテンツ再生処理部３０２の処理の流れを示すフローチャートである。
　処理を開始すると（Ｓ４０１）、コンテンツ再生処理部３０２は初期化処理部３０３を起動して、所定の初期化処理を実行する（Ｓ４０２）。
　その後、コンテンツ再生処理部３０２は初期化処理部３０３を通じて音声デバイス制御部３０４を起動する。
　音声デバイス制御部３０４は、現在アクティブな音声デバイスを確認するために、入出力制御部３０１の音声デバイス確認処理部３０７に、現在アクティブな音声デバイス情報を問い合わせる（Ｓ４０３）。
　もし、問い合わせの結果、現在アクティブな音声デバイスが内蔵スピーカ１０６であれば（Ｓ４０４のＹＥＳ）、コンテンツ再生処理部３０２は第一定義ファイルをサウンド演出制御部３０６に読み込むよう指示する（Ｓ４０５）。
　もし、問い合わせの結果、現在アクティブな音声デバイスが内蔵スピーカ１０６以外であれば（Ｓ４０４のＮＯ）、コンテンツ再生処理部３０２は第二定義ファイルをサウンド演出制御部３０６に読み込むよう指示する（Ｓ４０６）。
　以上で、ゲーム起動時及びフォアグランド復帰時の一連の処理を終了する（Ｓ４０７）。
　図５は、音声デバイス変更トリガの検出時における、コンテンツ再生処理部３０２の処理の流れを示すフローチャートである。
　音声デバイス制御部３０４が、音声デバイス変更検出部３０５が発するトリガを検出した場合には（Ｓ５０１）、コンテンツ再生処理部３０２は音声デバイス制御部３０４を起動する。
　音声デバイス制御部３０４は、現在アクティブな音声デバイスを確認するために、入出力制御部３０１の音声デバイス確認処理部３０７に、現在アクティブな音声デバイス情報を問い合わせる（Ｓ５０２）。
　もし、問い合わせの結果、現在アクティブな音声デバイスが内蔵スピーカ１０６であれば（Ｓ５０３のＹＥＳ）、コンテンツ再生処理部３０２は第一定義ファイルをサウンド演出制御部３０６に読み込むよう指示する（Ｓ５０４）。
　もし、問い合わせの結果、現在アクティブな音声デバイスが内蔵スピーカ１０６以外であれば（Ｓ５０３のＮＯ）、コンテンツ再生処理部３０２は第二定義ファイルをサウンド演出制御部３０６に読み込むよう指示する（Ｓ５０５）。
　以上で、音声デバイス変更トリガの検出時の一連の処理を終了するが（Ｓ５０６）、図５のステップＳ５０２～Ｓ５０５の処理は、ゲーム起動時及びフォアグラウンド復帰時における図４に示すステップＳ４０３～Ｓ４０６の処理と同じである。すなわち、ゲーム起動時及びフォアグラウンド復帰時（図４）と音声デバイス変更トリガの検出時（図５）の処理は、ステップＳ４０２に示す初期化処理を除くと同じ処理になる。
　図６は、ゲーム起動時及びフォアグラウンド復帰時における、コンテンツ再生処理部３０２の処理の流れを示すタイミングチャートである。図４に対応する。また、この図６は例えばＡｎｄｒｏｉｄ（登録商標）とｉＯＳ（登録商標）で実行されうる処理を含む。
　ユーザが操作部２０５を操作することにより（Ｓ６０１）、操作部２０５から生成される操作情報は、ＯＳである入出力制御部３０１によってゲーム起動処理またはフォアグラウンド復帰処理となる（Ｓ６０２）。
　入出力制御部３０１からゲーム起動処理またはフォアグラウンド復帰処理によって発生するトリガは、コンテンツ再生処理部３０２に送られる。このトリガは、コンテンツ再生処理部３０２の内部で初期化処理部３０３に送られる。更にこのトリガは、初期化処理部３０３から音声デバイス制御部３０４に転送される。
　入出力制御部３０１から初期化処理部３０３を通じてトリガを受信した音声デバイス制御部３０４は、入出力制御部３０１の音声デバイス確認処理部３０７に音声デバイス確認処理を指示する（Ｓ６０３）。
　音声デバイス確認処理部３０７は、音声データ経路制御部３０８に問い合わせを行う。音声デバイス確認処理部３０７は、音声データ経路制御部３０８から取得した音声デバイス情報に基づいて音声デバイス確認処理を行い、現在アクティブな音声デバイスを示す音声デバイス情報を音声デバイス制御部３０４に返送する（Ｓ６０４）。
　音声デバイス制御部３０４は、音声デバイス確認処理部３０７から報告された返り値である音声デバイス情報を以て、使用する定義ファイルを判定する。そして、サウンド演出制御部３０６に指定した定義ファイルの読み込みを指示する（Ｓ６０５）。
　サウンド演出制御部３０６は音声デバイス制御部３０４から指定された定義ファイルを読み込み、サウンドファイル名、イコライザ設定、ミキサ設定等を行う（Ｓ６０６）。そして、音声デバイス制御部３０４からの要求に従いサウンド処理を開始する（Ｓ６０７）。
　図７は、ゲームがフォアグラウンド動作中に音声デバイスが切り替わった時の、コンテンツ再生処理部３０２の処理の流れを示すタイミングチャートである。但し、図７は例えばスマートフォンのＯＳがＡｎｄｒｏｉｄ（登録商標）の場合を含む。
　ゲームプログラム本体であるコンテンツ再生処理部３０２はコンテンツ再生処理を実行し続けている。この時、コンテンツ再生処理部３０２の音声デバイス制御部３０４はコンテンツ再生処理に伴ってサウンド演出制御部３０６にサウンド処理命令を発行し続ける（Ｓ７０１）。サウンド演出制御部３０６はこれを受けて、サウンド処理を実行し続ける（Ｓ７０２）。
　そのような状況において、入出力制御部３０１の音声デバイス変更検出部３０５は音声データ経路制御部３０８に対して、音響機器の着脱等の変化をリアクティブ（Reactive）に検出する（Ｓ７０３）。
・アナログヘッドフォンのミニステレオプラグがミニステレオジャックに差し込まれた、
・外部デジタルヘッドフォン２１６がシリアルＩ／Ｆ２１２に接続された、
・近距離無線オーディオ機器２１９がペアリング処理を完遂した、
・或いはこれら外部オーディオ機器が取り外された
の、何れかが行われたことにより、音声データ経路制御部３０８が音声デバイスの変更処理を行うと（Ｓ７０４）、音声デバイス変更検出部３０５はこの変更処理を検出し、音声デバイス変更トリガをコンテンツ再生処理部３０２の音声デバイス制御部３０４へ送信する（Ｓ７０５）。その後、音声デバイス変更検出部３０５は再び音響機器の着脱等の変化をリアクティブに検出する（Ｓ７０６）。
　コンテンツ再生処理部３０２の音声デバイス制御部３０４は、音声デバイス変更検出部３０５からトリガを受信すると、入出力制御部３０１の音声デバイス確認処理部３０７に音声デバイス確認処理を指示する（Ｓ７０７）。
　音声デバイス確認処理部３０７は、音声データ経路制御部３０８に問い合わせを行う（Ｓ７０８）。音声データ経路制御部３０８は音声デバイス確認処理部３０７に対し、音声デバイス名を回答する（Ｓ７０９）。
　音声デバイス確認処理部３０７は、音声データ経路制御部３０８から音声デバイス名を取得すると、コンテンツ再生処理部３０２の音声デバイス制御部３０４へ音声デバイス名を返送する（Ｓ７１０）。
　音声デバイス制御部３０４は、音声デバイス確認処理部３０７から報告された返り値である音声デバイス情報を以て、使用する定義ファイルを判定し、サウンド演出制御部３０６に指定した定義ファイルの読み込みを指示する（Ｓ７１１）。
　サウンド演出制御部３０６は音声デバイス制御部３０４から指定された定義ファイルを読み込むと、サウンドファイル名、イコライザ設定、ミキサ設定等の再設定を行う（Ｓ７１２）。再設定が完了したら、サウンド演出制御部３０６は新たな設定に基づくサウンド処理を実行する（Ｓ７１３）。
　図８は、ゲームがフォアグラウンド動作中に音声デバイスが切り替わった時の、コンテンツ再生処理部３０２の処理の流れを示すタイミングチャートである。但し、図８は例えばスマートフォンのＯＳがｉＯＳ（登録商標）の場合を含む。
　ゲームプログラム本体であるコンテンツ再生処理部３０２はコンテンツ再生処理を実行し続けている。この時、音声デバイス制御部３０４はコンテンツ再生処理に伴ってサウンド演出制御部３０６にサウンド処理命令を発行し続ける（Ｓ８０１）。サウンド演出制御部３０６はこれを受けて、サウンド処理を実行し続ける（Ｓ８０２）。
　そのような状況において、入出力制御装置３０１の音声デバイス変更検出部３０５は音声データ経路制御部３０８に対して、音響機器の着脱等の変化をリアクティブに検出する（Ｓ８０３）。
・アナログヘッドフォンのミニステレオプラグがミニステレオジャックに差し込まれた、
・外部デジタルヘッドフォン２１６がシリアルＩ／Ｆ２１２に接続された、
・近距離無線オーディオ機器２１９がペアリング処理を完遂した、
・或いはこれら外部オーディオ機器が取り外された
の、何れかが行われたことにより、音声データ経路制御部３０８が音声デバイスの変更処理を行うと（Ｓ８０４）、音声デバイス変更検出部３０５はこの変更処理を検出し、音声デバイス変更トリガ及び音声デバイス情報を音声デバイス制御部３０４へ送信する（Ｓ８０５）。その後、音声デバイス変更検出部３０５は再び音響機器の着脱等の変化をリアクティブに検出する（Ｓ８０６）。
　コンテンツ再生処理部３０２の音声デバイス制御部３０４は音声デバイス変更検出部３０５から音声デバイス変更トリガ及び音声デバイス情報を受信すると、音声デバイス変更検出部３０５から報告された返り値である音声デバイス情報を以て、使用する定義ファイルを判定し（Ｓ８０７）、サウンド演出制御部３０６に指定した定義ファイルの読み込みを指示する（Ｓ８０８）。
　サウンド演出制御部３０６は音声デバイス制御部３０４から指定された定義ファイルを読み込むと、サウンドファイル名、イコライザ設定、ミキサ設定等の再設定を行う（Ｓ８０９）。再設定が完了したら、サウンド演出制御部３０６は新たな設定に基づくサウンド処理を実行する（Ｓ８１０）。
　［第一の実施形態：コンテンツ再生装置１０１：設定例］
　図９Ａは、音声デバイスが外部オーディオ機器である場合における、イコライジングの設定例をグラフィックイコライザの形態で示す概略図である。
　例えば、ヘッドフォン使用時のイコライザ設定では、図９Ａのように１２５Ｈｚを中心に中低域を強調すると共に、８ｋＨｚ以上を強調するゲインにて設定する。この設定により、高音から低音までを格好良く再生することができる。
　図９Ｂは、音声デバイスが内蔵スピーカ１０６である場合における、イコライジングの設定例をグラフィックイコライザの形態で示す概略図である。
　一方で、内蔵スピーカ１０６使用時のイコライザ設定では、図９Ｂのようにキャラクタの音声を強調するべく、５００Ｈｚ及び１ｋＨｚを中心に中音域を強調したゲインにて設定する。この設定により、キャラクタのボイスの魅力を内蔵スピーカ１０６でも的確に再生することができる。
　また、図示はしないが、音声デバイスが外部オーディオ機器である場合と、内蔵スピーカ１０６である場合とでは、異なるミキサの設定を用いることが望ましい。
　汎用機器であるスマートフォンの内蔵スピーカ１０６の性能は、ヘッドフォン等の音声再生に特化した専用機器に比べて低い場合が多い。このため、スマートフォンの内蔵スピーカ１０６で再生されるゲームサウンドと、ヘッドフォン等の外付け音響機器で再生されるゲームサウンドの印象は、再生される高音領域と低音領域の幅、音の細かいニュアンスの再現性の違いなどから生じる、迫力や臨場感の点で大きく異なっている。
　戦闘ゲームにおいて複数のキャラクタが敵キャラクタに攻撃を仕掛ける際に、技の名称（技名）を叫ぶシチュエーションがある。メインキャラクタの音声は大きな音量で発音させ、他のキャラクタの音声はメインキャラクタよりも小さな音量で発音させる。この時、他のキャラクタの音量を、ゲーム上の戦闘フィールドにおける距離に応じて変化させることで、ゲームに臨場感を与えることが可能になる。
　しかし、内蔵スピーカ１０６ではこの臨場感を再現することが困難であるばかりでなく、キャラクタの音声を小さくし過ぎてしまうとＢＧＭ等の他のサウンドに埋もれる可能性が高い。
　そこで、音声デバイスが外部オーディオ機器である場合は、サブキャラクタの音量を戦闘フィールドにおける距離に応じて変化させる。一方、音声デバイスが内蔵スピーカ１０６である場合は、サブキャラクタの音量を戦闘フィールドにおける距離によらず、一律にメインキャラクタの音量の例えば７０％程度に固定化する。
　［第二の実施形態：コンテンツ再生装置１０１：全体構成］
　例えば、広域無線通信の規格が現在の４Ｇから５Ｇと呼ばれる第５世代移動通信システムに代わると、単位時間当たりの通信データ量が拡大すると共に、通信の遅延（Latency：レイテンシ）も低減することが期待できる。そのような通信環境が実現すると、スマートフォン上のゲームアプリケーションプログラムも軽量化され、大半の処理をサーバ１０２上で実行し、画面データ等の演算結果がリアルタイムでサーバ１０２からスマートフォンに送信される環境が現実化すると考えられる。
　このようなゲーム環境になると、本発明の第一の実施形態に係るコンテンツ再生装置１０１の一部の機能、例えば音声デバイス制御部３０４の機能をサーバ１０２に移設することも可能である。
　図１０は本発明の第二の実施形態に係るコンテンツ再生装置１００１と周辺環境を示す概略図である。
　スマートフォンはゲームプログラムを読み込んで、コンテンツ再生装置１００１として機能する。
　ゲームプログラムは、コンテンツ再生制御サーバ１００２からインターネット１０３経由で、広域無線通信の基地局１０４あるいはは無線ＬＡＮルータ１０５を通してゲームプログラムをダウンロードして、実行される。
　スマートフォンは、内蔵スピーカ１０６でゲームコンテンツにおける音声や音楽等のサウンドを発する。また、外部のヘッドフォンで同様にサウンドを発する。
　図１０に示すように、コンテンツ再生制御サーバ１００２は、音声デバイス制御部３０４を内包しているものとする。
　音声デバイス制御部３０４は、コンテンツ再生装置１００１から音声デバイス変更検出部３０５が音声デバイスの接続状態に変化が生じたことを検出したことを示すトリガを受信すると、コンテンツ再生装置１００１の音声デバイス確認処理部３０７に問い合わせ要求を送信する。そして、音声デバイス確認処理部３０７から受信した音声デバイス情報に応じた定義ファイルを、サウンド演出制御部３０６に読み込ませる制御指示を、コンテンツ再生装置１００１に送信する。
　音声デバイス制御部３０４がコンテンツ再生制御サーバ１００２に存在するため、コンテンツ再生装置１００１は単体ではコンテンツ再生機能を完全には実現することができない。コンテンツ再生装置１００１はコンテンツ再生制御サーバ１００２と通信することで、コンテンツ再生機能を有するコンテンツ再生システム１００３となる。
　以上の構成で、コンテンツ再生システム１００３は第一の実施形態に係るコンテンツ再生装置１０１と同様の作用効果を得ることが可能である。
　以上、第一の実施形態にて説明したコンテンツ再生装置１０１及び第二の実施形態にて説明したコンテンツ再生システム１００３はそれぞれ、サウンド演出制御部３０６、音声データ経路制御部３０８、音声デバイス変更検出部３０５、音声デバイス確認処理部３０７及び音声デバイス制御部３０４を具備する。これらサウンド演出制御部３０６が実現するサウンド演出制御機能、音声データ経路制御部３０８が実現する音声データ経路制御機能、音声デバイス変更検出部３０５が実現する音声デバイス変更検出機能、音声デバイス確認処理部３０７が実現する音声デバイス確認処理機能、音声デバイス制御部３０４が実現する音声デバイス制御機能は、スマートフォン等のコンピュータにおいてコンテンツ再生装置１０１を構成するコンテンツ再生プログラムによって実現される。
　また、コンテンツ再生処理部３０２は、所望のコンテンツを再生するコンテンツ再生処理機能を実現し、入出力制御部３０１はコンテンツ再生処理機能から発生する画面情報を表示部に送信すると共に、操作情報を受け、コンテンツ再生処理機能の起動処理、停止処理、フォアグラウンド実行処理及びバックグラウンド実行処理を行う入出力制御機能を実現する。また、初期化処理部３０３は、入出力制御機能がコンテンツ再生処理機能の起動処理及び／またはフォアグラウンド実行処理を行ったことを検出して、音声デバイス制御機能にトリガを送信する初期化処理機能を実現する。
　なお、本発明の実施形態に係るコンテンツ再生装置１０１及びコンテンツ再生システム１００３では、サウンドファイルの選択、イコライザ設定、ミキサ設定を音声デバイスに応じて切り替えるが、変更する設定はこれに限らない。例えば、エコーやディレイ、コーラス等のサウンドエフェクトも音声デバイスに応じて変更可能にしてもよい。
　また、図３では内蔵スピーカ１０６の用途である第一定義ファイル３１０と、内蔵スピーカ１０６以外の用途である第二定義ファイル３１１を開示したが、定義ファイルの数はもっと多くてもよい。例えば、市販のヘッドフォンの周波数特性に応じた定義ファイルを用意し、任意の手段でヘッドフォンの機種名を取得したらそれに応じて最適な定義ファイルを選択する構成にしてもよい。
　更に、本発明の実施形態に係るコンテンツ再生装置１０１及びコンテンツ再生システム１００３では、スマートフォンを対象に説明したが、本発明が実施可能なデバイスはスマートフォンに限られない。本発明は音声再生デバイスを接続可能なデジタルデバイスであれば、携帯型ゲーム機やパーソナルコンピュータ等でも実施可能である。
　本発明の実施形態では、コンテンツ再生装置１０１及びコンテンツ再生システム１００３と、これを実現するコンテンツ再生プログラムを開示した。
　コンテンツ再生処理部３０２は、起動時と、バックグラウンド状態からフォアグラウンド状態への復帰時に音声デバイスのチェックを行い、音声デバイスに適した設定を行う。また、フォアグラウンド状態において音声デバイスが変更された際にも、変更された音声デバイスに適した設定を行う。これにより、音声デバイスに応じてゲーム製作者の意図した音響により近い再生が可能になる。
　以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
　１０１…コンテンツ再生装置、１０１ａ…タッチパネルディスプレイ、１０２…サーバ、１０３…インターネット、１０４…基地局、１０５…無線ＬＡＮルータ、１０６…内蔵スピーカ、１０７…ヘッドフォン、１０８…ケーブル、２０１…ＣＰＵ、２０２…ＲＯＭ、２０３…ＲＡＭ、２０４…表示部、２０５…操作部、２０６…広域無線通信部、２０７…無線ＬＡＮインターフェース、２０８…不揮発性ストレージ、２０９…バス、２１０…ＤＳＰ、２１１…Ｄ／Ａ変換器、２１２…シリアルインターフェース、２１３…近距離無線通信部、２１４…外部アナログヘッドフォン、２１５…外部オーディオ端子、２１６…外部デジタルヘッドフォン、２１７…Ｄ／Ａ変換器、２１８…ヘッドフォンユニット、２１９…近距離無線オーディオ機器、２２０…近距離無線通信部、２２１…Ｄ／Ａ変換器、２２２…ヘッドフォンユニット、３０１…入出力制御部、３０２…コンテンツ再生処理部、３０３…初期化処理部、３０４…音声デバイス制御部、３０５…音声デバイス変更検出部、３０６…サウンド演出制御部、３０７…音声デバイス確認処理部、３０８…音声データ経路制御部、３０９…サウンドファイル群、３１０…第一定義ファイル、３１１…第二定義ファイル、１００１…コンテンツ再生装置、１００２…コンテンツ再生制御サーバ、１００３…コンテンツ再生システム

Claims (7)

  1. 　コンピュータに、
    　１以上のサウンドファイルを読み込んで、前記サウンドファイルをデコードし、イコライジングを施し、ミキシングする信号処理を行い、オーディオデータストリームを出力するサウンド演出制御機能と、
    　前記サウンド演出制御機能が出力するオーディオデータストリームを所望の音声デバイスに選択的に送出する音声データ経路制御機能と、
    　前記音声デバイスの接続状態に変化が生じたことを検出する音声デバイス変更検出機能と、
    　外部から受信した問い合わせ要求に従い、前記オーディオデータストリームが送出される前記音声デバイスの音声デバイス情報を取得する音声デバイス確認処理機能と、
    　前記音声デバイス情報に応じた定義ファイルを、前記サウンド演出制御機能に読み込ませる音声デバイス制御機能と
    を実現させるためのコンテンツ再生プログラム。
  2. 　前記音声デバイス変更検出機能は、前記音声データ経路制御機能を監視して、前記音声データ経路制御機能に接続される前記音声デバイスの接続状態に変化が生じたことを検出するものであり、
    　前記音声デバイス制御機能は、前記音声デバイス変更検出機能が前記音声デバイスの接続状態に変化が生じたことを検出したことを示すトリガを受信して、前記音声デバイス確認処理機能に問い合わせ要求を送信し、前記音声デバイス確認処理機能から受信した前記音声デバイス情報に応じた定義ファイルを、前記サウンド演出制御機能に読み込ませるものである、
    請求項１に記載のコンテンツ再生プログラム。
  3. 　更に、
    　所望のコンテンツを再生するコンテンツ再生処理機能と、
    　前記コンテンツ再生処理機能から発生する画面情報を表示部に送信すると共に、操作情報を受け、前記コンテンツ再生処理機能の起動処理、停止処理、フォアグラウンド実行処理及びバックグラウンド実行処理を行う、入出力制御機能と、
    　前記入出力制御機能が前記コンテンツ再生処理機能の起動処理及び／またはフォアグラウンド実行処理を行ったことを検出して、前記音声デバイス制御機能にトリガを送信する初期化処理機能と
    を実現させるための、請求項２に記載のコンテンツ再生プログラム。
  4. 　前記定義ファイルは、
    　前記コンピュータに内蔵されている内蔵スピーカ用に調整されたサウンドファイル、イコライザ設定、ミキサ設定の少なくとも一つが記述されている第一定義ファイルと、
    　前記コンピュータに接続される外部オーディオ機器用に調整されたサウンドファイル、イコライザ設定、ミキサ設定の少なくとも一つが記述されている第二定義ファイルの、少なくとも２種類以上を有する、
    請求項３に記載のコンテンツ再生プログラム。
  5. 　１以上のサウンドファイルを読み込んで、前記サウンドファイルをデコードし、イコライジングを施し、ミキシングする信号処理を行い、オーディオデータストリームを出力するサウンド演出制御部と、
    　前記サウンド演出制御部が出力するオーディオデータストリームを所望の音声デバイスに選択的に送出する音声データ経路制御部と、
    　前記音声データ経路制御部を監視して、前記音声データ経路制御部に接続される前記音声デバイスの接続状態に変化が生じたことを検出する音声デバイス変更検出部と、
    　外部から受信した問い合わせ要求に従い、前記音声データ経路制御部に接続されているアクティブな前記音声デバイスの音声デバイス情報を取得する音声デバイス確認処理部と、
    　前記音声デバイス変更検出部が前記音声デバイスの接続状態に変化が生じたことを検出したことを示すトリガを受信して、前記音声デバイス確認処理部に問い合わせ要求を送信し、前記音声デバイス確認処理部から受信した前記音声デバイス情報に応じた定義ファイルを、前記サウンド演出制御部に読み込ませる音声デバイス制御部と
    を具備する、コンテンツ再生装置。
  6. 　１以上のサウンドファイルを読み込んで、前記サウンドファイルをデコードし、イコライジングを施し、ミキシングする信号処理を行い、オーディオデータストリームを出力するサウンド演出ステップと、
    　前記サウンド演出ステップが出力するオーディオデータストリームを所望の音声デバイスに選択的に送出する音声データ経路制御ステップと、
    　前記音声デバイスの接続状態に変化が生じたことを検出する音声デバイス変更検出ステップと、
    　外部から受信した問い合わせ要求に従い、前記オーディオデータストリームが送出される前記音声デバイスの音声デバイス情報を取得する音声デバイス確認処理ステップと、
    　前記音声デバイスの接続状態に変化が生じたことを示すトリガと前記音声デバイス情報を受信して、受信した前記音声デバイス情報に応じた定義ファイルを用いて、前記サウンド演出ステップを実行するステップと
    を含む、コンテンツ再生方法。
  7. 　コンテンツ再生装置と、
    　コンテンツ再生装置を制御するコンテンツ再生制御サーバと
    を有するコンテンツ再生システムであり、
    　前記コンテンツ再生装置は、
    　１以上のサウンドファイルを読み込んで、前記サウンドファイルをデコードし、イコライジングを施し、ミキシングする信号処理を行い、オーディオデータストリームを出力するサウンド演出制御部と、
    　前記サウンド演出制御部が出力するオーディオデータストリームを所望の音声デバイスに選択的に送出する音声データ経路制御部と、
    　前記音声データ経路制御部を監視して、前記音声データ経路制御部に接続される前記音声デバイスの接続状態に変化が生じたことを検出する音声デバイス変更検出部と、
    　外部から受信した問い合わせ要求に従い、前記音声データ経路制御部に接続されているアクティブな前記音声デバイスの音声デバイス情報を取得する音声デバイス確認処理部と
    を具備し、
    　前記コンテンツ再生制御サーバは、
    　前記コンテンツ再生装置から、前記音声デバイス変更検出部が前記音声デバイスの接続状態に変化が生じたことを示すトリガを受信して、前記コンテンツ再生装置の前記音声デバイス確認処理部に問い合わせ要求を送信し、前記音声デバイス確認処理部から受信した前記音声デバイス情報に応じた定義ファイルを、前記サウンド演出制御部に読み込ませる音声デバイス制御部と
    を具備する、コンテンツ再生システム。
PCT/JP2020/036607 2019-10-24 2020-09-28 コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システム WO2021079690A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080072739.7A CN114585425A (zh) 2019-10-24 2020-09-28 内容回放程序、内容回放装置、内容回放方法和内容回放系统
US17/727,089 US20220244908A1 (en) 2019-10-24 2022-04-22 Content playback program, content playback device, content playback method, and content playback system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-193202 2019-10-24
JP2019193202A JP6875484B2 (ja) 2019-10-24 2019-10-24 コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/727,089 Continuation US20220244908A1 (en) 2019-10-24 2022-04-22 Content playback program, content playback device, content playback method, and content playback system

Publications (1)

Publication Number Publication Date
WO2021079690A1 true WO2021079690A1 (ja) 2021-04-29

Family

ID=75620002

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/036607 WO2021079690A1 (ja) 2019-10-24 2020-09-28 コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システム

Country Status (4)

Country Link
US (1) US20220244908A1 (ja)
JP (1) JP6875484B2 (ja)
CN (1) CN114585425A (ja)
WO (1) WO2021079690A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010068041A (ja) * 2008-09-08 2010-03-25 Casio Comput Co Ltd 電子機器
WO2017179539A1 (ja) * 2016-04-12 2017-10-19 株式会社 Ｔｒｉｇｅｎｃｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ スピーカ駆動装置、スピーカ装置およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030185400A1 (en) * 2002-03-29 2003-10-02 Hitachi, Ltd. Sound processing unit, sound processing system, audio output unit and display device
KR100542129B1 (ko) * 2002-10-28 2006-01-11 한국전자통신연구원 객체기반 3차원 오디오 시스템 및 그 제어 방법
US20110116642A1 (en) * 2009-11-16 2011-05-19 Harman International Industries, Incorporated Audio System with Portable Audio Enhancement Device
US9521497B2 (en) * 2014-08-21 2016-12-13 Google Technology Holdings LLC Systems and methods for equalizing audio for playback on an electronic device
US9842476B2 (en) * 2015-09-25 2017-12-12 Immersion Corporation Programmable haptic devices and methods for modifying haptic effects to compensate for audio-haptic interference

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010068041A (ja) * 2008-09-08 2010-03-25 Casio Comput Co Ltd 電子機器
WO2017179539A1 (ja) * 2016-04-12 2017-10-19 株式会社 Ｔｒｉｇｅｎｃｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ スピーカ駆動装置、スピーカ装置およびプログラム

Also Published As

Publication number Publication date
CN114585425A (zh) 2022-06-03
JP6875484B2 (ja) 2021-05-26
US20220244908A1 (en) 2022-08-04
JP2021069017A (ja) 2021-04-30

Similar Documents

Publication Publication Date Title
CN106531177B (zh) 一种音频处理的方法、移动终端以及系统
CN107509153B (zh) 声音播放器件的检测方法、装置、存储介质及终端
US20070087686A1 (en) Audio playback device and method of its operation
WO2019062541A1 (zh) 一种实时数字音频信号混音的方法及装置
JP2008523946A (ja) 移動通信端末機用ゲーム支援装置
JP2007527258A (ja) ゲームコンテンツをリモートで実行し無線携帯装置で表示する方法およびシステム
JP2004267433A (ja) 音声チャット機能を提供する情報処理装置、サーバおよびプログラム並びに記録媒体
JP2015092695A (ja) オーディオ・アニメーション・システム
WO2021139535A1 (zh) 播放音频的方法、装置、系统、设备及存储介质
JP2019505944A (ja) オーディオファイルの再録音方法、装置及び記憶媒体
US8494206B2 (en) Electronic device and method thereof
JP6161886B2 (ja) 音声出力システム、情報処理装置、情報処理プログラム、および音声出力制御方法
JP2015079218A (ja) 音楽再生装置及び音楽再生プログラム
WO2021079690A1 (ja) コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システム
JP7339512B2 (ja) 音声再生プログラム、および音声再生装置
WO2023061330A1 (zh) 音频合成方法、装置、设备及计算机可读存储介质
WO2023011370A1 (zh) 音频播放方法、装置
JP6012388B2 (ja) 音声出力システム、音声出力プログラム、音声出力制御方法、および情報処理装置
JP6051075B2 (ja) 通信障害時にデュエット歌唱を継続可能な通信カラオケシステム
JP2003283599A (ja) 無線携帯電話端末及びそれに用いるスピーカ制御方法
CN212628276U (zh) 一种直播点唱音箱
KR20070080381A (ko) 휴대단말기의 멀티미디어 데이터 재생 방법
CN201910901U (zh) 一种多功能卡拉ok耳机
JP6159515B2 (ja) ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理制御方法
TW200816850A (en) An audio media player with multiport

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20879441

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20879441

Country of ref document: EP

Kind code of ref document: A1