WO2020013038A1 - コントローラ装置、及びその制御方法 - Google Patents

コントローラ装置、及びその制御方法 Download PDF

Info

Publication number
WO2020013038A1
WO2020013038A1 PCT/JP2019/026347 JP2019026347W WO2020013038A1 WO 2020013038 A1 WO2020013038 A1 WO 2020013038A1 JP 2019026347 W JP2019026347 W JP 2019026347W WO 2020013038 A1 WO2020013038 A1 WO 2020013038A1
Authority
WO
WIPO (PCT)
Prior art keywords
control unit
user
microphone
tactile
controller device
Prior art date
Application number
PCT/JP2019/026347
Other languages
English (en)
French (fr)
Inventor
ニコラ ドゥセ
英行 内田
修幸 斎藤
朋仁 伊藤
エリック ベイリー
真之 山田
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to JP2020530130A priority Critical patent/JP7028976B2/ja
Priority to US17/258,768 priority patent/US20210275905A1/en
Priority to CN201980044683.1A priority patent/CN112368056A/zh
Publication of WO2020013038A1 publication Critical patent/WO2020013038A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R9/00—Transducers of moving-coil, moving-strip, or moving-wire type
    • H04R9/02—Details
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1043—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being characterized by constructional details
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1081—Input via voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05G—CONTROL DEVICES OR SYSTEMS INSOFAR AS CHARACTERISED BY MECHANICAL FEATURES ONLY
    • G05G5/00—Means for preventing, limiting or returning the movements of parts of a control mechanism, e.g. locking controlling member
    • G05G5/03—Means for enhancing the operator's awareness of arrival of the controlling member at a command or datum position; Providing feel, e.g. means for creating a counterforce
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Definitions

  • the present invention relates to a controller device held by a user's hand and a control method thereof.
  • controller devices connected to home game machines and the like have become increasingly sophisticated, and various devices such as tactile presentation devices and speakers have been mounted.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide a controller device capable of performing control in which a plurality of devices are combined while avoiding unintended operations, and a control method thereof. I do.
  • One aspect of the present invention that solves the problems of the above conventional example is a controller device that is held by a user's hand, including a microphone, a tactile presentation device that presents a tactile sense to the user's hand, and a speaker, While the user is inputting voice from the microphone, the sound of the speaker is suppressed, and tactile presentation control by the tactile presentation device is performed.
  • FIG. 2 is a functional block diagram illustrating an example of a controller device according to the embodiment of the present invention.
  • a controller device 1 can be held by a user with both hands.
  • the controller device 1 includes grip portions 11L and 11R (hereinafter, referred to as the grip portion 11 when both are collectively described) and a main body portion 12.
  • the holding parts 11L and 11R are provided on the left and right sides of the housing of the controller device 1, respectively, and are held by the left hand and the right hand when the user operates the controller device 1 in a normal state.
  • joysticks 13L and 13R that can be tilted and a plurality of buttons 14 are provided at positions on the main body 12 where the thumbs of the left and right hands of the user respectively reach. Is arranged.
  • switches 15L and 15R are arranged on the rear side surface of the main body 12 at positions where the index finger or the middle finger of the left and right hands of the user reaches while holding the grip 11 with each hand. I have. However, the configuration and arrangement of these joysticks, buttons, and switches are merely examples, and the controller 1 may further include other switches, buttons, and the like.
  • the size, ratio, arrangement, and the like of the controller device 1 itself or each unit thereof are merely examples, and the controller device 1 of the present embodiment and each unit such as buttons are illustrated in the drawings.
  • the size, ratio, and arrangement are not limited to the above.
  • the controller device 1 includes a control unit 21, a microphone input unit 22, a speaker 23, a tactile sense presentation device 24, an interface unit 25, and a communication unit 26 therein. Including. Further, in the present embodiment, the controller device 1 is communicably connected to an information processing device 2 such as a home game machine.
  • the control unit 21 is a microcomputer or the like, and operates according to a program stored in a built-in memory. This program may be rewritten by an instruction input from the controller device 1 via the communication unit 26.
  • the memory built in the control unit 21 also operates as a work memory that holds data that needs to be stored while the control unit 21 is executing. The detailed operation of the control unit 21 will be described later.
  • the microphone input section 22 includes a microphone 22M and an A / D converter 22C.
  • the microphone input unit 22 converts an audio signal (vibration waveform) input via the microphone 22M into an electrical signal, further converts the signal into a digital value, and outputs the digital value to the control unit 21.
  • the microphone 22M is arranged on the near side of the main body 12 (a position on the near side when the user holds the controller device 1).
  • the speaker 23 sounds a sound in accordance with an instruction input from the control unit 21.
  • the tactile presentation device 24 includes, for example, a VCM (voice coil motor) or the like, generates vibrations according to a vibration waveform instructed according to an instruction input from the control unit 21, and provides a tactile sensation to a user holding the controller device 1. Is presented.
  • one of the tactile presentation devices 24L and 24R is provided in each of the grips 11L and 11R.
  • the notation of L and R is omitted and the tactile presentation device 24 is described. I do.
  • the interface unit 25 is connected to the joystick 13, the button 14, the switch 15, and the like, and outputs a signal representing the content of an operation performed on these to the control unit 21.
  • the communication unit 26 is a network interface or an interface that performs wireless or wired communication such as Bluetooth (registered trademark) and USB (Universal Serial Bus), and performs communication with the information processing device 2 and receives data from the information processing device 2.
  • the output data and the like are output to the control unit 21. Further, in accordance with an instruction output from the control unit 21, the control unit 21 outputs the specified data and the like to the information processing device 2.
  • the control unit 21 functionally includes an operation reception unit 31, a communication control unit 32, an instruction acquisition unit 33, a data control unit 34, a voice input unit 35, an audio output control unit 36, and a tactile presentation control unit 37.
  • the operation receiving unit 31 receives a signal indicating the content of the user operation performed on the joystick 13 or the like via the interface unit 25, and outputs the signal to the communication control unit 32.
  • the communication control unit 32 transmits to the information processing device 2 a signal representing the content of the user operation input from the operation receiving unit 31.
  • the communication control unit 32 outputs data and the like received from the information processing device 2 to the instruction acquisition unit 33. Further, the communication control unit 32 transmits data input from a data control unit 34 described later to the information processing device 2.
  • the instruction acquisition unit 33 acquires an instruction included in the data received from the information processing device 2.
  • the instruction acquired here includes a sound sound instruction, a tactile presentation instruction, and the like.
  • the sound sounding instruction includes waveform information indicating a sound waveform to be output.
  • the tactile presentation instruction includes waveform information representing a tactile sense to be presented.
  • the data control unit 34 controls which of the audio information control unit 36 and the tactile sensation presentation control unit 37 (or both) outputs the waveform information and the like acquired by the instruction acquisition unit 33.
  • the data control unit 34 receives data input from the voice input unit 35 and outputs the data to the communication control unit 32, holds the data in the work memory, or sets Control is performed such as to which one of the presentation control units 37 to output (or to both).
  • the data control unit 34 controls the output destination of the waveform information or performs a process of applying a filter (a low-pass filter or the like) to the waveform information according to a predetermined condition. .
  • a filter a low-pass filter or the like
  • the audio input unit 35 receives the audio signal output from the microphone input unit 22 and outputs the audio signal to the data control unit 34.
  • the audio output control unit 36 converts the waveform information into an analog signal, and controls the sound of the speaker 23 by the analog signal.
  • the tactile presentation control unit 37 When the tactile presentation control unit 37 receives the input of the waveform information from the data control unit 34, the tactile presentation control unit 37 controls the tactile presentation device 24 such as a voice coil motor in accordance with the waveform information, and presents the tactile sense to the user.
  • the tactile presentation device 24 such as a voice coil motor
  • the control unit 21 operates the data control unit 34 to Control to suppress ringing. That is, it does not output the waveform information related to the sound sounding instruction received from the information processing device 2 to the sound output control unit 36, and controls the speaker 23 not to sound.
  • control unit 21 executes the tactile presentation control by the tactile presentation device 24. That is, as an operation of the data control unit 34, the control unit 21 outputs, to the tactile presentation control unit 37, the waveform information related to the tactile presentation instruction received from the information processing device 2.
  • the control unit 21 outputs, as an operation of the data control unit 34, the waveform information related to the sound ringing instruction received from the information processing device 2 to the tactile presentation control unit 37, and outputs the waveform information indicating the sound to be ringed. It may be presented as tactile sensation.
  • the control unit 21 When receiving the tactile presentation instruction from the information processing device 2 together with the sound ringing instruction, the control unit 21 generates the waveform information obtained by adding the waveform information related to the sound ringing instruction and the waveform information related to the tactile presentation instruction. Then, the waveform information after the addition may be output to the tactile presentation control unit 37, and the vibrations related to both the sound sound instruction and the tactile presentation instruction may be presented as the tactile sense.
  • the control unit 21 may apply a low-pass filter to a vibration waveform representing a tactile sense presented by the tactile sense presentation device 24 while the user is inputting voice from the microphone 22M. Good.
  • the control unit 21 performs data processing corresponding to a low-pass filter on the waveform information output to the tactile presentation control unit 37.
  • the processing of the low-pass filter on such digital data can be realized by processing as an FIR digital filter and is widely known, so that detailed description thereof will be omitted.
  • the tactile presentation device 24 is controlled based on the vibration waveform after applying the low-pass filter.
  • the data processing corresponding to the low-pass filter is performed only on the waveform information related to the sound ringing instruction. It may be.
  • the sound of the speaker 23 is suppressed while the user is performing voice input.
  • the sound of the speaker 23 does not mix with the user's voice input from the microphone 22M.
  • the vibration of the tactile presentation device 24 is to vibrate the grip 11 of the controller device 1 to present a tactile sensation to the user. If is provided in the main body 12, the vibration of the tactile sense presentation device 24 is not easily picked up by the microphone 22M. Therefore, in such a case, the control unit 21 presents the vibration of the tactile sense presentation device 24 as it is. Further, the vibration presented by the tactile presentation device 24 may be processed by applying a low-pass filter. In this way, the vibration presented by the tactile presentation device 24 has a characteristic that is harder to be picked up by the microphone 22M.
  • control unit 21 attenuates the waveform information output to the tactile presentation control unit 37 from the audio signal input from the microphone input unit 22 by a predetermined amount (controls the amplitude information to be small). (After doing so). This makes it possible to remove a component due to the vibration of the tactile sense presentation device 24 from the audio signal input via the microphone 22M.
  • the amount of attenuation is determined experimentally, for example.
  • the user performs a predetermined operation when inputting a voice from the microphone 22M.
  • the present embodiment is not limited to this. The above process may be performed assuming that the user is performing voice input from the microphone 22M while a voice signal exceeding the above is being input.
  • control unit 21 of the present embodiment may perform the following processing using the audio signal input from the microphone input unit 22.
  • the control unit 21 may output the waveform information representing the audio signal stored in the memory, for example, to the tactile presentation device 24 in response to a user's instruction operation, so as to be presented as a tactile sensation.
  • the user will be able to feel or present a recorded voice, such as his own voice, as tactile sensation.
  • the control unit 21 may transmit the waveform information representing the audio signal held in the memory to the information processing device 2 as waveform information representing a tactile sensation.
  • the information processing device 2 sends the waveform information to another information processing device 2 or another controller device 1.
  • This waveform information may be used to control the tactile control device 24 in another controller device 1 such as the controller device 1 connected to the other information processing device 2.
  • control unit 21 changes the pitch of the audio signal held in the memory in response to the operation of the button or the like by the user, and sounds the waveform information representing the audio signal with the changed pitch via the speaker 23. Alternatively, it may be output to the tactile presentation device 24.
  • control unit 21 detects the magnitude of the audio signal input to the microphone 22M, and controls the waveform information representing the audio signal whose pitch has been changed based on the magnitude of the detected audio signal.
  • the amplitude of the waveform information may be corrected to increase as the detected audio signal increases, and the sound may be sounded via the speaker 23 or output to the tactile sense presentation device 24.
  • control is performed such that the sound is increased or the vibration is increased in accordance with the amount of the breath blown to the microphone 22M. Direction becomes possible.
  • the control unit 21 allows the user to select, for example, the type of musical instrument assumed by the user, and according to the selected type of musical instrument, changes the pitch and the amplitude of the waveform information according to the amount of breathing.
  • the control amount may be different.
  • control unit 21 may output an instruction to the information processing device 2 to display and output a user interface for selecting a type of musical instrument.
  • control unit 21 executes control such as accepting selection of an instrument type according to the content of the operation. That is, here, the control unit 21 operates independently without using the control from the information processing device 2 (using the information processing device 2 as a display processing device of a user interface) to receive various kinds of information. Alternatively, various controls may be performed.
  • controller device 1 of the present embodiment performs processing such as sounding a sound in accordance with an instruction input from the information processing device 2.
  • processing such as sounding a sound in accordance with an instruction input from the information processing device 2.
  • the waveform information representing the audio signal according to the received audio sounding instruction may be output to the audio output control unit 36 and also to the tactile presentation control unit 37.
  • the user hears the sound effect as a sound in the processing of the game, for example, and also receives the sound effect as a tactile sensation through the housing of the controller device 1, so that the sense of reality in a game or the like can be improved.
  • the controller device 1 sounds the rain sound waveform information as a sound, and the housing 1 matches the rain sound.
  • the body is vibrated, and the user gets a tactile sensation as if the raindrops hit an umbrella or the like.
  • the haptic presentation control unit 37 when outputting the waveform information representing the audio signal related to the sound ringing instruction to the haptic presentation control unit 37, the haptic presentation control unit 37 executes data processing corresponding to a low-pass filter. May be output to At this time, the cutoff frequency of the low-pass filter is set, for example, near the lower limit of the audio signal.
  • the waveform information that has passed through the low-pass filter may be amplified until the amplitude reaches a predetermined value. By doing so, the audio component is cut, and the tactile vibration can be further emphasized.
  • control unit 21 of the controller device 1 of the present embodiment may store the audio signal input from the microphone input unit 22 in a memory, and may use the audio signal as follows.
  • control unit 21 may generate information on the frequency and volume of the audio signal input from the microphone input unit 22, and may transmit the generated information to the information processing device 2.
  • control unit 21 analyzes the volume of each frequency by performing a discrete Fourier transform on the audio signal input from the microphone input unit 22, and outputs information representing a frequency band having the highest volume to the frequency of the input audio signal. Output as information.
  • the control unit 21 outputs the maximum amplitude of the audio signal input from the microphone input unit 22 as volume information.
  • the information processing device 2 receives the frequency information and the volume information from the controller device 1 together with the information indicating the content of the user's operation on the controller device 1 and uses the information for processing of a game or the like.
  • the information processing device 2 accepts the frequency information of the voice input by the user to the microphone 22M from the controller device 1 and performs an attack in a process of attacking the other party in the game according to the frequency information. Controls a parameter that represents a range.
  • the information processing device 2 increases the attack range of the character controlled by the user in the game space as the frequency represented by the frequency information is lower (or processes the attack range with an instruction having a relatively wide attack range). It may be good.
  • the information processing apparatus 2 reduces the attack range of the character controlled by the user in the game space as the frequency represented by the frequency information increases (or processes the attack range as an instruction to perform an attack having a relatively narrow attack range). It may be.
  • the information processing device 2 receives from the controller device 1 the volume information of the voice input to the microphone 22M by the user, and controls the parameter of the attack power in the game based on the frequency information and the volume information. May be.
  • the attack range parameter T T ⁇ / f Ask as.
  • ⁇ , ⁇ , and ⁇ are constants experimentally determined in advance.
  • the lower the frequency of the voice input by the user the lower the attack power and the wider the attack range.
  • control is performed such that as the frequency of the voice input by the user increases, the attack power increases and the attack range narrows.
  • control unit 21 of the controller device 1 may transmit the waveform information of the audio signal input from the microphone input unit 22 and stored in the memory to the information processing device 2 as it is.
  • the information processing device 2 may use the waveform information for processing of a game or the like. For example, a course in which the game character moves may be generated based on the waveform information. As an example, the information processing device 2 may generate an envelope (a curve representing a change in amplitude) of the waveform information, and use the curve as a course in which the game character moves.
  • a course in which the game character moves may be generated based on the waveform information.
  • the information processing device 2 may generate an envelope (a curve representing a change in amplitude) of the waveform information, and use the curve as a course in which the game character moves.
  • the information processing device 2 may generate waveform information representing a tactile sensation to be presented to the user using the input waveform information.
  • the generation of the waveform information may be performed by, for example, a process of applying a low-pass filter.
  • the tactile presentation device 24 is, for example, a voice coil motor.
  • the present embodiment is not limited to this example. It may be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Mechanical Control Devices (AREA)

Abstract

ユーザの手に把持され、マイクと、ユーザの手に触覚を提示する触覚提示デバイスと、スピーカーとを含み、マイクからユーザが音声を入力している間は、スピーカーの鳴動を抑制し、触覚提示デバイスによる触覚提示制御を行うコントローラ装置、及びその制御方法である。

Description

コントローラ装置、及びその制御方法
　本発明は、ユーザの手に把持されるコントローラ装置、及びその制御方法に関する。
　家庭用ゲーム機等に接続されるコントローラ装置は、近年ますます高機能化しており、触覚提示デバイスやスピーカー等、多様なデバイスが搭載されるようになってきている。
　こうした高機能化を背景として、コントローラ装置に搭載された種々のデバイスを個別に制御する処理に限らず、複数のデバイスを組み合わせて用いる制御も考えられている。
　しかしながら、複数のデバイスを組み合わせて制御する場合に、各デバイスの特性を考慮せずに制御を行うと、意図しない動作が行われてしまう場合がある。
　本発明は上記実情に鑑みて為されたもので、意図しない動作を避けて複数のデバイスを組み合わせた制御を行うことのできるコントローラ装置、及びその制御方法を提供することを、その目的の一つとする。
　上記従来例の問題点を解決する本発明の一態様は、ユーザの手に把持されるコントローラ装置であって、マイクと、ユーザの手に触覚を提示する触覚提示デバイスと、スピーカーとを含み、前記マイクからユーザが音声を入力している間は、前記スピーカーの鳴動を抑制し、前記触覚提示デバイスによる触覚提示制御を行うこととしたものである。
　本発明によると、意図しない動作を避けて複数のデバイスを組み合わせた制御を行うことが可能となっている。
本発明の実施の形態に係るコントローラ装置の概要を表す平面図である。 本発明の実施の形態に係るコントローラ装置の構成例を表すブロック図である。 本発明の実施の形態に係るコントローラ装置の例を表す機能ブロック図である。
　本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係るコントローラ装置１は、図１に例示するように、ユーザが両手で把持可能なものである。このコントローラ装置１は、把持部１１Ｌ，１１Ｒ（以下、双方をまとめて説明するときには把持部１１と記す）と、本体部１２とを含む。ここで把持部１１Ｌ，１１Ｒは、コントローラ装置１の筐体の左右にそれぞれ設けられ、ユーザが通常の状態でコントローラ装置１を操作するときに、左手と右手のそれぞれで把持される。またユーザが把持部１１をそれぞれの手で把持した状態で、ユーザの左右の手の親指がそれぞれ到達する本体部１２上の位置には、傾倒操作可能なジョイスティック１３Ｌ，１３Ｒ、並びに複数のボタン１４が配されている。
　また、本体部１２の奥側の側面にはユーザが把持部１１をそれぞれの手で把持した状態で、ユーザの左右の手の人差し指または中指が到達する位置に、スイッチ１５Ｌ，１５Ｒが配されている。もっとも、これらのジョイスティックやボタン、スイッチの構成及び配置は一例であり、このコントローラ装置１には、さらに他のスイッチやボタン等が配されていてもよい。
　また本実施の形態の以下の説明において、コントローラ装置１自身、またはその各部の大きさやその比、配置等は一例であり、本実施の形態のコントローラ装置１及びそのボタン等の各部は、図示等した大きさや比率、配置のものに限られるものではない。
　このコントローラ装置１は、また、図２に例示するように、その内部に制御部２１と、マイク入力部２２と、スピーカー２３と、触覚提示デバイス２４と、インタフェース部２５と、通信部２６とを含む。さらに本実施の形態では、このコントローラ装置１は、家庭用ゲーム機等の情報処理装置２に対して通信可能に接続されている。
　制御部２１は、マイクロコンピュータ等であり、内蔵するメモリに格納されたプログラムに従って動作する。このプログラムは、通信部２６を介してコントローラ装置１から入力される指示により書き換えられてもよい。また、この制御部２１が内蔵するメモリは、制御部２１の実行中に記憶する必要のあるデータを保持するワークメモリとしても動作する。この制御部２１の詳しい動作は後に説明する。
　マイク入力部２２は、マイク２２Ｍ及び、Ａ／Ｄコンバータ２２Ｃを含んで構成される。このマイク入力部２２は、マイク２２Ｍを介して入力された音声の信号（振動波形）を電気的信号に変換し、さらにディジタル値に変換して制御部２１に出力する。なお、本実施の形態のある例では、マイク２２Ｍは本体部１２の手前側（ユーザがコントローラ装置１を把持したときに手前側となる位置）に配される。
　スピーカー２３は、制御部２１から入力される指示に従って音声を鳴動する。触覚提示デバイス２４は、例えばＶＣＭ（ボイスコイルモータ）等を含んで構成され、制御部２１から入力される指示に従い、指示された振動波形に従って振動を生じさせ、コントローラ装置１を把持するユーザに触覚を提示する。本実施の形態の一例では、この触覚提示デバイス２４Ｌ，２４Ｒは、把持部１１Ｌ，１１Ｒ内にそれぞれ一つずつ配される。以下の説明において、これら触覚提示デバイス２４Ｌ，２４Ｒを区別する必要がない場合（双方を同様の波形情報で制御する場合など）には、Ｌ，Ｒの表記を省いて、触覚提示デバイス２４と表記する。
　インタフェース部２５は、ジョイスティック１３やボタン１４、スイッチ１５等に接続され、これらに対して行われた操作の内容を表す信号を制御部２１に出力する。
　通信部２６は、ネットワークインタフェースあるいはブルートゥース（登録商標）、ＵＳＢ（Universal Serial Bus）等の無線または有線通信を行うインタフェースであり、情報処理装置２との間で通信を行い、情報処理装置２から受信したデータ等を制御部２１に出力する。また、制御部２１が出力する指示に従って、指示されたデータ等を、情報処理装置２に対して出力する。
　次に、本実施の形態の制御部２１の動作について説明する。本実施の形態の制御部２１は、機能的には、図３に例示するように、操作受入部３１と、通信制御部３２と、指示取得部３３と、データ制御部３４と、音声入力部３５と、音声出力制御部３６と、触覚提示制御部３７とを含んで構成される。
　操作受入部３１は、インタフェース部２５を介してジョイスティック１３等に対して行われたユーザの操作の内容を表す信号を受け入れて、通信制御部３２に出力する。
　通信制御部３２は、操作受入部３１から入力されたユーザの操作の内容を表す信号を、情報処理装置２に対して送信する。またこの通信制御部３２は、情報処理装置２から受信したデータ等を指示取得部３３に出力する。さらに通信制御部３２は、後に説明するデータ制御部３４から入力されるデータを、情報処理装置２に対して送信する。
　指示取得部３３は、情報処理装置２から受信したデータに含まれる指示を取得する。ここで取得される指示は、音声鳴動指示や、触覚提示の指示等を含む。また音声鳴動指示には、出力するべき音声の波形を表す波形情報が含まれる。同様に、触覚提示の指示には、提示するべき触覚を表す波形情報が含まれる。
　データ制御部３４は、指示取得部３３が取得した波形情報等を、音声出力制御部３６と、触覚提示制御部３７とのどちらに出力するか（あるいは双方に出力するか）を制御する。また、このデータ制御部３４は、音声入力部３５からデータの入力を受け入れて、当該データを、通信制御部３２に出力するか、ワークメモリに保持するか、または、音声出力制御部３６と触覚提示制御部３７とのどちらに出力するか（あるいは双方に出力するか）等の制御を行う。
　さらに本実施の形態では、このデータ制御部３４は、予め定められた条件に応じて、波形情報の出力先を制御し、あるいは波形情報に対してフィルタ（ローパスフィルタ等）を適用する処理を行う。このデータ制御部３４の動作については後に例を挙げて説明する。
　音声入力部３５は、マイク入力部２２が出力する音声信号を受け入れてデータ制御部３４に出力する。音声出力制御部３６は、データ制御部３４から波形情報の入力を受け入れると、当該波形情報をアナログ信号に変換し、当該アナログ信号によりスピーカー２３を鳴動制御する。
　触覚提示制御部３７は、データ制御部３４から波形情報の入力を受け入れると、当該波形情報に従ってボイスコイルモータ等の触覚提示デバイス２４を制御し、ユーザに触覚を提示する。
［制御例］
　次に本実施の形態のコントローラ装置１における制御の例について説明する。以下では、
（１）音声をマイクから入力する際の処理例
（２）入力された音声を利用した処理
（３）スピーカーと触覚提示制御とを同時的に行う制御
（４）操作入力としての音声入力
（５）音声入力による設定
の各処理について順次、説明する。
［（１）音声をマイクから入力する際の処理例］
　本実施の形態のこの例では、ユーザが、音声をマイク２２Ｍから入力する場合について説明する。コントローラ装置１の制御部２１は、例えばユーザが音声入力を行う旨を表す予め定められた操作を行うと、当該操作が行われている間、マイク入力部２２から入力される信号を受け入れて、当該信号をメモリに記録する。
　このようにユーザが音声入力を行う旨を表す操作を行っている間、つまりマイク２２Ｍからユーザが音声を入力している間は、制御部２１は、データ制御部３４の動作として、スピーカー２３の鳴動を抑制するよう制御する。つまり、情報処理装置２から受信した、音声鳴動指示に係る波形情報を音声出力制御部３６に出力せず、スピーカー２３を鳴動しないよう制御する。
　一方制御部２１は、触覚提示デバイス２４による触覚提示制御は実行する。すなわち、制御部２１はデータ制御部３４の動作として、情報処理装置２から受信した、触覚提示指示に係る波形情報を、触覚提示制御部３７へ出力する。
　またこのとき制御部２１は、データ制御部３４の動作として、情報処理装置２から受信した、音声鳴動指示に係る波形情報を触覚提示制御部３７へ出力し、鳴動するべき音声を表す波形情報を触覚として提示することとしてもよい。なお、情報処理装置２から触覚提示指示を音声鳴動指示とともに受信している場合は、制御部２１は、音声鳴動指示に係る波形情報と触覚提示指示に係る波形情報とを加算した波形情報を生成し、当該加算後の波形情報を、触覚提示制御部３７へ出力し、音声鳴動指示と触覚提示指示との双方に係る振動を触覚として合わせて提示してもよい。
　さらに制御部２１は、データ制御部３４の動作として、マイク２２Ｍからユーザが音声を入力している間は、触覚提示デバイス２４が提示する触覚を表す振動波形に対し、ローパスフィルタを適用してもよい。この例では制御部２１は、触覚提示制御部３７へ出力する波形情報に対してローパスフィルタに相当するデータ処理を実行する。このようなディジタルデータにおけるローパスフィルタの処理は、ＦＩＲディジタルフィルタとしての処理により実現でき、広く知られているので、ここでの詳しい説明を省略する。
　この例では、ローパスフィルタを適用した後の振動波形に基づいて触覚提示デバイス２４が制御されることとなる。なお、上述の例のように、音声鳴動指示に係る波形情報を触覚提示制御部３７へ出力する場合は、この音声鳴動指示に係る波形情報にのみ、ローパスフィルタに相当するデータ処理を実行することとしてもよい。
　本実施の形態のこの例によると、ユーザが音声入力をしている間、スピーカー２３の鳴動が抑制される。これにより、スピーカー２３の鳴動音がマイク２２Ｍから入力しているユーザの音声に混ざってしまうことがなくなる。
　なお、マイク２２Ｍと触覚提示デバイス２４との配置にも依存するが、触覚提示デバイス２４の振動は、コントローラ装置１の把持部１１を振動させてユーザに触覚を提示するものであり、一方マイク２２Ｍは本体部１２に備えられることとすれば、この触覚提示デバイス２４の振動は、マイク２２Ｍに拾われにくい。そこでこのような場合は、制御部２１は、触覚提示デバイス２４の振動についてはそのまま提示する。さらに触覚提示デバイス２４が提示する振動を、ローパスフィルタを適用して処理することとしてもよい。このようにすると、触覚提示デバイス２４が提示する振動は、マイク２２Ｍにさらに拾われにくい特性を備えることとなる。
　また触覚提示デバイス２４の振動がマイク２２Ｍに拾われる場合は、スピーカー２３の場合と事情が異なる。すなわち、触覚提示デバイス２４はコントローラ装置１の周囲の空気をあまり振動させないので、その振動は空気の振動を介してマイク２２Ｍに到来するのではなく、主に、コントローラ装置１の筐体の振動を介してそのままマイク２２Ｍに到来することとなる。
　そこで制御部２１は、マイク入力部２２から入力される音声信号から、触覚提示制御部３７に対して出力した波形情報を、予め定めた大きさだけ減衰させたうえで（振幅を小さくするよう制御したうえで）減算することとしてもよい。これにより、マイク２２Ｍを介して入力される音声信号から、触覚提示デバイス２４の振動による成分を除去できる。なお、上記減衰量は、例えば実験的に定めることとする。
　さらに、ここでの例では、マイク２２Ｍからの音声入力の際には、ユーザが所定の操作を行うこととしていたが、本実施の形態はこれに限られず、例えばマイク２２Ｍに、予め定めた大きさを超える音声信号が入力されている間、マイク２２Ｍからユーザが音声入力をしているとして、上記の処理を行うこととしてもよい。
［（２）入力された音声を利用した処理］
　また本実施の形態の制御部２１は、マイク入力部２２から入力される音声信号を利用して次のような処理を行ってもよい。
　制御部２１は、例えばメモリに保持した、音声信号を表す波形情報を、ユーザの指示操作に応じて触覚提示デバイス２４に出力して、触覚として提示させることとしてもよい。ユーザは、自分の発した声など、録音した音声を触覚として感じたり、提示させたりといったことができるようになる。
　また制御部２１は、当該メモリに保持した音声信号を表す波形情報を、触覚を表す波形情報として情報処理装置２に送信してもよい。この場合、情報処理装置２は、他の情報処理装置２や、他のコントローラ装置１に当該波形情報を送出する。この波形情報は、当該他の情報処理装置２に接続されたコントローラ装置１等、他のコントローラ装置１において触覚制御デバイス２４の制御に用いられてもよい。
　さらに制御部２１は、ユーザのボタン等の操作に応じて、メモリに保持した音声信号を、ピッチを変更し、当該ピッチを変更した音声信号の表す波形情報を、スピーカー２３を介して鳴動する、あるいは、触覚提示デバイス２４に出力することとしてもよい。
　この例によると、例えばボタンごとに異なる音程となるよう、各ボタンが押下されたときのピッチの変更量を異ならせることで、メモリに保持した音声信号により例えばメロディーを奏でるといった動作が可能となる。
　またこのとき、制御部２１は、マイク２２Ｍに入力される音声信号の大きさを検出して、ピッチを変更した音声信号の表す波形情報を、当該検出した音声信号の大きさにより制御して、検出した音声信号が大きいほど波形情報の振幅が大きくなるよう補正して、スピーカー２３を介して鳴動する、あるいは、触覚提示デバイス２４に出力することとしてもよい。
　この例によると、マイク２２Ｍに対する息の吹きかけ量に応じて音声が大きくなったり、振動が大きくなったりといった制御が行われることとなり、あたかも笛やオカリナのような楽器を演奏しているかのような演出が可能となる。
　なお、制御部２１は、例えばユーザが想定している楽器の種類を選択させ、当該選択された種類の楽器に応じて、上記ピッチの変更量や、息の吹きかけ量に応じた波形情報の振幅制御量を異ならせてもよい。
　この場合制御部２１は、情報処理装置２に対して、楽器の種類を選択させるためのユーザインタフェースを表示出力するよう指示を出力してもよい。ユーザがこのインタフェースに対して操作を行うと、当該操作の内容に応じて楽器種類の選択を受け入れる等の制御を、制御部２１が実行する。つまり、ここでは情報処理装置２からの制御を受けることなく、制御部２１が主体的に動作して（情報処理装置２をユーザインタフェースの表示処理装置として使用して）、種々の情報の受け入れや、各種の制御を行ってもよい。
［（３）スピーカーと触覚提示制御とを同時的に行う制御］
　また本実施の形態のコントローラ装置１は、情報処理装置２から入力される指示に従って音声を鳴動する等の処理を行っているが、このとき、音声鳴動指示を受けた制御部２１は、データ制御部３４の動作として、当該受信した音声鳴動指示に係る音声信号を表す波形情報を、音声出力制御部３６に出力するとともに、触覚提示制御部３７へも出力してもよい。
　この例では、ユーザは例えばゲーム等処理においてサウンドエフェクトを音声として聞き取ることとなるとともに、コントローラ装置１の筐体を通じて触覚としても受け取ることとなって、ゲーム等の場面の臨場感を向上できる。
　例えば、雨が降っている風景において雨音の波形情報とともに音声鳴動指示が入力されている場合、コントローラ装置１は、当該雨音の波形情報を音声として鳴動するとともに、当該雨音に合わせて筐体を振動させることとなり、ユーザは、あたかも雨粒が傘などに当たっているかのような触覚を得る。
　本実施の形態のこの例では、このように音声や映像とともに、当該音声に合わせた触覚を提示することで、全体的にユーザに対して現実感を与えることとしている。
　また本実施の形態のこの例では、音声鳴動指示に係る音声信号を表す波形情報を、触覚提示制御部３７へ出力するにあたり、ローパスフィルタに相当するデータ処理を実行してから触覚提示制御部３７へ出力するようにしてもよい。この際のローパスフィルタのカットオフ周波数は、例えば、音声信号の下限近傍としておく。また、ローパスフィルタを通過した波形情報については、その振幅が予め定めた大きさとなるまで増幅しておいてもよい。このようにすると、音声成分がカットされて、触覚的振動がより強調できる。
［（４）操作入力としての音声入力］
　また本実施の形態のコントローラ装置１の制御部２１は、マイク入力部２２から入力される音声信号をメモリに保持するほか、次のように利用することとしてもよい。
　すなわち本実施の形態では、制御部２１は、マイク入力部２２から入力された音声信号の周波数及び音量の情報を生成して、当該生成した情報を情報処理装置２に送出してもよい。
　例えば、制御部２１は、マイク入力部２２から入力された音声信号を離散フーリエ変換して周波数ごとの音量を分析し、最も音量の大きい周波数帯を表す情報を、当該入力された音声信号の周波数情報として出力する。
　また制御部２１は、マイク入力部２２から入力された音声信号の最大振幅を音量の情報として出力する。
　情報処理装置２は、コントローラ装置１から、周波数情報及び音量の情報を、コントローラ装置１に対するユーザの操作の内容を表す情報とともに受け入れて、ゲーム等の処理に利用する。
　例えば情報処理装置２は、コントローラ装置１から、ユーザがマイク２２Ｍに対して入力した音声の周波数情報を受け入れて、当該周波数情報に応じて、ゲーム内で相手方を攻撃する旨の処理等において、攻撃範囲を表すパラメータを制御する。一例として情報処理装置２は、周波数情報が表す周波数が低いほど、ゲーム空間内における、ユーザの制御するキャラクタによる攻撃範囲を広くする（あるいは比較的広い攻撃範囲を有する攻撃を行う指示として処理する）こととしてもよい。また情報処理装置２は、周波数情報が表す周波数が高いほど、ゲーム空間内における、ユーザの制御するキャラクタによる攻撃範囲を小さくする（あるいは比較的狭い攻撃範囲を有する攻撃を行う指示として処理する）こととしてもよい。
　またこの場合情報処理装置２は、コントローラ装置１から、ユーザがマイク２２Ｍに対して入力した音声の音量情報を受け入れ、上記周波数情報と音量情報とに基づいてゲーム内における攻撃力のパラメータを制御してもよい。
　例えば情報処理装置２は、周波数情報ｆと、音量情報Ａとを用いて、攻撃力のパラメータＰを、
Ｐ＝αＡ・βｆ、
攻撃範囲のパラメータＴを、
Ｔ＝γ／ｆ
などとして求める。ここでα，β，γは予め実験的に定めた定数である。この例によると、ユーザが入力した音声の周波数が低いほど、攻撃力は小さくなり、攻撃範囲は広くなる。またユーザが入力した音声の周波数が高くなると、攻撃力は大きくなり、攻撃範囲は狭くなるという制御が行われる。
［（５）音声入力による設定動作］
　さらにコントローラ装置１の制御部２１は、マイク入力部２２から入力され、メモリに保持した音声信号の波形情報を、そのまま情報処理装置２に送信してもよい。
　この場合、情報処理装置２は、当該波形情報を、ゲーム等の処理に利用してもよい。例えば、当該波形情報に基づいて、ゲームキャラクタが移動するコースを生成してもよい。一例として情報処理装置２は、波形情報の包絡線（振幅の変化を表す曲線）を生成し、当該曲線を、ゲームキャラクタが移動するコースとしてもよい。
　あるいは、情報処理装置２は、当該入力された波形情報を用いて、ユーザに提示する触覚を表す波形情報を生成してもよい。この波形情報の生成も、例えばローパスフィルタを適用する処理等によって行ってよい。
［その他の例］
　また本実施の形態では、触覚提示デバイス２４は例えばボイスコイルモータとしたが、本実施の形態はこの例に限られず、ユーザに振動を提示できるものであれば、バイブレータによる振動提示を行うデバイス等であってもよい。
　１　コントローラ装置、２　情報処理装置、１１　把持部、１２　本体部、１３　ジョイスティック、１４　ボタン、１５　スイッチ、２１　制御部、２２Ｃ　Ａ／Ｄコンバータ、２２　マイク入力部、２３　スピーカー、２４　触覚提示デバイス、２５　インタフェース部、２６　通信部、３１　操作受入部、３２　通信制御部、３３　指示取得部、３４　データ制御部、３５　音声入力部、３６　音声出力制御部、３７　触覚提示制御部。

 

Claims (4)

  1. 　ユーザの手に把持されるコントローラ装置であって、
    　マイクと、
    　ユーザの手に触覚を提示する触覚提示デバイスと、
    　スピーカーとを含み、
    　前記マイクからユーザが音声を入力している間は、前記スピーカーの鳴動を抑制し、前記触覚提示デバイスによる触覚提示制御を行うコントローラ装置。
  2. 　請求項１に記載のコントローラ装置であって、
    　前記マイクからユーザが音声を入力している間は、前記触覚提示デバイスが提示する触覚を表す振動波形に対し、ローパスフィルタを適用して、当該ローパスフィルタを適用した後の振動波形に基づいて前記触覚提示デバイスを制御するコントローラ装置。
  3. 　請求項１または２に記載のコントローラ装置であって、
    　前記触覚提示デバイスは、ボイスコイルモータを含むコントローラ装置。
  4. 　ユーザの手に把持されるコントローラ装置の制御方法であって、
    　前記コントローラ装置が、
    　マイクと、ユーザの手に触覚を提示する触覚提示デバイスと、スピーカーとを含み、
    　前記コントローラ装置がマイクからユーザが音声を入力している間は、前記スピーカーの鳴動を抑制させ、前記触覚提示デバイスによる触覚提示制御を行うよう前記コントローラ装置を制御する、コントローラ装置の制御方法。

     
PCT/JP2019/026347 2018-07-10 2019-07-02 コントローラ装置、及びその制御方法 WO2020013038A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020530130A JP7028976B2 (ja) 2018-07-10 2019-07-02 コントローラ装置、及びその制御方法
US17/258,768 US20210275905A1 (en) 2018-07-10 2019-07-02 Controller apparatus and control method thereof
CN201980044683.1A CN112368056A (zh) 2018-07-10 2019-07-02 控制器设备及其控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-130924 2018-07-10
JP2018130924 2018-07-10

Publications (1)

Publication Number Publication Date
WO2020013038A1 true WO2020013038A1 (ja) 2020-01-16

Family

ID=69142567

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/026347 WO2020013038A1 (ja) 2018-07-10 2019-07-02 コントローラ装置、及びその制御方法

Country Status (4)

Country Link
US (1) US20210275905A1 (ja)
JP (2) JP7028976B2 (ja)
CN (1) CN112368056A (ja)
WO (1) WO2020013038A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021200077A1 (ja) * 2020-03-31 2021-10-07 株式会社ソニー・インタラクティブエンタテインメント 入力デバイス

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08314492A (ja) * 1995-05-22 1996-11-29 Sony Corp 音声入力翻訳装置
JP2017049698A (ja) * 2015-08-31 2017-03-09 富士通テン株式会社 入力装置、表示装置、入力装置の制御方法およびプログラム
JP2017085625A (ja) * 2009-10-29 2017-05-18 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 音声／テキスト変換の触覚による拡張を目的とするシステムと方法
JP2018091911A (ja) * 2016-11-30 2018-06-14 綜合警備保障株式会社 音声対話システム及び音声対話方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
JP2003248498A (ja) 2002-02-25 2003-09-05 Nippon Telegr & Teleph Corp <Ntt> 音声出入力装置、音声出入力方法、及び音声出入力プログラム
US6881147B2 (en) * 2003-06-06 2005-04-19 Nyko Technologies, Inc. Video game controller with integrated microphone and speaker
JP2010015551A (ja) * 2008-06-03 2010-01-21 Univ Of Electro-Communications 触覚情報提示装置及び触覚情報提示システム
JP2015231098A (ja) 2014-06-04 2015-12-21 ソニー株式会社 振動装置、および振動方法
US9508344B2 (en) * 2014-10-15 2016-11-29 Delphi Technologies, Inc. Automatic volume control based on speech recognition
JP6670224B2 (ja) * 2016-11-14 2020-03-18 株式会社日立製作所 音声信号処理システム
US10455320B2 (en) * 2017-08-02 2019-10-22 Body Beats, Llc System, method and apparatus for translating, converting and/or transforming audio energy into haptic and/or visual representation
US10877562B2 (en) * 2018-03-02 2020-12-29 Htc Corporation Motion detection system, motion detection method and computer-readable recording medium thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08314492A (ja) * 1995-05-22 1996-11-29 Sony Corp 音声入力翻訳装置
JP2017085625A (ja) * 2009-10-29 2017-05-18 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 音声／テキスト変換の触覚による拡張を目的とするシステムと方法
JP2017049698A (ja) * 2015-08-31 2017-03-09 富士通テン株式会社 入力装置、表示装置、入力装置の制御方法およびプログラム
JP2018091911A (ja) * 2016-11-30 2018-06-14 綜合警備保障株式会社 音声対話システム及び音声対話方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021200077A1 (ja) * 2020-03-31 2021-10-07 株式会社ソニー・インタラクティブエンタテインメント 入力デバイス
JP7455193B2 (ja) 2020-03-31 2024-03-25 株式会社ソニー・インタラクティブエンタテインメント 入力デバイス

Also Published As

Publication number Publication date
CN112368056A (zh) 2021-02-12
JP7300028B2 (ja) 2023-06-28
JP7028976B2 (ja) 2022-03-02
JPWO2020013038A1 (ja) 2021-06-24
US20210275905A1 (en) 2021-09-09
JP2022063332A (ja) 2022-04-21

Similar Documents

Publication Publication Date Title
EP2873447B1 (en) Haptic trigger control system
EP1225565A2 (en) Sound controller that generates sound responsive to a situation
KR100925293B1 (ko) 컴퓨터 디바이스들로부터의 오디오 출력에 기초하는 햅틱피드백 감각들
JP6456108B2 (ja) ハプティックトリガ修正システム
WO2016136934A1 (ja) 情報処理装置、情報処理方法、情報処理システム
KR20170055464A (ko) 햅틱 공간화 시스템
JP2012055340A (ja) ゲーム機用コントローラ
JP6959349B2 (ja) 操作デバイス、及びその制御装置
WO2018179180A1 (ja) ゲーム機用コントローラ
WO2018193557A1 (ja) 振動制御装置
JP7300028B2 (ja) コントローラ装置、及びその制御方法
JP4171012B2 (ja) 情報処理装置、及びコントローラデバイス
JP2006174856A (ja) コントローラ機能の切り替え手段を有する処理装置
JP5349535B2 (ja) コントローラデバイス
JP6990769B2 (ja) 情報処理装置及びコントローラ装置の制御方法
JP3080103U (ja) ボイスコントローラー
JP6159515B2 (ja) ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理制御方法
US11626092B2 (en) Method for controlling effect applying device for applying acoustic effect to sound signal
WO2024116716A1 (ja) 操作装置及び調整システム
JP2014171687A (ja) ゲーム機用の入力装置
JP4786981B2 (ja) コントローラデバイス
JP2001070635A (ja) ビデオゲーム装置
JP2000218051A (ja) ゲ―ム装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19834702

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020530130

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19834702

Country of ref document: EP

Kind code of ref document: A1