WO2023189405A1 - 入出力装置 - Google Patents

入出力装置 Download PDF

Info

Publication number
WO2023189405A1
WO2023189405A1 PCT/JP2023/009257 JP2023009257W WO2023189405A1 WO 2023189405 A1 WO2023189405 A1 WO 2023189405A1 JP 2023009257 W JP2023009257 W JP 2023009257W WO 2023189405 A1 WO2023189405 A1 WO 2023189405A1
Authority
WO
WIPO (PCT)
Prior art keywords
tactile
auditory
movement
input
motion sensor
Prior art date
Application number
PCT/JP2023/009257
Other languages
English (en)
French (fr)
Inventor
修一 赤岩
慶介 木野井
Original Assignee
株式会社栗本鐵工所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社栗本鐵工所 filed Critical 株式会社栗本鐵工所
Publication of WO2023189405A1 publication Critical patent/WO2023189405A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Definitions

  • the present disclosure relates to an input/output device, and more specifically, to a tactile presentation device that passively presents a tactile sensation according to the movement of a person's body and actively presents a tactile sensation regardless of the movement of the person's body. Concerning input/output devices to be controlled.
  • Metaverse virtual reality
  • AR augmented reality
  • MR mixed reality
  • a user wears a head-mounted display on their head, they can enter the Metaverse as an avatar.
  • users can see three-dimensional images displayed on a head-mounted display and listen to sounds produced by speakers.
  • the user can also move a virtual object displayed as a three-dimensional image by operating controllers worn in both hands.
  • unique sound effects may be generated in response to operations on the controller. For example, when a user presses a button on a controller, a "beep" sound effect is generated. The user can hear this sound effect and confirm that he or she has pressed the button.
  • the above technologies provide users with visual and auditory sensations, but in addition to these, there are also technologies that provide tactile sensations as well. For example, when a user presses a button on a controller, a sound effect is generated and the controller vibrates. The user can feel this vibration and confirm that he or she has pressed the button. However, like sound effects, there is a one-to-one correspondence between operation and vibration, which lacks realism.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2017-138651 relates to a force sense presentation device that presents the force sensation of an object displayed in an image to an operator, and describes how the movement of the image can be controlled without the need for complicated control. Disclosed is a force sense presentation device that is capable of linking a force sense presented on an operation unit with high precision. However, this publication does not mention the generation of sound at all.
  • Patent Document 2 JP 2020-17159A discloses a virtual object tactile presentation device that can provide a user's hand with a tactile sensation according to the type of virtual object displayed on a display. However, this publication also does not mention the generation of sound at all.
  • JP 2017-174381A discloses a method of generating a haptic effect.
  • "Haptic” is a haptic and force feedback technology that utilizes the detection of a user's touch by applying haptic feedback effects (i.e., "haptic effects”) such as force, vibration, and motion to the user.
  • haptic effects i.e., “haptic effects”
  • this publication also does not mention the generation of sound at all.
  • Patent Document 4 discloses an acquisition unit that acquires motion information of a user with respect to a virtual object displayed by a display unit, and a control unit that controls display of an image including onomatopoeia according to the motion information and the virtual object.
  • An information processing device including an output control section is disclosed.
  • Onomatopoeia is considered to be an effective method for presenting skin sensations as visual information, as is used, for example, in comics and novels.
  • Onomatopoeia can include onomatopoeia (for example, a character string expressing the sound made by an object) and onomatopoeia (for example, a character string expressing the state of an object or a human emotion).
  • this publication also does not mention the generation of sound at all.
  • An object of the present disclosure is to provide an input/output device that presents a tactile sensation and at the same time generates a sound in conjunction with the tactile sensation in accordance with the movement of a person's body.
  • An input/output device is an input/output device that controls a tactile presentation device that actively presents a tactile sensation regardless of the movement of a person's body, and is a tactile device that stores tactile data corresponding to the movement of a person's body.
  • a data storage unit an auditory data storage unit that stores auditory data corresponding to the movement of a person's body; a tactile control unit that reads from a storage unit and controls a tactile presentation device that presents a tactile sensation based on the read tactile data; and an auditory data storage unit that stores auditory data corresponding to body movement detected by the motion sensor. and an auditory control unit that reads out the auditory data from the speaker and controls the speaker based on the read auditory data.
  • FIG. 1 is a functional block diagram showing a schematic configuration of an input/output system according to the first embodiment.
  • FIG. 2 is a functional block diagram showing the detailed configuration of the input/output system shown in FIG.
  • FIG. 3 is a diagram showing details of the database and its operation in the input/output system shown in FIGS. 1 and 2.
  • FIG. 4 is a flow diagram showing the operation of the input/output system shown in FIGS. 1 to 3.
  • FIG. 5 is a screen diagram showing images of the virtual object "yacht" and "start button” displayed in steps S15 and S16 shown in FIG. 4.
  • FIG. 6 is a screen diagram showing an image of the virtual object "yacht" displayed in step S20 shown in FIG.
  • FIG. 7 is a screen diagram showing an image displayed next to FIG. 6.
  • FIG. 8 is a diagram showing details of the database and its operation in the input/output system according to the second embodiment.
  • FIG. 9 is a diagram showing details of the database and its operation in the input/out
  • An input/output device is an input/output device that controls a tactile presentation device that actively presents a tactile sensation regardless of the movement of a person's body, and is a tactile device that stores tactile data corresponding to the movement of a person's body.
  • a data storage unit an auditory data storage unit that stores auditory data corresponding to the movement of a person's body; a tactile control unit that reads from a storage unit and controls a tactile presentation device that presents a tactile sensation based on the read tactile data; and an auditory data storage unit that stores auditory data corresponding to body movement detected by the motion sensor. and an auditory control unit that reads out the auditory data from the speaker and controls the speaker based on the read auditory data.
  • This input/output device detects the movement of a person's body, reads out tactile and auditory data corresponding to the movement, presents a tactile sensation based on the tactile data, and generates sound based on the auditory data. do.
  • this input/output system can present tactile sensations and simultaneously generate sounds in conjunction with the tactile sensations in response to the movement of a person's body.
  • the input/output device further includes a visual data storage unit that stores visual data corresponding to the movement of a person's body, and reads visual data corresponding to the body movement detected by the motion sensor from the visual data storage unit,
  • the image display device may also include a visual control unit that controls an image display device that displays an image based on the read visual data.
  • This input/output device detects the movement of a person's body, reads visual data in addition to tactile and auditory data corresponding to the movement, and displays an image based on the visual data.
  • this input/output system can also display images linked to tactile sensations and sounds in response to the movement of a person's body.
  • the auditory data may correspond to the position of the person's body.
  • the motion sensor may detect the movement of the body by measuring the position of the body over time. In this case, the sound generated also changes depending on the position of the body, which changes over time.
  • the auditory data may correspond to a speed of movement of the body.
  • the motion sensor may detect the movement of the body by measuring the position of the body over time.
  • the input/output device may further include a speed calculation unit that calculates the speed of the body movement based on the body position and elapsed time measured by the motion sensor.
  • the auditory control section may read auditory data corresponding to the speed of body movement calculated by the speed calculation section from the auditory data storage section. In this case, this input/output system device can generate sounds that are linked to the sense of touch, depending on the speed of the body.
  • An input/output method is an input/output method for controlling a tactile presentation device that actively presents a tactile sensation regardless of the movement of a person's body, and acquires the movement of the person's body detected by a motion sensor.
  • tactile data corresponding to the body movement detected by the motion sensor is read out from the tactile data storage section that stores tactile data corresponding to the human body movement, and the tactile sense data is read out based on the read tactile data.
  • An input/output program is an input/output program that controls a tactile presentation device that actively presents a tactile sensation regardless of the movement of a person's body, and acquires the movement of the person's body detected by a motion sensor.
  • tactile data corresponding to the body movement detected by the motion sensor is read out from the tactile data storage section that stores tactile data corresponding to the human body movement, and the tactile sense data is read out based on the read tactile data.
  • a step of controlling a tactile presentation device that presents a tactile sense presentation device; and reading auditory data corresponding to the body movement detected by the motion sensor from an auditory data storage unit storing auditory data corresponding to the body movement of the person; This is for causing the computer to execute the step of controlling the speakers based on the output auditory data.
  • the input/output system 10 includes a tactile presentation device 12 and a smartphone 14.
  • the tactile sensation presentation device 12 actively presents a tactile sensation regardless of the movement of a person's body. More specifically, the tactile presentation device 12 can move a person's body even when the person's body is not moving. The tactile sensation presentation device 12 can also passively present a tactile sensation according to the movement of a person's body.
  • the tactile presentation device 12 includes a position sensor 121 that detects the movement (motion) of a person's finger over time, and a tactile control unit 122 that controls the tactile sensation to be presented according to the finger movement detected by the position sensor 121. including. Specifically, when the user wearing the tactile presentation device 12 presses the movable piece 13 with the index finger, the position sensor 121 detects the angle at which the movable piece 13 rotates from the initial position as the position of the index finger. The user may move the finger slowly or quickly. The position sensor 121 may detect the angle (position) of the finger as well as the elapsed time. In this case, the sensed finger angle is a function of time.
  • the smartphone 14 includes an auditory control unit 141 that controls the sound to be generated according to the finger movement detected by the position sensor 121, and an auditory control unit 141 that controls the image to be displayed according to the finger movement detected by the position sensor 121.
  • a visual control unit 142 is included.
  • the smartphone 14 a mobile information terminal having a telephone function can be used.
  • the smartphone 14 is installed with an application program for causing the computer to function as an auditory control section 141 and a visual control section 142.
  • the tactile presentation device 12 includes a wireless communication section 123, a battery 124, a tactile data buffer 125, a tactile control section 122, an actuator 126, and a position sensor 121.
  • Smartphone 14 includes a wireless communication section 143, a CPU (central processing unit) 144, an input/output device 145, a touch panel 146, and a speaker 147.
  • the input/output device 145 includes a database (DB) 148 and an application program (app) 149.
  • the database 148 includes a tactile database (tactile data storage) 150, a visual database (visual data storage) 151, and an auditory database (auditory data storage) 152.
  • the application program 149 includes a program for causing the CPU 144 to function as the auditory control section 141, a program for causing the CPU 144 to function as the visual control section 142, and a program for causing the CPU 144 to function as the tactile data reading section 153.
  • the auditory control unit 141 reads auditory data from the auditory database 152 and sends the read auditory data to the speaker 147.
  • the visual control unit 142 reads visual data from the visual database 151 and sends the read visual data to the touch panel 146.
  • the tactile data reading unit 153 reads tactile data from the tactile database 150 and sends the read tactile data to the tactile presentation device 12 .
  • the touch panel 146 has a display function for displaying images and an input function for accepting operations with a user's finger.
  • the speaker 147 generates sound (voice, music, sound effects, etc.).
  • the wireless communication units 123 and 143 include, for example, a short-range wireless module, and the tactile presentation device 12 and the smartphone 14 are connected to each other wirelessly. However, the tactile presentation device 12 and the smartphone 14 may be connected to each other by wire, without being limited to wireless connection.
  • the tactile data buffer 125 stores tactile data sent from the smartphone 14. Details will be described later.
  • the tactile presentation device 12 for example, the tactile presentation device described in Japanese Patent Application Publication No. 2020-17159 can be used.
  • the tactile presentation device 12 includes an actuator 126 using a motor (not shown) instead of the magnetorheological fluid described in the publication.
  • Haptic control unit 122 controls the amount of current supplied from battery 124 to the motor of actuator 126 .
  • the actuator 126 presents an appropriate tactile sensation to the finger of the person operating the tactile sensation presentation device 12. More specifically, when the user is not performing any operation, the movable piece 13 of the tactile presentation device 12 is at the initial position (0 degrees). When the user pushes the tactile presentation device 12 all the way, the movable piece 13 rotates 90 degrees from the initial position. When the user presses the movable piece 13 with a finger, the motor is rotated, but when current is supplied from the battery 124, the motor rotates in the opposite direction, allowing the movable piece 13 to push back the user's finger. The resistance force with which the movable piece 13 pushes back the finger increases as the current supplied to the motor increases.
  • the movable piece 13 can push and move the user's finger.
  • the actuator 126 can not only actively present a tactile sensation to a person's body, but also passively present a tactile sensation. Instead of the actuator 126 using a motor, an actuator using a vibration element may be used.
  • the haptic database 150 stores in advance a plurality of haptic data corresponding to a plurality of virtual objects.
  • Each piece of haptic data includes a tactile signal representing the tactile sensation of the corresponding virtual object.
  • Each of the tactile signals includes a plurality of finger positions and a plurality of current values corresponding thereto.
  • the finger position includes the angle of the finger in 1 degree increments from 0 degrees to 90 degrees.
  • a tactile signal corresponding to a virtual object "yacht” is shown. This tactile signal represents the tactile sensation when trying to move the "yacht" forward.
  • the visual database 151 stores in advance a plurality of visual data corresponding to a plurality of virtual objects.
  • Each of the visual data includes a visual signal (image signal) representing the visual appearance of the corresponding virtual object.
  • Each visual signal includes multiple finger positions and corresponding multiple image files. In this example, a visual signal corresponding to a virtual object "yacht" is shown.
  • the auditory database 152 stores in advance a plurality of auditory data corresponding to a plurality of virtual objects.
  • Each of the auditory data includes an auditory signal (audio signal) representing the auditory sensation of the corresponding virtual object.
  • Each of the auditory signals includes a plurality of finger positions, a plurality of amplitudes corresponding thereto, and a frequency corresponding thereto.
  • an auditory signal corresponding to a virtual object "yacht" is shown. This auditory signal represents not only the sounds you would actually hear when you manipulate a real object, but also the virtual sounds (including sound effects) that would occur when you manipulate a non-existent character or object. You can also.
  • step S11 smartphone 14 starts application program 149 in response to a user's operation.
  • step S21 the tactile presentation device 12 turns on the power in response to the user's operation. Thereby, the tactile presentation device 12 is wirelessly connected to the smartphone 14.
  • step S12 the smartphone 14 selects a desired virtual object, such as a "yacht", from among the plurality of virtual objects in response to the user's operation.
  • a desired virtual object such as a "yacht”
  • the tactile data reading unit 153 reads tactile data (tactile signals) corresponding to the selected virtual object from the tactile database 150 in step S13, and sends the read tactile data to the tactile presentation device 12 in step S14. Send.
  • step S22 the tactile presentation device 12 stores the tactile data sent from the smartphone 14 in the tactile data buffer 125.
  • step S23 the tactile presentation device 12 activates the position sensor 121.
  • step S24 the haptic control unit 122 acquires the finger position detected by the position sensor 121, and sends the acquired finger position to the smartphone 14. Thereafter, the haptic control unit 122 continues to repeat this operation. Thereby, the haptic control unit 122 continues to send the finger position detected by the position sensor 121 to the smartphone 14 along with the elapsed time.
  • the tactile control unit 122 sends the position of the finger detected by the position sensor 121 to the smartphone 14.
  • the smartphone 14 controls the touch panel 146 to display an image of the selected virtual object 16, as shown in FIG. For example, an image of a virtual object "yacht" appears from the right side of the screen.
  • step S25 when the user pushes the tactile presentation device 12 all the way with his or her finger and the detected finger position reaches 90 degrees, in step S16, the smartphone 14 controls the touch panel 146, and as shown in FIG. Display the "Start Button" image.
  • step S17 when the user taps the "start button", the haptic control unit 122 controls the actuator 126, and the actuator 126 presents a tactile sensation to the user.
  • the tactile control unit 122 reads tactile data corresponding to the position of the finger detected by the position sensor 121 from the tactile data buffer 125, and in step S27, transmits the read tactile data to the actuator 126.
  • the actuator 126 pushes back the user's finger that is pushing the tactile presentation device 12 based on the tactile data sent from the tactile control unit 122.
  • step S18 the visual control unit 142 reads from the visual database 151 the visual data (visual signal image file) corresponding to the position of the finger sent from the tactile presentation device 12.
  • the auditory control unit 141 reads auditory data (amplitude and frequency of the auditory signal) corresponding to the position of the finger sent from the tactile presentation device 12 from the auditory database 152 .
  • step S19 the visual control unit 142 sends the read visual data to the touch panel 146.
  • the auditory control unit 141 sends the read auditory data to the speaker 147.
  • step S20 the touch panel 146 displays an image based on the visual data sent from the visual control unit 142.
  • the speaker 147 generates sound based on auditory data sent from the auditory control section 141.
  • the input/output system can output images, sounds, and tactile sensations that are linked to each other in accordance with the movement of a person's body that changes over time. For example, as shown in FIGS. 5 to 7, when a user operates a "yacht" with his or her fingers, when the "yacht” is pushed back by a headwind, the user's fingers are also pushed back. If the user does not resist the pushing force, for example, a sound effect such as "beep” is generated, and the "yacht” quickly moves toward the right of the screen and disappears off the screen.
  • the finger positions included in the auditory signal include finger angles from 0 degrees to 90 degrees, but centering on 0 degrees, there are multiple positive angles and multiple negative angles. May contain.
  • a stick unit controller having a joystick
  • This stick unit includes a motor, a stick that tilts around its rotation axis, and the like. The stick is upright in neutral. When the user tilts the stick forward with his finger, the position sensor detects a positive angle as the finger position. On the other hand, when the user tilts the stick backward (toward the front) with his finger, the position sensor detects a negative angle as the finger position.
  • a "yacht” is displayed in the center of the screen, as shown in Figure 6, and a “start button” is also displayed.
  • the tactile data is read out and a current corresponding to 0 degrees flows through the motor, causing the stick to attempt to tilt forward. If the user does not resist this tilting force, a “beep” sound effect is generated, the “yacht” quickly moves toward the right of the screen, and the stick quickly tilts forward. On the other hand, if the user resists this tilting force, a “beep” sound effect is generated, the “yacht” slowly moves toward the right of the screen, and the stick slowly tilts forward.
  • the auditory signal includes the finger position, amplitude, and frequency in the first embodiment, but as shown in FIG. 9, it includes the base audio file, finger speed, and playback speed instead.
  • the application program 149 further includes a program for causing the CPU 144 to function as the speed calculation unit 154.
  • the speed calculation unit 154 calculates the speed of the finger (finger speed) based on the position (angle) of the finger measured by the position sensor 121 and the elapsed time. For example, the speed calculation unit 154 may calculate the distance traveled by the finger per unit time, or may differentiate the position of the finger with respect to time.
  • the auditory control unit 141 reads the reproduction speed from the auditory database 152 as auditory data corresponding to the finger speed calculated by the speed calculation unit 154 .
  • the input/output system starts playing the base audio file when the virtual object starts being displayed, and can thereafter generate various sounds depending on the speed of the finger.
  • the auditory signal includes amplitude and frequency in the first and second embodiments, finger velocity and playback speed in the third embodiment, but instead of these, a plurality of audio files corresponding to a plurality of finger positions are included. May contain.
  • the motion sensor may detect movement of the head, shoulders, arms, torso, hips, legs, or a combination thereof instead of the fingers.
  • the motion sensor may also sense one-dimensional, two-dimensional, or three-dimensional coordinates of the body instead of the angle of the body.
  • a camera may be used as the motion sensor. In this case, an image of the body taken by a camera may be analyzed and its coordinates may be detected.
  • Embodiments of the present invention also include non-transitory storage media storing programs for causing a computer to function as an input/output device or an input/output system.
  • Input/output system 121 Position sensor 122: Tactile control section 126: Actuator 141: Auditory control section 142: Visual control section 145: Input/output device 146: Touch panel 147: Speaker 148: Database 149: Application program 150: Tactile database 151 :Visual database 152:Auditory database 153:Tactile data reading section 154:Speed calculation section

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

人の身体の動きに応じて、触覚を提示すると同時に、触覚と連動する音を発生する入出力装置を提供する。人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力装置は、人の身体の動きに対応する触覚データを記憶する触覚データ記憶部と、人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部と、人の身体の動きを検知するモーションセンサにより検知された身体の動きに対応する触覚データを触覚データ記憶部から読み出し、読み出された触覚データに基づいて触覚を提示する触覚提示装置を制御する触覚制御部と、モーションセンサにより検知された身体の動きに対応する聴覚データを聴覚データ記憶部から読み出し、読み出された聴覚データに基づいてスピーカを制御する聴覚制御部とを備える。

Description

入出力装置
　本開示は、入出力装置に関し、より具体的には、人の身体の動きに応じて受動的に触覚を提示するとともに人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力装置に関する。
　近年、仮想現実(VR; Virtual Reality)、拡張現実(AR; Augmented Reality)、複合現実(MR; Mixed Reality)等の技術を用いてメタバースと呼ばれる仮想空間を提供するサービスが始まっている。ユーザがヘッドマウントディスプレイを頭に装着すると、アバタとしてメタバースに入ることができる。メタバースでは、ユーザはヘッドマウントディスプレイで表示される３次元画像を見たり、スピーカで生成される音を聞いたりすることができる。ユーザはまた、両手に装着したコントローラを操作することにより、３次元画像として表示される仮想オブジェクトを動かすことができる。これと同時に、コントローラに対する操作に応じて特有の効果音が発生する場合もある。たとえば、ユーザがコントローラのボタンを押すと、「ピッ」という効果音が発生する。ユーザはこの効果音を聞き、ボタンを押したことを確認することができる。しかしながら、ボタンを押した量や押す速度に関わらず、操作と効果音が１対１に対応づけられているため、リアリティに欠ける。
　上記の技術は視覚と聴覚をユーザに与えるものであるが、これらに加え、触覚も与える技術もある。たとえば、ユーザがコントローラのボタンを押すと、効果音が発生すると同時に、コントローラが振動する。ユーザはこの振動を感じ、ボタンを押したことを確認することができる。しかしながら、効果音と同様に、操作と振動が１対１に対応づけられているため、リアリティに欠ける。
　一方、単純な振動ではなく、もっとリアルな触覚をユーザに提示できる装置も提案されている。
　たとえば、特開２０１７－１３８６５１号公報（特許文献１）は、映像に映し出された物体の力覚を操作者に提示する力覚提示装置に関し、複雑な制御を必要とすることなく、映像の動きと操作部において提示される力覚とを高い精度でリンクさせることが可能な力覚提示装置を開示する。しかし、この公報は、音の発生には全く言及していない。
　特開２０２０－１７１５９号公報（特許文献２）は、ディスプレイに表示される仮想オブジェクトの種類に応じた触覚をユーザの手に与えることができる仮想オブジェクト触覚提示装置を開示する。しかし、この公報も、音の発生には全く言及していない。
　特開２０１７－１７４３８１号公報（特許文献３）は、ハプティック効果を生成する方法を開示する。「ハプティック」とは、ユーザに対する力、振動、及び運動などのハプティックフィードバック効果（すなわち、「ハプティック効果」）をユーザに加えることによって、ユーザのタッチの検知を利用するハプティック及び力のフィードバック技術である。しかし、この公報も、音の発生には全く言及していない。
　ＷＯ２０１８／１１００３公報（特許文献４）は、表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得する取得部と、モーション情報と仮想オブジェクトとに応じて、オノマトペを含む画像の表示を制御する出力制御部とを備える情報処理装置を開示する。オノマトペは、例えばコミックや小説などでも利用されているように、皮膚感覚を視覚情報として提示するための有効な手法であると考えられる。オノマトペは擬音語（例えば、物体が発する音を表現した文字列）、および、擬態語（例えば、物体の状態や人間の感情などを表現した文字列）を含み得る。しかし、この公報も、音の発生には全く言及していない。
　スマートフォンを含む汎用コンピュータの分野では、マウス、キーボード、タッチパネル等の入力装置に対する操作に応じて効果音を発生する技術がある。また、コンピュータゲームの分野では、コントローラのボタンの押下に応じて効果音を発生する技術もある。しかしながら、上記と同様に、操作と効果音が１対１に対応づけられているため、リアリティに欠ける。
特開２０１７－１３８６５１号公報 特開２０２０－１７１５９号公報 特開２０１７－１７４３８１号公報 ＷＯ２０１８／１１００３公報
　本開示の課題は、人の身体の動きに応じて、触覚を提示すると同時に、触覚と連動する音を発生する入出力装置を提供することである。
　本開示よる入出力装置は、人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力装置であって、人の身体の動きに対応する触覚データを記憶する触覚データ記憶部と、人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部と、人の身体の動きを検知するモーションセンサにより検知された身体の動きに対応する触覚データを前記触覚データ記憶部から読み出し、読み出された触覚データに基づいて触覚を提示する触覚提示装置を制御する触覚制御部と、前記モーションセンサにより検知された身体の動きに対応する聴覚データを前記聴覚データ記憶部から読み出し、読み出された聴覚データに基づいてスピーカを制御する聴覚制御部とを備える。
図１は、第１実施形態による入出力システムの概略構成を示す機能ブロック図である。 図２は、図１に示した入出力システムの詳細な構成を示す機能ブロック図である。 図３は、図１及び図２に示した入出力システムにおけるデータベースの詳細及びその動作を示す図である。 図４は、図１～図３に示した入出力システムの動作を示すフロー図である。 図５は、図４に示したステップＳ１５，Ｓ１６で表示される仮想オブジェクト「ヨット」及び「開始ボタン」の画像を示す画面図である。 図６は、図４に示したステップＳ２０で表示される仮想オブジェクト「ヨット」の画像を示す画面図である。 図７は、図６の次に表示される画像を示す画面図である。 図８は、第２実施形態による入出力システムにおけるデータベースの詳細及びその動作を示す図である。 図９は、第３実施形態による入出力システムにおけるデータベースの詳細及びその動作を示す図である。
　＜実施形態の概要＞
　本開示よる入出力装置は、人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力装置であって、人の身体の動きに対応する触覚データを記憶する触覚データ記憶部と、人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部と、人の身体の動きを検知するモーションセンサにより検知された身体の動きに対応する触覚データを前記触覚データ記憶部から読み出し、読み出された触覚データに基づいて触覚を提示する触覚提示装置を制御する触覚制御部と、前記モーションセンサにより検知された身体の動きに対応する聴覚データを前記聴覚データ記憶部から読み出し、読み出された聴覚データに基づいてスピーカを制御する聴覚制御部とを備える。
　この入出力装置では、人の身体の動きが検知され、その動きに対応する触覚及び聴覚データが読み出され、その触覚データに基づいて触覚が提示され、かつ、聴覚データに基づいて音が発生する。その結果、この入出力システムは、人の身体の動きに応じて、触覚を提示すると同時に、触覚と連動する音を発生することができる。
　入出力装置は、さらに、人の身体の動きに対応する視覚データを記憶する視覚データ記憶部と、前記モーションセンサにより検知された身体の動きに対応する視覚データを前記視覚データ記憶部から読み出し、読み出された視覚データに基づいて画像を表示する画像表示装置を制御する視覚制御部とを備えてもよい。
　この入出力装置では、人の身体の動きが検知され、その動きに対応する触覚及び聴覚データに加え、視覚データも読み出され、その視覚データに基づいて画像が表示される。その結果、この入出力システムは、人の身体の動きに応じて、触覚及び音と連動する画像も表示することができる。
　前記聴覚データは、前記人の身体の位置に対応してもよい。前記モーションセンサは、前記身体の位置を時間経過とともに計測して前記身体の動きを検知してもよい。この場合、時間経過とともに変化する身体の位置に応じて、発生する音も変化する。
　前記聴覚データは、前記身体の動きの速度に対応してもよい。前記モーションセンサは、前記身体の位置を経過時間とともに計測して前記身体の動きを検知してもよい。入出力装置は、さらに、前記モーションセンサにより計測された身体の位置及び経過時間に基づいて前記身体の動きの速度を算出する速度算出部を備えてもよい。前記聴覚制御部は、前記速度算出部により算出された身体の動きの速度に対応する聴覚データを前記聴覚データ記憶部から読み出してもよい。この場合、この入出力システム装置は、身体の速度に応じて、触覚と連動する音を発生することができる。
　本開示よる入出力方法は、人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力方法であって、モーションセンサにより検知された人の身体の動きを取得するステップと、人の身体の動きに対応する触覚データを記憶する触覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する触覚データを読み出し、読み出された触覚データに基づいて触覚を提示する触覚提示装置を制御するステップと、人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する聴覚データを読み出し、読み出された聴覚データに基づいてスピーカを制御するステップとを含む。
　本開示よる入出力プログラムは、人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力プログラムであって、モーションセンサにより検知された人の身体の動きを取得するステップと、人の身体の動きに対応する触覚データを記憶する触覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する触覚データを読み出し、読み出された触覚データに基づいて触覚を提示する触覚提示装置を制御するステップと、人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する聴覚データを読み出し、読み出された聴覚データに基づいてスピーカを制御するステップとをコンピュータに実行させるためのものである。
　＜実施形態の詳細＞
　以下、添付の図面を参照しながら本実施形態を詳しく説明する。図中、同一又は相当部分には同一参照符号を付し、その説明を繰り返さない。
　＜第１実施形態＞
　図１に示されるように、第１実施形態による入出力システム１０は、触覚提示装置１２と、スマートフォン（スマホ）１４とを備える。触覚提示装置１２は、人の身体の動きと無関係に能動的（アクティブ）に触覚を提示する。より具体的には、触覚提示装置１２は、人の身体が動いていないときであっても、人の身体を動かすことができる。触覚提示装置１２はさらに、人の身体の動きに応じて受動的（パッシブ）に触覚を提示することもできる。
　触覚提示装置１２は、人の指の動き（モーション）を時間経過とともに検知する位置センサ１２１と、位置センサ１２１により検知された指の動きに応じて提示すべき触覚を制御する触覚制御部１２２とを含む。位置センサ１２１は、具体的には、触覚提示装置１２を装着したユーザが人差し指で可動片１３を押したとき、可動片１３が最初の位置から回転した角度を人差し指の位置として検知する。ユーザは指をゆっくり動かす場合もあれば、素早く動かす場合もある。位置センサ１２１は、指の角度（位置）を経過時間とともに検知してもよい。この場合、検知される指の角度は時間の関数である。
　スマートフォン１４は、位置センサ１２１により検知された指の動きに応じて発生すべき音を制御する聴覚制御部１４１と、位置センサ１２１により検知された指の動きに応じて表示すべき画像を制御する視覚制御部１４２とを含む。スマートフォン１４として、電話機能を有する携帯情報端末を使用することができる。スマートフォン１４には、基本プログラムのほか、コンピュータを聴覚制御部１４１及び視覚制御部１４２として機能させるためのアプリケーションプログラムがインストールされる。
　より具体的には、図２に示されるように、触覚提示装置１２は、無線通信部１２３と、バッテリ１２４と、触覚データバッファ１２５と、触覚制御部１２２と、アクチュエータ１２６と、位置センサ１２１とを含む。スマートフォン１４は、無線通信部１４３と、ＣＰＵ（中央演算装置）１４４と、入出力装置１４５と、タッチパネル１４６と、スピーカ１４７とを含む。入出力装置１４５は、データベース（ＤＢ）１４８と、アプリケーションプログラム（アプリ）１４９とを含む。データベース１４８は、触覚データベース（触覚データ記憶部）１５０と、視覚データベース（視覚データ記憶部）１５１と、聴覚データベース（聴覚データ記憶部）１５２とを含む。アプリケーションプログラム１４９は、ＣＰＵ１４４を聴覚制御部１４１として機能させるためのプログラムと、ＣＰＵ１４４を視覚制御部１４２として機能させるためのプログラムと、ＣＰＵ１４４を触覚データ読出部１５３として機能させるためのプログラムとを含む。聴覚制御部１４１は、聴覚データベース１５２から聴覚データを読み出し、読み出した聴覚データをスピーカ１４７に送出する。視覚制御部１４２は、視覚データベース１５１から視覚データを読み出し、読み出した視覚データをタッチパネル１４６に送出する。触覚データ読出部１５３は、触覚データベース１５０から触覚データを読み出し、読み出した触覚データを触覚提示装置１２に送出する。タッチパネル１４６は、画像を表示する表示機能と、ユーザの指による操作を受け付ける入力機能とを有する。スピーカ１４７は、音（音声、音楽、効果音など）を発生する。
　無線通信部１２３及び１４３は、たとえば近距離無線モジュールを含み、触覚提示装置１２及びスマートフォン１４は相互に無線で接続される。ただし、無線に限定されることなく、触覚提示装置１２及びスマートフォン１４は相互に有線で接続されてもよい。触覚データバッファ１２５は、スマートフォン１４から送出されて来た触覚データを記憶する。詳細は後述する。触覚提示装置１２として、たとえば特開２０２０－１７１５９号公報に記載の触覚提示装置を使用することができる。ただし、触覚提示装置１２は、同公報に記載の磁気粘性流体に代えて、モータ（図示せず）を用いたアクチュエータ１２６を含む。触覚制御部１２２は、バッテリ１２４からアクチュエータ１２６のモータに供給される電流の量を制御する。これにより、アクチュエータ１２６は、触覚提示装置１２を操作する人の指に対して適切な触覚を提示する。より具体的には、ユーザが何も操作していないとき、触覚提示装置１２の可動片１３は最初の位置（０度）にある。ユーザが触覚提示装置１２を最後まで押し込むと、可動片１３は最初の位置から９０度回転する。ユーザが指で可動片１３を押すと、モータは回転させられるが、バッテリ１２４から電流が供給されると、モータは逆方向に回転し、可動片１３でユーザの指を押し返すことができる。可動片１３が指を押し返す抵抗力は、モータに供給される電流が大きいほど大きくなる。また、ユーザが指で可動片１３を全く押していない場合において、モータに電流が供給されると、可動片１３がユーザの指を押し動かすことができる。アクチュエータ１２６は、人の身体に対し、能動的に触覚を提示するだけでなく、受動的に触覚を提示することもできる。モータを用いたアクチュエータ１２６に代えて、振動素子を用いたアクチュエータを採用してもよい。
　図３に示されるように、触覚データベース１５０には、複数の仮想オブジェクトに対応する複数の触覚データが予め記憶されている。触覚データの各々は、対応する仮想オブジェクトの触覚を表現する触覚信号を含む。触覚信号の各々は、複数の指位置と、これらに対応する複数の電流値とを含む。指位置は、０度から９０度まで１度ごとの指の角度を含む。本例では、仮想オブジェクト「ヨット」に対応する触覚信号が示される。この触覚信号は、「ヨット」を進めようとしたときの触覚を表現する。
　視覚データベース１５１には、複数の仮想オブジェクトに対応する複数の視覚データが予め記憶されている。視覚データの各々は、対応する仮想オブジェクトの視覚を表現する視覚信号（画像信号）を含む。視覚信号の各々は、複数の指位置と、これらに対応する複数の画像ファイルとを含む。本例では、仮想オブジェクト「ヨット」に対応する視覚信号が示される。
　聴覚データベース１５２には、複数の仮想オブジェクトに対応する複数の聴覚データが予め記憶されている。聴覚データの各々は、対応する仮想オブジェクトの聴覚を表現する聴覚信号（音声信号）を含む。聴覚信号の各々は、複数の指位置と、これらに対応する複数の振幅と、これらに対応する周波数とを含む。本例では、仮想オブジェクト「ヨット」に対応する聴覚信号が示される。この聴覚信号は、実在する物体を操作したときに実際に聞こえるであろう音だけでなく、実在しないキャラクタや物体を操作したときに発生すると思われる仮想的な音（効果音を含む）を表現することもできる。
　次に、第１実施形態による入出力システムの動作を説明する。
　図４を参照して、ステップＳ１１で、スマートフォン１４は、ユーザの操作に応じて、アプリケーションプログラム１４９を起動する。一方、ステップＳ２１で、触覚提示装置１２は、ユーザの操作に応じて、電源をオンにする。これにより、触覚提示装置１２は、スマートフォン１４と無線で接続される。
　ステップＳ１２で、スマートフォン１４は、ユーザの操作に応じて、複数の仮想オブジェクトの中から所望の仮想オブジェクト、たとえば「ヨット」を選択する。
　スマートフォン１４において、触覚データ読出部１５３は、ステップＳ１３で、選択された仮想オブジェクトに対応する触覚データ（触覚信号）を触覚データベース１５０から読み出し、ステップＳ１４で、読み出した触覚データを触覚提示装置１２に送出する。
　一方、ステップＳ２２で、触覚提示装置１２は、スマートフォン１４から送出されて来た触覚データを触覚データバッファ１２５に保存する。
　ステップＳ２３で、触覚提示装置１２は、位置センサ１２１を起動する。
　ステップＳ２４で、触覚制御部１２２は、位置センサ１２１により検知された指の位置を取得し、取得した指の位置をスマートフォン１４に送出する。以降、触覚制御部１２２は、この動作を繰り返し続ける。これにより、触覚制御部１２２は位置センサ１２１により検知された指の位置を経過時間とともにスマートフォン１４に送出し続ける。
　ユーザが指で触覚提示装置１２を押し込むと、触覚制御部１２２は位置センサ１２１により検知された指の位置をスマートフォン１４に送出する。これに応じ、ステップＳ１５で、スマートフォン１４は、タッチパネル１４６を制御し、図５に示されるように、選択された仮想オブジェクト１６の画像を表示する。たとえば、仮想オブジェクト「ヨット」の画像が画面の右から登場する。
　ステップＳ２５で、ユーザが指で触覚提示装置１２を最後まで押し込み、検知された指の位置が９０度に達すると、ステップＳ１６で、スマートフォン１４は、タッチパネル１４６を制御し、図５に示されるように「開始ボタン」の画像を表示する。
　ステップＳ１７で、ユーザが「開始ボタン」をタップすると、触覚制御部１２２は、アクチュエータ１２６を制御し、アクチュエータ１２６はユーザに対して触覚を提示する。具体的には、触覚制御部１２２は、ステップＳ２６で、位置センサ１２１により検知された指の位置に対応する触覚データを触覚データバッファ１２５から読み出し、ステップＳ２７で、読み出した触覚データをアクチュエータ１２６に送出する。ステップＳ２８で、アクチュエータ１２６は、触覚制御部１２２から送出されて来た触覚データに基づいて、触覚提示装置１２を押し込んでいるユーザの指を押し返す。
　一方、ステップＳ１８で、視覚制御部１４２は、触覚提示装置１２から送出されて来る指の位置に対応する視覚データ（視覚信号の画像ファイル）を視覚データベース１５１から読み出す。聴覚制御部１４１は、触覚提示装置１２から送出されて来る指の位置に対応する聴覚データ（聴覚信号の振幅及び周波数）を聴覚データベース１５２から読み出す。
　ステップＳ１９で、視覚制御部１４２は、読み出した視覚データをタッチパネル１４６に送出する。聴覚制御部１４１は、読み出した聴覚データをスピーカ１４７に送出する。
　ステップＳ２０で、タッチパネル１４６は、視覚制御部１４２から送出されて来る視覚データに基づいて画像を表示する。スピーカ１４７は、聴覚制御部１４１から送出されて来る聴覚データに基づいて音を発生する。
　以上のとおり、第１実施形態による入出力システムは、経過時間とともに変化する人の身体の動きに応じて、相互に連動する画像、音及び触覚を出力することができる。たとえば図５～図７に示されるように、ユーザが指で「ヨット」を操作する場合において、「ヨット」が向かい風で押し戻されると、ユーザの指も押し戻される。ユーザが押し返してくる力に抵抗しなければ、たとえば「びゅっ」という効果音が発生し、「ヨット」は画面右に向かって速やかに移動し、画面外に消える。一方、ユーザが押し返してくる力に抵抗すると、たとえば「びゅ～」という効果音が発生し、「ヨット」は画面右に向かってゆっくりと移動し、画面外に消える。このように、聴覚、視覚及び触覚が相互に連動し、リアリティが高くなる。
　＜第２実施形態＞
　第１実施形態では、聴覚信号に含まれる指位置は、０度から９０度までの指の角度を含んでいるが、０度を中心に、複数の正の角度と、複数の負の角度を含んでいてもよい。また、触覚提示装置１２に代えて、たとえば特開２０１８－５７４８６号公報に記載のスティックユニット（ジョイスティックを有するコントローラ）を採用してもよい。このスティックユニットは、モータと、その回転軸周りに傾動するスティックなどを含む。スティックは、ニュートラル状態で真っ直ぐに立っている。ユーザが指でスティックを前方に倒すと、位置センサは指位置として正の角度を検知する。他方、ユーザが指でスティックを後方（手前）に倒すと、位置センサは指位置として負の角度を検知する。
　スティックがニュートラル状態にあるとき、図６に示されるように「ヨット」が画面中央に表示され、「開始ボタン」も一緒に表示される。ユーザが「開始ボタン」をタップすると、触覚データが読み出され、０度に対応する電流がモータに流れ、スティックが前方に傾動しようとする。ユーザがこの傾動力に抵抗しないと、「びゅっ」という効果音が発生し、「ヨット」は画面右に向かって速やかに移動し、かつ、スティックは速やかに前方に傾動する。一方、ユーザがこの傾動力に抵抗すると、「びゅ～」という効果音が発生し、「ヨット」は画面右に向かってゆっくりと移動し、かつ、スティックはゆっくりと前方に傾動する。
　＜第３実施形態＞
　聴覚信号は、第１実施形態では、指位置、振幅及び周波数を含んでいるが、図９に示されるように、これらの代わりに、ベースとなる音声ファイル、指速度及び再生速度を含んでいてもよい。この場合、アプリケーションプログラム１４９はさらに、ＣＰＵ１４４を速度算出部１５４として機能させるためのプログラムを含む。速度算出部１５４は、位置センサ１２１により計測された指の位置（角度）及び経過時間に基づいて指の速度（指速度）を算出する。たとえば、速度算出部１５４は、単位時間当たりの指の移動距離を算出してもよく、また、指の位置を時間で微分してもよい。聴覚制御部１４１は、速度算出部１５４により算出された指の速度に対応する聴覚データとして再生速度を聴覚データベース１５２から読み出す。この場合、この入出力システムは、仮想オブジェクトの表示が始まったら前記ベースとなる音声ファイルの再生を開始し、以降、指の速度に応じて多様な音を発生することができる。
　＜他の実施形態＞
　聴覚信号は、第１及び第２実施形態では振幅及び周波数を含み、第３実施形態では指速度及び再生速度を含んでいるが、これらの代わりに、複数の指位置に対応する複数の音声ファイルを含んでいてもよい。
　モーションセンサは、指の代わりに、頭、肩、腕、胴、腰、足、又はこれらの組み合わせの動きを検知してもよい。モーションセンサはまた、身体の角度の代わりに、身体の１次元座標、２次元座標、又は３次元座標を検知してもよい。また、モーションセンサとして、カメラを用いてもよい。この場合、カメラにより撮影された身体の画像を解析し、その座標を検知してもよい。また、モーションセンサは１つだけでなく、２つ以上あってもよい。また、コンピュータを入出力装置又は入出力システムとして機能させるためのプログラムを記憶した非一時的な(non-transitory)記憶媒体も本発明の実施形態に含まれる。
　以上、本発明の実施形態を説明したが、本発明は上記実施形態に限定されることなく、その趣旨を逸脱しない限り、種々の改良、変形などが可能である。
１０　：入出力システム
１２１：位置センサ
１２２：触覚制御部
１２６：アクチュエータ
１４１：聴覚制御部
１４２：視覚制御部
１４５：入出力装置
１４６：タッチパネル
１４７：スピーカ
１４８：データベース
１４９：アプリケーションプログラム
１５０：触覚データベース
１５１：視覚データベース
１５２：聴覚データベース
１５３：触覚データ読出部
１５４：速度算出部

Claims (6)

  1. 　人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力装置であって、
    　人の身体の動きに対応する触覚データを記憶する触覚データ記憶部と、
    　人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部と、
    　人の身体の動きを検知するモーションセンサにより検知された身体の動きに対応する触覚データを前記触覚データ記憶部から読み出し、読み出された触覚データに基づいて前記触覚提示装置を制御する触覚制御部と、
    　前記モーションセンサにより検知された身体の動きに対応する聴覚データを前記聴覚データ記憶部から読み出し、読み出された聴覚データに基づいてスピーカを制御する聴覚制御部とを備える、入出力装置。
  2. 　請求項１に記載の入出力装置であって、さらに、
    　人の身体の動きに対応する視覚データを記憶する視覚データ記憶部と、
    　前記モーションセンサにより検知された身体の動きに対応する視覚データを前記視覚データ記憶部から読み出し、読み出された視覚データに基づいて画像を表示する画像表示装置を制御する視覚制御部とを備える、入出力装置。
  3. 　請求項１に記載の入出力装置であって、
    　前記聴覚データは、前記人の身体の位置に対応し、
    　前記モーションセンサは、前記身体の位置を時間経過とともに計測して前記身体の動きを検知する、入出力装置。
  4. 　請求項１に記載の入出力装置であって、
    　前記聴覚データは、前記身体の動きの速度に対応し、
    　前記モーションセンサは、前記身体の位置を経過時間とともに計測して前記身体の動きを検知し、
    　前記入出力装置は、さらに、
    　前記モーションセンサにより計測された身体の位置及び経過時間に基づいて前記身体の動きの速度を算出する速度算出部を備え、
    　前記聴覚制御部は、前記速度算出部により算出された身体の動きの速度に対応する聴覚データを前記聴覚データ記憶部から読み出す、入出力装置。
  5. 　人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力方法であって、
    　モーションセンサにより検知された人の身体の動きを取得するステップと、
    　人の身体の動きに対応する触覚データを記憶する触覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する触覚データを読み出し、読み出された触覚データに基づいて触覚を提示する触覚提示装置を制御するステップと、
    　人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する聴覚データを読み出し、読み出された聴覚データに基づいてスピーカを制御するステップとを含む、入出力方法。
  6. 　人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力プログラムであって、
    　モーションセンサにより検知された人の身体の動きを取得するステップと、
    　人の身体の動きに対応する触覚データを記憶する触覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する触覚データを読み出し、読み出された触覚データに基づいて触覚を提示する触覚提示装置を制御するステップと、
    　人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する聴覚データを読み出し、読み出された聴覚データに基づいてスピーカを制御するステップとをコンピュータに実行させるための入出力プログラム。
PCT/JP2023/009257 2022-03-30 2023-03-10 入出力装置 WO2023189405A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022056938A JP2023148749A (ja) 2022-03-30 2022-03-30 入出力装置
JP2022-056938 2022-03-30

Publications (1)

Publication Number Publication Date
WO2023189405A1 true WO2023189405A1 (ja) 2023-10-05

Family

ID=88200715

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/009257 WO2023189405A1 (ja) 2022-03-30 2023-03-10 入出力装置

Country Status (2)

Country Link
JP (1) JP2023148749A (ja)
WO (1) WO2023189405A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015223334A (ja) * 2014-05-28 2015-12-14 株式会社デンソー 表示システム
WO2020090223A1 (ja) * 2018-11-01 2020-05-07 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
JP2020086939A (ja) * 2018-11-26 2020-06-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015223334A (ja) * 2014-05-28 2015-12-14 株式会社デンソー 表示システム
WO2020090223A1 (ja) * 2018-11-01 2020-05-07 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
JP2020086939A (ja) * 2018-11-26 2020-06-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
JP2023148749A (ja) 2023-10-13

Similar Documents

Publication Publication Date Title
Mott et al. Accessible by design: An opportunity for virtual reality
US10722800B2 (en) Co-presence handling in virtual reality
US10509468B2 (en) Providing fingertip tactile feedback from virtual objects
KR20190122558A (ko) 몰입형 현실 인터페이스 모드를 제공하는 시스템, 디바이스 및 방법
JP6504809B2 (ja) 触覚的に動作可能とされる映写されたユーザインターフェースのためのシステム及び方法
US6496200B1 (en) Flexible variation of haptic interface resolution
WO2017043400A1 (ja) 情報処理装置、方法およびコンピュータプログラム
KR102304023B1 (ko) 증강현실 기반 인터렉티브 저작 서비스 제공 시스템
KR20200000803A (ko) 가상 현실 사용자를 위한 실세계 햅틱 상호작용
US20180232051A1 (en) Automatic localized haptics generation system
JP2018142313A (ja) 仮想感情タッチのためのシステム及び方法
JP2016001472A (ja) オーディオ・トラックを介して触覚効果を与えるための触覚デバイスおよび方法
KR20180066865A (ko) 햅틱들을 가지는 컴플라이언스 착시들을 위한 시스템들 및 방법
JP2019519856A (ja) マルチモーダルハプティック効果
KR20190040897A (ko) 복수의 주변 디바이스들을 이용한 햅틱 효과들
JP7276334B2 (ja) 情報処理装置、情報処理方法、およびプログラム
Zhu et al. Tapetouch: A handheld shape-changing device for haptic display of soft objects
Lee et al. Rich pinch: Perception of object movement with tactile illusion
WO2023189405A1 (ja) 入出力装置
WO2023189404A1 (ja) 入出力装置
WO2020241655A1 (ja) 人肌触感呈示装置および人肌触感呈示装置における振動の元信号の設定方法
Kossyk et al. Usability of a virtual reality system based on a wearable haptic interface
WO2023105706A1 (ja) 触覚提示デバイスおよび制御方法
JP2023150607A (ja) 入出力装置
JP7371820B1 (ja) アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23779429

Country of ref document: EP

Kind code of ref document: A1