WO2023153232A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2023153232A1
WO2023153232A1 PCT/JP2023/002540 JP2023002540W WO2023153232A1 WO 2023153232 A1 WO2023153232 A1 WO 2023153232A1 JP 2023002540 W JP2023002540 W JP 2023002540W WO 2023153232 A1 WO2023153232 A1 WO 2023153232A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
flexibility
contact
control unit
vibration waveform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/002540
Other languages
English (en)
French (fr)
Inventor
郁男 山野
毅 石川
真 城間
京二郎 永野
諒 横山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to US18/834,892 priority Critical patent/US20250110558A1/en
Publication of WO2023153232A1 publication Critical patent/WO2023153232A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Definitions

  • the present invention relates to an information processing device, an information processing method, and a program.
  • haptic technology A technology that artificially reproduces human skin sensation (tactile sensation) through mechanical stimulation such as vibration is known. This kind of technology is called haptic technology. Since haptics technology can realistically reproduce the movement and texture of objects, it is expected to be applied to XR (Extended Reality).
  • tactile feedback is provided based on physics simulation.
  • tactile feedback methods based on physical simulations, and the fact is that methods for expressing the flexibility of objects in particular have hardly been studied.
  • the presentation time of the tactile sense stimulus is set to the same time as the contact time in the displayed image, but considering the flexibility of the object, it may not always be appropriate to match the two.
  • the present disclosure proposes an information processing device, an information processing method, and a program capable of performing appropriate tactile feedback considering the flexibility of an object.
  • an information processing device includes a control unit that controls a presentation period of haptic feedback presented in response to collision of an object based on the flexibility of the object. Further, according to the present disclosure, there are provided an information processing method in which the information processing of the information processing device is executed by a computer, and a program for causing the computer to implement the information processing of the information processing device.
  • FIG. 1 is a diagram illustrating an outline of an information processing system 1 using a haptic device 30. As shown in FIG. 1
  • the information processing system 1 has an information processing device 10 , a display device 20 , a haptic device 30 and a sensor device 40 .
  • the display device 20 provides the user U with video and audio.
  • a known wearable display such as a head-mounted display or AR (Augmented Reality) glasses is used.
  • the haptic device 30 presents the user U with tactile stimulation.
  • Known methods such as piezoelectric, electrostatic, and pneumatic methods are used as methods for presenting tactile stimulation.
  • FIG. 1 shows a glove-type haptic device 30 with pneumatic balloons at the palms and fingers. Tactile stimulation is applied by varying the air pressure within the balloon.
  • the sensor device 40 includes various sensors for detecting self-location information. This type of sensor includes a camera, a gyro sensor, and the like. The sensor device 40 is built in the display device 20, for example.
  • the information processing apparatus 10 extracts information (self-location information) on the position and orientation of the user U from sensor data using a known self-location estimation technique such as SLAM (Simultaneous Localization and Mapping).
  • SLAM Simultaneous Localization and Mapping
  • the information processing device 10 performs various processes for interacting with the object OB.
  • the object OB may be a real object that actually exists or a virtual object presented on the display device 20 .
  • FIG. 1 shows a virtual ball generated by CG (Computer Graphics) as an example of the object OB.
  • the user U feels the object OB through the haptic device 30 .
  • the information processing apparatus 10 exchanges information with the display device 20, the haptic device 30, and the sensor device 40 via wireless communication.
  • FIG. 2 is a diagram showing an example of the configuration of the information processing device 10. As shown in FIG.
  • the information processing device 10 has a control unit 11 , an operation input unit 12 , a display unit 13 , a storage unit 14 and a communication unit 15 .
  • the control unit 11 functions as an arithmetic processing device and a control device.
  • the control unit 11 controls overall operations in the information processing apparatus 10 according to various programs.
  • the control section 11 has an output signal processing section 16 and an output control section 17 .
  • the output signal processing unit 16 generates output signals (video signals, audio signals, and tactile signals) for the haptic device 30 and the display device 20 based on the content acquired from the content server (not shown) and the storage unit 14 .
  • the tactile signal is a drive signal for an actuator for varying the air pressure of a balloon placed at the palm or finger position.
  • the output control unit 17 outputs the generated output signal to the haptic device 30 and the display device 20 via the communication unit 15 at appropriate timing.
  • the haptic device 30 provides tactile stimulation to the hand HN of the user U based on the tactile signal.
  • tactile feedback tactile feedback
  • the display device 20 displays an image based on the image signal.
  • visual feedback visual feedback regarding the position and movement of the object OB is provided.
  • the communication unit 15 communicates with the haptic device 30 and the display device 20 under the control of the output control unit 17.
  • the communication unit 15 is, for example, a wired/wireless LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), short-range wireless communication, and a mobile communication network (LTE (Long Term Evolution) or 5G (5th generation mobile communication system)), etc., to communicate with other devices.
  • the operation input unit 12 receives an operation instruction from the user U and outputs the operation content to the control unit 11 .
  • Known input devices such as a touch sensor, a pressure sensor, and a proximity sensor are used as the operation input unit 12 .
  • the operation input unit 220 may be a physical configuration such as a keyboard, mouse, buttons, switches, and levers.
  • the display unit 13 displays various information such as application screens and menu screens.
  • a known display device such as an LCD (Liquid Crystal Display) or an OLED (Organic Light Emitting Diode) is used.
  • the storage unit 14 stores programs, calculation parameters, and the like used in the processing of the control unit 11 .
  • the storage unit 14 can temporarily store content acquired from a content server or the like.
  • the control unit 11 controls the presentation period FH (tactile presentation period) of the haptic feedback presented in response to the collision of the object OB based on the weight, flexibility and collision speed of the object OB.
  • FIGS. 3 and 4 show examples of a hard ball (low flexibility object) colliding with the hand HN.
  • 5 to 8 show examples of a soft ball (soft object) colliding with the hand HN.
  • an object the hand HN in the example of FIG. 1 that is a collision target of the object OB will be referred to as a collided object.
  • the collision speed is calculated as the relative speed between the object OB and the colliding object.
  • the weight is appropriately set according to the type and material of the object OB.
  • the weight of the object OB may change according to the progress of the game, the attribute information of the user of the object OB, and the like. For example, if the character throwing the ball is a large person, the ball will be heavy, and the weight can be represented by the magnitude of elastic deformation, deformation time, or vibration intensity or vibration duration. Also, if the number of revolutions of the ball is high, it is possible to set the ball to be lighter.
  • Flexibility is determined based on preset flexibility criteria.
  • Information about flexible criteria is stored in the storage unit 14 .
  • the flexibility criterion is determined for each type of object OB. For example, when the object OB is an elastic body such as a ball, if the elastic modulus is equal to or less than a preset reference value, it is determined that the flexibility criterion is satisfied.
  • An object OB that satisfies the flexibility criteria is hereinafter referred to as a flexible object.
  • a (hard) object OB whose elastic modulus is greater than the reference value and does not satisfy the flexibility criterion is called a low-flexibility object.
  • the control unit 11 changes the vibration waveform of the tactile stimulation according to the flexibility of the object OB. For example, when the object OB is a flexible object (see FIGS. 5 to 8), the control unit 11 sets the vibration waveforms of the tactile stimulation as the vibration waveforms of the contact ON vibration waveform WN, the continuous contact vibration waveform WD, and the contact OFF vibration waveform WN. A tactile signal SG including a temporal vibration waveform WF is generated. When the object OB is a low-flexibility object (see FIGS. 3 and 4), the control unit 11 selectively selects the contact ON vibration waveform WN and the continuous contact vibration waveform WD as the vibration waveform of the tactile stimulation. generates a haptic signal SG containing:
  • the amplitude and frequency of vibration are calculated based on the weight, flexibility and impact speed of the object OB.
  • the waveform calculation processing may be performed at the time of collision, or may be performed prior to the collision by predicting the collision from the trajectory of the object OB.
  • the contact ON vibration waveform WN is a vibration waveform corresponding to the instant tN when contact is made with the object OB.
  • the continuous contact vibration waveform WD is a vibration waveform corresponding to the contact continuation period tD with the object OB.
  • the contact OFF vibration waveform WF is a vibration waveform corresponding to the moment tF when the object OB leaves.
  • the contact ON vibration waveform WN is generated as a vibration waveform whose amplitude momentarily becomes larger than the continuous contact vibration waveform WD at the timing of the collision of the object OB.
  • the contact OFF vibration waveform WF is generated as a vibration waveform whose amplitude momentarily becomes larger than the continuous contact vibration waveform WD at the timing of rebound of the object OB.
  • Amplitude at collision and amplitude at rebound are determined based on the weight, flexibility and collision speed of the object OB.
  • the amplitude at the time of collision and the amplitude at the time of rebound are sufficiently larger than the continuous contact vibration waveform WD.
  • the amplitude at the time of collision and the amplitude at the time of rebound are set to be two or more times the average value of the amplitude of the continuous contact vibration waveform WD. This gives a clear perception of when the flexible object hits and bounces.
  • the touch-off vibration waveform WF is not included in the haptic signal SG. This is because a low-flexibility object that is difficult to deform does not generate a large repulsion due to elastic restoring force.
  • the user U recognizes the contact between the hand HN and the object OB from the image on the display device 20 .
  • the user obtains contact with the object OB presented as an image as visual feedback.
  • the control unit 11 uses physical simulation to calculate the contact time between the hand HN and the object OB.
  • the control unit 11 determines the calculated contact time as the visual feedback presentation period FC regarding contact with the object OB.
  • the control unit 11 calculates the visual feedback presentation period FC based on the weight, flexibility, and collision speed of the low-flexibility object.
  • the control unit 11 adjusts the size of the haptic feedback presentation period FH according to the size of the visual feedback presentation period FC.
  • the object OB in FIG. 3 is very hard, and the contact time (visual feedback presentation period FC) in contact with the hand HN is also very short.
  • the object OB in FIG. 4 is softer than the object OB in FIG. 3, so the visual feedback presentation period FC is also longer than in the example of FIG.
  • the control unit 11 compares the visual feedback presentation period FC with a preset threshold value TL, and adjusts the haptic feedback presentation period FH based on the comparison result.
  • the visual feedback presentation period FC is smaller than the preset threshold TL.
  • the control unit 11 matches the presentation period FH of the haptic feedback with the threshold TL.
  • the visual feedback presentation period FC is equal to or greater than the threshold TL.
  • the control unit 11 matches the haptic feedback presentation period FH with the visual feedback presentation period FC.
  • the magnitude of the threshold TL is set based on the limit of human perceptual ability to perceive the collision of the object OB.
  • the magnitude of the threshold TL may be set based on a sensory test or the like. Since a low-flexibility object undergoes little deformation upon impact, the contact time with the hand HN is short. With a very hard object OB, the contact time is very short, and if the haptic feedback presentation period FH is set according to the contact time, the tactile stimulus may become imperceptibly small. However, in the configuration of the present disclosure, the haptic feedback presentation period FH is not set to a short period that cannot be perceived by humans. Therefore, the collision of the object OB is reliably perceived by the user U.
  • the control unit 11 matches the tactile feedback presentation period FH and the visual feedback presentation period FC (contact time between the hand HN and the object OB).
  • the control unit 11 converts the haptic signal SG into a signal including the vibration waveform WN at contact ON, the vibration waveform WD at continuous contact, and the vibration waveform WF at contact OFF. (see FIGS. 5-8).
  • the collision speed of the object OB increases in the order of FIGS. 5, 6 and 8.
  • the control unit 11 controls the continuous contact vibration period including the no-vibration period NB within the continuous contact period tD.
  • the no-vibration period NB is a period during which the amplitude is substantially zero. This reduces the load on the actuator. Further, by providing the non-vibration period NB, the feeling that the deformation reaches a saturated state and further deformation is stopped is reproduced. Therefore, it is possible to realistically reproduce the feeling when the object OB is greatly deformed.
  • the vibration waveform of the tactile signal SG can be adjusted to protect the actuator.
  • the control unit 11 when the contact continuation period tD is greater than a preset threshold value Td, the control unit 11 generates the contact continuation vibration waveform WD having a smaller amplitude than when the contact continuation period tD is equal to or less than the threshold value Td.
  • the threshold Td is, for example, 5 seconds, but the length of the threshold Td is not limited to this.
  • the threshold Td is arbitrarily set according to the type of actuator.
  • the object OB collides at the same speed as in FIG.
  • the amplitude AM0 is calculated as the amplitude of the contact continuation period tD.
  • the contact continuation vibration waveform WD having the amplitude AM0 calculated by the physical simulation is generated (see the upper diagram in FIG. 7).
  • the vibration waveform WD at the time of contact continuation is generated with an amplitude AM1 that is smaller than the amplitude AM0 calculated by the physical simulation (see the lower diagram in FIG. 7).
  • the haptic feedback presentation period FH was controlled based on the weight, flexibility and collision speed of the object OB.
  • the control unit 11 can also control the presentation period FH of the haptic feedback in consideration of the flexibility of the object to collide with the object OB (the hand HN in the example of FIG. 1).
  • the hardness of the hand HN is different between when the hand HN is open and when the hand HN is tightly clenched.
  • the amount of deformation of the object OB that is, the period during which tactile feedback should be presented is greater when the object OB collides with a hard fist than when the object OB collides with the palm.
  • Considering the hardness of the impacted object which varies according to the shape of the impacted object, provides better tactile feedback.
  • the control unit 11 can also change the properties of the object OB according to the parameters of the real environment in which the collision takes place. For example, the control unit 11 changes the flexibility of the object OB according to the temperature of the object OB at the time of collision. When the temperature of the real environment of the AR experience is low, the elastic modulus of the object OB is set high accordingly. Further, when the temperature of the object OB virtually rises due to repeated collisions, the elastic modulus of the object OB is set low accordingly. This provides realistic tactile feedback according to temperature.
  • FIG. 9 is a diagram showing an example of the processing flow of the information processing device 10. As shown in FIG.
  • the control unit 11 determines whether the object OB that collides with the hand HN is a flexible object that satisfies the flexibility criteria (step S1).
  • step S2 the control unit 11 selects the vibration waveform WN during contact ON and the vibration waveform WD during continuous contact as the vibration waveform of the tactile stimulus. (Step S2).
  • control unit 11 determines whether or not the visual feedback presentation period FC is smaller than the threshold TL (step S3).
  • step S3: No When the visual feedback presentation period FC is equal to or greater than the threshold TL (step S3: No), the control unit 11 matches the haptic feedback presentation period FH with the visual feedback presentation period FC (step S4). If the visual feedback presentation period FC is smaller than the threshold TL (step S3: Yes), the control unit 11 matches the haptic feedback presentation period FH with the threshold TL (step S5).
  • the control unit 11 generates a haptic signal SG using the presentation period FH of the haptic feedback and the vibration waveform information (step S9).
  • step S6 the control unit 11 selects the vibration waveform WN at contact ON, the vibration waveform WD at continuous contact, and the vibration waveform WF at contact OFF as the vibration waveform of the tactile stimulation.
  • the control unit 11 determines whether or not the visual feedback presentation period FC is greater than the threshold TH (step S7). When the visual feedback presentation period FC is longer than the threshold TH (step S7: Yes), the control unit 11 introduces a non-vibration period NB within the contact continuation period. When the visual feedback presentation period FC is equal to or less than the threshold TH (step S7: No), the control unit 11 does not introduce the non-vibration period NB within the contact continuation period.
  • the control unit 11 generates a tactile signal SG using information on the vibration waveform and information on the presence or absence of the non-vibration period NB (step S9).
  • FIG. 10 is a diagram showing a hardware configuration example of the information processing apparatus 10. As shown in FIG.
  • the information processing device 10 is realized by a computer 1000.
  • the computer 1000 has a CPU 1100 , a RAM 1200 , a ROM (Read Only Memory) 1300 , a HDD (Hard Disk Drive) 1400 , a communication interface 1500 and an input/output interface 1600 .
  • Each part of computer 1000 is connected by bus 1050 .
  • the CPU 1100 operates based on programs stored in the ROM 1300 or HDD 1400 and controls each section. For example, the CPU 1100 loads programs stored in the ROM 1300 or HDD 1400 into the RAM 1200 and executes processes corresponding to various programs.
  • the ROM 1300 stores a boot program such as BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, and programs dependent on the hardware of the computer 1000.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records programs executed by the CPU 1100 and data (including various databases) used by these programs.
  • HDD 1400 is a recording medium that records an information processing program according to the present disclosure, which is an example of program data 1450 .
  • a communication interface 1500 is an interface for connecting the computer 1000 to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device via the communication interface 1500, and transmits data generated by the CPU 1100 to another device.
  • the input/output interface 1600 is an interface for connecting the input/output device 1650 and the computer 1000 .
  • the CPU 1100 receives data from input devices such as a keyboard and mouse via the input/output interface 1600 .
  • the CPU 1100 also transmits data to an output device such as a display, speaker, or printer via the input/output interface 1600 .
  • the input/output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium.
  • Media include, for example, optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable disk), magneto-optical recording media such as MO (Magneto-Optical disk), tape media, magnetic recording media, semiconductor memories, etc. is.
  • the CPU 1100 of the computer 1000 implements the various functions described above by executing programs loaded on the RAM 1200.
  • the HDD 1400 also stores a program for causing a computer to function as the information processing apparatus 10 .
  • CPU 1100 reads and executes program data 1450 from HDD 1400 , as another example, these programs may be obtained from another device via external network 1550 .
  • the information processing device 10 has a control unit 11 .
  • the control unit 11 controls the presentation period FH of the haptic feedback presented in response to the collision of the object OB based on the flexibility of the object OB.
  • the processing of the information processing apparatus 10 is executed by the computer 1000 .
  • the program of the present disclosure causes the computer 1000 to implement the processing of the information processing apparatus 10 .
  • the control unit 11 When the object OB is a flexible object that satisfies the flexibility criteria, the control unit 11 generates a tactile signal including a contact ON vibration waveform WN, a continuous contact vibration waveform WD, and a contact OFF vibration waveform WF as the vibration waveform of the tactile stimulus. Generate SG.
  • the control unit 11 When the visual feedback presentation period FC calculated based on the flexibility of the flexible object is greater than the threshold TH, the control unit 11 generates a continuous contact vibration waveform WD including a no-vibration period NB within the continuous contact period tD. to generate
  • the control unit 11 When the contact duration tD is greater than the threshold Td, the control unit 11 generates the vibration waveform WD during continuous contact with a smaller amplitude than when the contact duration tD is equal to or less than the threshold Td.
  • the control unit 11 When the object OB is a low-flexibility object that does not meet the flexibility standard, the control unit 11 generates a tactile signal SG that selectively includes a contact-ON vibration waveform WN and a continuous-contact vibration waveform WD as the vibration waveform of the tactile stimulus. Generate.
  • the control unit 11 matches the haptic feedback presentation period FH with the threshold TL.
  • the control unit 11 matches the haptic feedback presentation period FH with the visual feedback presentation period FC.
  • the haptic feedback presentation period FH does not become excessively short. Therefore, the user U can reliably perceive the object OB based on the tactile stimulation.
  • the control unit 11 controls the presentation period FH of the haptic feedback, taking into consideration the flexibility of the colliding object that collides with the object OB.
  • the deformation state of the object OB which changes depending on the flexibility (hardness) of the collided object, is realistically reproduced through tactile stimulation.
  • the control unit 11 changes the flexibility of the object OB according to the temperature of the object OB at the time of collision.
  • FIG. 11 is a diagram showing another application example of the information processing apparatus 10. As shown in FIG.
  • the haptic control method of the present disclosure was applied to the manipulation of virtual objects.
  • the object OB to be manipulated is not limited to the virtual object.
  • the haptic control technique of the present disclosure is applied to manipulation of real objects that actually exist.
  • the information processing system in FIG. 11 performs a golf simulation using an actual golf club GC and golf ball GB.
  • the display device 20 projects the view of the golf course onto the screen SCR.
  • a user U uses a golf club GC to hit a golf ball GB toward the screen SCR.
  • the control unit 11 analyzes the swing using a sensor such as a camera, and reproduces the trajectory of the golf ball GB on the screen SCR.
  • the golf club GC incorporates a haptic device 30.
  • the control unit 11 calculates the collision speed between the club head CH (colliding object TG) and the golf ball GB based on the analysis result of the swing.
  • the weight and flexibility of the golf ball GB can be set by the system.
  • the control unit 11 controls the vibration waveform of the tactile signal SG based on the weight, flexibility and impact speed of the golf ball GB.
  • the object OB to be manipulated is a golf ball GB that is a real object, realistic tactile feedback can be obtained by the same processing as in the example of FIG.
  • haptic feedback and visual feedback were controlled according to the flexibility of the OB of the object. This control technique is applicable beyond haptic and visual feedback.
  • auditory feedback may be provided using similar techniques.
  • An information processing apparatus comprising a control unit that controls a presentation period of haptic feedback presented in response to collision of an object based on flexibility of the object.
  • the control unit sets the vibration waveform of the tactile stimulus as a contact-on vibration waveform corresponding to the moment of contact with the object and a duration of contact with the object. generating a haptic signal including a continuous contact vibration waveform corresponding to and a contact OFF vibration waveform corresponding to the moment the object leaves;
  • the control unit controls the continuous contact vibration waveform including a no-vibration period within the continuous contact period. to generate The information processing apparatus according to (2) above.
  • the control unit When the contact continuation period is greater than a second threshold, the control unit generates the contact continuation vibration waveform having a smaller amplitude than when the contact continuation period is equal to or less than the second threshold.
  • the control unit selectively includes the vibration waveform at the time of contact ON and the vibration waveform at the time of continuous contact as the vibration waveform of the tactile sense stimulus.
  • the control unit matches the haptic feedback presentation period with the third threshold, and If the visual feedback presentation period is equal to or greater than the third threshold, matching the haptic feedback presentation period with the visual feedback presentation period; The information processing apparatus according to (5) above.
  • the control unit controls the presentation period of the haptic feedback, taking into consideration the flexibility of a collided object that collides with the object.
  • the information processing apparatus according to any one of (1) to (6) above.
  • the control unit changes the flexibility of the object according to the temperature of the object at the time of collision.
  • a computer-implemented method of information processing comprising controlling a presentation duration of haptic feedback presented in response to an impact of an object based on the flexibility of said object.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

情報処理装置（１０）は、制御部（１１）を有する。制御部（１１）は、物体の衝突に応答して提示される触覚フィードバックの提示期間を物体の柔軟性に基づいて制御する。

Description

情報処理装置、情報処理方法およびプログラム
　本発明は、情報処理装置、情報処理方法およびプログラムに関する。
　振動などの機械的刺激により人間の皮膚感覚（触覚）を人工的に再現する技術が知られている。この種の技術はハプティクス技術と呼ばれる。ハプティクス技術は、物体の動きや質感などをリアルに再現できることから、ＸＲ（Ｅｘｔｅｎｄｅｄ　Ｒｅａｌｉｔｙ）などへの応用が期待されている。
特表平１０－５１３５９３号公報
　物体とのインタラクションでは、物理シミュレーションに基づいて視覚および触覚によるフィードバックが行われる。物理シミュレーションに基づく触覚フィードバックの手法については、確立されたものが少なく、特に物体の柔軟性を表現する方法については殆ど検討されていないのが実情である。触覚刺激の提示時間は表示映像における接触時間と同じ時間に設定されるが、物体の柔軟性を考慮すると、両者を一致させることは必ずしも適切でない場合がある。
　そこで、本開示では、物体の柔軟性を考慮した適切な触覚フィードバックを行うことが可能な情報処理装置、情報処理方法およびプログラムを提案する。
　本開示によれば、物体の衝突に応答して提示される触覚フィードバックの提示期間を前記物体の柔軟性に基づいて制御する制御部を有する、情報処理装置が提供される。また、本開示によれば、前記情報処理装置の情報処理がコンピュータにより実行される情報処理方法、ならびに、前記情報処理装置の情報処理をコンピュータに実現させるプログラムが提供される。
ハプティックデバイスを用いた情報処理システムの概要を説明する図である。 情報処理装置の構成の一例を示す図である。 情報処理装置が行う情報処理の一例を説明する図である。 情報処理装置が行う情報処理の一例を説明する図である。 情報処理装置が行う情報処理の一例を説明する図である。 情報処理装置が行う情報処理の一例を説明する図である。 情報処理装置が行う情報処理の一例を説明する図である。 情報処理装置が行う情報処理の一例を説明する図である。 情報処理装置の処理フローの一例を示す図である。 情報処理装置のハードウェア構成例を示す図である。 情報処理装置の他の適用例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　なお、説明は以下の順序で行われる。
［１．情報処理システムの概要］
［２．情報処理装置の構成］
［３．情報処理方法］
［４．ハードウェア構成例］
［５．効果］
［６．他の適用例］
［１．情報処理システムの概要］
　図１は、ハプティックデバイス３０を用いた情報処理システム１の概要を説明する図である。
　情報処理システム１は、情報処理装置１０、表示デバイス２０、ハプティックデバイス３０およびセンサデバイス４０を有する。
　表示デバイス２０は、ユーザＵに映像および音声を提供する。表示デバイス２０としては、ヘッドマウントディスプレイやＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）グラスなどの公知のウェアラブルディスプレイが用いられる。
　ハプティックデバイス３０は、ユーザＵに触覚刺激を提示する。触覚刺激の提示方法としては、圧電式、静電式および空気圧式などの公知の手法が用いられる。図１の例では、手のひらや指の位置に空気圧式のバルーンを備えたグローブ型のハプティックデバイス３０が示されている。バルーン内の空気圧を変動させることにより触覚刺激が付与される。
　センサデバイス４０は、自己位置情報を検出するための各種センサを含む。この種のセンサとしては、カメラやジャイロセンサなどが挙げられる。センサデバイス４０は、例えば、表示デバイス２０に内蔵されている。情報処理装置１０は、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）などの公知の自己位置推定技術を用いて、センサデータからユーザＵの位置および姿勢に関する情報（自己位置情報）を抽出する。
　情報処理装置１０は、物体ＯＢとのインタラクションを行うための様々な処理を実施する。物体ＯＢは、現実に存在する実物体でもよいし、表示デバイス２０に呈示された仮想物体でもよい。図１では、ＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）で生成された仮想的なボールが物体ＯＢの例として示されている。ユーザＵは、ハプティックデバイス３０を介して物体ＯＢの感触を得る。情報処理装置１０は、無線通信を介して表示デバイス２０、ハプティックデバイス３０およびセンサデバイス４０と情報の授受を行う。
［２．情報処理装置の構成］
　図２は、情報処理装置１０の構成の一例を示す図である。
　情報処理装置１０は、制御部１１、操作入力部１２、表示部１３、記憶部１４および通信部１５を有する。制御部１１は、演算処理装置および制御装置として機能する。制御部１１は、各種プログラムに従って情報処理装置１０内の動作全般を制御する。制御部１１は、出力信号処理部１６および出力制御部１７を有する。
　出力信号処理部１６は、コンテンツサーバ（不図示）や記憶部１４から取得したコンテンツに基づいて、ハプティックデバイス３０および表示デバイス２０の出力信号（映像信号、音響信号および触覚信号）を生成する。触覚信号は、手のひらや指の位置に設置されたバルーンの空気圧を変動させるためのアクチュエータの駆動信号である。
　出力制御部１７は、生成された出力信号を通信部１５を介して適切なタイミングでハプティックデバイス３０および表示デバイス２０に出力する。ハプティックデバイス３０は、触覚信号に基づいてユーザＵの手ＨＮに触覚刺激を付与する。これにより、物体ＯＢの質感や動きなどに関する触覚的なフィードバック（触覚フィードバック）が行われる。表示デバイス２０は、映像信号に基づいて映像を表示する。これにより、物体ＯＢの位置や動きなどに関する視覚的なフィードバック（視覚フィードバック）が行われる。
　通信部１５は、出力制御部１７の制御に従ってハプティックデバイス３０および表示デバイス２０と通信を行う。通信部１５は、例えば、有線／無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信、および、携帯通信網（ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）または５Ｇ（第５世代の移動体通信方式））等を用いて他のデバイスと通信を行う。
　操作入力部１２は、ユーザＵによる操作指示を受付け、その操作内容を制御部１１に出力する。操作入力部１２としては、タッチセンサ、圧力センサおよび近接センサなどの公知の入力デバイスが用いられる。操作入力部２２０は、キーボード、マウス、ボタン、スイッチ、およびレバーなどの物理的構成であってもよい。
　表示部１３は、アプリケーションの画面やメニュー画面などの各種情報を表示する。表示部１３としては、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）やＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）などの公知の表示デバイスが用いられる。
　記憶部１４は、制御部１１の処理に用いられるプログラムおよび演算パラメータ等を記憶する。記憶部１４は、コンテンツサーバなどから取得したコンテンツを一時記憶することができる。
［３．情報処理方法］
　図３ないし図８は、情報処理装置１０が行う情報処理の一例を説明する図である。
　制御部１１は、物体ＯＢの衝突に応答して提示される触覚フィードバックの提示期間ＦＨ（触覚提示期間）を物体ＯＢの重さ、柔軟性および衝突速度に基づいて制御する。図３および図４には、硬いボール（低柔軟物体）が手ＨＮに衝突する例が示されている。図５ないし図８には、柔らかいボール（柔軟物体）が手ＨＮに衝突する例が示されている。以下、物体ＯＢの衝突対象となる物体（図１の例では手ＨＮ）を被衝突物体と呼ぶ。
　衝突速度は、物体ＯＢと被衝突物体との間の相対速度として算出される。重さは、物体ＯＢの種類や素材などに応じて適切に設定される。ゲームで使用される物体ＯＢについては、ゲームの進行状況や物体ＯＢの使用者の属性情報などに応じて物体ＯＢの重さが変化してもよい。例えば、ボールを投げるキャラクタが大きい人だったらボールが重くなり、その重さが弾性変形の大きさや変形時間、あるいは、振動強度や振動継続時間によって表現されるなどの構成が考えられる。また、ボールの回転数が大きい場合には、ボールが軽くなどの設定も可能である。
　柔軟性は、予め設定された柔軟基準に基づいて判定される。柔軟基準に関する情報は記憶部１４に記憶されている。柔軟基準は、物体ＯＢの種類ごとに決められる。例えば、物体ＯＢがボールなどの弾性体である場合、弾性率が予め設定された基準値以下であれば、柔軟基準を満たすと判定される。以下、柔軟基準を満たす物体ＯＢを柔軟物体と呼ぶ。弾性率が基準値よりも大きく、柔軟基準に満たない（硬い）物体ＯＢは低柔軟物体と呼ぶ。
　制御部１１は、物体ＯＢの柔軟性に応じて触覚刺激の振動波形を異ならせる。例えば、物体ＯＢが柔軟物体である場合には（図５ないし図８を参照）、制御部１１は、触覚刺激の振動波形として、接触ＯＮ時振動波形ＷＮ、接触継続時振動波形ＷＤおよび接触ＯＦＦ時振動波形ＷＦを含む触覚信号ＳＧを生成する。物体ＯＢが低柔軟物体である場合には（図３および図４を参照）、制御部１１は、触覚刺激の振動波形として、接触ＯＮ時振動波形ＷＮおよび接触継続時振動波形ＷＤを選択的に含む触覚信号ＳＧを生成する。
　振動の振幅および周波数は物体ＯＢの重さ、柔軟性および衝突速度に基づいて算出される。波形計算の処理は、衝突時に行われてもよいが、物体ＯＢの軌道から衝突の予測を行うことで、衝突に先立って行われてもよい。
　接触ＯＮ時振動波形ＷＮは、物体ＯＢと接触した瞬間ｔＮに対応する振動波形である。接触継続時振動波形ＷＤは、物体ＯＢとの接触継続期間ｔＤに対応する振動波形である。接触ＯＦＦ時振動波形ＷＦは、物体ＯＢが離れる瞬間ｔＦに対応する振動波形である。
　接触ＯＮ時振動波形ＷＮは、物体ＯＢの衝突のタイミンで瞬間的に振幅が接触継続時振動波形ＷＤよりも大きくなるような振動波形として生成される。接触ＯＦＦ時振動波形ＷＦは、物体ＯＢの跳ね返りのタイミングで瞬間的に振幅が接触継続時振動波形ＷＤよりも大きくなるような振動波形として生成される。これにより、衝突時の衝撃と跳ね返り時の弾性復元力による反発がリアルに再現される。
　衝突時の振幅および跳ね返り時の振幅は、物体ＯＢの重さ、柔軟性および衝突速度に基づいて決められる。衝突および跳ね返りをユーザＵに知覚させるために、衝突時の振幅および跳ね返り時の振幅は、接触継続時振動波形ＷＤよりも十分に大きくすることが望ましい。例えば、衝突時の振幅および跳ね返り時の振幅は、接触継続時振動波形ＷＤの振幅の平均値の２倍以上に設定される。これにより、柔軟物体の衝突のタイミングおよび跳ね返りのタイミングが明確に知覚される。
　物体ＯＢが低柔軟物体である場合には（図３および図４を参照）、触覚信号ＳＧには接触ＯＦＦ時振動波形ＷＦは含まれない。変形しにくい低柔軟物体では、弾性復元力に起因した大きな反発が生じないからである。
　すなわち、柔軟物体では、衝突時の変形によって大きな弾性復元力が生じる。弾性復元力はそのまま反発力となって物体ＯＢを大きく跳ね返らせる。反発力によって手ＨＮをはじくような特有の感触が接触ＯＦＦ時振動波形ＷＦによって再現される。しかし、低柔軟物体では、衝突時の変形が小さいため、物体ＯＢが手ＨＮにめり込むような感触しか得られず、手ＨＮをはじくような特有の感触は得られにくい。そのため、跳ね返り時の反発の感触を再現する接触ＯＦＦ時振動波形ＷＦは省略される。
　ユーザＵは、手ＨＮと物体ＯＢとの接触を表示デバイス２０の映像によって認識する。ユーザは、映像として提示される物体ＯＢとの接触を視覚フィードバックとして取得する。制御部１１は、物理シミュレーションを用いて、手ＨＮと物体ＯＢとの接触時間を算出する。制御部１１は、算出された接触時間を、物体ＯＢとの接触に関する視覚フィードバックの提示期間ＦＣとして決定する。
　制御部１１は、低柔軟物体の重さ、柔軟性および衝突速度に基づいて視覚フィードバックの提示期間ＦＣを算出する。制御部１１は、視覚フィードバックの提示期間ＦＣの大きさに応じて触覚フィードバックの提示期間ＦＨの大きさを調整する。
　例えば、図３の物体ＯＢは非常に硬く、手ＨＮと接触している接触時間（視覚フィードバックの提示期間ＦＣ）も非常に短い。図４の物体ＯＢは図３の物体ＯＢよりは柔らかく、それゆえ視覚フィードバックの提示期間ＦＣも図３の例よりも長い。制御部１１は、視覚フィードバックの提示期間ＦＣを、予め設定された閾値ＴＬと比較し、比較結果に基づいて、触覚フィードバックの提示期間ＦＨを調整する。
　例えば、図３の例では、視覚フィードバックの提示期間ＦＣは予め設定された閾値ＴＬよりも小さい。この場合には、制御部１１は、触覚フィードバックの提示期間ＦＨを閾値ＴＬと一致させる。図４の例では、視覚フィードバックの提示期間ＦＣは閾値ＴＬ以上である。この場合には、制御部１１は、触覚フィードバックの提示期間ＦＨを視覚フィードバックの提示期間ＦＣと一致させる。
　閾値ＴＬの大きさは、物体ＯＢの衝突を知覚する人間の知覚能力の限界値に基づいて設定される。閾値ＴＬの大きさは、官能テストなどに基づいて設定されてもよい。低柔軟物体では、衝突時の変形が小さいため、手ＨＮとの接触時間は短くなる。非常に硬い物体ＯＢでは、接触時間が非常に短くなり、接触時間に合わせて触覚フィードバックの提示期間ＦＨを設定すると、触覚刺激が知覚できないほど小さくなる場合がある。しかし、本開示の構成では、触覚フィードバックの提示期間ＦＨは、人間が知覚できないような短い期間に設定されない。そのため、物体ＯＢの衝突がユーザＵによって確実に知覚される。
　物体ＯＢが柔軟物体である場合には、上述のような調整は行われない。柔軟物体では、衝突時の変形が大きいため、手ＨＮとの接触時間も長くなる。そのため、物体ＯＢの衝突は確実にユーザＵに知覚されると考えられる。よって、制御部１１は、触覚フィードバックの提示期間ＦＨと視覚フィードバックの提示期間ＦＣ（手ＨＮと物体ＯＢとの接触時間）とを一致させる。
　前述したように、物体ＯＢが柔軟物体である場合には、制御部１１は、触覚信号ＳＧを、接触ＯＮ時振動波形ＷＮ、接触継続時振動波形ＷＤおよび接触ＯＦＦ時振動波形ＷＦを含む信号として生成する（図５ないし図８を参照）。
　図５ないし図８の例では、図５、図６および図８の順に物体ＯＢの衝突速度が大きくなっている。衝突速度が大きいほど、接触継続期間ｔＤは長くなり、触覚刺激を生成するためのアクチュエータへの負荷が大きくなる。そのため、図８に示すように、視覚フィードバックの提示期間ＦＣが予め設定された閾値ＴＨよりも大きい場合には、制御部１１は、接触継続期間ｔＤ内に無振動期間ＮＢを含む接触継続時振動波形ＷＤを生成する。無振動期間ＮＢは、実質的に振幅がゼロとなる期間である。これにより、アクチュエータへの負荷が低減される。また、無振動期間ＮＢを設けることで、変形が飽和状態に達してそれ以上の変形が停止されたような感覚が再現される。そのため、物体ＯＢが大きく変形したときの感触をリアルに再現することができる。
　なお、図７に示すように、視覚フィードバックの提示期間ＦＣが閾値ＴＨ以下であっても、アクチュエータの保護のために、触覚信号ＳＧの振動波形を調整することができる。例えば、制御部１１は、接触継続期間ｔＤが予め設定された閾値Ｔｄよりも大きい場合には、接触継続期間ｔＤが閾値Ｔｄ以下である場合よりも振幅が小さい接触継続時振動波形ＷＤを生成することができる。閾値Ｔｄは例えば５秒であるが、閾値Ｔｄの長さはこれに限定されない。閾値Ｔｄは、アクチュエータの種類などに応じて任意に設定される。
　図７の例では、図６と同様の速度で物体ＯＢの衝突が行われる。物理シミュレーションでは、接触継続期間ｔＤの振幅として振幅ＡＭ０が算出される。接触継続期間ｔＤが閾値Ｔｄ以下である場合には、物理シミュレーションで算出された振幅ＡＭ０の接触継続時振動波形ＷＤが生成される（図７の上側の図を参照）。しかし、接触継続期間ｔＤが閾値Ｔｄよりも大きい場合には、物理シミュレーションで算出された振幅ＡＭ０よりも小さい振幅ＡＭ１の接触継続時振動波形ＷＤが生成される（図７の下側の図を参照）。
　図５ないし図８の例では、触覚フィードバックの提示期間ＦＨが物体ＯＢの重さ、柔軟性および衝突速度に基づいて制御された。しかし、制御部１１は、物体ＯＢと衝突する被衝突物体（図１の例では手ＨＮ）の柔軟性を加味して触覚フィードバックの提示期間ＦＨを制御することもできる。
　例えば、手ＨＮを開いた状態と手ＨＮを硬く握りしめた状態とでは、手ＨＮの硬さは異なる。手のひらに物体ＯＢが衝突するよりも、硬い握りこぶしに物体ＯＢが衝突するほうが、物体ＯＢの変形量、すなわち触覚フィードバックを提示すべき期間は大きくなる。被衝突物体の形態に応じて変わる被衝突物体の硬さを考慮することで、より適切な触覚フィードバックが提供される。
　制御部１１は、物体ＯＢの特性を、衝突が行われる実環境のパラメータに応じて変化させることもできる。例えば、制御部１１は、衝突時の物体ＯＢの温度に応じて物体ＯＢの柔軟性を変化させる。ＡＲ体験の実環境の温度が低い場合には、それに応じて物体ＯＢの弾性係数は高く設定される。また、衝突を繰り返すことで物体ＯＢの温度が仮想的に上昇する場合には、物体ＯＢの弾性係数はそれに応じて低く設定される。これにより、温度に応じたリアルな触覚フィードバックが行われる。
　図９は、情報処理装置１０の処理フローの一例を示す図である。
　制御部１１は、手ＨＮと衝突する物体ＯＢが柔軟基準を満たす柔軟物体であるか否かを判定する（ステップＳ１）。
　物体ＯＢが柔軟基準に満たない低柔軟物体である場合には（ステップＳ１：Ｎｏ）、制御部１１は、触覚刺激の振動波形として接触ＯＮ時振動波形ＷＮおよび接触継続時振動波形ＷＤを選択する（ステップＳ２）。
　物体ＯＢが低柔軟物体である場合、制御部１１は、視覚フィードバックの提示期間ＦＣが閾値ＴＬよりも小さいか否かを判定する（ステップＳ３）。
　視覚フィードバックの提示期間ＦＣが閾値ＴＬ以上である場合には（ステップＳ３：Ｎｏ）、制御部１１は、触覚フィードバックの提示期間ＦＨを視覚フィードバックの提示期間ＦＣと一致させる（ステップＳ４）。視覚フィードバックの提示期間ＦＣが閾値ＴＬよりも小さい場合には（ステップＳ３：Ｙｅｓ）、制御部１１は、触覚フィードバックの提示期間ＦＨを閾値ＴＬと一致させる（ステップＳ５）。
　制御部１１は、触覚フィードバックの提示期間ＦＨおよび振動波形の情報を用いて触覚信号ＳＧを生成する（ステップＳ９）。
　物体ＯＢが柔軟物体である場合には（ステップＳ１：Ｙｅｓ）、制御部１１は、触覚刺激の振動波形として接触ＯＮ時振動波形ＷＮ、接触継続時振動波形ＷＤおよび接触ＯＦＦ時振動波形ＷＦを選択する（ステップＳ６）。
　物体ＯＢが柔軟物体である場合、制御部１１は、視覚フィードバックの提示期間ＦＣが閾値ＴＨよりも大きいか否かを判定する（ステップＳ７）。視覚フィードバックの提示期間ＦＣが閾値ＴＨよりも大きい場合には（ステップＳ７：Ｙｅｓ）、制御部１１は、接触継続期間内に無振動期間ＮＢを導入する。視覚フィードバックの提示期間ＦＣが閾値ＴＨ以下である場合には（ステップＳ７：Ｎｏ）、制御部１１は、接触継続期間内に無振動期間ＮＢを導入しない。
　制御部１１は、振動波形の情報および無振動期間ＮＢの有無の情報を用いて触覚信号ＳＧを生成する（ステップＳ９）。
［４．ハードウェア構成例］
　図１０は、情報処理装置１０のハードウェア構成例を示す図である。
　情報処理装置１０は、コンピュータ１０００によって実現される。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１４００、通信インタフェース１５００、及び入出力インタフェース１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ（各種データベースを含む）等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
　通信インタフェース１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインタフェースである。例えば、ＣＰＵ１１００は、通信インタフェース１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インタフェース１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインタフェースである。例えば、ＣＰＵ１１００は、入出力インタフェース１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インタフェース１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インタフェース１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインタフェースとして機能してもよい。メディアとは、例えばＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ　ｃｈａｎｇｅ　ｒｅｗｒｉｔａｂｌｅ　Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ-Ｏｐｔｉｃａｌ　ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が情報処理装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、上述した各種の機能を実現する。また、ＨＤＤ１４００には、コンピュータを情報処理装置１０として機能させるためのプログラムが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
［５．効果］
　情報処理装置１０は、制御部１１を有する。制御部１１は、物体ＯＢの衝突に応答して提示される触覚フィードバックの提示期間ＦＨを物体ＯＢの柔軟性に基づいて制御する。本開示の情報処理方法は、情報処理装置１０の処理がコンピュータ１０００により実行される。本開示のプログラムは、情報処理装置１０の処理をコンピュータ１０００に実現させる。
　この構成によれば、物体ＯＢの柔軟性を考慮した適切な触覚フィードバックが行われる。
　物体ＯＢが柔軟基準を満たす柔軟物体である場合には、制御部１１は、触覚刺激の振動波形として接触ＯＮ時振動波形ＷＮ、接触継続時振動波形ＷＤおよび接触ＯＦＦ時振動波形ＷＦを含む触覚信号ＳＧを生成する。
　この構成によれば、柔軟物体の柔軟性がよりよく表現される。
　制御部１１は、柔軟物体の柔軟性に基づいて算出される視覚フィードバックの提示期間ＦＣが閾値ＴＨよりも大きい場合には、接触継続期間ｔＤ内に無振動期間ＮＢを含む接触継続時振動波形ＷＤを生成する。
　この構成によれば、変形が飽和状態に達してそれ以上の変形が停止されたような感覚が再現される。そのため、物体ＯＢが大きく変形したときの感触がリアルに再現される。
　制御部１１は、接触継続期間ｔＤが閾値Ｔｄよりも大きい場合には、接触継続期間ｔＤが閾値Ｔｄ以下である場合よりも振幅が小さい接触継続時振動波形ＷＤを生成する。
　この構成によれば、物体ＯＢの変形時の感触をリアルに再現しつつ振動子（触覚刺激を生成するハプティックデバイス３０のアクチュエータ）の保護を図ることができる。
　物体ＯＢが柔軟基準に満たない低柔軟物体である場合には、制御部１１は、触覚刺激の振動波形として接触ＯＮ時振動波形ＷＮおよび接触継続時振動波形ＷＤを選択的に含む触覚信号ＳＧを生成する。
　この構成によれば、物体ＯＢの硬さがリアルに再現される。
　制御部１１は、低柔軟物体の柔軟性に基づいて算出される視覚フィードバックの提示期間ＦＣが閾値ＴＬよりも小さい場合には、触覚フィードバックの提示期間ＦＨを閾値ＴＬと一致させる。制御部１１は、視覚フィードバックの提示期間ＦＣが閾値ＴＬ以上である場合には、触覚フィードバックの提示期間ＦＨを視覚フィードバックの提示期間ＦＣと一致させる。
　この構成によれば、触覚フィードバックの提示期間ＦＨが過度に短くならない。そのため、ユーザＵは、触覚刺激に基づいて確実に物体ＯＢを知覚することができる。
　制御部１１は、物体ＯＢと衝突する被衝突物体の柔軟性を加味して触覚フィードバックの提示期間ＦＨを制御する。
　この構成によれば、被衝突物体の柔軟性（硬さ）によって変化する物体ＯＢの変形状態が触覚刺激を通じてリアルに再現される。
　制御部１１は、衝突時の物体ＯＢの温度に応じて物体ＯＢの柔軟性を変化させる。
　この構成によれば、温度に応じた物体ＯＢの変形状態が触覚刺激を通じてリアルに再現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
［６．他の適用例］
　図１１は、情報処理装置１０の他の適用例を示す図である。
　図１の例では、仮想物体の操作に本開示の触覚制御手法が適用された。しかし、操作対象となる物体ＯＢは仮想物体に限られない。図１１の例では、現実に存在する実物体の操作に本開示の触覚制御手法が適用される。
　図１１の情報処理システムは、実際のゴルフクラブＧＣとゴルフボールＧＢを使ってゴルフシミュレーションを行う。表示デバイス２０はゴルフ場の景色をスクリーンＳＣＲに投射する。ユーザＵは、ゴルフクラブＧＣを使ってスクリーンＳＣＲに向かってゴルフボールＧＢを打つ。制御部１１は、カメラなどのセンサを使ってスイングを解析し、ゴルフボールＧＢの弾道をスクリーンＳＣＲ上で再現する。
　ゴルフクラブＧＣは、ハプティックデバイス３０を内蔵する。制御部１１は、スイングの解析結果に基づいてクラブヘッドＣＨ（被衝突物体ＴＧ）とゴルフボールＧＢとの衝突速度を算出する。ゴルフボールＧＢの重さおよび柔軟性はシステム側で設定することができる。制御部１１は、ゴルフボールＧＢの重さ、柔軟性および衝突速度に基づいて、触覚信号ＳＧの振動波形を制御する。操作対象となる物体ＯＢは、実物体であるゴルフボールＧＢであるが、図１の例と同様の処理によってリアルな触覚フィードバックが得られる。
　なお、上述の例では、物体のＯＢの柔軟性に応じた触覚フィードバックおよび視覚フィードバックの制御が行われた。この制御手法は、触覚フィードバックおよび視覚フィードバック以外にも適用可能である。例えば、同様の手法を用いて、聴覚的なフィードバック（聴覚フィードバック）が行われてもよい。
［付記］
　なお、本技術は以下のような構成も採ることができる。
（１）
　物体の衝突に応答して提示される触覚フィードバックの提示期間を前記物体の柔軟性に基づいて制御する制御部を有する、情報処理装置。
（２）
　前記物体が柔軟基準を満たす柔軟物体である場合には、前記制御部は、触覚刺激の振動波形として、前記物体と接触した瞬間に対応する接触ＯＮ時振動波形と、前記物体との接触継続期間に対応する接触継続時振動波形と、前記物体が離れる瞬間に対応する接触ＯＦＦ時振動波形と、を含む触覚信号を生成する、
　上記（１）に記載の情報処理装置。
（３）
　前記制御部は、前記柔軟物体の柔軟性に基づいて算出される視覚フィードバックの提示期間が第１閾値よりも大きい場合には、前記接触継続期間内に無振動期間を含む前記接触継続時振動波形を生成する、
　上記（２）に記載の情報処理装置。
（４）
　前記制御部は、前記接触継続期間が第２閾値よりも大きい場合には、前記接触継続期間が前記第２閾値以下である場合よりも振幅が小さい前記接触継続時振動波形を生成する、
　上記（３）に記載の情報処理装置。
（５）
　前記物体が前記柔軟基準に満たない低柔軟物体である場合には、前記制御部は、前記触覚刺激の振動波形として、前記接触ＯＮ時振動波形および前記接触継続時振動波形を選択的に含む触覚信号を生成する、
　上記（２）ないし（４）のいずれか１つに記載の情報処理装置。
（６）
　前記制御部は、前記低柔軟物体の柔軟性に基づいて算出される視覚フィードバックの提示期間が第３閾値よりも小さい場合には、前記触覚フィードバックの提示期間を前記第３閾値と一致させ、前記視覚フィードバックの提示期間が前記第３閾値以上である場合には、前記触覚フィードバックの提示期間を前記視覚フィードバックの提示期間と一致させる、
　上記（５）に記載の情報処理装置。
（７）
　前記制御部は、前記物体と衝突する被衝突物体の柔軟性を加味して前記触覚フィードバックの提示期間を制御する、
　上記（１）ないし（６）のいずれか１つに記載の情報処理装置。
（８）
　前記制御部は、衝突時の前記物体の温度に応じて前記物体の柔軟性を変化させる、
　上記（１）ないし（７）のいずれか１つに記載の情報処理装置。
（９）
　物体の衝突に応答して提示される触覚フィードバックの提示期間を前記物体の柔軟性に基づいて制御することを有する、コンピュータにより実行される情報処理方法。
（１０）
　物体の衝突に応答して提示される触覚フィードバックの提示期間を前記物体の柔軟性に基づいて制御することをコンピュータに実現させるプログラム。
１０　情報処理装置
１１　制御部
ＦＣ　視覚フィードバックの提示期間
ＦＨ　触覚フィードバックの提示期間
ＮＢ　無振動期間
ＯＢ　物体
ＳＧ　触覚信号
ｔＤ　接触継続期間
Ｔｄ　閾値（第２閾値）
ＴＨ　閾値（第１閾値）
ＴＬ　閾値（第３閾値）
ＷＤ　接触継続時振動波形
ＷＦ　接触ＯＦＦ時振動波形
ＷＮ　接触ＯＮ時振動波形

Claims (10)

  1. 　物体の衝突に応答して提示される触覚フィードバックの提示期間を前記物体の柔軟性に基づいて制御する制御部を有する、情報処理装置。
  2. 　前記物体が柔軟基準を満たす柔軟物体である場合には、前記制御部は、触覚刺激の振動波形として、前記物体と接触した瞬間に対応する接触ＯＮ時振動波形と、前記物体との接触継続期間に対応する接触継続時振動波形と、前記物体が離れる瞬間に対応する接触ＯＦＦ時振動波形と、を含む触覚信号を生成する、
    　請求項１に記載の情報処理装置。
  3. 　前記制御部は、前記柔軟物体の柔軟性に基づいて算出される視覚フィードバックの提示期間が第１閾値よりも大きい場合には、前記接触継続期間内に無振動期間を含む前記接触継続時振動波形を生成する、
    　請求項２に記載の情報処理装置。
  4. 　前記制御部は、前記接触継続期間が第２閾値よりも大きい場合には、前記接触継続期間が前記第２閾値以下である場合よりも振幅が小さい前記接触継続時振動波形を生成する、
    　請求項３に記載の情報処理装置。
  5. 　前記物体が前記柔軟基準に満たない低柔軟物体である場合には、前記制御部は、前記触覚刺激の振動波形として、前記接触ＯＮ時振動波形および前記接触継続時振動波形を選択的に含む触覚信号を生成する、
    　請求項２に記載の情報処理装置。
  6. 　前記制御部は、前記低柔軟物体の柔軟性に基づいて算出される視覚フィードバックの提示期間が第３閾値よりも小さい場合には、前記触覚フィードバックの提示期間を前記第３閾値と一致させ、前記視覚フィードバックの提示期間が前記第３閾値以上である場合には、前記触覚フィードバックの提示期間を前記視覚フィードバックの提示期間と一致させる、
    　請求項５に記載の情報処理装置。
  7. 　前記制御部は、前記物体と衝突する被衝突物体の柔軟性を加味して前記触覚フィードバックの提示期間を制御する、
    　請求項１に記載の情報処理装置。
  8. 　前記制御部は、衝突時の前記物体の温度に応じて前記物体の柔軟性を変化させる、
    　請求項１に記載の情報処理装置。
  9. 　物体の衝突に応答して提示される触覚フィードバックの提示期間を前記物体の柔軟性に基づいて制御することを有する、コンピュータにより実行される情報処理方法。
  10. 　物体の衝突に応答して提示される触覚フィードバックの提示期間を前記物体の柔軟性に基づいて制御することをコンピュータに実現させるプログラム。
PCT/JP2023/002540 2022-02-08 2023-01-26 情報処理装置、情報処理方法およびプログラム Ceased WO2023153232A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/834,892 US20250110558A1 (en) 2022-02-08 2023-01-26 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022018131 2022-02-08
JP2022-018131 2022-02-08

Publications (1)

Publication Number Publication Date
WO2023153232A1 true WO2023153232A1 (ja) 2023-08-17

Family

ID=87564092

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/002540 Ceased WO2023153232A1 (ja) 2022-02-08 2023-01-26 情報処理装置、情報処理方法およびプログラム

Country Status (2)

Country Link
US (1) US20250110558A1 (ja)
WO (1) WO2023153232A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102889495B1 (ko) * 2024-09-09 2025-11-20 한국기술교육대학교 산학협력단 자기유변 탄성체를 이용한 타격 햅틱을 제공하는 타격 장치 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011096171A (ja) * 2009-11-02 2011-05-12 National Institute Of Information & Communication Technology 多感覚インタラクションシステム
WO2016181469A1 (ja) * 2015-05-11 2016-11-17 富士通株式会社 シミュレーションシステム
WO2017043400A1 (ja) * 2015-09-08 2017-03-16 ソニー株式会社 情報処理装置、方法およびコンピュータプログラム
JP2018106598A (ja) * 2016-12-28 2018-07-05 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
JP2020112978A (ja) * 2019-01-10 2020-07-27 ソニー株式会社 触覚提示装置、触覚提示システムおよび触覚提示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011096171A (ja) * 2009-11-02 2011-05-12 National Institute Of Information & Communication Technology 多感覚インタラクションシステム
WO2016181469A1 (ja) * 2015-05-11 2016-11-17 富士通株式会社 シミュレーションシステム
WO2017043400A1 (ja) * 2015-09-08 2017-03-16 ソニー株式会社 情報処理装置、方法およびコンピュータプログラム
JP2018106598A (ja) * 2016-12-28 2018-07-05 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
JP2020112978A (ja) * 2019-01-10 2020-07-27 ソニー株式会社 触覚提示装置、触覚提示システムおよび触覚提示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102889495B1 (ko) * 2024-09-09 2025-11-20 한국기술교육대학교 산학협력단 자기유변 탄성체를 이용한 타격 햅틱을 제공하는 타격 장치 및 시스템

Also Published As

Publication number Publication date
US20250110558A1 (en) 2025-04-03

Similar Documents

Publication Publication Date Title
US10860105B2 (en) Haptically enabled flexible devices
JP5164226B2 (ja) タッチパネル入力補助装置、同装置を用いたコンピュータ動作方法、および触感連動型プログラム
US11379054B2 (en) Apparatus for use in a virtual reality system
Araujo et al. Snake charmer: Physically enabling virtual objects
US6366272B1 (en) Providing interactions between simulated objects using force feedback
KR20160067766A (ko) 햅틱 신호를 제어하기 위한 시스템 및 방법
JP2019121397A (ja) 仮想物体に接触すること及び仮想物体を把持することに関連する触覚効果を提供するためのシステム及び方法
JP2008134990A (ja) 情報処理装置、情報処理方法
CN109478089A (zh) 多模态触觉效果
EP3333674A1 (en) Systems and methods for compliance simulation with haptics
US11880528B2 (en) Stimulus transmission device
WO2023153232A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2011059862A (ja) 非接地型力覚提示装置
CN108170276B (zh) 输入装置、输入系统、电子装置和感觉呈现方法
KR102154337B1 (ko) 맞춤형 햅틱 효과를 제공하는 방법 및 그를 이용한 시스템
JP2014109818A (ja) 力覚提示システム
Chen et al. A Haptic Device for Tennis Simulation: Dual-Flywheel System for Rendering Virtual Impact
WO2022075136A1 (ja) 信号生成装置、信号生成方法及び信号生成プログラム
US20040113931A1 (en) Human-computer interfaces incorporating haptics and path-based interaction
Oakley Haptic augmentation of the cursor: Transforming virtual actions into physical actions
Wu et al. ACTIVE-Hand: automatic configurable tactile interaction in virtual environment
EP4647873A1 (en) System and method for simulating movement of an object
Mentzelopoulos et al. Hardware interfaces for VR applications: evaluation on prototypes
CN121028987A (zh) 虚拟现实多模态交互方法、边缘计算设备及介质
JP2023150608A (ja) 触覚音提供システム、触覚音提供プログラム、及び、触覚音提供方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23752697

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18834892

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23752697

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP

WWP Wipo information: published in national office

Ref document number: 18834892

Country of ref document: US