WO2018051606A1 - 情報処理装置、情報処理方法、プログラム、及び情報処理システム - Google Patents

情報処理装置、情報処理方法、プログラム、及び情報処理システム Download PDF

Info

Publication number
WO2018051606A1
WO2018051606A1 PCT/JP2017/023472 JP2017023472W WO2018051606A1 WO 2018051606 A1 WO2018051606 A1 WO 2018051606A1 JP 2017023472 W JP2017023472 W JP 2017023472W WO 2018051606 A1 WO2018051606 A1 WO 2018051606A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
information processing
processing apparatus
electronic
tactile sensation
Prior art date
Application number
PCT/JP2017/023472
Other languages
English (en)
French (fr)
Inventor
竹中 幹雄
亮介 村上
秀晃 林
小野 彰
諒 横山
良輔 武内
成治 村松
美緒子 安部
和俊 大野
成瀬 哲也
高橋 哲也
Original Assignee
ソニー株式会社
ソニーモバイルコミュニケーションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社, ソニーモバイルコミュニケーションズ株式会社 filed Critical ソニー株式会社
Priority to US16/327,101 priority Critical patent/US10845881B2/en
Priority to JP2018539531A priority patent/JP6927637B2/ja
Publication of WO2018051606A1 publication Critical patent/WO2018051606A1/ja
Priority to US17/087,689 priority patent/US11327568B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/30Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/322Aspects of commerce using mobile devices [M-devices]
    • G06Q20/3221Access to banking information through M-devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/30Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/36Payment architectures, schemes or protocols characterised by the use of specific devices or networks using electronic wallets or electronic money safes
    • G06Q20/367Payment architectures, schemes or protocols characterised by the use of specific devices or networks using electronic wallets or electronic money safes involving electronic purses or money safes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/36Arrangements for testing, measuring or monitoring the electrical condition of accumulators or electric batteries, e.g. capacity or state of charge [SoC]
    • G01R31/3644Constructional arrangements
    • G01R31/3646Constructional arrangements for indicating electrical conditions or variables, e.g. visual or audible indicators

Definitions

  • the present technology relates to an information processing apparatus, an information processing method, a program, and an information processing system that can present information to a user.
  • an object of the present technology is to provide an information processing apparatus, an information processing method, a program, and an information processing system that allow a user to intuitively grasp information.
  • an information processing apparatus includes an information acquisition unit and a signal output unit.
  • the information acquisition unit acquires electronic information.
  • the signal output unit outputs a first tactile signal for presenting a tactile sensation with respect to an object set corresponding to the acquired electronic information.
  • this information processing apparatus it is possible to replace electronic information with a tactile sensation on an object and present it. As a result, the user can intuitively grasp the information through the presented tactile sensation.
  • the tactile sensation with respect to the object may include a tactile sensation with respect to the container that houses the object corresponding to the acquired electronic information. This makes it possible to intuitively grasp information through a tactile sensation according to an object accommodated in the container.
  • the electronic information may include the type and amount of information.
  • the tactile sensation with respect to the object may include a tactile sensation when the container accommodating the object corresponding to the type of the information corresponding to the amount is moved. This makes it possible to intuitively grasp the type and amount of information presented.
  • the information processing apparatus may further include a motion detection unit that detects a motion of the information processing apparatus.
  • the signal output unit may output the first tactile signal for presenting a tactile sensation when the container is moved based on the detected movement of the information processing apparatus.
  • the electronic information may include a remaining battery level.
  • the tactile sensation with respect to the object may include a tactile sensation when the container containing the liquid in an amount corresponding to the remaining amount of the battery is moved. This makes it possible to intuitively grasp the remaining battery level.
  • the electronic information may include a balance of electronic money.
  • the tactile sensation with respect to the object may include a tactile sensation when the container that accommodates an amount of coins corresponding to the balance of the electronic money is moved. This makes it possible to intuitively grasp the balance of electronic money.
  • the signal output unit may output, as the first tactile information, a drive signal that drives a tactile sense presenting unit that presents a tactile sense with respect to the object by vibration.
  • the tactile sensation with respect to the replaced object can be easily presented by the vibration.
  • the information acquisition unit may acquire the electronic information when a predetermined movement of the information processing apparatus is detected. As a result, the user can execute the presentation of information by moving the information processing apparatus, and can easily grasp the information.
  • the information processing apparatus may further include an information selection unit that selects a type of the electronic information acquired by the information acquisition unit based on the detected movement of the information processing apparatus. Thus, the user can select information to be grasped by moving the information processing apparatus.
  • the signal output unit may output a second haptic signal for presenting a haptic according to the type of the electronic information selected by the information selection unit. As a result, the user can grasp the presented information through the sense of touch.
  • An information processing method is an information processing method executed by a computer system, and includes obtaining electronic information.
  • a first tactile signal for presenting a tactile sensation with respect to the object set corresponding to the acquired electronic information is output.
  • a program causes a computer system to execute the following steps. Obtaining electronic information. Outputting a first tactile signal for presenting a tactile sensation with respect to an object set corresponding to the acquired electronic information.
  • An information processing system includes a first information processing device and a second information processing device.
  • the first information processing apparatus acquires electronic information.
  • the second information processing apparatus is communicable with the first information processing apparatus, and presents a tactile sensation with respect to an object set in correspondence with electronic information acquired by the first information processing apparatus.
  • the user can intuitively grasp information.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • FIG. 1st Embodiment It is a figure which shows the external appearance of the information processing apparatus of 1st Embodiment. It is a block diagram which shows the hardware structural example of information processing apparatus. It is a figure which shows the electrical structural example of a vibration generation part. It is a block diagram which shows the functional structural example of information processing apparatus. It is a flowchart which shows the processing flow of information processing apparatus. It is a figure for demonstrating the tactile sensation shown corresponding to the remaining amount of a battery and the balance of electronic money. It is a table
  • surface which shows typically the relationship between the combination from which the motion of an information processing apparatus differs in 2nd Embodiment, and the kind of information to show. It is a block diagram which shows the functional structural example of information processing apparatus.
  • FIG. 1 is a diagram illustrating an appearance of an information processing apparatus according to the first embodiment of the present technology.
  • FIG. 2 is a block diagram illustrating a hardware configuration example of the information processing apparatus.
  • the information processing apparatus 1 is typically a handheld portable information terminal such as a smartphone that is assumed to be held with one hand.
  • a tablet-type portable information terminal that is larger than a smartphone or a wearable portable information terminal such as a smart watch may be used.
  • the present technology can be applied to any computer.
  • the information processing apparatus 1 includes a housing 2 and a touch panel 3.
  • the user operates the touch panel 3 while holding the housing 2.
  • the user lifts the information processing apparatus 1 along the direction including the vertical component (Z direction) or shakes the information processing apparatus 1 along the direction including the horizontal component (X direction) while holding the housing 2. Is possible. Of course other movements are possible.
  • the information processing apparatus 1 includes a control unit 11, a display unit 12, a communication control unit 13, a sensor unit 14, an operation unit 15, and a storage unit 16 connected to the control unit 11 and the bus 10. And a vibration generating unit 17. These are stored in the housing 2.
  • the control unit 11 includes a CPU (Central Processing Unit) and the like.
  • a CPU (Central Processing Unit) of the control unit 11 loads a program recorded in a ROM (Read Only Memory), which is an example of a computer-readable non-transitory storage medium, to a RAM (Random Access Memory) and executes it. To do.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the storage unit 16 includes a ROM (Read Only Memory), a RAM, and a large capacity storage device such as an HDD (Hard Disk Drive).
  • the ROM stores programs and data executed by the control unit 11 in a fixed manner. A program stored in the ROM is loaded into the RAM.
  • the storage unit 16 stores various information for executing an information presentation method that is an information processing method according to the present technology.
  • the storage unit 16 stores “tactile sensation with respect to an object” set in correspondence with information to be presented to the user.
  • the “tactile sensation with respect to an object” is a tactile sensation that is assumed when the object is touched or moved in the real world, and information for presenting the tactile sensation is stored.
  • the vibration generating unit 17 vibrates at least a part (contact object) of the housing 2 and / or the touch panel 3 to present a tactile sensation to the user.
  • the frequency and amplitude (intensity) of the vibration to be generated various tactile sensations with respect to the object can be reproduced and presented.
  • the information of “tactile sensation with respect to an object” includes information on a waveform including the frequency and amplitude (intensity) of vibration, and information on a change in waveform.
  • the display unit 12 includes an LCD (Liquid Crystal Display), an organic EL (Electroluminescence) display, and the like.
  • the display unit 12 performs arithmetic processing based on the information received from the control unit 11 and displays the generated image signal on the screen.
  • the operation unit 15 includes a touch panel 3 superimposed on the display unit 12 and various physical switches.
  • the operation unit 15 detects an operation from the user (such as a tap operation on the touch panel 3) and outputs it to the control unit 11.
  • the communication control unit 13 is an interface for connecting to a network N such as the Internet.
  • a wireless LAN module such as WiFi is used.
  • a communication module for near field communication such as Bluetooth (registered trademark) may be provided.
  • the sensor unit 14 includes an acceleration sensor, a gyro sensor, a microphone, and one or more amplifiers.
  • the acceleration sensor detects the direction and speed of movement of the information processing apparatus 1.
  • the gyro sensor detects the angle (posture), angular velocity, and angular acceleration of the information processing apparatus 1.
  • the microphone detects vibration of the information processing apparatus 1.
  • the amplifier amplifies information acquired by the acceleration sensor, the gyro sensor, and the microphone, and outputs the amplified information to the control unit 11. Other devices may be used.
  • FIG. 3 is a diagram showing an electrical configuration example of the vibration generating unit according to the present embodiment.
  • the vibration generating unit 17 includes a power amplifier, a high voltage amplifier, a piezoelectric actuator, and a force reactor (registered trademark).
  • the power amplifier amplifies the drive signal input from the signal supply unit 105 (see FIG. 4), and outputs it to the high voltage amplifier and the force reactor.
  • the high voltage amplifier amplifies the drive signal input from the power amplifier and outputs it to the piezoelectric actuator.
  • Piezoelectric actuators and force reactors convert input electrical energy into mechanical energy and generate vibrations.
  • the housing 2 and the like can be vibrated, and a tactile sense corresponding to the information to be presented can be presented.
  • piezoelectric actuators and force reactors may be arranged at a plurality of positions.
  • the configuration of the vibration generating unit 17 is not limited and may be arbitrarily designed.
  • the force generation device disclosed in WO / 2015/151380 can be used as the vibration generating unit 17.
  • an actuator having an arbitrary configuration may be used.
  • the vibration generating unit 17 corresponds to a tactile sense presenting unit in the present embodiment.
  • FIG. 4 is a block diagram illustrating a functional configuration example of the information processing apparatus.
  • the control unit 11 of the information processing apparatus 1 loads a program recorded in a ROM, which is an example of a computer-readable non-transitory storage medium, into the RAM and executes the program, thereby detecting a motion detection unit 101, an information selection unit 102, functions as an information acquisition unit 103, a waveform determination unit 104, and a signal supply unit 105.
  • a ROM which is an example of a computer-readable non-transitory storage medium
  • the motion detection unit 101 detects the motion of the information processing apparatus 1 based on the detection result of the sensor unit 14.
  • the information selection unit 102 selects the type of information to be presented based on the movement of the information processing apparatus 1. That is, the type of electronic information acquired by the information acquisition unit 103 is selected.
  • the information acquisition unit 103 acquires electronic information to be presented.
  • the waveform determination unit 104 determines a vibration waveform for presenting a “tactile sensation with respect to an object” set in correspondence with electronic information.
  • the signal supply unit 105 supplies a drive signal for vibrating the housing 2 or the like with the waveform determined by the waveform determination unit 104 to the vibration generation unit 17.
  • the signal supply unit 105 corresponds to a signal output unit in the present embodiment.
  • the supplied drive signal corresponds to a first tactile signal for presenting “tactile sense with respect to an object”.
  • FIG. 5 is a flowchart illustrating a processing flow of the information processing apparatus.
  • the motion detector 101 monitors the motion of the information processing device 1 based on the direction and speed of movement of the information processing device 1 detected by at least the acceleration sensor of the sensor unit 14 (step 101).
  • the “movement” of the information processing apparatus 1 includes at least the direction and speed of movement.
  • the information selection unit 102 selects the type of information to be presented based on information on the direction and speed of movement. In the present embodiment, the type of information to be presented is selected according to different movements of the information processing apparatus 1.
  • step S102 If the moving distance ⁇ Z is equal to or smaller than the predetermined threshold (NO in step S102), that is, if the information processing apparatus 1 is not lifted, the process proceeds to step 103. Then, it is determined whether or not the movement distance ⁇ X of the information processing apparatus 1 in the direction including the horizontal component (the X direction in FIG. 1) is larger than a predetermined threshold (step 103). “The distance of movement in the direction including the horizontal component is greater than a predetermined threshold” indicates that the user has shaken the information processing apparatus 1.
  • step S103 When the movement distance ⁇ X is equal to or greater than a predetermined threshold (YES in step S103), that is, when the information processing apparatus 1 is shaken, the balance of electronic money is selected as the type of information to be presented.
  • the information selection unit 102 notifies the information acquisition unit 103 of the type of information to be presented (remaining battery level or electronic money balance).
  • the information acquisition unit 103 acquires electronic information based on the notification from the information selection unit 102.
  • the information acquisition unit 103 reads electronic information indicating the current remaining battery level (what percentage) from the storage unit 16 (step S104).
  • the information acquisition unit 103 reads electronic information indicating the current electronic money balance (yen) from the storage unit 16 (step S105).
  • the read information (remaining battery capacity or electronic money balance) is output to the waveform determination unit 104.
  • the waveform determination unit 104 acquires electronic information (remaining battery capacity or electronic money balance) from the information acquisition unit 103.
  • the waveform determination unit 104 determines a waveform for presenting a “tactile sensation with respect to an object” set corresponding to each piece of electronic information (steps S106 and S107). Specifically, the waveform information stored corresponding to the remaining battery level and the balance of electronic money is read from the storage unit 16.
  • FIG. 6 is a diagram for explaining tactile sensations that are presented corresponding to the remaining battery level and the balance of electronic money.
  • Electronic information (remaining battery capacity or electronic money balance) cannot be touched by a person. It is difficult to present electronic information that cannot be touched by humans, or information indicating the amount thereof, to the user in an intuitively recognizable manner through tactile sense using, for example, a haptic method. Therefore, in this embodiment, electronic information that cannot be touched by a person is virtually replaced with a tactile sensation with respect to an actual object.
  • the “tactile sensation with respect to an object” to be replaced is preferably assumed from an object that is frequently touched by the user on a daily basis.
  • a tactile sensation with respect to a container in which an object corresponding to the type of information included in the electronic information is accommodated in an amount corresponding to the amount included in the electronic information is used as the “tactile sensation with respect to the object”.
  • a tactile sensation assumed to be obtained when the container is moved is presented by vibration.
  • a tactile sensation when the container 30 containing the amount of the liquid 31 corresponding to the remaining amount of the battery is moved is presented.
  • the container 30 for storing the liquid 31 for example, a plastic bottle or the like in which water is stored is assumed, but it is not limited to this.
  • the analog amount of the liquid 31 in the container 30 can be intuitively understood. This is because when the amount of the liquid 31 is small and large, when the liquid 31 in the container 30 is shaken, the waveform of vibration generated when the liquid 31 hits the inner wall of the container 30 is different.
  • the amount of liquid corresponding to the remaining amount of the battery means that the amount of the liquid 31 is small if the remaining amount of the battery is small, and the amount of the liquid 31 is large if the remaining amount of the battery is large. It means that there is a correlation (eg, proportional) in the amount of the liquid 31.
  • the waveform information obtained as a result of the simulation is stored in the storage unit 16 in advance. Specifically, a plurality of waveform information obtained as a result of the simulation is stored in the storage unit 16 in association with the remaining amounts of the plurality of batteries.
  • the waveform determination unit 104 reads the waveform information associated with the remaining battery level acquired from the information acquisition unit 103 from the storage unit 16 (step S106).
  • the “tactile sensation on the object” corresponding to the balance of electronic money is a tactile sensation when the container 40 containing coins 41 of an amount corresponding to the balance of electronic money is moved.
  • the container 40 for storing the coins 41 is assumed to be a piggy bank, a glass bottle, or the like, but is not limited thereto.
  • the analog amount of the coins 41 in the container 40 can be intuitively understood. This is because, when the amount of coins 41 is small and large, when the coins 41 in the container 40 move, the waveforms of vibrations that occur when the coins 41 hit the inner wall of the container 40 are different.
  • the amount of coins according to the balance of electronic money means that the amount (number) of coins 41 is small if the balance of electronic money is small, and the amount (number of coins) of coin 41 is large if the balance of electronic money is large. This means that there is a correlation (eg, proportional) between the balance of electronic money and the amount of coins 41.
  • the waveform information obtained as a result of the simulation is stored in the storage unit 16 in advance. Specifically, a plurality of waveform information obtained as a result of simulation is stored in the storage unit 16 in association with each other in a balance of a plurality of electronic money.
  • the waveform determination unit 104 reads waveform information associated with the electronic money balance acquired from the information acquisition unit 103 from the storage unit 16 (step S107).
  • the waveform determination unit 104 supplies the waveform information read from the storage unit 16 to the signal supply unit 105.
  • the signal supply unit 105 acquires waveform information from the waveform determination unit 104.
  • the signal supply unit 105 supplies a drive signal for vibrating the contact target with this waveform to the vibration generating unit 17 (steps S108 and S109).
  • step S110 If the information processing apparatus 1 is neither lifted (NO in step S102) nor shaken (NO in step S103), but the power is on (YES in step S110), the information processing apparatus 1 stands by until a motion is detected (step S110). NO of S101).
  • the information processing apparatus 1 As described above, in the information processing apparatus 1 according to the present embodiment, electronic information that cannot be touched by a person can be replaced with “tactile sense with respect to an object” and presented. For example, the remaining amount of the battery can be intuitively grasped through a tactile sensation according to the movement of the liquid 31 obtained when the information processing apparatus 1 is moved. Further, it becomes possible to intuitively grasp the balance of electronic money through a tactile sensation according to the movement of the coin 41 obtained when the information processing apparatus 1 is moved.
  • electronic information that cannot be touched by humans is replaced with a tactile sensation when an object (liquid, coin) is moved into the container and the container is moved.
  • an object liquid, coin
  • the amount of object according to the electronic information indicating the amount means that the amount of the object is small if the amount of the electronic information is small, and the amount of the object is large if the amount of the electronic information is large. As such, there is a correlation (eg, proportional) between the amount indicated by the electronic information and the amount of the object.
  • the replacement shown in FIG. 6 virtually replaces electronic information with the motion of the object.
  • electronic information that cannot be touched by a person has been virtually replaced by the movement of an object that can be touched by a person.
  • the remaining amount of the battery is virtually replaced with the movement of the liquid 31 in the container 30 when the liquid 30 is put in the container 30 and the container 30 is moved.
  • the balance of electronic money can be virtually replaced by the movement of the coin 41 in the container 40 when the coin 41 is moved into the container 40 and moved.
  • a waveform expressing the replaced motion is generated, and the housing 2 and the like are vibrated.
  • the user can intuitively understand electronic information (information indicating the amount) by sensibly feeling analog vibration.
  • the information selection unit 102 selects the type of information to be presented according to different movements of the information processing apparatus 1. More specifically, the information selection unit 102 selects the remaining battery level when the user lifts the information processing apparatus 1 and selects the balance of electronic money when the user swings the information processing apparatus 1. This eliminates the need for the user to operate the touch panel 3 while viewing the screen in order to select the information to be presented. For this reason, for example, even a user who is uneasy about visual acuity can select the type of information to be presented without any problem. It is also possible to avoid dangers such as walking while looking at the screen of the smartphone.
  • the difference between the first embodiment and the second embodiment is a method of selecting the type of information presented by the information selection unit 102.
  • the information selection unit 102 selects the type of information to be presented according to different movements (lifting and shaking) of the information processing apparatus 1.
  • the information selection unit 102 selects the type of information to be presented according to different combinations of movements (lifting, shaking, etc.) of the information processing apparatus 1.
  • FIG. 7 is a table schematically illustrating a relationship between combinations of different movements of the information processing apparatus and types of information to be presented in the second embodiment.
  • a table (library) indicating a relationship between combinations of different movements of the information processing apparatus and types of information to be presented is stored in the storage unit 16 in advance.
  • the information selection unit 102 refers to the library and selects the type of information to be presented.
  • FIG. 8 is a block diagram illustrating a functional configuration example of the information processing apparatus.
  • FIG. 9 is a flowchart illustrating a processing flow of the information processing apparatus.
  • the information selection unit 102 acquires information on the movement of the information processing apparatus 1, that is, information on the direction and speed of movement, from the movement detection unit 101.
  • the information selection unit 102 determines whether the type of movement of the information processing apparatus 1 is lifting, shaking, or lifting from a horizontal state (step S201).
  • the determination method of “lifting” and “shaking” is the same as in the first embodiment.
  • the “horizontal state” can be determined based on information acquired from the gyro sensor of the sensor unit 14.
  • the information selection unit 102 refers to the library stored in advance in the storage unit 16 and selects a preliminary vibration (vibration) according to the determined type of movement (step S202).
  • “Preliminary vibration” is vibration associated with the type of information to be presented, and is defined in the library together with different types of movement of the user.
  • the preliminary vibration “one time” is associated with the remaining amount of the battery, and the preliminary vibration “two times” is associated with the balance of the electronic money. Further, the preliminary vibration “3 times” is associated with the precipitation amount of the weather (weather).
  • the user understands the information defined in the library in advance, and can grasp the type of information presented based on the number of preliminary vibrations. That is, the “preliminary vibration” is a haptic feedback for confirming the type of information to be presented to the user.
  • the preliminary vibration “one time” is selected, and when “shaking” is determined, the preliminary vibration “twice” is selected.
  • preliminary vibration “3 times” is selected. Based on the number of “preliminary vibrations”, it is possible to determine whether or not the user's own movement is properly input. That is, the “preliminary vibration” can be made to function as haptic feedback for confirming the type of movement determined by the information selection unit 102 to the user.
  • the information selection unit 102 instructs the signal supply unit 105 to supply a drive signal for performing the selected preliminary vibration to the vibration generation unit 17.
  • the signal supply unit 105 supplies a drive signal for performing the selected preliminary vibration to the vibration generation unit 17 (step S203).
  • the vibration generating unit 17 performs preliminary vibration based on the drive signal.
  • the information selection unit 102 determines the type of movement (step S205).
  • the information selection unit 102 selects the information to be presented, whether the type of movement is a movement instructed by the user to re-present the preliminary vibration (for example, movement other than “shake”, “striking”, “rotating”, etc.). It is determined whether the movement is for the purpose (in this embodiment, “shake”) (step S206).
  • the signal selection unit 102 supplies the signal again so as to supply the vibration generator 17 with a drive signal for performing the same number of preliminary vibrations.
  • the unit 105 is instructed (step S203).
  • the information selection unit 102 determines that the movement is to select information to be presented ("shake") (NO in step S206)
  • the information selection unit 102 selects a preliminary action associated with other presentation information (step 202). For example, the number of preliminary operations that is one more than the previous number of preliminary operations is selected.
  • the information processing apparatus 1 can be moved (shake) again to select the type of information. It is possible to easily select presentation information by moving the information processing apparatus 1 until the number of preliminary operations associated with the type of information desired by the user is realized.
  • the information selection unit 102 repeats steps S201 to S206, and determines the type of information to be presented when it does not acquire information on the motion of the information processing apparatus 1 from the motion detection unit 101 (NO in step S204). That is, the detection of the motion of the information processing apparatus 1 and the preliminary vibration are repeated, and the type of information associated with the number of preliminary vibrations presented last is determined as the type of information to be presented. As shown also in FIG. 7, in this embodiment, the combination of the detected motion and the preliminary vibration and the type of information to be presented are defined as follows.
  • the first movement “lift”, then the first preliminary vibration “one time”, and then if there is no movement, the remaining battery level is selected.
  • the first movement “shake”, then the first preliminary vibration “twice”, and then, if there is no movement, the balance of electronic money is selected.
  • the information selection unit 102 notifies the information acquisition unit 103 of the information type (remaining battery level, electronic money balance, weather precipitation) determined by repeating steps S201 to S206.
  • the tactile sensation presented by the preliminary vibration corresponds to a tactile sensation according to the selected electronic type.
  • the drive signal output for executing the preliminary vibration corresponds to the second tactile vibration.
  • the information acquisition unit 103 receives a notification from the information selection unit 102 of the type of information to be presented (the remaining battery level, the balance of electronic money, the amount of precipitation in the weather).
  • the information acquisition unit 103 acquires the notified type of information (electronic information).
  • the information acquisition unit 103 receives a predetermined time (current or destination) from a storage unit 16 or a server device (not shown) through the network N in a predetermined area (current location, destination, etc.).
  • the information acquisition unit 103 supplies the acquired information (remaining battery capacity, electronic money balance, weather precipitation amount) to the waveform determination unit 104.
  • the waveform determination unit 104 acquires electronic information (remaining battery capacity, weather precipitation) from the information acquisition unit 103.
  • the waveform determination unit 104 reads waveform information associated with the electronic information acquired from the information acquisition unit 103 from the storage unit 16.
  • the waveform determination unit 104 supplies the waveform information read from the storage unit 16 to the signal supply unit 105.
  • the signal supply unit 105 acquires waveform information from the waveform determination unit 104.
  • the signal supply unit 105 supplies a drive signal for vibrating the contact target with this waveform to the vibration generating unit 17 (step S207).
  • the “tactile sensation” that virtually replaces the precipitation information of the weather is similar to the remaining amount of the battery, and when the container is moved with an amount of liquid corresponding to the precipitation, It may be the movement of the liquid at.
  • a tactile sensation in which an amount of water droplets corresponding to the amount of precipitation falls on the palm, that is, a tactile sensation in which the hand is pushed locally continuously may be presented.
  • the information selection unit 102 acquires motion information from the motion detection unit 101 within a certain period of time and moves to instruct re-presentation (for example, a motion other than “shake”, “slamming”, “rotating”, etc.) (Step S208, YES), the signal supply unit 105 is again commanded to supply the drive signal to the vibration generating unit 17 (Step S207).
  • the information selection unit 102 determines that the motion information from the motion detection unit 101 is a motion instructing presentation of another type of information (eg, “shake”) (YES in step S208, NO in step S209). ), Another type of information is selected (step S210). For example, when the remaining amount of the battery has been selected, the balance of electronic money is selected as another type of information, the contact object is vibrated again, and the balance of electronic money is presented (step S207). ).
  • the same effect as that described in the first embodiment can be obtained.
  • the information selection unit 102 can select electronic information types according to different combinations of movements of the information processing apparatus 1, a large number of pieces of information can be obtained by a combination of simple operations for the user. It is also possible to select the type.
  • a difference between the first embodiment and the third embodiment is a method in which the waveform determination unit 104 determines a waveform.
  • the waveform determination unit 104 reads waveform information from the storage unit 16.
  • the waveform determination unit 104 generates a waveform based on the waveform information read from the storage unit 16 and the movement of the information processing apparatus 1 acquired by the motion detection unit 101. To do.
  • FIG. 10 is a diagram illustrating an electrical configuration for the waveform determination unit 104 to generate a waveform in the third embodiment.
  • the acceleration sensor (G-sensor) of the sensor unit 14 detects vibration of the information processing apparatus 1 and outputs a detection signal to the acceleration sensor amplifier.
  • the acceleration sensor amplifier amplifies the detection signal input from the acceleration sensor and outputs the amplified detection signal to the waveform determination unit 104.
  • the microphone (MIC) detects the vibration of the information processing apparatus 1 and outputs a detection signal to the microphone amplifier.
  • the microphone amplifier amplifies the detection signal input from the microphone and outputs it to the waveform determination unit 104.
  • the waveform determination unit 104 reads waveform information for presenting the tactile sense when the electronic information is replaced with “tactile sense for the object” from the storage unit 16.
  • the waveform determination unit 104 generates a waveform that follows the vibration (motion) of the information processing apparatus 1 acquired from the sensor unit 14 based on this waveform.
  • the liquid 31 in the container 30 follows the amount and direction of the movement of the container 30. Simulate the waveform that expresses the movement of That is, when the user moves the information processing apparatus 1 with his / her hand, the user moves the information processing apparatus 1 by following the movement of the information processing apparatus 1 when the user moves the information processing apparatus 1 with the container 30 containing the liquid 31 in his / her hand. Simulate waveforms in real time.
  • a random vibration waveform with a large amplitude is generated such that the liquid 31 strikes the wall surface of the container 30 many times and rebounds.
  • a vibration waveform having a small amplitude and a ripple is generated so that the liquid 31 is weakly hit against the wall surface of the container 30 and immediately converges.
  • Vibration that follows the inclination of the information processing apparatus 1 can also be realized.
  • the user tilts the information processing apparatus 1 it is possible to realize such a vibration that the liquid 31 flows in the tilted direction and the liquid 31 strongly hits the wall surface of the container and bounces at the end.
  • the waveform determination unit 104 generates a waveform that follows the movement of the information processing apparatus 1 based on the waveform when the electronic information is replaced with “tactile sensation with respect to the object”. For this reason, according to the third embodiment, the force sense obtained by the user is closer to the force sense (tactile sense) obtained from the motion of the actual object, as compared with the first embodiment. Therefore, the user can intuitively understand electronic information (information indicating the amount) more and more intuitively by feeling the analog vibration closer to reality.
  • one information processing apparatus 1 detects the movement of the information processing apparatus 1 and vibrates.
  • the fourth embodiment when one information processing apparatus detects the movement of its own apparatus among two information processing apparatuses that can communicate with each other through a network, the other information processing apparatus vibrates.
  • FIG. 11 is a diagram illustrating a functional configuration example of the information processing system according to the fourth embodiment.
  • the information processing system S1 includes a first information processing device 1A and a second information processing device 1B.
  • the first information processing apparatus 1A and the second information processing apparatus 1B can communicate with each other through a network N such as the Internet.
  • the first information processing apparatus 1A includes at least a sensor unit 14A, a motion detection unit 101A of the control unit 11A, an information selection unit 102A, an information acquisition unit 103A, and a waveform determination unit 104A.
  • the second information processing apparatus 1B includes at least a signal supply unit 105B of the control unit 11B and a vibration generation unit 17B.
  • the second information processing apparatus 1B having this configuration may not be a portable information terminal such as a smartphone, but may be a device mainly having only a vibration function.
  • the motion detection unit 101A is based on the moving direction and speed of the first information processing apparatus 1A detected by at least the acceleration sensor of the sensor unit 14A. Detecting the movement of The information selection unit 102A selects the type of information to be presented according to different movements of the first information processing apparatus 1A.
  • the information acquisition unit 103A acquires electronic information to be presented.
  • the waveform determination unit 104A determines a waveform for presenting the tactile sense when the electronic information is virtually replaced with “tactile sense for the object”.
  • the first information processing apparatus 1A supplies the waveform determined by the waveform determination unit 104A to the second information processing apparatus 1B through the network N.
  • the second information processing apparatus 1B acquires a waveform from the first information processing apparatus 1A through the network N.
  • the signal supply unit 105B drives the vibration generating unit 17B to vibrate the contact object (at least a part of the housing and / or the touch panel of the information processing device 1B) with the waveform acquired from the first information processing device 1A.
  • Supply signal The vibration generator 17B vibrates based on the input drive signal, and vibrates the contact object.
  • the information processing system S1 may include one first information processing apparatus 1A and a plurality of second information processing apparatuses 1B. Thus, when one first information processing apparatus 1A detects the movement of the own apparatus, the plurality of second information processing apparatuses 1B vibrate.
  • the information processing system S1 may include a plurality of first information processing apparatuses 1A and one second information processing apparatus 1B. Thereby, when each of the plurality of first information processing apparatuses 1A detects the movement of the own apparatus, one second information processing apparatus 1B vibrates.
  • the information processing system S1 may include a plurality of first information processing apparatuses 1A and a plurality of second information processing apparatuses 1B (none of which are shown).
  • ⁇ Fifth Embodiment> of two information processing devices that can communicate with each other through a network, one information processing device can detect the movement of the own device but cannot vibrate, and the other information processing device can vibrate. However, the movement of the device itself could not be detected.
  • any of the two information processing apparatuses that can communicate with each other through the network can detect the movement of the own apparatus and can vibrate.
  • FIG. 12 is a diagram illustrating a functional configuration example of the information processing system according to the fifth embodiment.
  • the information processing system S2 includes a first information processing device 2A and a second information processing device 2B.
  • the first information processing apparatus 2A and the second information processing apparatus 2B can communicate with each other through a network N such as the Internet.
  • Each of the first information processing apparatus 2A and the second information processing apparatus 2B includes the sensor unit 14, the motion detection unit 101 of the control unit 11, the information selection unit 102, the information acquisition unit 103, and the waveform determination unit 104. And a signal supply unit 105 and a vibration generation unit 17.
  • the motion detection unit 101 uses the first information processing apparatus 2A based on the moving direction and speed of the first information processing apparatus 2A detected by at least the acceleration sensor of the sensor unit 14. Detecting the movement of The information selection unit 102 selects the type of information to be presented according to different movements of the first information processing apparatus 2A.
  • the information acquisition unit 103 acquires electronic information to be presented.
  • the waveform determination unit 104 determines a waveform for presenting a tactile sensation when electronic information is replaced with “tactile sensation on an object”.
  • the first information processing apparatus 2A supplies the waveform determined by the waveform determination unit 104 to the second information processing apparatus 2B through the network N.
  • the second information processing apparatus 2B acquires a waveform from the first information processing apparatus 2A through the network N.
  • the signal supply unit 105 causes the vibration generation unit 17 to vibrate the contact object (at least a part of the housing and / or the touch panel of the information processing device 1B) with the waveform acquired from the first information processing device 2A.
  • Supply signal The vibration generating unit 17 vibrates based on the input drive signal, and vibrates the contact object.
  • the information processing system S2 may include three or more information processing devices (not shown). Accordingly, when one or a plurality of information processing apparatuses respectively detect the movement of the own apparatus, the other one or more information processing apparatuses vibrate.
  • the waveform determined by the waveform determination unit 104 of the first information processing apparatus 2A is supplied to the second information processing apparatus 2B.
  • the information acquisition unit 103 of the first information processing device 2A supplies electronic information to the second information processing device 2B, and the waveform determination unit 104 of the second information processing device 2B generates the waveform. You may decide.
  • a specific movement (waving) of the information processing apparatus is used as a trigger
  • a balance of electronic money is presented using a specific combination of movements of the information processing apparatus as a trigger.
  • the information processing apparatus may have a GPS (Global Positioning System) sensor and present an electronic money balance, etc., triggered by the information processing apparatus approaching the vicinity of the ticket gate of the station.
  • a balance of electronic money or the like may be presented using a specific movement (waving) of the information processing apparatus near the ticket gate of the station as a trigger.
  • electronic information may be presented by using a physical button of the information processing apparatus 1 as a trigger.
  • the tactile sensation when the electronic information (information indicating the amount. Specifically, the remaining amount of the battery, the balance of the electronic money, the precipitation amount of the weather) is replaced with “tactile sensation on the object”.
  • the contact object was vibrated with a waveform for presentation.
  • the following specific examples (1) to (5) are adopted as electronic information, and the tactile sensation when the electronic information in each example is replaced with “tactile sensation on an object” is presented.
  • the contact object may be vibrated with a waveform.
  • the electronic information may not be information indicating the quantity.
  • the information processing device detects, for example, an operation that touches the information processing device (it does not shake and may remain in a pocket or the like) with an acceleration sensor.
  • the information processing apparatus reads the time information and vibrates the vibration generating unit with the vibration waveform set according to the current time.
  • the information processing device detects the current position in the home with the WiFi strength of the home network, and detects the movement (swing) of the information processing device with an acceleration sensor. When the information processing apparatus detects the current position and movement, the information processing apparatus notifies the server apparatus in the home through the home network. Upon receiving the notification, the server device uses it as a trigger to read electronic information (forgetting to close the key, power usage status, etc.) from the own device or obtain it from another device through the home network. The server device determines a vibration waveform set according to the acquired electronic information, and supplies it to the information processing device through the home network. The information processing apparatus vibrates the vibration generating unit with the vibration waveform acquired from the server apparatus through the home network.
  • the server device supplies the acquired electronic information to the information processing device through the home network.
  • the information processing apparatus acquires electronic information from the server apparatus through the home network.
  • the information processing apparatus determines a vibration waveform set according to the acquired electronic information, and causes the vibration generating unit to vibrate with the determined vibration waveform.
  • the information processing apparatus detects movement (swing) of the information processing apparatus with an acceleration sensor. When the information processing apparatus detects the movement, it notifies the server apparatus in the home through the home network. When the server device receives the notification, it uses it as a trigger to read electronic information (pet movement), determines the vibration waveform set according to the acquired electronic information, and sends it to the information processing device through the home network. Supply. The information processing apparatus vibrates the vibration generating unit with the vibration waveform acquired from the server apparatus through the home network.
  • the server device supplies the acquired electronic information to the information processing device through the home network.
  • the information processing apparatus acquires electronic information from the server apparatus through the home network.
  • the information processing apparatus determines a vibration waveform set according to the acquired electronic information, and causes the vibration generating unit to vibrate with the determined vibration waveform.
  • the first information processing device is a small information processing device (including an acceleration sensor) attached to a pet
  • the second information The processing device may be a portable information terminal held by the user.
  • the partner (others) wears a wearable terminal (including a pulse sensor).
  • the user has an information processing apparatus.
  • the information processing apparatus detects movement (swing) of the information processing apparatus with an acceleration sensor. When detecting the movement, the information processing apparatus notifies the wearable terminal through the network.
  • the wearable terminal supplies electronic information (pulse recording data) to the information processing apparatus through the network.
  • the information processing apparatus acquires pulse recording data through a network.
  • the information processing apparatus determines a vibration waveform set according to the acquired electronic information, and causes the vibration generating unit to vibrate with the determined vibration waveform.
  • a wearable terminal including a pulse sensor
  • the user can know the activity status and health status of the elderly.
  • a server device at home or in the Internet may be interposed. That is, electronic information (pulse recording data) detected by the wearable terminal is stored in the server device, and the server device supplies electronic information (pulse recording data) to the information processing device through the network. Good.
  • the server device may determine a vibration waveform based on electronic information (pulse recording data) and supply the vibration waveform to the information processing device through a network.
  • the user has an information processing device (including a GPS sensor) and is in a food department.
  • the information processing device detects the current position with a GPS sensor, and detects the movement (swing) of the information processing device with an acceleration sensor.
  • the information processing apparatus acquires the sales floor information of the detected current position through the Internet.
  • the information processing apparatus acquires “food section” as the sales floor information
  • the information processing apparatus notifies the information processing apparatus mounted on the refrigerator in the home that movement has been detected.
  • the information processing device mounted on the refrigerator measures the weight of the contents (remaining food ingredients) in the refrigerator and obtains electronic information (remaining weight of the food ingredients).
  • the information processing device mounted in the refrigerator supplies the acquired electronic information (the remaining weight of the food) to the information processing device held by the user through the Internet.
  • the information processing apparatus owned by the user determines the vibration waveform set according to the acquired electronic information, and vibrates the vibration generating unit with the determined vibration waveform.
  • a server device at home or in the Internet
  • the electronic information (remaining weight of food) detected by the information processing device mounted on the refrigerator is stored in the server device, and the server apparatus transmits the electronic information (remaining weight of food) through the network.
  • You may supply to the information processing apparatus which a user holds.
  • the server device may determine a vibration waveform based on electronic information (remaining weight of food) and supply it to an information processing device held by the user through a network.
  • the type of “tactile sensation on an object” corresponding to electronic information is not limited.
  • the temperature of the information processing apparatus may be controlled in accordance with information related to temperature such as air temperature.
  • the shape and hardness of the information processing apparatus may be controlled according to the topography, geology, and the like of the point where the user is standing.
  • Temperature control can be performed by providing a heat source such as a heater in the information processing apparatus, for example.
  • the temperature can be controlled by controlling the operation of the cooling mechanism including the fan device.
  • a shape memory alloy, a wire, or the like can be provided in the casing of the control apparatus.
  • the control of the hardness of the control device can be executed by controlling, for example, a support mechanism configured inside. Alternatively, a material whose hardness can be controlled may be used.
  • the “tactile sensation” presented by the present technology includes not only haptic feedback but also heat (temperature) felt from the object, recognized shape and hardness, etc. ( The shape and hardness can be said to be based on “force”. That is, the “tactile sensation” according to the present technology includes various sensations felt through contact. Also included are tactile sensations that are illusionally felt, such as pseudo-tactile sensations, virtual tactile sensations, and illusionary tactile sensations.
  • the information processing method according to the present technology is executed by a computer such as a portable terminal operated by a user.
  • the information processing method and program according to the present technology may be executed by a computer operated by a user and another computer that can communicate via a network or the like.
  • an information processing system according to the present technology may be constructed in conjunction with a computer operated by a user and another computer.
  • the information processing method and the program according to the present technology can be executed not only in a computer system configured by a single computer but also in a computer system in which a plurality of computers operate in conjunction with each other.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems.
  • the information processing method and the program according to the present technology by the computer system are executed when, for example, acquisition of electronic information and output of the first haptic signal are executed by a single computer, and computers having different processes Including both when executed by.
  • the execution of each process by a predetermined computer includes causing another computer to execute a part or all of the process and acquiring the result.
  • the information processing method and program according to the present technology can be applied to a configuration of cloud computing in which one function is shared by a plurality of devices via a network and is processed jointly.
  • this technique can also take the following structures.
  • an information acquisition unit that acquires electronic information
  • An information processing apparatus comprising: a signal output unit that outputs a first tactile signal for presenting a tactile sensation with respect to an object set corresponding to the acquired electronic information.
  • the tactile sensation with respect to the object includes a tactile sensation with respect to the container that accommodates the object corresponding to the acquired electronic information.
  • the electronic information includes the type and amount of information,
  • the tactile sensation with respect to the object includes a tactile sensation when the container accommodating the object corresponding to the type of the information corresponding to the amount is moved.
  • the information processing apparatus further including: Comprising a motion detector for detecting the motion of the information processing device; The signal output unit outputs the first haptic signal for presenting a haptic when the container is moved based on the detected movement of the information processing device.
  • the information processing apparatus includes a remaining battery level, The tactile sensation with respect to the object includes a tactile sensation when moving the container that contains an amount of liquid corresponding to the remaining amount of the battery.
  • the information processing apparatus includes a balance of electronic money, The tactile sensation with respect to the object includes a tactile sensation when the container that accommodates an amount of coins corresponding to the balance of the electronic money is moved.
  • the information processing apparatus according to any one of (1) to (6), The signal output unit outputs, as the first tactile information, a drive signal for driving a tactile sense presenting unit that presents a tactile sense with respect to the object by vibration.
  • the information processing apparatus Comprising a motion detector for detecting the motion of the information processing device; The information acquisition unit acquires the electronic information when a predetermined movement of the information processing apparatus is detected.
  • An information processing apparatus comprising: an information selection unit that selects a type of the electronic information acquired by the information acquisition unit based on the detected movement of the information processing apparatus.
  • the signal output unit outputs a second tactile signal for presenting a tactile sensation according to the type of the electronic information selected by the information selection unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Accounting & Taxation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

本技術の一実施形態に係る情報処理装置は、情報取得部と、信号出力部とを具備する。前記情報取得部は、電子的な情報を取得する。前記信号出力部は、前記取得された電子的な情報に対応して設定された物体に対する触覚を提示するための第1の触覚信号を出力する。

Description

情報処理装置、情報処理方法、プログラム、及び情報処理システム
 本技術は、ユーザに情報を提示可能な情報処理装置、情報処理方法、プログラム、及び情報処理システムに関する。
 従来から、人の力覚を通じて人に情報を伝達するハプティク(力覚)テクノロジーが提案されている(例えば、特許文献1参照。)。
特開2011-159280号公報
 このようにユーザが直感的に情報を把握することを可能とする技術が求められている。
 以上のような事情に鑑み、本技術の目的は、ユーザが直感的に情報を把握することを可能とする情報処理装置、情報処理方法、プログラム、及び情報処理システムを提供することにある。
 上記目的を達成するため、本技術の一実施形態に係る情報処理装置は、情報取得部と、信号出力部とを具備する。
 前記情報取得部は、電子的な情報を取得する。
 前記信号出力部は、前記取得された電子的な情報に対応して設定された物体に対する触覚を提示するための第1の触覚信号を出力する。
 この情報処理装置では、電子的な情報を物体に対する触覚に置換して提示することが可能となる。これによりユーザは提示された触覚を通じて、直感的に情報を把握することが可能となる。
 前記物体に対する触覚は、前記取得された電子的な情報に対応する物体を収容する容器に対する触覚を含んでもよい。
 これにより容器に収容された物体に応じた触覚を通じて、直感的に情報を把握することが可能となる。
 前記電子的な情報は、情報の種類と量を含んでもよい。この場合、前記物体に対する触覚は、前記量に対応する量の前記情報の種類に対応する物体を収容する前記容器を動かしたときの触覚を含んでもよい。
 これにより提示された情報の種類とその量を、直感的に把握することが可能となる。
 前記情報処理装置は、さらに、前記情報処理装置の動きを検出する動き検出部を具備してもよい。この場合、前記信号出力部は、前記検出された前記情報処理装置の動きに基づいて、前記容器を動かしたときの触覚を提示するための前記第1の触覚信号を出力してもよい。
 これにより、情報処理装置を容器に見立てて動かしたときの触覚を提示することが可能となり、直感的な情報の把握が可能となる。
 前記電子的な情報は、バッテリーの残量を含んでもよい。この場合、前記物体に対する触覚は、前記バッテリーの残量に応じた量の液体を収容する前記容器を動かしたときの触覚を含んでもよい。
 これにより直感的にバッテリーの残量を把握することが可能となる。
 前記電子的な情報は、電子マネーの残高を含んでもよい。この場合、前記物体に対する触覚は、前記電子マネーの残高に応じた量の硬貨を収容する前記容器を動かしたときの触覚を含んでもよい。
 これにより直感的に電子マネーの残高を把握することが可能となる。
 前記信号出力部は、前記第1の触覚情報として、前記物体に対する触覚を振動により提示する触覚提示部を駆動する駆動信号を出力してもよい。
 振動により、置換された物体に対する触覚を容易に提示することが可能である。
 前記情報取得部は、前記情報処理装置の所定の動きが検出されると、前記電子的な情報を取得してもよい。
 これによりユーザは情報処理装置を動かすことで、情報の提示を実行させることが可能となり、容易に情報を把握することが可能となる。
 前記情報処理装置は、さらに、前記検出された情報処理装置の動きに基づいて、前記情報取得部により取得される前記電子的な情報の種類を選択する情報選択部を具備してもよい。
 これによりユーザは情報処理装置を動かすことで、把握したい情報を選択することが可能となる。
 前記信号出力部は、前記情報選択部により選択された前記電子的な情報の種類に応じた触覚を提示するための第2の触覚信号を出力してもよい。
 これによりユーザは触覚を通じて、提示される情報を把握することが可能となる。
 本技術の一実施形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、電子的な情報を取得することを含む。
 前記取得された電子的な情報に対応して設定された物体に対する触覚を提示するための第1の触覚信号が出力される。
 本技術の一実施形態に係るプログラムは、コンピュータシステムに、以下のステップを実行させる。
 電子的な情報を取得するステップ。
 前記取得された電子的な情報に対応して設定された物体に対する触覚を提示するための第1の触覚信号を出力するステップ。
 本技術の一実施形態に係る情報処理システムは、第1の情報処理装置と、第2の情報処理装置とを具備する。
 前記第1の情報処理装置は、電子的な情報を取得する。
 前記第2の情報処理装置は、前記第1の情報処理装置と通信可能であり、前記第1の情報処理装置により取得された電子的な情報に対応して設定された物体に対する触覚を提示するための第1の触覚信号を出力する。
 以上のように、本技術によれば、ユーザが直感的に情報を把握することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
第1の実施形態の情報処理装置の外観を示す図である。 情報処理装置のハードウェア構成例を示すブロック図である。 振動発生部の電気的な構成例を示す図である。 情報処理装置の機能的な構成例を示すブロック図である。 情報処理装置の処理フローを示すフローチャートである。 バッテリーの残量及び電子マネーの残高に対応して提示される触覚を説明するための図である。 第2の実施形態における、情報処理装置の動きの異なる組み合わせと、提示する情報の種類との関係を模式的に示す表である。 情報処理装置の機能的な構成例を示すブロック図である。 情報処理装置の処理フローを示すフローチャートである。 第3の実施形態において波形決定部が波形を生成するための電気的な構成を示す図である。 第4の実施形態の情報処理システムの機能的な構成例を示す図である。 第5の実施形態の情報処理システムの機能的な構成例を示す図である。
 以下、本技術に係る実施形態を、図面を参照しながら説明する。
<第1の実施形態>
 [情報処理装置の構成]
 図1は、本技術の第1の実施形態に係る情報処理装置の外観を示す図である。図2は、情報処理装置のハードウェア構成例を示すブロック図である。
 情報処理装置1は、典型的には、片手で把持することが想定される、スマートフォン等のハンドヘルド型の携帯情報端末である。その他、スマートフォンに比べて大型のタブレット型の携帯情報端末や、スマートウォッチ等のウェアラブル型の携帯情報端末等が用いられてもよい。その他、任意のコンピュータに対して、本技術は適用可能である。
 図1に示すように、情報処理装置1は、ハウジング2と、タッチパネル3とを有する。例えばユーザは、ハウジング2を把持しながら、タッチパネル3を操作する。またユーザは、ハウジング2を把持した状態で、情報処理装置1を、鉛直成分を含む方向(Z方向)に沿って持ち上げたり、水平成分を含む方向(X方向)に沿って振ったり(shake)することが可能である。もちろん他の動きも可能である。
 図2に示すように、情報処理装置1は、制御部11と、制御部11とバス10を介して接続された表示部12、通信制御部13、センサ部14、操作部15、記憶部16及び振動発生部17とを有する。これらはハウジング2に格納される。
 制御部11は、CPU(Central Processing Unit)等を含む。制御部11のCPU(Central Processing Unit)は、コンピュータ読み取り可能な非一過性の記憶媒体の一例であるROM(Read Only Memory)に記録されたプログラムをRAM(Random Access Memory)にロードして実行する。
 記憶部16は、ROM(Read Only Memory)と、RAMと、HDD(Hard Disk Drive)などの大容量の記憶装置とを含む。ROMは、制御部11が実行するプログラムやデータなどを固定的に格納する。RAMには、ROMに格納されたプログラムがロードされる。
 記憶部16には、本技術に係る情報処理方法である情報提示方法を実行するための種々の情報が記憶される。例えば記憶部16には、ユーザに提示する情報に対応して設定された「物体に対する触覚」の情報が記憶される。「物体に対する触覚」とは、現実の世界で物体に接触したときや、物体を動かしたとき等に想定される触覚のことであり、当該触覚を提示するための情報が記憶される。
 本実施形態では、振動発生部17により、ハウジング2及び/又はタッチパネル3の少なくとも一部(接触対象物)を振動させることで、ユーザに触覚が提示される。発生させる振動の周波数や振幅(強さ)等を適宜制御することで、物体に対する種々の触覚を再現して提示することが可能である。「物体に対する触覚」の情報は、振動の周波数や振幅(強さ)を含む波形の情報や、波形の変化等の情報を含む。
 表示部12は、LCD(Liquid Crystal Display)や有機EL(Electroluminescence)ディスプレイ等を含む。表示部12は、制御部11から受け取った情報に基づいて演算処理を行い、生成した画像信号を画面に表示する。
 操作部15は、表示部12に重畳されたタッチパネル3、及び各種の物理スイッチ等を含む。操作部15は、ユーザからの操作(タッチパネル3のタップ操作等)を検出して制御部11に出力する。
 通信制御部13は、インターネット等のネットワークNに接続するためのインタフェースである。例えばWiFi等の無線LANモジュールが用いられる。なおBluetooth(登録商標)等の近距離無線通信用の通信モジュールが備えられてもよい。
 センサ部14は、加速度センサ、ジャイロセンサ及びマイクと、1以上のアンプとを含む。加速度センサは、情報処理装置1の移動の方向や速度を検出する。ジャイロセンサは、情報処理装置1の角度(姿勢)、角速度及び角加速度を検出する。マイクは、情報処理装置1の振動を検出する。アンプは、加速度センサ、ジャイロセンサ及びマイクが取得した情報を増幅し、制御部11に出力する。他のデバイスが用いられてもよい。
 図3は、本実施形態に係る振動発生部の電気的な構成例を示す図である。振動発生部17は、パワーアンプと、高電圧アンプと、圧電アクチュエータと、フォースリアクタ(登録商標)とを含む。パワーアンプは、信号供給部105(図4参照)から入力された駆動信号を増幅し、高電圧アンプ及びフォースリアクタに出力する。
 高電圧アンプは、パワーアンプから入力された駆動信号を増幅し、圧電アクチュエータに出力する。圧電アクチュエータ及びフォースリアクタは、入力された電気エネルギーを機械エネルギーに変換し、振動を発生する。これによりハウジング2等を振動させることが可能となり、提示する情報に対応した触覚を提示することが可能となる。なお情報処理装置1の様々な部位を様々な波形で自在に振動させるために、圧電アクチュエータやフォースリアクタが、複数の位置に配置されてもよい。
 振動発生部17の構成は限定されず、任意に設計されてよい。例えば振動発生部17として、WO/2015/151380に開示されている力覚提示デバイスを用いることができる。その他、任意の構成を有するアクチュエータが用いられてよい。なお振動発生部17は、本実施形態において、触覚提示部に相当する。
 図4は、情報処理装置の機能的な構成例を示すブロック図である。
 情報処理装置1の制御部11は、コンピュータ読み取り可能な非一過性の記憶媒体の一例であるROMに記録されたプログラムをRAMにロードして実行することにより、動き検出部101、情報選択部102、情報取得部103、波形決定部104及び信号供給部105として機能する。
 動き検出部101は、センサ部14の検出結果に基づいて、情報処理装置1の動きを検出する。
 情報選択部102は、情報処理装置1の動きに基づいて、提示する情報の種類を選択する。すなわち情報取得部103により取得される電子的な情報の種類が選択される。
 情報取得部103は、提示する電子的な情報を取得する。
 波形決定部104は、電子的な情報に対応して設定された「物体に対する触覚」を提示するための振動の波形を決定する。
 信号供給部105は、波形決定部104により決定された波形でハウジング2等を振動させるための駆動信号を、振動発生部17に供給する。信号供給部105は、本実施形態において、信号出力部に相当する。また供給される駆動信号は、「物体に対する触覚」を提示するための第1の触覚信号に相当する。
 [情報処理装置の処理フロー]
 図5は、情報処理装置の処理フローを示すフローチャートである。
 動き検出部101により、センサ部14の少なくとも加速度センサが検出した情報処理装置1の移動の方向や速度をもとに、情報処理装置1の動き(motion)が監視される(ステップ101)。情報処理装置1の「動き」は、移動の方向や速度を少なくとも含む。情報処理装置1の動きが検出された場合には(ステップ101のYes)、情報処理装置1の動きの情報、すなわち移動の方向や速度の情報が、情報選択部102に出力される。
 情報選択部102により、移動の方向や速度の情報に基づいて、提示する情報の種類が選択される。本実施形態では、情報処理装置1の異なる動きに応じて、提示する情報の種類が選択される。
 図5に示す例では、情報処理装置1の鉛直成分を含む方向(図1のZ方向)の移動の距離ΔZが、所定の閾値より大きい場合(ステップS102のYES)、提示する情報の種類として、バッテリーの残量が選択される。なお「鉛直成分を含む方向の移動の距離が所定の閾値より大きい」とは、ユーザが情報処理装置1を持ち上げたことを示す。
 移動距離ΔZが所定の閾値以下の場合(ステップS102のNO)、すなわち情報処理装置1が持ち上げられていない場合には、ステップ103に進む。そして情報処理装置1の水平成分を含む方向(図1のX方向)の移動の距離ΔXが、所定の閾値より大きいか否かが判定される(ステップ103)。「水平成分を含む方向の移動の距離が所定の閾値より大きい」とは、ユーザが情報処理装置1を振ったことを示す。
 移動距離ΔXが所定の閾値以上の場合(ステップS103のYES)、すなわち情報処理装置1が振られた場合には、提示する情報の種類として、電子マネーの残高が選択される。情報選択部102は、提示する情報の種類(バッテリーの残量又は電子マネーの残高)を、情報取得部103に通知する。
 情報取得部103は、情報選択部102からの通知をもとに、電子的な情報を取得する。バッテリーの残量が通知された場合には(ステップS102のYES)、情報取得部103は、記憶部16から、現在のバッテリーの残量(何%)を示す電子的な情報を読み出す(ステップS104)。電子マネーの残高が通知された場合には(ステップS103のYES)、情報取得部103は、記憶部16から、現在の電子マネーの残高(何円)を示す電子的な情報を読み出す(ステップS105)。読み出された情報(バッテリーの残量又は電子マネーの残高)は、波形決定部104に出力される。
 波形決定部104は、情報取得部103から、電子的な情報(バッテリーの残量又は電子マネーの残高)を取得する。波形決定部104は、各々の電子的な情報に対応して設定された「物体に対する触覚」を提示するための波形を決定する(ステップS106、S107)。具体的には、バッテリーの残量や電子マネーの残高に対応して記憶された波形情報が、記憶部16から読み出される。
 図6は、バッテリーの残量及び電子マネーの残高に対応して提示される触覚を説明するための図である。電子的な情報(バッテリーの残量又は電子マネーの残高)は、人が触ることができない。人が触ることができない電子的な情報、それも量を示す情報を、例えば力覚的(ハプティク)な方法で、触覚を通じて、直感的に認識可能にユーザに提示することは難しい。そこで本実施形態では、人が触ることができない電子的な情報を、現実の物体に対する触覚に仮想的に置換する。置換される「物体に対する触覚」は、ユーザが日常的に触れる機会が多い物体から想定されるものがよい。
 本実施形態では、電子的な情報に含まれる情報の種類に応じた物体が、電子的な情報に含まれる量に対応する量だけ収容された容器に対する触覚が、「物体に対する触覚」として用いられる。当該容器を動かしたときに得られると想定される触覚が、振動により提示される。
 図6Aに示すように、バッテリーの残量に対応する「物体に対する触覚」としては、バッテリーの残量に対応する量の液体31を収容する容器30を動かしたときの触覚が提示される。液体31を収容する容器30としては、例えば水が収容されたプラスチックボトル等が想定されるが、これに限定される訳ではない。
 液体31を入れた容器30を手に持って動かすと、手の動きに伴い容器30内の液体31の揺れを感じることは、誰しも経験したことがあるはずである。そして、液体31の量が少ないときと多いときで、容器30内の液体が揺れるとき、液体31が容器30の内壁に当たったときの力覚(触覚)が異なることは、誰しも経験したことがあるはずである。
 言い換えれば、人は、たとえ容器30内の液体31を目視しなくても、容器30を手に持って動かし、容器30内の液体31が揺れることに伴うアナログ的な振動を力覚的に感じることで、容器30内の液体31のアナログ的な量を直感的に理解することができる。これは、液体31の量が少ないときと多いときで、容器30内の液体31が揺れるとき、液体31が容器30の内壁に当たって生じる振動の波形が異なるためである。
 本実施形態では、バッテリーの残量に応じた量の液体31を同一の容器30内に入れ、その容器30を同じように動かしたときの、容器30内での液体31の運動を表現する波形を予めシミュレートする。「バッテリーの残量に応じた量の液体」とは、バッテリーの残量が少なければ液体31の量も少なく、バッテリーの残量が多ければ液体31の量も多くなるよう、バッテリーの残量と液体31の量に相関(例えば、比例)があることを意味する。
 シミュレーションの結果得られた波形情報は、予め記憶部16に格納しておく。具体的には、複数のバッテリーの残量に、シミュレーションの結果得られた複数の波形情報を、互いに関連付けて記憶部16に格納しておく。波形決定部104は、情報取得部103から取得したバッテリーの残量に関連付けられた波形情報を、記憶部16から読み出す(ステップS106)。
 図6Bに示すように、電子マネーの残高に対応する「物体に対する触覚」としては、電子マネーの残高に対応する量の硬貨(coins)41を収容する容器40を動かしたときの触覚が提示される。硬貨41を収容する容器40としては、貯金箱やガラス瓶等が想定されるが、これに限定される訳ではない。
 硬貨41を入れた容器40を手に持って動かすと、手の動きに伴い容器40内の硬貨41の移動を感じることは、誰しも経験したことがあるはずである。そして、硬貨41の量が少ないときと多いときで、容器40内の硬貨41が移動するとき、硬貨41が容器40の内壁に当たったときの力覚(触覚)が異なることは、誰しも経験したことがあるはずである。
 言い換えれば、人は、たとえ容器40内の硬貨41を目視しなくても、容器40を手に持って動かし、容器40内の硬貨41が移動することに伴うアナログ的な振動を力覚的に感じることで、容器40内の硬貨41のアナログ的な量を直感的に理解することができる。これは、硬貨41の量が少ないときと多いときで、容器40内の硬貨41が移動するとき、硬貨41が容器40の内壁に当たって生じる振動の波形が異なるためである。
 本実施形態では、電子マネーの残高に応じた量の硬貨41を同一の容器40内に入れ、その容器40を同じように動かしたときの、容器40内での硬貨41の運動を表現する波形を予めシミュレートする。「電子マネーの残高に応じた量の硬貨」とは、電子マネーの残高が少なければ硬貨41の量(枚数)も少なく、電子マネーの残高が多ければ硬貨41の量(枚数)も多くなるよう、電子マネーの残高と硬貨41の量に相関(例えば、比例)があることを意味する。
 シミュレーションの結果得られた波形情報は、予め記憶部16に格納しておく。具体的には、複数の電子マネーの残高に、シミュレーションの結果得られた複数の波形情報を、互いに関連付けて記憶部16に格納しておく。波形決定部104は、情報取得部103から取得した電子マネーの残高に関連付けられた波形情報を、記憶部16から読み出す(ステップS107)。
 波形決定部104は、記憶部16から読み出した波形情報を、信号供給部105に供給する。信号供給部105は、波形決定部104から、波形情報を取得する。信号供給部105は、振動発生部17に、接触対象物をこの波形で振動させるための駆動信号を供給する(ステップS108、S109)。
 情報処理装置1が持ち上げられもせず(ステップS102のNO)、振られもしない(ステップS103のNO)が、電源がオンであれば(ステップS110のYES)、動きを検出するまでスタンバイする(ステップS101のNO)。
 以上、本実施形態に係る情報処理装置1では、人が触ることができない電子的な情報を「物体に対する触覚」に置換して提示することが可能となる。例えば情報処理装置1を動かすときに得られる液体31の移動に応じた触覚を通じて、バッテリーの残量を直感的に把握することが可能となる。また情報処理装置1を動かすときに得られる硬貨41の移動に応じた触覚を通じて、電子マネーの残高を直感的に把握することが可能となる。
 電子的な情報は、人が触ることができない。人が触ることができない電子的な情報、それも量を示す情報を、例えば力覚的(ハプティク)な方法で、触覚を通じて、直感的に認識可能に人に提示することは難しい。そこで本実施形態によれば、人が触ることができない電子的な情報が、人が力覚的に認識することができ、且つ、人が日常的に触る機会が多いと想定される「物体に対する触覚」に仮想的に置換される。
 本実施形態によれば、人が触ることができない電子的な情報(バッテリーの残量、電子マネーの残高)が、物体(液体、硬貨)を容器に入れて容器を動かしたときの触覚に置換される。物体を入れた容器を手に持って動かすと、手の動きに伴い容器内の物体の揺れを感じることは、誰しも経験したことがあるはずである。そして、物体の量が少ないときと多いときで、容器内の物体が揺れるとき、物体が容器の内壁に当たったときの力覚が異なることは、誰しも経験したことがあるはずである。
 言い換えれば、人は、たとえ容器内の物体を目視しなくても、容器を手に持って動かし、容器内の物体が揺れることに伴うアナログ的な振動を力覚的に感じることで、容器内の物体のアナログ的な量を直感的に理解することができる。これは、物体の量が少ないときと多いときで、容器内の物体が揺れるとき、物体が容器の内壁に当たって生じる振動の波形が異なるためである。
 そこで、本実施形態では、量を示す電子的な情報に応じた量の物体を同一の容器内に入れ、その容器を同じように動かしたときの、容器内での物体の運動を表現する波形を予めシミュレートする。「量を示す電子的な情報に応じた量の物体」とは、電子的な情報が示す量が少なければ物体の量も少なく、電子的な情報が示す量が多ければ物体の量も多くなるよう、電子的な情報が示す量と物体の量に相関(例えば、比例)があることを意味する。
 なお図6に示す置換は、電子的な情報が物体の運動に仮想的に置換されたとも言える。すなわち人が触ることができない電子的な情報が、人が触ることができる物体の運動に仮想的に置換されたとも言える。例えばバッテリーの残量は、液体31を容器30に入れて容器30を動かしたときの、容器30内での液体31の運動に仮想的に置換される。また電子マネーの残高は、硬貨41を容器40に入れて容器40を動かしたときの、容器40内での硬貨41の運動に仮想的に置換することも可能である。置換された運動を表現する波形を生成し、ハウジング2等を振動させる。これによりユーザは、アナログ的な振動を力覚的に感じることで、電子的な情報(量を示す情報)を直感的に理解することができる。
 また、本実施形態によれば、情報選択部102は、情報処理装置1の異なる動きに応じて、提示する情報の種類を選択する。より具体的には、情報選択部102は、ユーザが情報処理装置1を持ち上げたとき、バッテリーの残量を選択し、ユーザが情報処理装置1を振ったとき、電子マネーの残高を選択する。これにより、ユーザにとっては、提示する情報を選択するために、画面を見てタッチパネル3を操作する等の必要がない。このため、例えば、視力に不安のあるユーザであっても、何ら問題無く提示する情報の種類を選択することができる。また、スマートフォンの画面を見ながら歩く等の危険も回避することができる。
 さらに、情報の種類の選択と、情報の提示とが、ユーザの動作(「振る」等)及びハプティクフィードバックで完結する。このため、画面を見てタッチパネル3を操作する等の必要が一切無く、ユーザにとっては直感的且つ瞬間的に、情報の種類を選択し、情報を認識することができる。
<第2の実施形態>
 以下の説明において、既に説明した構成及び動作等と同様の構成及び動作等は同一又は同様の参照符号を付して説明を省略し、異なる点を中心に説明する。
 第1の実施形態と第2の実施形態とで異なる点は、情報選択部102が提示する情報の種類を選択する方法である。第1の実施形態では、情報選択部102は、情報処理装置1の異なる動き(持ち上げる、振る)に応じて、提示する情報の種類を選択した。これに対して、第2の実施形態では、情報選択部102は、情報処理装置1の動き(持ち上げる、振る等)の異なる組み合わせに応じて、提示する情報の種類を選択する。
 図7は、第2の実施形態における、情報処理装置の動きの異なる組み合わせと、提示する情報の種類との関係を模式的に示す表である。
 情報処理装置の動きの異なる組み合わせと、提示する情報の種類との関係を示す表(ライブラリ)が、記憶部16に予め格納されている。情報選択部102は、ライブラリを参照し、提示する情報の種類を選択する。
 図8は、情報処理装置の機能的な構成例を示すブロック図である。図9は、情報処理装置の処理フローを示すフローチャートである。
 情報選択部102は、動き検出部101から、情報処理装置1の動きの情報、即ち、移動の方向や速度の情報を取得する。情報選択部102は、情報処理装置1の動きの種類が、持ち上げる、振る、水平状態から持ち上げる、の何れであるかを判断する(ステップS201)。「持ち上げる」と「振る」の判断方法は第1の実施形態と同じである。「水平状態」は、センサ部14のジャイロセンサから取得した情報に基づき判断することができる。
 情報選択部102は、記憶部16に予め格納されているライブラリを参照し、判断した動きの種類に応じた予備振動(バイブレーション)を選択する(ステップS202)。「予備振動」とは、提示する情報の種類に関連付けられた振動であり、ユーザの異なる動きの種類とともにライブラリに定義されている。本実施形態では、バッテリーの残量に対して予備振動「1回」が関連付けられ、電子マネーの残高に対して予備振動「2回」が関連付けられる。また天気(ウェザー)の降水量に対して予備振動「3回」が関連付けられる。
 ユーザは、ライブラリに定義された情報を予め理解しており、予備振動の回数をもとに、提示される情報の種類を把握することが可能となる。すなわち「予備振動」は、提示する情報の種類をユーザに確認するためのハプティクフィードバックとなる。
 なお本実施形態では、1回目の動作として「持ち上げる」が判断されると予備振動「1回」が選択され、「振る」が判断されると予備振動「2回」が選択される。また「水平状態から持ち上げる」が判断されると、予備振動「3回」が選択される。当該「予備振動」の回数により、自分の動きが適正に入力されたか否かを判定することも可能となる。すなわち「予備振動」を、情報選択部102が判断した動きの種類をユーザに確認するためのハプティクフィードバックとして機能させることも可能である。
 情報選択部102は、選択された予備振動を行うための駆動信号を振動発生部17に供給するよう、信号供給部105に命令する。信号供給部105は、選択した予備振動を行うための駆動信号を振動発生部17に供給する(ステップS203)。振動発生部17は、駆動信号に基づき予備振動を行う。
 情報選択部102は、その後一定時間内に、動き検出部101から、情報処理装置1の動きの情報を取得すると(ステップS204のYES)、動きの種類を判断する(ステップS205)。情報選択部102は、動きの種類が、ユーザが予備振動の再提示を指示する動き(例えば、「振る」以外の動き。「叩きつける」、「回転させる」等)か、提示する情報を選択するための動き(本実施形態では「振る」)か、を判断する(ステップS206)。
 情報選択部102は、予備振動の再提示を指示する動きと判断すると(ステップS206のYES)、同じ回数の予備振動を行うための駆動信号を振動発生部17に供給するよう、再度、信号供給部105に命令する(ステップS203)。一方、情報選択部102は、提示する情報を選択するための動き(「振る」)と判断すると(ステップS206のNO)、他の提示情報に関連付けられた予備動作を選択する(ステップ202)。例えば前回の予備動作の回数に1加えた回数の予備動作が選択される。
 これによりユーザは、予備振動の回数が、自分が望む情報の種類に関連付けられた回数で無いと判断すると(例えば、予備振動「2回」が関連付けられた「電子マネー残高」を望むが、予備振動「1回」の場合)、再び、情報処理装置1を動かして(振って)、情報の種類を選択することが可能となる。自分が望む情報の種類に関連付けられた回数の予備動作が実現するまで情報処理装置1を動かすことで、簡単に提示情報を選択することが可能となる。
 情報選択部102は、ステップS201~S206を繰り返し、動き検出部101から、情報処理装置1の動きの情報を取得しない場合(ステップS204のNO)、提示する情報の種類を決定する。すなわち、情報処理装置1の動きの検出と予備振動とを繰り返し、最後に提示した予備振動の回数に関連付けられた情報の種類が、提示する情報の種類として決定される。図7にも示すように、本実施形態では、検出した動きと予備振動との組み合わせ、及び提示する情報の種類は、以下の通りに定義されている。
 (1)1回目の動き「持ち上げる」、次に、1回目の予備振動「1回」、次に、動きなしの場合、バッテリーの残量を選択。
 (2)1回目の動き「持ち上げる」、次に、1回目の予備振動「1回」、次に、2回目の動き「振る」、次に、2回目の予備振動「2回」、次に、動きなしの場合、電子マネーの残高を選択。
 (3)1回目の動き「振る」、次に、1回目の予備振動「2回」、次に、動きなしの場合、電子マネーの残高を選択。
 (4)1回目の動き「振る」、次に、1回目の予備振動「2回」、次に、2回目の動き「振る」、次に、2回目の予備振動「3回」、次に、動きなしの場合、天気(ウェザー)の降水量を選択。
 (5)1回目の動き「振る」、次に、1回目の予備振動「2回」、次に、2回目の動き「振る」、次に、2回目の予備振動「3回」、次に、3回目の動き「振る」、次に、3回目の予備振動「1回」、次に、動きなしの場合、バッテリーの残量を選択。
 (6)1回目の動き「水平状態から持ち上げる」、次に、1回目の予備振動「3回」、次に、動きなしの場合、天気(ウェザー)の降水量を選択。
 情報選択部102は、ステップS201~S206を繰り返して決定した情報の種類(バッテリーの残量、電子マネーの残高、天気の降水量)を、情報取得部103に通知する。
 なお予備振動により提示される触覚は、選択された電子的な種類に応じた触覚に相当する。また予備振動を実行させるために出力される駆動信号は、第2の触覚振動に相当する。
 情報取得部103は、情報選択部102から、提示する情報の種類(バッテリーの残量、電子マネーの残高、天気の降水量)の通知を受ける。情報取得部103は、通知された種類の情報(電子的な情報)を取得する。天気の降水量が通知された場合、情報取得部103は、記憶部16から又はネットワークNを通じてサーバ装置(図示せず)から、所定の地域(現在地、目的地等)の所定の時間(現在又は未来)の降水量を示す電子的な情報を取得する。情報取得部103は、取得した情報(バッテリーの残量、電子マネーの残高、天気の降水量)を、波形決定部104に供給する。
 波形決定部104は、情報取得部103から、電子的な情報(バッテリーの残量、天気の降水量)を取得する。波形決定部104は、情報取得部103から取得した電子的な情報に関連付けられた波形情報を、記憶部16から読み出す。波形決定部104は、記憶部16から読み出した波形情報を、信号供給部105に供給する。信号供給部105は、波形決定部104から、波形情報を取得する。信号供給部105は、振動発生部17に、接触対象物をこの波形で振動させるための駆動信号を供給する(ステップS207)。
 例えば、天気の降水量情報を仮想的に置換した「物体に対する触覚」は、バッテリーの残量と同様に、降水量に応じた量の液体を容器に入れて容器を動かしたときの、容器内での液体の運動としてもよい。あるいは手の平に降水量に応じた量の水滴が落ちてくるような触覚、すなわち局所的に連続して手を押し込むような触覚が提示されてもよい。
 情報選択部102は、その後一定時間内に、動き検出部101から動きの情報を取得し、再提示を指示する動き(例えば、「振る」以外の動き。「叩きつける」、「回転させる」等)と判断すると(ステップS208、YES)、駆動信号を振動発生部17に供給するよう、再度、信号供給部105に命令する(ステップS207)。一方、情報選択部102は、動き検出部101からした動きの情報が、別の種類の情報の提示を指示する動き(例えば、「振る」)と判断すると(ステップS208でYES、ステップS209でNO)、別の種類の情報を選択する(ステップS210)。例えば、バッテリーの残量を選択していた場合には、別の種類の情報として、電子マネーの残高を選択し、再度、接触対象物を振動させて、電子マネーの残高を提示する(ステップS207)。
 第2の実施形態によれば、第1の実施形態で記載した効果と同様の効果が得られる。その上、情報選択部102は、情報処理装置1の動きの異なる組み合わせに応じて、電子的な情報の種類を選択することができるため、ユーザにとっては単純な動作の組み合わせで、多数の情報の種類を選択することも可能となる。
<第3の実施形態>
 第1の実施形態と第3の実施形態とで異なる点は、波形決定部104が波形を決定する方法である。第1の実施形態では、波形決定部104は、波形情報を、記憶部16から読み出した。これに対して、第3の実施形態では、波形決定部104は、記憶部16から読み出した波形情報と、動き検出部101が取得する情報処理装置1の動きとをもとに、波形を生成する。
 図10は、第3の実施形態において波形決定部104が波形を生成するための電気的な構成を示す図である。
 センサ部14の加速度センサ(G-sensor)は、情報処理装置1の振動を検出し、加速度センサアンプに検出信号を出力する。加速度センサアンプは、加速度センサから入力された検出信号を増幅し、波形決定部104に出力する。マイク(MIC)は、情報処理装置1の振動を検出し、マイクアンプに検出信号を出力する。マイクアンプは、マイクから入力された検出信号を増幅し、波形決定部104に出力する。
 波形決定部104は、電子的な情報を「物体に対する触覚」に置換したときの、当該触覚を提示するための波形情報を、記憶部16から読み出す。波形決定部104は、この波形をもとに、センサ部14から取得した情報処理装置1の振動(動き)に追従する波形を生成する。
 「振動(動き)に追従する波形」を説明する。図6を参照して、バッテリーの残量情報を置換した、液体31を容器30に入れて容器30を動かしたときの、容器30内での液体31の運動を例に説明する。液体31を入れた容器30を手に持って動かすと、手の動きに伴い容器30内の液体31の揺れを感じる。容器30を強く動かすときと弱く動かすときで、容器30内の液体31が揺れるとき、液体31が容器30の内壁に当たったときの力覚が異なることは、誰しも経験したことがあるはずである。これは、容器30を強く動かすときと弱く動かすときで、容器30内の液体31が揺れるとき、液体31が容器30の内壁に当たって生じる振動の波形が異なるためである。
 そこで、本実施形態では、バッテリーの残量に応じた量の液体31を同一の容器30内に入れて動かすとき、容器30の動きの量や方向に追従して、容器30内での液体31の運動を表現する波形を、シミュレートする。つまり、ユーザが情報処理装置1を手に持って動かすことを、液体31を入れた容器30を手に持って動かすことに見立て、ユーザが情報処理装置1を動かすとき、その動きに追従して、リアルタイムで波形をシミュレートする。
 すなわち、例えば、ユーザが情報処理装置1を強く振ると、液体31が容器30の壁面に何度も強く当たって跳ね返るような、振幅が大きくランダムな振動波形を生成する。例えば、ユーザが情報処理装置1を弱く振ると、液体31が容器30の壁面に弱く当たってすぐに収束するような、振幅が小さくさざ波のような振動波形を生成する。
 また、図10に例示する1以上の圧電アクチュエータ及び/又は1以上のフォースリアクタを、情報処理装置1の様々な部位を振動させるために、適切な1以上の位置に設置しておくことで、情報処理装置1の傾きに追従した振動も実現できる。例えば、ユーザが情報処理装置1を傾けると、傾けた方向に液体31が流れ、終端で液体31が容器の壁面に強く当たって跳ね返るような振動を実現できる。
 このように、波形決定部104は、電子的な情報を「物体に対する触覚」に置換したときの波形をもとに、情報処理装置1の動きに追従する波形を生成する。このため、第3の実施形態によれば、第1の実施形態に比べて、ユーザの得る力覚が、現実の物体の運動から得る力覚(触覚)により近いものとなる。従って、ユーザは、より現実に近いアナログ的な振動を力覚的に感じることで、電子的な情報(量を示す情報)を益々直感的に理解することができる。
<第4の実施形態>
 第1の実施形態は、1つの情報処理装置1が、情報処理装置1の動きを検出し、振動した。これに対して、第4の実施形態では、ネットワークを通じて相互に通信可能な2つの情報処理装置のうち、一方の情報処理装置が自装置の動きを検出すると、他方の情報処理装置が振動する。
 図11は、第4の実施形態の情報処理システムの機能的な構成例を示す図である。
 情報処理システムS1は、第1の情報処理装置1Aと、第2の情報処理装置1Bとを有する。第1の情報処理装置1Aと、第2の情報処理装置1Bとは、インターネット等のネットワークNを通じて相互に通信可能である。
 第1の情報処理装置1Aは、少なくとも、センサ部14Aと、制御部11Aの動き検出部101A、情報選択部102A、情報取得部103A及び波形決定部104Aとを有する。
 第2の情報処理装置1Bは、少なくとも、制御部11Bの信号供給部105Bと、振動発生部17Bとを有する。本構成の第2の情報処理装置1Bは、スマートフォンのような携帯情報端末ではなく、振動機能のみを主に有するデバイスでもよい。
 第1の情報処理装置1Aにおいて、動き検出部101Aは、センサ部14Aの少なくとも加速度センサが検出した第1の情報処理装置1Aの移動の方向や速度をもとに、第1の情報処理装置1Aの動きを検出する。情報選択部102Aは、第1の情報処理装置1Aの異なる動きに応じて、提示する情報の種類を選択する。情報取得部103Aは、提示する電子的な情報を取得する。波形決定部104Aは、電子的な情報を「物体に対する触覚」仮想的に置換したときの、当該触覚を提示するための波形を決定する。第1の情報処理装置1Aは、波形決定部104Aが決定した波形を、ネットワークNを通じて、第2の情報処理装置1Bに供給する。
 第2の情報処理装置1Bは、第1の情報処理装置1Aから、ネットワークNを通じて、波形を取得する。信号供給部105Bは、振動発生部17Bに、第1の情報処理装置1Aから取得した波形で接触対象物(情報処理装置1Bの、ハウジング及び/又はタッチパネルの少なくとも一部)を振動させるための駆動信号を供給する。振動発生部17Bは、入力された駆動信号に基づき振動し、接触対象物を振動させる。
 上では、1つの第1の情報処理装置1Aと、1つの第2の情報処理装置1Bとを説明したが、これに限定されない。情報処理システムS1は、1つの第1の情報処理装置1Aと、複数の第2の情報処理装置1Bとを有してもよい。これにより、1つの第1の情報処理装置1Aが自装置の動きを検出すると、複数の第2の情報処理装置1Bが振動する。あるいは、情報処理システムS1は、複数の第1の情報処理装置1Aと、1つの第2の情報処理装置1Bとを有してもよい。これにより、複数の第1の情報処理装置1Aがそれぞれ自装置の動きを検出すると、1つの第2の情報処理装置1Bが振動する。あるいは、情報処理システムS1は、複数の第1の情報処理装置1Aと、複数の第2の情報処理装置1Bとを有してもよい(いずれも図示せず)。
<第5の実施形態>
 第4の実施形態では、ネットワークを通じて相互に通信可能な2つの情報処理装置のうち、一方の情報処理装置は自装置の動きを検出可能であるが振動できず、他方の情報処理装置は振動可能であるが自装置の動きを検出できなかった。これに対して、第5の実施形態では、ネットワークを通じて相互に通信可能な2つの情報処理装置は、何れも、自装置の動きを検出可能であり、振動可能である。
 図12は、第5の実施形態の情報処理システムの機能的な構成例を示す図である。
 情報処理システムS2は、第1の情報処理装置2Aと、第2の情報処理装置2Bとを有する。第1の情報処理装置2Aと、第2の情報処理装置2Bとは、インターネット等のネットワークNを通じて相互に通信可能である。
 第1の情報処理装置2Aと、第2の情報処理装置2Bとは、いずれも、センサ部14と、制御部11の動き検出部101、情報選択部102、情報取得部103、波形決定部104及び信号供給部105と、振動発生部17とを有する。
 第1の情報処理装置2Aにおいて、動き検出部101は、センサ部14の少なくとも加速度センサが検出した第1の情報処理装置2Aの移動の方向や速度をもとに、第1の情報処理装置2Aの動きを検出する。情報選択部102は、第1の情報処理装置2Aの異なる動きに応じて、提示する情報の種類を選択する。情報取得部103は、提示する電子的な情報を取得する。波形決定部104は、電子的な情報を「物体に対する触覚」に置換したときの、当該触覚を提示するための波形を決定する。第1の情報処理装置2Aは、波形決定部104が決定した波形を、ネットワークNを通じて、第2の情報処理装置2Bに供給する。
 第2の情報処理装置2Bは、第1の情報処理装置2Aから、ネットワークNを通じて、波形を取得する。信号供給部105は、振動発生部17に、第1の情報処理装置2Aから取得した波形で接触対象物(情報処理装置1Bの、ハウジング及び/又はタッチパネルの少なくとも一部)を振動させるための駆動信号を供給する。振動発生部17は、入力された駆動信号に基づき振動し、接触対象物を振動させる。
 [第5の実施形態の変形例]
 上では、2つの情報処理装置2A、2Bを説明したが、これに限定されない。情報処理システムS2は、3つ以上の情報処理装置を有してもよい(図示せず)。これにより、1又は複数の情報処理装置がそれぞれ自装置の動きを検出すると、他の1又は複数の情報処理装置が振動する。
 上では、第1の情報処理装置2Aの波形決定部104が決定した波形を第2の情報処理装置2Bに供給した。これに替えて、第1の情報処理装置2Aの情報取得部103は、電子的な情報を第2の情報処理装置2Bに供給し、第2の情報処理装置2Bの波形決定部104が波形を決定してもよい。
 <変形例>
 本技術に係る実施形態は、上記で説明した実施形態に限定されず種々変形される。
 第1の実施形態では情報処理装置の特定の動き(振り)をトリガとして、第2の実施形態では情報処理装置の動きの特定の組み合わせをトリガとして、電子マネーの残高等を提示した。これに替えて、例えば、情報処理装置はGPS(Global Positioning System)センサを有し、情報処理装置が駅の改札口付近に接近したことをトリガとして、電子マネーの残高等を提示してもよい。あるいは、駅の改札口付近での情報処理装置の特定の動き(振り)をトリガとして、電子マネーの残高等を提示してもよい。あるいは、情報処理装置1の物理ボタンの押下をトリガとして、電子的な情報を提示してもよい。
 各実施形態では、電子的な情報(量を示す情報。具体的には、バッテリーの残量、電子マネーの残高、天気の降水量)を「物体に対する触覚」に置換したときの、この触覚を提示するための波形で、接触対象物を振動させた。これに替えて、電子的な情報として、以下の具体例(1)乃至(5)を採用し、各例の電子的な情報を「物体に対する触覚」に置換したときの、当該触覚を提示するための波形で、接触対象物を振動させてもよい。電子的な情報は、量を示す情報でなくてもよい。
 (1)時間
 情報処理装置は、情報処理装置を例えば触る(振らないので、ポケット等に入れたままでもよい)動作を加速度センサで検知する。情報処理装置は、時間情報を読み出し、現在時刻に応じて設定した振動波形で振動発生部を振動させる。
 (2)自宅の情報
 情報処理装置は、自宅内での現在位置をホームネットワークのWiFi強度で検出し、情報処理装置の動き(振り)を加速度センサで検出する。情報処理装置は、現在位置及び動きを検出すると、ホームネットワークを通じて自宅内のサーバ装置に通知する。サーバ装置は、通知を受けると、それをトリガとして、電子的な情報(鍵の閉め忘れ、電力使用状況等)を、自装置から読み出し又はホームネットワークを通じて他機器から取得する。サーバ装置は、取得した電子的な情報に応じて設定した振動波形を決定し、ホームネットワークを通じて情報処理装置に供給する。情報処理装置は、ホームネットワークを通じてサーバ装置から取得した振動波形で振動発生部を振動させる。
 あるいは、サーバ装置は、取得した電子的な情報をホームネットワークを通じて情報処理装置に供給する。情報処理装置は、ホームネットワークを通じてサーバ装置から電子的な情報を取得する。情報処理装置は、取得した電子的な情報に応じて設定した振動波形を決定し、決定した振動波形で振動発生部を振動させる。
 (3)ペットの活動状況
 自宅内のペットに予め加速度センサを装着しておき、自宅内のサーバ装置は、ペットに装着された加速度センサが検出したペットの動きを蓄積している。情報処理装置は、情報処理装置の動き(振り)を加速度センサで検出する。情報処理装置は、動きを検出すると、ホームネットワークを通じて自宅内のサーバ装置に通知する。サーバ装置は、通知を受けると、それをトリガとして、電子的な情報(ペットの動き)を読み出し、取得した電子的な情報に応じて設定した振動波形を決定し、ホームネットワークを通じて情報処理装置に供給する。情報処理装置は、ホームネットワークを通じてサーバ装置から取得した振動波形で振動発生部を振動させる。
 あるいは、サーバ装置は、取得した電子的な情報をホームネットワークを通じて情報処理装置に供給する。情報処理装置は、ホームネットワークを通じてサーバ装置から電子的な情報を取得する。情報処理装置は、取得した電子的な情報に応じて設定した振動波形を決定し、決定した振動波形で振動発生部を振動させる。
 あるいは、サーバ装置を介在させず、第4の実施形態の情報処理システムにおいて、第1の情報処理装置を、ペットに装着された小型の情報処理装置(加速度センサを含む)とし、第2の情報処理装置を、ユーザが持つ携帯情報端末としてもよい。
 (4)相手(他者)の活動状況
 相手(他者)は、ウェアラブル端末(脈拍センサを含む)を装着している。ユーザは、情報処理装置を有する。情報処理装置は、情報処理装置の動き(振り)を加速度センサで検出する。情報処理装置は、動きを検出すると、ネットワークを通じてウェアラブル端末に通知する。ウェアラブル端末は、通知を受けると、電子的な情報(脈拍の記録データ)を、ネットワークを通じて情報処理装置に供給する。情報処理装置は、ネットワークを通じて、脈拍の記録データを取得する。情報処理装置は、取得した電子的な情報に応じて設定した振動波形を決定し、決定した振動波形で振動発生部を振動させる。本例によれば、例えば、高齢者にウェアラブル端末(脈拍センサを含む)を装着し、別居する家族、介護関係者、医療関係者等が情報処理装置を保有しておけば、情報処理装置のユーザは、高齢者の活動状況、健康状況を知ることができる。
 あるいは、サーバ装置(自宅内又はインターネット内)を介在させてもよい。すなわち、ウェアラブル端末が検出した電子的な情報(脈拍の記録データ)をサーバ装置に蓄積し、サーバ装置が、電子的な情報(脈拍の記録データ)を、ネットワークを通じて情報処理装置に供給してもよい。あるいは、サーバ装置が、電子的な情報(脈拍の記録データ)をもとに振動波形を決定し、ネットワークを通じて情報処理装置に供給してもよい。
 (5)冷蔵庫の中身(食材の残り)の情報
 ユーザは、情報処理装置(GPSセンサを含む)を保有し、食品売り場等に居る。情報処理装置は、現在位置をGPSセンサで検出し、情報処理装置の動き(振り)を加速度センサで検出する。情報処理装置は、検出した現在位置の売り場情報をインターネットを通じて取得する。情報処理装置は、売り場情報として「食品売り場」を取得すると、自宅内の冷蔵庫に搭載された情報処理装置にインターネットを通じて、動きを検出したことを通知する。冷蔵庫に搭載された情報処理装置は、冷蔵庫内の中身(食材の残り)の重量を計測し、電子的な情報(食材の残りの重量)を取得する。冷蔵庫に搭載された情報処理装置は、取得した電子的な情報(食材の残りの重量)を、インターネットを通じてユーザが保有する情報処理装置に供給する。ユーザが保有する情報処理装置は、取得した電子的な情報に応じて設定した振動波形を決定し、決定した振動波形で振動発生部を振動させる。
 あるいは、サーバ装置(自宅内又はインターネット内)を介在させてもよい。すなわち、冷蔵庫に搭載された情報処理装置が検出した電子的な情報(食材の残りの重量)をサーバ装置に蓄積し、サーバ装置が、電子的な情報(食材の残りの重量)を、ネットワークを通じてユーザが保有する情報処理装置に供給してもよい。あるいは、サーバ装置が、電子的な情報(食材の残りの重量)をもとに振動波形を決定し、ネットワークを通じてユーザが保有する情報処理装置に供給してもよい。
 電子的な情報に対応する「物体に対する触覚」の種類は限定されない。例えば情報処理装置の温度、形状、及び硬さ等を変化させることで、触覚を提示することも可能である。例えば気温等の温度に関する情報に応じて、情報処理装置の温度が制御されてもよい。あるいはユーザが立っている地点の地形や地質等に応じて、情報処理装置の形状や硬さが制御されてもよい。
 温度制御は、例えば情報処理装置にヒータ等の熱源を備えること制御可能である。あるいはファン装置等を含めた冷却機構の動作を制御することでも、温度を制御することが可能である。
 情報処理装置の形状の制御は、例えば制御装置の筐体部等に、形状記憶合金やワイヤ等を設けること可能である。制御装置の硬さの制御は、例えば内部に構成された支持機構を制御することで実行可能である。あるいは硬度を制御可能な材料が用いられてもよい。
 このように、本技術により提示される「触覚」は、ハプティク(力覚)フィードバック(haptic feedback)のみならず、対象物から感じられる熱(温度)、認識される形状や硬さ等を含む(形状や硬さは「力覚」に基づく感覚ともいえる)。すなわち本技術に係る「触覚」は、接触を介して感じられる種々の感覚を含む。また擬似触覚、仮想触覚、錯触覚等のように、錯覚的に感じられる触覚も含まれる。
 上記ではユーザにより操作される携帯端末等のコンピュータにより、本技術に係る情報処理方法が実行される場合を説明した。しかしながらユーザが操作するコンピュータとネットワーク等を介して通信可能な他のコンピュータとにより、本技術に係る情報処理方法、及びプログラムが実行されてもよい。またユーザが操作するコンピュータと、他のコンピュータとが連動して、本技術に係る情報処理システムが構築されてもよい。
 すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
 コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば電子的な情報の取得、及び第1の触覚信号の出力が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
 すなわち本技術に係る情報処理方法及びプログラムは、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
 なお、本技術は以下のような構成もとることができる。
(1)電子的な情報を取得する情報取得部と、
 前記取得された電子的な情報に対応して設定された物体に対する触覚を提示するための第1の触覚信号を出力する信号出力部と
 を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、
 前記物体に対する触覚は、前記取得された電子的な情報に対応する物体を収容する容器に対する触覚を含む
 情報処理装置。
(3)(2)に記載の情報処理装置であって、
 前記電子的な情報は、情報の種類と量を含み、
 前記物体に対する触覚は、前記量に対応する量の前記情報の種類に対応する物体を収容する前記容器を動かしたときの触覚を含む
 情報処理装置。
(4)(3)に記載の情報処理装置であって、さらに、
 前記情報処理装置の動きを検出する動き検出部を具備し、
 前記信号出力部は、前記検出された前記情報処理装置の動きに基づいて、前記容器を動かしたときの触覚を提示するための前記第1の触覚信号を出力する
 情報処理装置。
(5)(3)又は(4)に記載の情報処理装置であって、
 前記電子的な情報は、バッテリーの残量を含み、
 前記物体に対する触覚は、前記バッテリーの残量に応じた量の液体を収容する前記容器を動かしたときの触覚を含む
 情報処理装置。
(6)(3)から(5)のうちいずれか1つに記載の情報処理装置であって、
 前記電子的な情報は、電子マネーの残高を含み、
 前記物体に対する触覚は、前記電子マネーの残高に応じた量の硬貨を収容する前記容器を動かしたときの触覚を含む
 情報処理装置。
(7)(1)から(6)のうちいずれか1つに記載の情報処理装置であって、
 前記信号出力部は、前記第1の触覚情報として、前記物体に対する触覚を振動により提示する触覚提示部を駆動する駆動信号を出力する
 情報処理装置。
(8)(1)から(7)のうちいずれか1つに記載の情報処理装置であって、さらに、
 前記情報処理装置の動きを検出する動き検出部を具備し、
 前記情報取得部は、前記情報処理装置の所定の動きが検出されると、前記電子的な情報を取得する
 情報処理装置。
(9)(8)に記載の情報処理装置であって、さらに、
 前記検出された情報処理装置の動きに基づいて、前記情報取得部により取得される前記電子的な情報の種類を選択する情報選択部を具備する
 情報処理装置。
(10)(9)に記載の情報処理装置であって、
 前記信号出力部は、前記情報選択部により選択された前記電子的な情報の種類に応じた触覚を提示するための第2の触覚信号を出力する
 情報処理装置。
 1…情報処理装置
 30、40…容器
 11…制御部
 14…センサ部
 16…記憶部
 17…振動発生部
 31…液体
 41…硬貨
 101…動き検出部
 102…情報選択部
 103…情報取得部
 104…波形決定部
 105…信号供給部

Claims (13)

  1.  電子的な情報を取得する情報取得部と、
     前記取得された電子的な情報に対応して設定された物体に対する触覚を提示するための第1の触覚信号を出力する信号出力部と
     を具備する情報処理装置。
  2.  請求項1に記載の情報処理装置であって、
     前記物体に対する触覚は、前記取得された電子的な情報に対応する物体を収容する容器に対する触覚を含む
     情報処理装置。
  3.  請求項2に記載の情報処理装置であって、
     前記電子的な情報は、情報の種類と量を含み、
     前記物体に対する触覚は、前記量に対応する量の前記情報の種類に対応する物体を収容する前記容器を動かしたときの触覚を含む
     情報処理装置。
  4.  請求項3に記載の情報処理装置であって、さらに、
     前記情報処理装置の動きを検出する動き検出部を具備し、
     前記信号出力部は、前記検出された前記情報処理装置の動きに基づいて、前記容器を動かしたときの触覚を提示するための前記第1の触覚信号を出力する
     情報処理装置。
  5.  請求項3に記載の情報処理装置であって、
     前記電子的な情報は、バッテリーの残量を含み、
     前記物体に対する触覚は、前記バッテリーの残量に応じた量の液体を収容する前記容器を動かしたときの触覚を含む
     情報処理装置。
  6.  請求項3に記載の情報処理装置であって、
     前記電子的な情報は、電子マネーの残高を含み、
     前記物体に対する触覚は、前記電子マネーの残高に応じた量の硬貨を収容する前記容器を動かしたときの触覚を含む
     情報処理装置。
  7.  請求項1に記載の情報処理装置であって、
     前記信号出力部は、前記第1の触覚情報として、前記物体に対する触覚を振動により提示する触覚提示部を駆動する駆動信号を出力する
     情報処理装置。
  8.  請求項1に記載の情報処理装置であって、さらに、
     前記情報処理装置の動きを検出する動き検出部を具備し、
     前記情報取得部は、前記情報処理装置の所定の動きが検出されると、前記電子的な情報を取得する
     情報処理装置。
  9.  請求項8に記載の情報処理装置であって、さらに、
     前記検出された情報処理装置の動きに基づいて、前記情報取得部により取得される前記電子的な情報の種類を選択する情報選択部を具備する
     情報処理装置。
  10.  請求項9に記載の情報処理装置であって、
     前記信号出力部は、前記情報選択部により選択された前記電子的な情報の種類に応じた触覚を提示するための第2の触覚信号を出力する
     情報処理装置。
  11.  電子的な情報を取得し、
     前記取得された電子的な情報に対応して設定された物体に対する触覚を提示するための第1の触覚信号を出力する
     ことをコンピュータシステムが実行する情報処理方法。
  12.  電子的な情報を取得するステップと、
     前記取得された電子的な情報に対応して設定された物体に対する触覚を提示するための第1の触覚信号を出力するステップと
     をコンピュータシステムに実行させるプログラム。
  13.  電子的な情報を取得する第1の情報処理装置と、
     前記第1の情報処理装置と通信可能であり、前記第1の情報処理装置により取得された電子的な情報に対応して設定された物体に対する触覚を提示するための第1の触覚信号を出力する第2の情報処理装置と
     を具備する情報処理システム。
PCT/JP2017/023472 2016-09-14 2017-06-27 情報処理装置、情報処理方法、プログラム、及び情報処理システム WO2018051606A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/327,101 US10845881B2 (en) 2016-09-14 2017-06-27 Information processing apparatus, information processing method, and information processing system for presentation of haptic feedback with respect to an object based on the electronic information
JP2018539531A JP6927637B2 (ja) 2016-09-14 2017-06-27 情報処理装置、情報処理方法、プログラム、及び情報処理システム
US17/087,689 US11327568B2 (en) 2016-09-14 2020-11-03 Information processing apparatus, information processing method, and information processing system for haptic feedback presentation based on electronic information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016179144 2016-09-14
JP2016-179144 2016-09-14

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/327,101 A-371-Of-International US10845881B2 (en) 2016-09-14 2017-06-27 Information processing apparatus, information processing method, and information processing system for presentation of haptic feedback with respect to an object based on the electronic information
US17/087,689 Continuation US11327568B2 (en) 2016-09-14 2020-11-03 Information processing apparatus, information processing method, and information processing system for haptic feedback presentation based on electronic information

Publications (1)

Publication Number Publication Date
WO2018051606A1 true WO2018051606A1 (ja) 2018-03-22

Family

ID=61619876

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/023472 WO2018051606A1 (ja) 2016-09-14 2017-06-27 情報処理装置、情報処理方法、プログラム、及び情報処理システム

Country Status (3)

Country Link
US (2) US10845881B2 (ja)
JP (1) JP6927637B2 (ja)
WO (1) WO2018051606A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020047162A (ja) * 2018-09-21 2020-03-26 株式会社リコー 入力装置、プログラムおよび方法
JP2021174093A (ja) * 2020-04-21 2021-11-01 エヌエイチエヌ コーポレーション プログラムおよび画像制御方法
JP7503022B2 (ja) 2021-04-20 2024-06-19 Kddi株式会社 容器内の液体の動きを触覚としてユーザに伝達する携帯機器、プログラム及び方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3647885A1 (fr) * 2018-11-02 2020-05-06 Tissot S.A. Procede de gestion de la consommation electrique d'une montre

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008129835A (ja) * 2006-11-21 2008-06-05 Matsushita Electric Ind Co Ltd 立体画像表示システム
JP2010015551A (ja) * 2008-06-03 2010-01-21 Univ Of Electro-Communications 触覚情報提示装置及び触覚情報提示システム
WO2010095372A1 (ja) * 2009-02-17 2010-08-26 日本電気株式会社 触力覚提示装置、触力覚提示装置が適用された電子機器端末及び触力覚提示方法
WO2013051662A1 (ja) * 2011-10-04 2013-04-11 株式会社ニコン 電子機器
JP2015090516A (ja) * 2013-11-05 2015-05-11 日本電信電話株式会社 粘性感覚呈示装置、その方法、およびプログラム
JP2015215795A (ja) * 2014-05-12 2015-12-03 日本放送協会 触力覚提示装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010095372A (ja) 2008-10-20 2010-04-30 Canon Electronics Inc クリーニングシート
KR101184516B1 (ko) 2010-01-29 2012-09-19 삼성전기주식회사 터치스크린 장치
US8798534B2 (en) * 2010-07-09 2014-08-05 Digimarc Corporation Mobile devices and methods employing haptics
US8710966B2 (en) * 2011-02-28 2014-04-29 Blackberry Limited Methods and apparatus to provide haptic feedback
JP2013051662A (ja) 2011-07-29 2013-03-14 Panasonic Corp 電子機器
US10019711B1 (en) * 2012-09-12 2018-07-10 Edward Adam Lerner Processing of online payment transactions
US9448628B2 (en) * 2013-05-15 2016-09-20 Microsoft Technology Licensing, Llc Localized key-click feedback
KR102142067B1 (ko) * 2013-07-12 2020-08-06 삼성전자주식회사 휴대 단말 및 이의 정보 제공 방법
US20150179037A1 (en) * 2013-12-23 2015-06-25 Cellco Partnership D/B/A Verizon Wireless Using data fusion to electronically detect liquid in mobile devices
US20160048399A1 (en) * 2014-08-15 2016-02-18 At&T Intellectual Property I, L.P. Orchestrated sensor set

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008129835A (ja) * 2006-11-21 2008-06-05 Matsushita Electric Ind Co Ltd 立体画像表示システム
JP2010015551A (ja) * 2008-06-03 2010-01-21 Univ Of Electro-Communications 触覚情報提示装置及び触覚情報提示システム
WO2010095372A1 (ja) * 2009-02-17 2010-08-26 日本電気株式会社 触力覚提示装置、触力覚提示装置が適用された電子機器端末及び触力覚提示方法
WO2013051662A1 (ja) * 2011-10-04 2013-04-11 株式会社ニコン 電子機器
JP2015090516A (ja) * 2013-11-05 2015-05-11 日本電信電話株式会社 粘性感覚呈示装置、その方法、およびプログラム
JP2015215795A (ja) * 2014-05-12 2015-12-03 日本放送協会 触力覚提示装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020047162A (ja) * 2018-09-21 2020-03-26 株式会社リコー 入力装置、プログラムおよび方法
JP7135650B2 (ja) 2018-09-21 2022-09-13 株式会社リコー 入力装置、プログラムおよび方法
JP2021174093A (ja) * 2020-04-21 2021-11-01 エヌエイチエヌ コーポレーション プログラムおよび画像制御方法
JP2021174517A (ja) * 2020-04-21 2021-11-01 エヌエイチエヌ コーポレーション プログラムおよび画像制御方法
JP7503022B2 (ja) 2021-04-20 2024-06-19 Kddi株式会社 容器内の液体の動きを触覚としてユーザに伝達する携帯機器、プログラム及び方法

Also Published As

Publication number Publication date
US10845881B2 (en) 2020-11-24
US20190204928A1 (en) 2019-07-04
JPWO2018051606A1 (ja) 2019-07-11
JP6927637B2 (ja) 2021-09-01
US11327568B2 (en) 2022-05-10
US20210048889A1 (en) 2021-02-18

Similar Documents

Publication Publication Date Title
US10427039B2 (en) Haptic surround functionality
WO2018051606A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
EP3588250A1 (en) Real-world haptic interactions for a virtual reality user
CN104375633B (zh) 用于触觉摆弄的系统和方法
US9360944B2 (en) System and method for enhanced gesture-based interaction
JP2019114270A (ja) 触覚変換を行うためのシステム及び方法
EP3040814A1 (en) Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications
US20180232051A1 (en) Automatic localized haptics generation system
KR20160138137A (ko) 햅틱적으로 인에이블되는 곡면형 디바이스들을 위한 시스템 및 방법
EP3598273A1 (en) Adaptive haptic effect rendering based on dynamic system identification
JP2014209329A (ja) 触覚効果のパラメータを修正するためのシステムおよび方法
CN108431734A (zh) 用于非触摸式表面交互的触觉反馈
US11755111B2 (en) Spatially aware computing hub and environment
Almeida et al. Towards natural interaction in immersive reality with a cyber-glove
US20180011538A1 (en) Multimodal haptic effects
US20230185364A1 (en) Spatially Aware Computing Hub and Environment
EP4034974A1 (en) Smart ring
CN108700944B (zh) 与在虚拟现实环境中的运动有关的系统和方法
JPWO2012073733A1 (ja) 提示装置、コミュニケーションシステム、および感性提示方法
Okada et al. Virtual Drum: Ubiquitous and playful drum playing
Efraimidis et al. Wireless embedded system on a glove for hand motion capture and tactile feedback in 3d environments
US20230350492A1 (en) Smart Ring
Yalçinkaya Designing 3D scenarios and interaction tasks for immersive environments

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17850512

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018539531

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17850512

Country of ref document: EP

Kind code of ref document: A1