WO2018181584A1 - 情報処理システム、情報処理方法、情報処理プログラム - Google Patents

情報処理システム、情報処理方法、情報処理プログラム Download PDF

Info

Publication number
WO2018181584A1
WO2018181584A1 PCT/JP2018/012986 JP2018012986W WO2018181584A1 WO 2018181584 A1 WO2018181584 A1 WO 2018181584A1 JP 2018012986 W JP2018012986 W JP 2018012986W WO 2018181584 A1 WO2018181584 A1 WO 2018181584A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
information processing
footwear
unit
user
Prior art date
Application number
PCT/JP2018/012986
Other languages
English (en)
French (fr)
Inventor
裕也 菊川
隆晴 金井
Original Assignee
株式会社ノーニューフォークスタジオ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ノーニューフォークスタジオ filed Critical 株式会社ノーニューフォークスタジオ
Priority to US16/499,821 priority Critical patent/US11051575B2/en
Priority to CN201880022446.0A priority patent/CN110476140B/zh
Publication of WO2018181584A1 publication Critical patent/WO2018181584A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B13/00—Soles; Sole-and-heel integral units
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B13/00—Soles; Sole-and-heel integral units
    • A43B13/38—Built-in insoles joined to uppers during the manufacturing process, e.g. structural insoles; Insoles glued to shoes during the manufacturing process
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B23/00—Uppers; Boot legs; Stiffeners; Other single parts of footwear
    • A43B23/26—Tongues for shoes
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
    • A43B3/38—Footwear characterised by the shape or the use with electrical or electronic arrangements with power sources
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted

Definitions

  • the present invention relates to an information processing system that performs input using footwear, an information processing method, and an information processing program.
  • Patent Document 1 discloses a technique for detecting a user's movement and using it as an input to a tennis game.
  • Patent Document 1 By the way, in the technique described in Patent Document 1, it is said that it is complicated for the user to use, such as attaching a marker to the user's wrist or ankle, or preparing a plurality of cameras for imaging the user. There's a problem.
  • an object of the present invention is to provide an information processing system in which a user can perform an operation using an operation familiar to daily life with a simpler configuration.
  • an information processing system is an information processing system including footwear and an information processing device, and the footwear includes a sensor for detecting movement of the footwear, An information processing system generates a spatial information to be provided to a user wearing a footwear in accordance with a detection unit that detects the movement of the footwear based on a temporal change in sensing data and the movement detected by the detection unit
  • the information processing apparatus includes a generation unit, and includes an output unit that outputs spatial information.
  • an information processing method includes a reception step of receiving sensing data of a sensor for detecting movement of a detected footwear provided on the footwear from the footwear, and the sensing data A step of detecting the movement of the footwear based on a change over time, a generation step of generating spatial information to be provided to a user wearing the footwear according to the detected movement in the detection step, and spatial information Output step.
  • an information processing program includes a reception function for receiving, from a footwear, sensor sensing data of a sensor for detecting movement of the footwear detected in the footwear.
  • a detection function for detecting the movement of the footwear based on a change in the sensing data with time, and a generation function for generating spatial information to be provided to a user wearing the footwear according to the movement detected by the detection function;
  • An output function that outputs spatial information is realized.
  • the footwear further includes a transmission unit that transmits sensing data detected by the sensor to the information processing device.
  • the information processing device further includes a reception unit that receives the sensing data, a detection unit, and a generation unit. It is good also as providing a part.
  • the output unit is a monitor
  • the spatial information is image information indicating a virtual reality space or an augmented reality space
  • the generation unit is a character operated by the user or the user's field of view as the image information. It is good also as producing
  • the information processing apparatus accepts designation information that specifies whether to generate space information for the virtual reality space or space information for the augmented reality space, as the space information generated by the generation unit.
  • a reception unit may be provided, and the generation unit may generate spatial information corresponding to the designation information.
  • the information processing apparatus further includes a position information acquisition unit that acquires position information indicating the current position of the own apparatus, and when the position information is included in a predetermined range in which the position information is predetermined.
  • a designation information generation unit that generates designation information that specifies generation of spatial information for virtual reality space, and generates designation information that specifies generation of spatial information for augmented reality space when not included.
  • the receiving unit may receive the specified information generated by the specified information generating unit.
  • the information processing system includes other information processing devices, and depends on whether the device that uses the spatial information generated by the generation unit is an information processing device or another information processing device.
  • a specification information generation unit that generates specification information for specifying whether to generate spatial information for virtual reality space or to generate spatial information for augmented reality space, and the reception unit is generated by the specification information generation unit The designated information may be received.
  • the generation unit may generate the spatial information using different conversion coefficients between the sensing data and the virtual reality space and the augmented reality space according to the designation information.
  • the generation unit may generate image information of an interaction with an object that appears in the virtual reality space or the augmented reality space according to the movement of the footwear.
  • the information processing apparatus may be a wearable terminal used by a user wearing on the head.
  • the output unit may be a speaker
  • the spatial information may be audio information emitted in a virtual reality space or an augmented reality space.
  • the generation unit specifies the type of user movement, and generates voice information according to the degree of appropriateness of the specified type of movement from the movement of the footwear detected by the detection unit. It is good.
  • the information processing apparatus includes a storage unit that stores at least one piece of music information and example information that serves as an example of movement for each type of movement, and the generation unit includes, as spatial information, The closer the footwear motion is to the ideal walking motion, the more spatial information that shows the correct music as music information, and the farther away the sensing data from the ideal walking motion, the more the music information is added to the noise Information may be generated.
  • the spatial information includes image information indicating the virtual reality space or the augmented reality space
  • the image information includes an object to be displayed in the virtual reality space or the augmented reality space
  • the generation unit is configured to detect the movement of the footwear. In response, when the character operated by the user or the user touches the object, spatial information including a predetermined sound may be generated.
  • the generation unit generates music as spatial information as sound information according to the movement of the footwear, and changes the music tone of the music according to the predetermined movement of the footwear. Also good.
  • the information processing system further includes an external device, the external device acquiring an information related to the user, and a transmission unit transmitting the information related to the user acquired by the acquisition unit to the information processing device.
  • the generation unit may further generate the spatial information based on information about the user transmitted from the external device.
  • the acquisition unit may acquire information related to movement of a part other than the user's foot.
  • the footwear further includes a light emitting unit that emits light according to the movement of the footwear, and the generation unit is a space that shows a state in which the footwear worn by the user's character in the virtual space emits light in the same manner as the light emitting unit. Information may be generated.
  • the generation unit generates spatial information including stimulus information for specifying a stimulus to be given to the user according to a character operated by the user or an action on the user in the virtual reality space or the augmented reality space.
  • the generated footwear may further include a receiving unit that receives spatial information including stimulation information, and a stimulation unit that provides bodily sensation stimulation based on the stimulation information.
  • the information processing system and the like can generate spatial information corresponding to the movement of footwear. Therefore, the user can function as an input device only by moving the footwear. For example, just by raising and lowering footwear, it is possible to generate a landscape ahead as spatial information and provide it to the user, assuming that the character corresponding to the user has advanced. Since the input is performed using what is normally used by the user, such as footwear, the input can be performed without performing complicated processing for the user.
  • FIG. 1 It is a schematic diagram showing an outline of an information processing system. It is a block diagram which shows the structure of an information processing system, and the function structural example of each apparatus which comprises the said system.
  • A is an external view which shows the external appearance of footwear.
  • B is an external view which shows the structure of a tongue part.
  • A is a top view of a sole part.
  • B is sectional drawing of a sole part.
  • C is sectional drawing of a sole part, Comprising: It is sectional drawing which shows the example which has arranged the output part.
  • A) is a perspective view of a sole part.
  • (B) is a perspective view of a sole part, and shows a state in which an output part 130 is arranged.
  • FIG. 5 is a flowchart showing an operation of the first information processing apparatus 200 when generating image information.
  • (A), (b) is a figure which shows the example of a display of the image information produced
  • FIG. 4 is a flowchart showing an operation of the first information processing apparatus 200 when generating voice information.
  • 6 is a flowchart showing an operation of the first information processing apparatus 200 when selecting a virtual reality space or an augmented reality space. It is a block diagram which shows the example of another structure of the structure of an information processing system, and each apparatus which comprises the said system.
  • FIG. 1 is a schematic diagram showing an outline of an information processing system.
  • the information processing system 1 includes footwear 100 and may include a first information processing device 200, a second information processing device 300, and a user terminal 400.
  • the footwear 100 includes a sensor unit 120.
  • the footwear 100 is worn by a user on a foot, and is, for example, sneakers, leather shoes, pumps, sandals, but is not limited thereto.
  • the footwear 100 has a space for placing at least the sensor unit 120.
  • the sensor unit 120 is a sensor having a function of detecting the movement of the footwear 100 when the user wears the footwear 100 and moves. By detecting the movement of the footwear 100, it can be detected as the movement of the user's foot.
  • the sensor unit 120 detects, for example, an acceleration sensor that detects acceleration of three axes (for example, two axes perpendicular to each other in the horizontal plane and an axis perpendicular to the two axes) and rotation angles of the three axes. It can be realized from an angular velocity sensor for doing this.
  • the sensor unit 120 may further include a geomagnetic sensor that detects the geomagnetism in the three-axis direction, and may function as a nine-axis sensor.
  • the sensing data detected by the sensor unit 120 is referred to as sensing data.
  • the sensing data includes at least triaxial acceleration information and triaxial angular velocity information.
  • the information processing system 1 includes a detection unit 211 and a generation unit 212.
  • the detecting unit 211 detects the movement of the footwear 100 based on the change over time of the sensing data detected by the sensor unit 120 of the footwear 100.
  • the detection unit 211 is realized by, for example, the processor of the first information processing apparatus 200, but is not limited thereto. It may be realized by the processor of the footwear 100, may be realized by the processor of the second information processing apparatus 300, or may be realized by the processor of the user terminal 400.
  • the generation unit 212 generates spatial information to be provided to the user wearing the footwear 100 according to the movement detected by the detection unit 211.
  • the generation unit 212 is realized by, for example, the processor of the first information processing apparatus 200, but is not limited thereto. It may be realized by the processor of the footwear 100, may be realized by the processor of the second information processing apparatus 300, or may be realized by the processor of the user terminal 400.
  • the spatial information refers to information related to a virtual reality (Augmented Reality) space or an augmented reality (Augmented Reality) space, and includes image information and audio information including still images and moving images.
  • the second information processing apparatus 300 includes an output unit that outputs the spatial information generated by the generation unit 212.
  • the output unit may be realized by a display device that displays an image or a speaker that outputs sound.
  • the information processing system 1 can provide the user with the spatial information generated by the movement of the footwear 100 moved by the user.
  • the information processing system 1 moves the character in the virtual reality space according to the movement of the footwear 100 to provide a view of the viewpoint of the character, provides footsteps according to the movement of the footwear 100, Music corresponding to the rhythm of 100 movements can be provided.
  • the spatial information may be generated by the footwear 100 or the second information processing device 300. It may be generated by the user terminal 400. That is, the first information processing apparatus 200 may be included in the footwear 100, the second first information processing apparatus 200, or the user terminal 400.
  • the functions of the detection unit 211, the generation unit 212, and the like realized by the first information processing apparatus 200 are separated from each other as long as the movement information of the detection unit 211 can be transmitted to the generation unit 212. It may be mounted on.
  • FIG. 2 is a system diagram showing a configuration of the information processing system, and at the same time, a block diagram showing a functional configuration of each device constituting the information processing system 1.
  • the footwear 100 executes communication with the first information processing apparatus 200.
  • the first information processing device 200 performs communication with the second information processing device 300.
  • the footwear 100 includes at least a sensor unit 120, and may include a module 110 and an output unit.
  • the module 110, the sensor unit 120, and the output unit 130 are connected via a bus.
  • the connection may be a wired or wireless connection, as long as information can be transmitted to each other.
  • the sensor unit 120 and the output unit 130 may be connected via the module 110.
  • the module 110 includes a power supply unit 111, a control unit 112, a communication unit 113, and a storage unit 116.
  • the power supply unit 111 is a battery having a function of supplying driving power to each unit constituting the footwear 100.
  • the control unit 112 is a processor having a function of controlling each part of the footwear 100.
  • the control unit 112 controls each unit of the footwear 100 by executing a control program stored in the storage unit 116.
  • the control unit 112 requests the communication unit 113 to transmit the sensing data transmitted from the sensor unit 120 to the first information processing device 200. Further, the control unit 112 causes the output unit 130 to generate light in accordance with the control signal received by the communication unit 113.
  • the communication unit 113 is a communication interface having a function of executing communication with the first information processing apparatus 200.
  • the communication unit 113 includes a reception unit 114 and a transmission unit 115 (first transmission unit).
  • the communication unit 113 communicates with the first information processing apparatus 200 by wireless communication.
  • the communication unit 113 may communicate with any communication standard as long as it can communicate with the first information processing apparatus 200.
  • Communication standards used by the communication unit 113 include, for example, Bluetooth Low Energy (registered trademark), Bluetooth (registered trademark), 3G (3rd Generation), 4G (4th Generation), LTE (Long Term Evolution), Wi-fi, and the like. The standard of may be used.
  • As a communication standard used by the communication unit 113 it is desirable to use a communication standard that requires a small amount of power consumption for communication when communicating with the first information processing apparatus 200.
  • the receiving unit 114 receives a control signal for controlling the output unit 130 from the first information processing apparatus 200.
  • the receiving unit 114 transmits the received control signal to the control unit 112.
  • the transmission unit 115 transmits sensing data indicating the movement of the footwear 100 detected by the sensor unit 120 to the first information processing apparatus 200.
  • the sensor unit 120 detects the movement detected when the user wearing the footwear 100 moves. As described above, the sensor unit 120 detects at least triaxial acceleration and angular velocity information indicating the rotation angle of the three axes, and transmits the detected data to the control unit 112 as sensing data. In addition to the 9-axis sensor, the sensor unit 120 may include a temperature sensor, a humidity sensor, and a pressure sensor, and the sensing data thereof is also transmitted to the control unit 112.
  • the temperature sensor detects the temperature of the user's foot.
  • the humidity sensor detects the humidity in the footwear 100.
  • a pressure sensor is provided in the bottom face of the footwear 100, for example, and a user detects how to apply force with respect to the bottom face of a foot
  • the output unit 130 performs output based on the control signal received by the receiving unit 114 of the communication unit 113 in accordance with an instruction from the control unit 112.
  • the output unit 130 emits light, and is realized by an LED, for example.
  • the LED can emit a plurality of colors, and emits light in the emission color and emission pattern indicated by the control signal.
  • the light emitted by the output unit 130 may simply be light that matches the music output by the first information processing apparatus 200, or light that matches the movement of the footwear 100.
  • the output unit 130 may output sound other than light.
  • FIG. 3 is an example of the footwear 100, and is a diagram illustrating an appearance thereof and an example of arrangement of each part inside.
  • FIG. 3A is an external view showing the configuration of the footwear 100.
  • the footwear 100 is on the upper surface side of the footwear 100, and is an upper portion 301 that covers and fixes the instep of the user wearing the footwear 100, and the bottom surface side of the footwear 100.
  • a sole portion 302 having a function of absorbing an impact.
  • the upper part 301 is provided with a tongue part 303 for protecting the instep of the user.
  • the tongue part 303 is provided with a module 110.
  • the tongue part 303 is opened to expose the module 110 inserted in the pocket provided in the tongue part 303. Can do.
  • the module 110 has a terminal (for example, a USB terminal) for receiving power supply, and by opening the tongue portion 303 as shown in FIG. 3B, the terminal is connected to an external power source. Can be stored in the power supply unit 111 by receiving power supply.
  • a terminal for example, a USB terminal
  • the sole part 302 includes the output part 130 and the sensor part 120 as described above.
  • the sensor unit 120 is provided in the shank unit in the sole unit 302 at a position corresponding to the arch of the user's foot.
  • the sensor unit 120 is connected to the module 110 through the inside of the footwear 100, operates with power supplied from the power source unit 111 inside the module 110, and sensor data (sensing). Data) to the module 110. Thereby, the sensing data detected by the sensor unit 120 is transmitted to the external first information processing apparatus 200 by the communication unit 113.
  • FIG. 4 (a) is a plan view of the sole portion 302
  • FIG. 4 (b) is a cross-sectional view of the sole portion 302 of FIG. 4 (a) taken along the line AA ′.
  • the sole portion 302 includes a groove portion 401 for placing the output portion 130.
  • the groove portion 401 is provided in the outer peripheral portion of the sole portion 302 inside the sole portion 302 and along the outer edge thereof.
  • the groove part 401 is recessed for placing the output part 130, and an LED tape is provided in the groove part 401 as the output part 130.
  • the sensor unit 120 is provided at a position where the groove 401 is not provided and at a position facing the user's arch inside the sole unit 302.
  • the location is a position referred to as a so-called shank portion in the structure of the footwear 100.
  • shock absorbing ribs 402 to 405 are provided at positions where the groove portion 401 and the sensor portion 120 are not provided.
  • the ribs 402 and 403 are provided on the toe side of the user of the sole portion 302 and on the outer peripheral side of the groove portion 401. Accordingly, it is possible to absorb an impact applied to the front end portion of the footwear 100 with respect to the footwear 100, reduce the possibility that the output portion 130 provided in the groove portion 401 breaks down, and reduce the burden on the user's foot.
  • the ribs 404 and 405 are located in the center of the footwear 100, absorb the impact on the footwear, reduce the possibility that the output unit 130 provided in the groove 401 will break down, and reduce the burden on the user's foot. can do.
  • FIG. 4C is a cross-sectional view of the sole portion 302 and shows a state where an LED tape as the output portion 130 is placed.
  • the output unit 130 is placed with the light emitting surface facing the bottom surface side of the footwear 100. That is, the bottom surface of the footwear 100 emits light.
  • the inventors have found that when the LED tape is installed along the side surface of the sole portion 302 so that the side surface emits light, the LED tape breakage rate, particularly the toe portion bending rate, increases and the breakage rate increases. is doing.
  • the sole portion 302 is made of a transparent or translucent resin having high shock absorption, the footwear 100 that transmits light emitted from the LED tape and emits light from the bottom surface thereof can be provided.
  • FIG. 5 is a perspective view of the sole portion 302 provided to make the structure of the sole portion 302 easier to understand.
  • FIG. 5A is a perspective view showing a state in which the sensor unit 120 and the output unit 130 are not placed on the sole part 302, and
  • FIG. It is a perspective view which shows the state which mounted the part 120.
  • FIG. As can be understood by comparing FIG. 5A and FIG. 5B, the output portion 130 that is an LED tape is placed on the groove portion 401 and provided on the outer peripheral portion of the bottom surface of the sole portion 302. .
  • the sensor unit 120 is provided in a recess 501 provided in the sole unit 302.
  • the recess 501 is configured to substantially match the outer diameter of the sensor unit 120, thereby preventing rattling as much as possible when the sensor unit 120 is placed in the recess 501, and the movement of the sensor unit 120.
  • the detection can be purely able to detect the movement of the footwear 100.
  • the main force unit 130 is not an essential configuration. .
  • the description returns to the first information processing apparatus 200 and the second information processing apparatus 300.
  • the first information processing apparatus 200 includes a control unit 210, a communication unit 220, a presentation unit 230, and a storage unit 240.
  • the control unit 210 is a processor having a function of controlling each unit of the first information processing apparatus 200.
  • the control unit 210 controls each unit of the first information processing apparatus 200 by executing a control program stored in the storage unit 240.
  • the control unit 210 functions as a detection unit 211 that detects the movement of the footwear 100 based on the received sensing data. Further, the control unit 210 functions as a generation unit 212 that generates spatial information corresponding to the movement of the footwear 100 detected by the detection unit 211.
  • the detecting unit 211 detects the movement of the footwear 100 based on changes in the received sensing data with time (changes in the position of footwear, changes in acceleration, changes in inclination, etc.). By detecting the movement of the footwear 100, the first information processing apparatus 200 can use the movement of the footwear 100 as input data by the user to the virtual reality space or the augmented reality space.
  • the generation unit 212 generates spatial information corresponding to the movement of the footwear 100 detected by the detection unit 211.
  • the spatial information is any information related to the virtual reality space or augmented reality space, and includes, for example, image information indicating the virtual reality space or augmented reality space, audio information on the virtual reality space or augmented reality space, and the like. However, it is not limited to these.
  • Generating spatial information in accordance with the movement of the footwear 100 means generating image information indicating a landscape visually recognized by an operation target (for example, a character) operated by a user in a virtual reality space or an augmented reality space, or a virtual reality space. Or in the augmented reality space, it means generating a sound that can be heard by the operation target.
  • an image showing the walking destination and the scenery of the destination is generated or heard by walking or running.
  • the example shown here is an example, and the generation unit 212 generates various spatial information by using the movement of the footwear 100 as an input. Whether the generation unit 212 generates the space information for the virtual reality space or the space information for the augmented reality space depends on a predetermined setting or a user situation (for example, the second information processing device 300). Position). Details will be described later.
  • the generation unit 212 when generating the image for the augmented reality space, the generation unit 212 generates the image based on the video imaged by the imaging unit 370 of the second information processing device 300.
  • the communication unit 220 is a communication interface having a function of executing communication with the footwear 100 and the second information processing apparatus 300.
  • the communication unit 220 includes a reception unit 221 and a transmission unit 222.
  • the communication unit 220 communicates with the footwear 100 by wireless communication.
  • the communication unit 220 communicates with the second information processing apparatus 300 by wired communication or wireless communication.
  • the communication unit 220 may communicate with any communication standard as long as it can communicate with the footwear 100 and the second information processing apparatus 300. For example, communication according to a communication standard such as Ethernet (registered trademark) or Bluetooth Low Energy. I do.
  • the receiving unit 221 receives sensing data from the footwear 100 and transmits the sensing data to the control unit 210.
  • the receiving unit 221 receives position information and a captured image from the second information processing device 300 and transmits them to the control unit 210.
  • the transmission unit 222 transmits the spatial information transmitted from the control unit 210 to the second information processing device 300.
  • the storage unit 240 is a recording medium having a function of storing various programs and data required for operation of the first information processing apparatus 200.
  • the storage unit 240 can be realized by, for example, an HDD, an SSD, a flash memory, or the like.
  • the storage unit 240 is configured to detect a movement of the footwear 100 based on a temporal change in the state of the footwear 100 indicated by the sensing data transmitted from the footwear 100, and based on the detected movement of the footwear 100, a virtual A generation program for generating images and sounds in the real space and augmented reality space is stored.
  • the storage unit 240 stores the transmitted sensing data in association with the detected date information.
  • the second information processing apparatus 300 includes a control unit 310, a communication unit 320, and a storage unit 330, and includes a display unit 350 and an audio unit 350 that function as an output unit.
  • the control unit 310 is a processor having a function of controlling each unit of the second information processing device 300.
  • the control unit 310 controls each unit of the second information processing device 300 by executing a control program stored in the storage unit 330.
  • the control unit 310 causes the display unit 340 and the audio unit 350, which are output units, to output images and audio in accordance with the transmitted spatial information.
  • the communication unit 320 is a communication interface having a function of executing communication with the plurality of first information processing devices 200.
  • the communication unit 320 communicates with the first information processing apparatus 200 by wired communication or wireless communication.
  • the communication unit 320 may perform communication according to any communication standard as long as it can communicate with the first information processing apparatus 200.
  • the communication unit 320 performs communication according to a communication standard such as Ethernet (registered trademark) or Bluetooth.
  • Communication unit 320 includes a reception unit 321 and a transmission unit 322.
  • the receiving unit 321 has a function of receiving spatial information from the first information processing apparatus 200 and transmitting the spatial information to the control unit 310.
  • the transmission unit 211 has a function of transmitting the position information detected by the position information detection unit to the first information processing apparatus 200.
  • the storage unit 330 is a recording medium having a function of storing various programs and data required for operation of the second information processing apparatus 300.
  • the storage unit 330 can be realized by, for example, an HDD, an SSD, a flash memory, or the like.
  • the display unit 340 is a monitor having a function of displaying spatial information that is image information in accordance with an instruction from the control unit 310.
  • the image information may be 3D video or 2D video.
  • the image information may be a still image or a moving image.
  • the display unit 340 displays, for example, a view of the field of view of the user's character on the virtual reality space according to the movement of the footwear 100, or a view of the user's view on the augmented reality space in which an object is superimposed on the view of the user. Is displayed.
  • the voice unit 350 is a speaker having a function of outputting spatial information as voice information by voice in accordance with an instruction from the control unit 310.
  • the sound unit 350 outputs sound in a virtual reality space or augmented reality space corresponding to the movement of the footwear 100, or outputs music in accordance with the movement of the footwear 100.
  • the position information detection unit 360 has a function of acquiring position information indicating the current position of the second information processing apparatus 300.
  • the position information is transmitted to the first information processing apparatus 200 by the sequential transmission unit 322.
  • the position information detection unit 360 can be realized by an existing positioning system such as GPS or GNSS.
  • the imaging unit 370 has a function of capturing an image of a landscape in a direction that is outside the second information processing apparatus 300 and the user's face is facing.
  • the video imaged by the imaging unit 370 is transmitted to the first information processing device 200 by the enlarged transmission unit 322 and used when generating image information for the Zhang reality space.
  • FIG. 6 is a flowchart showing an operation when the first information processing apparatus 100 generates image information related to the virtual reality space or the augmented reality space as the spatial information.
  • the sensor unit 120 of the footwear 100 transmits the detected information (sensing data) from the transmission unit 115 to the first information processing device 200.
  • the receiving unit 221 of the first information processing device 200 transmits the sensing data transmitted from the footwear 100 to the control unit 210 (step S601).
  • the detection unit 211 of the control unit 210 stores the transmitted sensing data in the storage unit 240. Then, based on the sensing data stored in the storage unit 240 so far, the movement of the footwear 100 is detected by detecting temporal changes such as the position, orientation, and inclination of the footwear 100 (step S602). For example, the detection unit 211 detects that the user has walked from the change in the acceleration of the footwear 100, detects that the user has raised his / her foot, or the footwear 100 is moving so as to draw an arc. And detecting that the user has kicked something. The detection unit 211 transmits motion information indicating the detected motion to the generation unit 212.
  • the generation unit 212 generates image information corresponding to the transmitted movement of the footwear 100, that is, the movement of the user's foot.
  • the generation unit 212 generates image information for virtual reality space or augmented reality space (step S603).
  • image information for virtual reality space or augmented reality space.
  • the generation unit 212 determines that the user's character has moved in the virtual reality space or augmented reality space.
  • Image information (video) indicating a state of moving forward by the calculated distance is generated.
  • the generation unit 212 for example, when motion information indicating that the user has made a motion to kick something is transmitted, the trajectory of the user's foot in the virtual reality space or the augmented reality space Image information (video) indicating a state of kicking an object existing above is generated.
  • the generation unit 212 generates image information indicating the effect.
  • control part 210 transmits the image information which the production
  • the information processing system 1 can generate and output image information related to the virtual reality space or the augmented reality space according to the movement of the footwear 100.
  • FIG. 7 shows a specific example when image information is output as spatial information.
  • An image 701 in FIG. 7A shows an example of an image displayed on the second information processing apparatus 300 (head mounted display) worn by the user. As shown in the image 701, in the virtual reality space or augmented reality space, it can be understood that the user's character or the user himself / herself is sufficient for the passage and the castle can be seen.
  • the generation unit 212 generates, as spatial information, image information indicating a landscape where the user's character has advanced, and the display unit 350 of the second information processing device 300 takes one step as shown in the image 702. (Or several steps) An image as if approaching a castle is displayed.
  • the footwear 100 can be used as an input device to operate a character and provide an image showing a landscape provided to the character.
  • the footwear 100 is used to operate the footwear 100 or an action is performed using the footwear 100 (for example, kicking the object), and an image corresponding to the action (for example, kicked or broken). Can also be generated.
  • image information video information
  • augmented reality space using the sensing data of the footwear 100 as input information can be generated and provided to the user.
  • FIG. 8 shows the operation of the first information processing apparatus 200 when generating voice information as the spatial information. 8 differs from FIG. 6 in that, instead of step S603, the generation unit 212 generates audio information as shown in step S803, and instead of step S604, the generation unit 212 changes as shown in step S804.
  • the generated voice information is transmitted to the second information processing apparatus 300 as spatial information.
  • generation part 212 produces
  • the generation of sound information according to the movement of the footwear 100 is the generation of footsteps, the generation of music according to the movement of the footwear 100, or the movement of the footwear 100 to move the character corresponding to the user. In this case, it means generating a sound that should be heard with movement or a sound that represents the destination sound.
  • music generated according to the movement of the footwear 100 is stored in advance in the storage unit 240, and the movement of the footwear 100 indicates an ideal way of walking or an ideal movement in a certain motion. This is realized by selecting sound so that a beautiful melody can be played and generating audio information.
  • an ideal way of walking and movement is stored in the storage unit 240 as a predetermined walking method and movement example movement, and it is assumed that the ideal movement and movement is ideal as it is closer to the example movement. The farther away, the more disturbing music for the user (for example, music with many dissonances) is generated as voice information. Instead of this example operation, it may be detected by a predetermined algorithm whether it is a desired motion.
  • the voice information generated in this way is output from the voice unit 350 of the second information processing apparatus 300 worn by the user and provided to the user.
  • the image information and the audio information have been described separately, but it goes without saying that both of them may be generated and provided to the user.
  • FIG. 9 is a flowchart showing the setting of whether to generate the virtual reality space (VR) space information or the augmented reality space (AR) space information, and the operation of the first information processing apparatus 200 related to switching. It is. It is often considered that the space information for the virtual reality space and the space information for the augmented reality space have different scales in the space. Accordingly, the generation unit 212 generates spatial information for each space in order to apply processing to the sensing data from the footwear 100. For example, when generating the spatial information for augmented reality space, the generation unit 212 does not particularly process the sensing data. When generating the spatial information for virtual reality space, the generating unit 212 includes Multiplication by a predetermined coefficient may be set so that the operation is larger than that in augmented reality space. Here, the respective conversion coefficients may be the same or different. A conversion coefficient suitable for a desired augmented reality space or a desired virtual reality space may be used.
  • the control unit 210 of the first information processing apparatus 200 detects whether a VR or AR designation input is received (step S901).
  • the input may be input from the second information processing apparatus 300, or may be input by an input device (not shown) such as a keyboard connected to the first information processing apparatus 200.
  • control unit 210 sets the image output method to the specified method and stores it in the storage unit 240 (step S902). . Then, the generation unit 212 generates and outputs an image (or sound) of the method set in the storage unit 240 (step S903).
  • the receiving unit 221 of the first information processing device 200 receives the position information from the second information processing device 300 (step S904).
  • control unit 210 of the first information processing device 200 detects whether the second information processing device 300 is within a predetermined range (for example, in the user's room) based on the received position information ( Step S905).
  • the generation unit 212 determines that there is little risk even if the virtual reality space image is provided to the user. Then, the image output format is set to VR (step S906). Note that the image output format here may prioritize the image output format set in the storage unit 240.
  • the generation unit 212 generates a VR video and transmits it to the second information processing apparatus 300 (step S907).
  • the user is provided with a video of the virtual reality space (or an image in a format set in the storage unit 240).
  • the generation unit 212 poses some danger if the user is viewing the virtual reality video. It is determined that there is a possibility (for example, hitting an object or a person), and the image output format is set to AR (step S908).
  • generation part 212 produces
  • the control unit 210 of the first information processing device 200 determines whether or not an end input is received from the user (step S910). If the input is received (YES in step S910), the provision of the spatial information is ended and received. If not (NO in step S910), the process returns to step S904.
  • the space information for the virtual reality space and the space information for the augmented reality space can be switched and provided to the user. Moreover, according to a user's condition (position), it can switch to an augmented reality space so that a user can enjoy a content safely.
  • the user can enjoy a virtual reality space or an augmented reality space using the movement of the footwear 100 as an input. For this purpose, the user does not need to put a special marker on the limb or install a camera. You can enjoy augmented reality space.
  • the output unit 130 of the footwear 100 may perform output other than light or sound.
  • the output unit 130 may be realized by a vibrator and transmit vibration to the user.
  • the control unit 210 generation unit 212 of the second information processing device 200 sets the character's foot operated by the user or the character in the virtual reality space or augmented reality space in the virtual reality space or augmented reality space.
  • Vibration information for vibrating the vibrator is generated when it comes into contact with any other object.
  • the vibration information may include information such as vibration intensity and vibration rhythm.
  • the control part 210 transmits the produced
  • the receiving unit 114 of the footwear 100 transmits the vibration information to the control unit 111.
  • the control unit 111 controls the output unit 130 to vibrate according to the transmitted vibration information.
  • the information processing system 1 can make the user feel the impact and feel in the virtual reality space or augmented reality space.
  • the output unit 130 may deform the footwear 110.
  • the footwear 100 may be a mechanism for pressing the user's leg.
  • the mechanism may be, for example, a mechanical device configured to press the user's leg, or may utilize a material that expands due to a chemical reaction or an electrical reaction.
  • the output unit 130 may be realized by a heater that generates heat.
  • the heater may be operated to notify the user of the heat.
  • the heater may be operated to transmit heat.
  • the output unit 130 may be realized by a cooler.
  • the cooler can be operated to inform the user of the cold.
  • a cooler may be activated to convey the cold.
  • the footwear 100 may have a function of transmitting feedback to the user character or the user in the virtual reality space or the augmented reality space.
  • virtual reality space or augmented reality space can be made more realistic.
  • the temperature sensor detects a temperature above a predetermined level, or the humidity sensor detects a humidity above a predetermined level.
  • the first information processing device 200 may output a cooling instruction to the cooler of the footwear 100, or when the temperature sensor detects a temperature below a predetermined value, A configuration in which a heating instruction is output to the heater of the footwear 100 may be employed.
  • the first information processing apparatus 200 is configured so that the footwear 100 in the virtual reality space or the augmented reality space. It is also possible to produce an effect of causing the footwear corresponding to the item to emit light in the same manner. That is, the light emission of the actual footwear 100 and the light emission of the footwear 100 in the virtual reality space may be synchronized.
  • the spatial information generated by the generation unit 212 shown in the above embodiment is an example, and is not limited to the mode shown in the above embodiment. It goes without saying that other images and sounds may be output in accordance with an application (for example, a game) operated by the first information processing apparatus 200 or the second information processing apparatus 300.
  • the generation unit 212 of the first information processing device 200 further receives sensing data from the user terminal 200 (external device) held by the user and informs the user. It is good also as determining the attitude
  • the user keeps his user terminal 400 in the bottoms pocket.
  • the user terminal 400 includes a 9-axis sensor or a 6-axis sensor, and sequentially transmits the sensing data to the first information processing apparatus 200.
  • the first information processing apparatus 200 can receive sensing data from the user terminal 400 and detect the movement of the user's waist from the temporal change of the received sensing data.
  • the movement can be reflected in the movement of the character (user) in the virtual reality space or the augmented reality space, and the generation unit 212 generates image information and audio information in accordance with the waist movement of the character.
  • the second information processing apparatus 300 may include a 9-axis sensor or a 6-axis sensor and sequentially transmit the sensing data to the first information processing apparatus 200.
  • the detection part 211 of the 1st information processing apparatus 200 detects a motion of a user's head based on the time-dependent change of the sensing data received from the 2nd information processing apparatus 300, and the motion is virtual reality space or This can be reflected in the motion of the character (user) in the augmented reality space, and the generation unit 212 can generate image information and audio information in accordance with the motion of the head of the character. Therefore, the first information processing apparatus 200 can detect the movement of the user's head, waist, and feet and generate spatial information for virtual reality space or augmented reality space. Can be generated. Therefore, simple user motion capture can be realized using the footwear 100, the user terminal 400 held on the waist, and the second information processing device 300 worn on the user's head.
  • the module 110 is provided in the tongue portion 303 of the footwear 100, but this is not limited thereto.
  • the module 110 or a part of each functional unit constituting the module 110 may be provided at a position where the sensor unit 120 is provided.
  • shoes such as sneakers are shown as an example of the footwear 100, but this is not the only case.
  • the footwear 100 may be any footwear as long as the user wears a space on the foot and includes the module 110 and the sensor unit 120.
  • the module 110, the sensor unit 120, the output unit 130, and the like may be provided inside the heel member.
  • the footwear 100 can also be realized in other leather shoes or sandals.
  • the upper part 301 and the sole part 302 of the footwear 100 may be configured to be detachable from each other.
  • the upper part and the heel part may be configured to be detachable from each other. With such a configuration, fashionability as the footwear 100 can be improved.
  • the output unit 130 is an LED tape, the LED tape tends to be broken more easily than other members due to expansion and contraction when the footwear 100 is used, but its maintenance becomes easy.
  • a fastener for example, a fastener, a hook-and-loop fastener, a screw, a binding, an upper part that constitutes a recess or a protrusion, and a bottom part (a sole part or a heel part) that constitutes a protrusion or a recess. It can be realized by fitting or the like. In this case, when the functional parts constituting the footwear 100 are separately arranged on the upper part and the bottom part, it is necessary to configure them so that they can communicate with each other.
  • a communication function is also provided at the bottom so that wireless communication can be performed with a module provided at the upper part, or a connection terminal is provided at a predetermined position of the upper part and in contact with the bottom part. Similar connection terminals may be provided at the bottom, and communication may be performed by wired communication by contact of these connection terminals.
  • the image generated by the generation unit 212 may be, for example, an image for displaying a street view on an actual map.
  • the user can go sightseeing in different places while on the spot. Therefore, the information processing system 1 can also function as a system that allows you to enjoy sightseeing while on the spot.
  • the information processing system 1 can also function as a system that allows the user to experience a preview of a rental property without moving, for example.
  • the generation unit 212 may generate music by changing the melody when the user is walking from the sensing data from the footwear 100 and the walking speed changes from the middle. For example, when the walking speed suddenly increases or the user starts running, the generation unit 212 may change the music tempo to an up-tempo, or change the song itself to a fast-tempo song. And generating music.
  • the generation unit 212 determines whether the lesson is suitable for the lesson. It is good also as scoring based on 100 movement and producing
  • the generation unit 212 may change the tone of the music to be generated every time a predetermined time has elapsed, or change the tone of the music in response to detecting a specific movement of the footwear 100 by the user. May be. As described above, the generation unit 212 can generate various music as spatial information according to the movement of the user's foot, that is, the movement of the footwear 100, and can provide it to the user.
  • switching between VR and AR is performed based on whether or not the second information processing apparatus 300 exists within a predetermined range. It may be made by other conditions. For example, VR and AR switching input may be performed by moving the foot as determined in advance. Further, for example, the display may be switched from VR to AR when the display of the content displayed on the second information processing apparatus 300 is completed, or when a predetermined time has elapsed since the start of the VR display. VR may be switched to AR, or VR may be triggered when the content displayed in VR reaches a predetermined break (for example, some learning has been completed in the content or an assigned task has been solved). It is good also as switching from AR to AR.
  • a predetermined break for example, some learning has been completed in the content or an assigned task has been solved
  • the 9-axis sensor is used as an example of the sensor unit 120, but other sensors may be used as long as the user information can be acquired.
  • the weight of the user can be measured by the sum of the measured values of the pressure sensors of both feet.
  • the pressure sensor it is possible to specify a change in load on the user's foot.
  • the temperature sensor may be provided inside the footwear 100 to measure the approximate body temperature of the user, or the humidity sensor may be provided to measure the humidity inside the footwear 100 and from there, the footwear inside 100 may be measured. The discomfort index for the user may be obtained. Then, information obtained from these various sensors may be sent to the first information processing apparatus 200 or the second information processing apparatus 300 to be reflected in the output spatial information.
  • the second information processing apparatus 300 is a head-mounted display
  • this is not limited to a head-mounted display.
  • the monitor may be a large screen, or may be glasses having the functions of the second information processing apparatus 300.
  • the processor of the first information processing device generates a spatial information by executing a detection program, a generation program, or the like.
  • this may be realized by a logic circuit (hardware) or a dedicated circuit formed in an integrated circuit (IC (Integrated Circuit) chip, LSI (Large Scale Integration)) or the like in the device.
  • IC Integrated Circuit
  • LSI Large Scale Integration
  • These circuits may be realized by one or a plurality of integrated circuits, and the functions of the plurality of functional units described in the above embodiments may be realized by a single integrated circuit.
  • An LSI may be called a VLSI, a super LSI, an ultra LSI, or the like depending on the degree of integration.
  • the footwear 100 may be composed of a power supply circuit 111, a control circuit 112, a communication circuit 113, a storage circuit 116, a sensor circuit 120, and an output circuit 130.
  • the function is the same as each part having the same name shown in the above embodiment.
  • the first information processing apparatus 200 may include a control circuit 210, a communication circuit 220, and a storage circuit 240.
  • the second information processing apparatus 300 includes a control circuit 310, a communication circuit 320, a storage circuit 330, a display circuit 340, an audio circuit 350, a position information detection circuit 360, and an imaging circuit 370. Also good.
  • the information processing program may be recorded on a processor-readable recording medium, and the recording medium may be a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, or a programmable logic. A circuit or the like can be used.
  • the information processing program may be supplied to the processor via any transmission medium (communication network, broadcast wave, etc.) capable of transmitting the information processing program.
  • the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the information processing program is embodied by electronic transmission.
  • the information processing program can be implemented using, for example, a script language such as ActionScript or JavaScript (registered trademark), an object-oriented programming language such as Objective-C or Java (registered trademark), or a markup language such as HTML5. .
  • a script language such as ActionScript or JavaScript (registered trademark)
  • an object-oriented programming language such as Objective-C or Java (registered trademark)
  • a markup language such as HTML5.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

履物と情報処理装置とを含む情報処理システムであって、履物は、履物の動きを検出するためのセンサを備え、情報処理システムは、センシングデータの経時的変化に基づいて履物の動きを検出する検出部と、検出部が検出した動きに応じて、履物を履いているユーザに対して提供する空間情報を生成する生成部を備え、情報処理装置は、空間情報を出力する出力部を備える。

Description

情報処理システム、情報処理方法、情報処理プログラム
　本発明は、履物を利用した入力を行う情報処理システム、情報処理方法および情報処理プログラムに関する。
　従来、様々な入力デバイスの研究が開発なされている。一般的な入力デバイスとしては、例えば、手で操作するコントローラなどが周知されており、様々な分野で活用されている。また、ユーザの動きを検出して、テニスゲームへの入力とする技術が特許文献１に開示されている。
特開２００５－２１８７５７号公報
　ところで、上記特許文献１に記載の技術では、ユーザの手首や足首にマーカを取り付けたり、ユーザを撮像するために複数台のカメラを用意したりと、使用するにあたってユーザにとっていろいろと煩雑であるという問題がある。
　そこで、本発明は、上記問題に鑑みてなされたものであり、ユーザがより簡易な構成で日常になじんだ動作を入力として操作を行うことができる情報処理システムを提供することを目的とする。
　上記課題を解決するために、本発明の一態様に係る情報処理システムは、履物と情報処理装置とを含む情報処理システムであって、履物は、履物の動きを検出するためのセンサを備え、情報処理システムは、センシングデータの経時的変化に基づいて履物の動きを検出する検出部と、検出部が検出した動きに応じて、履物を履いているユーザに対して提供する空間情報を生成する生成部を備え、情報処理装置は、空間情報を出力する出力部を備える。
　上記課題を解決するために、本発明の一態様に係る情報処理方法は、履物から履物に備えられた検出した履物の動きを検出するためのセンサのセンシングデータを受信する受信ステップと、センシングデータの経時的変化に基づいて履物の動きを検出する検出ステップと、検出ステップにおいて、検出した動きに応じて、履物を履いているユーザに対して提供する空間情報を生成する生成ステップと、空間情報を出力する出力ステップとを含む。
　上記課題を解決するために、本発明の一態様に係る情報処理プログラムは、コンピュータに、履物から履物に備えられた検出した履物の動きを検出するためのセンサのセンシングデータを受信する受信機能と、センシングデータの経時的変化に基づいて履物の動きを検出する検出機能と、検出機能が検出した動きに応じて、履物を履いているユーザに対して提供する空間情報を生成する生成機能と、空間情報を出力する出力機能とを実現させる。
　上記情報処理システムにおいて、履物は、さらに、センサが検出したセンシングデータを情報処理装置に送信する送信部を備え、情報処理装置は、さらに、センシングデータを受信する受信部と、検出部と、生成部とを備えることとしてもよい。
　上記情報処理システムにおいて、出力部は、モニターであり、空間情報は、仮想現実空間又は拡張現実空間を示す画像情報であり、生成部は、画像情報として、ユーザが操作するキャラクタ又はユーザの視野に示される景観を示す画像を生成することとしてもよい。
　上記情報処理システムにおいて、情報処理装置は、生成部が生成する空間情報として、仮想現実空間用の空間情報を生成するのか、拡張現実空間用の空間情報を生成するのかを指定する指定情報を受け付ける受付部を備え、生成部は、指定情報に応じた空間情報を生成することとしてもよい。
　上記情報処理システムにおいて、情報処理装置は、更に、自装置の現在位置を示す位置情報を取得する位置情報取得部と、位置情報が予め定められた所定範囲内に位置情報が含まれる場合に、仮想現実空間用の空間情報を生成することを指定する指定情報を生成し、含まれない場合に、拡張現実空間用の空間情報を生成することを指定する指定情報を生成する指定情報生成部を備え、受付部は、指定情報生成部が生成した指定情報を受け付けることとしてもよい。
　上記情報処理システムにおいて、情報処理システムは、他の情報処理装置を含み、生成部が生成した空間情報を利用する装置が、情報処理装置であるか他の情報処理装置であるか否かに応じて、仮想現実空間用の空間情報を生成するのか、拡張現実空間用の空間情報を生成するのかを指定する指定情報を生成する指定情報生成部を備え、受付部は、指定情報生成部が生成した指定情報を受け付けることとしてもよい。
　上記情報処理システムにおいて、生成部は、指定情報に応じて、センシングデータ及び仮想現実空間と拡張現実空間とで異なる変換係数を用いて空間情報を生成することとしてもよい。
　上記情報処理システムにおいて、生成部は、履物の動きに応じて、仮想現実空間又は拡張現実空間上に登場させるオブジェクト対するインタラクションの画像情報を生成することとしてもよい。
　上記情報処理システムにおいて、情報処理装置は、ユーザが頭部に装着して使用するウェアラブル端末であることとしてもよい。
　上記情報処理システムにおいて、出力部は、スピーカであり、空間情報は、仮想現実空間又は拡張現実空間において発せられる音声情報であることとしてもよい。
　上記情報処理システムにおいて、生成部は、ユーザの動きの種別を特定し、検出部が検出した履物の動きから、特定した種別の動きとして適切かどうかの度合に応じて、音声情報を生成することとしてもよい。
　上記情報処理システムにおいて、情報処理装置は、少なくとも一曲分の音楽情報と、動きの種別ごとの動きの手本となる手本情報を記憶する記憶部を備え、生成部は、空間情報として、履物の動きが理想的な歩行のモーションに近いほど、音楽情報として正しい音楽を示す空間情報を生成し、センシングデータが理想的な歩行のモーションから遠ざかるほど音楽情報に雑音を加えた音楽を示す空間情報を生成することとしてもよい。
　上記情報処理システムにおいて、空間情報は、仮想現実空間又は拡張現実空間を示す画像情報を含み、画像情報は、仮想現実空間又は拡張現実空間において表示するオブジェクトを含み、生成部は、履物の動きに応じてユーザが操作するキャラクタ又はユーザがオブジェクトに接触する場合に、所定の音声を含む空間情報を生成することとしてもよい。
　上記情報処理システムにおいて、生成部は、履物の動きに応じて、音声情報として、音楽を空間情報として生成するものであって、履物の所定の動きに応じて、音楽の曲調を変更することとしてもよい。
　上記情報処理システムにおいて、情報処理システムは、更に、外部装置を含み、外部装置は、ユーザに関する情報を取得する取得部と、取得部が取得したユーザに関する情報を、情報処理装置に送信する送信部とを備え、生成部は、更に、外部装置から送信されたユーザに関する情報に基づいて空間情報を生成することとしてもよい。
　上記情報処理システムにおいて、取得部は、ユーザの足以外の部位の動きに関する情報を取得することとしてもよい。
　上記情報処理システムにおいて、履物は、更に、履物の動きに応じて発光する発光部を備え、生成部は、仮想空間上のユーザのキャラクタが履く履物を発光部と同様に発光させる様子を示す空間情報を生成することとしてもよい。
　上記情報処理システムにおいて、生成部は、仮想現実空間又は拡張現実空間においてユーザが操作するキャラクタ又はユーザに対するアクションに応じて、ユーザに対して付与する刺激を特定するための刺激情報を含む空間情報を生成し、履物は、更に、刺激情報を含む空間情報を受信する受信部と、刺激情報に基づいて、ユーザに対して体感刺激を与える刺激部と、を備えることとしてもよい。
　本発明の一態様に係る情報処理システム等は、履物の動きに応じた空間情報を生成することができる。従って、ユーザは、履物を動かすだけで、入力装置として機能させることができる。例えば、履物を上げ下げするだけで、ユーザに対応するキャラクタが前進したものとして、前進した先の景観を空間情報として生成して、ユーザに提供することができる。履物というユーザが日常的に使用するものを使用しての入力となるので、ユーザにとって煩雑となる処理を行うことなく入力を行うことができる。
情報処理システムの概略を示す概略図である。 情報処理システムの構成及び当該システムを構成する各装置の機能構成例を示すブロック図である。 （ａ）は、履物の外観を示す外観図である。（ｂ）は、タング部の構成を示す外観図である。 （ａ）は、ソール部の平面図である。（ｂ）は、ソール部の断面図である。（ｃ）は、ソール部の断面図であって出力部を配した例を示す断面図である。 （ａ）は、ソール部の斜視図である。（ｂ）は、ソール部の斜視図であって、出力部１３０を配した状態を示す図である。 第１情報処理装置２００の画像情報を生成する際の動作を示すフローチャートである。 （ａ）、（ｂ）は、第１情報処理装置２００により生成された画像情報の表示例を示す図である。 第１情報処理装置２００の音声情報を生成する際の動作を示すフローチャートである。 第１情報処理装置２００の仮想現実空間か拡張現実空間を選択する際の動作を示すフローチャートである。 情報処理システムの構成及び当該システムを構成する各装置の別構成例を示すブロック図である。
　以下、本発明の一実施態様に係る情報処理システムについて、図面を参照しながら詳細に説明する。
＜実施の形態＞
＜構成＞
　図１は情報処理システムの概略を示す概略図である。図１に示すように、情報処理システム１は、履物１００を含み、第１情報処理装置２００や第２情報処理装置３００、ユーザ端末４００を含んでもよい。
　履物１００は、センサ部１２０を備える。履物１００は、ユーザが足に装着するものであり、例えば、スニーカー、革靴、パンプス、サンダルなどであるが、これらに限定されるものではない。なお、履物１００は、少なくともセンサ部１２０を載置するだけのスペースを有する。
　センサ部１２０は、履物１００をユーザが履いて移動することで、履物１００の動きを検出する機能を有するセンサである。履物１００の動きを検出することで、ユーザの足の動きとして検出することができる。センサ部１２０は、例えば、３軸（例えば、水平面において互いに直角な２つの軸と、その２つの軸に対して垂直な軸）の加速度を検出する加速度センサ及び当該３軸各々の回転角を検出するための角速度センサから実現することができる。センサ部１２０は、更に、当該３軸方向の地磁気を検出する地磁気センサを含んで、９軸センサとして機能してもよい。以下、センサ部１２０が検出したセンシングデータをセンシングデータと呼称する。センシングデータは、少なくとも３軸の加速度情報及び当該３軸の角速度情報を含む。
　情報処理システム１は、検出部２１１と、生成部２１２とを備える。
　検出部２１１は、履物１００のセンサ部１２０が検出したセンシングデータの経時的変化に基づいて履物１００の動きを検出する。検出部２１１は、例えば、第１情報処理装置２００のプロセッサにより実現されるがこれに限定されるものではない。履物１００のプロセッサにより実現されてもよいし、第２情報処理装置３００のプロセッサにより実現されてもよいし、ユーザ端末４００のプロセッサにより実現されてもよい。
　生成部２１２は、検出部２１１が検出した動きに応じて、履物１００を履いているユーザに対して提供する空間情報を生成する。生成部２１２は、例えば、第１情報処理装置２００のプロセッサにより実現されるがこれに限定されるものではない。履物１００のプロセッサにより実現されてもよいし、第２情報処理装置３００のプロセッサにより実現されてもよいし、ユーザ端末４００のプロセッサにより実現されてもよい。ここで、空間情報とは、仮想現実（Virtual Reality）空間あるいは拡張現実（Augmented Reality）空間に関する情報のことであり、静止画及び動画を含む画像情報や音声情報などである。
　第２情報処理装置３００は、生成部２１２が生成した空間情報を出力する出力部を備える。出力部は、画像を表示する表示装置や、音声を出力するスピーカにより実現されることとしてもよい。
　したがって、情報処理システム１は、ユーザが動かした履物１００の動きにより生成した空間情報をユーザに提供することができる。情報処理システム１は、例えば、履物１００の動きに応じて仮想現実空間上のキャラクタを動作させてそのキャラクタの視点の景観を提供したり、履物１００の動きに応じた足音を提供したり、履物１００の動きのリズムに応じた音楽を提供したりすることができる。
　上述のような情報処理システムについて更に詳細に説明する。ここでは、第１情報処理装置２００が、空間情報を生成する例を説明するが、上述の通り、空間情報は履物１００により生成されてもよいし、第２情報処理装置３００により生成されてもよいし、ユーザ端末４００により生成されてもよい。即ち、第１情報処理装置２００は、履物１００や第２第１情報処理装置２００、ユーザ端末４００に内包されてもよい。また、第１情報処理装置２００が実現する検出部２１１や生成部２１２等の機能は、検出部２１１の動きの情報が生成部２１２に伝達できる構成になっていれば、それぞれ分けて別の装置に搭載されてもよい。
　図２は、情報処理システムの構成を示すシステム図であると同時に、情報処理システム１を構成する各装置の機能構成を示すブロック図である。
　図２に示すように、履物１００は、第１情報処理装置２００と通信を実行する。また、第１情報処理装置２００は第２情報処理装置３００と通信を実行する。
　図２に示すように、履物１００は、少なくともセンサ部１２０を備え、モジュール１１０と、出力部１３０とを備えることとしてもよい。モジュール１１０と、センサ部１２０と、出力部１３０は、バスを介して接続されている。当該接続は、有線、無線のいずれでの接続であってもよく、互いに情報の伝達ができればよい。なお、センサ部１２０と出力部１３０は、モジュール１１０を介して接続する構成をとってもよい。
　モジュール１１０は、電源部１１１と、制御部１１２と、通信部１１３と、記憶部１１６とを含む。
　電源部１１１は、履物１００を構成する各部に対して、駆動電力を供給する機能を有するバッテリーである。
　制御部１１２は、履物１００の各部を制御する機能を有するプロセッサである。制御部１１２は、記憶部１１６に記憶されている制御プログラムを実行することで、履物１００の各部を制御する。制御部１１２は、センサ部１２０から伝達されたセンシングデータを、通信部１１３に第１情報処理装置２００に送信するよう依頼する。また、制御部１１２は、通信部１１３が受信した制御信号にしたがって、出力部１３０に光を発生させる。
　通信部１１３は、第１情報処理装置２００と通信を実行する機能を有する通信インターフェースである。通信部１１３は、受信部１１４と送信部１１５（第１送信部）とを含む。通信部１１３は、第１情報処理装置２００と無線通信により通信を行う。通信部１１３は、第１情報処理装置２００と通信できれば、どのような通信規格で通信を行ってもよい。通信部１１３が利用する通信規格としては、例えば、Bluetooth Low Energy（登録商標）、Bluetooth（登録商標）、３Ｇ（3rd Generation）、４Ｇ（4th Generation）、ＬＴＥ（Long Term Evolution）、Wi-fi等の規格を利用してもよい。通信部１１３が利用する通信規格としては、第１情報処理装置２００との通信を行ううえで、通信に必要とする電力消費量の少ない通信規格を用いることが望ましい。
　受信部１１４は、第１情報処理装置２００から、出力部１３０を制御するための制御信号を受信する。受信部１１４は、受信した制御信号を制御部１１２に伝達する。
　送信部１１５は、センサ部１２０が検出した履物１００の動きを示すセンシングデータを第１情報処理装置２００に送信する。
　センサ部１２０は、履物１００を履いたユーザが移動したりすることで、検出される動きを検出する。センサ部１２０は、上述の通り、少なくとも３軸方向の加速度と、当該３軸の回転角を示す角速度情報とを検知し、センシングデータとして、制御部１１２に伝達する。また、センサ部１２０は、９軸センサの他、温度センサ、湿度センサ、圧力センサを含んでよく、それらのセンシングデータも制御部１１２に伝達する。温度センサは、ユーザの足の温度を検出する。また、湿度センサは、履物１００内の湿度を検出する。そして、圧力センサは、例えば、履物１００の底面に設けられて、ユーザが足の底面に対する力のかけ方を検出する。
　出力部１３０は、制御部１１２からの指示にしたがって、通信部１１３の受信部１１４が受信した制御信号に基づく出力を行う。出力部１３０は、ここでは、光を発光するものとし、例えば、ＬＥＤにより実現される。ＬＥＤは、複数色を発光することができ、制御信号で示される発光色、発光パターンで発光する。なお、出力部１３０により発光は、単純に、第１情報処理装置２００が出力する音楽に合わせた発光であってもよいし、履物１００の動きに合わせた発光であってもよい。また、出力部１３０は、光以外に音声を出力するものであってもよい。
　ここで、履物１００の外観の一例、及び、各部の配置や構造について説明する。図３は、履物１００の一例であって、その外観と内部における各部の配置例を示す図である。
　図３（ａ）は、履物１００の構成を示す外観図である。図３（ａ）に示すように、履物１００は履物１００の上面側であって、履物１００を装着するユーザの足の甲を覆って固定するアッパー部３０１と、履物１００の底面側であって、衝撃を吸収する機能を有するソール部３０２とから構成される。アッパー部３０１には、ユーザの足の甲を保護するためのタング部３０３が設けられている。タング部３０３には、モジュール１１０が設けられており、図３（ｂ）に示すように、タング部３０３を開くことで、タング部３０３に設けられたポケットに挿入されたモジュール１１０を露出させることができる。モジュール１１０は、図示していないが、電源供給を受けるための端子（例えば、ＵＳＢ端子）を有し、図３（ｂ）に示すようにタング部３０３を開くことで、当該端子を外部の電源へと接続し、電力の供給を受けて、電源部１１１に蓄電することができる。
　履物１００において、上述の通り、ソール部３０２は、出力部１３０と、センサ部１２０とを備える。センサ部１２０は、ソール部３０２の内部であって、ユーザの足の土踏まずに対応する位置にあるシャンク部内部に設けられる。図示していないが、センサ部１２０は、履物１００の内部を通って、モジュール１１０と接続しており、当該モジュール１１０内部の電源部１１１から電力の供給を受けて動作するとともに、センサデータ（センシングデータ）をモジュール１１０に伝達する。これにより、センサ部１２０が検知したセンシングデータは、通信部１１３により、外部の第１情報処理装置２００に伝達される。
　図４（ａ）は、ソール部３０２の平面図であり、図４（ｂ）は、図４（ａ）のソール部３０２をＡ－Ａ´線で切断した場合の断面図である。図４（ａ）に示すように、ソール部３０２は、出力部１３０を載置するための溝部４０１を備える。溝部４０１は、ソール部３０２内部であって、その外縁に沿うようにソール部３０２の外周部分に設けられる。溝部４０１は、出力部１３０を載置するために窪んでおり、溝部４０１には、出力部１３０としてＬＥＤテープが設けられる。図４（ａ）に示すように、溝部４０１を設けていない箇所であって、ソール部３０２の内部のユーザの土踏まずに対向する位置には、センサ部１２０が設けられる。当該箇所は、履物１００の構造において、所謂シャンク部と呼称される位置である。そして、ソール部３０２において、溝部４０１並びにセンサ部１２０が設けられていない位置には、衝撃吸収用のリブ４０２～４０５が設けられている。リブ４０２、４０３は、ソール部３０２のユーザのつま先側であって、溝部４０１よりも外周側に設けられている。これにより、履物１００に対する履物１００先端部に加えられる衝撃を吸収し、溝部４０１に設けられる出力部１３０が故障する可能性を低減するとともに、ユーザの足にかかる負担を軽減することができる。同様に、リブ４０４、４０５も履物１００の中央に位置し、履物にかかる衝撃を吸収し、溝部４０１に設けられる出力部１３０が故障する可能性を低減するとともに、ユーザの足にかかる負担を軽減することができる。
　図４（ｃ）は、ソール部３０２の断面図であって、出力部１３０としてのＬＥＤテープを載置した状態を示している。図４（ｃ）に示すように、出力部１３０は、発光面を履物１００の底面側に向けて載置される。すなわち、履物１００は、その底面が発光する。発明者らは、ＬＥＤテープをソール部３０２の側面に沿って、側面側が発光するように設置すると、ＬＥＤテープの破損率、特につま先部分の屈曲率が高くなって破損率が高くなることを発見している。そのため、より破損率が低減するＬＥＤテープの載置を模索した結果、図４（ｃ）に示すようにＬＥＤテープの発光面を、ソール部３０２の底面側に向けて載置するという構成を想到するに至った。ソール部３０２は、透明又は半透明の衝撃吸収性の高い樹脂などにより構成されるので、ＬＥＤテープの発光を透過し、その結果、その底面が発光する履物１００を提供することができる。
　図５は、ソール部３０２の構造をよりわかりやすくするために設けたソール部３０２の斜視図である。図５（ａ）は、ソール部３０２にセンサ部１２０と出力部１３０とを載置していない状態を示した斜視図であり、図５（ｂ）は、ソール部３０２に出力部１０６とセンサ部１２０とを載置した状態を示す斜視図である。図５（ａ）と図５（ｂ）を比較すれば理解できるように、ＬＥＤテープである出力部１３０は、溝部４０１に載置され、ソール部３０２の底面の外周部分に設けられることになる。また、センサ部１２０は、ソール部３０２に設けられた窪み５０１に設けられる。窪み５０１は、センサ部１２０の外径にほぼ一致するように構成されることで、センサ部１２０が窪み５０１に載置された際に、がたつくのをなるべく防止するとともに、センサ部１２０による動きの検出を純粋に履物１００の動きを検出できるようにすることができる。センサ部１２０履物１００の動きを検知する精度を向上させるために、ソール部３０２に設けるのが望ましい。なお、本実施の形態においては、履物１００が出力部１３０から出力を行う例として、光を発光する例を説明しているが、本実施の形態において、主力部１３０は、必須の構成ではない。
　図２に戻って、第１情報処理装置２００と第２情報処理装置３００との説明に戻る。
　図２に示すように、第１情報処理装置２００は、制御部２１０と、通信部２２０と、提示部２３０と、記憶部２４０とを備える。
　制御部２１０は、第１情報処理装置２００の各部を制御する機能を有するプロセッサである。制御部２１０は、記憶部２４０に記憶されている制御プログラムを実行することで、第１情報処理装置２００の各部を制御する。制御部２１０は、受信したセンシングデータに基づいて、履物１００の動きを検出する検出部２１１として機能する。また、制御部２１０は、検出部２１１が検出した履物１００の動きに応じた空間情報を生成する生成部２１２として機能する。
　検出部２１１は、受け付けたセンシングデータの経時的変化（履物の位置の変化、加速度の変化、傾きの変化など）に基づいて、履物１００の動きを検出する。履物１００の動きを検出することで、第１情報処理装置２００は、仮想現実空間又は拡張現実空間へのユーザによる入力データとして、履物１００の動きを利用することができる。
　生成部２１２は、検出部２１１が検出した履物１００の動きに応じた空間情報を生成する。空間情報は、仮想現実空間又は拡張現実空間に関する何等かの情報であり、例えば、仮想現実空間又は拡張現実空間を示す画像情報や仮想現実空間又は拡張現実空間上の音声情報などのことをいうが、これらに限定されるものではない。履物１００の動きに応じた空間情報を生成するとは、仮想現実空間又は拡張現実空間において、ユーザが操作する操作対象（例えば、キャラクター）の視認する景観を示す画像情報を生成したり、仮想現実空間又は拡張現実空間において、操作対象が聞くことができる音声を生成したりすることをいう。より具体的には、履物１００の動きから、ユーザが歩いたり走ったりすることを検知した場合には、歩いた先、走った先の景観を示す画像を生成したり、歩いたり走ることにより聞こえ得る音（例えば、風の音）などを示す音声を生成したりすることをいう。なお、ここに示した例は一例であることは言うまでもなく、生成部２１２は、履物１００の動きを入力として、様々な空間情報を生成する。生成部２１２が、仮想現実空間用の空間情報を生成するか、拡張現実空間用の空間情報を生成するかは、予め定められた設定や、ユーザの状況（例えば、第２情報処理装置３００の位置）に応じて決定される。詳細については、後述する。なお、生成部２１２は、拡張現実空間用の画像を生成する場合には、第２情報処理装置３００の撮像部３７０が撮像した映像を基礎として生成する。
　通信部２２０は、履物１００及び第２情報処理装置３００と通信を実行する機能を有する通信インターフェースである。通信部２２０は、受信部２２１及び送信部２２２を含む。通信部２２０は、履物１００と無線通信により通信を行う。また、通信部２２０は、第２情報処理装置３００と有線通信または無線通信により通信を行う。通信部２２０は、履物１００及び第２情報処理装置３００と通信できれば、どのような通信規格で通信を行ってもよく、例えば、イーサネット（登録商標）、Bluetooth Low Energy等の通信規格に従った通信を行う。受信部２２１は、履物１００からセンシングデータを受信して、制御部２１０に伝達する。あるいは、受信部２２１は、第２情報処理装置３００から、位置情報や撮像映像を受信し、制御部２１０に伝達する。また、送信部２２２は、制御部２１０から伝達された空間情報を第２情報処理装置３００に送信する。
　記憶部２４０は、第１情報処理装置２００が動作上必要とする各種プログラム及びデータを記憶する機能を有する記録媒体である。記憶部２４０は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ等により実現することができる。記憶部２４０は、履物１００から送信されたセンシングデータが示す履物１００の状態の経時的変化に基づいて、履物１００の動きを検出する検出プログラムや、検出された履物１００の動きに基づいて、仮想現実空間や拡張現実空間の画像や音声を生成する生成プログラムなどを記憶している。また、記憶部２４０は、伝達されたセンシングデータを検出された日時情報に対応付けて記憶する。
　次に、第２情報処理装置３００について説明する。図２に示すように、第２情報処理装置３００は、制御部３１０と、通信部３２０と、記憶部３３０とを備え、出力部として機能する表示部３５０や音声部３５０を備える。
　制御部３１０は、第２情報処理装置３００の各部を制御する機能を有するプロセッサである。制御部３１０は、記憶部３３０に記憶されている制御プログラムを実行することにより、第２情報処理装置３００の各部を制御する。制御部３１０は、伝達された空間情報にしたがって、出力部たる表示部３４０や音声部３５０に画像や音声を出力させる。
　通信部３２０は、複数の第１情報処理装置２００と通信を実行する機能を有する通信インターフェースである。通信部３２０は、第１情報処理装置２００と有線通信または無線通信により通信を行う。通信部３２０は、第１情報処理装置２００と通信できれば、どのような通信規格で通信を行ってもよく、例えば、イーサネット（登録商標）、Bluetooth等の通信規格に従った通信を行う。通信部３２０は、受信部３２１と、送信部３２２とを含む。
　受信部３２１は、第１情報処理装置２００から空間情報を受信して、制御部３１０に伝達する機能を有する。
　送信部２１１は、位置情報検出部が検出した位置情報を、第１情報処理装置２００に送信する機能を有兎する。
　記憶部３３０は、第２情報処理装置３００が動作上必要とする各種プログラム及びデータを記憶する機能を有する記録媒体である。記憶部３３０は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ等により実現することができる。
　表示部３４０は、制御部３１０の指示に従って、画像情報である空間情報を表示する機能を有するモニターである。当該画像情報は、３Ｄ映像であってもよいし、２Ｄ映像であってもよい。また、画像情報は、静止画であってもよいし、動画であってもよい。表示部３４０は、例えば、履物１００の動きに応じて、仮想現実空間上のユーザのキャラクタの視野の景観を表示したり、ユーザの視野にオブジェクトを重畳した拡張現実空間上のユーザの視野の景観を表示したりする。
　音声部３５０は、制御部３１０の指示に従って、音声情報である空間情報を音声により出力する機能を有するスピーカである。音声部３５０は、履物１００の動きに応じた仮想現実空間または拡張現実空間上の音声を出力したり、履物１００の動きに合わせた音楽を出力したりする。
　位置情報検出部３６０は、第２情報処理装置３００の現在位置を示す位置情報を取得する機能を有する。当該位置情報は、逐次送信部３２２により、第１情報処理装置２００に送信される。位置情報検出部３６０は、ＧＰＳ、ＧＮＳＳなどの既存の測位システムなどにより実現することができる。
　撮像部３７０は、第２情報処理装置３００の外部であって、ユーザの顔が向いている方向の景観を撮像する機能を有する。撮像部３７０が撮像した映像は、拡送信部３２２により第１情報処理装置２００に送信され、張現実空間用の画像情報を生成する際に用いられる。
　以上が、情報処理システム１に係る各装置の説明である。
＜動作＞
　ここから、情報処理システムにおいて、第１情報処理装置２００の動作を説明する。図６は、空間情報として仮想現実空間や拡張現実空間に係る画像情報を第１情報処理装置１００が生成する場合の動作を示すフローチャートである。
　履物１００のセンサ部１２０は、検出した情報（センシングデータ）を送信部１１５から第１情報処理装置２００に送信する。第１情報処理装置２００の受信部２２１は、履物１００から送信さえたセンシングデータを制御部２１０に伝達する（ステップＳ６０１）。
　制御部２１０の検出部２１１は、伝達されたセンシングデータを記憶部２４０に記憶する。そして、それまでに記憶部２４０に記憶されたセンシングデータに基づいて、履物１００の位置や向き、傾きなどの経時的変化を検出することで、履物１００の動きを検出する（ステップＳ６０２）。例えば、検出部２１１は、履物１００の加速度変化から、ユーザが歩いたことを検出したり、ユーザが足を上げて下したことを検出したり、履物１００が円弧を描くように動いていることを検出して、ユーザが何かを蹴る動作をしたことを検出したりすることができる。検出部２１１は、検出した動きを示す動き情報を生成部２１２に伝達する。
　生成部２１２は、伝達された履物１００の動き、即ち、ユーザの足の動きに応じた画像情報を生成する。ここで、生成部２１２は、仮想現実空間又は拡張現実空間用の画像情報を生成する（ステップＳ６０３）。いずれの画像情報を生成するかの処理については、後述する。生成部２１２は、例えば、ユーザが歩いたり、足を上げ下げしたりしたことを示す動き情報を伝達された場合には、仮想現実空間又は拡張現実空間内において、ユーザのキャラクタが当該動きで動いたと算出される距離だけ前進する様子を示す画像情報（映像）を生成する。また、あるいは、生成部２１２は、例えば、ユーザが何かを蹴るような動きをしたことを示す動き情報を伝達された場合には、仮想現実空間や拡張現実空間上において、ユーザの足の軌道上に存在するオブジェクトを蹴る様子を示す画像情報（映像）を生成する。また、生成部２１２は、ユーザ（履物１００）の動きに応じて、仮想現実空間又は拡張現実空間上のオブジェクトに何らかのエフェクトを生じる場合には、そのエフェクトを示す画像情報を生成したりする。
　そして、制御部２１０は、送信部２２２を介して、生成部２１２が生成した画像情報を空間情報として、第２情報処理装置３００に送信する（ステップＳ６０４）。
　以上に示した構成により、情報処理システム１は、仮想現実空間又は拡張現実空間に係る画像情報を、履物１００の動きに応じて生成し、出力することができる。
　図７を用いて、空間情報として画像情報を出力する場合の一具体例を示す。図７（ａ）の画像７０１は、ユーザが装着している第２情報処理装置３００（ヘッドマウントディスプレイ）に表示している画像の例を示している。画像７０１に示されるように、仮想現実空間又は拡張現実空間において、ユーザのキャラクタ又はユーザ自身が通路に足っており、城が見えることが理解できる。
　このとき、図７（ｂ）に示すように、ユーザが履物１００を用いて歩いたり、あるいは、足を上げ下げしたりするとする。すると、生成部２１２は、ユーザのキャラクタが進んだ先の景観を示す画像情報を空間情報として生成し、第２情報処理装置３００の表示部３５０には、画像７０２に示すような、ユーザが一歩（又は数歩）城に近づいたような画像が表示される。このように、情報処理システム１においては、履物１００を入力装置として、キャラクタを操作し、そのキャラクタに供される景観を示す画像を提供することができる。また、その他にも、仮想現実空間又は拡張現実空間上に、何らかのオブジェクト（例えば、ユーザ以外のキャラクタ）を登場させて、ユーザに追いかけさせたりして、当該オブジェクトを捕獲するようにするために、履物１００を操作させたり、登場させたオブジェクトに対して、履物１００を利用してアクションを起こし（例えば、オブジェクトを蹴るなど）、そのアクションに応じた画像（例えば、蹴られて、壊れたりなど）を生成したりすることもできる。このように、情報処理システム１においては、履物１００のセンシングデータを入力情報とした、仮想現実空間又は拡張現実空間上の画像情報（映像情報）を生成して、ユーザに提供することができる。
　図８は、空間情報として、音声情報を生成する場合の第１情報処理装置２００の動作を示す。図８において、図６と異なる点は、ステップＳ６０３の代わりに、ステップＳ８０３に示すように生成部２１２が音声情報を生成し、ステップＳ６０４の代わりに、ステップＳ８０４に示すように、生成部２１２が生成した音声情報を空間情報として、第２情報処理装置３００に送信している点にある。
　それ以外は、図６に示した動作を基本的に共通する。
　生成部２１２は、履物１００の動きに応じた音声情報を生成する（ステップＳ８０３）。履物１００の動きに応じた音声情報を生成するとは、足音の生成であったり、履物１００の動きに応じた音楽を生成したり、履物１００の動きにより、ユーザに対応するキャラクタが移動したりする場合に、移動に伴って聞こえるはずの音や、移動先の音を表現する音声を生成したりすることをいう。
　履物１００の動きに応じた音楽の生成は、例えば、記憶部２４０に予め出力する音を記憶しておき、履物１００の動きが理想的な歩き方や、ある動作における理想的な動きを示している場合に、きれいな旋律を奏でるように音を選択して、音声情報を生成することにより実現する。このとき、理想的な歩き方や動きは、予め定められた歩き方や動きの手本動作を記憶部２４０に記憶しておいて、その手本動作に近いほど理想的であるとして、そこから遠いほど、ユーザにとって耳障りな音楽（例えば、不協和音の多い音楽など）を音声情報として生成する。この手本動作に代えて、予め定められたアルゴリズムによって、望ましい動きであるかを検出するようにしてもよい。
　このようにして、生成された音声情報は、ユーザが装着している第２情報処理装置３００の音声部３５０から出力されてユーザに提供される。なお、図６と図８とで画像情報と音声情報を分けて説明したが、これらは、両方ともが生成されて、ユーザに提供されることとしてもよいことは言うまでもない。
　図９は、仮想現実空間（ＶＲ）用の空間情報を生成するのか拡張現実空間（ＡＲ）用の空間情報を生成するのかの設定や、切替に係る第１情報処理装置２００の動作を示すフローチャートである。仮想現実空間用の空間情報と、拡張現実空間用の空間情報とでは、空間における縮尺が異なることが往々にして考えられる。したがって、生成部２１２は、それぞれの空間用に、履物１００からのセンシングデータに対して処理を加えたいうえで、空間情報を生成する。例えば、生成部２１２は、拡張現実空間用の空間情報を生成する場合には、センシングデータには特に処理を施さず、仮想現実空間用の空間情報を生成する場合には、センシングデータには、所定の係数を乗じて、拡張現実空間よりも大げさな動作となるように設定してもよい。ここで、それぞれの変換係数は同じであってもよいし、異なるものであってもよい。所望の拡張現実空間あるいは所望の仮想現実空間に適した変換係数を用いるとよい。
　第１情報処理装置２００の制御部２１０は、ＶＲかＡＲの指定の入力を受け付けているかを検知する（ステップＳ９０１）。当該入力は、例えば、第２情報処理装置３００から入力されてもよいし、第１情報処理装置２００に接続されたキーボード等の入力デバイス（図示せず）等により入力することとしてもよい。
　ＶＲかＡＲかの指定の入力を受け付けている場合に（ステップＳ９０１のＹＥＳ）、制御部２１０は、画像出力の方式を、指定された方式に設定し、記憶部２４０に記憶する（ステップＳ９０２）。そして、生成部２１２は、記憶部２４０に設定されている方式の画像（又は音声）を生成して出力する（ステップＳ９０３）。
　一方で、第１情報処理装置２００の受信部２２１は、第２情報処理装置３００から、その位置情報を受信する（ステップＳ９０４）。
　このとき、第１情報処理装置２００の制御部２１０は、受信した位置情報に基づいて、第２情報処理装置３００が所定の範囲内（例えば、ユーザの部屋の中）にあるかを検出する（ステップＳ９０５）。
　第２情報処理装置３００が所定の範囲内にあると検出した場合に（ステップＳ９０５のＹＥＳ）、生成部２１２は、ユーザに対して仮想現実空間用の画像を提供しても危険は少ないと判断して、画像出力形式をＶＲに設定する（ステップＳ９０６）。なお、ここの画像出力形式は、記憶部２４０に設定されている画像出力形式を優先することとしてもよい。
　そして、生成部２１２は、ＶＲ映像を生成して、第２情報処理装置３００に送信する（ステップＳ９０７）。これにより、ユーザには、仮想現実空間の映像（または記憶部２４０に設定されている形式の画像）が提供される。
　一方で、第２情報処理装置３００が所定の範囲内にないと検出した場合に（ステップＳ９０５のＮＯ）、生成部２１２は、ユーザが仮想現実の映像を視聴していては、何らかの危険が及ぶ（例えば、物や人にぶつかるなど）可能性があると判断し、画像出力形式をＡＲに設定する（ステップＳ９０８）。
　そして、生成部２１２は、拡張現実空間用の画像情報を生成して、第２情報処理装置３００に送信する（ステップＳ９０９）。これにより、ユーザには、拡張現実空間の映像が提供される。
　第１情報処理装置２００の制御部２１０は、ユーザから終了入力を受け付けているかを判定し（ステップＳ９１０）、受け付けている場合には（ステップＳ９１０のＹＥＳ）、空間情報の提供を終了し、受け付けていない場合には（ステップＳ９１０のＮＯ）、ステップＳ９０４に戻る。
　このように、情報処理システム１においては、仮想現実空間用の空間情報と、拡張現実空間用の空間情報とを切替えて、ユーザに提供することができる。また、ユーザの状況（位置）に応じて、ユーザが安全にコンテンツを楽しむことができるように、拡張現実空間への切替を行うことができる。
＜まとめ＞
　情報処理システム１においては、ユーザは、履物１００の動きを入力として、仮想現実空間や拡張現実空間を楽しむことができる。ユーザは、このために手足に特別なマーカを装着したり、カメラを設置するなどの手間を必要とすることなく、日常的に利用している履物を入力装置として用いることで、仮想現実空間や拡張現実空間を楽しむことができる。
＜補足＞
　上記実施の形態に係る装置は、上記実施の形態に限定されるものではなく、他の手法により実現されてもよいことは言うまでもない。以下、各種変形例について説明する。
　（１）上記実施の形態には示していないが、履物１００の出力部１３０は、光や音声以外の出力を行ってもよい。
　例えば、出力部１３０は、バイブレータにより実現され、振動をユーザに伝えるものであってもよい。例えば、第２情報処理装置２００の制御部２１０（生成部２１２）は、仮想現実空間あるいは拡張現実空間において、ユーザの操作するキャラクタの足あるいは当該キャラクタが仮想現実空間あるいは拡張現実空間上に設定された何らかのオブジェクトと接触した場合に、バイブレータを振動させるための振動情報を生成する。ここで、振動情報は、振動の強度や振動のリズムなどの情報を含んでよい。そして、制御部２１０は、生成した振動情報を通信部２２０に伝達して履物１００に送信させる。履物１００の受信部１１４は、当該振動情報を制御部１１１に伝達する。制御部１１１は、伝達された振動情報に従って、出力部１３０を制御して、振動させる。
　これによって、情報処理システム１は、仮想現実空間あるいは拡張現実空間上の衝撃や感触を、ユーザに感じさせることができる。
　また、出力部１３０は、履物１１０を変形させるものであってもよい。例えば、履物１００において、ユーザの脚を圧迫する機構であってもよい。当該機構は、例えば、ユーザの脚を圧迫するように構成された機械仕掛けのものであってもよいし、あるいは、化学反応や電気反応により膨張する物質を利用したものであってもよい。
　また、出力部１３０は、熱を発生させるヒーターなどにより実現させることとしてもよい。例えば、仮想現実空間においてキャラクタが暑いところにいる場合にヒーターを作動させて、ユーザに暑さを伝えてもよい。あるいは、仮想現実空間において、キャラクタが他のキャラクタやオブジェクトから攻撃（例えば、炎の魔法）を受けたときに、ヒーターを作動させて、熱を伝えることとしてもよい。
　あるいは、出力部１３０は、冷却器により実現させることとしてもよい。例えば、仮想現実空間においてキャラクタが寒いところにいる場合に冷却器を作動させて、ユーザに寒さを伝えることができる。あういは、仮想現実空間において、キャラクタが他のキャラクタやオブジェクトから攻撃（例えば、氷の魔法）を受けたときに、冷却器を作動させて、寒さを伝えることとしてもよい。
　このように、履物１００は、仮想現実空間あるいは拡張現実空間上のユーザのキャラクタまたはユーザに対するフィードバックを伝達する機能を有することとしてもよい。これにより、仮想現実空間あるいは拡張現実空間をよりリアルなものとすることができる。
　（２）上記補足（１）に示したように、履物１００にヒーターや冷却器等を搭載する場合に、温度センサが所定以上の温度を検出している場合や湿度センサが所定以上の湿度を検出している場合に、第１情報処理装置２００は、履物１００の冷却器に対して冷却指示を出力することとしてもよいし、温度センサが所定以下の温度を検出している場合には、履物１００のヒーターに加熱指示を出力する構成をとってもよい。
　（３）上記実施の形態においては、特に記載していないが、履物１００の出力部１３０にＬＥＤを発光させる場合に、第１情報処理装置２００は、仮想現実空間又は拡張現実空間上の履物１００に対応する履物を同じように発光させる演出をすることとしてもよい。即ち、現実の履物１００の発光と、仮想現実空間上の履物１００の発光とを、同期させることとしてもよい。
　（４）上記実施の形態において示した、生成部２１２が生成する空間情報は一例であり、上記実施の形態に示した態様に限定されるものではない。第１情報処理装置２００や第２情報処理装置３００で動作させるアプリケーション（例えば、ゲーム）に応じてその他の画像や、音声を出力してもよいことは言うまでもない。
　（５）上記実施の形態においては、示していないが、第１情報処理装置２００の生成部２１２は、更に、ユーザの保持するユーザ端末２００（外部装置）からセンシングデータを受信して、ユーザに対応するキャラクタ等の姿勢を決定して、空間情報としての画像情報や音声情報を生成することとしてもよい。例えば、ユーザは自身のユーザ端末４００をボトムスのポケットに入れておく。ユーザ端末４００は、９軸センサ又は６軸センサを備えており、逐次、そのセンシングデータを第１情報処理装置２００に送信することとする。第１情報処理装置２００は、ユーザ端末４００からのセンシングデータを受信し、受信したセンシングデータの経時的変化から、ユーザの腰回りの動きを検出することができる。したがって、その動きを仮想現実空間又は拡張現実空間上のキャラクタ（ユーザ）の動きに反映することができ、生成部２１２は、そのキャラクタの腰の動きに併せた画像情報や音声情報を生成することができる。同様に、第２情報処理装置３００も９軸センサや６軸センサを備えて、逐次、そのセンシングデータを第１情報処理装置２００に送信する構成としてもよい。そして、第１情報処理装置２００の検出部２１１は、第２情報処理装置３００から受信したセンシングデータの経時的変化に基づいて、ユーザの頭部の動きを検出し、その動きを仮想現実空間又は拡張現実空間上のキャラクタ（ユーザ）の動きに反映することができ、生成部２１２は、そのキャラクタの頭部の動きに併せた画像情報や音声情報を生成することができる。したがって、第１情報処理装置２００は、ユーザの頭部、腰、足の動きを検出して、仮想現実空間又は拡張現実空間用の空間情報を生成することができるので、よりリアルな空間情報を生成することができる。したがって、履物１００と腰に保持しているユーザ端末４００、ユーザの頭部に装着した第２情報処理装置３００を利用して、簡易的なユーザのモーションキャプチャを実現することもできる。
　（６）上記実施の形態においては、モジュール１１０は、履物１００のタング部３０３に設けることとしたが、これはその限りではない。モジュール１１０、あるいは、モジュール１１０を構成する各機能部の内の一部は、センサ部１２０が設けられている位置に、設けることとしてもよい。
　（７）上記実施の形態においては、履物１００の一例としてスニーカーのような靴を示したが、これはその限りではない。履物１００としては、ユーザが足に装着し、モジュール１１０やセンサ部１２０を備えるスペースがあれば、どのような履物であってもよい。例えば、履物１００の一例としては、女性用のパンプスやハイヒールが挙げられる。これらの場合であれば、モジュール１１０やセンサ部１２０、出力部１３０などは、ヒール部材内部に設けることが考えられる。また、履物１００としては、その他の革靴やサンダルなどにおいても実現可能である。
　（８）上記実施の形態において、履物１００のアッパー部３０１とソール部３０２とは互いに着脱自在に構成されてもよい。女性用のパンプスであれば、アッパー部とヒール部とが互いに着脱自在に構成されてもよい。このような構成にすると、履物１００としてのファッション性を向上させることができる。また、出力部１３０をＬＥＤテープとした場合、ＬＥＤテープは、履物１００の使用時の伸縮により破損する確率が他の部材よりも高くなる傾向にあるが、そのメンテナンスが容易になる。なお、着脱自在にするための構成としては、例えば、ファスナー、面ファスナー、ねじ、ビンディング、凹部又は突部を構成したアッパー部と突部又は凹部を構成した底部（ソール部やヒール部）との嵌合等により実現することができる。なお、その際に、アッパー部と底部とに履物１００を構成する各機能部を分けて配する場合には、互いに通信可能なように構成する必要がある。例えば、底部にも通信機能を設けて、アッパー部に設けたモジュールと無線通信を実行できるようにしたり、アッパー部の予め定められた位置であって、底部と接触する位置に接続端子を設け、底部においても同様の接続端子を設け、それらの接続端子の接触による有線通信により通信を実行できるようにしたりしてもよい。
　（９）上記実施の形態においては、特に記載していないが、生成部２１２が生成する画像は、例えば、実際の地図上のストリートビューを表示するための画像であってもよく、その場合に、ユーザは、その場にいながら、異なる場所の観光を行ったりすることができる。したがって、情報処理システム１は、その場にいながら観光を楽しむことができるシステムとして機能することもできる。
　また、同様にして、生成部２１２が特定の部屋や場所を示す画像を生成することにより、ユーザは、他の建物内をその場にいながら、見ることもできる。したがって、情報処理システム１は、例えば、賃貸物件の内覧等を移動することなく体験することができるシステムとして機能することもできる。
　（１０）ここで、生成部２１２が音楽を生成する手法について、具体例をいくつか示す。生成部２１２は、履物１００からのセンシングデータから、ユーザが歩行しており、その歩行のスピードが途中から変わった場合に、曲調を変更して音楽を生成することとしてもよい。例えば、生成部２１２は、急に歩行スピードが速くなったり、ユーザが走り始めたりした場合には、音楽のテンポをアップテンポに変更してもよいし、曲そのものをテンポの速い曲に変更して、音楽を生成することとしてよい。
　あるいは、履物１００を使用して、何らかの動きのレッスンを受けている（例えば、歩行のレッスンや走行のレッスン、ダンスのレッスンなど）場合に、生成部２１２は、そのレッスンに適しているかどうかを履物１００の動きに基づいて、採点を行い、その採点に応じた音楽を生成することとしてもよい。例えば、生成部２１２は、点数が高いほど、音楽に使用されるパート数（楽器数でもよい）が増加するようにして音楽を生成することとしてもよい。
　また、あるいは、生成部２１２は、所定時間が経過するごとに、生成する音楽の曲調を変えてもよいし、ユーザによる履物１００の特定の動きを検出したことを受けて、音楽の曲調を変えてもよい。このように、生成部２１２は、空間情報として様々な音楽を、ユーザの足の動き、即ち、履物１００の動きに応じて生成することができ、ユーザに供することができる。
　（１１）上記実施の形態において、第２情報処理装置３００が所定範囲内に存在するか否かに基づいて、ＶＲとＡＲとの切り替えを行うこととしたが、ＶＲとＡＲの切替は、これ以外の条件によってなされてもよい。例えば、足を予め定められたように動かすことで、ＶＲとＡＲの切替の入力としてもよい。また、例えば、第２情報処理装置３００で表示しているコンテンツの表示が終了したことを契機にＶＲからＡＲに切り替えてもよいし、ＶＲの表示の開始から所定時間が経過したことを契機にＶＲからＡＲに切り替えてもよいし、ＶＲで表示しているコンテンツにおいて所定の区切りまできた（例えば、コンテンツにおいて何らかの学習が終了したり、課せられた課題が解決したりなど）ことを契機としてＶＲからＡＲに切り替えることとしてもよい。
　（１２）上記実施の形態においては、センサ部１２０の一例として９軸センサを用いることとしたが、ユーザの情報を取得できるのであれば、その他のセンサを用いてもよい。例えば、圧力センサを備えることで、両足の圧力センサの計測値の合算値で、ユーザの体重を測定することができる。また、当該圧力センサによれば、ユーザの足に対する荷重の変化を特定することもできる。また、あるいは、温度センサを履物１００内部に備えて、ユーザのおよその体温を測定することとしてもよいし、湿度センサを備えて、履物１００内部の湿度を測定して、そこから、履物内部１００のユーザにとっての不快指数を求めることとしてもよい。そして、これらの様々なセンサから得られた情報を、第１情報処理装置２００や第２情報処理装置３００に送ることで、出力する空間情報に反映させてもよい。
　（１３）上記実施の形態においては、第２情報処理装置３００がヘッドマウントディスプレイである例を示しているが、これは、ヘッドマウントディスプレイに限るものではなく、空間情報を上限出来るデバイス（例えばモニターやスピーカ）を搭載した機器であれば、どのようなものであってもよい。例えば、大画面のモニターであってもよいし、第２情報処理装置３００が有する機能を有した眼鏡などであってもよい。
　（１４）また、上記実施の形態においては、第１情報処理装置における空間情報を生成する手法として、第１情報処理装置のプロセッサが検出プログラムや生成プログラム等を実行することにより、空間情報を生成することとしているが、これは装置に集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成された論理回路（ハードウェア）や専用回路によって実現してもよい。また、これらの回路は、１または複数の集積回路により実現されてよく、上記実施の形態に示した複数の機能部の機能を１つの集積回路により実現されることとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。すなわち、図１０に示すように、履物１００は、電源回路１１１と、制御回路１１２と、通信回路１１３と、記憶回路１１６と、センサ回路１２０と、出力回路１３０とから構成されてよく、それぞれの機能は、上記実施の形態に示した同様の名称を有する各部と同様である。同様に、第１情報処理装置２００は、制御回路２１０と、通信回路２２０と、記憶回路２４０とから構成されてもよい。また、第２情報処理装置３００も、制御回路３１０と、通信回路３２０と、記憶回路３３０と、表示回路３４０と、音声回路３５０と、位置情報検出回路３６０と、撮像回路３７０とから構成されてもよい。
　また、上記情報処理プログラムは、プロセッサが読み取り可能な記録媒体に記録されていてよく、記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記情報処理プログラムは、当該情報処理プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記プロセッサに供給されてもよい。本発明は、上記情報処理プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　なお、上記情報処理プログラムは、例えば、ActionScript、JavaScript（登録商標）などのスクリプト言語、Objective-C、Java（登録商標）などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装できる。
　（１５）上記実施の形態に示した構成及び各補足に示した構成は、適宜組み合わせることとしてもよい。また、各処理手順についても、結果として得られるものが同じになるのであれば、実行手順を入れ替えてもよいし、並列に２つの処理を実行することとしてもよい。
１００　履物
１１０　モジュール
１１１　電源部
１１２　制御部
１１３　通信部
１１４　受信部
１１５　送信部
１１６　記憶部
１２０　センサ部
１３０　出力部
２００　第１情報処理装置
２１０　制御部
２１１　検出部
２１２　生成部
２２０　通信部
２２１　受信部
２２２　送信部
２４０　記憶部
３００　第２情報処理装置
３０１　アッパー部
３０２　ソール部
３０３　タング部
３１０　制御部
３２０　通信部
３２１　受信部
３２２　送信部
３３０　記憶部
３４０　表示部
３５０　音声部
３６０　位置情報検出部
３７０　撮像部
４０１　溝部
４０２、４０３、４０４、４０５　リブ
５０１　窪み

Claims (20)

  1. 　履物と情報処理装置とを含む情報処理システムであって、
    　前記履物は、
    　前記履物の動きを検出するためのセンサを備え、
    　前記情報処理システムは、
    　前記センシングデータの経時的変化に基づいて前記履物の動きを検出する検出部と、
    　前記検出部が検出した動きに応じて、前記履物を履いているユーザに対して提供する空間情報を生成する生成部を備え、
    　前記情報処理装置は、
    　前記空間情報を出力する出力部を備える情報処理システム。
  2. 　前記履物は、さらに、
    　前記センサが検出したセンシングデータを前記情報処理装置に送信する送信部を備え、
    　前記情報処理装置は、
    　さらに、前記センシングデータを受信する受信部と、
    　前記検出部と、
    　前記生成部とを備える
    　ことを特徴とする請求項１に記載の情報処理システム。
  3. 　前記出力部は、モニターであり、
    　前記空間情報は、仮想現実空間又は拡張現実空間を示す画像情報であり、
    　前記生成部は、前記画像情報として、前記ユーザが操作するキャラクタ又は前記ユーザの視野に示される景観を示す画像を生成する
    　ことを特徴とする請求項１又は２に記載の情報処理システム。
  4. 　前記情報処理装置は、前記生成部が生成する空間情報として、前記仮想現実空間用の空間情報を生成するのか、前記拡張現実空間用の空間情報を生成するのかを指定する指定情報を受け付ける受付部を備え、
    　前記生成部は、前記指定情報に応じた空間情報を生成する
    　ことを特徴とする請求項３に記載の情報処理システム。
  5. 　前記情報処理装置は、更に、自装置の現在位置を示す位置情報を取得する位置情報取得部と、
    　前記位置情報が予め定められた所定範囲内に前記位置情報が含まれる場合に、前記仮想現実空間用の空間情報を生成することを指定する指定情報を生成し、含まれない場合に、前記拡張現実空間用の空間情報を生成することを指定する指定情報を生成する指定情報生成部を備え、
    　前記受付部は、前記指定情報生成部が生成した指定情報を受け付ける
    　ことを特徴とする請求項４に記載の情報処理システム。
  6. 　前記情報処理システムは、他の情報処理装置を含み、
    　前記生成部が生成した空間情報を利用する装置が、前記情報処理装置であるか前記他の情報処理装置であるか否かに応じて、前記仮想現実空間用の空間情報を生成するのか、前記拡張現実空間用の空間情報を生成するのかを指定する指定情報を生成する指定情報生成部を備え、
    　前記受付部は、前記指定情報生成部が生成した指定情報を受け付ける
    　ことを特徴とする請求項４に記載の情報処理システム。
  7. 　前記生成部は、前記指定情報に応じて、前記センシングデータ及び前記仮想現実空間と前記拡張現実空間とで異なる変換係数を用いて前記空間情報を生成する
    　ことを特徴とする請求項４に記載の情報処理システム。
  8. 　前記生成部は、前記履物の動きに応じて、前記仮想現実空間又は前記拡張現実空間上に登場させるオブジェクト対するインタラクションの画像情報を生成する
    　ことを特徴とする請求項３～７のいずれか１項に記載の情報処理システム。
  9. 　前記情報処理装置は、ユーザが頭部に装着して使用するウェアラブル端末であることを特徴とする請求項３～８のいずれか１項に記載の情報処理システム。
  10. 　前記出力部は、スピーカであり、
    　前記空間情報は、仮想現実空間又は拡張現実空間において発せられる音声情報であることを特徴とする請求項１～９のいずれか１項に記載の情報処理システム。
  11. 　前記生成部は、前記ユーザの動きの種別を特定し、前記検出部が検出した前記履物の動きから、前記特定した種別の動きとして適切かどうかの度合に応じて、前記音声情報を生成する
    　ことを特徴とする請求項１０記載の情報処理システム。
  12. 　前記情報処理装置は、少なくとも一曲分の音楽情報と、前記動きの種別ごとの動きの手本となる手本情報を記憶する記憶部を備え、
    　前記生成部は、前記空間情報として、前記履物の動きが理想的な歩行のモーションに近いほど、前記音楽情報として正しい音楽を示す空間情報を生成し、前記センシングデータが前記理想的な歩行のモーションから遠ざかるほど前記音楽情報に雑音を加えた音楽を示す空間情報を生成する
    　ことを特徴とする請求項１１に記載の情報処理システム。
  13. 　前記空間情報は、前記仮想現実空間又は前記拡張現実空間を示す画像情報を含み、
    　前記画像情報は、前記仮想現実空間又は前記拡張現実空間において表示するオブジェクトを含み、
    　前記生成部は、前記履物の動きに応じて前記ユーザが操作するキャラクタ又は前記ユーザが前記オブジェクトに接触する場合に、前記所定の音声を含む空間情報を生成する
    　ことを特徴とする請求項１１に記載の情報処理システム。
  14. 　前記生成部は、前記履物の動きに応じて、前記音声情報として、音楽を前記空間情報として生成するものであって、前記履物の所定の動きに応じて、前記音楽の曲調を変更する
    　ことを特徴とする請求項１０に記載胃の情報処理システム。
  15. 　前記情報処理システムは、更に、外部装置を含み、
    　前記外部装置は、前記ユーザに関する情報を取得する取得部と、
    　前記取得部が取得した前記ユーザに関する情報を、前記情報処理装置に送信する送信部とを備え、
    　前記生成部は、更に、前記外部装置から送信された前記ユーザに関する情報に基づいて前記空間情報を生成する
    　ことを特徴とする請求項３～１４のいずれか１項に記載の情報処理システム。
  16. 　前記取得部は、前記ユーザの足以外の部位の動きに関する情報を取得することを特徴とする請求項１５に記載の情報処理システム。
  17. 　前記履物は、更に、前記履物の動きに応じて発光する発光部を備え、
    　前記生成部は、仮想空間上の前記ユーザのキャラクタが履く履物を前記発光部と同様に発光させる様子を示す空間情報を生成する
    　ことを特徴とする請求項３～１６のいずれか１項に記載の情報処理システム。
  18. 　前記生成部は、前記仮想現実空間又は前記拡張現実空間において前記ユーザが操作するキャラクタ又は前記ユーザに対するアクションに応じて、前記ユーザに対して付与する刺激を特定するための刺激情報を含む前記空間情報を生成し、
    　前記履物は、更に、
    　前記刺激情報を含む前記空間情報を受信する受信部と、
    　前記刺激情報に基づいて、前記ユーザに対して体感刺激を与える刺激部と、を備える
    　ことを特徴とする請求項３～１７のいずれか一項に記載の情報処理システム。
  19. 　履物から履物に備えられた検出した履物の動きを検出するためのセンサのセンシングデータを受信する受信ステップと、
    　前記センシングデータの経時的変化に基づいて前記履物の動きを検出する検出ステップと、
    　前記検出ステップにおいて、検出した動きに応じて、前記履物を履いているユーザに対して提供する空間情報を生成する生成ステップと、
    　前記空間情報を出力する出力ステップとを含む空間情報提供方法。
  20. 　コンピュータに、
    　履物から履物に備えられた検出した履物の動きを検出するためのセンサのセンシングデータを受信する受信機能と、
    　前記センシングデータの経時的変化に基づいて前記履物の動きを検出する検出機能と、
    　前記検出機能が検出した動きに応じて、前記履物を履いているユーザに対して提供する空間情報を生成する生成機能と、
    　前記空間情報を出力する出力機能とを実現させる空間情報提供プログラムを記録した、コンピューター読み取り可能な非一時的記録媒体。
PCT/JP2018/012986 2017-03-28 2018-03-28 情報処理システム、情報処理方法、情報処理プログラム WO2018181584A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/499,821 US11051575B2 (en) 2017-03-28 2018-03-28 Information processing system, information processing method, and information processing program
CN201880022446.0A CN110476140B (zh) 2017-03-28 2018-03-28 信息处理系统、信息处理方法、信息处理程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-063272 2017-03-28
JP2017063272A JP6714280B2 (ja) 2017-03-28 2017-03-28 情報処理システム、情報処理方法、情報処理プログラム

Publications (1)

Publication Number Publication Date
WO2018181584A1 true WO2018181584A1 (ja) 2018-10-04

Family

ID=63676157

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/012986 WO2018181584A1 (ja) 2017-03-28 2018-03-28 情報処理システム、情報処理方法、情報処理プログラム

Country Status (4)

Country Link
US (1) US11051575B2 (ja)
JP (1) JP6714280B2 (ja)
CN (1) CN110476140B (ja)
WO (1) WO2018181584A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020067723A (ja) * 2018-10-22 2020-04-30 国立大学法人 奈良先端科学技術大学院大学 足裏感触提示装置、足裏感触提示方法及び仮想現実システム
US11051575B2 (en) 2017-03-28 2021-07-06 No New Folk Studio Inc. Information processing system, information processing method, and information processing program

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6793417B1 (ja) * 2019-10-09 2020-12-02 株式会社ノーニューフォークスタジオ 接地態様評価システム、履物、情報処理サーバ、接地態様評価方法、および接地態様評価プログラム
CN111045514B (zh) * 2019-11-21 2024-01-12 深圳市民展科技开发有限公司 用于游戏控制的鞋子及游戏控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200162A (ja) * 1993-12-29 1995-08-04 Namco Ltd 仮想現実体験装置およびこれを用いたゲーム装置
JP2005293413A (ja) * 2004-04-02 2005-10-20 Matsushita Electric Works Ltd 仮想空間内移動装置
JP2006091313A (ja) * 2004-09-22 2006-04-06 Hitachi Ltd 最適歩行促進システム、最適歩行促進方法、および最適歩行促進プログラム
JP2008049117A (ja) * 2006-05-08 2008-03-06 Shinsedai Kk 情報処理装置
JP2013172432A (ja) * 2012-02-23 2013-09-02 Panasonic Corp 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路
WO2016061699A1 (en) * 2014-10-23 2016-04-28 Orpyx Medical Technologies Inc. Foot gesture-based control device
JP2016525917A (ja) * 2013-06-07 2016-09-01 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウンテッドディスプレイ上でのゲームプレイの移行

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09162A (ja) 1995-06-16 1997-01-07 Kao Corp 苦みの低減された蛋白質加水分解物の製造法
US6974225B2 (en) * 2003-04-24 2005-12-13 Ming-Bi Weng Sequence lighting system for footwear
US6837827B1 (en) * 2003-06-17 2005-01-04 Garmin Ltd. Personal training device using GPS data
JP2005218757A (ja) 2004-02-09 2005-08-18 Vr Sports:Kk バーチャルリアリティテニスゲームシステム
US20100201512A1 (en) * 2006-01-09 2010-08-12 Harold Dan Stirling Apparatus, systems, and methods for evaluating body movements
KR100688225B1 (ko) * 2006-04-04 2007-03-02 삼성전자주식회사 센서 내장 신발과 휴대용 무선 단말기를 이용한 댄스 강습방법 및 시스템
KR101283464B1 (ko) * 2009-09-29 2013-07-12 한국전자통신연구원 동작 인식용 신발을 이용한 동작 인식 시스템
US8879759B2 (en) * 2010-06-14 2014-11-04 J. A. Wells & Associates, L.L.C. Wireless speaker footwear
EP2672854B1 (en) * 2011-02-07 2019-09-04 New Balance Athletics, Inc. Systems and methods for monitoring athletic performance
JP5845747B2 (ja) * 2011-09-10 2016-01-20 株式会社デンソー 履物
US20140123838A1 (en) * 2011-11-16 2014-05-08 John Robert D'Amours Audio effects controller for musicians
US10223926B2 (en) * 2013-03-14 2019-03-05 Nike, Inc. Skateboard system
WO2015164456A2 (en) * 2014-04-22 2015-10-29 The Trustees Of Columbia University In The City Of New York Gait analysis devices, methods, and systems
US11030784B2 (en) * 2014-06-03 2021-06-08 Apple Inc. Method and system for presenting a digital information related to a real object
US9568994B2 (en) * 2015-05-19 2017-02-14 Spotify Ab Cadence and media content phase alignment
NZ741866A (en) * 2015-10-20 2019-07-26 Magic Leap Inc Selecting virtual objects in a three-dimensional space
WO2017083420A1 (en) * 2015-11-10 2017-05-18 Thales Visionix, Inc. Robust vision-inertial pedestrian tracking with heading auto-alignment
US9996984B2 (en) * 2016-07-05 2018-06-12 Disney Enterprises, Inc. Focus control for virtual objects in augmented reality (AR) and virtual reality (VR) displays
JP6714280B2 (ja) 2017-03-28 2020-06-24 株式会社ノーニューフォークスタジオ 情報処理システム、情報処理方法、情報処理プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200162A (ja) * 1993-12-29 1995-08-04 Namco Ltd 仮想現実体験装置およびこれを用いたゲーム装置
JP2005293413A (ja) * 2004-04-02 2005-10-20 Matsushita Electric Works Ltd 仮想空間内移動装置
JP2006091313A (ja) * 2004-09-22 2006-04-06 Hitachi Ltd 最適歩行促進システム、最適歩行促進方法、および最適歩行促進プログラム
JP2008049117A (ja) * 2006-05-08 2008-03-06 Shinsedai Kk 情報処理装置
JP2013172432A (ja) * 2012-02-23 2013-09-02 Panasonic Corp 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路
JP2016525917A (ja) * 2013-06-07 2016-09-01 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウンテッドディスプレイ上でのゲームプレイの移行
WO2016061699A1 (en) * 2014-10-23 2016-04-28 Orpyx Medical Technologies Inc. Foot gesture-based control device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11051575B2 (en) 2017-03-28 2021-07-06 No New Folk Studio Inc. Information processing system, information processing method, and information processing program
JP2020067723A (ja) * 2018-10-22 2020-04-30 国立大学法人 奈良先端科学技術大学院大学 足裏感触提示装置、足裏感触提示方法及び仮想現実システム
JP7195586B2 (ja) 2018-10-22 2022-12-26 国立大学法人 奈良先端科学技術大学院大学 足裏感触提示装置、足裏感触提示方法及び仮想現実システム

Also Published As

Publication number Publication date
CN110476140A (zh) 2019-11-19
JP2018165925A (ja) 2018-10-25
US20200022448A1 (en) 2020-01-23
US11051575B2 (en) 2021-07-06
CN110476140B (zh) 2023-09-15
JP6714280B2 (ja) 2020-06-24

Similar Documents

Publication Publication Date Title
US11051575B2 (en) Information processing system, information processing method, and information processing program
JP6043891B1 (ja) 履物、音声出力システム及び出力制御方法
TWI642039B (zh) 頭戴式太極拳輔助學習系統
US10216264B2 (en) Signal acquiring device, virtual reality apparatus and control method thereof
US11382383B2 (en) Smart footwear with wireless charging
CN203777273U (zh) 一种盲人专用导航鞋
CN103657029A (zh) 运动支援装置以及运动支援方法
US20180256974A1 (en) Information processing apparatus, information processing method, and program
US10761598B2 (en) System and method for generating wireless signals and controlling digital responses from physical movement
TW201842432A (zh) 自動配置感測器的方法、電子設備及記錄媒體
WO2018159851A1 (ja) 歩行教示システム、歩行教示方法
US9959854B2 (en) Performance enhancing device and related methods
WO2018072703A1 (zh) 鞋子
US10798986B2 (en) Shoe
US20210366450A1 (en) Information processing apparatus, information processing method, and recording medium
US20190091563A1 (en) Electronic Motion Sensing Devices and Method of Operating Same
CN205507686U (zh) 一种具有虚拟现实控制功能的足部可穿戴装置
JP2001252470A (ja) ビデオゲーム装置
JP7020479B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2019118654A (ja) 履物用モジュール、及び、履物
US20210178250A1 (en) Electronic Motion Sensing Devices and Method of Operating Same
TW201729879A (zh) 移動式互動跳舞健身系統
CN110665204A (zh) 具有移动指示的穿戴装置、系统与移动指示方法
KR20170011055A (ko) 인솔, 디지털 디바이스 및 그 제어 방법
JP6786137B2 (ja) 歩行教示システム、歩行教示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18776694

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18776694

Country of ref document: EP

Kind code of ref document: A1