WO2016133158A1 - 履物、音声出力システム及び出力制御方法 - Google Patents

履物、音声出力システム及び出力制御方法 Download PDF

Info

Publication number
WO2016133158A1
WO2016133158A1 PCT/JP2016/054692 JP2016054692W WO2016133158A1 WO 2016133158 A1 WO2016133158 A1 WO 2016133158A1 JP 2016054692 W JP2016054692 W JP 2016054692W WO 2016133158 A1 WO2016133158 A1 WO 2016133158A1
Authority
WO
WIPO (PCT)
Prior art keywords
footwear
unit
output
data
output control
Prior art date
Application number
PCT/JP2016/054692
Other languages
English (en)
French (fr)
Inventor
裕也 菊川
Original Assignee
株式会社ノーニューフォークスタジオ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ノーニューフォークスタジオ filed Critical 株式会社ノーニューフォークスタジオ
Priority to US15/106,828 priority Critical patent/US10856602B2/en
Priority to JP2016510864A priority patent/JP6043891B1/ja
Priority to CN201680000481.3A priority patent/CN106061307A/zh
Publication of WO2016133158A1 publication Critical patent/WO2016133158A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B1/00—Footwear characterised by the material
    • A43B1/0027—Footwear characterised by the material made at least partially from a material having special colours
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
    • A43B3/50—Footwear characterised by the shape or the use with electrical or electronic arrangements with sound or music sources
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B13/00—Soles; Sole-and-heel integral units
    • A43B13/14—Soles; Sole-and-heel integral units characterised by the constructive form
    • A43B13/22—Soles made slip-preventing or wear-resisting, e.g. by impregnation or spreading a wear-resisting layer
    • A43B13/24—Soles made slip-preventing or wear-resisting, e.g. by impregnation or spreading a wear-resisting layer by use of insertions
    • A43B13/26—Soles made slip-preventing or wear-resisting, e.g. by impregnation or spreading a wear-resisting layer by use of insertions projecting beyond the sole surface
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B23/00—Uppers; Boot legs; Stiffeners; Other single parts of footwear
    • A43B23/24—Ornamental buckles; Other ornaments for shoes without fastening function
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/0036—Footwear characterised by the shape or the use characterised by a special shape or design
    • A43B3/0078—Footwear characterised by the shape or the use characterised by a special shape or design provided with logos, letters, signatures or the like decoration
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/24—Collapsible or convertible
    • A43B3/242—Collapsible or convertible characterised by the upper
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
    • A43B3/36—Footwear characterised by the shape or the use with electrical or electronic arrangements with light sources
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B5/00—Footwear for sporting purposes
    • A43B5/12—Dancing shoes

Definitions

  • the present invention relates to footwear and an output control method.
  • footwear that has a discoloration portion, measures performance parameters, and colors the discoloration portion according to the measured performance parameters (see, for example, Patent Document 1).
  • the discoloration portion only changes color based on the performance parameter measured in the footwear, and further, the color does not change according to the signal received from the outside. That is, the conventional footwear is not adaptively discolored by a plurality of parameters.
  • an object of the present invention is to provide footwear and an output control method capable of adaptively performing output control based on sound and movement.
  • Footwear is footwear, and includes a sensor unit that detects movement of the footwear, a transmission unit that transmits sensor data detected by the sensor unit to an external device, and a sound from the external device.
  • a receiving unit configured to receive an output control signal based on the data and the sensor data; and an output unit configured to perform output based on the output control signal.
  • output control can be performed adaptively based on sound and movement.
  • (B) is a perspective view of a sole part, and is a perspective view showing a state where a light emitting part and a sensor part 106 are placed. It is a figure which shows an example of the function of the main control part of the information processing apparatus which concerns on an Example. It is a data conceptual diagram of the audio
  • FIG. 1 is a diagram illustrating an example of a configuration of an output control system 10 according to the embodiment.
  • the output control system 10 includes a footwear 100 and an information processing apparatus 200 connected via a network N.
  • the information processing apparatus 200 may be any apparatus as long as it can process a signal acquired via the network N such as a PC (Personal Computer) or a mobile terminal.
  • a server may be connected to the network N.
  • the output control system 10 shown in FIG. 1 is provided in the footwear 100 by an output control signal based on sensor data sensed by a sensor provided in the footwear 100 and sound data stored in the information processing apparatus 200, for example.
  • the output of the output unit is controlled.
  • the output control system 10 performs light emission control of the LED in conjunction with the movement of the footwear 100 and music.
  • the movement, sound and light are controlled by performing LED issuance control according to the movement and music of the foot. It can be shown to the audience as if it were linked to the Trinity.
  • FIG. 2 is a diagram illustrating an example of a schematic configuration of hardware of the footwear 100 in the embodiment.
  • the footwear 100 shown in FIG. 2 includes at least a control unit 102, a communication unit 104, a sensor unit 106, an output unit 108, a power supply unit 110, and a storage unit 112.
  • Communication unit 104 includes a transmission unit 142 and a reception unit 144.
  • the upper part and sole part as the footwear 100 are abbreviate
  • the control unit 102 is, for example, a CPU (Central Processing Unit), and executes a program developed on a memory to cause the footwear 100 to realize various functions.
  • the control unit 102 performs various calculations based on the sensor data sensed by the sensor unit 106 and the output control signal received by the reception unit 144. For example, when acquiring the output control signal, the control unit 102 controls the output of the output unit 108 according to the output control signal. Details of the control unit 102 will be described with reference to FIG.
  • the communication unit 104 transmits and receives data via the communication network N.
  • the transmission unit 142 transmits the sensor data detected by the sensor unit 106 to the information processing apparatus 200.
  • the receiving unit 144 receives an output control signal based on sensor data and sound data from one information processing apparatus 200.
  • the communication unit 104 may set which device 200 and which footwear 100 are to communicate before data transmission / reception. Note that the communication does not have to be one body, and for example, data may be transmitted from one information processing apparatus 200 to a plurality of footwear 100.
  • the communication network N is configured by a wireless network or a wired network.
  • Examples of communication networks include mobile phone networks, PHS (Personal Handy-phone System) networks, wireless LAN (Local Area Network), 3G (3rd Generation), LTE (Long Term Evolution), 4G (4th Generation), WiMax. (Registered trademark), infrared communication, Bluetooth (registered trademark), wired LAN, telephone line, power line network, IEEE 1394, ZigBee (registered trademark), and other networks.
  • the sensor unit 106 includes an acceleration sensor and an angular velocity (gyro) sensor, and may further include a geomagnetic sensor.
  • the sensor unit 106 includes a 9-axis sensor in which a 3-axis acceleration sensor, a 3-axis angular velocity sensor, and a 3-axis geomagnetic sensor are integrated.
  • Sensor unit 106 detects the movement of footwear 100. For example, when the footwear 100 is worn by the user, the movement of the foot is detected. Sensor data detected by the sensor unit 106 is transmitted to the external information processing apparatus 200 via the transmission unit 142.
  • the output unit 108 performs output by control from the control unit 102 based on the output control signal.
  • the output unit 108 includes, for example, a light emitting unit, and the light emission is controlled by the control unit 102 to emit light.
  • the light emitting unit is, for example, an LED.
  • a plurality of LEDs may be provided, and for example, an RGB 8-bit full car may be individually controlled. Further, a plurality of LEDs may be provided in a straight line over the side surface of the sole part, or a plurality of LEDs may be provided in a straight line on the collar part.
  • the output unit 108 includes a curved display such as an organic EL (Electro Luminescence), a speaker, and the like, and the output based on the output control signal may be realized by an image or sound. Further, the output unit 108 may include a vibration element or the like, and may realize output based on the output control signal by vibration.
  • a curved display such as an organic EL (Electro Luminescence), a speaker, and the like
  • the output based on the output control signal may be realized by an image or sound.
  • the output unit 108 may include a vibration element or the like, and may realize output based on the output control signal by vibration.
  • the power supply unit 110 is a battery, for example, and supplies power to each part inside the footwear 100.
  • the storage unit 112 stores, for example, programs and various data.
  • the program is executed by the control unit 102.
  • the various data includes, for example, image information, output function information by the output unit, calibration information of the sensor unit 106, and the like.
  • the footwear 100 may be provided with the above-described components on the sole part, or only the output part 108 may be provided on the upper part, and the output part 108 may be provided on both the sole part and the upper part. May be.
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of the information processing apparatus 200 according to the embodiment.
  • 3 includes a touch panel 14, a speaker 16, a microphone 18, a hard button 20, a hard key 22, a mobile communication antenna 30, a mobile communication unit 32, a wireless LAN communication antenna 34, and wireless LAN communication.
  • the touch panel 14 has functions of both a display device and an input device, and includes a display (display screen) 14A that bears the display function and a touch sensor 14B that bears the input function.
  • the display 14A is configured by a general display device such as a liquid crystal display or an organic EL display, for example.
  • the touch sensor 14B is configured to include an element for detecting a contact operation disposed on the upper surface of the display 14A, and a transparent operation surface stacked thereon.
  • a contact detection method of the touch sensor 14B any of known methods such as a capacitance type, a resistance film type (pressure sensitive type), and an electromagnetic induction type can be adopted.
  • the touch panel 14 displays an image generated by executing the program 50 stored in the storage unit 38 by the main control unit 40.
  • the touch panel 14 as an input device detects an operation of a contact object (including a user's finger or a touch pen, which will be described as a representative example) in contact with the operation surface. An operation input is received, and information on the contact position is given to the main control unit 40.
  • the movement of the finger is detected as coordinate information indicating the position or region of the contact point, and the coordinate information is expressed as, for example, coordinate values on two axes of the short side direction and the long side direction of the touch panel 14.
  • the information processing apparatus 200 is connected to the network (Internet) N through the mobile communication antenna 30 and the wireless LAN communication antenna 34, and can perform data communication with the footwear 100 and the server.
  • the program 50 may be installed in the information processing apparatus 200, or may be provided with an output control function from a server online. By executing the program 50, an application for controlling the output of the footwear 100 operates.
  • FIG. 4 is a diagram illustrating an example of functions of the control unit 102 of the footwear 100 in the embodiment.
  • the control unit 102 illustrated in FIG. 4 has at least the functions of the acquisition unit 202, the determination unit 204, the output control unit 206, the conversion unit 208, and the evaluation unit 210 by executing a predetermined program.
  • the acquisition unit 202 acquires the detected sensor data from the sensor unit 106.
  • the sensor data is a signal indicating the movement of the footwear 100.
  • the acquired sensor data is output to the transmission unit 142 and the determination unit 204.
  • the acquisition unit 202 acquires the output control signal received by the reception unit 144.
  • the output control signal is a control signal corresponding to the output content of the output unit 108, and is, for example, at least one of a light emission control signal, a display control signal, a sound control signal, and a vibration control signal.
  • the acquired output control signal is output to the output control unit 206.
  • the determination unit 204 determines whether the footwear 100 is moving in a predetermined direction based on the sensor data. For example, the determination unit 204 can determine the movement of the footwear 100 in a direction substantially perpendicular to the linear direction in which the LEDs are provided, since the posture and the moving direction of the footwear 100 can be known from the sensor data.
  • the predetermined direction may be appropriately determined according to the output content of the output unit 108.
  • the output control unit 206 controls the output of the output unit 108 based on the output control signal. For example, when the output unit 108 is a plurality of LEDs, the output control unit 206 controls the light emission position, color, intensity, and the like.
  • the conversion unit 208 converts the predetermined image into data indicating the position and color of the LED corresponding to the predetermined image, and generates a light emission control signal (output control signal). .
  • the converter 208 outputs the light emission control signal to the output controller 206. Note that the conversion unit 208 may be implemented as a function of the output control unit 206.
  • the output control unit 206 may perform light emission control on the plurality of light emitting units based on the light emission control signal generated by the conversion unit 208 so that an afterimage of light representing a predetermined image appears in a predetermined direction. Thereby, the expression of the output by the footwear 100 can be increased.
  • the evaluation unit 210 evaluates the movement of the footwear 100 based on the sensor data. For example, the evaluation unit 210 retains data in which movement as a model is sensed as time-series model data. This model data may be received from the information processing apparatus 200 or the server, or sensor data obtained by sensing a model movement may be held as data learned by machine learning or the like.
  • the evaluation unit 210 compares the model data with the sensor data, and if both data are approximated, it is a good evaluation result, and if both data are not approximated, the evaluation result is bad. For example, the evaluation unit 210 determines that the approximation is approximate if the accumulated difference value of both data is equal to or less than a predetermined value, and does not approximate if the accumulated difference value of both data is greater than the predetermined value. Note that the evaluation result may be evaluated in a plurality of stages according to the magnitude of the accumulated difference value.
  • the output control unit 206 may control the output of the output unit 210 based on the evaluation result of the evaluation unit 210. For example, the output control unit 206 controls the output of the output unit 210 such as red for a good evaluation result and green for a bad evaluation result. Thereby, for example, it can be applied to what kind of evaluation is performed in the practice of the step of the dancer's foot.
  • FIG. 5 is a diagram illustrating an example of functions of the main control unit 40 of the information processing apparatus 200 in the embodiment.
  • the main control unit 40 illustrated in FIG. 5 has at least the functions of the acquisition unit 302, the analysis unit 304, the conversion unit 306, and the learning unit 308 by executing the program 50.
  • the acquisition unit 302 acquires sensor data received by the wireless LAN communication unit 36 or the like.
  • the sensor data is sensor data detected by the sensor unit 106 provided in the footwear 100.
  • the acquired sensor data is output to the conversion unit 306.
  • the analysis unit 304 analyzes sound using a general acoustic analysis technique.
  • the analysis unit 304 analyzes, for example, music hitting sound, sound pressure, pitch, chord configuration, and the like.
  • the analysis result data is output to the conversion unit 306.
  • the conversion unit 306 converts the sensor data and the analysis result data (also referred to as sound data) into an output control signal that controls the output unit 108 of the footwear 100.
  • the conversion unit 306, for example, based on the analysis result data, the first color when the pitch is higher than the first pitch, the second color when the pitch is lower than the first pitch, and the third color when the predetermined movement is based on the sensor data.
  • An output control signal is generated so as to be a color.
  • the conversion unit 306 can change the contribution rate of each of the sound data and sensor data to the output control signal according to a prior setting. For example, the conversion unit 306 makes it possible to set the contribution ratio of sound data to 80% and the contribution ratio of sensor data to 20% in order to increase the influence of acoustic analysis. The contribution rate may be set in advance by the user.
  • the conversion unit 306 can select a parameter of sound data (e.g., pitch, hitting sound, sound pressure, chord configuration) that is subject to light emission control, and a parameter (e.g., movement) of sensor data that is subject to light emission control. Type, moving direction, moving speed, etc.).
  • the conversion unit 306 enables selection of light emission parameters (for example, light emission color, light emission intensity, light emission position, etc.).
  • the conversion unit 306 associates the selected parameter for light emission control with the light emission parameter.
  • the conversion unit 306 is the first color when the sound is equal to or higher than the first pitch, the second color when the sound is lower than the first pitch, and when the footwear 100 performs a predetermined movement. Can generate an output control signal so as to be the third color.
  • the learning unit 308 accumulates sensor data acquired from the footwear 100, extracts feature values from the sensor data, and performs machine learning of the extracted feature values.
  • a known technique may be used for the feature amount extraction process and the machine learning process.
  • the learning unit 308 acquires model data serving as a model for a dance step by machine learning of sensor data of the footwear 100.
  • the model data can also be acquired by downloading from a server or the like.
  • FIG. 6 is a diagram illustrating an example of the footwear 100 in the embodiment.
  • FIG. 6A is a side view showing an example of the footwear 100 in the embodiment.
  • FIG. 6B is a rear view showing an example of the footwear 100 in the embodiment.
  • the footwear 100 includes an upper portion 100A and a sole portion 100B, and a plurality of LEDs 100C are provided on the sole portion 100B. Moreover, LED100C is provided over the side surface of the X direction of sole part 100B. Moreover, LED100C may be provided also in the Z direction of the collar part of 100 A of upper parts.
  • the arrangement position of LED100C is an example to the last, and is not restricted to the example shown in FIG.
  • ⁇ Issuance control (part 1)> In the footwear 100 shown in FIG. 6, for example, light emission control (part 1) when a dancer wears and dances will be described. When the dancer dances to music, sensor data indicating the movement of the footwear 100 is transmitted to the information processing apparatus 200. The information processing apparatus 100 generates a light emission control signal based on the result of acoustic analysis of the music sound source and the acquired sensor data.
  • the information processing apparatus 100 generates a basic control signal from the acoustic analysis result, and additionally inserts a light emission control signal when it is determined that the sensor data is a movement indicating light emission control. Thereby, light emission control can be adaptively performed based on sound and movement.
  • the LED 100C of the footwear 100 emits light in accordance with the sound of music, and the emission color can be changed depending on the pitch, and the LED 100C emits a predetermined color by a tap operation. can do. Therefore, control is performed so that sound, movement, and light are linked in a trinity.
  • FIG. 7 is a diagram for explaining the predetermined image.
  • FIG. 7A is a diagram illustrating an example of a predetermined image. As shown in FIG. 7A, the predetermined image is “H”.
  • FIG. 7B is a diagram illustrating an example of dividing a predetermined image.
  • the predetermined image “H” is divided so as to appear by an afterimage of light.
  • it is divided into five (400A to E) in the vertical direction (Z direction shown in FIG. 6).
  • the divided images 400A to 400E of the predetermined image are sequentially emitted.
  • the predetermined image stand out by reducing the contribution rate (for example, 0% to 10%). Thereby, a contribution rate can be changed according to the motion etc. which are detected from sensor data adaptively.
  • control for causing the predetermined image to appear may be performed on the footwear 100 side or on the information processing apparatus 100 side.
  • an example performed on the footwear 100 side will be described.
  • FIG. 8 is a conceptual diagram for explaining that a predetermined image appears.
  • FIG. 8 illustrates that the predetermined image “H” appears due to an afterimage of light when jumping upward in the Z direction.
  • the determination unit 204 detects jumping upward based on the sensor data. For example, if the sensor data indicates that the movement distance in the upward direction is equal to or greater than the threshold value within a predetermined time while maintaining the horizontal posture to some extent, the determination unit 204 determines that the jump is upward. .
  • the conversion unit 208 generates a light emission control signal so that the LED at the position corresponding to the divided image 400A emits light in the color of the image, and outputs the light emission control signal to the output control unit 206.
  • the output control unit 206 receives a light emission control signal from the conversion unit 208, the output control unit 206 controls the light emission with priority over the output control signal acquired by the acquisition unit 202.
  • the conversion unit 208 At time t2, the conversion unit 208 generates a light emission control signal so that the LED at the position corresponding to the divided image 400B is emitted with the color of the image, and outputs the light emission control signal to the output control unit 206.
  • the output control unit 206 performs light emission control so that the divided image 400B appears.
  • the conversion unit 208 At time t3, the conversion unit 208 generates a light emission control signal so that the LED at the position corresponding to the divided image 400C emits light in the color of the image, and outputs the light emission control signal to the output control unit 206.
  • the output control unit 206 performs light emission control so that the divided image 400C appears.
  • the conversion unit 208 At time t4, the conversion unit 208 generates a light emission control signal so that the LED at the position corresponding to the divided image 400D emits light in the color of the image, and outputs the light emission control signal to the output control unit 206.
  • the output control unit 206 performs light emission control so that the divided image 400D appears.
  • the conversion unit 208 At time t5, the conversion unit 208 generates a light emission control signal so that the LED at the position corresponding to the divided image 400E emits light in the color of the image, and outputs the light emission control signal to the output control unit 206.
  • the output control unit 206 performs light emission control so that the divided image 400E appears.
  • the predetermined image is not limited to characters, and may be a logo or a picture.
  • each interval from time t1 to time t5 may be determined in advance, or may be determined according to the moving speed because the moving speed is known from the sensor data.
  • the size of the divided image may be determined by the arrangement of the LEDs in the sole portion. For example, in the case where LEDs are provided by being stacked in the Z direction, the length of the divided image in the Z direction may be increased.
  • a technique called POV Persistence of Vision
  • This POV is a technique for displaying an image or video by blinking an LED at high speed in accordance with the movement of a device or the like. For example, when the user wearing the footwear 100 repeats the jump, it is possible to control the predetermined image to appear at the vertical movement position of the LED of the footwear 100.
  • evaluation results based on differences between model data representing dance step examples and sensor data may be expressed by differences in LED colors, light emission positions, or the like. Good.
  • FIG. 9 is a flowchart illustrating an example of light emission control processing (part 1) in the embodiment.
  • the communication unit 104 initializes communication settings. Initialization includes setting which device 200 the communication unit 104 communicates with.
  • step S104 the control unit 102 controls the output unit 108 to output (emit light), and the user confirms that the output unit 108 outputs (emits light).
  • step S106 the sensor unit 106 determines whether or not the sensor data has been updated. If the sensor data has been updated (YES in step S106), the process proceeds to step S108, and if the sensor data has not been updated (step S106). The process proceeds to step S112 (NO in step S106).
  • step S108 the acquisition unit 202 of the control unit 102 acquires sensor data from the sensor unit 106.
  • step S110 the transmission unit 142 transmits the sensor data to the information processing apparatus 200.
  • step S112 the reception unit 144 determines whether an output control signal has been received from the information processing apparatus 200. If the output control signal has been received (step S112—YES), the process proceeds to step S114. If the output control signal has not been received (step S112—NO), the process proceeds to step S116.
  • step S114 the output control unit 206 controls the light emission of the output unit 108 according to the output control signal.
  • This output control signal is an output control signal generated based on sound data and sensor data.
  • step S116 the control unit 102 determines whether or not reception of the output control signal is completed. If reception of the output control signal has been completed (step S116—YES), the process ends. If reception of the output control signal has not been completed (step S116—NO), the process returns to step S106.
  • the end of reception is determined, for example, when the output control signal is not received for a certain period of time or when reception is turned off by a switch or the like.
  • the footwear 100 can adaptively perform output control based on sound and movement.
  • FIG. 10 is a flowchart illustrating an example of the light emission control process (part 2) in the embodiment. Steps S202 to S204 shown in FIG. 10 are the same as steps S102 to S104 shown in FIG.
  • step S206 the receiving unit 144 determines whether image data has been received. If image data is received (step S206—YES), the process proceeds to step S208. If image data is not received (step S206—NO), the process returns to step S206. In this processing example, the footwear 100 acquires image data first.
  • step S208 the storage unit 112 stores and stores the received image data.
  • step S210 the sensor unit 106 determines whether or not the sensor data has been updated. If the sensor data has been updated (step S210-YES), the process proceeds to step S212, and if the sensor data has not been updated (step S210). Step S210—NO) The process returns to Step S210.
  • step S212 the acquisition unit 202 of the control unit 102 acquires sensor data from the sensor unit 106.
  • step S214 the control unit 102 analyzes the sensor data and updates the posture information and the movement information.
  • step S216 the determination unit 208 determines whether or not the footwear 100 has moved a predetermined distance or more in a predetermined direction. If the condition is satisfied (step S216—YES), the process proceeds to step S218. If the condition is not satisfied (step S216—NO), the process proceeds to step S222.
  • step S2128 the conversion unit 208 converts the image data into display data in a form corresponding to the movement direction and posture information, and generates an output control signal.
  • step S220 the output control unit 206 performs light emission control based on the output control signal generated by the conversion unit 208.
  • the output control unit 206 performs light emission control until a predetermined image appears in space (from t1 to t5 in FIG. 8).
  • step S222 the control unit 102 determines whether the sensing of the sensor unit 106 has been completed. The end of sensing is determined when the sensor signal is not updated for a certain time or when sensing is turned off by a switch or the like.
  • the predetermined image can be displayed in the space by using the afterimage of light.
  • This process can be realized by the light emission control based on the sensor data, but is realized by detecting a predetermined movement when the light emission control (part 1) shown in FIG. 9 is controlled. You can also.
  • the model data is, for example, data sensed in a dance step.
  • FIG. 11 is a flowchart showing an example of uploading process of model data in the embodiment.
  • the main control unit 40 of the information processing device 200 determines whether or not the step learning button has been pressed. If the step learning button is pressed (step S302—YES), the process proceeds to step S304, and if the step learning button is not pressed (step S302—NO), the process returns to step S302.
  • the learning button is a UI (User Interface) button displayed on the screen.
  • step S304 the main control unit 40 turns on the learning mode trigger.
  • step S306 the main control unit 40 acquires sensor data received from the footwear 100 and accumulates it in the storage unit 38 as motion data.
  • step S308 the main control unit 40 determines whether or not a learning end button has been pressed. If the learning end button is pressed (step S308—YES), the process proceeds to step S310. If the learning end button is not pressed (step S308—NO), the process returns to step S306.
  • the learning end button is a UI button displayed on the screen.
  • step S310 the main control unit 40 turns off the learning mode trigger.
  • step S312 the main control unit 40 analyzes the feature amount of the accumulated motion data.
  • a known technique may be used for the feature amount analysis.
  • step S314 the main control unit 40 determines whether or not the upload button has been pressed. If the upload button is pressed (step S314-YES), the process proceeds to step S316. If the upload button is not pressed (step S314-NO), the process returns to step S314.
  • the upload button is a UI button displayed on the screen.
  • step S316 the main control unit 40 performs control so that motion data or data such as a feature amount is transmitted to the server.
  • the model data to be compared is uploaded to the server.
  • the server stores a plurality of model data and enables the model data to be downloaded to the information processing apparatus 200 and the footwear 100.
  • FIG. 12 is a flowchart illustrating an example of the light emission control process (part 3) in the embodiment.
  • the case where the information processing apparatus 200 evaluates a step will be described as an example.
  • step S402 shown in FIG. 12 the user who wants to practice the step operates the information processing apparatus 200 to access the server, selects the step he / she wants to learn, and uses the motion data (or feature quantity) as a model for the information processing apparatus 200. Data).
  • the downloaded data is referred to as learning data.
  • step S404 the user puts on the footwear 100 and performs the step selected in step S402.
  • step S406 the sensor unit 106 of the footwear 100 transmits sensor data indicating the movement of the step to the information processing apparatus 200.
  • the information processing apparatus 200 accumulates the received sensor data in the storage unit 38 as motion data. Data acquired during practice is referred to as user data.
  • step S408 the main control unit 40 detects a difference between the learning data and the user data.
  • step S410 the main control unit 40 determines whether or not a difference value that is a difference is within a threshold value. If the difference value is within the threshold value (step S410—YES), the process proceeds to step S412. If the difference value is greater than the threshold value (step S410—NO), the process proceeds to step S414.
  • step S412 the main control unit 40 outputs an output control signal indicating success to the footwear 100.
  • the footwear 100 can perform an output indicating success.
  • the output control unit 206 causes the LED to emit light in the first color, displays a circle on the display, or causes the vibrator to vibrate in a predetermined manner.
  • step S414 the main control unit 40 outputs an output control signal indicating failure to the footwear 100.
  • the footwear 100 can perform the main force which shows success.
  • the output control unit 206 causes the LED to emit light in the first color, displays a circle on the display, or causes the vibrator to vibrate in a predetermined manner.
  • the information processing apparatus 200 can compare and display the learning data and the user data. Thereby, the user can grasp which movement is good and which movement is bad, and can practice the step effectively.
  • the above-described evaluation process can be executed by the control unit 102 of the footwear 100 that has downloaded the learning data. Thereby, once learning data is downloaded to the footwear 100, the step can be practiced even offline.
  • the user can practice the predetermined movement while wearing the footwear 100 and can know an appropriate evaluation result of the practiced movement.
  • Each processing step included in the processing flow described with reference to FIGS. 9 to 12 can be executed in any order or in parallel as long as the processing contents do not contradict each other. Other steps may be added in between. Further, a step described as one step for convenience can be executed by being divided into a plurality of steps, while a step described as being divided into a plurality of steps for convenience can be grasped as one step.
  • the main control unit 40 of the information processing apparatus 200 generates or selects image data based on the motion data and sound data of the user's series of footwear 100, and displays an LED provided as an output unit 108 on the footwear 100. Update content in real time.
  • the LED functions as a display having a certain width in the vertical and horizontal directions. For example, when the motion data indicates a predetermined motion, a first image having a size that can be displayed on the display is displayed. When the sound data indicates a predetermined sound, a second image having a size that can be displayed on the display is displayed. .
  • the output unit 108 is a display of an external computer, and may display an image on the display, reproduce sound using an external speaker, or perform tactile output using a vibration module.
  • a device such as a piezoelectric element may be provided in the insole of the footwear 100.
  • the footwear 100 can detect the treading and can control the output of the output unit 108 according to the treading.
  • the sensor unit 106 may be a 10-axis sensor including an altimeter altimeter in a 9-axis sensor.
  • the sensor unit 106 may include a load sensor. Thereby, the output control of the output part 108 according to an altitude or a load can be performed.
  • the vibration element may be provided in the insole of the footwear 100 or the upper part of the shoe.
  • a predetermined message can be transmitted to the user by vibration.
  • the output control system 10 can also control a plurality of devices simultaneously. For example, simultaneous control of a plurality of footwear 100 is possible by using wireless communication. Thereby, the light emission pattern (output control signal) can be transmitted from one information processing apparatus 200, and the light emission colors of all the footwear 100 in the venue can be synchronized.
  • the acoustic analysis may be performed not only by the information processing apparatus 200 but also by the control unit 102 of the footwear 100. Accordingly, the footwear 100 can automatically generate a light emission pattern (output control signal) in accordance with surrounding music.
  • the output control system 10 can generate music.
  • the motion data of the footwear 100 can be analyzed by the information processing apparatus 200 or the internal control unit 102, and sound or music matching the moving direction, moving speed, etc. can be generated in real time.
  • the output unit 108 can reproduce specific sound sample data.
  • the output control system 10 can control the drum sound to be reproduced by stepping on the kite.
  • the output control system 10 can share performance data in which any sound is associated with any movement of the footwear 100 through an external device (information processing device 200) in a server on the Internet. . Thereby, another user can download the user's data and perform with his / her footwear 100.
  • the output control system 10 can share LED animation, an image drawn with an afterimage, and video data with a server on the Internet through an external device (information processing device 200). As a result, other users can download the user's data and display it on his / her footwear 100.
  • the output control system 10 can also analyze the movement detected by the footwear 100. Further, by using a 9-axis sensor or the like as the sensor unit 106, the posture, moving speed, and moving distance of the footwear 100 can be properly sensed, and the analysis results of these motions are displayed on the display in real time. Can do.
  • the footwear 100 of the output control system 10 can be used as a controller.
  • a foot gesture wearing the footwear 100 in the footwear 100 or the like in advance it can be used as a wireless controller of another computer. Specifically, it is conceivable to operate room lighting by rotating the right foot.
  • the output control system 10 can estimate the physical characteristics of the user by analyzing the sensor data detected by the sensor unit 106 of the footwear 100. As a result, it is possible to implement an application that gives advice such as exercise based on the physical characteristics of the user or a method for improving the form.
  • the output control system 10 may include a GPS (Global Positioning System) module in the footwear 100.
  • GPS Global Positioning System
  • the current location is detected, and when it enters a specific location, it emits light to show it, and in combination with a geomagnetic sensor, it can detect the current direction and guide the route by light emission or vibration. it can.
  • the footwear 100 can transmit a musical rhythm to a user by providing a vibration element inside and vibrating the vibration element at a constant rhythm. Or the footwear 100 can transmit a specific message like a Morse signal by vibration of a vibration element.
  • it can be used for video output and effects such as moving the CG of the shoe displayed on the display according to the sensor data detected by the sensor unit 106 provided in the footwear 100.
  • the output control system 10 can be used as an effector for the music being played.
  • a specific amount of exercise can be used as an effect amount, thereby synchronizing the amount of exercise for a certain time and the volume.
  • the dancer wearing the footwear 100 may rotate the foot and control so as to increase the volume of music when the number of rotations increases.
  • the present invention can be applied to a wearable device (for example, a wristwatch or glasses) that is worn at a position where a user's movement is desired to be detected.
  • the sensor unit 106 may be mounted not at the inside of the footwear 100 or the wearable device but at a position where motion is desired to be detected as an external sensor.
  • the program of the present invention can be installed or loaded on a computer through various recording media such as an optical disk such as a CD-ROM, a magnetic disk, and a semiconductor memory, or via a communication network. .
  • unit does not simply mean a physical configuration, but also includes a case where the functions of the configuration are realized by software.
  • functions of one configuration may be realized by two or more physical configurations, or functions of two or more configurations may be realized by one physical configuration.
  • the “system” includes a system configured to provide a specific function to the user, which is configured by an information processing apparatus or the like. For example, it is configured by a server device, a cloud computing type, an ASP (Application Service Provider), a client server model, and the like, but is not limited thereto.
  • FIG. 13A is an external view showing the configuration of the footwear 100.
  • the footwear 100 is on the upper surface side of the footwear 100, and is an upper portion 1301 that covers and fixes the instep of the user wearing the footwear 100, and the bottom surface side of the footwear 100.
  • a sole portion 1302 having a function of absorbing an impact.
  • the upper part 1301 is provided with a tongue part 1303 for protecting the instep of the user.
  • the tongue unit 1303 is provided with a module 1304 including the control unit 102, the communication unit 104, and the power supply unit 110.
  • the tongue unit 1303 is opened by opening the tongue unit 1303.
  • the module 1304 inserted in the provided pocket can be exposed.
  • the module 1304 has a terminal (for example, a USB terminal) for receiving power supply.
  • a terminal for example, a USB terminal
  • the power supply unit 110 can be connected to a power source, supplied with power, and stored in the power source unit 110.
  • the communication unit 104 may suppress power consumption due to communication, for example, by performing communication according to the Bluetooth Low Energy standard.
  • the sole part 1302 includes an output part 108 and a sensor part 106.
  • the sensor unit 106 is provided inside the shank unit 1302 at a position corresponding to the arch of the user's foot.
  • the sensor unit 106 is connected to the module 1304 through the inside of the footwear 100, operates with power supplied from the power source 110 inside the module 1304, and transmits sensor data to the module 1304. To communicate. Thereby, the sensor data sensed by the sensor unit 106 is transmitted to the external information processing apparatus 200 by the communication unit 104.
  • FIG. 14A is a plan view of the sole portion 1302, and FIG. 14B is a cross-sectional view of the sole portion 1302 of FIG. 14A taken along the line AA ′.
  • the sole part 1302 includes a groove part 1401 for placing the output part 108 thereon.
  • the groove portion 1401 is provided inside the sole portion 1302 and on the outer peripheral portion of the sole portion 1302 along the outer edge thereof.
  • the groove part 1401 is recessed for placing the output part 108, and an LED tape is provided in the groove part 1401 as the output part 108.
  • the sensor unit 106 is provided at a position where the groove part 1401 is not provided and at a position facing the user's arch inside the sole part 1302.
  • the location is a position referred to as a so-called shank portion in the structure of the footwear 100.
  • shock absorbing ribs 1402 to 1405 are provided at positions where the groove part 1401 and the sensor part 106 are not provided.
  • the ribs 1402 and 1403 are provided on the toe side of the user of the sole portion 1302 and on the outer peripheral side of the groove portion 1401. Accordingly, it is possible to absorb an impact applied to the front end portion of the footwear 100 with respect to the footwear 100, reduce the possibility that the output portion 108 provided in the groove portion 1401 breaks down, and reduce the burden on the user's foot.
  • the ribs 1404 and 1405 are also located in the center of the footwear 100 to absorb the impact on the footwear, reduce the possibility that the output unit 108 provided in the groove 1401 will break down, and reduce the burden on the user's foot. can do.
  • FIG. 14C is a cross-sectional view of the sole portion 1302 and shows a state where an LED tape as the output portion 108 is placed.
  • the output unit 108 is placed with the light emitting surface facing the bottom surface side of the footwear 100. That is, the bottom surface of the footwear 100 emits light.
  • the inventors have found that when the LED tape is installed along the side surface of the sole portion 1302 so that the side surface emits light, the breakage rate of the LED tape, in particular, the bending rate of the toe portion increases, and the breakage rate increases. is doing.
  • the sole portion 1302 is made of a transparent or translucent resin having high shock absorption, the footwear 100 that transmits light emitted from the LED tape and emits light from the bottom surface thereof can be provided.
  • FIG. 15 is a perspective view of the sole portion 1302 provided to make the structure of the sole portion 1302 easier to understand.
  • FIG. 15A is a perspective view showing a state in which the sensor unit 106 and the output unit 108 are not placed on the sole part 1302, and
  • FIG. 15B is a diagram illustrating the output part 106 and the sensor on the sole part 1302. It is a perspective view which shows the state which mounted the part 106.
  • the output portion 108 which is an LED tape, is placed in the groove portion 1401 and provided on the outer peripheral portion of the bottom surface of the sole portion 1302. .
  • the sensor unit 106 is provided in a recess 1501 provided in the sole unit 1302.
  • the recess 1501 is configured so as to substantially match the outer diameter of the sensor unit 106, thereby preventing rattling as much as possible when the sensor unit 106 is placed in the recess 1501.
  • the detection can be purely able to detect the movement of the footwear 100.
  • the sensor unit 106 is provided in the module 1304 of the tongue unit 1303 of the footwear 100, there is a possibility that sensing accuracy may be lacking. Therefore, the sensor unit 106 is provided on the sole unit 1302 so that more stable sensing can be performed.
  • FIG. 16 is a diagram illustrating an example of functions of the main control unit 40 of the information processing apparatus 200 according to the third embodiment.
  • the configuration itself of the information processing apparatus 200 is as shown in FIG. 3 of the first embodiment.
  • the main control unit 40 illustrated in FIG. 16 has at least the functions of the acquisition unit 302, the operation analysis unit 1601, the voice generation unit 1602, and the voice output unit 1603 by executing a predetermined program.
  • the acquisition unit 302 acquires the audio file table 1700 and the output audio table 1710 stored in the storage unit 38 from the storage unit 38 and transmits them to the audio generation unit 1602. .
  • the audio file table 1700 and the output audio table 1710 will be described.
  • the acquisition unit 302 acquires the audio file and the actual sound source data stored in the storage unit 38. Further, the acquisition unit 302 acquires user setting information related to audio output control from the storage unit 38.
  • the user setting information related to the sound output control is information indicating a setting related to a sound control method to be output according to the operation of the footwear 100, and is set in advance in the information processing apparatus 200 by using the touch panel 14 from the user. Has been.
  • the setting is stored in the storage unit 38.
  • FIG. 17A is a data conceptual diagram showing a data configuration example of the audio file table 1700 stored in the storage unit 38.
  • the audio file table 1700 is information in which gesture data 1701 and an audio file 1702 are associated with each other.
  • the gesture data 1701 is information indicating a movement pattern that defines the movement of the footwear 100, and is information indicating a change in momentum and acceleration with time. More specifically, it is information indicating changes in the momentum and acceleration over time in the X-axis direction, the Y-axis direction, and the Z-axis direction.
  • the audio file 1702 is associated with the gesture data 1701 and is information for specifying an audio file to be output when the sensor data patterns analyzed by the motion analysis unit 1601 match.
  • the voice output table 1710 is information in which exercise data 1711 and voice parameters 1712 are associated with each other.
  • the exercise data 1711 is information indicating the momentum and acceleration, does not define a specific movement pattern, and is information indicating the momentum and acceleration in the X-axis direction, the Y-axis direction, and the Z-axis direction.
  • the audio parameter 1712 is information that is associated with the exercise data 1711 and indicates information related to the audio that is output when the information indicated by the exercise data 1711 is obtained from the sensor data. Is parameter information that defines a change to be applied to (for example, changing the pitch or changing the audio playback speed).
  • the motion analysis unit 1601 analyzes the motion of the footwear 100 based on the sensor data acquired by the acquisition unit 302. Based on the sensor data, the motion analysis unit 1601 analyzes the movement information of the footwear 100 indicated by the sensor data. Specifically, the change over time of the momentum and acceleration of the footwear 100 is specified based on the sensor data. Then, the motion analysis unit 1601 transmits the analyzed motion information to the sound generation unit 1602.
  • the sound generation unit 1602 includes the motion information transmitted from the motion analysis unit 1601, the sound file table 1701 transmitted from the acquisition unit 302, and the output sound table according to the user setting information related to sound output control acquired by the acquisition unit 302.
  • the output audio is generated with reference to 1702.
  • the sound generation unit 1602 transmits the generated sound to the sound output unit 1603. Details of the voice generation method will be described later.
  • the audio output unit 1603 causes the audio transmitted from the audio generation unit 1602 to be output from the speaker 16 of the information processing apparatus 200.
  • the above is the description of the main control unit 40 according to the third embodiment.
  • FIG. 18 is a flowchart showing the operation of the information processing apparatus 200 according to the third embodiment.
  • the touch panel 14 of the information processing device 200 receives user setting information related to audio output control from the user.
  • the main control unit 40 records the user setting information in the storage unit 38.
  • step S1802 the acquisition unit 302 acquires sensor data from the sensor unit 106 of the footwear 100.
  • the sensor data is sensing data having a predetermined time length (for example, 1 second).
  • step S1803 the acquisition unit 302 acquires user setting information related to the audio output control set in step S1801 from the storage unit 38, and the main control unit 40 determines the audio output control method.
  • step S1803 (1) When the user setting information indicates momentum analysis (step S1803 (1)), the process proceeds to step S1804.
  • step S1803 (2) the process proceeds to step S1807, and the momentum analysis and the gesture analysis are performed. If it is indicated that both of these are executed (step S1803 (3)), the process proceeds to step S1811.
  • step S1804 the motion analysis unit 1601 calculates the amount of exercise from the sensor data.
  • the motion analysis unit 1601 transmits the calculated amount of exercise to the voice generation unit 1602.
  • step S1805 the acquisition unit 302 reads the audio output table 1710 from the storage unit 38.
  • the voice generation unit 1602 identifies the momentum data 1711 having the highest correlation with the transmitted momentum, and identifies the corresponding voice parameter 1712. Then, the voice generation unit 1602 generates a voice to be output based on the specified voice parameter 1712 (a voice specified by the voice parameter 1712 or a voice obtained by changing the parameter indicated by the voice parameter 1712 to the voice that has been played so far). To do.
  • the sound generation unit 1602 transmits the generated sound to the sound output unit 1603.
  • step S1806 the audio output unit 1603 causes the speaker 16 to output the audio transmitted from the audio generation unit 1602, and proceeds to the process of step S1817.
  • step S1807 the motion analysis unit 1601 analyzes the gesture from the sensor data.
  • step S1808 the acquisition unit 302 reads the audio file table 1701 from the storage unit 38.
  • the motion analysis unit 1601 calculates a correlation value between the temporal change of the momentum and acceleration indicated by the sensor data and the temporal change of the momentum and acceleration indicated by the gesture pattern 1711 of the voice file table 1701. Then, the gesture pattern that can obtain the highest correlation value is specified.
  • the motion analysis unit 1601 transmits the identified gesture pattern to the voice generation unit 1602.
  • step S1809 the voice generation unit 1602 identifies a voice file corresponding to the transmitted gesture pattern using the voice file table 1701. Then, the specified audio file is transmitted to the audio output unit 1603.
  • step S1810 the audio output unit 1603 outputs the transmitted audio file from the speaker 16, and proceeds to the process of step S1817.
  • step S1811 the motion analysis unit 1601 first analyzes the gesture from the sensor data.
  • step S1812 the acquisition unit 302 reads the audio file table 1701 from the storage unit 38.
  • the motion analysis unit 1601 calculates a correlation value between the temporal change of the momentum and acceleration indicated by the sensor data and the temporal change of the momentum and acceleration indicated by the gesture pattern 1711 of the voice file table 1701. Then, the gesture pattern that can obtain the highest correlation value is specified.
  • the motion analysis unit 1601 transmits the identified gesture pattern to the voice generation unit 1602.
  • step S1813 the voice generation unit 1602 specifies a voice file corresponding to the transmitted gesture pattern using the voice file table 1701.
  • step S1814 the motion analysis unit 1601 calculates the amount of exercise from the sensor data.
  • the motion analysis unit 1601 transmits the calculated amount of exercise to the voice generation unit 1602.
  • step S1815 the acquisition unit 302 reads the audio output table 1710 from the storage unit 38.
  • the voice generation unit 1602 identifies the momentum data 1711 having the highest correlation with the transmitted momentum, and identifies the corresponding voice parameter 1712.
  • step S1816 the sound generation unit 1602 generates sound based on the specified sound file and the specified sound parameter.
  • the voice generation unit 1602 synthesizes the voice with the voice file.
  • the voice generation unit 1602 changes the voice. Apply to audio files to generate synthesized speech.
  • the voice generation unit 1602 transmits the generated synthesized voice to the voice output unit 1603.
  • the audio output unit 1603 outputs the transmitted synthesized voice from the speaker 16 and proceeds to step S1817.
  • step S ⁇ b> 1817 the main control unit 40 determines whether an input for ending the output control of the voice from the user is accepted via the touch panel 14. If it has been accepted (YES in step S1817), the process ends. If it has not been accepted (NO in step S1817), the process returns to step S1802.
  • the above is description of the audio
  • FIG. 19 is an interface screen for performing light emission control of the footwear 100 by a user designation by the information processing apparatus 200 according to the fourth embodiment.
  • the interface screen 1901 has an outer shape 1902L of the footwear 100 for the left foot, an outer shape 1902R of the footwear 100 for the right foot, an LED lighting area 1904L in the footwear 100 for the left foot, and a color for lighting the LED.
  • buttons indicating colors to be emitted are arranged in the color palette 1903, and the buttons corresponding to the selected buttons can be issued by touching the buttons.
  • “RAINBOW” means lighting in rainbow colors
  • “MULTI” means lighting in multiple colors
  • “OTHERS” is a button for selecting other colors. ing.
  • the time bar 1905 designates the time and the light emission pattern (light emission location, light emission color, and light emission method) at the time when it is desired to change the light emission control in time series, and this is stored in the storage unit 38.
  • the footwear 100 can be made to emit light with a designated light emission pattern by touching the light emission button 1906. Using such an interface, the user can designate any light emission, and the convenience of the footwear 100 can be improved.
  • the interface can be realized by the main control unit 40 executing a GUI program that can execute the above processing.
  • the gesture pattern having the highest correlation value is specified. If the correlation value does not exceed a predetermined threshold value, the detected motion information
  • the voice generation unit 1602 of the main control unit 40 may determine that the gesture pattern corresponding to is not registered. In that case, it is good also as a structure which does not output the audio
  • the audio output control is executed by the information processing apparatus 200.
  • the footwear 200 may be executed with a processor and a speaker that execute the audio output control.
  • the voice file corresponding to the gesture pattern in the third embodiment may be specified by the user.
  • Each function of the main control unit 40 and the control unit 102 shown in the above embodiment may be realized by a dedicated circuit that realizes the same function.
  • the dedicated circuit may be configured to execute a plurality of functions among the functional units of the main control unit 40 and the control unit 102 so that the function of one functional unit is realized by the plurality of circuits. It may be configured.

Landscapes

  • Engineering & Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Footwear And Its Accessory, Manufacturing Method And Apparatuses (AREA)

Abstract

　音及び動きに基づき適応的に出力制御を行う。履物であって、履物の動きを検出するセンサ部と、センサ部により検出されたセンサデータを外部装置に送信する送信部と、外部装置から、音データ及び前記センサデータに基づく出力制御信号を受信する受信部と、出力制御信号に基づく出力を行う出力部と、を備える。

Description

履物、音声出力システム及び出力制御方法
　本発明は、履物及び出力制御方法に関する。
　従来、変色部を有する履物であって、性能パラメータを測定し、測定した性能パラメータに応じて変色部を色付けする履物がある（例えば特許文献１参照）。
特開２０１３－５２９５０４号公報
　しかしながら、従来の履物は、履物において測定した性能パラメータに基づいて変色部が変色するにとどまり、さらに、外部から受信した信号にも応じて変色するものではない。つまり、従来の履物は、複数のパラメータにより適応的に変色するものではない。
　ここで、履物において、測定されたパラメータ以外に外部からの信号にも応じて出力制御を行うことができれば、音楽などに合わせてダンスをする際、音と動きと光とをインタラクティブに連動させて、ダンサーにとって魅力ある履物とすることができる。
　そこで、本発明は、音及び動きに基づき適応的に出力制御を行うことができる履物及び出力制御方法を提供することを目的とする。
　本発明の一態様における履物は、履物であって、前記履物の動きを検出するセンサ部と、前記センサ部により検出されたセンサデータを外部装置に送信する送信部と、前記外部装置から、音データ及び前記センサデータに基づく出力制御信号を受信する受信部と、前記出力制御信号に基づく出力を行う出力部と、を備える。
　本発明によれば、音及び動きに基づき適応的に出力制御を行うことができる。
実施形態における出力制御システムの構成の一例を示す図である。 実施形態における履物のハードウェアの概略構成の一例を示す図である。 実施形態における情報処理装置のハードウェア構成の一例を示す図である。 実施形態における履物の制御部の機能の一例を示す図である。 実施形態における情報処理装置の主制御部の機能の一例を示す図である。 実施例における履物の一例を示す図である。 所定画像について説明するための図である。 所定画像が現れることを説明するための概念図である。 実施例における発光制御処理（その１）の一例を示すフローチャートである。 実施例における発光制御処理（その２）の一例を示すフローチャートである。 実施例における手本データのアップロー処理の一例を示すフローチャートである。 実施例における発光制御処理（その３）の一例を示すフローチャートである。 実施例に係る履物の外観を示す外観図である。 （ａ）は実施例に係る履物のソール部の平面図である。（ｂ）はＡ－Ａ´線における断面図である。（ｃ）はＡ－Ａ´線における断面図であって発光部を載置した状態を示す図である。 （ａ）はソール部の斜視図である。（ｂ）はソール部の斜視図であって、発光部とセンサ部１０６を載置した状態を示す斜視図である。 実施例に係る情報処理装置の主制御部の機能の一例を示す図である。 実施例に係る履物の音声出力制御を実施するための音声情報のデータ概念図である。 実施例に係る履物に係る情報処理装置による音声出力の制御フローチャートである。 実施例に係る履物の発光制御処理のユーザインターフェースの例を示す概念図である。
　以下、図面を参照して本発明の実施形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
　［実施形態１］
　以下、本発明の実施形態における履物及び出力制御方法を、図面を用いて説明する。
　＜出力制御システムの概要＞
　図１は、実施形態における出力制御システム１０の構成の一例を示す図である。図１に示す例では、出力制御システム１０は、履物１００、情報処理装置２００がネットワークＮを介して接続されている。なお、ネットワークＮに接続される履物１００は、複数あってもよい。情報処理装置２００は、例えば、ＰＣ（Personal Computer）、携帯端末などのネットワークＮを介して取得した信号を処理可能な装置であれば、いずれの装置でもよい。また、ネットワークＮにサーバが接続されていてもよい。
　図１に示す出力制御システム１０は、例えば、履物１００に設けられたセンサによりセンシングされたセンサデータと、情報処理装置２００に記憶される音データとに基づく出力制御信号により、履物１００に設けられた出力部の出力制御を行う。
　例えば、出力制御システム１０は、出力部としてＬＥＤ（Light Emitting Diode）が用いられる場合、履物１００の動きと音楽とに連動したＬＥＤの発光制御を行う。より具体的な一例としては、ダンサーが履物１００を履いて音楽に合わせて足を動かすと、足の動きと音楽とに合わせて、ＬＥＤの発行制御を行うことで、動きと音と光とが三位一体となって連動しているように、観客に見せることができる。
　＜ハードウェア構成＞
　次に、出力制御システム１０における各装置内のハードウェアの概略について説明する。図２は、実施形態における履物１００のハードウェアの概略構成の一例を示す図である。図２に示す履物１００は、制御部１０２と、通信部１０４と、センサ部１０６と、出力部１０８と、電源部１１０と、記憶部１１２とを少なくとも備える。通信部１０４は、送信部１４２と、受信部１４４とを含む。なお、履物１００としてのアッパー部やソール部は省略している。
　制御部１０２は、例えばＣＰＵ（Central Processing Unit）であり、メモリ上に展開されたプログラムを実行し、履物１００に各種の機能を実現させる。また、制御部１０２は、センサ部１０６によりセンシングされたセンサデータや、受信部１４４により受信された出力制御信号に基づき各種演算を行う。例えば、制御部１０２は、出力制御信号を取得すると、この出力制御信号に応じて出力部１０８の出力を制御する。制御部１０２の詳細は図４を用いて説明する。
　通信部１０４は、通信ネットワークＮを介してデータの送受信を行う。例えば、送信部１４２は、センサ部１０６により検出されたセンサデータを情報処理装置２００に送信する。例えば、受信部１４４は、一の情報処理装置２００から、センサデータと音データとに基づく出力制御信号を受信する。なお、通信部１０４は、データの送受信前に、どの装置２００と、どの履物１００とを通信させるかを設定しておくとよい。なお、通信は、１体１である必要はなく、例えば、一の情報処理装置２００から複数の履物１００にデータを送信してもよい。
　通信ネットワークＮは、無線ネットワークや有線ネットワークにより構成される。通信ネットワークの一例としては、携帯電話網や、ＰＨＳ（Personal Handy-phone System）網、無線ＬＡＮ（Local Area Network）、３Ｇ（3rd Generation）、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、ＷｉＭａｘ（登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、有線ＬＡＮ、電話線、電灯線ネットワーク、ＩＥＥＥ１３９４、ＺｉｇＢｅｅ（登録商標）等に準拠したネットワークがある。
　センサ部１０６は、加速度センサ、及び角速度（ジャイロ）センサを含み、さらに地磁気センサを含んでもよい。例えば、センサ部１０６は、３軸加速度センサ、３軸角速度センサ、及び３軸地磁気センサが一体となった９軸センサを含む。
　センサ部１０６は、履物１００の動きを検出する。例えば、履物１００がユーザによって履かれている場合は、足の動きを検出する。センサ部１０６により検出されたセンサデータは、送信部１４２を介して外部の情報処理装置２００に送信される。
　出力部１０８は、出力制御信号に基づく制御部１０２からの制御によって出力を行う。出力部１０８は、例えば発光部を含み、制御部１０２から発光制御されて発光する。発光部は、例えばＬＥＤである。また、ＬＥＤは、複数備えられ、例えばＲＧＢ８ビットフルカーが個別に制御されるようにしてもよい。また、ＬＥＤは、ソール部の側面に亘って直線状に複数設けられたり、踵部に直線状に複数設けられたりしてもよい。
　なお、出力部１０８は、有機ＥＬ（Electro Luminescence）などの曲面ディスプレイやスピーカなどを含み、出力制御信号に基づく出力を、画像や音声によって実現させてもよい。また、出力部１０８は、振動素子などを含み、出力制御信号に基づく出力を振動によって実現させてもよい。
　電源部１１０は、例えばバッテリーであり、履物１００内部の各部に電源を供給する。
　記憶部１１２は、例えばプログラムや各種データを格納する。プログラムは、制御部１０２により実行される。各種データは、例えば画像情報や出力部による出力機能情報やセンサ部１０６のキャリブレーション情報などを含む。
　なお、履物１００は、ソール部に上記各構成が設けられてもよいし、出力部１０８だけがアッパー部に設けられてもよいし、出力部１０８は、ソール部とアッパー部の両方に設けられてもよい。
　次に、情報処理装置２００のハードウェアの概略について説明する。図３は、実施形態における情報処理装置２００のハードウェア構成の一例を示す図である。図３に示す情報処理装置２００は、タッチパネル１４、スピーカ１６、マイクロフォン１８、ハードボタン２０、ハードキー２２、移動体通信用アンテナ３０、移動体通信部３２、無線ＬＡＮ通信用アンテナ３４、無線ＬＡＮ通信部３６、記憶部３８、主制御部４０、カメラ２６、及び音声出力端子２４を含む外部インターフェース４２などを備える。なお、カメラ２６等は、必ずしも設けられなくてもよい。
　タッチパネル１４は、表示装置および入力装置の両方の機能を備え、表示機能を担うディスプレイ（表示画面）１４Ａと、入力機能を担うタッチセンサ１４Ｂとで構成される。ディスプレイ１４Ａは、例えば、液晶ディスプレイや有機ＥＬディスプレイなどの一般的な表示デバイスにより構成される。タッチセンサ１４Ｂは、ディスプレイ１４Ａその上面に配置された接触操作を検知するための素子およびその上に積層された透明な操作面を備えて構成される。タッチセンサ１４Ｂの接触検知方式としては、静電容量式、抵抗膜式（感圧式）、電磁誘導式など既知の方式のうちの任意の方式を採用することができる。
　タッチパネル１４は、主制御部４０による記憶部３８に記憶されているプログラム５０の実行により生成される画像を表示する。入力装置としてのタッチパネル１４は、操作面に対して接触する接触物（ユーザの指やタッチペンなどを含む。以下、「指」である場合を代表例として説明する）の動作を検知することで、操作入力を受け付け、その接触位置の情報を主制御部４０に与える。指の動作は、接触点の位置または領域を示す座標情報として検知され、座標情報は、例えば、タッチパネル１４の短辺方向および長辺方向の二軸上の座標値として表される。
　情報処理装置２００は、移動体通信用アンテナ３０や無線ＬＡＮ通信用アンテナ３４を通じてネットワーク（インターネット）Ｎに接続され、履物１００やサーバとの間でデータ通信をすることが可能である。
　実施形態に係るプログラム５０は、情報処理装置２００にインストールされたものであってもよいし、オンライン上でサーバから出力制御機能が提供されるものであってもよい。プログラム５０が実行されることで、履物１００の出力制御を行うアプリケーションが動作する。
　＜機能構成＞
　次に、履物１００、情報処理装置２００それぞれの機能構成について説明する。ます、履物１００の機能構成について説明する。
　図４は、実施形態における履物１００の制御部１０２の機能の一例を示す図である。図４に示す制御部１０２は、所定プログラムを実行することで、取得部２０２と、判定部２０４と、出力制御部２０６と、変換部２０８と、評価部２１０との各機能を少なくとも有する。
　取得部２０２は、センサ部１０６から、検出されたセンサデータを取得する。例えば、センサデータは、履物１００の動きを示す信号である。取得されたセンサデータは、送信部１４２や判定部２０４に出力される。
　また、取得部２０２は、受信部１４４が受信した出力制御信号を取得する。出力制御信号は、出力部１０８の出力内容に応じた制御信号であり、例えば、発光制御信号、表示制御信号、音制御信号、振動制御信号のうちの少なくとも１つである。取得された出力制御信号は、出力制御部２０６に出力される。
　判定部２０４は、センサデータに基づいて、履物１００が所定方向へ移動しているか否かを判定する。例えば、判定部２０４は、センサデータにより、履物１００の姿勢、及び移動方向が分かるので、ＬＥＤが設けられた直線状の方向とは略垂直な方向への履物の動きを判定する。所定方向は、出力部１０８の出力内容に応じて適宜決められればよい。
　出力制御部２０６は、出力制御信号に基づき、出力部１０８の出力を制御する。例えば、出力制御部２０６は、出力部１０８が複数のＬＥＤの場合、発光の位置や色、強さなどを制御する。
　変換部２０８は、出力部１０８により所定画像が出力される場合、所定画像を、この所定画像に対応するＬＥＤの位置や色を示すデータに変換し、発光制御信号（出力制御信号）を生成する。変換部２０８は、発光制御信号を出力制御部２０６に出力する。なお、変換部２０８は、出力制御部２０６の機能として実装されてもよい。
　出力制御部２０６は、変換部２０８が生成した発光制御信号に基づいて、所定方向において所定画像を表す光の残像が現れるよう複数の発光部を発光制御してもよい。これにより、履物１００による出力の表現を増やすことができる。
　評価部２１０は、センサデータに基づく履物１００の動きを評価する。例えば、評価部２１０は、手本となる動きがセンシングされたデータを、時系列の手本データとして保持しておく。この手本データは、情報処理装置２００やサーバから受信されてもよいし、手本となる動きをセンシングしたセンサデータが、機械学習等により学習されたデータとして保持されてもよい。
　評価部２１０は、手本データと、センサデータとを比較し、両データが近似していれば良い評価結果とし、両データが近似していなければ悪い評価結果とする。評価部２１０は、近似の判定について、例えば両データの累積差分値が所定値以下であれば近似とし、両データの累積差分値が所定値より大きければ近似しないと判定する。なお、評価結果は、累積差分値の大きさに応じて複数段階で評価されてもよい。
　出力制御部２０６は、評価部２１０の評価結果に基づいて出力部２１０の出力を制御してもよい。例えば、出力制御部２０６は、良い評価結果の場合は赤、悪い評価結果の場合は緑など、出力部２１０の出力を制御する。これにより、例えばダンサーの足のステップの練習において、どのような評価が行われるかなどに適用することができる。
　次に、情報処理装置２００の機能について説明する。図５は、実施形態における情報処理装置２００の主制御部４０の機能の一例を示す図である。図５に示す主制御部４０は、プログラム５０を実行することで、取得部３０２と、解析部３０４と、変換部３０６と、学習部３０８との各機能を少なくとも有する。
　取得部３０２は、無線ＬＡＮ通信部３６等により受信されたセンサデータを取得する。センサデータは、履物１００に設けられたセンサ部１０６により検出されたセンサデータである。取得されたセンサデータは、変換部３０６に出力される。
　解析部３０４は、音を一般的な音響解析技術を用いて解析する。解析部３０４は、例えば、音楽の打音、音圧、音高、和音構成などを解析する。解析結果のデータは、変換部３０６に出力される。
　変換部３０６は、センサデータと、解析結果データ（音データとも称す）とから、履物１００の出力部１０８を制御する出力制御信号に変換する。変換部３０６は、例えば、解析結果データに基づき第１音高以上の時は第１色、第１音高未満の時は第２色、かつ、センサデータに基づき所定の動きの時は第３色になるように出力制御信号を生成する。
　変換部３０６は、事前の設定により、音データ及びセンサデータそれぞれの出力制御信号に対する寄与率を変更することができる。例えば、変換部３０６は、音響解析の影響を大きくしたければ、音データの寄与率を８０％にし、センサデータの寄与率を２０％に設定することを可能にする。寄与率の設定は、ユーザによって予め設定してもらえばよい。
　また、変換部３０６は、発光制御の対象となる音データのパラメータ（例えば音高、打音、音圧、和音構成など）を選択可能とし、発光制御の対象となるセンサデータのパラメータ（例えば動きの種類、移動方向、移動速度など）を選択可能とする。また、変換部３０６は、発光パラメータ（例えば発光色、発光強度、発光位置など）を選択可能にする。
　変換部３０６は、選択された発光制御の対象となるパラメータと、発光パラメータとを関連づけておく。これにより、変換部３０６は、上述したように、音が第１音高以上の時は第１色、第１音高未満の時は第２色、かつ、履物１００が所定の動きをした時は第３色になるように出力制御信号を生成することが可能になる。
　学習部３０８は、履物１００から取得したセンサデータを蓄積し、センサデータから特徴量抽出を行って、抽出された特徴量の機械学習を行う。特徴量抽出処理及び機械学習処理は、公知の技術を用いればよい。例えば、学習部３０８は、ダンスのステップの手本となる手本データを、履物１００のセンサデータを機械学習することによって取得する。なお、手本データは、サーバなどからダウンロードされることによっても取得可能とする。
　［実施例］
　次に、上述した履物１００のソール部に出力部１０８として、複数のＬＥＤを設ける実施例について説明する。図６は、実施例における履物１００の一例を示す図である。図６（Ａ）は、実施例における履物１００の一例を示す側面図である。図６（Ｂ）は、実施例における履物１００の一例を示す背面図である。
　図６に示す例では、履物１００は、アッパー部１００Ａと、ソール部１００Ｂとから構成され、複数のＬＥＤ１００Ｃが、ソール部１００Ｂに設けられる。また、ＬＥＤ１００Ｃは、ソール部１００ＢのＸ方向の側面に亘って設けられる。また、ＬＥＤ１００Ｃは、アッパー部１００Ａの踵部のＺ方向にも設けられてもよい。ＬＥＤ１００Ｃの配置位置はあくまでも一例であって、図６に示す例に限られない。
　＜発行制御（その１）＞
　図６に示す履物１００において、例えばダンサーが履いてダンスする場合の発光制御（その１）について説明する。ダンサーが音楽に合わせてダンスすると、履物１００の動きを示すセンサデータが情報処理装置２００に送信される。情報処理装置１００では、音楽の音源を音響解析した結果と、取得されたセンサデータに基づいて発光制御信号を生成する。
　例えば、情報処理装置１００は、基本的な制御信号を音響解析結果から生成し、センサデータが発光制御を示す動きであると判定したときに、追加で発光制御信号を挿入する。これにより、音と動きとに基づいて適応的に発光制御を行うことができる。
　上述した出力制御により、例えば、音楽の打音などに合わせて履物１００のＬＥＤ１００Ｃが発光し、発光色は、音高の違いによって変えることができ、さらに、ＬＥＤ１００Ｃは、タップ動作によって所定色に発光することができる。したがって、音と動きと光とが三位一体となって連動するように制御される。
　＜発光制御（その２）＞
　次に、光によって、所定画像が現れる光の発光制御（その２）について説明する。音に合わせて発光制御されることは、上述したとおりであるが、履物１００の動きに合わせて所定画像が現れるように発光制御する。
　例えば、発光制御により、所定画像として「Ｈ」が現れる例について説明する。図７は、所定画像について説明するための図である。図７（Ａ）は、所定画像の一例を示す図である。図７（Ａ）に示すように、所定画像は「Ｈ」とする。
　図７（Ｂ）は、所定画像を分割した例を示す図である。図７（Ｂ）に示すように、所定画像「Ｈ」は、光の残像によって現れるようにするために分割される。図７（Ｂ）に示す例では、上下方向（図６に示すＺ方向）に５つ（４００Ａ～Ｅ）に分割される。この分割された画像に対応する位置のＬＥＤを、履物１００の移動方向に合わせて順に発光させることで、光の残像により所定画像「Ｈ」を空間上に表示することができる。
　なお、この場合、履物１００が上方向に移動していることが検知された場合に、所定画像の分割画像４００Ａ～Ｅが順に発光される。このとき、音データによる発光制御は、寄与率を小さく（例えば０％～１０％）するなどして、所定画像が目立つようにするとよい。これにより、適応的にセンサデータから検出される動き等に応じて、寄与率を変更することができる。
　なお、所定画像が現れるようにする制御は、履物１００側で行ってもよいし、情報処理装置１００側で行ってもよい。以下では、履物１００側で行う例について説明する。
　図８は、所定画像が現れることを説明するための概念図である。図８では、Ｚ方向の上方向にジャンプした際に、光の残像により所定画像「Ｈ」が現れることを説明する。
　時刻ｔ１において、判定部２０４は、センサデータに基づき上方向にジャンプしていることを検出する。例えば、判定部２０４は、センサデータが、水平方向の姿勢をある程度保ったまま、所定時間内に上方向の移動距離が閾値以上であることを示せば、上方向にジャンプしていると判定する。このとき、変換部２０８は、分割画像４００Ａに対応する位置のＬＥＤがその画像の色で発光されるように発光制御信号を生成し、出力制御部２０６に出力する。出力制御部２０６は、変換部２０８から発光制御信号を受けた場合、この信号を、取得部２０２が取得した出力制御信号よりも優先して発光制御する。
　時刻ｔ２において、変換部２０８は、分割画像４００Ｂに対応する位置のＬＥＤがその画像の色で発光されるように発光制御信号を生成し、出力制御部２０６に出力する。出力制御部２０６は、分割画像４００Ｂが現れるよう発光制御する。
　時刻ｔ３において、変換部２０８は、分割画像４００Ｃに対応する位置のＬＥＤがその画像の色で発光されるように発光制御信号を生成し、出力制御部２０６に出力する。出力制御部２０６は、分割画像４００Ｃが現れるよう発光制御する。
　時刻ｔ４において、変換部２０８は、分割画像４００Ｄに対応する位置のＬＥＤがその画像の色で発光されるように発光制御信号を生成し、出力制御部２０６に出力する。出力制御部２０６は、分割画像４００Ｄが現れるよう発光制御する。
　時刻ｔ５において、変換部２０８は、分割画像４００Ｅに対応する位置のＬＥＤがその画像の色で発光されるように発光制御信号を生成し、出力制御部２０６に出力する。出力制御部２０６は、分割画像４００Ｅが現れるよう発光制御する。
　これにより、時刻ｔ１～ｔ５まで、出力制御部２０６の発光部により発光が行われたことで、この光の残像により「Ｈ」が空間上に現れる。所定画像は、文字に限られず、ロゴや絵などでもよい。
　また、時刻ｔ１からｔ５までの各間隔は、予め決められていてもよいし、センサデータにより移動速度が分かるため、移動速度に応じて決められてもよい。また、分割画像のサイズについては、ソール部のＬＥＤの配置によって決められればよい。例えば、ＬＥＤがＺ方向に積層して設けられる場合は、分割画像のＺ方向の長さが大きくなればよい。
　なお、この所定画像を空間上に現す技術としては、ＰＯＶ（Persistence of Vision）と呼ばれる手法を用いることもできる。このＰＯＶは、デバイスの移動等に合わせて高速にＬＥＤを明滅させることで画像や映像を表示する技術である。例えば、履物１００を履いたユーザがジャンプを繰り返すことで、履物１００のＬＥＤの上下方向の移動位置に、所定画像が現れるように制御することが可能である。
　また、その他の発光制御の例として、ダンスのステップの手本を表す手本データと、センサデータとの違いに基づく評価結果が、ＬＥＤの色の違いや発光位置の違い等により表現されてもよい。
　＜動作＞
　次に、出力制御システム１０の動作について説明する。以下では、上述した２つの発光制御における各処理と、履物１００の動きの評価を行う発光制御における処理とを例に挙げる。
　≪発行制御処理（その１）≫
　図９は、実施例における発光制御処理（その１）の一例を示すフローチャートである。図９に示すステップＳ１０２で、通信部１０４は、通信設定の初期化を行う。初期化には、通信部１０４がどの装置２００と通信するかを設定することが含まれる。
　ステップＳ１０４で、制御部１０２は、出力部１０８が出力（発光）するよう制御し、ユーザは、出力部１０８が出力（発光）していることを確認する。
　ステップＳ１０６で、センサ部１０６は、センサデータが更新されたか否かを判定するセンサデータが更新されていれば（ステップＳ１０６－ＹＥＳ）処理はステップＳ１０８に進み、センサデータが更新されていなければ（ステップＳ１０６－ＮＯ）処理はステップＳ１１２に進む。
　ステップＳ１０８で、制御部１０２の取得部２０２は、センサ部１０６からセンサデータを取得する。
　ステップＳ１１０で、送信部１４２は、センサデータを情報処理装置２００に送信する。
　ステップＳ１１２で、受信部１４４は、情報処理装置２００から、出力制御信号を受信したか否かを判定する。出力制御信号が受信されていれば（ステップＳ１１２－ＹＥＳ）処理はステップＳ１１４に進み、出力制御信号が受信されていなければ（ステップＳ１１２－ＮＯ）処理はステップＳ１１６に進む。
　ステップＳ１１４で、出力制御部２０６は、出力制御信号に応じて出力部１０８の発光を制御する。この出力制御信号は、音データ及びセンサデータに基づいて生成された出力制御信号である。
　ステップＳ１１６で、制御部１０２は、出力制御信号の受信が終了したか否かを判定する。出力制御信号の受信が終了していれば（ステップＳ１１６－ＹＥＳ）処理は終了し、出力制御信号の受信が終了していなければ（ステップＳ１１６－ＮＯ）処理はステップＳ１０６に戻る。
　なお、受信の終了については、例えば、出力制御信号を一定時間受信しなかった場合や、スイッチなどにより受信をオフした場合などに、受信の終了が判定される。
　以上の処理を行うことで、履物１００は、音及び動きに基づき適応的に出力制御を行うことができる。
　≪発光制御（その２）≫
　図１０は、実施例における発光制御処理（その２）の一例を示すフローチャートである。図１０に示すステップＳ２０２～Ｓ２０４は、図９に示すステップＳ１０２～Ｓ１０４と同様であるため、その説明を省略する。
　ステップＳ２０６で、受信部１４４は、画像データを受信したか否かを判定する。画像データが受信されれば（ステップＳ２０６－ＹＥＳ）処理はステップＳ２０８に進み、画像データが受信されなければ（ステップＳ２０６－ＮＯ）処理はステップＳ２０６に戻る。この処理例では、履物１００は、先に画像データを取得しておく。
　ステップＳ２０８で、記憶部１１２は、受信された画像データを記憶、保存する。
　ステップＳ２１０で、センサ部１０６は、センサデータが更新されたか否かを判定するセンサデータが更新されていれば（ステップＳ２１０－ＹＥＳ）処理はステップＳ２１２に進み、センサデータが更新されていなければ（ステップＳ２１０－ＮＯ）処理はステップＳ２１０に戻る。
　ステップＳ２１２で、制御部１０２の取得部２０２は、センサ部１０６からセンサデータを取得する。
　ステップＳ２１４で、制御部１０２は、センサデータを解析し、姿勢情報及び移動情報を更新する。
　ステップＳ２１６で、判定部２０８は、履物１００が所定方向に一定の距離以上移動したか否かを判定する。条件が満たされれば（ステップＳ２１６－ＹＥＳ）処理はステップＳ２１８に進み、条件が満たされなければ（ステップＳ２１６－ＮＯ）処理はステップＳ２２２に進む。
　ステップＳ２１８で、変換部２０８は、移動方向、姿勢情報に応じた形で画像データを表示用のデータに変換し、出力制御信号を生成する。
　ステップＳ２２０で、出力制御部２０６は、変換部２０８が生成した出力制御信号に基づいて発光制御を行う。ここでは、出力制御部２０６は、所定画像が空間上に現れるまで（図８のｔ１からｔ５まで）発光制御を行うとする。
　ステップＳ２２２で、制御部１０２は、センサ部１０６のセンシングが終了したか否かを判定する。センシングの終了は、一定時間センサ信号が更新されなかった場合や、スイッチなどでセンシングがオフされた場合などに、センシングの終了が判定される。
　以上の処理により、履物１００が所定の動きを行った場合に、光の残像を用いることで、空間上に所定画像を現すことができるようになる。なお、この処理は、センサデータに基づく発光制御により実現することができるが、図９に示す発光制御（その１）が制御されている際に、所定の動きが検出されることで実現することもできる。
　≪発光制御（その３）≫
　履物１００の動きを評価する発光制御を説明する前に、評価の基準となる手本データをサーバにアップロードする処理について説明する。手本データとしては、例えばダンスのステップにおいてセンシングされたデータとする。
　図１１は、実施例における手本データのアップロー処理の一例を示すフローチャートである。図１１に示すステップＳ３０２で、情報処理装置２００の主制御部４０は、ステップ学習のボタンが押されたか否かを判定する。ステップ学習ボタンが押されれば（ステップＳ３０２－ＹＥＳ）処理はステップＳ３０４に進み、ステップ学習ボタンが押されていなければ（ステップＳ３０２－ＮＯ）処理はステップＳ３０２に戻る。例えば、学習ボタンは、画面上に表示されるＵＩ（User Interface）ボタンである。
　ステップＳ３０４で、主制御部４０は、学習モードのトリガをＯＮにする。
　ステップＳ３０６で、主制御部４０は、履物１００から受信するセンサデータを取得し、モーションデータとして記憶部３８に蓄積する。
　ステップＳ３０８で、主制御部４０は、学習終了のボタンが押されたか否かを判定する。学習終了ボタンが押されれば（ステップＳ３０８－ＹＥＳ）処理はステップＳ３１０に進み、学習終了ボタンが押されていなければ（ステップＳ３０８－ＮＯ）処理はステップＳ３０６に戻る。例えば、学習終了ボタンは、画面上に表示されるＵＩボタンである。
　ステップＳ３１０で、主制御部４０は、学習モードのトリガをＯＦＦにする。
　ステップＳ３１２で、主制御部４０は、蓄積したモーションデータの特徴量を解析する。特徴量解析は、公知の技術を用いればよい。
　ステップＳ３１４で、主制御部４０は、アップロードのボタンが押されたか否かを判定する。アップロードボタンが押されれば（ステップＳ３１４－ＹＥＳ）処理はステップＳ３１６に進み、アップロードボタンが押されていなければ（ステップＳ３１４－ＮＯ）処理はステップＳ３１４に戻る。例えば、アップロードボタンは、画面上に表示されるＵＩボタンである。
　ステップＳ３１６で、主制御部４０は、モーションデータ、又は特徴量等のデータを、サーバに送信するよう制御する。これにより、比較対象となる手本データがサーバにアップロードされる。サーバは、複数の手本データを記憶し、情報処理装置２００や履物１００に対し、手本データをダウンロード可能にする。
　図１２は、実施例における発光制御処理（その３）の一例を示すフローチャートである。以下に示す例では、情報処理装置２００がステップの評価を行う場合を例にして説明する。
　図１２に示すステップＳ４０２で、ステップを練習したいユーザは、情報処理装置２００を操作してサーバにアクセスし、学習したいステップを選択し、情報処理装置２００に手本となるモーションデータ（又は特徴量データ）をダウンロードする。ダウンロードしたデータは、学習データと称す。
　ステップＳ４０４で、ユーザは、履物１００を履いて、ステップＳ４０２で選択したステップを行う。
　ステップＳ４０６で、履物１００のセンサ部１０６は、ステップの動きを示すセンサデータを情報処理装置２００に送信する。情報処理装置２００は、受信したセンサデータをモーションデータとして記憶部３８に蓄積する。練習時に取得されたデータは、ユーザデータと称す。
　ステップＳ４０８で、主制御部４０は、学習データとユーザデータの差異を検出する。
　ステップＳ４１０で、主制御部４０は、差異となる差分値が閾値以内か否かを判定する。差分値が閾値以内であれば（ステップＳ４１０－ＹＥＳ）処理はステップＳ４１２に進み、差分値が閾値より大きければ（ステップＳ４１０－ＮＯ）処理はステップＳ４１４に進む。
　ステップＳ４１２で、主制御部４０は、成功を示す出力制御信号を履物１００に出力する。これにより、履物１００は、成功を示す出力を行うことができる。例えば、出力制御部２０６は、ＬＥＤを第１色に発光したり、ディスプレイに丸を表示したり、振動子に所定の振動をさせたりする。
　ステップＳ４１４で、主制御部４０は、失敗を示す出力制御信号を履物１００に出力する。これにより、履物１００は、成功を示す主力を行うことができる。例えば、出力制御部２０６は、ＬＥＤを第１色に発光させたり、ディスプレイに丸を表示させたり、振動子に所定の振動をさせたりする。
　この場合、情報処理装置２００において、学習データと、ユーザデータとを比較して表示することを可能とする。これにより、ユーザは、どの動きが良くて、どの動きが悪かったかを把握することができ、ステップを効果的に練習することができる。
　なお、上述した評価の処理は、学習データをダウンロードした履物１００の制御部１０２が実行することもできる。これにより、一旦学習データを履物１００にダウンロードすれば、オフラインでもステップの練習を行うことができる。
　以上の処理を行うことで、ユーザは履物１００を履いて、所定の動きを練習することができ、練習した動きの適切な評価結果を知ることができる。
　なお、図９～１２で説明した処理のフローに含まれる各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して又は並列に実行することができるとともに、各処理ステップ間に他のステップを追加してもよい。また、便宜上１ステップとして記載されているステップは、複数ステップに分けて実行することができる一方、便宜上複数ステップに分けて記載されているものは、１ステップとして把握することができる。
　［変形例］
　以上、本願の開示する技術の複数の実施形態について説明したが、本願の開示する技術は、上記に限定されるものではない。
　例えば、情報処理装置２００の主制御部４０は、ユーザの一連の履物１００の動きデータと、音データとに基づく画像データを生成又は選択し、履物１００に出力部１０８として設けられたＬＥＤの表示内容をリアルタイムに更新する。この場合、ＬＥＤは、縦及び横にある程度の幅を持ったディスプレイとして機能する。例えば、動きデータが所定の動きを示すとき、ディスプレイに表示可能なサイズの第１画像が表示され、音データが所定の音を示すとき、ディスプレイに表示可能なサイズの第２画像が表示される。
　また、出力部１０８は、外部コンピュータのディスプレイであり、このディスプレイに映像を表示したり、外部スピーカにより音を再生したり、振動モジュールによる触覚的出力等を行ったりしてもよい。
　また、圧電素子をなどのデバイスが、履物１００のインソール内に設けられてもよい。これにより、履物１００は、踵踏みを検知し、踵踏みに応じた出力部１０８の出力制御を行うことも可能になる。
　また、センサ部１０６は、９軸センサにaltimeter高度計を含めた１０軸センサ等であってもよい。また、センサ部１０６は、荷重センサを含んでもよい。これにより、高度や荷重に応じた出力部１０８の出力制御を行うことができる。
　また、振動素子が、履物１００のインソール内や靴の甲部に備え付けられてもよい。これにより、振動によってユーザに所定のメッセージを伝えることもできる。
　また、出力制御システム１０は、複数の装置を同時に制御することもできる。例えば、無線通信を利用することで複数の履物１００の同時制御が可能になる。これにより、一つの情報処理装置２００から発光パターン（出力制御信号）を送信し、会場内のすべての履物１００の発光色を同期することができる。
　また、音響解析は、情報処理装置２００だけではなく、履物１００の制御部１０２において音響解析を行ってもよい。これにより、履物１００は、周囲の音楽に合わせて自動的に発光パターン（出力制御信号）を生成することができる。
　また、出力制御システム１０は、音楽を生成することもできる。例えば、履物１００の動きデータを、情報処理装置２００又は内部の制御部１０２において解析し、移動方向や移動速度等に合わせた音又は音楽を、リアルタイムに生成することもできる。また、センサデータを用いてのジェスチャ認識に基づいて、出力部１０８は、特定の音サンプルデータを再生することができる。例えば、踵を踏むと、ドラム音が再生されるように出力制御システム１０は制御することができる。
　また、出力制御システム１０は、どのような履物１００の動作に対して、どのような音を関連付けた演奏のデータを、外部装置（情報処理装置２００）を通じてインターネット上のサーバにおいて共有することができる。これにより、他のユーザは、このユーザのデータをダウンロードし、自分の履物１００で演奏することができる。
　また、出力制御システム１０は、ＬＥＤアニメーションや、残像で描画する画像や、映像のデータを、外部装置（情報処理装置２００）を通じてインターネット上のサーバにおいて共有することができる。これにより、他のユーザは、このユーザのデータをダウンロードし、自分の履物１００で表示することができる。
　また、出力制御システム１０は、履物１００によって検出される動きを解析することもできる。また、センサ部１０６として９軸センサ等を利用することで、履物１００の姿勢や移動速度、移動距離を適切にセンシングすることができ、これらのモーションの解析結果を、リアルタイムにディスプレイに表示することができる。
　また、出力制御システム１０の履物１００をコントローラとして利用することでもできる。例えば、履物１００を履いた足のジェスチャを事前に履物１００等に登録することで、他のコンピュータの無線コントローラとして利用することができる。具体的には、右足先を回転させることで、部屋の照明を操作することなどが考えられる。
　また、出力制御システム１０は、履物１００のセンサ部１０６により検出されたセンサデータを解析することで、ユーザの身体的特徴を類推することが可能になる。これにより、ユーザの身体的特徴に基づいたエクササイズや、フォームの改善法といったアドバイスを行うアプリケーションを実装することができる。
　また、出力制御システム１０は、ＧＰＳ（Global Positioning System）モジュールを履物１００内に設けてもよい。これにより、現在地を検出し、特定の場所に入った時に発光して示す等の動作や、地磁気センサと組み合わせることで、現在向いている方向を検知し、発光や振動によって道案内を行うこともできる。
　また、履物１００は、内部に振動素子を設け、一定のリズムで振動素子を振動させることで、ユーザに音楽的リズムを伝達することができる。または、履物１００は、振動素子の振動により、モールス信号のように特定のメッセージを伝達することができる。
　また、履物１００に設けられたセンサ部１０６により検出されるセンサデータに応じて、ディスプレイに表示された靴のＣＧを動かす等、映像出力やエフェクトに活用することができる。
　また、出力制御システム１０は、再生中の音楽へのエフェクターとして利用することができる。例えば、履物１００に設けられたセンサ部１０６を用いて、特定の運動量をエフェクト量として利用することができ、これにより、一定時間の運動量と音量とを同期させる。具体的には、履物１００を履いたダンサーが足を回転させ、回転数が多くなると、音楽の音量を大きくするように制御してもよい。
　また、本発明は、履物１００以外にも、ユーザの動きを検出したい位置に装着するウェアラブルなデバイス（例えば腕時計やメガネなど）に適用することができる。また、センサ部１０６は、履物１００やウェアラブルデバイスの内部ではなく、外部センサとして動きを検出したい位置に装着されてもよい。
　また、本発明のプログラムは、ＣＤ－ＲＯＭ等の光学ディスク、磁気ディスク、半導体メモリなどの各種の記録媒体を通じて、又は通信ネットワークなどを介してダウンロードすることにより、コンピュータにインストール又はロードすることができる。
　また、本明細書等において、「部」とは、単に物理的構成を意味するものではなく、その構成が有する機能をソフトウェアによって実現する場合も含む。また、１つの構成が有する機能が２つ以上の物理的構成により実現されても、２つ以上の構成の機能が１つの物理的構成により実現されてもよい。また、「システム」とは、情報処理装置等から構成される、特定の機能をユーザに提供するためのシステムを含む。例えば、サーバ装置、クラウドコンピューティング形態のもの、ＡＳＰ（Application Service Provider）、クライアントサーバモデルのもの、などにより構成されるが、これに限られるものではない。
　［実施形態２］
　本実施形態２においては、上記実施形態１において触れなかった履物１００の詳細構造について説明するとともに、上記実施形態１において触れなかった出力制御について説明する。
　図１３（ａ）は、履物１００の構成を示す外観図である。図１３（ａ）に示すように、履物１００は履物１００の上面側であって、履物１００を装着するユーザの足の甲を覆って固定するアッパー部１３０１と、履物１００の底面側であって、衝撃を吸収する機能を有するソール部１３０２とから構成される。アッパー部１３０１には、ユーザの足の甲を保護するためのタング部１３０３が設けられている。タング部１３０３には、制御部１０２と通信部１０４と電源部１１０とを含むモジュール１３０４が設けられており、図１３（ｂ）に示すように、タング部１３０３を開くことで、タング部１３０３に設けられたポケットに挿入されたモジュール１３０４を露出させることができる。モジュール１３０４には、図示していないが、電源供給を受けるための端子（例えば、ＵＳＢ端子）を有し、図１３（ｂ）に示すようにタング部１３０３を開くことで、当該端子を外部の電源へと接続し、電力の供給を受けて、電源部１１０に蓄電することができる。なお、通信部１０４は、例えば、Ｂｌｕｅｔｏｏｔｈ　Ｌｏｗ　Ｅｎｅｒｇｙ規格に従った通信を行うことにより、通信による電力消費を抑制してもよい。
　履物１００において、ソール部１３０２は、出力部１０８と、センサ部１０６とを備える。センサ部１０６は、ソール部１３０２の内部であって、ユーザの足の土踏まずに対応する位置にあるシャンク部内部に設けられる。図示していないが、センサ部１０６は、履物１００の内部を通って、モジュール１３０４と接続しており、当該モジュール１３０４内部の電源１１０から電力の供給を受けて動作するとともに、センサデータをモジュール１３０４に伝達する。これにより、センサ部１０６によりセンシングされたセンサデータは、通信部１０４により、外部の情報処理装置２００に伝達される。
　図１４（ａ）は、ソール部１３０２の平面図であり、図１４（ｂ）は、図１４（ａ）のソール部１３０２をＡ－Ａ´線で切断した場合の断面図である。図１４（ａ）に示すように、ソール部１３０２は、出力部１０８を載置するための溝部１４０１を備える。溝部１４０１は、ソール部１３０２内部であって、その外縁に沿うようにソール部１３０２の外周部分に設けられる。溝部１４０１は、出力部１０８を載置するために窪んでおり、溝部１４０１には、出力部１０８としてＬＥＤテープが設けられる。図１４（ａ）に示すように、溝部１４０１を設けていない箇所であって、ソール部１３０２の内部のユーザの土踏まずに対向する位置には、センサ部１０６が設けられる。当該箇所は、履物１００の構造において、所謂シャンク部と呼称される位置である。そして、ソール部１３０２において、溝部１４０１並びにセンサ部１０６が設けられていない位置には、衝撃吸収用のリブ１４０２～１４０５が設けられている。リブ１４０２、１４０３は、ソール部１３０２のユーザのつま先側であって、溝部１４０１よりも外周側に設けられている。これにより、履物１００に対する履物１００先端部に加えられる衝撃を吸収し、溝部１４０１に設けられる出力部１０８が故障する可能性を低減するとともに、ユーザの足にかかる負担を軽減することができる。同様に、リブ１４０４、１４０５も履物１００の中央に位置し、履物にかかる衝撃を吸収し、溝部１４０１に設けられる出力部１０８が故障する可能性を低減するとともに、ユーザの足にかかる負担を軽減することができる。
　図１４（ｃ）は、ソール部１３０２の断面図であって、出力部１０８としてのＬＥＤテープを載置した状態を示している。図１４（ｃ）に示すように、出力部１０８は、発光面を履物１００の底面側に向けて載置される。すなわち、履物１００は、その底面が発光する。発明者らは、ＬＥＤテープをソール部１３０２の側面に沿って、側面側が発光するように設置すると、ＬＥＤテープの破損率、特につま先部分の屈曲率が高くなって破損率が高くなることを発見している。そのため、より破損率が低減するＬＥＤテープの載置を模索した結果、図１４（ｃ）に示すようにＬＥＤテープを発光面を、ソール部１３０２の底面側に向けて載置するという構成を想到するに至った。ソール部１３０２は、透明又は半透明の衝撃吸収性の高い樹脂などにより構成されるので、ＬＥＤテープの発光を透過し、その結果、その底面が発光する履物１００を提供することができる。
　図１５は、ソール部１３０２の構造をよりわかりやすくするために設けたソール部１３０２の斜視図である。図１５（ａ）は、ソール部１３０２にセンサ部１０６と出力部１０８とを載置していない状態を示した斜視図であり、図１５（ｂ）は、ソール部１３０２に出力部１０６とセンサ部１０６とを載置した状態を示す斜視図である。図１５（ａ）と図１５（ｂ）を比較すれば理解できるように、ＬＥＤテープである出力部１０８は、溝部１４０１に載置され、ソール部１３０２の底面の外周部分に設けられることになる。また、センサ部１０６は、ソール部１３０２に設けられた窪み１５０１に設けられる。窪み１５０１は、センサ部１０６の外径にほぼ一致するように構成されることで、センサ部１０６が窪み１５０１に載置された際に、がたつくのをなるべく防止するとともに、センサ部１０６による動きの検出を純粋に履物１００の動きを検出できるようにすることができる。センサ部１０６を履物１００のタング部１３０３のモジュール１３０４内に設けた場合、センシングの正確性を欠く可能性があるため、より安定したセンシングを実行できるように、ソール部１３０２に設ける。
　図１３から図１５に示す構造を備えることにより、正確に履物１００の動きを検出できるとともに、安定した発光制御ができる履物１００を提供することができる。
　［実施形態３］
　本実施形態３においては、履物１００の動きに応じた音声を出力する音声出力制御について説明する。上記実施形態１においては、周囲の音に適した発光制御を実行する例を示しているが、本実施形態３においては、履物１００を履いたユーザの動き、すなわち履物１００の動きに適した音を出力する手法について説明する。
　図１６は、実施形態３に係る情報処理装置２００の主制御部４０の機能の一例を示す図である。情報処理装置２００の構成自体は、上記実施形態１の図３に示した通りである。図１６に示す主制御部４０は、所定プログラムを実行することで、取得部３０２と、動作解析部１６０１と、音声生成部１６０２と、音声出力部１６０３との各機能を少なくとも有する。
　取得部３０２は、上記実施形態１に示す機能に加え、記憶部３８から、記憶部３８に記憶されている音声ファイル表１７００と、出力音声表１７１０とを取得し、音声生成部１６０２に伝達する。ここで、音声ファイル表１７００と、出力音声表１７１０とについて説明する。また、取得部３０２は、記憶部３８に記憶されている音声ファイルや音源の実データを取得する。また、取得部３０２は、音声出力制御に係るユーザ設定情報を記憶部３８から取得する。
　ここで、音声出力制御に係るユーザ設定情報とは、履物１００の動作に応じて出力する音声の制御方法に関する設定を示す情報であり、予め、情報処理装置２００にユーザからタッチパネル１４を用いて設定されている。当該設定は記憶部３８に記憶される。ここでユーザ設定情報として設定できる音声出力制御方法は、少なくとも３つあり、一つ目は、履物１００の運動量を解析し、その動きに応じて音声を合成して出力するというものであり、二つ目は、履物１００の動きが特定のパターンに合致した場合に、予め定められた特定の音声を出力するというものであり、三つめは、一つ目と二つ目の制御の双方を実行するというものである。
　図１７（ａ）は、記憶部３８に記憶されている音声ファイル表１７００のデータ構成例を示すデータ概念図である。図１７（ａ）に示すように、音声ファイル表１７００は、ジェスチャデータ１７０１と、音声ファイル１７０２とが対応付けられた情報である。
　ジェスチャデータ１７０１は、履物１００の動作を規定した動きのパターンを示す情報であり、運動量や加速度の経時的変化を示す情報である。より具体的には、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向、それぞれの方向に係る運動量や加速度の経時的変化を示す情報である。
　音声ファイル１７０２は、ジェスチャデータ１７０１に対応付けられており、動作解析部１６０１が解析したセンサデータのパターンが一致したときに、出力する音声ファイルを特定する情報である。
　解析された履物１００の動きが、ジェスチャデータ１７０１と所定以上の相関を有する場合に、対応する音声ファイルを用いた音声が出力されることになる。
　音声出力表１７１０は、運動データ１７１１と、音声パラメータ１７１２とが対応付けられた情報である。
　運動データ１７１１は、運動量と加速度を示す情報であり、特定の動きのパターンを規定するものではなく、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の運動量と加速度を示す情報である。
　音声パラメータ１７１２は、運動データ１７１１に対応付けられ、当該運動データ１７１１で示す情報がセンサデータから得られた場合に出力する音声に関する情報を示す情報であり、出力すべき音や、出力すべき音に対して加える変化（例えば、音程を変更したり、音声再生速度を変更したりなど）を規定するパラメータ情報である。
　運動データ１７１１で示される動きが検出された場合に、対応する音声パラメータに従った音声が出力されることになる。
　音声ファイル表１７００の音声ファイル１７０２に示される各音声ファイルの実データは、記憶部３８に記憶されている。
　主制御部４０の機能説明に戻って、動作解析部１６０１は、取得部３０２が取得したセンサデータに基づいて、履物１００の動作を解析する。動作解析部１６０１は、センサデータに基づいて、当該センサデータが示す履物１００の動き情報を解析する。具体的には、センサデータに基づいて、履物１００の運動量や加速度の経時的変化を特定する。そして、動作解析部１６０１は、解析した動き情報を音声生成部１６０２に伝達する。
　音声生成部１６０２は、取得部３０２が取得した音声出力制御に係るユーザ設定情報に従って、動作解析部１６０１から伝達された動き情報と、取得部３０２から伝達された音声ファイル表１７０１と、出力音声表１７０２とを参照して、出力する音声を生成する。音声生成部１６０２は、生成した音声を音声出力部１６０３に伝達する。なお、音声の生成手法についての詳細は後述する。
　音声出力部１６０３は、音声生成部１６０２から伝達された音声を情報処理装置２００のスピーカ１６から出力させる。以上が、本実施形態３に係る主制御部４０の説明である。
　図１８は、実施形態３に係る情報処理装置２００の動作を示すフローチャートである。ステップＳ１８０１で、情報処理装置２００のタッチパネル１４は、ユーザから、音声の出力制御に関するユーザ設定情報を受け付ける。主制御部４０は、記憶部３８に当該ユーザ設定情報を記録する。
　ステップＳ１８０２で、取得部３０２は、履物１００のセンサ部１０６からのセンサデータを取得する。当該センサデータは、所定時間長（例えば、１秒間）のセンシングデータである。
　ステップＳ１８０３で、取得部３０２は、ステップＳ１８０１において設定された音声の出力制御に関するユーザ設定情報を記憶部３８から取得し、主制御部４０は、音声の出力制御方法を判定する。
　ユーザ設定情報が、運動量解析を示す場合に（ステップＳ１８０３の（１））、ステップＳ１８０４に進み、ジェスチャ解析を示す場合に（ステップＳ１８０３の（２））、ステップＳ１８０７に進み、運動量解析とジェスチャ解析の両方を実行することを示す場合に（ステップＳ１８０３の（３））、ステップＳ１８１１に進む。
　ステップＳ１８０４で、動作解析部１６０１は、センサデータから運動量を計算する。動作解析部１６０１は、計算した運動量を音声生成部１６０２に伝達する。
　ステップＳ１８０５で、取得部３０２は、記憶部３８から音声出力表１７１０を読み出す。音声生成部１６０２は、伝達された運動量と最も相関が高い運動量データ１７１１を特定し、対応する音声パラメータ１７１２を特定する。そして、音声生成部１６０２は、特定した音声パラメータ１７１２に基づいて出力する音声（音声パラメータ１７１２で指定される音声またはこれまで流していた音声に音声パラメータ１７１２で示されるパラメータを変更した音声）を生成する。音声生成部１６０２は、生成した音声を音声出力部１６０３に伝達する。
　ステップＳ１８０６で、音声出力部１６０３は、音声生成部１６０２から伝達された音声をスピーカ１６に出力させ、ステップＳ１８１７の処理に進む。
　一方、ユーザ設定情報が、ジェスチャ解析のみを示す場合、ステップＳ１８０７で、動作解析部１６０１は、センサデータからジェスチャを解析する。
　ステップＳ１８０８で、取得部３０２は、音声ファイル表１７０１を記憶部３８から読み出す。動作解析部１６０１は、センサデータが示す運動量、加速度の経時的変化と、音声ファイル表１７０１のジェスチャパターン１７１１が示す運動量、加速度の経時的変化との相関値を算出する。そして、最も高い相関値を得られるジェスチャパターンを特定する。動作解析部１６０１は、特定したジェスチャパターンを音声生成部１６０２に伝達する。
　ステップＳ１８０９で、音声生成部１６０２は、伝達されたジェスチャパターンに対応する音声ファイルを音声ファイル表１７０１を用いて特定する。そして、特定した音声ファイルを音声出力部１６０３に伝達する。
　ステップＳ１８１０で、音声出力部１６０３は、伝達された音声ファイルをスピーカ１６から出力させ、ステップＳ１８１７の処理に進む。
　ユーザ設定情報が、運動量解析とジェスチャ解析の両方を実行することを示す場合、ステップＳ１８１１で、まず動作解析部１６０１は、センサデータからジェスチャを解析する。
　ステップＳ１８１２で、取得部３０２は、音声ファイル表１７０１を記憶部３８から読み出す。動作解析部１６０１は、センサデータが示す運動量、加速度の経時的変化と、音声ファイル表１７０１のジェスチャパターン１７１１が示す運動量、加速度の経時的変化との相関値を算出する。そして、最も高い相関値を得られるジェスチャパターンを特定する。動作解析部１６０１は、特定したジェスチャパターンを音声生成部１６０２に伝達する。
　ステップＳ１８１３で、音声生成部１６０２は、伝達されたジェスチャパターンに対応する音声ファイルを音声ファイル表１７０１を用いて特定する。
　ステップＳ１８１４で、動作解析部１６０１は、センサデータから運動量を計算する。動作解析部１６０１は、計算した運動量を音声生成部１６０２に伝達する。
　ステップＳ１８１５で、取得部３０２は、記憶部３８から音声出力表１７１０を読み出す。音声生成部１６０２は、伝達された運動量と最も相関が高い運動量データ１７１１を特定し、対応する音声パラメータ１７１２を特定する。
　ステップＳ１８１６で、音声生成部１６０２は、特定した音声ファイルと、特定した音声パラメータに基づく音声を生成する。音声生成部１６０２は、音声パラメータ１７１２が特定の音声を示す場合に、その音声を音声ファイルに合成し、音声パラメータ１７１２が音声に対してパラメータの変更を与えることを示す場合には、その変更を音声ファイルに適用して、合成音声を生成する。音声生成部１６０２は、生成した合成音声を音声出力部１６０３に伝達する。音声出力部１６０３は、伝達された合成音声をスピーカ１６から出力させ、ステップＳ１８１７に進む。
　ステップＳ１８１７で、主制御部４０は、タッチパネル１４を介して、ユーザからの音声を出力制御を終了する入力を受け付けているかを判定する。受け付けている場合には（ステップＳ１８１７のＹＥＳ）、処理を終了し、受け付けていない場合には（ステップＳ１８１７のＮＯ）、ステップＳ１８０２に戻る。以上が、本実施形態３に係る情報処理装置２００と履物１００による、履物１００の動きに応じた音を出力する音声出力制御の説明である。
　＜補足＞
　上記実施形態に従って、本発明に係る履物２００について説明してきたが、本発明の思想として含まれる構成はこれに限るものではない。その他各種参考例について説明する。
　（１）上記実施形態に係る情報処理装置２００を用いて、ユーザは、履物１００に対して任意の発光制御を指定することができてもよい。図１９は、実施形態４に係る情報処理装置２００によるユーザ指定による履物１００の発光制御を行うためのインターフェース画面である。図１９に示すように、インターフェース画面１９０１は、左足用の履物１００の外形１９０２Ｌと、右足用の履物１００の外形１９０２Ｒと、左足用の履物１００におけるＬＥＤの点灯領域１９０４Ｌと、ＬＥＤを点灯させる色を決定するためのカラーパレット１９０３と、右足用の履物１００におけるＬＥＤの点灯領域１９０４Ｒと、ＬＥＤの点灯制御を所定時間単位で行う場合の、発光パターンにおける時間を示すタイムバー１９０５と、設定した光を発光させるための発光ボタン１９０６と、を含む。
　図１９の点灯領域１９０４Ｌ、１９０４Ｒにタッチすることで、点灯させたいＬＥＤの箇所を任意に指定することができる。
　また、カラーパレット１９０３の中から点灯させたい発光色を指定することができる。カラーパレット１９０３には、発光させたい色を示すボタンが複数配列されており、当該ボタンにタッチすることで、選択したボタンに対応する色で発行させることができる。カラーパレット１９０３において、「RAINBOW」は虹色に点灯させることを意味し、「MULTI」は複数色で点灯させることを意味し、「OTHERS」はその他の色を選択する場合に選択するボタンとなっている。
　タイムバー１９０５は、発光制御を時系列に沿って変化させたい場合に、時間と、そのときの発光パターン（発光箇所と発光色、発光のさせ方）とを指定し、これを記憶部３８に記憶させる。そして、発光ボタン１９０６にタッチすることで指定した発光パターンで履物１００を発光させることができる。このような、インターフェースを利用して、ユーザは任意の発光を指定することができ、履物１００の利便性を向上させることができる。
　なお、当該インターフェースは、主制御部４０により、上記処理を実行できるＧＵＩプログラムが実行されることにより実現することができる。
　（２）上記実施形態３において、ジェスチャ解析をする場合に、最も相関値の高いジェスチャパターンを特定することとしているが、当該相関値が所定の閾値を超えていない場合には、検出した動き情報に対応するジェスチャパターンは登録されていないと主制御部４０の音声生成部１６０２は判断してもよい。その場合には、音声ファイルを特定せずに、音声ファイルに基づく音声を出力しない構成としてもよい。
　（３）上記実施形態３において、音声出力制御は、情報処理装置２００が実行することとしたが、履物２００が音声出力制御を実行するプロセッサ並びにスピーカを備えて実行することとしてもよい。
　（４）上記実施形態３における、ジェスチャパターンに対応する音声ファイルはユーザが指定できてもよい。
　（５）上記実施形態に示した主制御部４０や、制御部１０２の各機能は、それぞれ同様の機能を実現する専用回路により実現されてもよい。当該専用回路は、上記主制御部４０や制御部１０２の機能部のうち複数の機能を、実行するように構成されていてもよく、複数の回路により一の機能部の機能を実現するように構成されていてもよい。
１０　出力制御システム
１００　履物
２００　情報処理装置
１０２　制御部
１０４　通信部
１０６　センサ部
１０８　出力部
１１０　電源部
１１２　記憶部

Claims (15)

  1. 　履物であって、
    　前記履物の動きを検出するセンサ部と、
    　前記センサ部により検出されたセンサデータを外部装置に送信する送信部と、
    　前記外部装置から、音データ及び前記センサデータに基づく出力制御信号を受信する受信部と、
    　前記出力制御信号に基づく出力を行う出力部と、
    　を備える履物。
  2. 　前記出力部は、発光部を有し、
    　前記出力制御信号は、前記音データに関する第１パラメータ及び前記センサデータに関する第２パラメータに基づく、発光の色及び発光の強さを制御する光制御信号であり、
    　前記発光部は、
    　前記光制御信号に基づき発光する、請求項１に記載の履物。
  3. 　複数の前記発光部が、前記履物に対して直線状に設けられ、
    　前記センサデータに基づき、前記直線状の方向とは略垂直な方向への前記履物の動きが判定された場合、前記略垂直な方向において所定画像を表す光の残像が現れるよう前記複数の発光部を発光制御する制御部をさらに備える、請求項２に記載の履物。
  4. 　前記制御部は、
    　前記所定画像を前記略垂直な方向に複数に分割し、分割された各画像に対応する発光部を、前記略垂直な方向に順に発光させるよう制御する、請求項３に記載の履物。
  5. 　前記音データ及び前記センサデータそれぞれの前記出力制御信号に対する寄与率が可変である、請求項１乃至４いずれか一項に記載の履物。
  6. 　前記履物は、当該履物の底部であるソール部と、当該ソール部以外のアッパー部と、から成り、
    　前記ソール部は、その内部に当該ソール部の外周に沿って、前記発光部が配されていることを特徴とする請求項２に記載の履物。
  7. 　前記ソール部は、前記発光部を配するための溝部が設けられ、前記発光部の発光面が、前記履物の底面側に向けて配されている
    　ことを特徴とする請求項６に記載の履物。
  8. 　前記発光部は、ＬＥＤテープである
    　ことを特徴とする請求項７に記載の履物。
  9. 　前記ソール部は、前記履物のつま先側であって、前記溝部の外縁に、衝撃吸収部が設けられている
    　ことを特徴とする請求項７又は８に記載の履物。
  10. 　前記センサ部は、前記ソール部内部であってシャンク部に設けられ、
    　前記送信部及び前記受信部は、前記アッパー部のタング部に設けられている
    　ことを特徴とする請求項６～９のいずれか１項に記載の履物。
  11. 　履物は、更に、
    　履物の動きのパターンと、当該パターンを検出した際に出力する音声データとを対応付けた音情報を記憶する記憶部を備え、
    　前記出力部は、音声を出力するスピーカを含み、前記センサ部が検出した動きのパターンに対応する音声データを出力する
    　ことを特徴とする請求項１～９のいずれか１項に記載の履物。
  12. 　履物と、少なくとも音声を出力する外部装置とからなる音声出力システムであって、
    　前記履物は、
    　前記履物の動きを検出するセンサ部と、
    　前記センサ部により検出されたセンサデータを外部装置に送信する送信部と、
    　を備え、
    　前記外部装置は、
    　前記前記センサデータを受信する第２受信部と、
    　前記履物の動きのパターンと、当該パターンを検出した際に出力する音声データとを対応付けた音情報を記憶する記憶部と、
    　前記センサデータが前記動きのパターンのいずれに該当するかを判定する判定部と、
    　前記判定部により該当すると判定された動きのパターンに対応付けられた音声データを出力する音声出力部を備える
    　音声出力システム。
  13. 　前記外部装置は、さらに、
    　前記センサデータに基づいて、出力制御信号を生成する生成部と、
    　生成した出力制御信号を前記履物に送信する第２送信部と、を備え、
    　前記履物は、さらに、
    　前記外部装置から、音データ及び前記センサデータに基づく前記出力制御信号を受信する第１受信部と、
    　前記出力制御信号に基づく出力を行う出力部と、を備える
    　ことを特徴とする請求項１２に記載の音声出力システム。
  14. 　前記出力部は、複数の発光部を含み、
    　前記外部装置は、さらに、
    　ユーザから、前記複数の発光部のうち発光させる発光部の指定、発光させる発光色の指定、発光させる発光パターンの指定を受け付ける入力部を備え、
    　前記生成部は、前記入力部で受け付けた入力内容に従って、前記発光部を制御する出力制御信号を生成する
    　ことを特徴とする請求項１２又は１３に記載の音声出力システム。
  15. 　履物における出力制御方法であって、
    　前記履物に設けられたプロセッサが、
    　前記履物に設けられたセンサ部により前記履物の動きが検出されたセンサデータを取得することと、
    　取得されたセンサデータが送信された外部装置から、音データ及び前記センサデータに基づく出力制御信号を取得することと、
    　前記出力制御信号に基づき、出力部による出力を制御することと、
    　を実行する出力制御方法。
PCT/JP2016/054692 2015-02-18 2016-02-18 履物、音声出力システム及び出力制御方法 WO2016133158A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/106,828 US10856602B2 (en) 2015-02-18 2016-02-18 Footwear, sound output system, and sound output method
JP2016510864A JP6043891B1 (ja) 2015-02-18 2016-02-18 履物、音声出力システム及び出力制御方法
CN201680000481.3A CN106061307A (zh) 2015-02-18 2016-02-18 鞋、声音输出系统以及输出控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015029573 2015-02-18
JP2015-029573 2015-02-18

Publications (1)

Publication Number Publication Date
WO2016133158A1 true WO2016133158A1 (ja) 2016-08-25

Family

ID=56689032

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/054692 WO2016133158A1 (ja) 2015-02-18 2016-02-18 履物、音声出力システム及び出力制御方法

Country Status (4)

Country Link
US (1) US10856602B2 (ja)
JP (1) JP6043891B1 (ja)
CN (1) CN106061307A (ja)
WO (1) WO2016133158A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6142060B1 (ja) * 2016-10-09 2017-06-07 好則 神山 スマートフォン
JP2018089062A (ja) * 2016-12-01 2018-06-14 株式会社エクスプロア 残像シューズ
KR102152804B1 (ko) * 2019-10-08 2020-09-07 (주)지엔인터내셔날 제어 가능한 광원을 포함하는 신발

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017136142A (ja) * 2016-02-02 2017-08-10 セイコーエプソン株式会社 情報端末、動作評価システム、動作評価方法、動作評価プログラム、及び記録媒体
US20180325453A1 (en) * 2016-03-15 2018-11-15 Shenzhen Royole Technologies Co., Ltd. Shoe and control method thereof
CN106072974A (zh) * 2016-07-25 2016-11-09 天津聚盛龙庄源科技有限公司 一种智能卫星定位鞋
US10575594B2 (en) * 2016-11-17 2020-03-03 Samsung Electronics Co., Ltd. Footwear internal space measuring device and method for providing service thereof
JP6737505B2 (ja) * 2017-03-03 2020-08-12 株式会社ノーニューフォークスタジオ 歩行教示システム、歩行教示方法
US20190082756A1 (en) * 2017-09-21 2019-03-21 Michael Arno Led lighted placard system for apparel or gear, and manufacturing method therefore
WO2019061732A1 (zh) * 2017-09-26 2019-04-04 催琥宝（深圳）科技有限公司 一种智能灯光鞋
US20190174863A1 (en) * 2017-12-13 2019-06-13 John McClain Footwear With Kinetically Activated Auditory Effects
CN208462097U (zh) * 2018-02-13 2019-02-01 曾胜克 发光装置及具有发光功能的可穿戴物件
KR101976635B1 (ko) * 2018-03-09 2019-05-09 강민서 학습용 신발
CN110665204A (zh) * 2018-07-02 2020-01-10 瀚谊世界科技股份有限公司 具有移动指示的穿戴装置、系统与移动指示方法
FR3087098B1 (fr) * 2018-10-10 2020-12-25 Izome Chaussure dite connectee apte a communiquer avec l'exterieur
KR102073910B1 (ko) * 2018-10-25 2020-02-05 (주)씨지픽셀스튜디오 가위바위보게임이 가능한 신발 및 그 신발을 이용한 가위바위보게임 방법
CN110664047B (zh) * 2019-08-30 2022-04-12 福建省万物智联科技有限公司 一种跟随音频震动的智能鞋
KR20220100054A (ko) * 2019-11-22 2022-07-14 나이키 이노베이트 씨.브이. 모션 기반의 미디어 생성
WO2021243487A1 (zh) * 2020-05-30 2021-12-09 深圳二郎神工业设计有限公司 舞步鞋
CN112471690B (zh) * 2020-11-23 2022-02-22 浙江工贸职业技术学院 一种用于排舞的多功能舞蹈鞋
CN116952303B (zh) * 2023-07-27 2024-04-30 浙江卓诗尼鞋业有限公司 鞋类多项功能综合检测设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07504602A (ja) * 1993-02-05 1995-05-25 エル・エイ・ギア　インコーポレーテッド 点滅ライト付き履物
JP2002035191A (ja) * 2000-07-31 2002-02-05 Taito Corp 踊り採点装置。
JP2006267711A (ja) * 2005-03-24 2006-10-05 Xing Inc 音楽再生装置
JP2007090076A (ja) * 2005-09-29 2007-04-12 Konami Digital Entertainment Inc ダンスゲーム装置、ダンスゲーム採点方法およびコンピュータ読み取り可能な記憶媒体
JP3151948U (ja) * 2009-04-30 2009-07-09 深海 蔡 バイブレーション・マッサージ付き靴
JP2013037036A (ja) * 2011-08-03 2013-02-21 Kyoraku Sangyo Kk スイング式発光表示装置
JP2013529504A (ja) * 2010-06-22 2013-07-22 ナイキ インターナショナル リミテッド 変色部を有する履物および色を変化させる方法
JP3192015U (ja) * 2014-05-12 2014-07-24 株式会社Ｓｈｉｎｄｏ Ｌｅｄ実装テープおよびそれを装着した衣服
JP3193890U (ja) * 2014-08-13 2014-10-23 孝文 竹内 陳列棚

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2572760A (en) * 1948-01-15 1951-10-23 Rikelman Nathan Illuminated shoe device
CA2106407A1 (en) * 1991-12-11 1993-06-24 Mark R. Goldston Athletic shoe having plug-in-module
US5461188A (en) 1994-03-07 1995-10-24 Drago; Marcello S. Synthesized music, sound and light system
WO1995026652A1 (en) * 1994-04-01 1995-10-12 Bbc International, Ltd. Footwear having provisions for accepting modules
US5615111A (en) * 1994-05-23 1997-03-25 Solefound, Inc. Record and playback means for footwear
US6539336B1 (en) * 1996-12-12 2003-03-25 Phatrat Technologies, Inc. Sport monitoring system for determining airtime, speed, power absorbed and other factors such as drop distance
US5799418A (en) * 1996-07-24 1998-09-01 Davis; Richard P. Footwear device for reducing walking related noise
US5748087A (en) * 1996-08-01 1998-05-05 Ingargiola; Thomas R. Remote personal security alarm system
US6278378B1 (en) * 1999-07-14 2001-08-21 Reebok International Ltd. Performance and entertainment device and method of using the same
GB2352551A (en) * 1999-07-23 2001-01-31 Bbc Internat Sound generating electronic shoes with alarm
JP2001242813A (ja) 2000-02-29 2001-09-07 Mamoru Chiku 旗振り状表示装置
US7225565B2 (en) * 2003-03-10 2007-06-05 Adidas International Marketing B.V. Intelligent footwear systems
US7178929B2 (en) * 2004-11-12 2007-02-20 Bbc International, Ltd. Light and sound producing system
US7207688B2 (en) * 2005-08-18 2007-04-24 Wong Wai Yuen Interactive shoe light device
KR100702613B1 (ko) * 2006-05-30 2007-04-03 주식회사 아이손 콘트롤러를 장착한 인공지능신발과 운동량측정방법
US7789520B2 (en) * 2006-09-08 2010-09-07 Kristian Konig Electroluminescent communication system between articles of apparel and the like
US7494237B1 (en) * 2006-12-20 2009-02-24 Cheung James D Multiple programmed different sequential illumination light sources for footwear
EP3254663B8 (en) * 2007-06-18 2021-06-30 SonicSensory Inc. Vibrating footwear device and entertainment system for use therewith
DE102008027104A1 (de) * 2008-06-06 2009-12-10 Cairos Technologies Ag System und Verfahren zur mobilen Bewertung von Schuhdämpfungseigenschaften
US20110023331A1 (en) * 2009-07-29 2011-02-03 Jason Kolodjski Shoe with action activated electronic audio sound generator
US8769836B2 (en) * 2010-06-22 2014-07-08 Nike, Inc. Article of footwear with color change portion and method of changing color
IL209331A0 (en) * 2010-11-15 2011-02-28 Elbit Systems Ltd Footwear seismic communication system
JP5703156B2 (ja) 2010-11-22 2015-04-15 富士フイルム株式会社 熱線遮蔽材
CN103442607B (zh) * 2011-02-07 2016-06-22 新平衡运动公司 用于监视运动表现的系统和方法
US20120297960A1 (en) * 2011-05-29 2012-11-29 Rohan Bader Sound shoe studio
CN202222510U (zh) * 2011-09-14 2012-05-23 黑金刚(泉州)数控科技有限公司 一种可随音乐闪动的亮灯鞋
WO2013056263A1 (en) * 2011-10-14 2013-04-18 Bishop, Roger Sport performance monitoring apparatus, process, and method of use
WO2013088096A1 (en) * 2011-12-13 2013-06-20 Bonnie White Solar powered l.c.d/l.e.d/o.l.e.d footwear
WO2014081706A2 (en) * 2012-11-21 2014-05-30 Wolverine World Wide, Inc. Indicator system
US9747781B2 (en) * 2014-09-26 2017-08-29 Intel Corporation Shoe-based wearable interaction system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07504602A (ja) * 1993-02-05 1995-05-25 エル・エイ・ギア　インコーポレーテッド 点滅ライト付き履物
JP2002035191A (ja) * 2000-07-31 2002-02-05 Taito Corp 踊り採点装置。
JP2006267711A (ja) * 2005-03-24 2006-10-05 Xing Inc 音楽再生装置
JP2007090076A (ja) * 2005-09-29 2007-04-12 Konami Digital Entertainment Inc ダンスゲーム装置、ダンスゲーム採点方法およびコンピュータ読み取り可能な記憶媒体
JP3151948U (ja) * 2009-04-30 2009-07-09 深海 蔡 バイブレーション・マッサージ付き靴
JP2013529504A (ja) * 2010-06-22 2013-07-22 ナイキ インターナショナル リミテッド 変色部を有する履物および色を変化させる方法
JP2013037036A (ja) * 2011-08-03 2013-02-21 Kyoraku Sangyo Kk スイング式発光表示装置
JP3192015U (ja) * 2014-05-12 2014-07-24 株式会社Ｓｈｉｎｄｏ Ｌｅｄ実装テープおよびそれを装着した衣服
JP3193890U (ja) * 2014-08-13 2014-10-23 孝文 竹内 陳列棚

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6142060B1 (ja) * 2016-10-09 2017-06-07 好則 神山 スマートフォン
JP2018089062A (ja) * 2016-12-01 2018-06-14 株式会社エクスプロア 残像シューズ
KR102152804B1 (ko) * 2019-10-08 2020-09-07 (주)지엔인터내셔날 제어 가능한 광원을 포함하는 신발

Also Published As

Publication number Publication date
US10856602B2 (en) 2020-12-08
US20180199657A1 (en) 2018-07-19
JP6043891B1 (ja) 2016-12-14
CN106061307A (zh) 2016-10-26
JPWO2016133158A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
JP6043891B1 (ja) 履物、音声出力システム及び出力制御方法
CN107106907B (zh) 用于确定用户手指位置的信号生成和检测器系统以及方法
CN106502388B (zh) 一种互动式运动方法及头戴式智能设备
US7890199B2 (en) Storage medium storing sound output control program and sound output control apparatus
JP5692904B2 (ja) 入力システム、情報処理装置、情報処理プログラム、および指示位置算出方法
JP5271121B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US9310894B2 (en) Processing operation signals from a pointing device and/or an input device
JP5161182B2 (ja) 情報処理プログラム及び情報処理装置
JP4895352B2 (ja) 対象選択プログラム、対象選択装置、対象選択システム、および対象選択方法
CN114945295A (zh) 基于运动的媒体创作
US8586852B2 (en) Storage medium recorded with program for musical performance, apparatus, system and method
US9092894B2 (en) Display control device and display control program for grouping related items based upon location
JP5607579B2 (ja) 情報処理システム、情報処理装置、情報処理プログラム、およびコンテンツ再生制御方法
JP5988549B2 (ja) 位置算出システム、位置算出装置、位置算出プログラム、および位置算出方法
US8352267B2 (en) Information processing system and method for reading characters aloud
WO2018181584A1 (ja) 情報処理システム、情報処理方法、情報処理プログラム
US9417761B2 (en) Storage medium storing image processing program, image processing apparatus, image processing method and image processing system for displaying a virtual space in which objects are arranged with a virtual camera
JP5702585B2 (ja) 入力判定プログラム、情報処理装置、システム及び情報処理方法
ES2834601T3 (es) Aparato de audio, procedimiento de accionamiento para aparato de audio y medio de registro legible por ordenador
JP2009146284A (ja) 表示制御プログラムおよび表示制御装置
JP5807089B2 (ja) 情報処理システム、情報処理装置、情報処理プログラム、およびコンテンツ再生制御方法
CN110665204A (zh) 具有移动指示的穿戴装置、系统与移动指示方法
KR101203787B1 (ko) 영상인식 기반 인터페이스를 사용하는 콘텐츠 제작 방법 및 시스템

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016510864

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16752544

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16752544

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15106828

Country of ref document: US