WO2018158896A1 - 情報処理システム - Google Patents

情報処理システム Download PDF

Info

Publication number
WO2018158896A1
WO2018158896A1 PCT/JP2017/008199 JP2017008199W WO2018158896A1 WO 2018158896 A1 WO2018158896 A1 WO 2018158896A1 JP 2017008199 W JP2017008199 W JP 2017008199W WO 2018158896 A1 WO2018158896 A1 WO 2018158896A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
pedestrian
specified
video
processing system
Prior art date
Application number
PCT/JP2017/008199
Other languages
English (en)
French (fr)
Inventor
加藤　義幸
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to DE112017006958.0T priority Critical patent/DE112017006958B4/de
Priority to JP2019502373A priority patent/JP6526367B2/ja
Priority to CN201780087406.XA priority patent/CN110337681B/zh
Priority to PCT/JP2017/008199 priority patent/WO2018158896A1/ja
Priority to US16/479,857 priority patent/US11474534B2/en
Publication of WO2018158896A1 publication Critical patent/WO2018158896A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A61H1/0237—Stretching or bending or torsioning apparatus for exercising for the lower limbs
    • A61H1/0255—Both knee and hip of a patient, e.g. in supine or sitting position, the feet being moved together in a plane substantially parallel to the body-symmetrical plane
    • A61H1/0262—Walking movement; Appliances for aiding disabled persons to walk
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63G—MERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
    • A63G31/00—Amusement arrangements
    • A63G31/02—Amusement arrangements with moving substructures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/12—Driving means
    • A61H2201/1207—Driving means with electric or magnetic drive
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5071—Pressure sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5097—Control means thereof wireless
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2203/00—Additional characteristics concerning the patient
    • A61H2203/04—Position of the patient
    • A61H2203/0406—Standing on the feet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Definitions

  • the present invention relates to an information processing system, and more particularly to an information processing system including three mobile bodies and an information processing apparatus that controls each of the three mobile bodies.
  • Patent Document 1 a movable floor on which a pedestrian is placed is moved in a direction opposite to the direction of travel of the pedestrian, and the movable floor on which the pedestrian has been placed is moved in the direction of travel of the pedestrian to move the front of the pedestrian.
  • An omnidirectional walking sensation presentation device is disclosed in which a moving movement is performed on a movable floor so that a pedestrian can perform a walking motion in a narrow space without moving forward.
  • the movable floor in the omnidirectional walking sensation presentation device described in Patent Document 1 is a quadrangle, the degree of freedom of movement is high, but the control according to the direction of walking is very complicated. Furthermore, since a plurality of position detection sensors are required around the movable floor, the installation space is increased and the cost is increased.
  • an object of the present invention is to make it possible to easily control a moving body that moves in the walking direction of the pedestrian according to the walking direction of the pedestrian.
  • An information processing system is an information processing system including three mobile bodies and an information processing device that controls each of the three mobile bodies. Each is formed into a regular hexagon having six vertices when viewed from above, a main body on which a pedestrian can be placed on the upper surface, and pressure applied to the upper surface when the pedestrian is placed on the upper surface According to control from the information processing device, a plurality of wheels attached under the main body, a drive unit that applies driving force to at least two of the plurality of wheels, and a control unit Then, by controlling the at least two wheels and the driving unit, the main body is linearly moved in an arbitrary direction, and the main body is rotated about the vertical line at each of the six apexes.
  • Each of the three moving bodies has a central point at a position where three vertices selected from each of the three moving bodies are opposed to each other.
  • the information processing apparatus is adjacent to two moving bodies, and specifies the traveling direction and walking speed of the pedestrian based on the pressure. Moves the three moving bodies linearly in the reverse direction at the specified walking speed and excludes the three vertices and targets vertices that can be determined to exist in the specified traveling direction
  • a moving body guiding unit is provided that rotates and moves at least one of the three moving bodies so as to be specified as a vertex and the position of the target vertex becomes a new center point.
  • An information processing system includes three mobile units, an information processing device that controls each of the three mobile units, an information server that provides information to the information processing device, and the information processing unit
  • An information processing system including a display device that displays an image in accordance with control from the device and a remote controller that receives an input of an instruction from a pedestrian, wherein each of the three moving bodies is viewed from above A regular hexagon having six apexes, a main body on which the pedestrian can be placed on an upper surface, a pressure sensor for detecting a pressure applied to the upper surface when the pedestrian is placed on the upper surface, A plurality of wheels attached under the main body, a driving unit for applying a driving force to at least two of the plurality of wheels, and the number of
  • the main body can be linearly moved in an arbitrary direction, and the main body can be rotated about the vertical line at each of the six apexes.
  • Each of the three moving bodies has a central point at a position where three vertices selected from each of the three moving bodies are opposed to each other.
  • a three-dimensional model that stores a plurality of three-dimensional model data, which is adjacent to two mobile objects, each of which is used to generate video data of a three-dimensional video viewed from the viewpoint of the pedestrian in a virtual space.
  • a data storage unit; and a stereo model selection unit that selects one stereo model data from the plurality of stereo model data in response to an instruction received by the remote controller.
  • the three moving bodies are moved in a straight line, and except for the three vertices, a vertex that can be determined to exist in the specified traveling direction is specified as a target vertex, and the position of the target vertex is a new center.
  • a video control unit that identifies the position of the pedestrian in the virtual space and generates the video data of the stereoscopic video corresponding to the identified position with reference to the selected stereoscopic model data.
  • the display device displays the stereoscopic video according to the video data generated by the video control unit.
  • a moving body that moves in the walking direction of the pedestrian can be easily controlled according to the walking direction of the pedestrian.
  • FIG. 1 is a block diagram schematically showing a configuration of an information processing system according to a first embodiment.
  • FIG. 3 is a schematic diagram for explaining a medical walking model in the first embodiment.
  • FIG. 6 is a schematic diagram for explaining a stride of a medical walking model in the first embodiment.
  • FIG. 3 is a schematic diagram for explaining a foot gap of a medical walking model in the first embodiment.
  • (A)-(c) is the schematic for demonstrating landing of the medical walking model in Embodiment 1.
  • FIG. 2 is a block diagram schematically showing a hardware configuration in the first embodiment.
  • FIG. 3 is a block diagram schematically showing the architecture of the floor robot in the first embodiment.
  • FIG. 3 is a bottom view of the floor robot according to Embodiment 1.
  • FIG. 2 is a top view of the floor robot in the first embodiment.
  • 6 is a schematic diagram for explaining an imaging method with a camera of the floor robot in Embodiment 1.
  • FIG. FIG. 3 is a side view of the floor robot in the first embodiment.
  • FIG. 3 is a block diagram schematically showing a configuration of a control board in the first embodiment.
  • 3 is a flowchart illustrating processing in the information processing system according to the first embodiment.
  • 5 is a flowchart showing floor robot guidance processing in the first embodiment.
  • FIG. 3 is a first schematic diagram showing a rotational movement algorithm in the first embodiment.
  • FIG. 6 is a second schematic diagram showing the rotational movement algorithm in the first embodiment.
  • FIG. 6 is a third schematic diagram showing a rotational movement algorithm in the first embodiment.
  • FIG. 10 is a fourth schematic diagram showing the rotational movement algorithm in the first embodiment.
  • FIG. 10 is a fifth schematic diagram showing the rotational movement algorithm in the first embodiment.
  • FIG. 10 is a sixth schematic diagram showing the rotational movement algorithm in the first embodiment.
  • FIG. 10 is a seventh schematic diagram showing the rotational movement algorithm in the first embodiment.
  • FIG. 10 is an eighth schematic diagram showing the rotational movement algorithm in the first embodiment.
  • FIG. 10 is a ninth schematic diagram showing the rotational movement algorithm in the first embodiment.
  • FIG. 10 is a tenth schematic diagram showing a rotational movement algorithm in the first embodiment.
  • FIG. 11 is an eleventh schematic diagram showing a rotational movement algorithm in the first embodiment.
  • FIG. 16 is a twelfth schematic diagram showing the rotational movement algorithm in the first embodiment.
  • FIG. 10 is a fourth schematic diagram showing the rotational movement algorithm in the first embodiment.
  • FIG. 10 is a fifth schematic diagram showing the rotational movement algorithm in the first embodiment.
  • FIG. 10 is
  • FIG. 17 is a thirteenth schematic diagram showing the rotational movement algorithm in the first embodiment.
  • 3 is a table summarizing rotational movement algorithms in the first embodiment.
  • 3 is a flowchart illustrating predictive rendering processing of 3D video in Embodiment 1.
  • 4 is a schematic diagram illustrating a yaw axis, a pitch axis, and a roll axis of the HMD in Embodiment 1.
  • FIG. FIG. 3 is a block diagram schematically showing a configuration of an information processing system according to a second embodiment. It is the schematic for demonstrating the example which applied the information processing system which concerns on Embodiment 2 to selection and confirmation of the design of an elevator car.
  • (A)-(c) is the schematic for demonstrating the example of selection of the operating panel of an elevator car.
  • (A)-(f) is the schematic for demonstrating the selection example of the illumination of the ceiling of an elevator car.
  • 6 is a schematic diagram for explaining a method of using an information processing system according to Embodiment 2.
  • FIG. FIG. 10 is a schematic diagram showing an example of a modal linking dictionary in the second embodiment. It is the schematic for demonstrating the example which applied the information processing system which concerns on Embodiment 2 to confirmation of the layout of a store.
  • FIG. 1 is a block diagram schematically showing the configuration of the information processing system 100 according to the first embodiment.
  • the information processing system 100 includes an information processing device 110, a floor robot group 120 as a moving body group, an HMD (Head Mounted Display) 150, and a modal output device 160.
  • the information processing system 100 cancels the walking motion of the pedestrian by the floor robot group 120 and provides the pedestrian with an image of the virtual space synchronized with the walking motion.
  • the information processing apparatus 110 includes a walking data storage unit 111, a 3D (Three-Dimensional) model data storage unit 112, a modal linking dictionary storage unit 113, a floor robot guidance unit 114, a video control unit 115, and modal control. Unit 116 and communication unit 117.
  • the information processing device 110 controls the floor robot group 120, the HMD 150, and the modal output device 160.
  • the walking data storage unit 111 stores walking data indicating how pressure is applied to the floor robot group 120 from the pedestrian's feet when the pedestrian walks on the floor robot group 120.
  • the 3D model data storage unit 112 stores a 3D model data (stereoscopic model data) necessary for generating video data of 3D video (stereoscopic video) viewed from the viewpoint of the pedestrian in the virtual space. It is.
  • the modal linking dictionary storage unit 113 is a modal linking indicating a region that stimulates a sensation other than the sight of a pedestrian and the content to be stimulated in the virtual space of the 3D model data stored in the 3D model data storage unit 112. It is a dictionary data storage unit that stores a dictionary (dictionary data). For example, the modal linking dictionary specifies at least one content of an event, brightness, scent type, and room temperature for each predetermined region.
  • the floor robot guiding unit 114 is a moving body guiding unit that guides the plurality of floor robots 130A, 130B, and 130C included in the floor robot group 120 according to the walking speed and the traveling direction of the pedestrian. For example, the floor robot guiding unit 114 acquires pedestrian walking data, and stores the acquired walking data in the walking data storage unit 111. Then, the floor robot guiding unit 114 refers to the walking data stored in the walking data storage unit 111 and controls linear movement and rotational movement of the floor robots 130A, 130B, and 130C.
  • FIG. 2 In general, it is known that a human walks based on a medical walking model as shown in FIG.
  • This medical gait model is described in, for example, Jacqueline Perry, translated by Isao Takeda, “Perry Gait Analysis: Normal Gait and Abnormal Gait”, Ishiyaku Shuppan Publishing, 2007.
  • the right stride and the left stride are usually the same length, and the foot gap, which is the lateral distance between the left foot and the right foot, is also a constant length during walking.
  • FIG. 3 some people have different stride lengths.
  • FIG. 4 there is a person whose foot septum changes during walking and the center of gravity of the body shifts to the left and right.
  • the landing of the foot is usually grounded from the heel.
  • bed leaving generally occurs from the heel and the toe leaves at the end.
  • FIG. 5 (b) there are people who land on the entire foot, and as shown in FIG. 5 (c), there are also people who land from the toes.
  • the floor robot guiding unit 114 incorporates walking data indicating a peculiar gait and characteristics of pedestrians on any one surface of the floor robot group 120 described later. Obtained in advance using the pressure sensor, and used to estimate the walking speed and direction.
  • the video control unit 115 identifies the traveling direction and walking speed of a pedestrian walking on the floor robot group 120, and identifies the position of the pedestrian in the virtual space based on the identified traveling direction and walking speed. Then, the video control unit 115 causes the HMD 150 to display the 3D video corresponding to the specified position. For example, the video control unit 115 refers to 3D model data stored in the 3D model data storage unit 112, generates video data of 3D video viewed from the viewpoint of a pedestrian in the virtual space, and uses the video data as the video data. Send to HMD150. The HMD 150 displays a 3D video in the virtual space based on the video data.
  • the modal control unit 116 is a stimulation control unit that causes the modal output device 160 to stimulate the pedestrian's senses according to the position of the pedestrian in the virtual space. For example, the modal control unit 116 generates stimulation output data for stimulating a sense other than the sight of the pedestrian based on the modal linking dictionary stored in the modal linking dictionary storage unit 113, and the stimulation output Data is transmitted to the modal output device 160.
  • the modal output device 160 is a sensory stimulation device that stimulates a sensation other than the sight of the pedestrian according to the stimulation output data.
  • the communication unit 117 communicates with the floor robot group 120, the HMD 150, and the modal output device 160.
  • the floor robot guidance unit 114, the image control unit 115, and the modal control unit 116 described above are, for example, a memory 10 and a CPU that executes a program stored in the memory 10 as illustrated in FIG. It can be configured by a processor 11 such as (Central Processing Unit). Such a program may be provided through a network, or may be recorded on a recording medium and provided as a program product, for example.
  • the walking data storage unit 111, the 3D model data storage unit 112, and the modal linking dictionary storage unit 113 are realized by the processor 11 using a non-volatile memory such as an HDD (Hard Disk Drive) not shown. can do.
  • the communication unit 117 can be realized by the processor 11 using a wireless communication apparatus (not shown) that can perform communication in a wireless LAN or the like.
  • the floor robot group 120 includes three floor robots 130A, 130B, and 130C. Since the three floor robots 130A, 130B, and 130C are configured in the same manner, they are referred to as the floor robot 130 when it is not necessary to distinguish each of them.
  • the floor robot 130 functions as a moving body that moves by placing a pedestrian.
  • FIG. 7 is a block diagram schematically showing the architecture of the floor robot 130.
  • the floor robot 130 includes a motor drive system 131, a sensor unit 132, a communication unit 133, and a floor robot control unit 134.
  • the motor drive system 131 is a drive unit that provides a drive force to the floor robot 130 in accordance with an instruction from the floor robot control unit 134.
  • the sensor unit 132 is various sensors detected by the floor robot 130.
  • the communication unit 133 communicates with the information processing apparatus 110 using wireless communication.
  • the floor robot control unit 134 is a moving body control unit that controls the operation of the floor robot 130 in accordance with control from the information processing apparatus 110.
  • FIG. 8 is a bottom view of the floor robot 130.
  • the floor robot 130 includes a main body 135, wheels 136A, 136B, 136C, 136D, 136E, and 136F, and a control board 137.
  • the lower surface 135a of the main body 135 is formed in a regular hexagon.
  • a plurality of wheels 136A, 136B, 136C, 136D, 136E, and 136F are attached below the floor robot 130.
  • six wheels 136 ⁇ / b> A, 136 ⁇ / b> B, 136 ⁇ / b> C, 136 ⁇ / b> D, 136 ⁇ / b> E, 136 ⁇ / b> F are arranged at positions corresponding to the vertices of the lower surface 135 a of the main body 135.
  • the six wheels 136A, 136B, 136C, 136D, 136E, and 136F include a first axis extending in a direction perpendicular to the XY plane shown in FIG.
  • each of the six wheels 136A, 136B, 136C, 136D, 136E, and 136F are referred to as wheels 136.
  • a driving force is applied from the motor drive system 131 to two wheels 136A and 136D among the six wheels 136A, 136B, 136C, 136D, 136E, and 136F.
  • the floor robot 130 can perform linear movement and rotational movement in any direction by the two-wheel drive method.
  • the main body 135 can be rotated around the vertical line at each of the six vertices.
  • the number of wheels 136 is not limited to six.
  • the number of wheels 136 may be three or more.
  • the driving force is applied to the two wheels 136A and 136D, but the driving force may be applied to three or more wheels 136.
  • the control board 137 is provided inside the main body 135 and realizes the floor robot control unit 134.
  • the control board 137 controls the rotation of the two wheels 136 ⁇ / b> A and 136 ⁇ / b> D to which the driving force is applied from the motor drive system 131, so that the floor robot 130 moves linearly and rotationally. To control.
  • FIG. 9 is a top view of the floor robot 130.
  • the main body 135 is formed in a regular hexagon having six apexes when viewed from above.
  • the main body 135 has the upper surface 135b and the lower surface 135a formed in the same shape of a regular hexagon.
  • the upper surface 135b of the main body 135 is configured so that a pedestrian can be placed thereon.
  • the upper surface 135b of the main body 135 has a size that allows a pedestrian on the upper surface 135b to walk one to several steps.
  • a pressure sensor 138 is provided on the upper surface 135b of the floor robot 130 to detect the pressure applied to the upper surface 135b when a pedestrian is placed. Specifically, a pressure sensor 138 that detects the pressure applied to the upper surface 135 b is provided on the entire upper surface 135 b of the floor robot 130. Pressure data indicating the pressure value detected by the pressure sensor 138 is given to the floor robot controller 134. A camera 139 is provided in the center of the upper surface 135b of the floor robot 130. Image data of an image captured by the camera 139 is given to the floor robot control unit 134.
  • the camera 139 is provided to capture an image above the floor robot 130. Then, the floor robot control unit 134 extracts feature points from the captured image, such as the illumination 171, the air conditioner 172, and the ceiling 170 pattern installed on the ceiling 170, and determines the horizontal two-dimensional position of the floor robot 130. calculate. However, in the floor robot 130B on which the pedestrian 173 is placed, the pedestrian 173 gets in the way and cannot take an image of the ceiling 170. Therefore, the camera 139 of the floor robot 130A that is ahead of the image picks up the ceiling 170 in order, and the floor robot The control unit 134 detects its own position. Position data indicating the detected position is transmitted to the information processing apparatus 110 via the communication unit 133.
  • feature points such as the illumination 171, the air conditioner 172, and the ceiling 170 pattern installed on the ceiling 170
  • the floor robot guiding unit 114 Since the floor robot guiding unit 114 knows the positional relationship between the placement of each floor robot 130 and the pedestrian 173, the floor robot guiding unit 114 calculates the position of the pedestrian 173 from the position of the floor robot 130A. can do. Further, the floor robot control unit 134 relatively specifies the pedestrian's foot position from the pressure sensor 138. The foot position data indicating the identified foot position is transmitted to the information processing apparatus 110 via the communication unit 133. The floor robot guiding unit 114 can reduce sensor noise and increase the accuracy of the position data by using the foot position data and the walking data stored in the walking data storage unit 111.
  • FIG. 11 is a side view of the floor robot 130.
  • Each of the six side surfaces 135c, 135d,..., 135g, 135h of the floor robot is provided with each of six proximity sensors 140A, 140B,.
  • the proximity sensor 140 is referred to when each of the six proximity sensors 140A,.
  • the proximity sensor 140 is used to make the floor robot 130 adjacent to each other without a gap.
  • the proximity sensor 140 is also used to prevent the pedestrian 173 from putting his / her feet in the gap between the floor robots 130. Note that proximity data indicating the detection result of the proximity sensor 140 is given to the floor robot control unit 134.
  • FIG. 12 is a block diagram schematically showing the configuration of the control board 137.
  • the control board 137 includes an embedded CPU (Central Processing Unit) 141, a memory 142, a drive motor amplifier 143, an antenna 144, an Ethernet processing unit 145, a LAN (Local Area Network) interface 146, and a USB (Universal Serial Bus). ) Interface 147.
  • CPU Central Processing Unit
  • the embedded CPU 141 is a microprocessor having a clock frequency of 1 GHz or more, and performs sensor data processing, motor drive system 131 control, wireless LAN communication processing, and the like in real time.
  • the memory 142 includes a volatile memory for main storage for operating the program of the embedded CPU 141 and a non-volatile memory for storing program data.
  • the drive motor amplifier 143 converts the digital data output by the program into analog data and supplies it to the motor drive system 131.
  • the motor drive system 131 includes a drive motor encoder 148, and the built-in CPU 141 sets the motor drive system 131 based on data such as the rotation direction, rotation position, and rotation speed obtained from the drive motor encoder 148. Control.
  • the antenna 144, the Ethernet processing unit 145, and the LAN interface 146 are communication devices for communicating with the information processing device 110 via a wireless LAN.
  • the Ethernet processing unit 145 performs processing according to Ethernet (registered trademark).
  • the USB interface 147 is an interface for downloading an updated program and performing a diagnostic test of the floor robot 130.
  • FIG. 13 is a flowchart showing processing in the information processing system 100 according to the first embodiment.
  • the floor robot guidance unit 114 has a pedestrian normally walk on the floor robot 130 in order to extract the habit of walking that is unique to an individual, and obtains pressure data via the communication unit 117.
  • the walking data in the straight direction is generated (S10).
  • the acquired walking data is stored in the walking data storage unit 111.
  • the floor robot guiding unit 114 acquires data from each of the pressure sensor 138, the proximity sensor 140, and the camera 139 built in the floor robot 130 via the communication unit 117 (S11). Then, the floor robot guidance unit 114 makes a movement plan for the floor robot 130 based on the walking data generated in step S10 and the data acquired in S11, and performs a guidance process for the floor robot 130 (S12).
  • the floor robot 130 can keep the pedestrian in the same place without making the pedestrian appear to move forward by performing a linear movement that pulls the pedestrian back in the opposite direction while walking.
  • the information processing system 100 includes three floor robots 130, and the floor robot 130 that has placed a pedestrian is advanced in the forward direction of the pedestrian in accordance with instructions from the floor robot guidance unit 114. Rotate to move. As the floor robot 130 repeats linear movement and rotational movement, the pedestrian can continue walking at the same position.
  • the video control unit 115 refers to the 3D model data stored in the 3D model data storage unit 112 and performs predictive rendering processing of 3D video (S13).
  • the video control unit 115 refers to the 3D model data stored in the 3D model data storage unit 112, generates 3D video data of the virtual space viewed from the viewpoint of the pedestrian, and uses the video data as the video data.
  • the video control unit 115 predicts and draws a scene after an assumed delay time.
  • the HMD 150 is used as the virtual space display device (display device), but another device such as an immersive display or an environmental display may be used instead of the HMD 150.
  • the modal control unit 116 generates stimulation output data for stimulating sensations other than sight of the pedestrian, such as sound, fragrance, and room temperature, based on the modal linking dictionary stored in the modal linking dictionary storage unit 113. Then, the stimulation output data is transmitted to the modal output device 160 (S14). At that time, the modal control unit 116 performs effective environmental control at an appropriate timing based on the modal linking dictionary stored in the modal linking dictionary storage unit 113.
  • the frequency of the refresh rate is preferably 100 Hz or more in order to reduce the afterimage of the video and prevent the VR sickness of the user.
  • FIG. 14 is a flowchart showing the floor robot guidance process in step S12 of FIG.
  • the floor robot guiding unit 114 acquires position data from the floor robot 130 to be rotated and moved via the communication unit 117 (S20). Then, the floor robot guiding unit 114 calculates the center position corresponding to the head of the pedestrian from the positional relationship between the floor robots 130 and the pressure data based on the acquired position data (S21).
  • the floor robot guiding unit 114 compares the center position calculated this time with the center position calculated last time to check whether or not there is a change in the walking state (S22). If there is a change (Yes in S22), the process proceeds to step S23 because the change in walking speed or traveling direction is a factor. On the other hand, if there is no change (No in S22), the floor robot 130 is pulling back the pedestrian in the direction opposite to the direction in which the pedestrian travels at the same speed as the pedestrian, so the process proceeds to step S27. move on.
  • step S23 the floor robot guiding unit 114 checks whether or not the walking speed of the pedestrian has changed. If the walking speed has changed (Yes in S23), the process proceeds to step S24. If the walking speed has not changed (No in S23), the process proceeds to step S25. In step S24, the floor robot guiding unit 114 corrects the walking speed. Then, the process proceeds to step S25.
  • step S25 the floor robot guiding unit 114 confirms whether or not the pedestrian travel direction has changed. If the traveling direction has changed (Yes in S25), the process proceeds to step S26. If the traveling direction has not changed (No in S25), the process proceeds to step S27. In step S26, the floor robot guiding unit 114 corrects the traveling direction. Then, the process proceeds to step S27.
  • step S27 the floor robot guiding unit 114 determines the pullback speed and pullback direction of the floor robot 130, and sends control data indicating the determined pullback speed and pullback direction to the three floor robots via the communication unit 117.
  • the floor robot guiding unit 114 determines the linear movement speed (retraction speed) of the floor robot 130 so as to be the same speed as the corrected walking speed.
  • the traveling direction is corrected in step S26
  • the floor robot guiding unit 114 sets the linear movement direction (retraction direction) of the floor robot 130 so as to be opposite to the corrected traveling direction. decide.
  • the floor robot guiding unit 114 determines whether the rotational movement of the floor robot 130 is necessary based on the traveling direction and the position of the pedestrian on the floor robot (S28). If the rotational movement of the floor robot 130 is necessary (Yes in S28), the process proceeds to step S29, and if the rotational movement of the floor robot 130 is not necessary (No in S28), the flow ends.
  • step S29 the floor robot guiding unit 114 determines the floor robot 130 to be rotated. Then, the floor robot guiding unit 114 transmits instruction data indicating an appropriate advance procedure to the determined floor robot 130 via the communication unit 117 (S30).
  • FIG. 15 to 27 are schematic diagrams showing a rotational movement algorithm for controlling the rotational movement of the floor robot 130.
  • the floor robot 130A is represented by reference numeral A
  • the floor robot 130B is represented by reference numeral B
  • the floor robot 130C is represented by reference numeral C.
  • FIGS. 15A and 15B are schematic views showing the initial state of three floor robots 130A to 130C and a pedestrian.
  • each of the three floor robots 130A to 130C is adjacent to each other, and each of the two sides of the three floor robots 130A to 130C is connected to the other It arrange
  • one of the vertices of the three floor robots 130A to 130C is the center point P0.
  • each of the three floor robots 130A to 130C has a center point P0 at a position where three apexes selected from each of the three floor robots 130A to 130C face each other. It is adjacent to the other two floor robots 130.
  • the state in which the three floor robots 130A to 130C are arranged in this way is the basic state of the three floor robots 130A to 130C. Then, as described below, as the pedestrian walks, the floor robot 130 rotates so as to maintain this basic state.
  • the floor robot guidance unit 114 specifies the traveling direction and walking speed of the pedestrian 101 based on the pressure detected by the pressure sensor 138.
  • the floor robot guiding unit 114 identifies, as the target vertex, a vertex that can be determined to exist in the identified traveling direction, except for the three vertices facing each other in the basic state. Then, the floor robot guiding unit 114 rotates and moves at least one of the three floor robots 130A to 130C so that the position of the target vertex becomes a new center point.
  • FIG. 16 is a schematic diagram showing the rotational movement of the floor robot 130 when the pedestrian 101 walks in the direction of the point P1.
  • the floor robot 130B and the floor robot 130C rotate so that the point P1 becomes a new center point.
  • the floor robot 130B rotates by 120 ° clockwise around the vertical line at the point P3, and further rotates by 120 ° clockwise around the vertical line at the point P2.
  • the floor robot 130C rotates 120 ° counterclockwise around the vertical line at the point P11, and further rotates 120 ° counterclockwise around the vertical line at the point P12. Note that while the floor robot 130B and the floor robot 130C are rotating, the floor robots 130A to 130C are linearly moving in the direction opposite to the traveling direction of the pedestrian 101.
  • FIG. 17 is a schematic diagram showing the rotational movement of the floor robot 130 when the pedestrian 101 walks in the direction of the point P2.
  • the floor robot 130B and the floor robot 130C rotate and move so that the point P2 becomes a new center point.
  • the floor robot 130B rotates by 120 ° clockwise around the vertical line at the point P3.
  • the floor robot 130C rotates by 120 ° counterclockwise about the vertical line at the point P11, moves 120 ° counterclockwise about the vertical line at the point P12, and further moves the vertical line at the point P1. Rotating 120 ° counterclockwise around the axis.
  • the floor robot 130 ⁇ / b> C rotates and moves so that the point P ⁇ b> 3 becomes a new center point.
  • the floor robot 130A and the floor robot 130C rotate so that the point P4 becomes a new center point.
  • the floor robot 130A and the floor robot 130C rotate and move so that the point P5 becomes a new center point.
  • the floor robot 130A and the floor robot 130C rotate so that the point P6 becomes a new center point.
  • the floor robot 130A rotates so that the point P7 becomes a new center point.
  • the floor robot 130A and the floor robot 130B rotate and move so that the point P8 becomes a new center point.
  • FIG. 19 the floor robot 130A and the floor robot 130C rotate so that the point P4 becomes a new center point.
  • the floor robot 130A and the floor robot 130C rotate and move so that the point P5 becomes a new center point.
  • the floor robot 130A and the floor robot 130C rotate so that the point P6 becomes a new center point.
  • the floor robot 130A and the floor robot 130B rotate and move so that the point P9 becomes a new center point.
  • the floor robot 130A and the floor robot 130B rotate and move so that the point P10 becomes a new center point.
  • the floor robot 130B rotates so that the point P11 becomes a new center point.
  • the floor robot 130B and the floor robot 130C rotate and move so that the point P12 becomes a new center point.
  • FIG. 28 is a table summarizing the rotational movement algorithms described with reference to FIGS.
  • the floor robot 130A is represented by the symbol A
  • the floor robot 130B is represented by the symbol B
  • the floor robot 130C is represented by the symbol C.
  • the first embodiment when the positive direction of the X axis in the XY plane shown in FIG.
  • the target floor robot that is the floor robot 130 to be rotated and moved, the number of rotations of the target floor robot, and the rotation direction of the target floor robot are determined in advance.
  • Each angle range is set so as to include each of the points P1 to P12 outside the floor robots 130A to 130C.
  • the floor robot guiding unit 114 identifies an angle range including the new center point from the pedestrian's traveling direction, and based on the identified angle range, the target floor robot, the target The rotation number of the floor robot and the rotation direction of the target floor robot are specified, and the target floor robot is instructed to rotate. Then, the floor robot guiding unit 114 newly sets an XY plane as shown in FIG. 15 based on the new center point, and rotates and moves the target floor robot based on the traveling direction of the pedestrian. . By repeating such processing, the pedestrian 101 can obtain a natural walking sensation while staying in one place.
  • FIG. 29 is a flowchart showing the predictive rendering process of 3D video in step S13 of FIG.
  • the HMD 150 detects accelerations on the yaw axis (Yaw), pitch axis (Pitch), and roll axis (Roll) and angular velocities on these three axes in order to obtain head posture data in a stationary state.
  • Built-in angular velocity sensor For example, as shown in FIG. 30, it is assumed that a yaw axis, a pitch axis, and a roll axis are set for the HMD 150.
  • the HMD 150 transmits head posture data indicating acceleration and angular velocity on the yaw axis, pitch axis, and roll axis to the information processing apparatus 110.
  • the video control unit 115 acquires head posture data from the HMD 150 via the communication unit 117 (S40). Next, the video control unit 115 determines whether or not the horizontal direction of the head has changed from the angular velocity of the yaw axis included in the acquired head posture data (S41). If the horizontal direction of the head has not changed (No in S41), the process proceeds to step S42. If the horizontal direction of the head has changed (Yes in S41), the process proceeds to step S44. move on.
  • step S42 the video control unit 115 obtains an angular velocity in the traveling direction from the difference between the previous traveling direction of the pedestrian and the current traveling direction, and estimates the traveling direction of the pedestrian.
  • the video control unit 115 sets the pedestrian travel direction estimated in step S42 as the line-of-sight direction after the predicted delay time (S43). Then, the process proceeds to step S46.
  • the video control unit 115 estimates the horizontal direction after the predicted delay time from the angular velocity of the yaw axis.
  • the predicted delay time is a delay time from the start of drawing, in other words, from the start of generation of video data to the actual display of 3D video on the HMD 150.
  • the delay time depends on various factors such as CPU processing performance, graphics processing capability, 3D model polygon count, presence / absence of texture map image, memory capacity, display resolution of the HMD 150 and video communication state. Therefore, it is necessary to predict the predicted delay time for each information processing system 100.
  • the video control unit 115 obtains the angular velocity of the traveling direction from the difference between the previous traveling direction of the pedestrian and the current traveling direction, estimates the traveling direction of the pedestrian, and steps in the estimated traveling direction. By adding the head horizontal direction estimated in S44, the line-of-sight direction after the predicted delay time is calculated (S45).
  • step S46 the video control unit 115 calculates the viewpoint position after the predicted delay time from the current walking speed. Specifically, the video control unit 115 determines the position after walking the predicted delay time at the current walking speed in the estimated traveling direction from the current position of the pedestrian in the virtual space. Calculate as position. Then, the video control unit 115 draws a 3D video in the virtual space from the calculated line-of-sight direction and viewpoint position (S47). Here, the video controller 115 also performs various correction processes due to lens distortion of the HMD 150 at the same time. Then, the video control unit 115 transmits the generated 3D video image data to the HMD 150 via the communication unit 117 (S48). As described above, the HMD 150 can display a 3D image in a virtual space without a delay synchronized with the walking motion and the movement of the head, and can realize a smooth display in which VR sickness is unlikely to occur.
  • the video control unit 115 determines the gaze direction and the viewpoint from the change in the pedestrian travel direction. Calculate the position.
  • FIG. FIG. 31 is a block diagram schematically showing the configuration of the information processing system 200 according to the second embodiment.
  • the information processing system 200 includes an information processing device 210, a floor robot group 120, an HMD 150, a modal output device 160, an information server 280, and a remote controller (hereinafter referred to as a remote controller) 290.
  • the floor robot group 120, the HMD 150, and the modal output device 160 of the information processing system 200 according to Embodiment 2 are the same as the floor robot group 120, the HMD 150, and the modal output device 160 of the information processing system 100 according to Embodiment 1. .
  • the information processing apparatus 210 includes a floor robot guidance unit 214, a video control unit 215, a modal control unit 216, and a communication unit 117.
  • the communication unit 117 of the information processing apparatus 210 in the second embodiment is the same as the communication unit 117 of the information processing apparatus 110 in the first embodiment.
  • the floor robot guiding unit 214 guides the plurality of floor robots 130 included in the floor robot group 120 according to the walking speed and the traveling direction of the pedestrian. For example, the floor robot guiding unit 214 generates pedestrian walking data, and transmits the generated walking data to the information server 280 via the communication unit 117. Then, the floor robot guiding unit 214 controls the linear movement and the rotational movement of the floor robot 130 with reference to the walking data stored in the information server 280 via the communication unit 117.
  • the video control unit 215 generates 3D video data of the virtual space viewed from the viewpoint of the pedestrian based on the 3D model data sent from the information server 280 and transmits the video data to the HMD 150.
  • the modal control unit 216 generates stimulation output data for stimulating a sensation other than the sight of the pedestrian based on the modal association dictionary sent from the information server 280, and the stimulation output data is used as the modal output device 160. Send to.
  • the information server 280 includes a walking data storage unit 281, a 3D model data storage unit 282, a modal linking dictionary storage unit 283, a 3D model switching unit 284, a remote controller communication unit (hereinafter referred to as a remote control communication unit) 285, Is provided.
  • a remote control communication unit hereinafter referred to as a remote control communication unit
  • the walking data storage unit 281 stores walking data.
  • the 3D model data storage unit 282 stores a plurality of 3D model data.
  • the modal linking dictionary storage unit 283 stores a plurality of modal linking dictionaries.
  • the 3D model switching unit 284 functions as a stereo model selection unit that selects one stereo model data from a plurality of stereo model data in accordance with an instruction input to the remote controller 290 via the remote control communication unit 285. Specifically, the 3D model switching unit 284 is selected to acquire a 3D model switching instruction (selection instruction) input to the remote control 290 via the remote control communication unit 285 and display it according to the switching instruction.
  • One 3D model data and one modal linking dictionary corresponding to the 3D model are read from the 3D model data storage unit 282 and the modal linking dictionary storage unit 283, respectively. Then, the 3D model switching unit 284 sends the read 3D model data and the modal linking dictionary to the information processing apparatus 210 via the communication unit 286.
  • the remote control communication unit 285 receives a switching instruction signal (selection instruction signal) indicating a switching instruction of the 3D model.
  • the remote controller 290 receives an input of a 3D model switching instruction from a pedestrian, and transmits a switching instruction signal indicating the switching instruction to the information server 280 using radio waves such as infrared rays.
  • the remote controller 290 may be a simple remote controller equipped with a cross-shaped cursor key and several buttons, or a smartphone.
  • the HMD 150 captures an operation at hand using the camera 251 installed on the upper part of the HMD 150 and superimposes and displays the captured image on a 3D image in the virtual space. Thereby, the pedestrian can operate easily, seeing an operation screen and a hand.
  • the superimposed display of the camera image is unnecessary.
  • the 3D model switching unit 284 described above can be configured by, for example, a memory 10 and a processor 11 such as a CPU that executes a program stored in the memory 10, as shown in FIG. it can. Such a program may be provided through a network, or may be recorded on a recording medium and provided as a program product, for example.
  • the walking data storage unit 281, the 3D model data storage unit 282, and the modal linking dictionary storage unit 283 can be realized by the processor 11 using a non-volatile memory such as an HDD (not shown).
  • the remote control communication unit 285 can be realized by the processor 11 using a wireless communication device (not shown) that can perform wireless communication such as infrared communication.
  • the communication unit 286 can be realized by the processor 11 using a wireless communication device (not shown) that can perform communication in a wireless LAN or the like.
  • the information server 280 is provided separately from the information processing apparatus 210, but the second embodiment is not limited to such an example.
  • the information server 280 may be omitted because the information processing apparatus 210 includes the function of the information server 280.
  • FIGS. 32 to 35 are schematic diagrams for explaining an example in which the information processing system 200 according to the second embodiment is applied to selection and confirmation of the design of the elevator car 20.
  • the interior of the elevator car 20 includes an operation panel, a floor indicator, a wall, a door, a ceiling, and a floor.
  • handrails and mirrors may be attached.
  • buttons on the operation panels 21a to 21c differ depending on the destination country. Normally, there are more than 100 types of buttons on the operation panels 21a to 21c.
  • the illumination of the ceilings 22a to 22f is also the flat proof 23, the downlight illuminations 24a to 24d, the inclined illuminations 25a and 25b, the indirect illuminations 26a and 26b, There are central arch lighting 27a, 27b, glass cloth full surface light lighting 28, and the like.
  • the interior of the elevator car 20 needs to be accurately selected in advance from the enormous combination of designs in accordance with the preference of the building owner.
  • This design selection work can be performed on the screen of a personal computer, but may be different from what was originally assumed depending on the viewing direction and angle.
  • the owner of the building can actually see from various directions and angles while walking.
  • the owner of the building can confirm the design in a form close to reality.
  • the remote control 290 is used for the design change operation, and the design can be instantaneously switched and displayed by reading the 3D model of the specified part from the 3D model data storage unit 282 into the information processing apparatus 210.
  • the modal control unit 216 can transmit modal information other than visual information, such as sound, fragrance, or room temperature, using the modal output device 160.
  • a modal linking dictionary is used for control.
  • FIG. 36 is a schematic diagram illustrating an example of a modal linking dictionary.
  • a range 281c, an event 281d, illumination and brightness 281e, a fragrance 281f, hot air or cold air 281g, and the like are registered in the modal association dictionary 281a for each place 281b. Note that the area 281b and the range 281c indicate a region in the virtual space where modal output is performed.
  • the lighting is a downlight type, and the scent of a flower is like a luxury hotel. Then, the car arrives at 10:01, the chime sounds and the door opens and closes at the same time. Also, in car A, the room temperature is set lower by air conditioning with dark indirect lighting (cold air), a power failure occurs at 10:03, and the emergency information is announced at the same time as the emergency information is announced. Arrives on the floor and the door opens and closes as soon as a chime sounds.
  • FIG. 37 is a schematic diagram for explaining an example in which the information processing system 200 according to the second embodiment is applied to confirmation of a store layout.
  • a cashier counter 41 and merchandise display shelves 42 and 43 are installed in the store 40.
  • the product display shelf 42 has a cosmetic corner 44. Therefore, when the pedestrian enters the predetermined area 45 including the cosmetic corner 44, the modal control unit 216 causes the modal output device 160 to release the scent of cosmetics. As a result, a pedestrian placed on the floor robot group 120 can be provided with an effect as if there is actually cosmetics.
  • the information processing system 200 can also be used for a person's behavior investigation. For example, a consumer's line-of-sight heat map is created and displayed in a superimposed manner on a 3D display shelf, thereby making it possible to visualize purchase behavior intuitively. Since the product layout in the shelf also uses the 3D model, the horizontal display, the vertical display, the catch tag shelf tag, and the like can be easily changed. For this reason, the optimal shop design which raises the sales effect can be performed in advance.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Pain & Pain Management (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)
  • Rehabilitation Tools (AREA)

Abstract

３台の床ロボット（１３０）の各々は、３台の床ロボット（１３０）の各々から一つずつ選択された３つの頂点が対向している位置が中心点となるように、他の２台の床ロボット（１３０）と隣接し、情報処理装置（１１０）は、歩行者が歩いた場合に、床ロボット（１３０）で検出された圧力に基づいて、歩行者の進行方向及び歩行速度を特定し、特定された進行方向とは逆方向に、特定された歩行速度で、３台の床ロボット（１３０）を直線移動させるとともに、３つの頂点を除いて、特定された進行方向に存在すると判断することのできる頂点を対象頂点として特定し、対象頂点の位置が新たな中心点となるように、３台の床ロボット（１３０）の内の少なくとも何れか１台を回転移動させる床ロボット誘導部（１１４）を備える。

Description

情報処理システム
　本発明は、情報処理システムに関し、特に、３台の移動体及び３台の移動体の各々を制御する情報処理装置を備える情報処理システムに関する。
　利用者の位置を変えずに、利用者が歩行した感覚を得られるようにする装置が従来から提供されている。
　例えば、特許文献１には、歩行者を載せた可動床を、歩行者の進行方向と逆方向に動かすとともに、歩行者を載せ終わった可動床を歩行者の進行方向に動かして歩行者の前方に戻す循環移動を可動床に行わせることにより、歩行者が前進することなく狭い空間で歩行動作を行うことができるようにした全方向歩行感覚呈示装置が開示されている。
特許第４３１３６３３号公報
　特許文献１に記載された全方向歩行感覚呈示装置における可動床は四角形であるため、移動の自由度が高い反面、歩く向きに応じた制御が非常に複雑である。さらに、可動床の周辺には複数の位置検出センサが必要なため、設置空間が大きくなり、コストも高くなる。
　そこで、本発明は、歩行者の歩く方向に移動させる移動体を、歩行者の歩く向きに応じて容易に制御できるようにすることを目的とする。
　本発明の第１の態様に係る情報処理システムは、３台の移動体及び当該３台の移動体の各々を制御する情報処理装置を備える情報処理システムであって、前記３台の移動体の各々は、上方から見た場合に６つの頂点を有する正６角形に形成され、上面に歩行者を載せることのできる本体と、前記上面に前記歩行者が載った場合に、前記上面にかかる圧力を検出する圧力センサと、前記本体の下に取り付けられた複数の車輪と、前記複数の車輪の内の少なくとも２個の車輪に駆動力を与える駆動部と、前記情報処理装置からの制御に応じて、前記少なくとも２個の車輪及び前記駆動部を制御することで、前記本体を任意の方向に直線移動させるとともに、前記６つの頂点の各々における垂直線を軸にして、前記本体を回転移動させる移動体制御部と、を備え、前記３台の移動体の各々は、前記３台の移動体の各々から一つずつ選択された３つの頂点が対向している位置が中心点となるように、他の２台の移動体と隣接し、前記情報処理装置は、前記歩行者が歩いた場合に、前記圧力に基づいて、前記歩行者の進行方向及び歩行速度を特定し、当該特定された進行方向とは逆方向に、当該特定された歩行速度で、前記３台の移動体を直線移動させるとともに、前記３つの頂点を除いて、当該特定された進行方向に存在すると判断することのできる頂点を対象頂点として特定し、当該対象頂点の位置が新たな中心点となるように、前記３台の移動体の内の少なくとも何れか１台の移動体を回転移動させる移動体誘導部を備えることを特徴とする。
　本発明の第２の態様に係る情報処理システムは、３台の移動体、当該３台の移動体の各々を制御する情報処理装置、当該情報処理装置に情報を提供する情報サーバ、当該情報処理装置からの制御に応じて映像を表示するディスプレイ装置及び歩行者からの指示の入力を受け付けるリモートコントローラを備える情報処理システムであって、前記３台の移動体の各々は、上方から見た場合に６つの頂点を有する正６角形に形成され、上面に前記歩行者を載せることのできる本体と、前記上面に前記歩行者が載った場合に、前記上面にかかる圧力を検出する圧力センサと、前記本体の下に取り付けられた複数の車輪と、前記複数の車輪の内の少なくとも２個の車輪に駆動力を与える駆動部と、前記情報処理装置からの制御に応じて、前記少なくとも２個の車輪及び前記駆動部を制御することで、前記本体を任意の方向に直線移動させるとともに、前記６つの頂点の各々における垂直線を軸にして、前記本体を回転移動させる移動体制御部と、を備え、前記３台の移動体の各々は、前記３台の移動体の各々から一つずつ選択された３つの頂点が対向している位置が中心点となるように、他の２台の移動体と隣接し、前記情報サーバは、各々が仮想空間において前記歩行者の視点から見た立体映像の映像データを生成するために用いられる、複数の立体モデルデータを記憶する立体モデルデータ記憶部と、前記リモートコントローラが入力を受け付けた指示に応じて、前記複数の立体モデルデータから、１つの立体モデルデータを選択する立体モデル選択部と、を備え、前記情報処理装置は、前記歩行者が歩いた場合に、前記圧力に基づいて、前記歩行者の進行方向及び歩行速度を特定し、当該特定された進行方向とは逆方向に、当該特定された歩行速度で、前記３台の移動体を直線移動させるとともに、前記３つの頂点を除いて、当該特定された進行方向に存在すると判断することのできる頂点を対象頂点として特定し、当該対象頂点の位置が新たな中心点となるように、前記３台の移動体の内の少なくとも何れか１台の移動体を回転移動させる移動体誘導部と、前記特定された進行方向及び前記特定された歩行速度に基づいて、前記仮想空間における前記歩行者の位置を特定し、前記選択された立体モデルデータを参照して、当該特定された位置に対応する前記立体映像の前記映像データを生成する映像制御部と、を備え、前記ディスプレイ装置は、前記映像制御部により生成された前記映像データに従って、前記立体映像を表示することを特徴とする。
　本発明の一態様によれば、正六角形の移動体を使用することにより、歩行者の歩く方向に移動させる移動体を、歩行者の歩く向きに応じて容易に制御することができる。
実施の形態１に係る情報処理システムの構成を概略的に示すブロック図である。 実施の形態１における医学的な歩行モデルを説明するための概略図である。 実施の形態１における医学的な歩行モデルの歩幅を説明するための概略図である。 実施の形態１における医学的な歩行モデルの足隔を説明するための概略図である。 （ａ）～（ｃ）は、実施の形態１における医学的な歩行モデルの着地を説明するための概略図である。 実施の形態１におけるハードウェア構成を概略的に示すブロック図である。 実施の形態１における床ロボットのアーキテクチャを概略的に示すブロック図である。 実施の形態１における床ロボットの下面図である。 実施の形態１における床ロボットの上面図である。 実施の形態１における床ロボットのカメラでの撮像方法を説明するための概略図である。 実施の形態１における床ロボットの側面図である。 実施の形態１における制御基板の構成を概略的に示すブロック図である。 実施の形態１に係る情報処理システムでの処理を示すフローチャートである。 実施の形態１における床ロボット誘導処理を示すフローチャートである。 実施の形態１における回転移動アルゴリズムを示す第１の概略図である。 実施の形態１における回転移動アルゴリズムを示す第２の概略図である。 実施の形態１における回転移動アルゴリズムを示す第３の概略図である。 実施の形態１における回転移動アルゴリズムを示す第４の概略図である。 実施の形態１における回転移動アルゴリズムを示す第５の概略図である。 実施の形態１における回転移動アルゴリズムを示す第６の概略図である。 実施の形態１における回転移動アルゴリズムを示す第７の概略図である。 実施の形態１における回転移動アルゴリズムを示す第８の概略図である。 実施の形態１における回転移動アルゴリズムを示す第９の概略図である。 実施の形態１における回転移動アルゴリズムを示す第１０の概略図である。 実施の形態１における回転移動アルゴリズムを示す第１１の概略図である。 実施の形態１における回転移動アルゴリズムを示す第１２の概略図である。 実施の形態１における回転移動アルゴリズムを示す第１３の概略図である。 実施の形態１における回転移動アルゴリズムをまとめた表である。 実施の形態１における３Ｄ映像の予測描画処理を示すフローチャートである。 実施の形態１におけるＨＭＤのヨー軸、ピッチ軸及びロール軸を説明する概略図である。 実施の形態２に係る情報処理システムの構成を概略的に示すブロック図である。 実施の形態２に係る情報処理システムをエレベータかごのデザインの選定及び確認に適用した例を説明するための概略図である。 （ａ）～（ｃ）は、エレベータかごの操作盤の選択例を説明するための概略図である。 （ａ）～（ｆ）は、エレベータかごの天井の照明の選択例を説明するための概略図である。 実施の形態２に係る情報処理システムの利用方法を説明するための概略図である。 実施の形態２におけるモーダル紐付け辞書の一例を示す概略図である。 実施の形態２に係る情報処理システムを店舗のレイアウトの確認に適用した例を説明するための概略図である。
実施の形態１．
　図１は、実施の形態１に係る情報処理システム１００の構成を概略的に示すブロック図である。
　情報処理システム１００は、情報処理装置１１０と、移動体群としての床ロボット群１２０と、ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）１５０と、モーダル出力装置１６０とを備える。
　情報処理システム１００は、床ロボット群１２０により歩行者の歩く動作を相殺し、歩行動作に同期した仮想空間の映像を歩行者に提供する。
　情報処理装置１１０は、歩行データ記憶部１１１と、３Ｄ（Ｔｈｒｅｅ－Ｄｉｍｅｎｓｉｏｎａｌ）モデルデータ記憶部１１２と、モーダル紐付け辞書記憶部１１３と、床ロボット誘導部１１４と、映像制御部１１５と、モーダル制御部１１６と、通信部１１７とを備える。
　情報処理装置１１０は、床ロボット群１２０、ＨＭＤ１５０及びモーダル出力装置１６０を制御する。
　歩行データ記憶部１１１は、床ロボット群１２０の上を歩行者が歩いた場合に、歩行者の足から床ロボット群１２０にかかる圧力のかかり方を示す歩行データを記憶する。
　３Ｄモデルデータ記憶部１１２は、仮想空間において歩行者の視点から見た３Ｄ映像（立体映像）の映像データを生成するために必要な３Ｄモデルデータ（立体モデルデータ）を記憶する立体モデルデータ記憶部である。
　モーダル紐付け辞書記憶部１１３は、３Ｄモデルデータ記憶部１１２に記憶されている３Ｄモデルデータの仮想空間において、歩行者の視覚以外の感覚を刺激する領域と、刺激する内容とを示すモーダル紐付け辞書（辞書データ）を記憶する辞書データ記憶部である。例えば、モーダル紐付け辞書は、予め定められた領域毎に、イベント、明るさ、香りの種類及び室温の少なくとも何れか一つの内容を特定する。
　床ロボット誘導部１１４は、歩行者の歩行速度及び進行方向に応じて、床ロボット群１２０に含まれる複数の床ロボット１３０Ａ、１３０Ｂ、１３０Ｃの誘導を行う移動体誘導部である。
　例えば、床ロボット誘導部１１４は、歩行者の歩行データを取得して、取得された歩行データを歩行データ記憶部１１１に記憶する。そして、床ロボット誘導部１１４は、歩行データ記憶部１１１に記憶されている歩行データを参照して、床ロボット１３０Ａ、１３０Ｂ、１３０Ｃの直線移動及び回転移動を制御する。
　一般に、人間は、図２に示すような医学的な歩行モデルに基づいて歩行することが知られている。この医学的な歩行モデルについては、例えば、Ｊａｃｑｅｌｉｎｅ　Ｐｅｒｒｙ著、武田功監訳、「ペリー歩行分析　正常歩行と異常歩行」、医歯薬出版、２００７年に記載されている。
　図２に示されているように、通常、右歩幅と左歩幅とは同じ長さで、左足と右足との横方向間隔である足隔も、歩行中は一定の長さである。
　しかし、図３に示されているように、歩幅が左右で異なる人も存在する。
　また、図４に示されているように、足隔も歩行中に変化し、体の重心が左右にずれる人もいる。
　図５（ａ）に示されているように、通常、足の着地は、踵から接地する。また、離床は、踵から発生しつま先が最後に離れるのが一般的である。
　但し、図５（ｂ）に示されているように、足全体で着床する人も存在し、図５（ｃ）に示されているように、つま先から着床する人も存在する。
　図１に戻り、床ロボット誘導部１１４は、以上に記載されているように、歩行者に特有な歩行クセ及び特徴を示す歩行データを、後述する床ロボット群１２０の何れか一つの表面に内蔵された圧力センサを用いて事前に取得し、歩行の速度及び向きを推定するために使用する。
　映像制御部１１５は、床ロボット群１２０の上を歩く歩行者の進行方向及び歩行速度を特定し、特定された進行方向及び歩行速度に基づいて、仮想空間における歩行者の位置を特定する。そして、映像制御部１１５は、特定された位置に対応する３Ｄ映像をＨＭＤ１５０に表示させる。
　例えば、映像制御部１１５は、３Ｄモデルデータ記憶部１１２に記憶されている３Ｄモデルデータを参照して、仮想空間における歩行者の視点から見た３Ｄ映像の映像データを生成し、その映像データをＨＭＤ１５０に送信する。ＨＭＤ１５０は、映像データに基づいて、仮想空間における３Ｄ映像を表示する。
　モーダル制御部１１６は、仮想空間における歩行者の位置に応じて、モーダル出力装置１６０に、歩行者の感覚を刺激させる刺激制御部である。
　例えば、モーダル制御部１１６は、モーダル紐付け辞書記憶部１１３に記憶されているモーダル紐付け辞書に基づいて、歩行者の視覚以外の感覚を刺激するための刺激出力データを生成し、その刺激出力データをモーダル出力装置１６０に送信する。
　モーダル出力装置１６０は、刺激出力データに従って、歩行者の視覚以外の感覚を刺激する感覚刺激装置である。
　通信部１１７は、床ロボット群１２０、ＨＭＤ１５０及びモーダル出力装置１６０と通信を行う。
　以上に記載された床ロボット誘導部１１４、映像制御部１１５及びモーダル制御部１１６は、例えば、図６に示されているように、メモリ１０と、メモリ１０に格納されているプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサ１１とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて、例えば、プログラムプロダクトとして提供されてもよい。
　なお、歩行データ記憶部１１１、３Ｄモデルデータ記憶部１１２及びモーダル紐付け辞書記憶部１１３は、図示してはいないＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の不揮発性のメモリをプロセッサ１１が利用することにより実現することができる。
　また、通信部１１７は、図示してはいない、無線ＬＡＮ等において通信を行うことのできる無線通信装置をプロセッサ１１が利用することにより実現することができる。
　床ロボット群１２０は、３台の床ロボット１３０Ａ、１３０Ｂ、１３０Ｃにより構成されている。
　３台の床ロボット１３０Ａ、１３０Ｂ、１３０Ｃは、同様に構成されているため、各々を特に区別する必要がない場合には、床ロボット１３０という。
　床ロボット１３０は、歩行者を載せて移動する移動体として機能する。
　図７は、床ロボット１３０のアーキテクチャを概略的に示すブロック図である。
　床ロボット１３０は、モータ駆動系１３１と、センサ部１３２と、通信部１３３と、床ロボット制御部１３４とを備える。
　モータ駆動系１３１は、床ロボット制御部１３４からの指示に応じて、床ロボット１３０に駆動力を提供する駆動部である。
　センサ部１３２は、床ロボット１３０で検出する各種センサである。
　通信部１３３は、無線を用いて、情報処理装置１１０と通信を行う。
　床ロボット制御部１３４は、情報処理装置１１０からの制御に応じて、床ロボット１３０の動作を制御する移動体制御部である。
　図８は、床ロボット１３０の下面図である。
　床ロボット１３０は、本体１３５と、車輪１３６Ａ、１３６Ｂ、１３６Ｃ、１３６Ｄ、１３６Ｅ、１３６Ｆと、制御基板１３７とを備える。
　実施の形態１においては、本体１３５の下面１３５ａは、正６角形に形成されている。
　床ロボット１３０の下には、複数の車輪１３６Ａ、１３６Ｂ、１３６Ｃ、１３６Ｄ、１３６Ｅ、１３６Ｆが取り付けられている。実施の形態１では、６個の車輪１３６Ａ、１３６Ｂ、１３６Ｃ、１３６Ｄ、１３６Ｅ、１３６Ｆが、本体１３５の下面１３５ａの各頂点に対応する位置に配置されている。６個の車輪１３６Ａ、１３６Ｂ、１３６Ｃ、１３６Ｄ、１３６Ｅ、１３６Ｆは、図８に示されているＸＹ平面に垂直な方向に延びる第１の軸線と、ＸＹ平面と平行な方向に延びる第２の軸線との周りを回転自在にされている。
　６個の車輪１３６Ａ、１３６Ｂ、１３６Ｃ、１３６Ｄ、１３６Ｅ、１３６Ｆの各々を特に区別する必要がない場合には、車輪１３６という。
　また、６個の車輪１３６Ａ、１３６Ｂ、１３６Ｃ、１３６Ｄ、１３６Ｅ、１３６Ｆの内の二つの車輪１３６Ａ、１３６Ｄには、モータ駆動系１３１から駆動力が与えられている。このように、床ロボット１３０は、２輪駆動方式により任意方向の直線移動と回転移動とを行うことができる。例えば、６つの頂点の各々における垂直線を軸にして、本体１３５を回転移動させることができる。
　なお、実施の形態１では、６個の車輪１３６Ａ、１３６Ｂ、１３６Ｃ、１３６Ｄ、１３６Ｅ、１３６Ｆが設けられているが、車輪１３６の数は、６個に限定されるものではない。例えば、車輪１３６は、３個以上あればよい。
　また、実施の形態１では、２個の車輪１３６Ａ、１３６Ｄに駆動力が与えられているが、３個以上の車輪１３６に駆動力が与えられてもよい。
　制御基板１３７は、本体１３５の内部に設けられており、床ロボット制御部１３４を実現する。制御基板１３７は、モータ駆動系１３１から駆動力が与えられている二つの車輪１３６Ａ、１３６Ｄの第１の軸線及び第２の軸線における回転を制御することで、床ロボット１３０の直線移動及び回転移動を制御する。
　図９は、床ロボット１３０の上面図である。
　本体１３５は、上方から見た場合に６つの頂点を有する正６角形に形成されている。実施の形態１では、本体１３５は、上面１３５ｂ及び下面１３５ａが正六角形の同じ形状に形成されている。本体１３５の上面１３５ｂは、歩行者を載せることができるようにされている。本体１３５の上面１３５ｂは、上面１３５ｂに載った歩行者が１歩～数歩歩くことができる程度の大きさを有するものとする。
　床ロボット１３０の上面１３５ｂには、歩行者が載った場合に、上面１３５ｂにかかる圧力を検出する圧力センサ１３８が設けられている。具体的には、床ロボット１３０の上面１３５ｂの全体に、上面１３５ｂにかかる圧力を検出する圧力センサ１３８が設けられている。圧力センサ１３８で検出された圧力の値を示す圧力データは、床ロボット制御部１３４に与えられる。
　また、床ロボット１３０の上面１３５ｂの中央には、カメラ１３９が設けられている。カメラ１３９で撮像された画像の画像データは、床ロボット制御部１３４に与えられる。
　図１０に示されているように、カメラ１３９は、床ロボット１３０の上方の画像を撮像するように設けられている。そして、床ロボット制御部１３４は、撮像された画像から、天井１７０に設置された照明１７１、空調１７２及び天井１７０の模様等から特徴点を抽出し、床ロボット１３０の水平方向の二次元位置を算出する。但し、歩行者１７３が載った床ロボット１３０Ｂでは、歩行者１７３が邪魔になり天井１７０を撮影することができないため、先回りする床ロボット１３０Ａのカメラ１３９が順番に天井１７０を撮像し、その床ロボット制御部１３４が自らの位置を検出する。検出された位置を示す位置データは、通信部１３３を介して、情報処理装置１１０に送信される。そして、各床ロボット１３０の配置と歩行者１７３との位置関係は、床ロボット誘導部１１４が把握しているため、床ロボット誘導部１１４は、床ロボット１３０Ａの位置から歩行者１７３の位置を算出することができる。
　また、床ロボット制御部１３４は、圧力センサ１３８から歩行者の足位置を相対的に特定する。特定された足位置を示す足位置データは、通信部１３３を介して、情報処理装置１１０に送信される。そして、床ロボット誘導部１１４は、その足位置データ、及び、歩行データ記憶部１１１に記憶されている歩行データを活用することにより、センサノイズを低減し、位置データの精度を高めることができる。
　図１１は、床ロボット１３０の側面図である。
　床ロボットの６個の側面１３５ｃ、１３５ｄ、・・・、１３５ｇ、１３５ｈの各々には、６個の近接センサ１４０Ａ、１４０Ｂ、・・・、１４０Ｅ、１４０Ｆの各々が設けられている。
　なお、６個の近接センサ１４０Ａ、・・・、１４０Ｆの各々を特に区別する必要がない場合には、近接センサ１４０という。
　近接センサ１４０は、床ロボット１３０を隙間なく隣接させるために使用される。また、近接センサ１４０は、歩行者１７３が、床ロボット１３０の隙間に足をはさむことを回避するためにも使用される。なお、近接センサ１４０での検出結果を示す近接データは、床ロボット制御部１３４に与えられる。
　図１２は、制御基板１３７の構成を概略的に示すブロック図である。
　制御基板１３７は、組込みＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１４１と、メモリ１４２と、駆動モータ増幅器１４３と、アンテナ１４４と、イーサネット処理部１４５と、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）インタフェース１４６と、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）インタフェース１４７とを備える。
　組込みＣＰＵ１４１は、クロック周波数１ＧＨｚ以上のマイクロプロセッサで、センサデータの処理、モータ駆動系１３１の制御及び無線ＬＡＮの通信処理等をリアルタイムに行う。
　メモリ１４２は、組込みＣＰＵ１４１のプログラムを動作させるための主記憶用の揮発性メモリ、及び、プログラムデータを保存するための不揮発性メモリからなる。
　駆動モータ増幅器１４３は、プログラムが出力するデジタルデータをアナログデータへ変換しモータ駆動系１３１に与える。なお、モータ駆動系１３１には、駆動モータエンコーダ１４８が備えられており、組込みＣＰＵ１４１は、駆動モータエンコーダ１４８から得られる回転方向、回転位置及び回転速度等のデータに基づいて、モータ駆動系１３１を制御する。
　アンテナ１４４、イーサネット処理部１４５及びＬＡＮインタフェース１４６は、情報処理装置１１０と無線ＬＡＮで通信を行うための通信装置である。なお、イーサネット処理部１４５は、イーサネット（登録商標）に従った処理を行う。
　ＵＳＢインタフェース１４７は、更新されたプログラムのダウンロード及び床ロボット１３０の診断テストを行うためのインタフェースである。
　図１３は、実施の形態１に係る情報処理システム１００での処理を示すフローチャートである。
　まず、床ロボット誘導部１１４は、個人に特有な歩き方のクセを抽出するため、歩行者に床ロボット１３０の上を普通に歩いてもらい、通信部１１７を介して、圧力データを取得して、直進方向の歩行データを生成する（Ｓ１０）。取得された歩行データは、歩行データ記憶部１１１に記憶される。
　次に、床ロボット誘導部１１４は、通信部１１７を介して、床ロボット１３０に内蔵された圧力センサ１３８、近接センサ１４０及びカメラ１３９の各々からデータを取得する（Ｓ１１）。
　そして、床ロボット誘導部１１４は、ステップＳ１０で生成された歩行データ及びＳ１１で取得されたデータに基づいて、床ロボット１３０の移動計画を立て、床ロボット１３０の誘導処理を行う（Ｓ１２）。床ロボット１３０は、歩行者を載せた状態で、歩行者が歩く反対方向へ引き戻す直線移動を行うことにより、見かけ上歩行者が前進することなく、歩行者を同じ場所に留まらせることができる。実施の形態１に係る情報処理システム１００は、３台の床ロボット１３０を備えており、歩行者を載せ終わった床ロボット１３０は、床ロボット誘導部１１４の指示に従い、歩行者の前方方向へ先回りするように回転移動する。床ロボット１３０が直線移動及び回転移動を繰り返すことにより、歩行者は、同じ位置で歩行を続けることができる。
　映像制御部１１５は、３Ｄモデルデータ記憶部１１２に記憶されている３Ｄモデルデータを参照して、３Ｄ映像の予測描画処理を行う（Ｓ１３）。例えば、映像制御部１１５は、３Ｄモデルデータ記憶部１１２に記憶されている３Ｄモデルデータを参照して、歩行者の視点から見た仮想空間の３Ｄ映像の映像データを生成し、その映像データをＨＭＤ１５０に送信する。歩行動作に同期した遅延のない、仮想空間の３Ｄ映像の映像データを生成するため、映像制御部１１５は、想定された遅延時間後のシーンを予測して描画を行う。
　なお、実施の形態１では、仮想空間表示装置（ディスプレイ装置）として、ＨＭＤ１５０が用いられているが、ＨＭＤ１５０の代わりに、没入型ディスプレイ又は環境型ディスプレイ等の別の装置が用いられてもよい。
　モーダル制御部１１６は、モーダル紐付け辞書記憶部１１３に記憶されているモーダル紐付け辞書に基づいて、音、香り及び室温等、歩行者の視覚以外の感覚を刺激するための刺激出力データを生成し、その刺激出力データをモーダル出力装置１６０に送信する（Ｓ１４）。そのとき、モーダル制御部１１６は、モーダル紐付け辞書記憶部１１３に記憶されているモーダル紐付け辞書に基づいて、適切なタイミングで効果的な環境制御を行う。
　図１３のステップＳ１１～Ｓ１４の処理は、ＨＭＤ１５０のリフレッシュレート毎に繰り返される。リフレッシュレートの周波数は、映像の残像を少なくし利用者のＶＲ酔いを防止するため、１００Ｈｚ以上であることが好ましい。
　図１４は、図１３のステップＳ１２における床ロボット誘導処理を示すフローチャートである。
　まず、床ロボット誘導部１１４は、通信部１１７を介して、回転移動させる床ロボット１３０から位置データを取得する（Ｓ２０）。
　そして、床ロボット誘導部１１４は、取得された位置データに基づいて、床ロボット１３０同士の位置関係と、圧力データとから歩行者の頭部に相当する中心位置を算出する（Ｓ２１）。
　次に、床ロボット誘導部１１４は、今回算出された中心位置と、前回算出された中心位置とを比較し、歩行状態に変化があるか否かを確認する（Ｓ２２）。変化がある場合（Ｓ２２でＹｅｓ）には、歩行速度又は進行方向の変化が要因となるため、処理はステップＳ２３に進む。一方、変化がない場合（Ｓ２２でＮｏ）には、床ロボット１３０が、歩行者と同じ速度で、歩行者が進む方向とは逆の方向へ歩行者を引き戻しているため、処理はステップＳ２７に進む。
　ステップＳ２３では、床ロボット誘導部１１４は、歩行者の歩行速度が変化したか否かを確認する。歩行速度が変化している場合（Ｓ２３でＹｅｓ）には、処理はステップＳ２４に進み、歩行速度が変化していない場合（Ｓ２３でＮｏ）には、処理はステップＳ２５に進む。
　ステップＳ２４では、床ロボット誘導部１１４は、歩行速度を修正する。そして、処理はステップＳ２５に進む。
　ステップＳ２５では、床ロボット誘導部１１４は、歩行者の進行方向が変化したか否かを確認する。進行方向が変化している場合（Ｓ２５でＹｅｓ）には、処理はステップＳ２６に進み、進行方向が変化していない場合（Ｓ２５でＮｏ）には、処理はステップＳ２７に進む。
　ステップＳ２６では、床ロボット誘導部１１４は、進行方向を修正する。そして、処理はステップＳ２７に進む。
　ステップＳ２７では、床ロボット誘導部１１４は、床ロボット１３０の引き戻し速度及び引き戻し方向を決定して、通信部１１７を介して、決定された引き戻し速度及び引き戻し方向を示す制御データを３台の床ロボット１３０に送信する。例えば、ステップＳ２４で歩行速度が修正された場合には、床ロボット誘導部１１４は、修正された歩行速度と同じ速度となるように、床ロボット１３０の直線移動の速度（引き戻し速度）を決定する。また、ステップＳ２６で進行方向が修正された場合には、床ロボット誘導部１１４は、修正された進行方向とは逆の方向となるように、床ロボット１３０の直線移動の方向（引き戻し方向）を決定する。
　次に、床ロボット誘導部１１４は、進行方向と、床ロボット上の歩行者の位置とから、床ロボット１３０の回転移動が必要か否かを判断する（Ｓ２８）。床ロボット１３０の回転移動が必要な場合（Ｓ２８でＹｅｓ）には、処理はステップＳ２９に進み、床ロボット１３０の回転移動が必要ではない場合（Ｓ２８でＮｏ）には、フローを終了する。
　ステップＳ２９では、床ロボット誘導部１１４は、回転移動させるべき床ロボット１３０を決定する。
　そして、床ロボット誘導部１１４は、通信部１１７を介して、決定された床ロボット１３０に適切な先回り手順を示す指示データを送信する（Ｓ３０）。
　図１５～図２７は、床ロボット１３０の回転移動を制御するための回転移動アルゴリズムを示す概略図である。
　図１５～図２７では、床ロボット１３０Ａを符号Ａ、床ロボット１３０Ｂを符号Ｂ、及び、床ロボット１３０Ｃを符号Ｃで表している。
　図１５（ａ）及び（ｂ）は、３台の床ロボット１３０Ａ～１３０Ｃ及び歩行者の初期状態を示す概略図である。
　実施の形態１では、図１５（ａ）に示されているように、３台の床ロボット１３０Ａ～１３０Ｃのそれぞれが隣接し、３台の床ロボット１３０Ａ～１３０Ｃのそれぞれの２辺が、他の１辺ずつと接するように配置されている。このような配置では、３台の床ロボット１３０Ａ～１３０Ｃのそれぞれの頂点の１つが中心点Ｐ０となっている。言い換えると、３台の床ロボット１３０Ａ～１３０Ｃの各々は、３台の床ロボット１３０Ａ～１３０Ｃの各々から１つずつ選択された３つの頂点が対向している位置が中心点Ｐ０となるように、他の２台の床ロボット１３０と隣接している。
　３台の床ロボット１３０Ａ～１３０Ｃがこのように配置されている状態が、３台の床ロボット１３０Ａ～１３０Ｃの基本状態である。そして、下記のように、歩行者の歩行に伴って、床ロボット１３０は、この基本状態を維持するように、回転移動する。
　そして、図１５（ｂ）に示されているように、中心点Ｐ０付近に載った歩行者１０１が、床ロボット１３０Ａ～１３０Ｃの外側の頂点に対応する点Ｐ１～Ｐ１２の何れの方向に向かうかで、どの床ロボット１３０Ａ～１３０Ｃが、どのように回転移動を行うかが決定される。
　例えば、床ロボット誘導部１１４は、歩行者１０１が歩いた場合に、圧力センサ１３８で検出された圧力に基づいて、歩行者１０１の進行方向及び歩行速度を特定する。床ロボット誘導部１１４は、基本状態において対向している３つの頂点を除いて、特定された進行方向に存在すると判断することのできる頂点を対象頂点として特定する。そして、床ロボット誘導部１１４は、対象頂点の位置が新たな中心点となるように、３台の床ロボット１３０Ａ～１３０Ｃの内の少なくとも何れか１台を回転移動させる。
　図１６は、歩行者１０１が点Ｐ１の方向に歩行した場合の床ロボット１３０の回転移動を示す概略図である。
　図１６に示されているように、歩行者１０１が点Ｐ１（対象頂点）の方向に歩行した場合には、点Ｐ１が新たな中心点となるように、床ロボット１３０Ｂ及び床ロボット１３０Ｃが回転移動する。具体的には、床ロボット１３０Ｂは、点Ｐ３における垂直線を軸として、時計回りに１２０°回転移動し、さらに、点Ｐ２における垂直線を軸として、時計回りに１２０°回転移動する。床ロボット１３０Ｃは、点Ｐ１１における垂直線を軸として、反時計回りに１２０°回転移動し、さらに、点Ｐ１２における垂直線を軸として、反時計回りに１２０°回転移動する。なお、床ロボット１３０Ｂ及び床ロボット１３０Ｃが回転移動している間も、床ロボット１３０Ａ～１３０Ｃは、歩行者１０１の進行方向とは反対方向に直線移動を行っている。
　図１７は、歩行者１０１が点Ｐ２の方向に歩行した場合の床ロボット１３０の回転移動を示す概略図である。
　図１７に示されているように、歩行者１０１が点Ｐ２の方向に歩行した場合には、点Ｐ２が新たな中心点となるように、床ロボット１３０Ｂ及び床ロボット１３０Ｃが回転移動する。具体的には、床ロボット１３０Ｂは、点Ｐ３における垂直線を軸として、時計回りに１２０°回転移動する。床ロボット１３０Ｃは、点Ｐ１１における垂直線を軸として、反時計回りに１２０°回転移動し、点Ｐ１２における垂直線を軸として、反時計回りに１２０°回転移動し、さらに、点Ｐ１における垂直線を軸として、反時計回りに１２０°回転移動する。
　以下同様にして、図１８では、点Ｐ３が新たな中心点となるように、床ロボット１３０Ｃが回転移動する。図１９では、点Ｐ４が新たな中心点となるように、床ロボット１３０Ａ及び床ロボット１３０Ｃが回転移動する。図２０では、点Ｐ５が新たな中心点となるように、床ロボット１３０Ａ及び床ロボット１３０Ｃが回転移動する。図２１では、点Ｐ６が新たな中心点となるように、床ロボット１３０Ａ及び床ロボット１３０Ｃが回転移動する。図２２では、点Ｐ７が新たな中心点となるように、床ロボット１３０Ａが回転移動する。図２３では、点Ｐ８が新たな中心点となるように、床ロボット１３０Ａ及び床ロボット１３０Ｂが回転移動する。図２４では、点Ｐ９が新たな中心点となるように、床ロボット１３０Ａ及び床ロボット１３０Ｂが回転移動する。図２５では、点Ｐ１０が新たな中心点となるように、床ロボット１３０Ａ及び床ロボット１３０Ｂが回転移動する。図２６では、点Ｐ１１が新たな中心点となるように、床ロボット１３０Ｂが回転移動する。図２７では、点Ｐ１２が新たな中心点となるように、床ロボット１３０Ｂ及び床ロボット１３０Ｃが回転移動する。
　図２８は、図１５～図２７を用いて説明した回転移動アルゴリズムをまとめた表である。
　図２８でも、床ロボット１３０Ａを符号Ａ、床ロボット１３０Ｂを符号Ｂ、及び、床ロボット１３０Ｃを符号Ｃで表している。
　図２８に示されているように、実施の形態１では、図１５に示されているＸＹ平面におけるＸ軸の正方向を０°とした場合における、歩行者１０１の進行方向の角度範囲と、回転移動させる対象となる床ロボット１３０である対象床ロボットと、対象床ロボットの回転数と、対象床ロボットの回転方向とが予め決められている。
　この角度範囲の各々は、床ロボット１３０Ａ～１３０Ｃの外側の点Ｐ１～点Ｐ１２の各々を含むように設定されているものとする。
　歩行者が歩行した場合には、床ロボット誘導部１１４は、歩行者の進行方向から、新たな中心点が含まれる角度範囲を特定し、特定された角度範囲に基づいて、対象床ロボット、対象床ロボットの回転数及び対象床ロボットの回転方向を特定して、対象床ロボットに回転移動の指示を行う。
　そして、床ロボット誘導部１１４は、新たな中心点に基づいて、図１５に示されているようなＸＹ平面を新たに設定し、歩行者の進行方向に基づいて、対象床ロボットを回転移動させる。このような処理を繰り返すことで、歩行者１０１は、一箇所に留まりながら、自然な歩行感覚を得ることができる。
　図２９は、図１３のステップＳ１３における３Ｄ映像の予測描画処理を示すフローチャートである。
　ＨＭＤ１５０は、静止状態における頭部姿勢データを取得するため、ヨー軸（Ｙａｗ）、ピッチ軸（Ｐｉｔｃｈ）及びロール軸（Ｒｏｌｌ）における加速度を検出する加速度センサと、これらの３軸における角速度とを検出する角速度センサを内蔵する。
　例えば、図３０に示されているように、ＨＭＤ１５０に対して、ヨー軸、ピッチ軸及びロール軸が設定されているものとする。
　そして、ＨＭＤ１５０は、ヨー軸、ピッチ軸及びロール軸における加速度及び角速度を示す頭部姿勢データを、情報処理装置１１０に送信するものとする。
　図２９に戻り、まず、映像制御部１１５は、通信部１１７を介して、ＨＭＤ１５０から頭部姿勢データを取得する（Ｓ４０）。
　次に、映像制御部１１５は、取得された頭部姿勢データに含まれているヨー軸の角速度から頭部の水平方向が変化したか否かを判断する（Ｓ４１）。頭部の水平方向が変化していない場合（Ｓ４１でＮｏ）には、処理はステップＳ４２に進み、頭部の水平方向が変化している場合（Ｓ４１でＹｅｓ）には、処理はステップＳ４４に進む。
　ステップＳ４２では、映像制御部１１５は、歩行者の前回の進行方向と、現在の進行方向との差分から進行方向の角速度を求め、歩行者の進行方向を推定する。
　次に、映像制御部１１５は、ステップＳ４２で推定された歩行者の進行方向を、予測遅延時間後の視線方向とする（Ｓ４３）。そして、処理はステップＳ４６に進む。
　一方、ステップＳ４４では、映像制御部１１５は、ヨー軸の角速度から予測遅延時間後の水平方向を推定する。
　ここで、予測遅延時間は、描画を開始してから、言い換えると、映像データの生成を開始してから、実際にＨＭＤ１５０に３Ｄ映像が表示されるまでの遅延時間である。遅延時間は、ＣＰＵの処理性能、グラフィックス処理能力、３Ｄモデルのポリゴン数、テクスチャマップ画像の有無、メモリ容量、ＨＭＤ１５０の表示解像度及び映像の通信状態等、様々な要因に依存する。そのため、予測遅延時間は、情報処理システム１００毎に予測しておく必要がある。
　次に、映像制御部１１５は、歩行者の前回の進行方向と、現在の進行方向との差分から進行方向の角速度を求め、歩行者の進行方向を推定し、推定された進行方向に、ステップＳ４４で推定された頭部水平方向を加算することで、予測遅延時間後の視線方向を算出する（Ｓ４５）。
　ステップＳ４６では、映像制御部１１５は、現在の歩行速度から予測遅延時間後の視点位置を算出する。具体的には、映像制御部１１５は、仮想空間において、歩行者の現在の位置から、推定された進行方向に、現在の歩行速度で、予測遅延時間歩行した後の位置を、歩行者の視点位置として算出する。
　そして、映像制御部１１５は、算出された視線方向及び視点位置から、仮想空間の３Ｄ映像を描画する（Ｓ４７）。ここでは、映像制御部１１５は、ＨＭＤ１５０のレンズ歪み等に起因する各種補正処理も同時に行う。
　そして、映像制御部１１５は、通信部１１７を介して、生成した３Ｄ映像の映像データをＨＭＤ１５０に送信する（Ｓ４８）。以上により、ＨＭＤ１５０は、歩行動作と、頭部の動きとに同期した遅延のない仮想空間の３Ｄ映像を表示することができ、ＶＲ酔いが発生しにくい滑らかな表示を実現することができる。
　なお、ＨＭＤ１５０ではなく没入型ディスプレイ又は環境ディスプレイを使用する場合には、ステップＳ４０における頭部姿勢データの取得は不要で、映像制御部１１５は、歩行者の進行方向の変化から、視線方向及び視点位置を算出する。
実施の形態２．
　図３１は、実施の形態２に係る情報処理システム２００の構成を概略的に示すブロック図である。
　情報処理システム２００は、情報処理装置２１０と、床ロボット群１２０と、ＨＭＤ１５０と、モーダル出力装置１６０と、情報サーバ２８０と、リモートコントローラ（以下、リモコンという）２９０とを備える。
　実施の形態２に係る情報処理システム２００の床ロボット群１２０、ＨＭＤ１５０及びモーダル出力装置１６０は、実施の形態１に係る情報処理システム１００の床ロボット群１２０、ＨＭＤ１５０及びモーダル出力装置１６０と同様である。
　実施の形態２における情報処理装置２１０は、床ロボット誘導部２１４と、映像制御部２１５と、モーダル制御部２１６と、通信部１１７とを備える。
　実施の形態２における情報処理装置２１０の通信部１１７は、実施の形態１における情報処理装置１１０の通信部１１７と同様である。
　床ロボット誘導部２１４は、歩行者の歩行速度及び進行方向に応じて、床ロボット群１２０に含まれる複数の床ロボット１３０の誘導を行う。
　例えば、床ロボット誘導部２１４は、歩行者の歩行データを生成して、生成された歩行データを、通信部１１７を介して情報サーバ２８０に送信する。そして、床ロボット誘導部２１４は、通信部１１７を介して、情報サーバ２８０に記憶されている歩行データを参照して、床ロボット１３０の直線移動及び回転移動を制御する。
　映像制御部２１５は、情報サーバ２８０から送られてくる３Ｄモデルデータに基づいて、歩行者の視点から見た仮想空間の３Ｄ映像の映像データを生成し、その映像データをＨＭＤ１５０に送信する。
　モーダル制御部２１６は、情報サーバ２８０から送られてくるモーダル紐付け辞書に基づいて、歩行者の視覚以外の感覚を刺激するための刺激出力データを生成し、その刺激出力データをモーダル出力装置１６０に送信する。
　情報サーバ２８０は、歩行データ記憶部２８１と、３Ｄモデルデータ記憶部２８２と、モーダル紐付け辞書記憶部２８３と、３Ｄモデル切替部２８４と、リモートコントローラ通信部（以下、リモコン通信部という）２８５とを備える。
　歩行データ記憶部２８１は、歩行データを記憶する。
　３Ｄモデルデータ記憶部２８２は、複数の３Ｄモデルデータを記憶する。
　モーダル紐付け辞書記憶部２８３は、複数のモーダル紐付け辞書を記憶する。
　３Ｄモデル切替部２８４は、リモコン通信部２８５を介して、リモコン２９０に入力された指示に応じて、複数の立体モデルデータから、１つの立体モデルデータを選択する立体モデル選択部として機能する。
　具体的には、３Ｄモデル切替部２８４は、リモコン通信部２８５を介して、リモコン２９０に入力された３Ｄモデルの切り替え指示（選択指示）を取得して、その切り替え指示により表示することが選択された３Ｄモデルに対応する１つの３Ｄモデルデータ及び１つのモーダル紐付け辞書を、３Ｄモデルデータ記憶部２８２及びモーダル紐付け辞書記憶部２８３からそれぞれ読み出す。そして、３Ｄモデル切替部２８４は、読み出された３Ｄモデルデータ及びモーダル紐付け辞書を、通信部２８６を介して、情報処理装置２１０に送る。
　リモコン通信部２８５は、３Ｄモデルの切り替え指示を示す切替指示信号（選択指示信号）を受信する。
　リモコン２９０は、歩行者からの３Ｄモデルの切り替え指示の入力を受け付け、その切り替え指示を示す切替指示信号を、赤外線等の無線を利用して、情報サーバ２８０に送信する。リモコン２９０は、十字型カーソルキー及び数個のボタンを装備する単純型リモコンでも、スマートフォンであってもよい。
　なお、ＨＭＤ１５０を使った仮想空間では、操作する自分の手を見ることができないため、リモコン２９０の操作性が非常に悪い。そのため、ＨＭＤ１５０は、ＨＭＤ１５０上部に設置されたカメラ２５１を用いて手元の操作を撮像し、撮像された映像を仮想空間の３Ｄ映像に重畳表示することが望ましい。これにより、歩行者は、操作画面と手とを見ながら容易に操作することができる。なお、ＨＭＤ１５０ではなくディスプレイを用いる場合、このカメラ映像の重畳表示は、不要である。
　以上に記載された３Ｄモデル切替部２８４は、例えば、図６に示されているように、メモリ１０と、メモリ１０に格納されているプログラムを実行するＣＰＵ等のプロセッサ１１とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて、例えば、プログラムプロダクトとして提供されてもよい。
　なお、歩行データ記憶部２８１、３Ｄモデルデータ記憶部２８２及びモーダル紐付け辞書記憶部２８３は、図示してはいないＨＤＤ等の不揮発性のメモリをプロセッサ１１が利用することにより実現することができる。
　また、リモコン通信部２８５は、図示してはいない、赤外線通信等の無線通信を行うことのできる無線通信装置をプロセッサ１１が利用することにより実現することができる。
　さらに、通信部２８６は、図示してはいない、無線ＬＡＮ等において通信を行うことのできる無線通信装置をプロセッサ１１が利用することにより実現することができる。
　なお、実施の形態２では、情報処理装置２１０とは別に、情報サーバ２８０が備えられているが、実施の形態２は、このような例に限定されるものではない。例えば、情報処理装置２１０が、情報サーバ２８０の機能を備えることで、情報サーバ２８０が省略されてもよい。
　図３２～図３５は、実施の形態２に係る情報処理システム２００をエレベータかご２０のデザインの選定及び確認に適用した例を説明するための概略図である。
　一般にエレベータかご２０の内装は、操作盤、階数の表示器、壁、扉、天井及び床から構成されている。バリアフリー用途には、手すり及び鏡等が装着される場合もある。
　図３３（ａ）～（ｃ）に示されているように、操作盤２１ａ～２１ｃのボタンの種類は、仕向け国により異なる。通常、操作盤２１ａ～２１ｃのボタンの種類は、１００種類以上ある。
　図３４（ａ）～（ｆ）に示されているように、天井２２ａ～２２ｆの照明も、フラット証明２３、ダウンライト照明２４ａ～２４ｄ、傾斜型照明２５ａ、２５ｂ、間接光照明２６ａ、２６ｂ、中央アーチ照明２７ａ、２７ｂ及びガラスクロス全面光照明２８等が存在する。
　このように、エレベータかご２０の内装は、膨大なデザインの組み合わせの中から、ビルオーナの嗜好に合ったものを、事前に、的確に選定する必要がある。このデザイン選定作業は、パソコンの画面上から行うことが可能であるが、見る向き及び角度により本来想定していたものと異なるものになってしまうこともある。
　そこで、図３２に示されているように、実施の形態２に係る情報処理システム２００を用いることにより、実際に、ビルのオーナが歩行しながら様々な方向及び角度から見ることができる。これにより、ビルのオーナは、現実に近い形でデザインを確認することができる。デザインの変更作業には、リモコン２９０が用いられ、指定した部品の３Ｄモデルを３Ｄモデルデータ記憶部２８２から、情報処理装置２１０に読み込むことにより、デザインを瞬時に切り替えて表示することができる。
　また、図３５に示されているように、３Ｄモデルデータを用いることにより、乗場３０からベッド３１及び医療機器３２を、扉や壁に干渉することなくエレベータかご２０へ入れることができるか否か等も確認することができる。また、扉３３の開閉速度、エレベータかご２０内の混雑時の雰囲気及び圧迫感等も確認することができる。
　さらに、モーダル制御部２１６は、モーダル出力装置１６０を用いて、音、香り又は室温等、視覚情報以外のモーダル情報を送信することができる。制御には、モーダル紐付け辞書が使用される。
　図３６は、モーダル紐付け辞書の一例を示す概略図である。
　モーダル紐付け辞書２８１ａには、場所２８１ｂ毎に、範囲２８１ｃ、イベント２８１ｄ、照明及び明るさ２８１ｅ、香り２８１ｆ、温風又は冷風２８１ｇ等が登録される。
　なお、場所２８１ｂ及び範囲２８１ｃにより、モーダル出力が行われる仮想空間における領域が示される。
　図３６に示されている例では、乗場Ｘでは、照明がダウンライト型で、高級ホテルのような花の香りがする。そして、１０：０１にかごが到着し、チャイム音が鳴ると同時にドアが開閉する。
　また、かごＡでは、暗めの間接照明で、空調により室温が低めに設定されており（冷風）、１０：０３に停電が発生し、緊急照明に切り替わる同時に緊急情報がアナウンスされた後に、かごＡがフロアに到着して、チャイム音が鳴ると同時にドアが開閉する。
　図３７は、実施の形態２に係る情報処理システム２００を店舗のレイアウトの確認に適用した例を説明するための概略図である。
　店舗４０には、レジカウンター４１と、商品陳列棚４２、４３とが設置されている。
　商品陳列棚４２には、化粧品コーナー４４がある。そのため、歩行者が化粧品コーナー４４を含む予め定められた領域４５に入った場合に、モーダル制御部２１６は、モーダル出力装置１６０に化粧品の香りを放出させる。これにより床ロボット群１２０に載っている歩行者に実際に化粧品があるかのような演出効果を与えることができる。
　また、店舗オーナだけでなく、消費者にも図３７に示されている例を体験してもらうことにより、どのような商品をどの陳列棚に置くと商品を買ってもらいやすくなるかといった、消費者の行動調査にも情報処理システム２００を活用することができる。例えば、消費者の視線ヒートマップを作成し、３Ｄの陳列棚に重畳表示することにより、購買行動を直感的に視覚化可能となる。棚の中の商品レイアウトも、３Ｄモデルを使用するため、水平型陳列、垂直型陳列及びキャッチコピー用棚札等を、容易に変更することができる。このため、事前に、売り上げ効果を高める最適な店舗設計を行うことができる。
　１００，２００　情報処理システム、　１１０，２１０　情報処理装置、　１１１　歩行データ記憶部、　１１２　３Ｄモデルデータ記憶部、　１１３　モーダル紐付け辞書記憶部、　１１４，２１４　床ロボット誘導部、　１１５，２１５　映像制御部、　１１６，２１６　モーダル制御部、　１１７　通信部、　１２０　床ロボット群、　１３０　床ロボット、　１３１　モータ駆動系、　１３２　センサ部、　１３３　通信部、　１３４　床ロボット制御部、　１３５　本体、　１３６　車輪、　１３７　制御基板、　１３８　圧力センサ、　１３９　カメラ、　１４０　近接センサ、　１５０　ＨＭＤ、　２５１　カメラ、　１６０　モーダル出力装置、　２８０　情報サーバ、　２８１　歩行データ記憶部、　２８２　３Ｄモデルデータ記憶部、　２８３　モーダル紐付け辞書記憶部、　２８４　３Ｄモデル切替部、　２８５　リモコン通信部、　２８６　通信部、　２９０　リモコン。

Claims (10)

  1. 　３台の移動体及び当該３台の移動体の各々を制御する情報処理装置を備える情報処理システムであって、
    　前記３台の移動体の各々は、
    　上方から見た場合に６つの頂点を有する正６角形に形成され、上面に歩行者を載せることのできる本体と、
    　前記上面に前記歩行者が載った場合に、前記上面にかかる圧力を検出する圧力センサと、
    　前記本体の下に取り付けられた複数の車輪と、
    　前記複数の車輪の内の少なくとも２個の車輪に駆動力を与える駆動部と、
    　前記情報処理装置からの制御に応じて、前記少なくとも２個の車輪及び前記駆動部を制御することで、前記本体を任意の方向に直線移動させるとともに、前記６つの頂点の各々における垂直線を軸にして、前記本体を回転移動させる移動体制御部と、を備え、
    　前記３台の移動体の各々は、前記３台の移動体の各々から一つずつ選択された３つの頂点が対向している位置が中心点となるように、他の２台の移動体と隣接し、
    　前記情報処理装置は、
    　前記歩行者が歩いた場合に、前記圧力に基づいて、前記歩行者の進行方向及び歩行速度を特定し、当該特定された進行方向とは逆方向に、当該特定された歩行速度で、前記３台の移動体を直線移動させるとともに、前記３つの頂点を除いて、当該特定された進行方向に存在すると判断することのできる頂点を対象頂点として特定し、当該対象頂点の位置が新たな中心点となるように、前記３台の移動体の内の少なくとも何れか１台の移動体を回転移動させる移動体誘導部を備えること
    　を特徴とする情報処理システム。
  2. 　前記移動体制御部は、前記軸において、前記本体を１２０°回転させること
    　を特徴とする請求項１に記載の情報処理システム。
  3. 　前記移動体誘導部は、前記歩行者を頂点とする予め定められた複数の角度範囲から、前記進行方向を含む角度範囲を特定し、前記６つの頂点の内、当該特定された角度範囲に含まれる１つの頂点を、前記対象頂点として特定すること
    　を特徴とする請求項１又は２に記載の情報処理システム。
  4. 　前記情報処理装置からの制御に応じて、仮想空間の立体映像を表示するディスプレイ装置をさらに備え、
    　前記情報処理装置は、
    　前記特定された進行方向及び前記特定された歩行速度に基づいて、前記仮想空間における前記歩行者の位置を特定し、当該特定された位置に対応する前記立体映像を前記ディスプレイ装置に表示させる映像制御部をさらに備えること
    　を特徴とする請求項１から３の何れか一項に記載の情報処理システム。
  5. 　前記情報処理装置は、
    　前記仮想空間において前記歩行者の視点から見た前記立体映像の映像データを生成するための立体モデルデータを記憶する立体モデルデータ記憶部をさらに備え、
    　前記映像制御部は、前記立体モデルデータを参照して、前記映像データを生成し、
    　前記ディスプレイ装置は、前記映像データに従って、前記立体映像を表示すること
    　を特徴とする請求項４に記載の情報処理システム。
  6. 　前記映像制御部には、前記映像データの生成を開始してから、前記立体映像が前記ディスプレイ装置に表示されるまでの遅延時間が予め設定されており、
    　前記映像制御部は、前記仮想空間において、前記特定された位置から、前記特定された進行方向に、前記特定された歩行速度で、前記遅延時間歩行した後の位置における前記映像データを生成すること
    　を特徴とする請求項５に記載の情報処理システム。
  7. 　前記歩行者からの指示の入力を受け付けるリモートコントローラをさらに備え、
    　前記立体モデルデータ記憶部は、複数の前記立体モデルデータを記憶し、
    　前記情報処理装置は、前記リモートコントローラが入力を受け付けた指示に応じて、前記複数の立体モデルデータから、１つの立体モデルデータを選択する立体モデル選択部をさらに備え、
    　前記映像制御部は、前記選択された立体モデルデータを参照して、前記映像データを生成すること
    　を特徴とする請求項５又は６に記載の情報処理システム。
  8. 　前記歩行者の視覚以外の感覚を刺激する感覚刺激装置をさらに備え、
    　前記情報処理装置は、前記特定された位置に応じて、前記感覚刺激装置に前記感覚を刺激させる刺激制御部をさらに備えること
    　を特徴とする請求項４から７の何れか一項に記載の情報処理システム。
  9. 　前記情報処理装置は、
    　予め定められた領域毎に、イベント、明るさ、香りの種類及び室温の少なくとも何れか一つの内容を特定した辞書データを記憶する辞書データ記憶部をさらに備え、
    　前記刺激制御部は、前記特定された位置が前記予め定められた領域に含まれる場合には、前記辞書データで特定される内容に応じて前記感覚刺激装置に前記感覚を刺激させること
    　を特徴とする請求項８に記載の情報処理システム。
  10. 　３台の移動体、当該３台の移動体の各々を制御する情報処理装置、当該情報処理装置に情報を提供する情報サーバ、当該情報処理装置からの制御に応じて映像を表示するディスプレイ装置及び歩行者からの指示の入力を受け付けるリモートコントローラを備える情報処理システムであって、
    　前記３台の移動体の各々は、
    　上方から見た場合に６つの頂点を有する正６角形に形成され、上面に前記歩行者を載せることのできる本体と、
    　前記上面に前記歩行者が載った場合に、前記上面にかかる圧力を検出する圧力センサと、
    　前記本体の下に取り付けられた複数の車輪と、
    　前記複数の車輪の内の少なくとも２個の車輪に駆動力を与える駆動部と、
    　前記情報処理装置からの制御に応じて、前記少なくとも２個の車輪及び前記駆動部を制御することで、前記本体を任意の方向に直線移動させるとともに、前記６つの頂点の各々における垂直線を軸にして、前記本体を回転移動させる移動体制御部と、を備え、
    　前記３台の移動体の各々は、前記３台の移動体の各々から一つずつ選択された３つの頂点が対向している位置が中心点となるように、他の２台の移動体と隣接し、
    　前記情報サーバは、
    　各々が仮想空間において前記歩行者の視点から見た立体映像の映像データを生成するために用いられる、複数の立体モデルデータを記憶する立体モデルデータ記憶部と、
    　前記リモートコントローラが入力を受け付けた指示に応じて、前記複数の立体モデルデータから、１つの立体モデルデータを選択する立体モデル選択部と、を備え、
    　前記情報処理装置は、
    　前記歩行者が歩いた場合に、前記圧力に基づいて、前記歩行者の進行方向及び歩行速度を特定し、当該特定された進行方向とは逆方向に、当該特定された歩行速度で、前記３台の移動体を直線移動させるとともに、前記３つの頂点を除いて、当該特定された進行方向に存在すると判断することのできる頂点を対象頂点として特定し、当該対象頂点の位置が新たな中心点となるように、前記３台の移動体の内の少なくとも何れか１台の移動体を回転移動させる移動体誘導部と、
    　前記特定された進行方向及び前記特定された歩行速度に基づいて、前記仮想空間における前記歩行者の位置を特定し、前記選択された立体モデルデータを参照して、当該特定された位置に対応する前記立体映像の前記映像データを生成する映像制御部と、を備え、
    　前記ディスプレイ装置は、前記映像制御部により生成された前記映像データに従って、前記立体映像を表示すること
    　を特徴とする情報処理システム。
PCT/JP2017/008199 2017-03-01 2017-03-01 情報処理システム WO2018158896A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE112017006958.0T DE112017006958B4 (de) 2017-03-01 2017-03-01 Informationsverarbeitungssystem
JP2019502373A JP6526367B2 (ja) 2017-03-01 2017-03-01 情報処理システム
CN201780087406.XA CN110337681B (zh) 2017-03-01 2017-03-01 信息处理系统
PCT/JP2017/008199 WO2018158896A1 (ja) 2017-03-01 2017-03-01 情報処理システム
US16/479,857 US11474534B2 (en) 2017-03-01 2017-03-01 Information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/008199 WO2018158896A1 (ja) 2017-03-01 2017-03-01 情報処理システム

Publications (1)

Publication Number Publication Date
WO2018158896A1 true WO2018158896A1 (ja) 2018-09-07

Family

ID=63369842

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/008199 WO2018158896A1 (ja) 2017-03-01 2017-03-01 情報処理システム

Country Status (5)

Country Link
US (1) US11474534B2 (ja)
JP (1) JP6526367B2 (ja)
CN (1) CN110337681B (ja)
DE (1) DE112017006958B4 (ja)
WO (1) WO2018158896A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022509483A (ja) * 2018-10-31 2022-01-20 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー 仮想現実システムのための安全境界を修正するためのシステムおよび方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07204359A (ja) * 1994-01-21 1995-08-08 Yamaha Corp 歩行模擬装置
JP2000206862A (ja) * 1999-01-14 2000-07-28 Atr Media Integration & Communications Res Lab 歩行感覚生成装置
US6135928A (en) * 1999-08-20 2000-10-24 Butterfield; Anthony Virtual reality equipment
JP2000516829A (ja) * 1996-08-27 2000-12-19 イー イー カーメイン，デイヴィッド 全方向性トレッドミル
JP3170638B2 (ja) * 1996-08-08 2001-05-28 谷 白糸 仮想現実体験装置
JP4313633B2 (ja) * 2003-09-09 2009-08-12 洋夫 岩田 全方向歩行感覚呈示装置
JP4433424B1 (ja) * 2009-04-04 2010-03-17 幸春 濱口 読書学習可能な室内歩行運動及びリハビリ装置。

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6152854A (en) * 1996-08-27 2000-11-28 Carmein; David E. E. Omni-directional treadmill
RU2120664C1 (ru) * 1997-05-06 1998-10-20 Нурахмед Нурисламович Латыпов Система для погружения пользователя в виртуальную реальность
IT1292629B1 (it) * 1997-06-18 1999-02-08 Technogym Srl Macchina ginnica a tappeto scorrevole.
JP2923493B1 (ja) 1998-03-09 1999-07-26 株式会社エイ・ティ・アール知能映像通信研究所 歩行感覚生成装置
JP3732168B2 (ja) * 2001-12-18 2006-01-05 株式会社ソニー・コンピュータエンタテインメント 仮想世界におけるオブジェクトの表示装置、表示システム及び表示方法、ならびにそれらを利用可能な仮想世界における地価及び広告料の設定方法
JP2008220580A (ja) 2007-03-12 2008-09-25 Univ Of Tsukuba 没入歩行感覚呈示装置
CN201308742Y (zh) * 2008-09-30 2009-09-16 郭偲 一种真人场景跑步机
CN105843396B (zh) * 2010-03-05 2019-01-01 索尼电脑娱乐美国公司 在共享的稳定虚拟空间上维持多视图的方法
CN102651179A (zh) * 2011-02-24 2012-08-29 本田技研工业株式会社 骑行模拟器
CN102357284B (zh) * 2011-10-18 2013-05-22 中国科学院合肥物质科学研究院 智能化跑步机
CN102542873B (zh) * 2012-01-10 2014-04-16 中国人民解放军92995部队 一种全方位行走跟踪装置及基于该装置的虚拟交互系统
JP5213086B1 (ja) * 2012-02-24 2013-06-19 フューコム株式会社 運動補助装置
CN103284662B (zh) * 2012-03-02 2016-09-21 恩斯迈电子(深圳)有限公司 清扫系统及其控制方法
TW201347809A (zh) * 2012-05-24 2013-12-01 Cycling & Health Tech Ind R&D 自由步態訓練機
RU2643667C2 (ru) 2012-10-24 2018-02-02 Ян ГЕТГЕЛУК Локомоционная система и устройство
KR102093177B1 (ko) * 2013-10-31 2020-03-25 엘지전자 주식회사 이동 로봇 및 그 동작방법
JP5824537B2 (ja) * 2014-01-16 2015-11-25 キヤノン株式会社 情報処理装置および情報処理方法
WO2016081812A1 (en) * 2014-11-21 2016-05-26 Vr Moving Floor, Llc Moving floor for interactions with virtual reality systems and uses thereof
CN204189337U (zh) * 2014-11-25 2015-03-04 张恺 用于思想政治教学中基于路况模拟的行走姿态监测装置
KR102311571B1 (ko) * 2015-02-23 2021-10-13 큐렉소 주식회사 햅틱 기능을 결합한 가상 현실을 제공하는 보행재활 장치
CN105151193B (zh) * 2015-09-30 2018-08-21 东阳市新意工业产品设计有限公司 基于人体重力感应控制行车速度和方向的体感车及方法
CN105617605B (zh) * 2016-04-18 2017-09-29 成润泽 一种智能全向跑步机
CN205832573U (zh) * 2016-06-19 2016-12-28 上海盟云移软网络科技股份有限公司 一种虚拟现实的游戏操控装置
CN106178399A (zh) * 2016-08-30 2016-12-07 喻明 一种万向跑步机
CN106422169B (zh) * 2016-09-19 2019-02-01 上海大学 一种随动式减重下肢康复训练移动平台

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07204359A (ja) * 1994-01-21 1995-08-08 Yamaha Corp 歩行模擬装置
JP3170638B2 (ja) * 1996-08-08 2001-05-28 谷 白糸 仮想現実体験装置
JP2000516829A (ja) * 1996-08-27 2000-12-19 イー イー カーメイン，デイヴィッド 全方向性トレッドミル
JP2000206862A (ja) * 1999-01-14 2000-07-28 Atr Media Integration & Communications Res Lab 歩行感覚生成装置
US6135928A (en) * 1999-08-20 2000-10-24 Butterfield; Anthony Virtual reality equipment
JP4313633B2 (ja) * 2003-09-09 2009-08-12 洋夫 岩田 全方向歩行感覚呈示装置
JP4433424B1 (ja) * 2009-04-04 2010-03-17 幸春 濱口 読書学習可能な室内歩行運動及びリハビリ装置。

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022509483A (ja) * 2018-10-31 2022-01-20 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー 仮想現実システムのための安全境界を修正するためのシステムおよび方法
JP7279176B2 (ja) 2018-10-31 2023-05-22 メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー 仮想現実システムのための安全境界を修正するためのシステムおよび方法
US11741649B2 (en) 2018-10-31 2023-08-29 Meta Platforms Technologies, Llc Systems and methods for modifying a safety boundary for virtual reality systems

Also Published As

Publication number Publication date
US20210333798A1 (en) 2021-10-28
US11474534B2 (en) 2022-10-18
JP6526367B2 (ja) 2019-06-05
CN110337681A (zh) 2019-10-15
CN110337681B (zh) 2021-08-10
DE112017006958T5 (de) 2019-12-12
DE112017006958B4 (de) 2021-03-04
JPWO2018158896A1 (ja) 2019-06-27

Similar Documents

Publication Publication Date Title
EP3436867B1 (en) Head-mounted display tracking
KR20240042176A (ko) 놀이 공원 환경에 배치된 가상 피처용 시스템 및 방법
CN107577045B (zh) 用于头戴式显示器的预测跟踪的方法、装置及存储介质
JP4083684B2 (ja) 画像処理システムおよび画像処理装置
JP2012530317A (ja) バーチャルビューを変更するシステム
JP5759110B2 (ja) 観覧車
US10761600B2 (en) Simulation control device and information storage medium
CN105359063A (zh) 利用追踪的头戴式显示器
JP6200023B1 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
US10661181B2 (en) Simulation system and game system
US9996149B1 (en) Method for one-touch translational navigation of immersive, virtual reality environments
JP5123353B2 (ja) リアルタイムシーンを照明し，発見するバーチャルフラッシュライト
JP7351638B2 (ja) 画像生成装置、画像表示システム、および情報提示方法
KR20190000069A (ko) 가상 체험 콘텐츠 제공 방법 및 이를 위한 장치
WO2018158896A1 (ja) 情報処理システム
JP6625467B2 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
JP2010198085A (ja) リハビリ支援システム
JP2015132443A (ja) 機器制御システム、制御装置、機器制御方法及びプログラム
JP2020057399A (ja) シミュレーション制御装置及びシミュレーション制御プログラム
Zhang et al. Binocular vision sensor (Kinect)-based pedestrian following mobile robot
US20230092395A1 (en) Physical object integration with extended reality environments
JP2020118748A (ja) 移動型表示装置
WO2017054114A1 (zh) 一种显示系统及其显示方法
JPH04192067A (ja) 商品遠隔体験ショウルームシステム
KR20200031260A (ko) 미러 디스플레이를 이용한 콘텐츠 디스플레이 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17898663

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019502373

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17898663

Country of ref document: EP

Kind code of ref document: A1