WO2021171877A1 - サーバ、自走式ロボット及び端末装置 - Google Patents

サーバ、自走式ロボット及び端末装置 Download PDF

Info

Publication number
WO2021171877A1
WO2021171877A1 PCT/JP2021/002697 JP2021002697W WO2021171877A1 WO 2021171877 A1 WO2021171877 A1 WO 2021171877A1 JP 2021002697 W JP2021002697 W JP 2021002697W WO 2021171877 A1 WO2021171877 A1 WO 2021171877A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
self
propelled robot
server
propelled
Prior art date
Application number
PCT/JP2021/002697
Other languages
English (en)
French (fr)
Inventor
順 横野
明香 渡辺
夏子 尾崎
嘉寧 呉
晶晶 郭
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021171877A1 publication Critical patent/WO2021171877A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00—Self-movable toy figures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Definitions

  • This disclosure relates to servers, self-propelled robots and terminal devices.
  • the present disclosure provides a server, a self-propelled robot, and a terminal device that realizes virtual space generation by a self-propelled robot.
  • the server receives the information sensed by the self-propelled robot and the position information of the self-propelled robot, the receiving unit, the information sensed by the self-propelled robot, and the position information of the self-propelled robot. It is provided with an information processing unit that processes the above and constitutes a virtual space according to the real space in which the self-propelled robot exists, and a transmission unit that transmits information on the virtual space to the terminal device.
  • the number of self-propelled robots may be plural, and the receiving unit may acquire information from a plurality of self-propelled robots.
  • the information processing unit may generate an avatar based on the person information when the image information detected by the self-propelled robot includes the person information.
  • the information processing unit may perform a predetermined filter process on the information detected by the self-propelled robot and reflect it in the virtual space.
  • the information processing unit may delete the word and output it.
  • the information processing unit may generate a global map based on the position information of the self-propelled robot, and may link the information detected by the self-propelled robot in the global map with the position information and reflect it in the virtual space.
  • the self-propelled robot that transmits data to the above server includes a sensor that senses surrounding information and a communication unit that transmits the sensed information converted by a predetermined process.
  • the sensor may be equipped with a camera that acquires an image of the surroundings.
  • a person may be detected from the information acquired by the camera, the characteristics of the person may be extracted, and the person may be sent to the server.
  • a local map showing the position of the information collected by oneself may be generated based on one's own position and one's posture.
  • the information processing department may acquire local map information from the above self-propelled robot and reflect it in the global map.
  • the object may be recognized from the information acquired by the camera and the information about the object may be transmitted to the server.
  • the sensor may be equipped with a microphone that acquires ambient sound information.
  • Voice information may be extracted from the information acquired by the microphone to understand the meaning of the voice information.
  • the sensor is equipped with a camera that acquires images of the surroundings and a microphone that acquires sound information of the surroundings, and the person information detected from the information acquired by the camera and its own position and posture estimated from the information acquired by the camera.
  • a local map is generated based on the information, the object information recognized from the information acquired by the camera, the environmental sound recognized from the information acquired by the microphone, and the voice information recognized from the information acquired by the microphone, and sent to the server. You may send it.
  • the terminal device connected to the above server has an input interface for specifying the location to be moved in the virtual space in the global map, receives information about the specified location from the server, and is based on the received information in the virtual space. Is output.
  • Keyword search may be possible via the input interface.
  • the block diagram which shows an outline example of the server which concerns on one Embodiment.
  • the figure which shows an example of the information collection by the self-propelled robot which concerns on one Embodiment. A flowchart showing a part of the process according to the embodiment.
  • a flowchart showing a part of the process according to the embodiment A flowchart showing a part of the process according to the embodiment. A flowchart showing a part of the process according to the embodiment. The figure which shows an example of the information association which concerns on one Embodiment. A flowchart showing a part of the process according to the embodiment. A flowchart showing a part of the process according to the embodiment. The figure which shows an example of the output of the terminal apparatus which concerns on one Embodiment. The figure which shows an example of the input / output of the terminal apparatus which concerns on one Embodiment.
  • the moving body is a self-propelled robot, and the position information, the surrounding environment information, etc. are acquired based on the position of the self-propelled robot. It is not limited, and may be, for example, a vehicle, a flying object, or the like.
  • the self-propelled robot may have a plurality of types of self-position estimation functions for estimating self-position and posture, for example, based on the sensor's sense information and an algorithm for converting the sense information into position information.
  • FIG. 1 is a diagram showing an outline of the information processing system 1 according to the embodiment.
  • the information processing system 1 includes, for example, a plurality of self-propelled robots 2, a plurality of terminal devices 3, and a server 4.
  • the self-propelled robot 2 has various sensors, a moving means, and a communication means.
  • the self-propelled robot 2 automatically travels in the real world by means of transportation and collects information through various sensors it has. Then, the self-propelled robot 2 transmits the collected information to the server 4 via the communication means. Further, the configuration may be such that a command from the server 4 is received and controlled based on the received command.
  • the self-propelled robot 2 may be a pet-type robot.
  • the self-propelled type is not limited to traveling on the ground, and may be a type that automatically moves in the air. Further, the self-propelled robot 2 may be provided with information processing means, and may be transmitted to the server 4 via the communication means after performing appropriate processing on the information sensed by the sensor. ..
  • the terminal device 3 has, for example, an input / output interface and a communication means.
  • the terminal device 3 is a terminal operated by a user, and may be, for example, a smart phone, a tablet terminal, a television device, a computer device, or the like.
  • the user can acquire the information in the virtual reality processed by the server 4 or take an action through the input / output interface of the terminal device 3.
  • the terminal device 3 may have a configuration having an output interface without having an input interface. In this case, the user can perceive by seeing and hearing the situation in the virtual reality through the output interface of the terminal device 3.
  • the terminal device 3 may be provided with information processing means, and may appropriately process information transmitted to and received from the server 4.
  • Server 4 is, for example, a server device that exists on the cloud.
  • the server 4 has a communication means and an information processing means.
  • the server 4 appropriately processes the information acquired from the self-propelled robot 2 via the communication means and transmits it to the terminal device 3. Further, the input from the terminal device 3 may be accepted, and in this case, the information processing according to the request received from the terminal device 3 may be executed and transmitted to the terminal device 3 or the self-propelled robot 2. good.
  • the information processing means provided for each component may be, for example, a processing circuit such as a CPU (Central Processing Unit) or a dedicated circuit, and further, an accelerator or the like is mounted as necessary. You may be.
  • the communication means provided in each component may be, for example, a communication circuit including a transmission circuit, a reception circuit, and an antenna.
  • each component may be provided with a storage means such as a storage for storing necessary data.
  • the storage means may include volatile or non-volatile memory.
  • FIG. 2 is a diagram schematically showing an autonomous walking type robot as an example of the self-propelled robot 2 according to the embodiment.
  • FIG. 3 is a block diagram showing an outline of the self-propelled robot 2 according to the embodiment.
  • the self-propelled robot 2 includes, for example, a camera 20 and a microphone 22 as sensors, and also includes a moving unit 24, an information processing unit 26, and a communication unit 28.
  • the shape and the like of the self-propelled robot 2 are shown as an example, and the shape and form of the self-propelled robot 2 in the present disclosure are not limited to such a shape and form. Further, each component does not have to be in the position shown in FIG. 2, and may be provided at an appropriate position in the self-propelled robot 2.
  • the camera 20 acquires visual sensing information around the self-propelled robot 2.
  • the camera 20 is not limited to the monocular camera, and may be provided in plurality such as a compound eye camera. Further, the present invention is not limited to the RGB camera, and an IR camera or an RGBD camera may be provided.
  • the microphone 22 acquires auditory sensing information around the self-propelled robot 2.
  • the microphone 22 may be a directional microphone, and in this case, the direction information of the sensed sound may also be acquired. Further, the microphone 22 may be provided with a plurality of microphones 22 instead of a single microphone 22.
  • the moving unit 24 is a module for moving the self-propelled robot 2, and may be, for example, a leg-shaped device shown in FIG. As another example, it may be a means such as a tire or a caterpillar.
  • the information processing unit 26 processes the information detected by the camera 20 and the microphone 22 and outputs the information to the server 4 via the communication unit 28. Further, the information processing unit 26 may control the moving unit 24 to control the movement of the self-propelled robot 2. The control of the mobile unit 24 may be executed based on the information stored in the storage means provided in the self-propelled robot 2, or may be executed based on the control signal from the terminal device 3 or the server 4. You may. For example, the information processing unit 26 may generate motion and self-propell by inputting information sensed by a sensor into a neural network trained by deep learning. Further, a plurality of information processing units 26 may be provided in the self-propelled robot 2, for example, a processing unit for image analysis and a processing unit for sound analysis are provided respectively, and information is processed in parallel. May be good.
  • the self-propelled robot 2 acquires peripheral information automatically or based on control from the terminal device 3 or the like, and by self-propelling, acquires environmental information around itself. In addition, the self-propelled robot 2 performs appropriate processing on the environmental information acquired while self-propelling, and then transmits the processed information to the server 4.
  • FIG. 4 is a diagram schematically showing the terminal device 3 according to the embodiment.
  • FIG. 5 is a block diagram showing an outline of the terminal device 3 according to the embodiment.
  • the terminal device 3 is a smart phone.
  • the terminal device 3 includes a communication unit 30, an information processing unit 32, and an input / output interface (hereinafter, referred to as an input / output I / F 34).
  • the communication unit 30 performs communication connected to the Internet or the like via, for example, Wi-Fi or a wireless telephone line.
  • the terminal device 3 is connected to the server 4 via the Internet or the like by the communication unit 30.
  • This communication may be a communication for acquiring necessary information from the server 4, or may be a bidirectional communication. Further, it may be a communication method for acquiring the information broadcast from the server 4.
  • the information processing unit 32 appropriately processes the information received from the server 4, for example, and converts it into data that can be understood by the user. Further, when the user inputs some control to the self-propelled robot 2 and the server 4, the input signal may be appropriately processed and transmitted via the communication unit 30. Furthermore, when the user inputs to control the output data based on the information output to the input / output I / F 34, the input signal and the control target are appropriately processed and the output process is executed. You may.
  • the input / output I / F 34 is an interface for outputting visual information, sound information, vibration information to the user, and inputting instructions from the user.
  • the input / output I / F 34 includes, for example, a screen, a microphone, a stereo, a vibrator, and a touch panel.
  • the terminal device 3 is a smart phone has been described, but as another example, when the terminal device 3 is a computer, the input / output I / F 34 may include, for example, a display, a mouse, a keyboard, and the like. ..
  • the user acquires the information processed by the server 4 or the terminal device 3 via the input / output I / F 34, and also inputs the control signal of the server 4 or the self-propelled robot 2.
  • FIG. 6 is a block diagram showing an outline of the server 4 according to the embodiment.
  • the server 4 includes, for example, a communication unit 40 and an information processing unit 42. Further, the server 4 may be a server provided on the cloud, and is not limited to being configured by one server, and may be configured by a plurality of servers.
  • the communication unit 40 controls communication with the self-propelled robot 2 and the terminal device 3.
  • the server 4 communicates with the self-propelled robot 2 and the terminal device 3 via the communication unit 40.
  • the communication unit 40 may include, for example, a reception unit that receives information from the self-propelled robot 2 and a transmission unit that transmits information to the terminal device 3.
  • the receiving unit may receive the information from the terminal device 3, and the transmitting unit may transmit the information to the self-propelled robot 2.
  • the information processing unit 42 appropriately processes the data received from the self-propelled robot 2 and transmits it to the terminal device 3 via the communication unit 40.
  • the information processing unit 42 for example, reconstructs the sensing information received from the self-propelled robot 2 to generate a virtual reality world. Then, the information processing unit 42 transmits data to the terminal device 3 via the communication unit 40 so that the generated virtual reality world can be reconstructed in the terminal device 3.
  • the server 4 is provided with a storage unit, and a database may be constructed in this storage unit.
  • a database for example, various recognition information to be described later and information related to the position information are stored.
  • the user's terminal device 3 accesses the data possessed by the server 4, and the user collects information in the virtual space or acts in the virtual space. Can be done.
  • FIG. 7 is a flowchart showing the overall processing of the information processing system 1. This figure is a flowchart showing the overall processing, and the flow of each processing will be described in detail later.
  • the self-propelled robot 2 acquires image information using a sensor that senses visual information such as a camera 20 (S100).
  • a sensor that senses visual information such as a camera 20 (S100).
  • the information processing unit 26 of the self-propelled robot 2 detects a person when the person is shown in the acquired image (S102). When a plurality of people are shown in the image, the information processing unit 26 detects the plurality of people.
  • the information processing unit 26 of the self-propelled robot 2 executes its own position estimation based on the surrounding environment acquired from the image (S104).
  • SLAM Simultaneous Localization and Mapping
  • Visual SLAM Visual SLAM technology
  • the information processing unit 26 of the self-propelled robot 2 recognizes an object in the image (S106).
  • the object is something other than a person that appears in the image, and indicates, for example, a car, a dog, or the like.
  • the self-propelled robot 2 acquires sound information using a sensor that senses auditory information such as a microphone 22 (S108).
  • the information processing unit 26 of the self-propelled robot 2 executes the determination of the acquired sound information (S110).
  • Sound discrimination is, for example, a process of distinguishing between voice and other sounds such as environmental sounds.
  • the information processing unit 26 of the self-propelled robot 2 executes recognition of this voice information when the discriminated sound information includes human voice (S112).
  • the processes from S100 to S112 may be executed in parallel or sequentially as long as they can be appropriately processed.
  • the information processing unit 26 of the self-propelled robot 2 executes a process of linking the image information and the sound information (S114). This associated information is stored in a storage unit provided in each of the self-propelled robots 2.
  • the self-propelled robot 2 acquires the global position and links the acquired position information with the processed recognition information (S116). Then, the self-propelled robot 2 transmits this associated information to the server 4 via the transmission unit 28.
  • the transmission may be executed at the timing when the association information is acquired, or may be executed so as to transmit the information acquired at that timing at predetermined time intervals.
  • the information processing unit 42 of the server 4 associates the avatar with the recognition result based on the association information acquired from one or a plurality of self-propelled robots 2 (S118).
  • the information processing unit 42 of the server 4 applies an avatar to a person or the like, arranges a person or an object disguised as an avatar in a virtual space, and appropriately links sound information or the like to the avatar or the like and stores it. Store in the department.
  • FIG. 8 is a diagram showing an example of information acquisition of the self-propelled robot 2 in the real world according to the embodiment. As shown in FIG. 8, a plurality of self-propelled robots 2 move around the city to acquire the surrounding environment as image information and sound information.
  • Each individual of the self-propelled robot 2 has a local map.
  • the local map is a map generated by associating information with each other as described above in the surrounding environment acquired by the self-propelled robot 2.
  • a plurality of self-propelled robots 2 link the information of this local map with the position information and send it to the server 4. Then, based on various information acquired by the plurality of self-propelled robots 2, the information of the real space can be added to the virtual space in real time.
  • the user can perceive the state of the real world near real time through the virtual space.
  • FIG. 9 is a flowchart illustrating the process of S102 in FIG. 7 in detail.
  • the information processing unit 26 of the self-propelled robot 2 detects the face and body of a person (S1020). This detection is performed, for example, by inputting an image acquired by the camera 20 into a trained neural network. This neural network may be trained by a deep learning technique. Further, the person may be detected by feature detection other than the neural network.
  • the information processing unit 26 of the self-propelled robot 2 determines the attributes of the person from the information on the person's face and body (S1021).
  • the attributes of a person are, for example, basic information such as gender, age, and race, and information on individuality such as wearing glasses, hair volume, body shape, and clothing.
  • the attribute information given here is shown as an example, and other information may be acquired.
  • the extraction of information about the attributes of this person may also be processed by the neural network.
  • the information processing unit 26 of the self-propelled robot 2 analyzes the facial features from the detected facial information (S1022).
  • facial features for example, in addition to information such as the position, shape and size of eyes, nose, mouth and the like, facial expressions such as smiling and angry may be acquired. This analysis may also be extracted by a neural network.
  • These analyzes may be realized by separate neural networks or by one neural network. That is, the image information acquired by the camera 20 may be input to the neural network that performs each processing one after another, or the necessary information may be appropriately acquired by inputting the image information to one neural network. good.
  • the information processing unit 26 of the self-propelled robot 2 can extract what kind of characteristics a person has in the surroundings.
  • FIG. 10 is a flowchart illustrating the process of S104 in FIG. 7 in detail.
  • the information processing unit 26 of the self-propelled robot 2 estimates the position and attitude information of the camera (S1040).
  • the acquisition of the position and attitude information is executed by, for example, the method of Visual SLAM.
  • the information processing unit 26 of the self-propelled robot 2 generates a local map showing the positions of people and objects centered on itself (S1042). By generating this local map, the relative positions of the acquired person and object are acquired.
  • the information processing unit 26 of the self-propelled robot 2 may also acquire this position by using a trained neural network.
  • FIG. 11 is a flowchart illustrating the process of S106 in FIG. 7 in detail.
  • the information processing unit 26 of the self-propelled robot 2 executes the detection process of an object / animal in the image acquired by the camera 20 (S1060). For example, this detection process is performed by using a trained neural network.
  • an appropriate neural network can be generated by preparing training data and executing training so as to extract an object to be detected. For example, when it is desired to extract a car or a dog, the training is executed using an image of the car or the dog as training data.
  • the information processing unit 26 of the self-propelled robot 2 executes edge extraction on the image acquired by the camera 20 by using a semantic segmentation method (S1062).
  • the information processing unit 26 of the self-propelled robot 2 acquires, for example, contour information of an object such as a car by this process.
  • the information processing unit 26 of the self-propelled robot 2 acquires information on the surrounding environment that cannot be detected by detecting objects such as roads and trees.
  • the information processing unit 26 of the self-propelled robot 2 executes high-precision segmentation (S1064). For example, from the acquired information of the object and the acquired contour information of the object, it can be determined by segmentation that the inside thereof is the area occupied by the target object. As an example, the information processing unit 26 of the self-propelled robot 2 acquires information indicating what kind of object and environment occupies what kind of position from an image in which each area is filled by high-precision segmentation. ..
  • FIG. 12 is a flowchart illustrating the processing of S110 and S112 in FIG. 7 in detail.
  • the information processing unit 26 of the self-propelled robot 2 separates the environmental sound and the voice by analyzing the sound information acquired by the microphone 22 (S1100). This separation may be achieved based on features or by a trained neural network.
  • the information processing unit 26 of the self-propelled robot 2 recognizes what kind of state the separated environmental sound is (S1102). For example, it recognizes what kind of environmental sounds are, such as people's cheers, laughter, sounds of cars passing by, sounds of water flowing, and so on.
  • the information processing unit 26 of the self-propelled robot 2 executes voice recognition (S1120).
  • voice recognition acquires information on voice such as pitch, fast speech, etc., and further analyzes the voice into the characteristics of each sound to acquire the content of the spoken voice.
  • this recognition process may also be realized by a trained neural network.
  • the information processing unit 26 of the self-propelled robot 2 executes the meaning understanding of the acquired voice (S1122). For example, the information processing unit 26 of the self-propelled robot 2 converts the acquired voice into characters, assigns meaningful Chinese characters in Japanese, inserts appropriate punctuation marks, and acquires the meaning information. This acquisition may be realized by a neural network. Furthermore, the information whose meaning is understood may be translated. For example, information obtained by translating a conversation in English into Japanese may be obtained.
  • the information processing unit 26 of the self-propelled robot 2 acquires person information, object information, position information, environmental sound information, and meaning understanding information. Then, in the process of S114 of FIG. 7, the linking process of these information is executed. By executing the linking process, the self-propelled robot 2 can assign each information of a person, an object, an environment, a sound, and a voice as a relative position around itself. The self-propelled robot 2 stores these linking information in a storage unit provided in the self-propelled robot 2.
  • FIG. 13 is a diagram showing an example of the linked information.
  • the information processing unit 26 of the self-propelled robot 2 has what kind of person, what kind of object, and what kind of environment is in what position as a relative position centered on itself. Is generated as a local map. Further, from the associative information, it is possible to acquire information such as what kind of conversation the person in which position is having, and whether the car in which position is an ambulance and the siren is sounding.
  • person A is in relative positions X1, Y1, and Z1 centered on the self-propelled robot 2, and this person is a man, is 180 cm tall, is an adult, and emits meaningful voice.
  • Etc. are acquired as association information. This information is shown as an example and is not limited. For example, additional information such as being fat may be added.
  • the information of the person B at the positions X2, Y2, and Z2 is also acquired as the person information in association with the position information and stored in the local storage unit.
  • FIG. 14 is a flowchart illustrating the process of S116 in FIG. 7 in detail.
  • the information processing unit 26 of the self-propelled robot 2 acquires its own global position based on, for example, GPS (Global Positioning System) positioning information (S1160).
  • the global position means, for example, a position representing a point on the earth indicated by latitude and longitude.
  • the self-propelled robot 2 transmits the above-mentioned linked information and the positioning information to the server 4 via the communication unit 28 (S1162).
  • the information is not limited to the server 4, and when another self-propelled robot 2 exists in the vicinity, information may be transmitted to the other self-propelled robot 2.
  • the local map may be corrected or updated based on the received information from the other self-propelled robot 2. For example, it is possible to acquire more accurate target position information by interpolating the information with the information from the two self-propelled robots 2.
  • the information processing unit 42 of the server 4 acquires the information from the self-propelled robot 2 and projects the person / object / environment information onto the global map based on the positioning information (S1164).
  • the information of this global map may be stored in the storage unit of the server 4 as a database.
  • FIG. 15 is a flowchart illustrating the processing of S118 in FIG. 7 in detail.
  • Server 4 generates an avatar from the person detection result of the association information acquired from the self-propelled robot 2 (S1180). For example, an avatar with a suitable shape, size, clothes, etc. is generated based on gender information and physique information. For avatar generation, privacy filters may be applied. For example, a person with a small amount of hair may convert it into an avatar with a reasonable amount of hair and generate it. For example, a person in a wheelchair may apply an avatar with the wheelchair turned off. In addition, if it is found that there is an ethical problem, the information in which the problematic information is deleted may be output.
  • an avatar may be applied based on the person authentication result.
  • the self-propelled robot 2 may perform personal authentication of a person.
  • the personal authentication database on the server 4 or the like may be accessed.
  • the avatar may be output regardless of the clothes or the like at that time. It may be the registration of the avatar itself, or, for example, in the case mentioned in the previous example, if it is registered that the avatar is generated in that way because the hair is thin, the request is made.
  • An avatar may be generated according to the above. On the contrary, when the user refuses to exist in the virtual space, the avatar of the user may not be output to the virtual space.
  • the information processing unit 42 of the server 4 first executes a voice analysis that understands the meaning of the voice information (S1182). As a result of the analysis, the information processing unit 42 of the server 4 determines whether or not there is a special vocabulary (S1184).
  • the special vocabulary includes meanings such as discriminatory terms, personal names, and personal information.
  • a special vocabulary exists (S1184: YES), it is deleted by filtering the special vocabulary, or converted to appropriate words, sounds, etc. and output. If there is no special vocabulary (S1184: NO), the voice that understands the meaning should be output as it is.
  • the output may be stored in the database as character information, for example. At the time of output, the character information may be output as the character information in the terminal device 3, or the character information may be converted into voice information and output.
  • the user can experience the virtual reality that is synchronized with the reality in real time.
  • the self-propelled robot 2 automatically moves, and it is possible to generate a virtual reality based on the acquired real-time information.
  • a person avatar and an object are generated based on real-time updated information.
  • the user can come into contact with the information acquired by the self-propelled robot 2 via the terminal device 3.
  • the terminal device 3 Through the terminal device 3, the user listens to what a person is talking about, and goes to a place where there are many smiling people, a place where there are many smiling people, a place where there are many angry people, etc. in the virtual space. It becomes possible to do.
  • An index indicating a place where there are many smiling people, a place where people are excited, etc. may be presented in the virtual space.
  • FIG. 16 is a diagram showing an example of a virtual space output to the terminal device 3.
  • the user can reconfigure the terminal device 3 in the server 4 based on the information acquired by the self-propelled robot 2 and the actual real-time presence of people and the surrounding environment information. Through this, it is possible to experience a state close to actual information.
  • the gesture information of a person may be acquired based on the information acquired by the camera 20.
  • the avatar in the virtual space may act according to the gesture.
  • the self-propelled robot 2 may move to a position where the information on the swelling position is acquired, and the content of the swelling may be reflected in the virtual space.
  • a predetermined NG word is set, but conversely, if a keyword is set and the keyword can be acquired as a result of understanding the meaning, the self-propelled robot 2 moves so that the information can be acquired. It may be reflected in the virtual space.
  • FIG. 17 is a diagram showing an example of position movement in the terminal device 3.
  • a user may be provided with an interface for designating a position so that he / she can experience virtual reality at the position based on the place name input to the interface.
  • the information reflected in the real tom can be accessed as described above.
  • the self-propelled robot 2 is not in the vicinity, the virtual reality reconstructed by the latest information in the past may be accessed.
  • the user may search for a raised place, for example, and experience the virtual reality at the place via the terminal device 3.
  • parameters related to excitement may be extracted from the analysis information of the environmental sound.
  • a place where a large number of people are gathering, a place where there are many dogs, etc. may be specified.
  • the self-propelled robot 2 may be selected and the image may be switched to the image from the viewpoint of the selected self-propelled robot 2. good.
  • the user can experience the virtual reality with a more realistic feeling.
  • the change of the camera position is not limited to this, and the user may specify an arbitrary position on the terminal device 3 to reconstruct the virtual reality with the position as the camera position.
  • the self-propelled robot 2 deletes the information and goes to the server 4 instead of processing it on the server 4 side. You may send it.
  • the privacy information can be deleted without being transmitted from the self-propelled robot 2 to the server 4.
  • discriminatory terms and the like may be deleted as described above.
  • the same time or the same timing does not mean that they represent exactly the same moment, but a time that can be regarded as the same time, for example, depending on a sensor or the like, 30 ms, 50 ms, 60.
  • the time may include an error such as millisecond, 100 millisecond, 500 millisecond, or 1 second or more.
  • a time error such as ⁇ 1/10 of the period (temporal pitch) of the acquisition of the position estimation by each method or the output of the position estimation result may be included, or more strictly, ⁇ . It may include a time error such as 1/100.
  • the aspect of the present disclosure may be implemented programmatically.
  • the program may be stored in a storage unit, and information processing by software may be specifically realized by hardware.
  • the software processing may be implemented by an analog circuit or a digital circuit, for example, an FPGA (Field Programmable Gate Array), an ASIC (Application Specific Integrated Circuit), or a DSP (Digital Signal Processor), in addition to the computer.
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • DSP Digital Signal Processor
  • a receiving unit that receives the information detected by the self-propelled robot and the position information of the self-propelled robot.
  • An information processing unit that processes information sensed by the self-propelled robot and position information of the self-propelled robot to form a virtual space in accordance with the real space in which the self-propelled robot exists.
  • a transmission unit that transmits information on the virtual space to the terminal device, Server with.
  • the receiving unit acquires information from the plurality of self-propelled robots.
  • the server according to (1).
  • the information processing unit When the image information detected by the self-propelled robot includes person information, the information processing unit generates an avatar based on the person information.
  • the server according to (1) or (2).
  • the information processing unit performs a predetermined filter process on the information detected by the self-propelled robot and reflects it in the virtual space.
  • the server according to any one of (1) to (3).
  • the information processing unit deletes the word and outputs the word.
  • the server according to (4).
  • the information processing unit generates a global map based on the position information of the self-propelled robot, links the information detected by the self-propelled robot in the global map with the position information, and reflects it in the virtual space.
  • the server according to any one of (1) to (5).
  • the self-propelled robot that transmits data to the server according to any one of (1) to (6).
  • Sensors that detect surrounding information,
  • a communication unit that transmits the sensed information converted by a predetermined process,
  • a person is detected from the information acquired by the camera, the characteristics of the person are extracted, and the person is transmitted to the server.
  • Self-propelled robot
  • the information processing unit acquires the information of the local map from the self-propelled robot described in (11) and reflects it in the global map.
  • the server according to any one of (1) to (6).
  • the sensor comprises a microphone that acquires ambient sound information.
  • the self-propelled robot according to any one of (7) to (13).
  • Voice information is extracted from the information acquired by the microphone to understand the meaning of the voice information.
  • the self-propelled robot according to (14).
  • the sensor includes a camera that acquires an image of the surroundings and a microphone that acquires sound information of the surroundings. It was recognized from the person information detected from the information acquired by the camera, its own position and posture information estimated from the information acquired by the camera, the object information recognized from the information acquired by the camera, and the information acquired by the microphone. A local map is generated based on the environmental sound and the voice information recognized from the information acquired by the microphone, and transmitted to the server.
  • the self-propelled robot according to (7).
  • a terminal device connected to the server according to any one of (1) to (16).
  • an input interface for specifying a place to move in the virtual space is provided.
  • a keyword search can be performed via the input interface.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)
  • Toys (AREA)

Abstract

自走式ロボットによる仮想空間生成を実現する。 ［解決手段］サーバは、受信部と、情報処理部と、送信部を備える。受信部は、自走式ロボットが感知した情報及び前記自走式ロボットの位置情報を受信する。情報処理部は、前記自走式ロボットが感知した情報及び前記自走式ロボットの位置情報を処理し、前記自走式ロボットが存在する現実の空間に則した仮想空間を構成する。送信部は、前記仮想空間の情報を端末装置に送信する。

Description

サーバ、自走式ロボット及び端末装置
　本開示は、サーバ、自走式ロボット及び端末装置に関する。
　仮想空間において、他人とコミュニケーションを取ったり、自分の思い通りの行動をしたりと言ったことは、近年広く行われている。しかしながら、このような仮想空間は、現実の空間とは同期せず、現実とは異なる作られた空間内でユーザが行動をするのが一般的である。現実空間を取得する技術として、地図において指定した地点の風景を取得する技術があるが、この技術は、ある時点で撮影された画像をブラウザ等のアプリケーションにより取得するものであり、リアルタイムに現実空間の状況が取得できるわけでは無い。
　また、自走式ロボットの開発が広く行われており、自走式のペット型ロボット等の研究が盛んに行われている。しかしながら、このような自走式ロボットは、工場、サービス業においては、多少使用されているものの、他の用途への応用が進んでいるとは言いがたい。
特開2004-355616号公報
　そこで、本開示は、自走式ロボットによる仮想空間生成を実現するサーバ、自走式ロボット及び端末装置を提供する。
　一実施形態によれば、サーバは、自走式ロボットが感知した情報及び自走式ロボットの位置情報を受信する、受信部と、自走式ロボットが感知した情報及び自走式ロボットの位置情報を処理し、自走式ロボットが存在する現実の空間に則した仮想空間を構成する、情報処理部と、仮想空間の情報を端末装置に送信する、送信部と、を備える。
　自走式ロボットは、複数であってもよく、受信部は、複数の自走式ロボットからの情報を取得してもよい。
　情報処理部は、自走式ロボットが感知した画像情報に人物情報が含まれる場合に、当該人物情報に基づいてアバターを生成してもよい。
　情報処理部は、自走式ロボットが感知した情報に対して、所定のフィルタ処理をして仮想空間へと反映してもよい。
　情報処理部は、自走式ロボットが感知した音情報に、所定の単語が含まれる場合に、当該単語を削除して出力してもよい。
　情報処理部は、自走式ロボットの位置情報に基づいてグローバルマップを生成し、当該グローバルマップにおいて自走式ロボットが感知した情報を位置情報と紐付けて仮想空間に反映してもよい。
　上記のサーバにデータを送信する自走式ロボットは、周辺の情報を感知する、センサと、所定の処理により変換された、感知した情報を送信する、通信部と、を備える。
　センサは、周辺の画像を取得するカメラを備えてもよい。
　カメラにより取得した情報から、人物を検出し、人物の特徴を抽出してサーバへと送信してもよい。
　カメラにより取得した情報を用いて、自己の位置、姿勢を推定してもよい。
　自己の位置及び自己の姿勢に基づいて、自らが収集した情報の位置を表すローカルマップを生成してもよい。
　情報処理部は、上記の自走式ロボットからローカルマップの情報を取得し、グローバルマップへと反映してもよい。
　カメラにより取得した情報から、物体を認識し、物体に関する情報をサーバへと送信してもよい。
　センサは、周辺の音情報を取得するマイクを備えてもよい。
　マイクにより取得した情報から、音声情報を抽出し、当該音声情報の意味理解をしてもよい。
　センサは、周辺の画像を取得するカメラと、周辺の音情報を取得するマイクと、を備え、カメラにより取得した情報から検出した人物情報、カメラにより取得した情報から推定された自らの位置、姿勢情報、カメラにより取得した情報から認識した物体情報、マイクにより取得した情報から認識した環境音、及び、マイクにより取得した情報から認識した音声情報、に基づいて、ローカルマップを生成し、サーバへと送信してもよい。
　上記のサーバに接続される端末装置は、グローバルマップにおいて、仮想空間で移動したい場所を指定する入力インタフェースを備え、サーバから、指定された場所に関する情報を受信し、受信した情報に基づいて仮想空間を出力する。
　入力インタフェースを介してキーワード検索が実行可能であってもよい。
一実施形態に係る情報処理システムの概略を示す図。 一実施形態に係る自走式ロボットの一例を示す図。 一実施形態に係る自走式ロボットの概略の一例を示すブロック図。 一実施形態に係る端末装置の一例を示す図。 一実施形態に係る端末装置の概略の一例を示すブロック図。 一実施形態に係るサーバの概略の一例を示すブロック図。 一実施形態に係る仮想空間についての処理の一例を示すフローチャート。 一実施形態に係る自走式ロボットによる情報収集の一例を示す図。 一実施形態に係る処理の一部を示すフローチャート。 一実施形態に係る処理の一部を示すフローチャート。 一実施形態に係る処理の一部を示すフローチャート。 一実施形態に係る処理の一部を示すフローチャート。 一実施形態に係る情報紐付けの一例を示す図。 一実施形態に係る処理の一部を示すフローチャート。 一実施形態に係る処理の一部を示すフローチャート。 一実施形態に係る端末装置の出力の一例を示す図。 一実施形態に係る端末装置の入出力の一例を示す図。
　以下、図面を用いて本開示における実施形態について説明する。説明においては、一例として移動体を自走式ロボットとし、自走式ロボットの位置に基づいて位置情報、周囲の環境情報等の取得をしているが、移動体は、自走式ロボットには限られず、例えば、車両、飛行体等であってもよい。自走式ロボットは、例えば、センサの感知情報及び感知情報を位置情報へと変換するアルゴリズムに基づいて、自己位置、姿勢を推定する自己位置推定機能を複数種類有していてもよい。
　図１は、一実施形態に係る情報処理システム1の概略を示す図である。情報処理システム1は、例えば、複数の自走式ロボット2と、複数の端末装置3と、サーバ4と、を備える。
　自走式ロボット2は、種々のセンサと、移動手段と、通信手段と、を有する。自走式ロボット2は、移動手段により、自動的に現実世界を走行し、有している種々のセンサを介して情報を収集する。そして、自走式ロボット2は、収集した情報を、通信手段を介してサーバ4へと送信する。また、サーバ4からの指令を受信し、受信した指令に基づいて制御される構成であってもよい。この自走式ロボット2は、ペット型ロボットであってもよい。自走式とは、地面を走行することには限られず、空中を自動的に移動する形式であってもよい。また、自走式ロボット2は、情報処理手段を備えていてもよく、センサにより感知した情報に対して適切な処理を行った上で、通信手段を介してサーバ4へと送信してもよい。
　端末装置3は、例えば、入出力インタフェースと、通信手段と、を有する。端末装置3は、ユーザが操作する端末であり、例えば、スマートホン、タブレット端末、テレビ装置又はコンピュータ装置等であってもよい。ユーザは、端末装置3の入出力インタフェースを介して、サーバ4により処理された仮想現実内における情報を取得し、又は、行動をすることができる。また、別の例として、端末装置3は、入力インタフェースを有さずに、出力インタフェースを有する構成であってもよい。この場合、ユーザは、端末装置3の出力インタフェースを介して、仮想現実内の様子を見たり聞いたりすることにより感知することができる。また、端末装置3は、情報処理手段を備えていてもよく、サーバ4との間で送受信する情報を適切に処理してもよい。
　サーバ4は、例えば、クラウド上に存在するサーバ装置である。サーバ4は、通信手段と、情報処理手段と、を有する。サーバ4は、通信手段を介して自走式ロボット2から取得した情報を適切に処理して端末装置3へと送信する。また、端末装置3からの入力を受け付けてもよく、この場合、端末装置3から受信した要求に従った情報処理を実行し、端末装置3、又は、自走式ロボット2へと送信してもよい。
　上記において、各構成要素に備えられる情報処理手段は、例えば、CPU（Central Processing Unit）等の処理回路、又は、専用の回路であってもよく、さらには、必要に応じてアクセラレータ等を搭載していてもよい。また、各構成要素に備えられる通信手段は、例えば、送信回路、受信回路、及び、アンテナを含む通信回路であってもよい。さらに、各構成要素には、必要なデータを格納するストレージ等の記憶手段が備えられていてもよい。この記憶手段は、揮発性、又は、不揮発性のメモリを含んでいてもよい。
　図２は、一実施形形態に係る自走式ロボット2の一例として自律歩行型のロボットを模式的に示す図である。また、図３は、一実施形態に係る自走式ロボット2の概略を示すブロック図である。自走式ロボット2は、センサとして、例えば、カメラ20とマイク22を備え、その他、移動部24と、情報処理部26と、通信部28と、を備える。なお、自走式ロボット2の形状等は、一例として示したものであり、本開示における自走式ロボット2の形状、形態は、このような形状、形態に限定されるわけではない。また、各構成要素は、図２に示されている位置にある必要は無く、自走式ロボット2内の適切な箇所に備えられていればよい。
　カメラ20は、自走式ロボット2の周辺における視覚的な感知情報を取得する。カメラ20は、単眼カメラには限られず、複眼カメラのように複数備えられていてもよい。また、RGBカメラには限られず、IRカメラ、又は、RGBDカメラを備えていてもよい。
　マイク22は、自走式ロボット2の周辺における聴覚的な感知情報を取得する。マイク22は、指向性マイクであってもよく、この場合、感知した音の方向情報をも取得してもよい。また、マイク22も単数ではなく、複数が備えられていてもよい。
　移動部24は、自走式ロボット2が移動するためのモジュールであり、例えば、図２に示す脚型のデバイスであってもよい。別の例として、タイヤ、キャタピラ等の手段であってもよい。
　情報処理部26は、カメラ20、マイク22が感知した情報を処理して、通信部28を介してサーバ4へと出力する。また、情報処理部26は、移動部24を制御し、自走式ロボット2の移動を制御してもよい。移動部24の制御は、自走式ロボット2に備えられる記憶手段に格納されている情報に基づいて実行してもよいし、又は、端末装置3若しくはサーバ4からの制御信号に基づいて実行してもよい。例えば、情報処理部26は、センサによって感知された情報をディープラーニングにより訓練されたニューラルネットワークに入力することにより、動きを生成して、自走させてもよい。また、情報処理部26は、自走式ロボット2内に複数備えられてもよく、例えば、画像解析用の処理部、音解析用の処理部、がそれぞれ備えられ、並行に情報を処理してもよい。
　自走式ロボット2は、自動的に、又は、端末装置3等からの制御に基づいて周辺の情報を取得し、自走することにより、自らの周辺における環境情報を取得する。また、自走式ロボット2は、自走しながら取得した環境情報について、適切な処理をした上で、処理された情報をサーバ4へと送信する。
　図４は、一実施形態に係る端末装置3を模式的に示す図である。また、図５は、一実施形態に係る端末装置3の概略を示すブロック図である。図４に示すように、例えば、端末装置3は、スマートホンである。端末装置3は、通信部30と、情報処理部32と、入出力インタフェース（以下、入出力I/F　34と呼ぶ）と、を備える。
　通信部30は、例えば、Wi-Fi、無線電話回線等を介してインターネット等と接続される通信を行う。端末装置3は、通信部30により、インターネット等を介してサーバ4と接続される。この通信は、サーバ4から必要な情報を取得する通信であってもよく、又は、双方向の通信であってもよい。また、サーバ4からブロードキャストされている情報を取得する通信手法であってもよい。
　情報処理部32は、例えば、サーバ4から受信した情報を適切に処理し、ユーザの理解できるデータへと変換する。また、ユーザが自走式ロボット2、サーバ4に対して何らかの制御を入力する場合には、この入力された信号を適切に処理し、通信部30を介して送信してもよい。さらに、ユーザが入出力I/F　34に出力されている情報に基づいて出力データを制御する入力をする場合には、この入力された信号及び制御対象を適切に処理し、出力する処理を実行してもよい。
　入出力I/F　34は、ユーザへの視覚情報、音情報、振動情報の出力、及び、ユーザからの指示を入力するインタフェースである。入出力I/F　34は、例えば、スクリーン、マイク、ステレオ、バイブレータ、タッチパネルを備える。端末装置3がスマートホンの場合を説明したが、別の例として端末装置3がコンピュータである場合には、入出力I/F　34は、例えば、ディスプレイ、マウス、キーボード等を備えていてもよい。ユーザは、この入出力I/F　34を介してサーバ4又は端末装置3において処理された情報を取得し、また、サーバ4若しくは自走式ロボット2の制御信号を入力する。
　図６は、一実施形態に係るサーバ4の概略を示すブロック図である。サーバ4は、例えば、通信部40と、情報処理部42と、を備える。また、サーバ4は、クラウド上に備えられるサーバであってもよく、1台で構成されるには限定されず、複数のサーバにより構成されてもよい。
　通信部40は、自走式ロボット2及び端末装置3との通信を制御する。サーバ4は、通信部40を介して自走式ロボット2及び端末装置3との通信を行う。通信部40は、例えば、自走式ロボット2からの情報を受信する、受信部と、端末装置3へと情報を送信する、送信部と、を備えていてもよい。もちろん、受信部は、端末装置3からの情報を受信してもよいし、送信部は、自走式ロボット2へと情報を送信してもよい。
　情報処理部42は、自走式ロボット2から受信したデータを適切に処理し、通信部40を介して端末装置3へと送信する。情報処理部42は、例えば、自走式ロボット2から受信した感知情報を再構成して仮想現実世界を生成する。そして、情報処理部42は、生成した仮想現実世界を端末装置3において再構成できるようなデータを、通信部40を介して端末装置3へと送信する。
　また、サーバ4は、記憶部を備えており、この記憶部には、データベースが構築されていてもよい。データベースには、例えば、後述する各種認識情報と、位置情報との紐付け情報等が格納される。このデータベースを処理することにより、ユーザの端末装置3において、サーバ4が有しているデータにアクセスすることにより、ユーザが仮想空間における情報収集を行ったり、仮想空間内において行動をしたりすることができる。
　次に、情報処理システム1の全体的な処理を詳細に説明する。いくつかのフローチャートを用いて説明するが、これらのフローチャート処理は、説明した順番に実行される必要は無い。例えば、各構成の情報処理部により並列に処理できる処理は、並列に処理をしてもよいし、データ間に依存性が無い処理については、それらの実行の順番を入れ替えてもよい。
　図７は、情報処理システム1の全体的な処理を示すフローチャートである。本図は、全体的な処理を示すフローチャートであり、それぞれの処理についての流れは、後述で詳しく説明する。
　まず、自走式ロボット2は、カメラ20等の視覚情報を感知するセンサを用いて画像情報を取得する（S100）。
　自走式ロボット2の情報処理部26は、取得した画像内に、人物が写っている場合に、当該人物を検出する（S102）。情報処理部26は、画像内に複数の人物が写っている場合には、複数の人物を検出する。
　また、自走式ロボット2の情報処理部26は、画像から取得された周囲の環境に基づいて自らの位置推定を実行する（S104）。この位置推定には、例えば、SLAM（Simultaneous Localization and Mapping）の技術、特に、Visual SLAMの技術が利用されてもよい。
　さらに、自走式ロボット2の情報処理部26は、画像内における物体認識を行う（S106）。ここで、物体とは、人物以外で画像に写っているものであり、例えば、車、犬等のことを示す。
　一方、自走式ロボット2は、マイク22等の聴覚情報を感知するセンサを用いて音の情報を取得する（S108）。
　自走式ロボット2の情報処理部26は、取得した音情報の判別を実行する（S110）。音の判別は、例えば、音声と、環境音等のその他の音と、を区別する処理である。
　自走式ロボット2の情報処理部26は、判別した音情報に人間の音声が含まれる場合に、この音声情報の認識を実行する（S112）。
　S100からS112 の処理は、適切に処理できる範囲であれば、パラレルに実行されてもよいし、シーケンシャルに実行されてもよい。
　これらの処理が完了した後、自走式ロボット2の情報処理部26は、画像情報と音情報とを紐付ける処理を実行する（S114）。この紐付けられた情報は、自走式ロボット2のそれぞれに備えられる記憶部に格納される。
　次に、自走式ロボット2は、グローバルな位置を取得し、取得した位置情報と処理した認識情報とを紐付ける（S116）。そして、自走式ロボット2は、送信部28を介してこの紐付けられた情報をサーバ4へと送信する。送信は、紐付け情報を取得したタイミングで実行されてもよいし、所定の時間ごとにそのタイミングにおいて取得できている情報を送信するように実行されてもよい。
　次に、サーバ4の情報処理部42は、1又は複数の自走式ロボット2から取得した紐付け情報に基づいて、アバターと認識結果とを紐付ける（S118）。サーバ4の情報処理部42は、例えば、アバターを人物等に対して適用して、仮想空間内においてアバターにより仮装した人物、物体を配置し、音情報等を適切にアバター等に紐付けて記憶部に格納する。
　このように、仮想空間内の人物・物体が自走式ロボット2により取得された情報に基づいて適切な情報を紐付けた上で配置される。
　図８は、一実施形態に係る現実世界における自走式ロボット2の情報取得の一例について示す図である。この図８に示すように、複数の自走式ロボット2が街中を移動することにより、周辺の環境を、画像情報、音情報として取得する。
　自走式ロボット2は、各個体がローカルマップを有する。ローカルマップは、自走式ロボット2の取得した周辺の環境を、前述のように情報同士の紐付けを行って生成したマップである。複数の自走式ロボット2がこのローカルマップの情報と、位置情報とを紐付けてサーバ4へと送信する。そして、複数の自走式ロボット2により取得された各種情報に基づいて、仮想空間に、現実の空間の情報をリアルタイムに付加することができる。ユーザは、端末装置3を介してサーバ4の情報を取得することにより、リアルタイムに近い現実世界の状態を、仮想空間を通して知覚することが可能となる。
　以下、図７のフローチャートの各処理の内容について、詳しく説明する。
　図９は、図７におけるS102の処理を詳しく説明するフローチャートである。
　まず、自走式ロボット2の情報処理部26は、人物の顔と身体を検出する（S1020）。この検出は、例えば、カメラ20が取得した画像を訓練済のニューラルネットワークに入力することにより実行される。このニューラルネットワークは、ディープラーニングの手法により訓練されたものであってもよい。また、ニューラルネットワークではない特徴検出により人物の検出を行ってもよい。
　次に、自走式ロボット2の情報処理部26は、人物の顔、身体の情報から、人物の属性を判別する（S1021）。人物の属性とは、例えば、性別、年齢、人種といった基本的な情報、及び、めがねを着用している、髪の毛の量、体型、服装といった、個性に関する情報である。ここで挙げた属性情報は、一例として示したものであり、この他の情報を取得してもよい。この人物の属性に関する情報の抽出も、ニューラルネットワークにより処理されてもよい。
　次に、自走式ロボット2の情報処理部26は、検出した顔の情報から、顔の特徴を分析する（S1022）。顔の特徴の分析とは、例えば、目、鼻、口等の位置、形状及び大きさ等の情報の他、笑顔である、怒っている等の顔の表情を取得してもよい。この分析も、ニューラルネットワークにより抽出されてもよい。
　これらの分析は、別々のニューラルネットワークにより実現されてもよいし、1つのニューラルネットワークにより実現されてもよい。すなわち、カメラ20が取得した画像情報を、それぞれの処理を行うニューラルネットワークに次々に入力してもよいし、1つのニューラルネットワークに入力することにより、上記の必要な情報を適切に取得してもよい。
　このような処理を実行することにより、自走式ロボット2の情報処理部26は、どのような特徴を有する人物が周囲にいるかを抽出することができる。
　図１０は、図７におけるS104の処理を詳しく説明するフローチャートである。
　まず、自走式ロボット2の情報処理部26は、カメラの位置、姿勢情報を推定する（S1040）。この位置、姿勢情報の取得は、例えば、Visual SLAMの手法により実行される。
　次に、自走式ロボット2の情報処理部26は、自らを中心とした、人物・物体の位置を示すローカルマップを生成する（S1042）。このローカルマップを生成することにより、取得した人物、物体がどのような相対位置に存在しているかを取得する。自走式ロボット2の情報処理部26は、この位置の取得も、訓練済のニューラルネットワークにより実行してもよい。
　このように処理することで、人物・物体がどこに存在するかとともに、周辺の環境と位置を相対的に取得することも可能であり、環境のローカルマップ、例えば、どのような位置にどのような建物があるか、どのような位置にどのような車が存在するか、どのような位置にどのような植物があるか、を示すローカルマップを生成することができる。
　図１１は、図７におけるS106の処理を詳しく説明するフローチャートである。
　自走式ロボット2の情報処理部26は、カメラ20が取得した画像内において、物体・動物の検出処理を実行する（S1060）。例えば、この検出処理は、訓練済のニューラルネットワークを使用することにより実行される。この場合、検出の対象となる物体を抽出するように、訓練データを準備して訓練を実行することにより、適切なニューラルネットワークを生成することができる。例えば、車、犬を抽出したい場合には、車、犬が写っている画像等を訓練データとして用いて訓練を実行する。
　この処理と並行して、自走式ロボット2の情報処理部26は、カメラ20が取得した画像に対してセマンティックセグメンテーションの手法を用いて、エッジの抽出を実行する（S1062）。自走式ロボット2の情報処理部26は、例えば、車等の物体の輪郭情報をこの処理により取得する。また、自走式ロボット2の情報処理部26は、道路、木等の物体検出では検出できない周辺の環境情報を取得する。
　これらの検出結果を用いて、自走式ロボット2の情報処理部26は、高精度のセグメンテーションを実行する（S1064）。例えば、取得された物体の情報と、取得された当該物体の輪郭情報から、その内部が対象となる物体が占める領域であることをセグメンテーションにより判断することができる。一例として、自走式ロボット2の情報処理部26は、高精度セグメンテーションにより、各領域を塗りつぶした画像により、どのような物体、環境が、どのような位置を占めているかを示す情報を取得する。
　図１２は、図７におけるS110及びS112の処理を詳しく説明するフローチャートである。
　自走式ロボット2の情報処理部26は、マイク22が取得した音情報を分析することにより、環境音と音声とを分離する（S1100）。この分離は、特徴量に基づいて実現されてもよいし、訓練済のニューラルネットワークにより実現されてもよい。
　自走式ロボット2の情報処理部26は、分離した環境音がどのような状態の音であるかを認識する（S1102）。例えば、人の歓声、笑い声である、車が通っている音である、水が流れている音である、等の周囲の環境音がどのような音であるかを認識する。
　一方で、分離した音声に関しては、自走式ロボット2の情報処理部26は、音声認識を実行する（S1120）。例えば、音声認識は、声の高低、早口、等の音声に関する情報を取得し、さらには、その音声を各音が有する特徴に分析して話し声の内容を取得する。もちろん、この認識処理も訓練済のニューラルネットワークにより実現されてもよい。
　音声の内容を取得した後、自走式ロボット2の情報処理部26は、取得した音声の意味理解を実行する（S1122）。自走式ロボット2の情報処理部26は、例えば、取得した音声を文字に変換し、日本語であれば、意味の通る漢字を割り当て、適切な句読点を挿入し、当該意味情報を取得する。この取得は、ニューラルネットワークにより実現されてもよい。さらには、意味理解をした情報について翻訳をしてもよい。例えば、英語でされている会話を日本語に翻訳した情報を取得してもよい。
　上記に挙げた種々の処理により、自走式ロボット2の情報処理部26は、人物情報、物体情報、位置情報、環境音情報及び意味理解情報を取得する。そして、図７のS114の処理において、これらの情報の紐付け処理を実行する。紐付け処理を実行することにより、自走式ロボット2は、自らを中心として、相対位置として、人物、物体、環境、音、音声の各情報を割り当てることができる。自走式ロボット2は、自らに備えられている記憶部にこれらの紐付け情報を格納する。
　図１３は、紐付けた情報の一例を示す図である。この図１３に示すように、自走式ロボット2の情報処理部26は、自らを中心とした相対位置として、どのような人物、どのような物体、どのような環境がどのような位置にあるかをローカルマップとして生成する。さらに、紐付け情報により、どの位置にいる人物がどのような会話をしているか、また、どの位置にある車が救急車であり、サイレンを鳴らしているか、等の情報を取得することができる。
　例えば、人物A は、自走式ロボット2を中心とした相対位置X1、Y1、Z1にいて、この人物は男性であり、身長が180cmであり、大人であり、意味のある音声を発している、といった情報が紐付け情報として取得される。これらの情報は一例として示したものであり、限定されるものではない。例えば、太っている、等の情報がさらに加えられてもよい。同様に、位置X2、Y2、Z2にいる人物Bの情報も、人物情報として位置情報と紐付けられて取得され、ローカルの記憶部に格納される。
　物体検出結果として、犬、救急車等が取得され、これらの位置も同様に紐付けられた情報として取得され格納される。そして、環境情報として、道路が存在する領域があり、この領域は、どのような範囲を占めるかをセグメンテーション情報として格納する。木についても同様であり、どのような領域に木が存在するかをセグメンテーション情報として取得することができる。位置情報として、3次元情報を示したが、これには限られず、単純に2次元情報として取得してもよい。
　図１４は、図７におけるS116の処理を詳しく説明するフローチャートである。
　自走式ロボット2の情報処理部26は、例えば、GPS（Global Positioning System）の測位情報に基づいて、自らのグローバルな位置を取得する（S1160）。グローバルな位置とは、例えば、緯度、経度により示される地球上の点を表す位置のことを意味する。
　次に、自走式ロボット2は、通信部28を介して上記の紐付けられた情報と、測位情報とをサーバ4へと送信する（S1162）。また、サーバ4に限られず、周囲に他の自走式ロボット2が存在する場合には、当該他の自走式ロボット2へと情報を送信してもよい。この場合、受信した他の自走式ロボット2からの情報に基づいて、ローカルマップを補正、更新してもよい。例えば、2台の自走式ロボット2からの情報により情報を補間することにより、より正確なターゲットの位置情報を取得することも可能である。
　サーバ4の情報処理部42は、自走式ロボット2からの情報を取得し、人物・物体・環境情報を、測位情報に基づいてグローバルマップへと投影する（S1164）。このグローバルマップの情報は、データベースとしてサーバ4の記憶部に格納されてもよい。
　図１５は、図７におけるS118の処理を詳しく説明するフローチャートである。
　サーバ4は、自走式ロボット2から取得した紐付け情報のうち人物検出結果からアバターを生成する（S1180）。例えば、性別情報、体格情報に基づいて、形状、大きさ、服装等が適しているアバターを生成する。アバター生成に関しては、プライバシーに係わるフィルタを適用してもよい。例えば、髪の毛の量が少ない人は、それなりの髪の毛の量のアバターに変換して生成してもよい。例えば、車いすの人は、車いすを消したアバターを適用してもよい。この他、倫理的に問題があると認められる場合には、当該問題のある情報を削除した情報が出力されるようにしてもよい。
　別の例として、人物認証結果に基づいて、アバターを適用してもよい。例えば、自走式ロボット2は、人物の個人認証を行ってもよい。この場合、サーバ4等にある人物認証のデータベースにアクセスしてもよい。そして、認証された人物に関して、アバターが設定されている場合には、その時の服装等に関係なく、当該アバターを出力してもよい。アバターそのものの登録であってもよいし、例えば、先ほどの例で挙げた場合において、髪が薄いのが個性だから自分のアバターはそのように生成する、と登録されている場合には、その要求にそったアバターが生成されてもよい。また、逆に、ユーザが仮想空間に存在することを拒否する場合には、当該ユーザのアバターを仮想空間に出力しないようにしてもよい。
　サーバ4の情報処理部42は、音声情報に関しては、まず、意味理解した音声の分析を実行する（S1182）。分析した結果、サーバ4の情報処理部42は、特殊語彙があるか否かを判断する（S1184）。特殊語彙とは、例えば、差別用語、人名、個人情報といった意味を含むものである。
　特殊語彙が存在する場合（S1184：YES）、当該特殊語彙をフィルタリングすることにより削除、又は、適切な単語、音等に変換して出力する。特殊語彙が存在しない場合には（S1184：NO）、意味理解した音声をそのまま出力するようにする。サーバ4においては、出力とは、例えば、文字情報としてデータベースに格納されていてもよい。出力時には、文字情報を、端末装置3において文字情報として出力するようにしてもよいし、文字情報を音声情報に変換して出力するようにしてもよい。
　ユーザは、端末装置3において、上記に基づいて生成された仮想空間にアクセスすることにより、現実とリアルタイムに同期している仮想現実を体験することが可能となる。
　以上のように、本実施形態によれば、自走式ロボット2が自動的に移動し、取得したリアルタイムの情報に基づいた仮想現実を生成することが可能となる。この仮想現実においては、人物であるアバターと、物体とがリアルタイムに更新された情報に基づいて生成される。ユーザは、端末装置3を介して、自走式ロボット2が取得した情報に接することが可能となる。ユーザは、端末装置3を介して、例えば、人の話している内容を聞いたり、また、盛り上がっている場所、笑顔の人が多い場所、怒っている人が多い場所等に仮想空間内で行ったりすることが可能となる。笑顔の人が多い場所、盛り上がっている場所等を示す指標を仮想空間内に提示してもよい。
　図１６は、端末装置3に出力される仮想空間の一例を示す図である。この図に示すように、実際にリアルタイムで人がいる状態や、周辺の環境情報を、自走式ロボット2が取得した情報を元にサーバ4において再構成して、ユーザは、端末装置3を介して実際の情報に近い状態を体験することが可能となる。
　さらに、種々の変形があってもよい。例えば、カメラ20が取得した情報に基づいて、人物のジェスチャ情報を取得してもよい。ジェスチャに合わせて、仮想空間内のアバターが動作を行ってもよい。
　例えば、環境音として、盛り上がりを検出した場合に、当該盛り上がり位置の情報が取得でいる位置に自走式ロボット2が移動し、盛り上がりの内容を仮想空間内に反映してもよい。
　例えば、上記では所定のNGワードを設定したが、逆にキーワードを設定し、当該キーワードが意味理解の結果として取得できた場合には、当該情報が取得できるように自走式ロボット2が移動して、仮想空間内に反映してもよい。
　図１７は、端末装置3における位置移動の一例を示す図である。この図１７に示すように、ユーザが位置を指定するインタフェースを備え、当該インタフェースに入力された地名に基づいて、当該位置における仮想現実を体験できるようにしてもよい。この場合、当該位置に自走式ロボット2がいる場合には、上記のようにリアルタムに反映された情報にアクセスすることができる。一方で、自走式ロボット2が周辺にいない場合には、過去の最新の情報により再構成された仮想現実にアクセスしてもよい。尤も、周辺に自走式ロボット2がいない場合には、当該情報が無いことを通知して仮想現実において、例えば、環境情報だけを出力する等してもよい。
　また、ユーザは、端末装置3を介して、例えば、盛り上がっている場所を検索して当該位置における仮想現実を体験してもよい。このような場合、環境音の分析情報から、盛り上がりに関するパラメータを抽出してもよい。盛り上がりだけでは無く、例えば、人が大勢集まっているところ、犬がたくさんいるところ、等を指定できてもよい。
　例えば、端末装置3において、図８のような状態が取得できる場合には、自走式ロボット2を選択し、当該選択された自走式ロボット2の視点からの映像に切り替える処理を行ってもよい。この情報は、例えば、ヘッドマウントディスプレイを用いた仮想現実の出力をすることにより、ユーザは、より臨場感を有する仮想現実を体験することが可能となる。
　また、カメラポジションの変更は、これには限られず、ユーザが端末装置3において、任意の位置を指定することにより、当該位置をカメラ位置とした仮想現実を再構成してもよい。
　例えば、自走式ロボット2が収集した情報に、プライバシーに係わる情報が含まれる場合には、サーバ4側で処理するのでは無く、自走式ロボット2が当該情報を削除してサーバ4へと送信してもよい。このように処理することにより、自走式ロボット2からサーバ4へとプライバシー情報が送信されること無く削除することもできる。削除するのは、プライバシー情報だけでは無く、前述したように、差別的な用語等であってもよい。
　本開示において、以上、以下の表現は、より大きい（より高い）、より小さい（より低い）と言い換えることができる。逆に、より大きい（より高い）、より小さい（より低い）という表現は、以上、以下、と言い換えることができる。
　本開示において、同時刻又は同じタイミングとは、厳密に同一の瞬間を表すことを示すのではなく、同一の時刻とみなせる時刻、例えば、センサ等により異なるが、30ミリ秒、50ミリ秒、60ミリ秒、100ミリ秒、500ミリ秒、或いは1秒以上といった誤差を含んだ時刻であってもよい。本開示においては、例えば、各手法による位置推定の取得又は位置推定結果の出力の周期（時間的なピッチ）の～1/10といった時間の誤差を含んでいてもよいし、より厳密に、～1/100といった時間の誤差を含んでいてもよい。これらの数値は例として挙げたものであり、これに限られるものではなく、例えば、取得したい位置推定の精度、処理速度の制限等により適切に変更できるものである。
　本開示の態様は、プログラムにより実装されてもよい。プログラムは、記憶部に記憶され、ソフトウェアによる情報処理がハードウェアにより具体的に実現されるものであってもよい。ソフトウェアの処理は、コンピュータの他、アナログ回路又はデジタル回路、例えば、FPGA（Field Programmable Gate Array）、ASIC（Application Specific Integrated Circuit）、DSP（Digital Signal Processor）により実装されてもよい。
　前述した実施形態は、以下のような形態としてもよい。
（１）
　自走式ロボットが感知した情報及び前記自走式ロボットの位置情報を受信する、受信部と、
　前記自走式ロボットが感知した情報及び前記自走式ロボットの位置情報を処理し、前記自走式ロボットが存在する現実の空間に則した仮想空間を構成する、情報処理部と、
　前記仮想空間の情報を端末装置に送信する、送信部と、
　を備えるサーバ。
（２）
　前記自走式ロボットは、複数であり、
　前記受信部は、複数の前記自走式ロボットからの情報を取得する、
　（１）に記載のサーバ。
（３）
　前記情報処理部は、前記自走式ロボットが感知した画像情報に人物情報が含まれる場合に、当該人物情報に基づいてアバターを生成する、
　（１）又は（２）に記載のサーバ。
（４）
　前記情報処理部は、前記自走式ロボットが感知した情報に対して、所定のフィルタ処理をして仮想空間へと反映する、
　（１）から（３）のいずれかに記載のサーバ。
（５）
　前記情報処理部は、前記自走式ロボットが感知した音情報に、所定の単語が含まれる場合に、当該単語を削除して出力する、
　（４）に記載のサーバ。
（６）
　前記情報処理部は、前記自走式ロボットの位置情報に基づいてグローバルマップを生成し、当該グローバルマップにおいて前記自走式ロボットが感知した情報を位置情報と紐付けて前記仮想空間に反映する、
　（１）から（５）のいずれかに記載のサーバ。
（７）
　（１）から（６）のいずれかに記載のサーバにデータを送信する前記自走式ロボットであって、
　周辺の情報を感知する、センサと、
　所定の処理により変換された、感知した情報を送信する、通信部と、
　を備える、自走式ロボット。
（８）
　前記センサは、周辺の画像を取得するカメラを備える
　（７）に記載の自走式ロボット。
（９）
　前記カメラにより取得した情報から、人物を検出し、前記人物の特徴を抽出して前記サーバへと送信する、
　（８）に記載の自走式ロボット
（１０）
　前記カメラにより取得した情報を用いて、自己の位置、姿勢を推定する、
　（８）又は（９）に記載の自走式ロボット。
（１１）
　前記自己の位置及び前記自己の姿勢に基づいて、自らが収集した情報の位置を表すローカルマップを生成する、
　（１０）に記載の自走式ロボット。
（１２）
　前記情報処理部は、（１１）に記載の自走式ロボットから前記ローカルマップの情報を取得し、前記グローバルマップへと反映する、
　（１）から（６）のいずれかに記載のサーバ。
（１３）
　前記カメラにより取得した情報から、物体を認識し、前記物体に関する情報を前記サーバへと送信する、
　（８）から（１１）のいずれかに記載の自走式ロボット。
（１４）
　前記センサは、周辺の音情報を取得するマイクを備える、
　（７）から（１３）のいずれかに記載の自走式ロボット。
（１５）
　前記マイクにより取得した情報から、音声情報を抽出し、当該音声情報の意味理解をする、
　（１４）に記載の自走式ロボット。
（１６）
　前記センサは、周辺の画像を取得するカメラと、周辺の音情報を取得するマイクと、を備え、
　前記カメラにより取得した情報から検出した人物情報、前記カメラにより取得した情報から推定された自らの位置、姿勢情報、前記カメラにより取得した情報から認識した物体情報、前記マイクにより取得した情報から認識した環境音、及び、前記マイクにより取得した情報から認識した音声情報、に基づいて、ローカルマップを生成し、前記サーバへと送信する、
　（７）に記載の自走式ロボット。
（１７）
　（１）から（１６）のいずれかに記載のサーバに接続される端末装置であって、
　前記グローバルマップにおいて、前記仮想空間で移動したい場所を指定する入力インタフェースを備え、
　前記サーバから、指定された場所に関する情報を受信し、受信した情報に基づいて前記仮想空間を出力する、
　端末装置。
（１８）
　前記入力インタフェースを介してキーワード検索が実行可能である、
　（１７）に記載の端末装置。
　本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。
1：情報処理システム、
2：自走式ロボット、
20：カメラ、22：マイク、24：移動部、26：情報処理部、28：通信部、
3：端末装置、
30：通信部、32：情報処理部、34：入出力I/F、
4：サーバ、
40：通信部、42：情報処理部、

Claims (18)

  1. 　自走式ロボットが感知した情報及び前記自走式ロボットの位置情報を受信する、受信部と、
    　前記自走式ロボットが感知した情報及び前記自走式ロボットの位置情報を処理し、前記自走式ロボットが存在する現実の空間に則した仮想空間を構成する、情報処理部と、
    　前記仮想空間の情報を端末装置に送信する、送信部と、
    　を備えるサーバ。
  2. 　前記自走式ロボットは、複数であり、
    　前記受信部は、複数の前記自走式ロボットからの情報を取得する、
    　請求項１に記載のサーバ。
  3. 　前記情報処理部は、前記自走式ロボットが感知した画像情報に人物情報が含まれる場合に、当該人物情報に基づいてアバターを生成する、
    　請求項１に記載のサーバ。
  4. 　前記情報処理部は、前記自走式ロボットが感知した情報に対して、所定のフィルタ処理をして仮想空間へと反映する、
    　請求項１に記載のサーバ。
  5. 　前記情報処理部は、前記自走式ロボットが感知した音情報に、所定の単語が含まれる場合に、当該単語を削除して出力する、
    　請求項４に記載のサーバ。
  6. 　前記情報処理部は、前記自走式ロボットの位置情報に基づいてグローバルマップを生成し、当該グローバルマップにおいて前記自走式ロボットが感知した情報を位置情報と紐付けて前記仮想空間に反映する、
    　請求項１に記載のサーバ。
  7. 　請求項１に記載のサーバにデータを送信する前記自走式ロボットであって、
    　周辺の情報を感知する、センサと、
    　所定の処理により変換された、感知した情報を送信する、通信部と、
    　を備える、自走式ロボット。
  8. 　前記センサは、周辺の画像を取得するカメラを備える
    　請求項７に記載の自走式ロボット。
  9. 　前記カメラにより取得した情報から、人物を検出し、前記人物の特徴を抽出して前記サーバへと送信する、
    　請求項８に記載の自走式ロボット。
  10. 　前記カメラにより取得した情報を用いて、自己の位置、姿勢を推定する、
    　請求項８に記載の自走式ロボット。
  11. 　前記自己の位置及び前記自己の姿勢に基づいて、自らが収集した情報の位置を表すローカルマップを生成する、
    　請求項１０に記載の自走式ロボット。
  12. 　前記情報処理部は、請求項１１に記載の自走式ロボットから前記ローカルマップの情報を取得し、前記グローバルマップへと反映する、
    　請求項１に記載のサーバ。
  13. 　前記カメラにより取得した情報から、物体を認識し、前記物体に関する情報を前記サーバへと送信する、
    　請求項８に記載の自走式ロボット。
  14. 　前記センサは、周辺の音情報を取得するマイクを備える、
    　請求項７に記載の自走式ロボット。
  15. 　前記マイクにより取得した情報から、音声情報を抽出し、当該音声情報の意味理解をする、
    　請求項１４に記載の自走式ロボット。
  16. 　前記センサは、周辺の画像を取得するカメラと、周辺の音情報を取得するマイクと、を備え、
    　前記カメラにより取得した情報から検出した人物情報、前記カメラにより取得した情報から推定された自らの位置、姿勢情報、前記カメラにより取得した情報から認識した物体情報、前記マイクにより取得した情報から認識した環境音、及び、前記マイクにより取得した情報から認識した音声情報、に基づいて、ローカルマップを生成し、前記サーバへと送信する、
    　請求項７に記載の自走式ロボット。
  17. 　請求項１に記載のサーバに接続される端末装置であって、
    　前記グローバルマップにおいて、前記仮想空間で移動したい場所を指定する入力インタフェースを備え、
    　前記サーバから、指定された場所に関する情報を受信し、受信した情報に基づいて前記仮想空間を出力する、
    　端末装置。
  18. 　前記入力インタフェースを介してキーワード検索が実行可能である、
    　請求項１７に記載の端末装置。
PCT/JP2021/002697 2020-02-25 2021-01-26 サーバ、自走式ロボット及び端末装置 WO2021171877A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-029785 2020-02-25
JP2020029785A JP2023041983A (ja) 2020-02-25 2020-02-25 サーバ、自走式ロボット及び端末装置

Publications (1)

Publication Number Publication Date
WO2021171877A1 true WO2021171877A1 (ja) 2021-09-02

Family

ID=77490928

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/002697 WO2021171877A1 (ja) 2020-02-25 2021-01-26 サーバ、自走式ロボット及び端末装置

Country Status (2)

Country Link
JP (1) JP2023041983A (ja)
WO (1) WO2021171877A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10228231A (ja) * 1997-02-17 1998-08-25 Olympus Optical Co Ltd 擬似体験装置
JP2017047519A (ja) * 2015-09-04 2017-03-09 Ｒａｐｙｕｔａ Ｒｏｂｏｔｉｃｓ株式会社 クラウドロボティクスシステム、情報処理装置、プログラム、並びに、クラウドロボティクスシステムにおけるロボットの制御または支援方法
JP2018515972A (ja) * 2015-04-10 2018-06-14 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイによって提示されるパーソナル空間コンテンツの制御

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10228231A (ja) * 1997-02-17 1998-08-25 Olympus Optical Co Ltd 擬似体験装置
JP2018515972A (ja) * 2015-04-10 2018-06-14 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイによって提示されるパーソナル空間コンテンツの制御
JP2017047519A (ja) * 2015-09-04 2017-03-09 Ｒａｐｙｕｔａ Ｒｏｂｏｔｉｃｓ株式会社 クラウドロボティクスシステム、情報処理装置、プログラム、並びに、クラウドロボティクスシステムにおけるロボットの制御または支援方法

Also Published As

Publication number Publication date
JP2023041983A (ja) 2023-03-27

Similar Documents

Publication Publication Date Title
Kumar et al. RETRACTED ARTICLE: Intelligent face recognition and navigation system using neural learning for smart security in Internet of Things
US20210081650A1 (en) Command Processing Using Multimodal Signal Analysis
Khan et al. Analysis of navigation assistants for blind and visually impaired people: A systematic review
US10024667B2 (en) Wearable earpiece for providing social and environmental awareness
US20210142127A1 (en) Artificial intelligence apparatus and method for recognizing object included in image data
US11823020B2 (en) Artificial intelligence apparatus for generating training data for artificial intelligence model and method thereof
US9355368B2 (en) Computer-based method and system for providing active and automatic personal assistance using a robotic device/platform
EP2779045A1 (en) Computer-based method and system for providing active and automatic personal assistance using an automobile or a portable electronic device
US11276226B2 (en) Artificial intelligence apparatus and method for synthesizing images
US11568239B2 (en) Artificial intelligence server and method for providing information to user
CN112020411B (zh) 用于向用户提供服务的移动机器人装置和方法
WO2020015682A1 (zh) 无人机控制系统和方法
US20180293980A1 (en) Visually impaired augmented reality
US20220398775A1 (en) Localization processing service
JP2024505933A (ja) 視覚障害者の動作を支援するためのコンピュータ実装方法、ウェアラブルデバイス、非一過性のコンピュータ読み取り可能な記憶媒体、コンピュータプログラムおよびシステム
US20220338281A1 (en) Artificial intelligence device for providing device control function based on interworking between devices and method therefor
CN107618036B (zh) 控制装置、控制系统和控制方法
CN114175114A (zh) 从自动驾驶车辆内部识别兴趣点的系统和方法
WO2021171877A1 (ja) サーバ、自走式ロボット及び端末装置
KR102251076B1 (ko) 실내 이미지를 사용하여 설계도면을 추정하는 방법
US11921509B2 (en) Information processing apparatus, information processing method, and program
CN116686044A (zh) 针对上下文数据选择性地使用传感器
Ghazal et al. Localized assistive scene understanding using deep learning and the IoT
CN215897762U (zh) 一种视觉辅助系统
CN114587949B (zh) 一种导盲系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21760819

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21760819

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP