WO2021124902A1 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
WO2021124902A1
WO2021124902A1 PCT/JP2020/044985 JP2020044985W WO2021124902A1 WO 2021124902 A1 WO2021124902 A1 WO 2021124902A1 JP 2020044985 W JP2020044985 W JP 2020044985W WO 2021124902 A1 WO2021124902 A1 WO 2021124902A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
haptics
information
force
unit
Prior art date
Application number
PCT/JP2020/044985
Other languages
English (en)
French (fr)
Inventor
塚越　郁夫
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to EP20903565.8A priority Critical patent/EP4079459A4/en
Priority to CN202080085824.7A priority patent/CN114787754A/zh
Priority to US17/777,214 priority patent/US20220388178A1/en
Priority to JP2021565454A priority patent/JPWO2021124902A1/ja
Publication of WO2021124902A1 publication Critical patent/WO2021124902A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/02—Hand grip control means
    • B25J13/025—Hand grip control means comprising haptic means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085—Force or torque sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Definitions

  • the present disclosure relates to an information processing device and a method, and more particularly to an information processing device and a method capable of performing remote control with higher accuracy.
  • Non-Patent Document 1 a system for remote control by transmitting force sense data, tactile sense data, etc. has been considered (see, for example, Non-Patent Document 1 and Non-Patent Document 2).
  • Non-Patent Document 2 a system for remote control by transmitting force sense data, tactile sense data, etc.
  • This disclosure has been made in view of such a situation, and is intended to enable more accurate remote control.
  • the information processing device of one aspect of the present technology includes force sensation data including information on the force sensation detected at the observation point and information on the tactile sensation detected at the observation point for a plurality of observation points of the device serving as an interface. It is an information processing apparatus including a transmission unit that transmits haptics data including at least one of tactile data including haptic data and force data including information on the magnitude of force applied to the observation point.
  • the information processing method of one aspect of the present technology includes force sensation data including information on force sensation detected at the observation point and information on tactile sensation detected at the observation point for a plurality of observation points of an interface device.
  • the information processing device of another aspect of the present technology relates to force sensation data including information on force sensation detected at the observation point and tactile sensation detected at the observation point for a plurality of observation points of the device serving as an interface.
  • a receiving unit that receives haptics data including at least one of tactile data including information and force data including information on the magnitude of force applied to the observation point, and receiving by the receiving unit.
  • the information processing method of another aspect of the present technology relates to force sensation data including information on force sensation detected at the observation point and tactile sensation detected at the observation point for a plurality of observation points of the device serving as an interface.
  • Haptics data including at least one of tactile data including information and force data including information on the magnitude of force applied to the observation point is received, and the received haptics data is used. Based on this, it is an information processing method that drives a plurality of driven points of a device that serves as an interface.
  • force sensation data including information on the force sensation detected at the observation point of a plurality of observation points of the device serving as an interface is detected at the observation point.
  • Haptics data including at least one of tactile data including information on tactile sensation and force data including information on the magnitude of force applied to the observation point is transmitted.
  • force sensation data including information on the force sense detected at the station is detected at the station, for a plurality of observation points of the device as an interface.
  • the haptics data including at least one of the tactile data including the information about the tactile sensation and the force data including the information about the magnitude of the force applied to the observation point is received, and the received haptics data is received.
  • multiple driven points of the device to be the interface are driven.
  • the action on the local side that leads the control is reproduced on the remote side, and by operating the remote device, the progress and results are fed back to the local side at any time, and the local activity is continued by the feedback.
  • the incorporation of humans into the feedback system frees them from spatiotemporal constraints and leads to the realization of Human Augmentation, which enables amplification of human abilities rather than simply a sense of presence.
  • the haptic system 10 of FIG. 1 is installed at a remote location from each other and has a haptic device 11 and a haptic device 15 including sensors, actuators, and the like. One of them transmits the haptics data (force sense data, tactile data, etc.) detected by the sensor, and the other receives the haptics data and drives the actuator based on the haptics data. By exchanging such haptic data, the operation of one haptic device can be reproduced in the other haptic device. That is, remote control is realized. Such exchange of haptics data is realized by the communication device 12 and the communication device 14 communicating with each other via the network 13.
  • haptics data force sense data, tactile data, etc.
  • the communication device 12 can also feed back the haptic data from the haptic device 11 to the haptic device 11.
  • the communication device 14 can also feed back the haptic data from the haptic device 15 to the haptic device 15.
  • the haptic device may be, for example, a bent skeletal arm-shaped device or a glove-shaped device that can be worn in the hand.
  • a bent skeletal arm-shaped device or a glove-shaped device that can be worn in the hand.
  • haptic device As a haptic device, higher-order haptics such as changing the degree of freedom in the configuration of the force sensor from 1st (1DoF (Degree of Freedom)) to 3rd (3DoF) and increasing the number of joint points have been used. Devices have been considered. However, when transmitting it to the remote side, it is limited to the information of a single joint point. In addition, it has been studied to perform compression coding and deliver it assuming the projection of an element on a single vector in a three-dimensional space.
  • connection information of each joint part composed of the force sensor is described, and when it is transmitted, it is transmitted to the receiving side as metadata. By doing so, it is possible to realize a high degree of force sense reproducibility and tactile reproducibility.
  • FIG. 2 is a diagram illustrating an outline of a remote control system which is an embodiment of a communication system (information processing system) to which the present technology is applied.
  • the remote control system 100 shown in FIG. 2 has a local system 101 and a remote system 102 that are remote from each other.
  • the local system and the remote system 102 each have a haptic device, communicate with each other via the network 110, and realize remote control of the haptic device by exchanging haptic data. For example, the operation input to one haptic device can be reproduced in the other haptic device.
  • the system on the main side of communication is referred to as the local system 101
  • the system on the other side of the communication is referred to as the remote system 102.
  • the local system 101 and the remote system 102 basically play the same role as each other. It is a system that can be carried. Therefore, unless otherwise specified, the description of the local system 101 described below can also be applied to the remote system 102.
  • the configurations of the local system 101 and the remote system 102 are arbitrary.
  • the configuration of the local system 101 and the configuration of the remote system 102 may be different from each other or may be the same as each other. Further, in FIG. 2, one local system 101 and one remote system 102 are shown, but the remote control system 100 can have an arbitrary number of local systems 101 and remote systems 102, respectively.
  • the remote control system 100 can have an MPD server 103.
  • the MPD server 103 performs processing related to registration and provision of MPD (Media Presentation Description) to the local system 101 and the remote system 102.
  • the local system 101 and the remote system 102 can use this MPD to select and acquire necessary information.
  • the configuration of the MPD server 103 is also arbitrary, and the number thereof is also arbitrary.
  • this MPD server 103 can be omitted.
  • the local system 101 or the remote system 102 may supply the MPD to the communication partner.
  • the local system 101 and the remote system 102 may exchange haptics data without using MPD.
  • the network 110 is composed of, for example, a local area network, a network by a dedicated line, a WAN (Wide Area Network), the Internet, satellite communication, or any other wired communication network, wireless communication network, or both. Further, the network 110 may be composed of a plurality of communication networks.
  • FIG. 3 is a block diagram showing a main configuration example of the local system 101.
  • the local system 101 has a haptic device 121, a communication device 122, a digital interface 123, and a digital interface 124.
  • the haptic device 121 is a device that can serve as an interface for a user or a remote device, and generates haptic data or drives it based on the haptic data. Further, for example, the haptic device 121 can supply haptic data or the like to the communication device 122 via the digital interface 123. Further, the haptic device 121 can acquire haptic data or the like supplied from the communication device 122 via the digital interface 124.
  • the communication device 122 can communicate with another device via the network 110 (FIG. 2).
  • the communication device 122 can exchange haptics data and MPD, for example, by the communication.
  • the communication device 122 can acquire haptic data or the like supplied from the haptic device 121 via the digital interface 123, for example.
  • the communication device 122 can supply haptic data or the like to the haptic device 121 via the digital interface 124.
  • the digital interface 123 and the digital interface 124 are interfaces for digital devices of arbitrary standards such as USB (Universal Serial Bus) (registered trademark) and HDMI (High-Definition Multimedia Interface) (registered trademark).
  • the haptic device 121 has a sensor unit 131, a renderer 132, an actuator 133, and a haptic interface (I / F) 134.
  • the sensor unit 131 detects force data, tactile data, and the like at the observation point on the haptics interface 134, and supplies the haptics data to the communication device 122.
  • the sensor unit 131 can also supply haptics data to the renderer 132.
  • the sensor of the sensor unit 131 can detect necessary data, for example, it detects a motion state such as a magnetic sensor that detects position and movement, an ultrasonic sensor, a GPS (Global Positioning System) sensor, and an angular velocity. Any sensor may be used, such as a gyro sensor, an acceleration sensor that detects acceleration, or the like.
  • the sensor unit 131 may have an image sensor 141 and a spatial coordinate conversion unit 142.
  • the image sensor 141 supplies the captured image data to the spatial coordinate conversion unit 142.
  • the spatial coordinate conversion unit 142 derives the spatial coordinates (coordinates of the three-dimensional coordinate system) of the observation point (for example, a joint or the like) of the haptics interface 134 from the image.
  • the spatial coordinate conversion unit 142 can supply the coordinate data as haptics data to the communication device 122 and the renderer 132.
  • the image sensor 141 may have a detection function in the depth direction. By doing so, the spatial coordinate conversion unit 142 can more easily derive the spatial coordinates of the observation point using the captured image and its depth value. Further, the sensor unit 131 may have a plurality of sensors.
  • the renderer 132 renders using the haptics data transmitted from another external device supplied from the communication device 122, and generates control information for the actuator.
  • the renderer 132 supplies the control information to the actuator 133.
  • the renderer 132 can also perform rendering using the haptics data supplied from the sensor unit 131 (spatial coordinate conversion unit 142).
  • the actuator 133 drives the haptics interface 134 in response to the control information supplied from the renderer 132.
  • the actuator 133 causes the haptics interface 134 to reproduce the movement (force sense, tactile sense, etc.) expressed by the transmitted haptics data.
  • the haptics interface 134 functions as an interface for force sense data, tactile sense data, etc. for an operator, a remote device, etc., which is a user.
  • the haptics interface 134 reproduces the movement, tactile sensation, and the like corresponding to the haptics data output from the renderer 132 under the control of the actuator 133.
  • the communication device 122 performs processing related to transmission / reception of haptics data.
  • the communication device 122 has a composer 151, a coding unit 152, a container processing unit 153, an MPD generating unit 154, an imaging unit 155, and a video coding unit 156.
  • the composer 151 converts the haptic data supplied from the haptic device 121 (sensor unit 131) into a format for transmission (for example, generates a KT map described later).
  • the composer 151 supplies the haptics data for transmission to the coding unit 152.
  • the composer 151 can also supply the haptics data for transmission to the MPD generation unit 154.
  • the coding unit 152 acquires and encodes the haptics data supplied from the composer 151, and generates the coded data of the haptics data.
  • the coding unit 152 supplies the coded data to the container processing unit 153.
  • the container processing unit 153 performs processing related to the generation of data for transmission. For example, the container processing unit 153 may acquire the coded data of the haptics data supplied from the coding unit 152, store the coded data in the transmission data, and transmit it to the remote system 102. it can.
  • the communication device 122 can generate MPD which is control information for controlling the reproduction of the haptic data generated in the haptic device 121.
  • the MPD generation unit 154 can acquire haptics data from the composer 151, generate an MPD for the haptics data, and supply the generated MPD to the coding unit 152.
  • the coding unit 152 can acquire the MPD supplied from the MPD generation unit 154, encode it, generate the coded data of the MPD, and supply the coded data to the container processing unit 153.
  • the container processing unit 153 can store the MPD coded data supplied from the coding unit 152 in the transmission data and transmit it to, for example, the MPD server 103.
  • the container processing unit 153 may transmit the transmission data storing the coded data of the MPD to the remote system 102.
  • the communication device 122 can also transmit data that is not haptics data.
  • the communication device 122 can image the haptic device 121 and transmit the captured image to the remote system 102.
  • the imaging unit 155 may include an image sensor or the like, image a haptic device 121 (or a user of the haptic device 121), generate captured image data, and supply the captured image data to the video coding unit 156. ..
  • the video coding unit 156 can acquire and encode the captured image data supplied from the imaging unit 155, generate the encoded data of the captured image data, and supply the encoded data to the container processing unit 153.
  • the container processing unit 153 can store the encoded data of the captured image data supplied from the video coding unit 156 in the transmission data, and transmit the transmission data to, for example, the remote system 102. ..
  • the communication device 122 has a container processing unit 161, a decoding unit 162, an MPD control unit 163, a video decoding unit 164, and a display unit 165.
  • the container processing unit 161 performs a process of extracting desired data from the transmission data. For example, the container processing unit 161 receives the transmission data transmitted from the remote system 102, extracts the coded data of the haptics data from the transmission data, and transmits the extracted coded data to the decoding unit 162. Can be supplied.
  • the decoding unit 162 acquires the coded data of the haptics data supplied from the container processing unit 161, decodes it, generates the haptics data, and uses the generated haptics data as the haptic device 121 (renderer 132). Can be supplied to.
  • the communication device 122 can control the reproduction of haptics data by using MPD.
  • the container processing unit 161 acquires transmission data in which MPD corresponding to desired haptics data is stored from MPD server 103, extracts MPD encoded data from the transmission data, and decodes it. It can be supplied to the unit 162.
  • the decoding unit 162 can decode the coded data to generate an MPD, and supply the MPD to the MPD control unit 163.
  • the MPD control unit 163 acquires the MPD supplied from the decoding unit 162, controls the container processing unit 161 using the MPD, and causes the MPD control unit 163 to acquire the transmission data for storing the coded data of the desired haptics data. be able to.
  • the communication device 122 can also receive data that is not haptics data.
  • the communication device 122 can receive the captured image of the haptic device 121 from the remote system 102.
  • the container processing unit 161 receives the transmission data transmitted from the remote system 102, extracts the encoded data of the captured image data from the transmission data, and uses the extracted encoded data as the video decoding unit. It can be supplied to 164.
  • the video decoding unit 164 can acquire the coded data supplied from the container processing unit 161, decode it, generate the captured image data, and supply the generated captured image data to the display unit 165.
  • the display unit 165 has an arbitrary display device such as a monitor or a projector, and can display the captured image corresponding to the supplied captured image data.
  • the remote system 102 can have the same configuration as the local system 101. That is, the description given with reference to FIG. 3 can also be applied to the remote system 102.
  • FIG. 4 is a block diagram showing a main configuration example of the MPD server 103.
  • the CPU Central Processing Unit
  • the ROM Read Only Memory
  • the RAM Random Access Memory
  • the input / output interface 210 is also connected to the bus 204.
  • An input unit 211, an output unit 212, a storage unit 213, a communication unit 214, and a drive 215 are connected to the input / output interface 210.
  • the input unit 211 may include any input device such as a keyboard, a mouse, a microphone, a touch panel, an image sensor, a motion sensor, and various other sensors. Further, the input unit 211 may include an input terminal.
  • the output unit 212 may include any output device such as a display, a projector, a speaker, and the like. Further, the output unit 212 may include an output terminal.
  • the storage unit 213 includes, for example, an arbitrary storage medium such as a hard disk, a RAM disk, or a non-volatile memory, and a storage control unit that writes or reads information from the storage medium.
  • the communication unit 214 includes, for example, a network interface.
  • the drive 215 drives an arbitrary removable recording medium 221 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and writes or reads information from the removable recording medium 221.
  • the CPU 201 loads the program stored in the storage unit 213 into the RAM 203 via the input / output interface 210 and the bus 204 and executes the program, which will be described later.
  • the various functions indicated by the function blocks to be performed are realized.
  • the RAM 203 also appropriately stores data and the like necessary for the CPU 201 to execute various processes of the program.
  • the program executed by the computer can be recorded and applied to the removable recording medium 221 as a package media or the like, for example.
  • the program can be installed in the storage unit 213 via the input / output interface 210 by mounting the removable recording medium 221 in the drive 215.
  • This program can also be provided via a wired or wireless transmission medium such as a local area network, a leased line network, or WAN, Internet, satellite communication, etc. In that case, the program can be received by the communication unit 214 and installed in the storage unit 213.
  • a wired or wireless transmission medium such as a local area network, a leased line network, or WAN, Internet, satellite communication, etc.
  • the program can be received by the communication unit 214 and installed in the storage unit 213.
  • this program can be installed in advance in ROM 202 or storage unit 213.
  • the remote control system 100 applies a force applied to the device position (joint, etc.) of the haptics interface 134 when a force is applied to an object such as a stylus or a handle mounted on the haptics interface 134.
  • a force applied to the device position (joint, etc.) of the haptics interface 134 when a force is applied to an object such as a stylus or a handle mounted on the haptics interface 134.
  • the remote control system 100 transmits haptics data (force sense data and tactile sense data) for a plurality of device positions (articulated joints, etc.).
  • the haptics data is at least one of the force data detected at the device position, the tactile data detected at the device position, and the force data expressing the force applied to the device position.
  • Shall include.
  • each of the multi-stage sensor outputs and transmitting the connection information as metadata to the receiving side, more accurate tracing is possible on the playing device on the receiving side.
  • the remote control system 100 describes the connection information of each joint part composed of the force sensor, and when transmitting it, it is possible to realize a high degree of force sense reproducibility by transmitting it to the receiving side as metadata. To do.
  • the remote control system 100 may be applied to a system in which the three-dimensional stimulation device 301 as shown in FIG. 6 is applied as the haptics interface 134 and the movement of the three-dimensional stimulation device 301 is reproduced in a remote location.
  • a rod-shaped object 302 is attached to the tip of an arm having a plurality of joints, and the position and posture of the object 302 are supported by the arm.
  • the three-dimensional stimulation device 301 can detect a change in the position or posture of the object 302 by its arm.
  • the object 302 functions as, for example, a pen, a pointer, or the like.
  • the three-dimensional stimulation device 301 can detect a change in the position or posture of the object 302 by an arm and express the change.
  • You can get haptics data.
  • this haptics data can be used to control the movement of a device having a drive mechanism similar to that of the three-dimensional stimulation device 301, the movement of the object 302 described above can be reproduced.
  • this arm has a plurality of joints (movable parts).
  • the sensor unit 131 uses a plurality of joints of such a three-dimensional stimulation device 301 (haptics interface 134) and the tip of an arm on which the object 302 is mounted as observation points, and detects haptics data for each observation point. ..
  • observation point Art_1, observation point Art_2, and observation point Art_3 in order from the base side (left side in the figure).
  • the tip of the arm (the position where the object 302 is attached) is set as the observation point Art_4.
  • the connection position relationship of each observation point is Art_1-> Art_2-> Art_3-> Art_4 in order from the origin of movement, and Art_1 becomes the origin of movement and becomes the fulcrum of the subsequent connection relationship. It is also possible to set the origin at another position and set Art_1 to a position having an offset from the origin.
  • the sensor unit 131 detects position information, motion information, and applied force information about the observation point as haptics data.
  • the position information includes information indicating the position of the observation point.
  • the information regarding the movement includes information indicating the movement (amount of change in posture) of the object 302 attached to the observation point. In the case of the example of FIG. 6, this information can be obtained only for the observation point Art_4 to which the object 302 is mounted.
  • the information regarding the applied force includes information indicating the magnitude and direction (pushing, pulling, etc.) of the force applied in the vertical direction at the observation point. In the case of the example of FIG. 6, this force represents the force applied through the object 302. Therefore, this information is only available for the observation point Art_4 where the object is mounted.
  • the sensor unit 131 outputs information as shown in the table of FIG. 7 as haptics data.
  • the example of FIG. 7 corresponds to the example of FIG.
  • P_ID is the identification information (ID) of the observation point.
  • haptics data is detected at four observation points A1 (Art_1 of FIG. 6) to A4 (Art_4 of FIG. 6).
  • UPSP indicates an adjacent observation point (joint point) located upstream in the fulcrum direction.
  • the UPSP of observation point A2 is the UPSP of observation point A1 (Art_1)
  • the UPSP of observation point A3 is the UPSP of observation point A2 (Art_2)
  • the UPSP of observation point A4 is observation point A4 (Art_4).
  • Art_4) Since the observation point A1 (Art_1) is the highest observation point (at the base of the arm), the observation point A1 itself is assigned to the UPSP.
  • the fulcrum joint point position is information indicating the position of the observation point.
  • the method of expressing the position of the observation point is arbitrary. For example, it may be represented by coordinates (for example, xyz coordinates) with the fulcrum of the observation point as the origin (x1 / y1 / z1, x2 / y2 / z2, x3 / y3 / z3, x4 / y4 / z4).
  • the radius of gyration r can be uniquely obtained by taking the absolute value of the vector with the adjacent joint point. Further, by combining these coordinates with the connection positional relationship between the above-mentioned observation points, the position of each observation point can be represented by a single coordinate system.
  • the stimulus operation is information about the movement of the observation point. As mentioned above, this information is available only for the observation point Art_4 where the object is mounted.
  • the method of expressing this movement is arbitrary. For example, as shown in FIG. 8, even if it is expressed by the movement (velocity) of the rotation direction (pitch (PITCH), yaw (YAW), roll (ROLL)) with each coordinate axis of x, y, z as the rotation axis. Good (pt4 / yw4 / rl4).
  • Force is information about the force applied to the observation point. As mentioned above, this information is available only for the observation point Art_4 where the object is mounted.
  • the method of expressing this force is arbitrary. For example, Newton (N) may be expressed by the magnitude of force (N4).
  • observation points with chained movements may be grouped together.
  • a subgroup may be formed by observation points that are more closely related to the observation points in the group.
  • the observation points A1 to A4 are the observation points of one stereoscopic stimulation device 301, they are related to each other's movements and can be grouped.
  • the observation points A1 to A4 are also observation points of one arm, they are more strongly related to each other's movements and can form a subgroup.
  • a subgroup consisting of observation points A1 and a subgroup consisting of observation points A2 to A4 are formed. In this way, the observation points on the most root side that serve as fulcrums may form unique subgroups.
  • the table in FIG. 7 is an example, and the haptics data output by the sensor unit 131 is not limited to the example in FIG.
  • the haptics data output by the sensor unit 131 includes force sensation data including information on force sensation detected at the observation point, tactile data including information on tactile sensation detected at the observation point, and force applied to the observation point. It suffices to include at least one of the force data including the size information.
  • the fulcrum joint point position is information on the position of the observation point and information on the force sense.
  • the stimulus operation is information on the speed of the observation point and information on the force sense. That is, the data of the fulcrum joint point position and the stimulation operation are included in the force sense data.
  • the force is information on the magnitude of the force applied to the observation point. That is, the force data is included in the force data.
  • the haptics data output by the sensor unit 131 may include tactile data, or a part of the information shown in FIG. 7 may be omitted.
  • the remote control system 100 can express the movement of the object 302 that cannot be expressed only from the position information of the observation point Art_4, for example. Can be done. In addition, the applied force can also be expressed. Therefore, remote control can be performed with higher accuracy.
  • the glove-type device 311 is a glove-type device, and for example, when a user or the like wears the glove-type device on his / her hand like a glove and moves it, the movement can be detected.
  • the sensor unit 131 uses the wrist, joint, finger tip, and the like of the glove-type device 311 as observation points.
  • Observation point A1 is the wrist of the glove-type device 311.
  • Observation points A2 and A3 are the joints of the thumb, and observation points B1 are the tips of the thumb.
  • Observation points A4 to A6 are the joints of the index finger, and observation points B2 are the tips of the index finger.
  • Observation points A7 to A9 are the joints of the middle finger, and observation points B3 are the tips of the middle finger.
  • Observation points A10 to A12 are the joints of the ring finger, and observation points B4 are the tips of the ring finger.
  • Observation points A13 to A15 are the joints of the little finger, and observation points B5 are the tips of the little finger.
  • the sensor unit 131 detects haptics data for these observation points. For example, as shown in FIG. 10, when the user wears the glove type device 311 and grasps the object 312 (for example, a smartphone), the movement of the finger, that is, the movement of each observation point is detected by the sensor unit 131, and the happiness occurs. Tix data is output.
  • the table in FIG. 11 shows an example of the haptics data.
  • the table in FIG. 11 shows the P_ID, UPSP, and fulcrum joint positions for each observation point, as in the example in FIG.
  • stimulation operations are shown for each of the observation points in contact with the object 312 (for example, observation points A2, A3, A6, A9, A12, A15).
  • the force applied to each of the observation points at the tip of the finger (for example, observation points B1 to B5) is shown.
  • the method of expressing this information is arbitrary as in the case of use case 1.
  • the observation points are subgrouped for each finger.
  • A12, B4, and small finger observation points A13, A14, A15, B5 are subgrouped, respectively.
  • the table in FIG. 11 is an example, and the haptics data output by the sensor unit 131 is not limited to the example in FIG.
  • the haptics data output by the sensor unit 131 includes force sensation data including information on force sensation detected at the observation point, tactile data including information on tactile sensation detected at the observation point, and force applied to the observation point. It suffices to include at least one of the force data including the size information.
  • the fulcrum joint point position is information on the position of the observation point and information on the force sense.
  • the stimulus operation is information on the speed of the observation point and information on the force sense. That is, the data of the fulcrum joint point position and the stimulation operation are included in the force sense data.
  • the force is information on the magnitude of the force applied to the observation point. That is, the force data is included in the force data.
  • the haptics data output by the sensor unit 131 may include tactile data, or a part of the information shown in FIG. 11 may be omitted.
  • the remote control system 100 can move the object 302 that cannot be expressed only from the position information of the observation points B1 to B5 at the fingertips, for example. Can be expressed. In addition, the applied force can also be expressed. Therefore, remote control can be performed with higher accuracy.
  • ⁇ KT map> Each piece of haptics data for a plurality of observation points as described above may be summarized for each observation point using, for example, the KT (Kinesthetic & Tactile) map 331 shown in FIG. 12 (for each observation point). May be classified).
  • the KT map shown in FIG. 12 is a table in which haptics data for each observation point is summarized for each observation point (classified for each observation point).
  • the observation points are grouped into groups, and the identification information (group ID) of the group is shown.
  • group ID the identification information (P_ID) of each observation point is shown, and for each P_ID, UPSP, fulcrum joint point position, stimulation operation, force (N), hardness (G), coefficient of friction ( ⁇ ) Information such as temperature (° C) is linked.
  • the P_ID, UPSP, fulcrum joint point position, stimulation operation, and force (N) are the same information as in the examples of FIGS. 7 and 11.
  • the type of force may be pressure. Pressure is expressed by the force applied to a unit area, for example, N / m 2 or Pascal P is the unit.
  • the hardness (G) is information indicating the hardness of the surface of the object with which the haptics interface 134 is in contact, which is detected at the observation point.
  • the unit of hardness is expressed by the rigidity.
  • the rigidity is a kind of elastic modulus, which is a physical property value that determines the difficulty of deformation, and can be expressed by Gpa. The larger the Gpa value, the harder it is.
  • the coefficient of friction ( ⁇ ) is information indicating the coefficient of friction of the surface of the object with which the haptics interface 134 is in contact, which is detected at the observation point.
  • the temperature (° C.) is information indicating the temperature of the surface of the object with which the haptics interface 134 is in contact, which is detected at the observation point. That is, these hardness (G), friction coefficient ( ⁇ ), and temperature (° C.) are all information about the surface of the object with which the haptics interface 134 is in contact, that is, information about the sense of touch. That is, these data are included in the tactile data.
  • the KT map 331 that summarizes the haptics data for each observation point, it is possible to more easily select and transfer the haptics data of the desired observation point. Further, by using the haptics data as a tabular KT map 331 as shown in the example of FIG. 12, it is possible to more easily select and exchange desired information of a desired observation point. Therefore, it is possible to control and adjust the communication and processing load related to the transmission of haptics data.
  • the KT map 331 only needs to include haptics data for each observation point, and the content is not limited to the example shown in FIG.
  • information not shown in FIG. 12 may be included in the KT map 331, or a part of the information shown in FIG. 12 may be omitted.
  • the observation points may be subgrouped as in the case of the examples of FIGS. 7 and 11.
  • the remote control system 100 can also transmit such haptics data in both directions. For example, as shown in FIG. 13, when a local operator operates the glove-type device 311, haptics data (position, speed, position, speed of each observation point) detected at a plurality of observation points (black circles) of the glove-type device 311. Data such as acceleration and applied force data) are transmitted (forward) to the remote device 351 at a remote location.
  • the remote device 351 is a hand-shaped device (so-called robot hand) corresponding to the glove-type device 311 and is a haptics interface 134 of the remote system 102.
  • the remote device 351 controls a plurality of control points (white circles) such as its own joints based on the transmitted haptics data of a plurality of observation points, and grips a predetermined object 352 (for example, a ball) to be gripped. ..
  • haptics data such as force sensation data, tactile data, and force data by grasping the object 352
  • the haptics data position of each observation point, Data such as speed and acceleration, applied force data, etc.
  • the force point the part that grips the object
  • the position of the emphasis point can be any position independent of the position of the joint point.
  • the glove type device 311 can reproduce the reaction force when the object 352 is gripped, which is detected by the remote device 351. That is, the local operator can feel the force of the reaction. Therefore, in the remote device 351, if the reaction force is the same as the received signal and the direction is fed back in the opposite direction, the local operator feels that the position is stable by grasping it with a finger. By adjusting the force applied to the glove-type device 311 so that the local operator can obtain such a feeling, the remote device 351 can perform remote control so that the object 352 can be stably grasped. it can. That is, remote control can be performed with higher accuracy.
  • this feedback transmission may be performed only when the forward-transmitted force sensory data is updated by grasping the object 352.
  • the haptics data may be transmitted by wireless communication.
  • the remote control system 100 may be applied to the remote control of the robot hand 362 provided on the flying object 361 such as a so-called drone.
  • the local operator operates the glove-type device 311 to input an operation for the robot hand 362.
  • the local system 101 transmits position data and force data as force sensory data detected by the globe-type device 311 to the aircraft 361 by wireless communication.
  • the flying object 361 supplies the information to the robot hand 362, and the robot hand 362 drives according to the control thereof to perform an operation such as grasping an object.
  • the robot hand 362 grabs an object or the like, its position data and force data are fed back to the glove type device 311 as in the case of use case 3.
  • the local operator can remotely control the robot hand 362 while experiencing the force sense, the tactile sense, and the like reproduced by the glove type device 311 based on the feedback position data and force data.
  • Such remote control can be applied to work such as, for example, a rescue flying object 361 flies to the scene of an incident, and the body of a person found there is grasped by a robot hand 362 and rescued.
  • the robot hand 362 may move in conjunction with the hand of the local operator and hold the person so as to hold it. Further, at that time, it may be possible to confirm whether or not the local operator is holding a person by feedback transmission.
  • the feedback data may include video and audio data.
  • the remote control system 100 may be applied to a system that detects the state of the surface of the material by a remote device. For example, as shown in FIG. 15, when a local operator wears the glove-type device 311 and scans it from top to bottom in the figure, the haptics data detected in the glove-type device 311 is transmitted to the remote device at a remote location. It is forward-transmitted to 371, and the movement of the globe-type device 311 is reproduced in the remote device 371. That is, the remote device 371 scans the object surface 372 from top to bottom in the figure.
  • the remote device 371 detects the unevenness of the object surface 372 and the like.
  • This haptics data is fed back to the glove type device 311 on the local operator side.
  • the glove-type device 311 reproduces the unevenness of the object surface 372 detected by the remote device 371 based on the haptics data by the tactile actuator. This allows the local operator to grasp the unevenness that is not directly touched.
  • a local operator can simultaneously detect a wide range by operating with two fingers with a predetermined force.
  • this vibration is traced, for example, it becomes as shown in FIG. Therefore, from the position information of the two fingers (tactile points), it can be seen that the feedback patterns of the tactile data as a result of parallel scanning of the two fingers side by side side by side have a similar relationship with a slight time difference. Therefore, it can be seen that the unevenness of the surface exists diagonally at the distance scanned by two fingers.
  • the surface shape, unevenness, roughness, and smoothness of multiple positions can be made more accurate and efficient. It becomes possible to grasp the texture structure as a surface. With the force information transmitted from the local side, it is possible to control how much force is pushed on the remote side. In this way, it is possible to grasp the texture of the surface of the object by scanning a plurality of points at the same time even in the transmission of only the sense of touch without the distribution of the image.
  • XR Extended Reality
  • FIG. 17 the reality of the sensation may be improved by displaying an image of a virtual hand.
  • the local operator wears the glove type device 311-1 and performs a virtual handshake operation with the remote operator at a remote location.
  • the remote operator is also equipped with the glove-type device 311-2, and similarly performs a virtual handshake operation with the local operator.
  • the haptics data detected in each glove type device 311 is exchanged, and the movement is reproduced by the force sense / tactile actuator of the glove type device 311 on the other side.
  • the local operator is wearing a head-mounted display (HMD (Head Mounted Display)) 381-1.
  • the remote operator is wearing a head-mounted display (HMD) 381-2.
  • HMD Head Mounted Display
  • the head-mounted display 381 is referred to.
  • the head-mounted display 381 is equipped with an image sensor for recognizing its surroundings.
  • a real hand image corresponding to the glove-type device 311-1 operated by the local operator and a virtual hand image corresponding to the glove-type device 311-2 operated by the remote operator are displayed.
  • the virtual hand image corresponding to the glove-type device 311-1 is generated based on the haptics data detected in the glove-type device 311-1. That is, this realistic hand image reproduces the movement of the glove-type device 311-1 operated by a local operator.
  • the virtual hand image corresponding to the glove-type device 311-2 is generated based on the haptics data transmitted from the glove-type device 311-2. That is, this virtual hand image reproduces the movement of the glove-type device 311-2 operated by the remote operator.
  • the local operator can virtually, for example, in the virtual space displayed on the head-mounted display 381-1. You can shake hands with each other. Further, since the glove type device 311-1 can reproduce the force sense and the tactile sense by using the haptics data fed back from the glove type device 311-2 by the force sense / tactile actuator, the local operator can reproduce the force sense and the tactile sense. You can feel the movement and force of the other person's hand when shaking hands, and the feeling of temperature. Further, in the case of this system, since the local operator can see the image of the state of the handshake, the reality of the feeling of the handshake can be improved.
  • an image of a virtual hand corresponding to the glove-type device 311-1 operated by the local operator and a virtual hand corresponding to the glove-type device 311-2 operated by the remote operator are displayed.
  • the image of the virtual space including the image is displayed.
  • the virtual hand image corresponding to the glove-type device 311-1 is generated based on the haptics data transmitted from the glove-type device 311-1. That is, this virtual hand image reproduces the movement of the glove-type device 311-1 operated by the local operator.
  • the virtual hand image corresponding to the glove-type device 311-2 is generated based on the haptics data detected in the glove-type device 311-2. That is, this virtual hand image reproduces the movement of the glove-type device 311-2 operated by the remote operator.
  • the remote operator operates the globe-type device 311-2 while watching the image displayed on the head-mounted display 381-2, so that, for example, in the virtual space displayed on the head-mounted display 381-2, the remote operator is virtual. You can shake hands with each other. Further, since the glove type device 311-2 can reproduce the force sense and the tactile sense by using the haptics data fed back from the glove type device 311-1 by the force sense / tactile actuator, the remote operator can reproduce the force sense and the tactile sense. You can feel the feeling of the other person's hand when shaking hands. Further, in the case of this system, since the remote operator can see the image of the handshake, the reality of the handshake sensation can be improved.
  • the local system 101 has an absolute coordinate position of the reference position RP1 (Reference Position 1), an absolute coordinate axis direction (horizontal plane and vertical direction), coordinate values in absolute coordinates (x, y, z), and a reference observation point BP1 (
  • the remote system 102 has an absolute coordinate position of the reference position RP2 (Reference Position 2), an absolute coordinate axis direction (horizontal plane and vertical direction), a coordinate value in absolute coordinates (x, y, z), and a reference observation.
  • the relative positions of the glove-type device 311-1 and the glove-type device 311-2 can be derived, and a handshake can be performed in a virtual space.
  • the head-mounted display 381 is unnecessary. Instead, a robot hand 391-1 is installed near the local operator.
  • the local operator operates the glove-type device 311-1 to actually shake hands with the robot hand 391-1.
  • the robot hand 391-1 is driven based on the haptics data transmitted from the glove-type device 311-2, and reproduces the movement of the glove-type device 311-2 operated by the remote operator. That is, the local operator and the remote operator can obtain a feeling (force sense or tactile sense) as if they are really shaking hands with each other. Moreover, since the actual robot hand 391-1 is driven, the local operator can improve the reality of the feeling of shaking hands.
  • the robot hand 391-2 is installed near the remote operator.
  • the remote operator operates the glove-type device 311-2 to actually shake hands with the robot hand 391-2.
  • the robot hand 391-2 is driven based on the haptics data transmitted from the glove-type device 311-1 and reproduces the movement of the glove-type device 311-1 operated by the local operator. That is, the local operator and the remote operator can obtain a feeling (force sense or tactile sense) as if they are really shaking hands with each other.
  • the remote operator can improve the reality of the feeling of shaking hands.
  • the local system 101 has an absolute coordinate position of the reference position RP1 (Reference Position 1), an absolute coordinate axis direction (horizontal plane and vertical direction), coordinate values in absolute coordinates (x, y, z), and a reference observation point BP1 (
  • the remote system 102 has an absolute coordinate position of the reference position RP2 (Reference Position 2), an absolute coordinate axis direction (horizontal plane and vertical direction), a coordinate value in absolute coordinates (x, y, z), and a reference observation.
  • the relative positions of the glove-type device 311-1 and the glove-type device 311-2 can be derived, and a virtual handshake (a handshake with an actual robot hand 391) can be performed. it can.
  • the renderer 132 may synthesize the force data, for example, the force data generated in the local operation and the force data received remotely.
  • a main configuration example of the renderer 132 in that case is shown in FIG.
  • the renderer 132 in this case has a synthesizer 401.
  • the synthesis unit 401 acquires force data (Force1 (power, direction)) generated by local operation, which is supplied from the sensor unit 131. Further, the synthesis unit 401 acquires the power data (Force2 (power, direction)) received remotely from the decoding unit 162.
  • the synthesis unit 401 synthesizes these force data and generates control information (Synth_force (power, direction)) of the actuator 133.
  • the synthesis unit 401 supplies the control information to the actuator 133.
  • the renderer 132 may correct the attitude of the haptics system at the absolute position. Further, the renderer 132 may perform correction mapping of the remote position information on the local positional relationship.
  • a main configuration example of the renderer 132 in that case is shown in FIG. In this case, the renderer 132 has a positional relationship determination unit 411 and a position correction unit 412.
  • the positional relationship determination unit 411 determines the positional relationship between the reference position RP1 and the reference joint point BP1 from the local absolute coordinates 1. Similarly, the positional relationship between RP1 and the local dependent joint point CP1 is determined.
  • the position correction unit 412 obtains the positional relationship between the remote reference position RP2 and the remote reference observation point BP2 and the positional relationship of the remote dependent joint point CP2 from the remote absolute coordinates 2. These positional relationships are scaled and converted and corrected on the local positional relationships obtained as described above. Then, the corrected position data is sent to the actuator.
  • a predictor may be provided for the sensor that detects the movement on each of the local side and the remote side, and the position immediately after may be predicted by using the history immediately before. With this prediction function, it is possible to transmit a value (preemptive position data) that is ahead of the current position on the local side as the position information that is actually transmitted.
  • the inclination with respect to the north may be detected by GPS (Global Positioning System) information and a three-axis directional sensor to identify the fulcrum position of the haptic device and the set direction.
  • GPS Global Positioning System
  • information such as two-dimensional coordinates (latitude, longitude), altitude (elevation), and time (time) is defined as spatial coordinates.
  • FIG. 21 shows a description example of GPS information in xml type representation.
  • the acceleration sensor 421 may be used to obtain the inclination angle of the device 420 in which the acceleration sensor is installed. For example, when the acceleration sensor 421 coincides with the direction in which gravity acts, the acceleration sensor 421 detects an acceleration of 9.8 m / sec 2. On the other hand, when the acceleration sensor 421 is arranged in the direction perpendicular to the direction in which gravity acts, the influence of gravity disappears and the output of the acceleration sensor 421 becomes 0.
  • the acceleration a of the inclination of an arbitrary angle ⁇ is obtained as the output of the acceleration sensor 421, the inclination angle ⁇ can be derived by the following equation (1).
  • the configuration of the haptics data (KT map) is arbitrary and is not limited to the above example.
  • the haptics data of the example of FIG. 7 may be configured as shown in FIG.
  • the haptics data of the example of FIG. 11 may be configured as shown in FIG. 24. That is, the position, speed, and acceleration of each observation point may be indicated as the fulcrum joint point position.
  • haptics data force data, tactile data, force data
  • a frame haptics frame (Haptics_frame)
  • Haptics_frame haptics frame
  • the rectangles show haptics data arranged in chronological order, and the haptics data are separated at predetermined time intervals to form a haptics frame (Haptics_frame) 451-1 and a haptics frame 451-2. , Haptics frames 451-3, ... Are formed. When it is not necessary to explain each haptics frame separately from each other, it is referred to as a haptics frame 451.
  • a one-dimensional data coding method for example, there is a dead band.
  • the dead band method for example, in the one-dimensional data shown in FIG. 27A, only a part of the data (data indicated by the black circle) in which the fluctuation of the immediately preceding value is large is encoded, and the fluctuation is small. Coding is omitted for the data in the gray part.
  • the encoded / decoded data is duplicated for the unencoded section. Therefore, the decoded data is as shown in B of FIG. 27. That is, in the case of the dead band method, there is a possibility that it becomes difficult to reproduce a minute change. On the contrary, when trying to reproduce the movement with high definition, the range of Perception threshold becomes very narrow and the frequency of data to be transmitted becomes high, so that the coding efficiency may be reduced.
  • a difference is taken between adjacent points in a time series, and the difference value is variable-length coded. For example, as shown in A of FIG. 28, a difference is derived between adjacent points in a time series in a haptics frame 451 of one-dimensional haptics data. For the data at the beginning of the haptics frame, the difference is not derived and the value as it is is used.
  • the haptics data (difference value) for each haptics frame becomes, for example, curves 461 to 464. Then, this difference value is quantized and further variable-length coded. By doing so, the amount of information can be reduced and the reduction in coding efficiency can be suppressed as compared with the case where the original data is encoded as it is. Further, when such coded data is decoded, the original data can be faithfully restored as shown by the curve 465 shown in FIG. 28B. Therefore, it is possible to suppress a decrease in reproduction accuracy due to coding / decoding as in the dead band method. That is, it is possible to reproduce high-definition movements on the receiving side, and it is also possible to achieve a constant data compression effect at all times. This also applies to the movement in three-dimensional space.
  • an invalid decoded value due to an error during transmission may be propagated to subsequent samples, but as described above, haptics frames are formed at predetermined time intervals.
  • FIG. 29A A main configuration example of the coding unit 152 (FIG. 3) in this case is shown in FIG. 29A.
  • the coding unit 152 has a delay unit 501, a calculation unit 502, a quantization unit 503, and a variable length coding unit 504.
  • the delay unit 501 delays the input haptics data (Input data (t)) and generates the delayed haptics data (dd (t)).
  • the calculation unit 502 is a difference value (also referred to as a predicted residual value) (Predicted data) between the input haptics data (Input data (t)) and the haptics data (dd (t)) delayed by the delay unit 501. (t)) is derived. That is, predictions are made between samples and the prediction residuals are derived.
  • the quantization unit 503 quantizes the predicted residual value (Predicted data (t)) and generates a quantization coefficient (quantized data (t)).
  • the variable length coding unit 504 variable length encodes the quantization coefficient (quantized data (t)), generates coded data (variable length code (t)), and outputs the coded data (variable length code (t)).
  • the decoding unit 162 has a variable length decoding unit 511, an inverse quantization unit 512, an arithmetic unit 513, and a delay unit 514.
  • the variable length decoding unit 511 performs variable length decoding of the input encoded data (variable length code (t)) and generates a quantization coefficient (quantized data (t)).
  • the dequantization unit 512 dequantizes the quantization coefficient (quantized data (t)) and derives the dequantized data (t).
  • This inverse quantization coefficient (dequantized data (t)) is the restored predicted residual value (Predicted data'(t)). Since quantization is performed and it is irreversible depending on the quantization step width, this restored predicted residual value (Predicted data'(t)) is the predicted residual value (Predicted data'(t)) of the coding unit 152. It may not be the same as t)).
  • the calculation unit 513 adds the data (dd'(t)) obtained by delaying the haptics data (Reconstructed data (t)) by the delay unit 514 to the inverse quantization coefficient (dequantized data (t)), and restores the data. Derivation of the reconstructed haptics data (Reconstructed data (t)). That is, the calculation unit 513 generates the haptics data of the current sample by adding the decoding result of the past sample to the predicted residual.
  • the haptics data (Input data (t)) value input to the coding unit 152 changes in the order of "2" ⁇ "8" ⁇ "4" ⁇ "6" ⁇ "10" in chronological order. Then, the haptics data (dd (t)), the predicted residual value (Predicted data (t)), the haptics data (dd'(t)), and the haptics data (Reconstructed data (t)) are shown in the figure. The value is as shown in 30.
  • mapping is performed so that the code length becomes shorter as the input value approaches zero. As a result, the amount of information can be reduced and the reduction in coding efficiency can be suppressed.
  • the haptics frame information such as the position of the fulcrum joint point, the stimulation operation, and the force is predicted between the samples as shown in A to C of FIG. 31, and is predicted as an unpredicted value. It is composed of residual values.
  • the local system 101 transmits haptics data by performing haptics data transmission processing.
  • An example of the flow of this haptics data transmission process will be described with reference to the flowchart of FIG.
  • the sensor unit 131 detects force data, tactile data, force data, and the like at a plurality of observation points of the haptics interface 134 in step S101.
  • the sensor unit 131 uses the information to generate multipoint haptics data.
  • the composer 151 generates a KT map by collecting the multipoint haptics data for each observation point and the like.
  • step S104 the coding unit 152 encodes the KT map using prediction between samples to generate coded data.
  • step S105 the container processing unit 153 stores the coded data in the container and generates transmission data.
  • step S106 the container processing unit 153 transmits the transmission data.
  • the haptics data transmission process ends.
  • haptics data of multiple observation points can be transmitted, and remote control can be performed with higher accuracy.
  • the container processing unit 161 receives the transmitted data and extracts the coded data in step S131.
  • the decoding unit 162 decodes the coded data and reproduces the KT map.
  • the decoding unit 162 reproduces the multipoint haptics data using the KT map.
  • step S134 the renderer 132 renders using the multipoint haptics data and reproduces the control information that controls the actuator 133.
  • step S135 the actuator 133 drives the haptics interface 134 based on the control information generated in step S134.
  • haptics data of multiple observation points can be received, and remote control can be performed with higher accuracy.
  • the remote control system 100 can also apply MPD to the reproduction of haptics data.
  • the local system 101 can generate an MPD for the haptics data detected by the local system 101 and register the MPD in the MPD server 103.
  • the MPD generation unit 154 acquires the multipoint haptics data from the composer 151 in step S161, and based on the multipoint haptics data, the multipoint haptics data. Generate the MPD corresponding to.
  • step S162 the container processing unit 153 transmits the MPD generated in step S161 to the MPD server 103.
  • the MPD transmission process ends.
  • the MPD control unit 163 requests and acquires the MPD from the MPD server 103 via the container processing unit 161 in step S191.
  • step S192 the MPD control unit 163 selects the haptics data to be acquired based on the MPD acquired by the process of step S191.
  • step S193 the MPD control unit 163 requests the remote system 102 via the container processing unit 161 for the haptics data selected by the processing in step S192.
  • the haptics data supplied based on the above requirements can be acquired by the local system 101 performing the above-mentioned haptics data reception process.
  • FIG. 36A A main configuration example of a container for storing haptics data is shown in FIG. 36A.
  • the haptics data is stored in, for example, an ISOBMFF (ISO Base Media File Format) format container (data for transmission).
  • ISOBMFF ISO Base Media File Format
  • the container has an IS (Initialization Segment) and an MS (Media Segment). Track identification information (trackID), time stamp (Timestamp), etc. are stored in the MS.
  • DASH MPD is linked to this MS.
  • FIG. 36 shows an example of the state of the container when the media segment is not fragmented.
  • FIG. 36B shows an example of how the container looks when the media segment is fragmented.
  • the media segment contains moof and mdat as a movie fragment.
  • FIG. 37A shows an example in the case of transmission from the local.
  • FIG. 37B shows an example in the case of remote transmission.
  • one MPD can be linked to a plurality of moofs as shown in FIG. 38. Even in that case, the association is performed by the group ID.
  • the haptics data may be stored in different tracks for each group.
  • ⁇ Track allocation> For haptics data, one group may be assigned to one track of a media file.
  • An example of a container configuration for storing the haptics data of the example of FIG. 7 is shown in FIG. 39.
  • FIG. 40 shows an example of a container configuration for storing the haptics data of the example of FIG.
  • FIG. 41 shows an example of a container configuration for storing the haptics data of the example of FIG.
  • the haptic data of all the observation points of one haptic device 121 may be arranged in one track of the container.
  • the tracks are assigned to one file and the moofs are placed independently within the track.
  • HapticsSampleGroupEntry ('hsge') shows the connection arrangement of each observation point, the offset position between subparts at the same time, the offset position in ascending order on the time axis, the offset position between samples, and the like. The same applies when the coding target is tactile data.
  • subpt_grp_offset indicating the offset position between subparts, it is possible to easily pick up only the necessary subptrep groups according to the structure of the observation point on the reproduction side.
  • Figure 43 shows an example of the quantization table (Q_table), value accuracy (Precision_of_positions), and connection chain (connection_chain).
  • the connection_chain information indicates the arrangement order of the coded sample elements when subpartrep_ordering_type is “interleaved”. You can also send and receive velocity and acceleration information instead of position. It is also possible to send and receive rotposition and rotation information instead of rotacceleration.
  • the decoding unit 162 When the decoding unit 162 performs variable-length decoding of the data to be encoded, it detects a predetermined code string (unique word) having a meaning different from that of the normal data, so that the influence of deterioration due to an error in the transmission process It may be possible to detect the beginning of the next time data or the next haptics frame and restart the decoding process from there. ..
  • a predetermined code string unique word
  • the diagonally shaded squares indicate identification information that identifies the top of the haptics frame by a variable-length coded unique word.
  • the gray square indicates the identification information for identifying the head (Time_data Top) of the time data by the variable length coded unique word.
  • ‘1111111111’ may be a unique word that identifies the head of a haptics frame (FrameTop), and ‘1111111110’ may be a unique word that identifies the head of time data (TimeDataTop). That is, at the beginning of the haptics frame (FrameTop), N consecutive '1's are made, and at the beginning of the time data (TimeDataTop), (N-1)'1's are continuous. In other coded data, a maximum of (N-2) '1's may be continuous.
  • the initial value of the position information of the joint point is checked for each subgroup set enclosed by each subRepresentation in the MPD.
  • the Subpt_grp_offset information in MPD is used.
  • the feedback information to the local side when played in that way will be sent from the remote side only for the adopted amount.
  • This function enables a wider range of types of playback devices to be used as haptic force playback devices.
  • FIG. 46 shows an example of moof syntax in the ISO BMFF file format corresponding to the KT map.
  • / hsge and / connection_chain are elements provided to correspond to the KT map.
  • the receiving side may access the MPD server 103, acquire and analyze the MPD file, consider the possible bandwidth on the receiving side network, and select the bit rate so as to obtain an appropriate bit rate. .. Further, depending on the device configuration on the receiving side, control may be performed to select the scale of the observation point to be delivered so as to be within the reproducible range.
  • the transmitting side when the transmitting side receives a bit rate request via the MPD server 103, the transmitting side performs coding quantization control with a quantization step size that realizes the request.
  • An example of MPD in that case is shown in FIG. FIG. 47 is an example of an MPD corresponding to the haptics data of FIG.
  • the description of the sub-representation of FIGS. 48 to 50 is inserted in the portion of the alternate long and short dash line frame 701 and the alternate long and short dash line frame 702 of FIG. 47.
  • Sub-representations of FIGS. 48 to 50 The following position data, rotaccdate, and force data indicate initial values of dynamic changes.
  • the total amount of coded bit rates can be selected from 4 Mbps and 2 Mbps.
  • the transmitting side when the transmitting side receives a request for reducing the scale of the joint point via the MPD server 103, the transmitting side reduces the number of subgroups (sub_group) and performs coding so as to realize the request.
  • An example of MPD in that case is shown in FIG. FIG. 51 is an example of an MPD corresponding to the haptics data of FIG.
  • the description of the sub-representation of FIGS. 52 and 53 is inserted in the portion of the alternate long and short dash line frame 711 and the alternate long and short dash line frame 712 of FIG. 51.
  • Sub-representations of FIGS. 52 and 53 The following position data, rotaccdate, and force data indicate initial values of dynamic changes.
  • the number of subgroups can be selected from 6 or 4.
  • FIGS. 47 to 53 have described MPD when haptics data is transmitted from a single force sensation device, haptics data may be transmitted from a plurality of force sensation devices.
  • An example of MPD in that case is shown in FIG.
  • two adaptation sets are provided. Each adaptation set is assigned a different group ID, and each adaptation set corresponds to a different force sensor.
  • FIG. 55 shows an example of an MPD corresponding to the transmission of haptics data from the local system 101 to the remote system 102 when the haptics data is transmitted in both directions.
  • a request is made to the remote system 102 to return tactile data such as hardness, friction coefficient, and temperature information in the MPD corresponding to the transmission from the local system 101.
  • tactile data such as hardness, friction coefficient, and temperature information in the MPD corresponding to the transmission from the local system 101.
  • FIG. 56 shows an example of an MPD corresponding to the MPD of FIG. 55, which corresponds to the transmission of haptics data (feedback transmission) from the remote system 102 to the local system 101.
  • tactile data such as hardness, friction coefficient, and temperature information are returned based on the request shown in the MPD of FIG. 55.
  • FIG. 57 is a diagram showing another example of MPD corresponding to the transmission of haptics data from the local system 101 to the remote system 102 when the haptics data is transmitted in both directions.
  • a request is made to the remote system 102 to return the vibration information in frequency and amplitude values.
  • FIG. 58 shows an example of the MPD corresponding to the MPD of FIG. 57, which corresponds to the transmission of haptics data (feedback transmission) from the remote system 102 to the local system 101.
  • vibration information is returned as a frequency and an amplitude value based on the request shown in the MPD of FIG. 57.
  • FIGS. 59 and 60 An example of MPD semantics is shown in FIGS. 59 and 60.
  • the transmission of haptic data between the haptic device 121 and the communication device 122 is performed via the digital interface 123 or the digital interface 124 as shown in FIG. Can be done.
  • any standard digital device interface can be applied to these digital interfaces.
  • FIG. 61 shows a main configuration example of the digital interface 123 when HDMI is applied.
  • the main configuration example of the digital interface 124 when HDMI is applied is also the same as the example of FIG. 61.
  • the transmission of haptic data between the haptic device 121 and the communication device 122 is performed using the HDMI TMDS (Transition Minimized Differential Signaling) channel. Note that the data sent on the TMDS channel can be considered as the same premise even if it is performed on an optical transmission line or a wireless radio wave.
  • TMDS Transition Minimized Differential Signaling
  • the transmission of haptics data is performed by synchronizing with the video data or by using the blanking period. Examples of how metadata is inserted in this data island slot are shown in FIGS. 62 and 63. An example of semantics is shown in FIG. Further, FIG. 65 shows an example of the transmission format of the haptics data in the TMDS channel.
  • Addendum> ⁇ Computer> The series of processes described above can be executed by hardware or software.
  • the programs constituting the software are installed on the computer.
  • the computer includes a computer embedded in dedicated hardware, a general-purpose personal computer capable of executing various functions by installing various programs, and the like.
  • FIG. 66 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the input / output interface 910 is also connected to the bus 904.
  • An input unit 911, an output unit 912, a storage unit 913, a communication unit 914, and a drive 915 are connected to the input / output interface 910.
  • the input unit 911 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 912 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 913 is composed of, for example, a hard disk, a RAM disk, a non-volatile memory, or the like.
  • the communication unit 914 includes, for example, a network interface.
  • the drive 915 drives a removable recording medium 921 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 loads the program stored in the storage unit 913 into the RAM 903 via the input / output interface 910 and the bus 904 and executes the above-described series. Is processed.
  • the RAM 903 also appropriately stores data and the like necessary for the CPU 901 to execute various processes.
  • the program executed by the computer can be recorded and applied to, for example, a removable recording medium 921 as a package medium or the like.
  • the program can be installed in the storage unit 913 via the input / output interface 910 by mounting the removable recording medium 921 in the drive 915.
  • This program can also be provided via a wired or wireless transmission medium such as a local area network, a leased line network, or WAN, Internet, satellite communication, etc. In that case, the program can be received by the communication unit 914 and installed in the storage unit 913.
  • a wired or wireless transmission medium such as a local area network, a leased line network, or WAN, Internet, satellite communication, etc.
  • the program can be received by the communication unit 914 and installed in the storage unit 913.
  • this program can be installed in advance in ROM 902 or storage unit 913.
  • each device of the remote control system 100 has been described as an application example of the present technology, but the present technology can be applied to any configuration.
  • this technology is a transmitter or receiver (for example, for satellite broadcasting, cable broadcasting such as cable TV, Internet, local area network, distribution on a dedicated line network or WAN, and distribution to terminals by cellular communication.
  • Various devices for example, hard disk recorders and cameras) that record images on media such as television receivers and mobile phones, or on media such as optical disks, magnetic disks, and flash memories, and reproduce images from these storage media. Can be applied to various electronic devices.
  • a processor as a system LSI (Large Scale Integration) or the like (for example, a video processor), a module using a plurality of processors (for example, a video module), a unit using a plurality of modules (for example, a video unit)
  • a processor as a system LSI (Large Scale Integration) or the like
  • a module using a plurality of processors for example, a video module
  • a unit using a plurality of modules for example, a video unit
  • it can be implemented as a configuration of a part of the device, such as a set (for example, a video set) in which other functions are added to the unit.
  • this technology can be applied to a network system composed of a plurality of devices.
  • the present technology may be implemented as cloud computing that is shared and jointly processed by a plurality of devices via a network.
  • this technology is implemented in a cloud service that provides services related to images (moving images) to arbitrary terminals such as computers, AV (AudioVisual) devices, portable information processing terminals, and IoT (Internet of Things) devices. You may try to do it.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the above-mentioned series of processes can be executed by hardware or software.
  • the programs constituting the software are installed on the computer.
  • the computer includes a computer embedded in dedicated hardware, a general-purpose personal computer capable of executing various functions by installing various programs, and the like.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • the above-mentioned program may be executed in any device.
  • the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
  • each step of one flowchart may be executed by one device, or may be shared and executed by a plurality of devices.
  • the plurality of processes may be executed by one device, or may be shared and executed by a plurality of devices.
  • a plurality of processes included in one step can be executed as processes of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the processing of the steps for writing the program may be executed in chronological order in the order described in the present specification, and the calls may be made in parallel or in parallel. It may be executed individually at the required timing such as when it is broken. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step for writing this program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • a plurality of technologies related to this technology can be independently implemented independently as long as there is no contradiction.
  • any plurality of the present technologies can be used in combination.
  • some or all of the techniques described in any of the embodiments may be combined with some or all of the techniques described in other embodiments. It is also possible to carry out a part or all of any of the above-mentioned techniques in combination with other techniques not described above.
  • the present technology can also have the following configurations.
  • Force data including information on the force sense detected at the observation point, tactile data including information on the tactile sense detected at the observation point, and the observation for a plurality of observation points of the device serving as an interface.
  • An information processing device including a transmitter for transmitting haptics data including at least one of force data including information on the magnitude of force applied to a point.
  • the tactile data includes at least one of information on the hardness of another object in contact at the observation point, information on the friction coefficient of the object, and information on the temperature of the object (1). ) Or (2).
  • the haptics data includes at least one of the force sense data, the tactile sense data, and the force data classified for each observation point (1) to (3).
  • Information processing device described in Crab. (5) The information processing apparatus according to (4), wherein the haptics data further includes information indicating a relationship between the observation points.
  • the transmission unit stores and transmits the haptics data for each observation point in different tracks for each group of the observation points according to the control structure of the device (4) or (5).
  • the information processing device described in. (7) A coding unit that encodes the haptics data to generate the coded data is further provided.
  • the information processing apparatus according to any one of (1) to (6), wherein the transmission unit transmits the coded data generated by the coding unit.
  • the coding unit describes the haptics data, predicts between samples, derives a predicted residual, encodes the predicted residual, and generates the coded data (7).
  • Information processing device Further provided with a generation unit for generating control information for controlling the reproduction of the haptics data.
  • the information processing device according to any one of (1) to (8), wherein the transmission unit transmits the control information generated by the generation unit.
  • Force data including information on the force sense detected at the observation point, tactile data including information on the tactile sense detected at the observation point, and the observation for a plurality of observation points of the device serving as an interface.
  • An information processing method for transmitting haptics data including at least one of force data including information on the magnitude of force applied to a point.
  • Force data including information on the force sense detected at the observation point, tactile data including information on the tactile sense detected at the observation point, and the observation for a plurality of observation points of the device serving as an interface.
  • a receiver that receives haptics data that includes at least one of the force data that contains information about the magnitude of the force applied to the point.
  • An information processing device including a drive unit that drives a plurality of driven points of an interface device based on the haptics data received by the receiver unit.
  • a control unit that controls the receiving unit based on the control information that controls the reproduction of the haptics data is further provided. The information processing device according to (11), wherein the receiving unit receives the haptics data designated by the control unit.
  • the information processing apparatus according to (12) or (13), wherein the receiving unit receives the haptics data of the group of the observation points designated by the control unit.
  • the receiving unit receives the coded data of the haptics data, and receives the coded data.
  • the information processing apparatus according to any one of (11) to (14), further comprising a decoding unit that decodes the coded data received by the receiving unit to generate the haptics data.
  • the coded data is coded data of the predicted residuals of the haptics data derived by performing prediction between samples.
  • the decoding unit decodes the coded data to generate the predicted residual, and adds the decoding result of the past sample to the predicted residual to generate the haptics data of the current sample (15). ).
  • the information processing apparatus according to (16), wherein the decoding unit detects a predetermined code string included in the coded data and specifies a start position of prediction between the samples.
  • control information for controlling the driving unit is generated. It also has a rendering processing unit that performs rendering processing.
  • the information processing device according to any one of (11) to (17), wherein the driving unit drives a plurality of driven points of the device based on the control information generated by the rendering processing unit.
  • 100 remote control system 101 local system, 102 remote system, 103 MPD server, 121 haptic device, 122 communication device, 131 sensor unit, 132 renderer, 133 actuator, 134 haptics interface, 141 image sensor, 142 spatial coordinate conversion unit, 151 composer, 152 coding unit, 153 container processing unit, 154 MPD generation unit, 155 imaging unit, 156 video coding unit, 161 container processing unit, 162 decoding unit, 163 MPD control unit, 164 video decoding unit, 165 Display, 301 steric stimulation device, 302 object, 311 glove type device, 312 object, 331 KT map, 351 remote device, 352 object, 353 virtual object, 361 flying object, 362 robot hand, 371 remote device, 372 object surface, 381 head mount display, 391 robot hand, 401 synthesis unit, 411 positional relationship determination unit, 412 position correction unit, 420 device, 421 acceleration sensor, 451 haptics frame, 501 delay unit, 502 calculation unit, 503 quantization unit,

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本開示は、より高精度に遠隔制御を行うことができるようにする情報処理装置および方法に関する。 インタフェースとなるデバイスの複数の観測点についての、その観測点において検出された力覚に関する情報を含む力覚データ、その観測点において検出された触覚に関する情報を含む触覚データ、およびその観測点に印加される力の大きさに関する情報を含む力データの内の、少なくともいずれか１つを含むハプティクスデータを送信する。本開示は、例えば、情報処理装置、制御装置、電子機器、情報処理方法、またはプログラム等に適用することができる。

Description

情報処理装置および方法
　本開示は、情報処理装置および方法に関し、特に、より高精度に遠隔制御を行うことができるようにした情報処理装置および方法に関する。
　従来、力覚データや触覚データ等を伝送することにより、遠隔操作を行うシステムが考えられた（例えば非特許文献１および非特許文献２参照）。近年においては、情報処理技術の向上に伴い、より高精度な遠隔制御が求められている。
"Definition and Representation of Haptic-Tactile Essence For Broadcast Production Applications", SMPTE ST2100-1:2017 P. Hinterseer, S. Hirche, S. Chaudhuri, E. Steinbach, M. Buss, "Perception-based data reduction and transmission of haptic data in telepresence and teleaction systems," IEEE Transactions on Signal Processing
　しかしながら、従来の場合、単一の観測点の情報しか伝送していなかった。そのため、遠隔制御の精度を十分に向上させることが困難であり、リモート側では単純な動作しか再現することができなかった。
　本開示は、このような状況に鑑みてなされたものであり、より高精度に遠隔制御を行うことができるようにするものである。
　本技術の一側面の情報処理装置は、インタフェースとなるデバイスの複数の観測点についての、前記観測点において検出された力覚に関する情報を含む力覚データ、前記観測点において検出された触覚に関する情報を含む触覚データ、および前記観測点に印加される力の大きさに関する情報を含む力データの内の、少なくともいずれか１つを含むハプティクスデータを送信する送信部を備える情報処理装置である。
　本技術の一側面の情報処理方法は、インタフェースとなるデバイスの複数の観測点についての、前記観測点において検出された力覚に関する情報を含む力覚データ、前記観測点において検出された触覚に関する情報を含む触覚データ、および前記観測点に印加される力の大きさに関する情報を含む力データの内の、少なくともいずれか１つを含むハプティクスデータを送信する情報処理方法である。
　本技術の他の側面の情報処理装置は、インタフェースとなるデバイスの複数の観測点についての、前記観測点において検出された力覚に関する情報を含む力覚データ、前記観測点において検出された触覚に関する情報を含む触覚データ、および前記観測点に印加される力の大きさに関する情報を含む力データの内の、少なくともいずれか１つを含むハプティクスデータを受信する受信部と、前記受信部により受信された前記ハプティクスデータに基づいて、インタフェースとなるデバイスの複数の被駆動点を駆動する駆動部とを備える情報処理装置である。
　本技術の他の側面の情報処理方法は、インタフェースとなるデバイスの複数の観測点についての、前記観測点において検出された力覚に関する情報を含む力覚データ、前記観測点において検出された触覚に関する情報を含む触覚データ、および前記観測点に印加される力の大きさに関する情報を含む力データの内の、少なくともいずれか１つを含むハプティクスデータを受信し、受信された前記ハプティクスデータに基づいて、インタフェースとなるデバイスの複数の被駆動点を駆動する情報処理方法である。
　本技術の一側面の情報処理装置および方法においては、インタフェースとなるデバイスの複数の観測点についての、その観測点において検出された力覚に関する情報を含む力覚データ、その観測点において検出された触覚に関する情報を含む触覚データ、およびその観測点に印加される力の大きさに関する情報を含む力データの内の、少なくともいずれか１つを含むハプティクスデータが送信される。
　本技術の他の側面の情報処理装置および方法においては、インタフェースとなるデバイスの複数の観測点についての、その観測点において検出された力覚に関する情報を含む力覚データ、その観測点において検出された触覚に関する情報を含む触覚データ、およびその観測点に印加される力の大きさに関する情報を含む力データの内の、少なくともいずれか１つを含むハプティクスデータが受信され、その受信されたハプティクスデータに基づいて、インタフェースとなるデバイスの複数の被駆動点が駆動される。
ハプティクスシステムの概要を説明する図である。 遠隔操作システムの例を説明する図である。 ローカルシステムの主な構成例を示すブロック図である。 MPDシステムの主な構成例を示すブロック図である。 ハプティクスインタフェースの例を説明する図である。 立体刺激デバイスの例を示す図である。 ハプティクスデータの例を示す図である。 刺激操作のデータの例を示す図である。 グローブ型デバイスの例を示す図である。 グローブ型デバイスの使用例を示す図である。 ハプティクスデータの例を示す図である。 KTマップの例を示す図である。 遠隔操作システムの適用例を示す図である。 遠隔操作システムの適用例を示す図である。 遠隔操作システムの適用例を示す図である。 触覚データの例を示す図である。 遠隔操作システムの適用例を示す図である。 遠隔操作システムの適用例を示す図である。 レンダラの主な構成例を示すブロック図である。 レンダラの主な構成例を示すブロック図である。 GPS情報の例を示す図である。 傾斜角の導出例を説明する図である。 KTマップの例を示す図である。 KTマップの例を示す図である。 ハプティクスデータの例を示す図である。 符号化データのフレーム構造の例を示す図である。 デッドバンドによる符号化の例を示す図である。 ハプティクスデータの符号化の例を示す図である。 符号化部と復号化部の主な構成例を示すブロック図である。 処理の様子の例を示す図である。 符号化データのフレーム内構造の例を示す図である。 ハプティクスデータ送信処理の流れの例を説明するフローチャートである。 ハプティクスデータ受信処理の流れの例を説明するフローチャートである。 MPD生成処理の流れの例を説明するフローチャートである。 MPD制御処理の流れの例を説明するフローチャートである。 MPDを用いたデータ参照の様子の例を示す図である。 MPDを用いたデータ参照の様子の例を示す図である。 MPDを用いたデータ参照の様子の例を示す図である。 コンテナの構成例を示す図である。 コンテナの構成例を示す図である。 コンテナの構成例を示す図である。 ファイルフォーマット内のデータの配置例を示す図である。 ファイルフォーマットの例を示す図である。 ファイルフォーマット内のデータの配置例を示す図である。 ファイルフォーマット内のデータの配置例を示す図である。 ファイルフォーマットの例を示す図である。 MPDの例を示す図である。 MPDの例を示す図である。 MPDの例を示す図である。 MPDの例を示す図である。 MPDの例を示す図である。 MPDの例を示す図である。 MPDの例を示す図である。 MPDの例を示す図である。 MPDの例を示す図である。 MPDの例を示す図である。 MPDの例を示す図である。 MPDの例を示す図である。 セマンティクスの例を示す図である。 セマンティクスの例を示す図である。 HDMI伝送の構成例を示す図である。 メタデータの例を示す図である。 メタデータの例を示す図である。 セマンティクスの例を示す図である。 TMDSチャンネルによるハプティクスデータの伝送フォーマットの例を示す図である。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．ハプティクス伝送
　２．第１の実施の形態（遠隔操作システム）
　３．第２の実施の形態（MPDの適用）
　４．第３の実施の形態（デジタルインタフェース）
　５．付記
　＜１．ハプティクス伝送＞
　　＜ハプティクスシステム＞
　テレイグジスタンス社会、これの意図するところは、空間的に離れた場所に自分の意のままになるデバイスを配置し、それを、ネットワークを介してコントロールすることで瞬時空間移動の効果を実現するもので、コントロールを主導するローカル側のアクションをリモート側で再現させ、それによってリモートデバイスが動作することで随時途中経過や結果がローカル側にフィードバックされ、そのフィードバックによってローカルの活動が継続するというように、人間がフィードバック系の内部に組み入れられることで時空間的な制約から解放され、単に臨場感というよりも人間の能力の増幅を可能とするHuman Augmentationの実現につながると考えられている。
　例えば、図１のハプティクスシステム１０は、互いに遠隔地に設置され、センサやアクチュエータ等よりなるハプティックデバイス１１およびハプティックデバイス１５を有する。それらの一方が、センサにより検出されたハプティクスデータ（力覚データや触覚データ等）を送信し、他方がそのハプティクスデータを受信し、それに基づいてアクチュエータを駆動させる。このようなハプティクスデータの授受により、一方のハプティックデバイスの操作を他方のハプティックデバイスにおいて再現することができる。つまり、遠隔操作が実現される。このようなハプティクスデータの授受は、通信デバイス１２と通信デバイス１４がネットワーク１３を介して通信を行うことにより実現される。
　なお、通信デバイス１２は、ハプティックデバイス１１からのハプティクスデータをハプティックデバイス１１にフィードバックさせることもできる。同様に、通信デバイス１４は、ハプティックデバイス１５からのハプティクスデータをハプティックデバイス１５にフィードバックさせることもできる。
　このようなハプティクスデータの伝送では、ローカルの複数の力覚センサ（kinesthetic sensor）出力が相互にどういう関係で連動して変化するかを正確に記述しリモートの受け側デバイスに伝える必要がある。
　ハプティックデバイスは、例えば、折れ曲がった骨格アーム状の形状のデバイスであったり、手にはめるグローブ状のデバイスであったりする。オペレータがHaptic Displayとしての骨格アーム、あるいはグローブをローカル側で動かすと、各々の関節における位置情報と運動状態が変動する。
　ハプティックデバイスとしては、従来から、力覚センサの構成の自由度を１次（1DoF（Degree of Freedom））から３次（３DoF）にしたり、関節点を増大させたりする等、より高次のハプティックデバイスは考えられてきた。しかしながら、それをリモート側への伝送をする場合は、単数の関節点の情報に限定されていた。また、立体空間における単一のベクトルに対する要素の射影を想定して、圧縮符号化を行って配信する検討がされていた。
　力覚センサの骨格を形成する複数の関節点の情報はそれらを組み合わせることで末端部の動きの記述が可能であり、それらの相互接続情報が明確に記載されないと、受け側の再生デバイスで正確なトレースができなかった。
　そこで、力覚センサで構成される各関節部分の接続情報を記述し、伝送する際にメタデータとして受け側に伝送するようにする。このようにすることで高度な力覚再現性、そして触感再現性を実現することができる。
　＜２．第１の実施の形態＞
　　＜遠隔操作システム＞
　図２は、本技術を適用した通信システム（情報処理システム）の一実施の形態である遠隔操作システムの概要を説明する図である。図２に示される遠隔操作システム１００は、互いに遠隔地のローカルシステム１０１およびリモートシステム１０２を有する。ローカルシステムおよびリモートシステム１０２は、それぞれハプティックデバイスを有しており、ネットワーク１１０を介して互いに通信を行い、ハプティクスデータを授受することによりハプティックデバイス遠隔操作を実現する。例えば、一方のハプティックデバイスに入力された操作を、他方のハプティックデバイスにおいて再現することができる。
　ここでは、説明において、通信の主体側のシステムをローカルシステム１０１と称し、その通信相手側のシステムをリモートシステム１０２と称するが、ローカルシステム１０１とリモートシステム１０２は、基本的に互いに同様の役割を担うことができるシステムである。したがって、特に言及しない限り、以下に記載のローカルシステム１０１についての説明は、リモートシステム１０２にも適用することができる。
　なお、ローカルシステム１０１およびリモートシステム１０２の構成はそれぞれ任意である。ローカルシステム１０１の構成とリモートシステム１０２の構成は、互いに異なっていてもよいし、互いに同一であってもよい。また、図２においては、ローカルシステム１０１およびリモートシステム１０２が１台ずつ示されているが、遠隔操作システム１００は、それぞれ任意の数のローカルシステム１０１およびリモートシステム１０２を有することができる。
　また、遠隔操作システム１００は、MPDサーバ１０３を有することができる。MPDサーバ１０３は、ローカルシステム１０１やリモートシステム１０２に対してMPD（Media Presentation Description）の登録や提供に関する処理を行う。ローカルシステム１０１やリモートシステム１０２は、このMPDを用いて必要な情報を選択し、取得することができる。もちろん、このMPDサーバ１０３の構成も任意であり、その数も任意である。
　なお、このMPDサーバ１０３は、省略することもできる。例えば、ローカルシステム１０１やリモートシステム１０２がMPDを通信相手に対して供給するようにしてもよい。また、例えば、ローカルシステム１０１およびリモートシステム１０２がMPDを用いずにハプティクスデータを授受するようにしてもよい。
　なお、ネットワーク１１０は、例えばローカルエリアネットワーク、専用線によるネットワークあるいはWAN（Wide Area Network）、インターネット、衛星通信等、任意の有線通信網若しくは無線通信網、またはその両方により構成される。また、ネットワーク１１０が複数の通信網により構成されてもよい。
　　＜ローカルシステム＞
　図３は、ローカルシステム１０１の主な構成例を示すブロック図である。図３に示されるように、ローカルシステム１０１は、ハプティックデバイス１２１、通信デバイス１２２、デジタルインタフェース１２３、およびデジタルインタフェース１２４を有する。
　ハプティックデバイス１２１は、ユーザやリモートデバイスのインタフェースとなり得るデバイスであり、ハプティクスデータを生成したり、ハプティクスデータに基づいて駆動したりする。また、例えば、ハプティックデバイス１２１は、デジタルインタフェース１２３を介して通信デバイス１２２にハプティクスデータ等を供給することができる。さらに、ハプティックデバイス１２１は、デジタルインタフェース１２４を介して通信デバイス１２２から供給されるハプティクスデータ等を取得することができる。
　通信デバイス１２２は、ネットワーク１１０（図２）を介して他の装置と通信を行うことができる。通信デバイス１２２は、その通信により、例えば、ハプティクスデータの授受を行ったり、MPDの授受を行ったりすることができる。また、通信デバイス１２２は、例えば、デジタルインタフェース１２３を介してハプティックデバイス１２１から供給されるハプティクスデータ等を取得することができる。さらに、通信デバイス１２２は、デジタルインタフェース１２４を介してハプティックデバイス１２１にハプティクスデータ等を供給することができる。デジタルインタフェース１２３およびデジタルインタフェース１２４は、例えば、USB（Universal Serial Bus）（登録商標）やHDMI（High-Definition Multimedia Interface）（登録商標）等、任意の規格のデジタル機器用インタフェースである。
　ハプティックデバイス１２１は、センサ部１３１、レンダラ１３２、アクチュエータ１３３、およびハプティクスインタフェース（I/F）１３４を有する。
　センサ部１３１は、ハプティクスインタフェース１３４における観測点について、力覚データや触覚データ等を検出し、ハプティクスデータとして通信デバイス１２２に供給する。また、センサ部１３１は、ハプティクスデータをレンダラ１３２に供給することもできる。
　センサ部１３１のセンサは、必要なデータを検出可能なものであれば、例えば、位置や動きの検出を行う磁気センサ、超音波センサ、GPS（Global Positioning System）センサ、角速度などの運動状態を検知するジャイロセンサ、加速度を検知する加速度センサ等、どのようなセンサであってもよい。例えば、センサ部１３１がイメージセンサ１４１および空間座標変換部１４２を有するようにしてもよい。イメージセンサ１４１は、その撮像画像データを空間座標変換部１４２に供給する。空間座標変換部１４２は、その画像から、ハプティクスインタフェース１３４の観測点（例えば関節等）の空間座標（３次元座標系の座標）を導出する。空間座標変換部１４２は、その座標データをハプティクスデータとして通信デバイス１２２やレンダラ１３２に供給することができる。
　なお、イメージセンサ１４１が、デプス方向の検出機能を有していてもよい。そのようにすることにより、空間座標変換部１４２は、撮像画像とそのデプス値を用いてより容易に観測点の空間座標を導出することができる。また、センサ部１３１が複数のセンサを有してもよい。
　レンダラ１３２は、通信デバイス１２２から供給される、外部の他の装置から送信されたハプティクスデータを用いてレンダリングを行い、アクチュエータに対する制御情報を生成する。レンダラ１３２は、その制御情報をアクチュエータ１３３に供給する。なお、レンダラ１３２は、センサ部１３１（空間座標変換部１４２）から供給されるハプティクスデータも用いてレンダリングを行うこともできる。
　アクチュエータ１３３は、レンダラ１３２から供給される制御情報に対応してハプティクスインタフェース１３４を駆動させる。例えば、アクチュエータ１３３は、伝送されたハプティクスデータにより表現される動き（力覚や触覚等）をハプティクスインタフェース１３４に再現させる。
　ハプティクスインタフェース１３４は、ユーザであるオペレータやリモートデバイス等に対する力覚データや触覚データ等のインタフェースとして機能する。例えば、ハプティクスインタフェース１３４は、アクチュエータ１３３に制御されてレンダラ１３２から出力されるハプティクスデータに対応する動きや触覚等を再現する。
　通信デバイス１２２は、ハプティクスデータの送受信に関する処理を行う。図３の例の場合、通信デバイス１２２は、コンポーザ１５１、符号化部１５２、コンテナ処理部１５３、MPD生成部１５４、撮像部１５５、およびビデオ符号化部１５６を有する。
　コンポーザ１５１は、ハプティックデバイス１２１（センサ部１３１）から供給されるハプティクスデータを伝送用のフォーマットに変換する（例えば後述するKTマップを生成する）。コンポーザ１５１は、その伝送用のハプティクスデータを符号化部１５２に供給する。また、コンポーザ１５１は、その伝送用のハプティクスデータをMPD生成部１５４にも供給することができる。
　符号化部１５２は、コンポーザ１５１から供給されるハプティクスデータを取得して符号化し、ハプティクスデータの符号化データを生成する。符号化部１５２は、その符号化データをコンテナ処理部１５３に供給する。
　コンテナ処理部１５３は、送信用データの生成に関する処理を行う。例えば、コンテナ処理部１５３は、符号化部１５２から供給されるハプティクスデータの符号化データを取得し、その符号化データを送信用データに格納し、それをリモートシステム１０２宛てに送信することができる。
　また、通信デバイス１２２は、ハプティックデバイス１２１において生成されたハプティクスデータについて、その再生を制御する制御情報であるMPDを生成することができる。
　例えば、MPD生成部１５４は、コンポーザ１５１からハプティクスデータを取得し、そのハプティクスデータについてのMPDを生成し、その生成したMPDを符号化部１５２に供給し得る。その場合、符号化部１５２は、MPD生成部１５４から供給されるMPDを取得して符号化し、MPDの符号化データを生成し、その符号化データをコンテナ処理部１５３に供給し得る。コンテナ処理部１５３は、その符号化部１５２から供給されるMPDの符号化データを送信用データに格納し、それを例えばMPDサーバ１０３宛てに送信することができる。なお、コンテナ処理部１５３が、そのMPDの符号化データを格納した送信用データを、リモートシステム１０２宛てに送信するようにしてもよい。
　さらに、通信デバイス１２２は、ハプティクスデータでないデータを送信することもできる。例えば、通信デバイス１２２は、ハプティックデバイス１２１を撮像し、その撮像画像をリモートシステム１０２宛てに伝送することができる。
　例えば、撮像部１５５は、イメージセンサ等よりなり、ハプティックデバイス１２１（またはそのハプティックデバイス１２１のユーザ）を撮像し、撮像画像データを生成し、その撮像画像データをビデオ符号化部１５６に供給し得る。ビデオ符号化部１５６は、その撮像部１５５から供給される撮像画像データを取得して符号化し、撮像画像データの符号化データを生成し、その符号化データをコンテナ処理部１５３に供給し得る。その場合、コンテナ処理部１５３は、そのビデオ符号化部１５６から供給される撮像画像データの符号化データを送信用データに格納し、その送信用データを例えばリモートシステム１０２宛てに送信することができる。
　さらに、通信デバイス１２２は、コンテナ処理部１６１、復号化部１６２、MPD制御部１６３、ビデオ復号化部１６４、および表示部１６５を有する。
　コンテナ処理部１６１は、送信用データから所望のデータを抽出する処理を行う。例えば、コンテナ処理部１６１は、リモートシステム１０２から送信される送信用データを受信し、その送信用データからハプティクスデータの符号化データを抽出し、その抽出した符号化データを復号化部１６２に供給することができる。
　復号化部１６２は、コンテナ処理部１６１から供給されるハプティクスデータの符号化データを取得して復号化し、ハプティクスデータを生成し、その生成したハプティクスデータをハプティックデバイス１２１（のレンダラ１３２）に供給することができる。
　また、通信デバイス１２２は、MPDを用いてハプティクスデータの再生を制御することができる。
　例えば、コンテナ処理部１６１は、MPDサーバ１０３から所望のハプティクスデータに対応するMPDが格納された送信用データを取得し、その送信用データからMPDの符号化データを抽出し、それを復号化部１６２に供給することができる。復号化部１６２は、その符号化データを復号化してMPDを生成し、そのMPDをMPD制御部１６３に供給し得る。MPD制御部１６３は、復号化部１６２から供給されたMPDを取得し、そのMPDを用いてコンテナ処理部１６１を制御し、所望のハプティクスデータの符号化データを格納する送信用データを取得させることができる。
　さらに、通信デバイス１２２は、ハプティクスデータでないデータを受信することもできる。例えば、通信デバイス１２２は、ハプティックデバイス１２１の撮像画像をリモートシステム１０２から受信することができる。
　その場合、コンテナ処理部１６１は、リモートシステム１０２から送信される送信用データを受信し、その送信用データから撮像画像データの符号化データを抽出し、その抽出した符号化データをビデオ復号化部１６４に供給することができる。ビデオ復号化部１６４は、コンテナ処理部１６１から供給される符号化データを取得して復号化し、その撮像画像データを生成し、その生成した撮像画像データを表示部１６５に供給することができる。そして、表示部１６５は、モニタやプロジェクタ等の任意の表示デバイスを有し、その供給された撮像画像データに対応する撮像画像を表示することができる。
　なお、リモートシステム１０２は、ローカルシステム１０１と同様の構成を有することができる。つまり、図３を参照して行った説明は、リモートシステム１０２にも適用することができる。
　　＜MPDサーバ＞
　図４は、MPDサーバ１０３の主な構成例を示すブロック図である。図４に示されるMPDサーバ１０３において、CPU（Central Processing Unit）２０１、ROM（Read Only Memory）２０２、RAM（Random Access Memory）２０３は、バス２０４を介して相互に接続されている。
　バス２０４にはまた、入出力インタフェース２１０も接続されている。入出力インタフェース２１０には、入力部２１１、出力部２１２、記憶部２１３、通信部２１４、およびドライブ２１５が接続されている。
　入力部２１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、イメージセンサ、モーションセンサ、その他各種センサ等、任意の入力デバイスを含み得る。また、入力部２１１が入力端子を含むようにしてもよい。出力部２１２は、例えば、ディスプレイ、プロジェクタ、スピーカ等、任意の出力デバイスを含み得る。また、出力部２１２が出力端子を含むようにしてもよい。
　記憶部２１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリ等、任意の記憶媒体と、その記憶媒体に対する情報の書き込みや読み出しを行う記憶制御部を備える。通信部２１４は、例えば、ネットワークインタフェースよりなる。ドライブ２１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等、任意のリムーバブル記録媒体２２１を駆動し、そのリムーバブル記録媒体２２１に対する情報の書き込みや読み出しを行う。
　以上のように構成されるMPDサーバ１０３では、CPU２０１が、例えば、記憶部２１３に記憶されているプログラムを、入出力インタフェース２１０およびバス２０４を介して、RAM２０３にロードして実行することにより、後述する機能ブロックで示される各種機能を実現する。RAM２０３にはまた、CPU２０１がプログラムの各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体２２１に記録して適用することができる。その場合、プログラムは、リムーバブル記録媒体２２１をドライブ２１５に装着することにより、入出力インタフェース２１０を介して、記憶部２１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、専用線によるネットワークあるいはWAN、インターネット、衛星通信等といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部２１４で受信し、記憶部２１３にインストールすることができる。
　その他、このプログラムは、ROM２０２や記憶部２１３に、あらかじめインストールしておくこともできる。
　　＜Force表現・多関節情報の伝送＞
　遠隔操作システム１００は、例えば、図５のように、ハプティクスインタフェース１３４に装着されたスタイラスやハンドル等のオブジェクトに力を加えた場合にハプティクスインタフェース１３４のデバイスポジション（関節等）に加わる力を表現する。
　また、遠隔操作システム１００は、複数のデバイスポジション（多関節等）について、ハプティクスデータ（力覚データや触覚データ）の伝送を行う。
　なお、以下においては、ハプティクスデータが、デバイスポジションにおいて検出される力覚データ、デバイスポジションにおいて検出される触覚データ、デバイスポジションに印加される力を表現する力データの内の少なくともいずれか１つを含むものとする。
　末端部の動きだけを再現する場合は、位置情報は１つでも表現できるが、視点から末端へ至る関節点の動きを忠実再現することはできなく、利用用途が限定されてしまう。関節点が多段で構成され、各関節点の位置と、その各関節点位置における力やトルクなどの作用点情報を再現させたい場合、センサ出力のYaw/Pitch/RollのRotation情報と共に、力・トルクの情報を各関節点に関して記述することにより、より高精度な制御が可能になる。
　また、多段のセンサ出力の各々を記述すると共に、接続情報をメタデータとして受信側に伝送することにより、受け側の再生デバイスでより正確なトレースが可能になる。遠隔操作システム１００は、力覚センサで構成される各関節部分の接続情報を記述し、伝送する際にメタデータとして受け側に伝送することで高度な力覚再現性を実現することを可能とする。
　　＜ユースケース１＞
　このような遠隔操作システム１００の適用例について説明する。例えば、ハプティクスインタフェース１３４として、図６に示されるような立体刺激デバイス３０１を適用し、この立体刺激デバイス３０１の動きを遠隔地において再現するシステムに、遠隔操作システム１００を適用してもよい。
　立体刺激デバイス３０１は、複数の関節を持つアームの先端に棒状のオブジェクト３０２が装着されており、そのアームによってオブジェクト３０２の位置や姿勢を支持している。換言するに、例えばユーザ等がこのオブジェクト３０２を移動させたり姿勢を変化させたりすると立体刺激デバイス３０１は、そのアームによってオブジェクト３０２の位置や姿勢の変化を検出することができる。
　オブジェクト３０２は、例えば、ペンや指示棒等としての機能を果たす。例えば、ユーザがオブジェクト３０２を動かして文字を書いたり、線や絵を描いたりすると、立体刺激デバイス３０１は、アームによって、そのオブジェクト３０２の位置や姿勢の変化を検出し、その変化を表現可能なハプティクスデータを得ることができる。例えば、このハプティクスデータを用いて、立体刺激デバイス３０１と同様の駆動機構を有するデバイスの動きを制御することにより、上述のオブジェクト３０２の動きを再現することができる。
　図６に示されるように、このアームは複数の関節（可動部）を有する。センサ部１３１は、このような立体刺激デバイス３０１（ハプティクスインタフェース１３４）の複数の関節と、オブジェクト３０２が装着されるアームの先端とを観測点とし、各観測点についてのハプティクスデータを検出する。
　例えば、アームの３つの関節点を、付け根側（図中左側）から順に、観測点Art_1、観測点Art_2、観測点Art_3とする。また、アームの先端（オブジェクト３０２が装着された位置）を観測点Art_4とする。各観測点の接続位置関係は動きの原点（Origin）から順に、Art_1 -> Art_2 -> Art_3 -> Art_4となっていて、Art_1が動きの原点となり、以後の接続関係の支点となる。なお、原点を別の位置に設け、Art_1を原点からのオフセットをもつ位置とすることもできる。
　センサ部１３１は、ハプティクスデータとして、観測点についての、位置に関する情報、動きに関する情報、および印加される力に関する情報を検出する。位置に関する情報は、観測点の位置を示す情報を含む。動きに関する情報は、観測点に装着されるオブジェクト３０２の動き（姿勢の変動量）を示す情報を含む。図６の例の場合、オブジェクト３０２が装着される観測点Art_4についてのみこの情報が得られる。印加される力に関する情報は、観測点における鉛直方向に加わる力の大きさと方向（押す、引く等）を示す情報を含む。図６の例の場合、この力は、オブジェクト３０２を介して印加される力を表す。したがって、オブジェクトが装着される観測点Art_4についてのみこの情報が得られる。
　センサ部１３１は、図７の表に示されるような情報をハプティクスデータとして出力する。図７の例は図６の例に対応する。この図７の表において、P_IDは、観測点の識別情報（ID）である。図７の例の場合、A1（図６のArt_1）乃至A4（図６のArt_4）の４つの観測点についてハプティクスデータが検出されている。UPSPは、支点方向に上流に位置する隣接観測点（関節点）を示す。例えば、観測点A2（Art_2）のUPSPは、観測点A1（Art_1）、観測点A3（Art_3）のUPSPは、観測点A2（Art_2）、観測点A4（Art_4）のUPSPは、観測点A4（Art_4）となる。なお、観測点A1（Art_1）は、最上位の（アームの一番付け根側の）観測点であるので、UPSPにはその観測点A1自身が割り当てられる。
　支点関節点位置は、観測点の位置を示す情報である。観測点の位置の表現方法は任意である。例えば、その観測点の支点を原点とする座標（例えば、xyz座標）により表してもよい（x1/y1/z1、x2/y2/z2、x3/y3/z3、x4/y4/z4）。隣接する関節点とのベクトルの絶対値を取ることで回転半径r が一意に求まる。また、この座標と、上述の観測点間の接続位置関係を組み合わせることより、各観測点の位置を単一の座標系で表すことができる。
　刺激操作は、観測点の動きに関する情報である。上述したように、オブジェクトが装着される観測点Art_4についてのみこの情報が得られている。この動きの表現方法は任意である。例えば、図８に示されるように、x,y,zの各座標軸を回転軸とする回転方向（ピッチ（PITCH）、ヨー（YAW）、ロール（ROLL））の動き（速度）で表してもよい（pt4/yw4/rl4）。
　力は、観測点に印加される力に関する情報である。上述したように、オブジェクトが装着される観測点Art_4についてのみこの情報が得られている。この力の表現方法は任意である。例えばニュートン（N）のように、力の大きさにより表すようにしてもよい（N4）。また、値の符号でその力の向きを表すようにしてもよい。例えば、値が正の場合、オブジェクト３０２を観測点Art_4に向かって押す向きの力であることを示し、値が負の場合、オブジェクト３０２を観測点Art_4から離れる向き（引っ張る向き）の力であることを示すようにしてもよい。また、例えば、アーム等の質量（ｍ）を既知の情報とし、加速度（ａ）を用いてこの力を表すようにしてもよい（F=ma）。
　なお、動作が連鎖する（動きに関連がある）観測点同士をグループ化してもよい。また、グループ内の観測点の内、より関連性の強い観測点によってサブグループ（Sub_Gp）を形成してもよい。例えば、観測点A1乃至観測点A4は、１つの立体刺激デバイス３０１の観測点であるので、互いの動作に関連性があり、これらをグループ化することができる。また、観測点A1乃至観測点A4は、１つのアームの観測点でもあるので互いの動作により強い関連性があり、サブグループを形成することができる。図７の例の場合、観測点A1からなるサブグループと、観測点A2乃至A4からなるサブグループとが形成されている。このように支点となる最も付け根側の観測点は固有のサブグループを形成してもよい。
　図７の表は一例であり、センサ部１３１が出力するハプティクスデータは、図７の例に限定されない。センサ部１３１が出力するハプティクスデータは、観測点において検出される力覚に関する情報を含む力覚データ、観測点において検出された触覚に関する情報を含む触覚データ、および観測点に印加される力の大きさに関する情報を含む力データの内の、少なくともいずれか１つを含んでいればよい。
　図７の例において、支点関節点位置は、観測点の位置に関する情報であり、力覚に関する情報である。また、刺激操作は、観測点の速度に関する情報であり、力覚に関する情報である。つまり、支点関節点位置および刺激操作のデータは、力覚データに含まれる。また、力は、観測点に印加される力の大きさに関する情報である。つまり、力のデータは、力データに含まれる。
　つまり、例えば、センサ部１３１が出力するハプティクスデータに、触覚データが含まれていてもよいし、図７に示される情報の一部が省略されてもよい。
　図７の例のような、複数の観測点についてのハプティクスデータを伝送することにより、遠隔操作システム１００は、例えば、観測点Art_4の位置情報のみからでは表現できないオブジェクト３０２の動きを表現することができる。また、印加される力も表現することができる。したがって、より高精度に遠隔制御を行うことができる。
　　＜ユースケース２＞
　また、例えば、ハプティクスインタフェース１３４として、図９に示されるようなグローブ型デバイス３１１を適用し、このグローブ型デバイス３１１の動きを遠隔地において再現するシステムに、遠隔操作システム１００を適用してもよい。
　グローブ型デバイス３１１は、グローブ型のデバイスであり、例えばユーザ等がそのグローブ型デバイスをグローブのように手に装着して動かすと、その動きが検出され得る。図９に示されるように、センサ部１３１は、グローブ型デバイス３１１の手首、関節、指先端等を観測点とする。観測点A１はグローブ型デバイス３１１の手首である。観測点A2およびA3は親指の関節であり、観測点B1は親指の先端である。観測点A4乃至A6は人差し指の関節であり、観測点B2は人差し指の先端である。観測点A7乃至A9は中指の関節であり、観測点B3は中指の先端である。観測点A10乃至A12は薬指の関節であり、観測点B4は薬指の先端である。観測点A13乃至A15は小指の関節であり、観測点B5は小指の先端である。
　ユースケース１の場合と同様に、センサ部１３１は、これらの観測点についてハプティクスデータを検出する。例えば、図１０のように、ユーザがこのグローブ型デバイス３１１を装着してオブジェクト３１２（例えばスマートフォン）を把持すると、その指の動き、つまり、各観測点の動きがセンサ部１３１により検出され、ハプティクスデータが出力される。図１１の表は、そのハプティクスデータの例を示す。
　図１１の表には、図７の例と同様に、各観測点について、P_ID、UPSP、および支点関節位置が示されている。また、オブジェクト３１２と接触する観測点（例えば、観測点A2,A3,A6,A9,A12,A15）のそれぞれについて、刺激操作が示されている。さらに、指の先端の観測点（例えば観測点B1乃至B5）のそれぞれに印加される力が示されている。これらの情報の表現方法は、ユースケース１の場合と同様に任意である。
　また、この場合、図１１の表において点線枠で示されるように、指毎に観測点がサブグループ化されている。例えば、支点となる観測点A1、親指の観測点A2,A3,B1、人差し指の観測点A4,A5,A6,B2、中指の観測点A7,A8,A9,B3、薬指の観測点A10,A11,A12,B4、小指の観測点A13,A14,A15,B5がそれぞれサブグループ化されている。
　図１１の表は一例であり、センサ部１３１が出力するハプティクスデータは、図１１の例に限定されない。センサ部１３１が出力するハプティクスデータは、観測点において検出される力覚に関する情報を含む力覚データ、観測点において検出された触覚に関する情報を含む触覚データ、および観測点に印加される力の大きさに関する情報を含む力データの内の、少なくともいずれか１つを含んでいればよい。
　図１１の例において、支点関節点位置は、観測点の位置に関する情報であり、力覚に関する情報である。また、刺激操作は、観測点の速度に関する情報であり、力覚に関する情報である。つまり、支点関節点位置および刺激操作のデータは、力覚データに含まれる。また、力は、観測点に印加される力の大きさに関する情報である。つまり、力のデータは、力データに含まれる。
　つまり、例えば、センサ部１３１が出力するハプティクスデータに、触覚データが含まれていてもよいし、図１１に示される情報の一部が省略されてもよい。
　図１１の例のような、複数の観測点についてのハプティクスデータを伝送することにより、遠隔操作システム１００は、例えば、指先の観測点B1乃至B5の位置情報のみからでは表現できないオブジェクト３０２の動きを表現することができる。また、印加される力も表現することができる。したがって、より高精度に遠隔制御を行うことができる。
　　＜KTマップ＞
　以上のような複数の観測点についてのハプティクスデータの各情報を、例えば、図１２に示されるKT（Kinesthetic & Tactile）マップ３３１を用いて、観測点毎にまとめてもよい（観測点毎に分類してもよい）。図１２に示されるKTマップは、各観測点についてのハプティクスデータを、観測点毎にまとめた（観測点毎に分類した）表である。
　図１２に示されるようにこのKTマップ３３１においては、観測点がグループ毎にまとめられ、そのグループの識別情報（グループID）が示される。そのグループにおいては、各観測点の識別情報（P_ID）が示され、各P_IDに対して、UPSP、支点関節点位置、刺激操作、力（N）、硬さ（G）、摩擦係数（μ）、温度（℃）等の情報が紐づけされている。
　P_ID、UPSP、支点関節点位置、刺激操作、および力（N）は、図７や図１１の例と同様の情報である。なお、力の種類は圧力であってもよい。圧力は単位面積にかかる力で表現されるもので例えば、N/m2またはパスカルPが単位となる。硬さ（G）は、観測点において検出された、ハプティクスインタフェース１３４が接触した物体表面の硬さを示す情報である。硬さを表す単位をここでは剛性率で表すこととする。剛性率は弾性率の一種で変形のしにくさをきめる物性値であり、Gpaで表すことができる。Gpa値が大きいほど硬いことになる。摩擦係数（μ）は、観測点において検出された、ハプティクスインタフェース１３４が接触した物体表面の摩擦係数を示す情報である。摩擦係数は、摩擦力を接触面に作用する垂直抗力で割った無次元量（μ=F／N）で求めることができる。温度（℃）は、観測点において検出された、ハプティクスインタフェース１３４が接触した物体表面の温度を示す情報である。つまり、これらの硬さ（G）、摩擦係数（μ）、温度（℃）は、いずれも、ハプティクスインタフェース１３４が接触した物体表面に関する情報であり、すなわち触覚に関する情報である。つまりこれらのデータは、触覚データに含まれる。
　このように、ハプティクスデータを観測点毎にまとめたKTマップ３３１とすることにより、より容易に、所望の観測点のハプティクスデータを選択し、授受することができる。また、ハプティクスデータを、図１２の例のような表形式のKTマップ３３１とすることにより、より容易に、所望の観測点の所望の情報を選択し、授受することができる。したがって、ハプティクスデータの伝送に関する通信や処理の負荷を制御し調整することが可能となる。
　なお、KTマップ３３１には、観測点毎のハプティクスデータが含まれていればよく、その内容は図１２の例に限定されない。例えば、図１２に示されていない情報がKTマップ３３１に含まれるようにしてもよいし、図１２に示される情報の一部が省略されてもよい。また、図７や図１１の例の場合と同様に、観測点をサブグループ化してもよい。
　　＜ユースケース３＞
　遠隔操作システム１００は、このようなハプティクスデータを双方向に伝送することもできる。例えば、図１３に示されるように、ローカルオペレータがグローブ型デバイス３１１を操作すると、そのグローブ型デバイス３１１の複数の観測点（黒丸）において検出されたハプティクスデータ（各観測点の位置、速度、加速度等のデータや印加される力データ等）が遠隔地のリモートデバイス３５１に伝送される（forward）。このリモートデバイス３５１は、グローブ型デバイス３１１に対応する手型のデバイス（所謂ロボットハンド）であり、リモートシステム１０２のハプティクスインタフェース１３４である。
　リモートデバイス３５１は、伝送された複数の観測点ハプティクスデータに基づいて、自身の関節等の複数の制御点（白丸）を制御し、所定の把持対象のオブジェクト３５２（例えばボール等）を把持する。
　リモートデバイス３５１の複数の観測点（白丸）において、そのオブジェクト３５２の把持による力覚データ、触覚データ、力データ等のハプティクスデータが検出されると、そのハプティクスデータ（各観測点の位置、速度、加速度等のデータや印加される力データ等）がローカルオペレータのグローブ型デバイス３１１に伝送される（feedback）。つまり、この場合、デバイスの力点（オブジェクトを把持する部分）には力覚センサがあって、加えた力を検知し数値化して相手側へ伝送する。力点の位置は関節点の位置とは独立で任意の位置とできる。
　このようにfeedback伝送を行うことにより、グローブ型デバイス３１１は、リモートデバイス３５１において検出された、オブジェクト３５２を把持した時の反作用の力を再現することができる。つまり、ローカルオペレータがその反作用の力を感じることができる。したがって、リモートデバイス３５１において、反作用の力として受信信号と同じ大きさの力で反対方向の向きをfeedbackするとローカルオペレータ側では指で掴んで位置が安定していると感じる。ローカルオペレータが、このような感覚を得られるようにグローブ型デバイス３１１に印加する力を調節することにより、リモートデバイス３５１が安定的にオブジェクト３５２を把持することができるように遠隔操作を行うことができる。つまり、より高精度に遠隔制御を行うことができる。
　なお、このfeedback伝送は、forward伝送された力覚データがオブジェクト３５２の把持によって更新される場合のみ行われるようにしてもよい。
　　＜ユースケース４＞
　なお、ハプティクスデータの伝送は無線通信によって行われるようにしてもよい。例えば、図１４に示されるように、所謂ドローン等の飛行体３６１に設けられたロボットハンド３６２の遠隔制御に遠隔操作システム１００を適用してもよい。この場合、ローカルオペレータは、グローブ型デバイス３１１を操作してロボットハンド３６２に対する操作を入力する。ローカルシステム１０１は、そのグローブ型デバイス３１１において検出された力覚データとしての位置データやフォースデータを無線通信により飛行体３６１に送信する。飛行体３６１は、その情報をロボットハンド３６２に供給し、ロボットハンド３６２は、その制御に従って駆動し、オブジェクトを掴む等の動作を行う。ロボットハンド３６２がオブジェクトを掴む等すると、ユースケース３の場合と同様に、その位置データやフォースデータがグローブ型デバイス３１１にフィードバックされる。ローカルオペレータは、そのフィードバックされた位置データやフォースデータに基づいてグローブ型デバイス３１１により再現された力覚や触覚等を体感しながらロボットハンド３６２の遠隔制御を行うことができる。
　このような遠隔操作は、例えば、救助用の飛行体３６１が事件現場に飛んでいき、そこで発見された人の体をロボットハンド３６２により掴んで救助する等の作業に適用することができる。例えば、ローカルオペレータの手に連動する形で、ロボットハンド３６２が動き、人を抱きかかえるようにホールドするようにしてもよい。また、その時フィードバック伝送によりローカルオペレータが人をホールドしているか否かを確認することができるようにしてもよい。なお、フィードバックデータに映像や音声のデータが含まれていてもよい。
　　＜ユースケース５＞
　またリモートデバイスにより素材の表面の様子を検知するシステムに、遠隔操作システム１００を適用してもよい。例えば、図１５に示されるように、ローカルオペレータがグローブ型デバイス３１１を装着して図中上から下に向かって走査させると、グローブ型デバイス３１１において検出されたハプティクスデータが遠隔地のリモートデバイス３７１にforward伝送され、そのリモートデバイス３７１においてグローブ型デバイス３１１の動きが再現される。つまり、リモートデバイス３７１は、物体表面３７２において、図中上から下に向かって走査する。
　この走査により、リモートデバイス３７１は、その物体表面３７２の凹凸具合等を検出する。このハプティクスデータがローカルオペレータ側のグローブ型デバイス３１１にfeedback伝送される。グローブ型デバイス３１１は、触感アクチュエータにより、そのハプティクスデータに基づいてリモートデバイス３７１において検出された物体表面３７２の凹凸を再現する。これによりローカルオペレータは、直接触れていないその凹凸を把握することができる。
　例えば、ローカルオペレータが触感の検知に関して、所定の力でもって指２本で操作することで幅をもった範囲を同時に検知することができる。ある時間において位置情報が変化すると、それにより計算される速度V(mm/sec)で、表面の凹凸の間隔がλmmである素材をなぞると、皮膚表面には周波数f=V/λHzの振動が生じる。この振動をトレースすると例えば図１６のようになる。したがって、２本の指（触覚点）のposition情報から、左右横に並んで２本の指が並行走査した結果の触感データのフィードバックパターンが多少の時間差分をもって類似関係にあることが分かる。したがって、２本指で走査した距離において表面の凹凸が斜めに存在することが分かる。
　このように２本の指の位置と各々の位置において得られた触感フィードバック情報をローカル側で比較することにより、複数positionの表面の形状や凹凸感、ざらざら、すべすべ感をより正確に、効率的に把握し、面としてのテクスチャ構造を把握することが可能になる。ローカル側から送信される力の情報により、リモート側でのどの程度の力で押すか制御することができる。このように、映像の配信がない、触覚のみの伝送においても複数ポイントを同時に走査することで物体表面のテクスチャの把握が可能となる。
　　＜ユースケース６＞
　また、XR（Extended Reality）をシステムに適用してもよい。例えば、図１７のように、仮想の手の映像を表示する等して感覚の現実性を向上させるようにしてもよい。図１７の例の場合、ローカルオペレータはグローブ型デバイス３１１－１を装着し、遠隔地のリモートオペレータとの仮想的な握手動作を行う。そのリモートオペレータもグローブ型デバイス３１１－２を装着しており、同様に、ローカルオペレータとの仮想的な握手動作を行う。
　forward伝送およびfeedback伝送により、それぞれのグローブ型デバイス３１１において検出されたハプティクスデータが交換され、相手側のグローブ型デバイス３１１の力覚・触感アクチュエータによりその動きが再現される。
　また、ローカルオペレータは、ヘッドマウントディスプレイ（HMD（Head Mounted Display））３８１－１を装着している。同様に、リモートオペレータは、ヘッドマウントディスプレイ（HMD）３８１－２を装着している。ヘッドマウントディスプレイ３８１－１およびヘッドマウントディスプレイ３８１－２を互いに区別して説明する必要が無い場合、ヘッドマウントディスプレイ３８１と称する。ヘッドマウントディスプレイ３８１には、自身の周りを認識するためのイメージセンサが装着されている。
　ヘッドマウントディスプレイ３８１－１には、ローカルオペレータが操作するグローブ型デバイス３１１－１に対応するリアルな手の画像と、リモートオペレータが操作するグローブ型デバイス３１１－２に対応する仮想的な手の画像とを含む仮想空間の映像が表示される。グローブ型デバイス３１１－１に対応する仮想的な手の画像は、グローブ型デバイス３１１－１において検出されたハプティクスデータに基づいて生成される。つまり、このリアルな手の画像は、ローカルオペレータにより操作されるグローブ型デバイス３１１－１の動きの様子を再現する。同様に、グローブ型デバイス３１１－２に対応する仮想的な手の画像は、グローブ型デバイス３１１－２から伝送されたハプティクスデータに基づいて生成される。つまり、この仮想的な手の画像は、リモートオペレータにより操作されるグローブ型デバイス３１１－２の動きの様子を再現する。
　ローカルオペレータは、そのヘッドマウントディスプレイ３８１－１に表示された映像を見ながらグローブ型デバイス３１１－１を操作することにより、例えば、ヘッドマウントディスプレイ３８１－１に表示される仮想空間において、仮想的な手同士の握手を行うことができる。さらに、グローブ型デバイス３１１－１は、力覚・触感アクチュエータにより、グローブ型デバイス３１１－２からフィードバックされたハプティクスデータを用いて力覚や触覚を再現することができるので、ローカルオペレータは、その握手する際の相手の手の動きや力加減、そして温度などの感覚を感じることができる。さらに、本システムの場合、ローカルオペレータが握手の様子の映像を見ることができるので、その握手の感覚の現実性を向上させることができる。
　リモートオペレータ側も同様である。ヘッドマウントディスプレイ３８１－２には、ローカルオペレータが操作するグローブ型デバイス３１１－１に対応する仮想的な手の画像と、リモートオペレータが操作するグローブ型デバイス３１１－２に対応する仮想的な手の画像とを含む仮想空間の映像が表示される。グローブ型デバイス３１１－１に対応する仮想的な手の画像は、グローブ型デバイス３１１－１から伝送されたハプティクスデータに基づいて生成される。つまり、この仮想的な手の画像は、ローカルオペレータにより操作されるグローブ型デバイス３１１－１の動きの様子を再現する。同様に、グローブ型デバイス３１１－２に対応する仮想的な手の画像は、グローブ型デバイス３１１－２において検出されたハプティクスデータに基づいて生成される。つまり、この仮想的な手の画像は、リモートオペレータにより操作されるグローブ型デバイス３１１－２の動きの様子を再現する。
　リモートオペレータは、そのヘッドマウントディスプレイ３８１－２に表示された映像を見ながらグローブ型デバイス３１１－２を操作することにより、例えば、ヘッドマウントディスプレイ３８１－２に表示される仮想空間において、仮想的な手同士の握手を行うことができる。さらに、グローブ型デバイス３１１－２は、力覚・触感アクチュエータにより、グローブ型デバイス３１１－１からフィードバックされたハプティクスデータを用いて力覚や触覚を再現することができるので、リモートオペレータは、その握手する際の相手の手の感覚を感じることができる。さらに、本システムの場合、リモートオペレータが握手の様子の映像を見ることができるので、その握手の感覚の現実性を向上させることができる。
　例えば、ローカルシステム１０１は、基準位置RP1（Reference Position 1）の絶対座標位置、絶対座標軸の向き（水平面と鉛直方向）、絶対座標での座標値（x,y,z）、基準観測点BP1（例えば、Group1（＝ Organ１）の支点）、基準位置RP1からのオフセット等の情報によりグローブ型デバイス３１１－１の位置を表現する。
　同様に、例えば、リモートシステム１０２は、基準位置RP2（Reference Position 2）の絶対座標位置、絶対座標軸の向き（水平面と鉛直方向）、絶対座標での座標値（x,y,z）、基準観測点BP2（例えば、Group2（＝ Organ２）の支点）、基準位置RP2からのオフセット等の情報によりグローブ型デバイス３１１－２の位置を表現する。
　これらの情報を授受することにより、グローブ型デバイス３１１－１とグローブ型デバイス３１１－２の相対位置を導出することができ、仮想的な空間で握手を行うことができる。
　　＜ユースケース７＞
　また、図１７のシステムと同様に遠隔地のオペレータ同士による仮想的な握手を実現するシステムにおいて、ローカルオペレータとリモートオペレータがそれぞれ、実在のロボットハンドと握手を行うようにしてもよい。
　この場合、ヘッドマウントディスプレイ３８１は不要である。代わりに、ローカルオペレータの付近には、ロボットハンド３９１－１が設置されている。ローカルオペレータは、グローブ型デバイス３１１－１を操作して、このロボットハンド３９１－１と実際に握手をする。このロボットハンド３９１－１は、グローブ型デバイス３１１－２から伝送されたハプティクスデータに基づいて駆動し、リモートオペレータが操作するグローブ型デバイス３１１－２の動きを再現する。つまり、ローカルオペレータとリモートオペレータは、互いに相手と本当に握手を行っているかのような感覚（力覚や触覚）を得ることができる。また、実在のロボットハンド３９１－１が駆動するので、ローカルオペレータは、その握手の感覚の現実性を向上させることができる。
　リモートオペレータ側も同様である。つまりリモートオペレータの付近には、ロボットハンド３９１－２が設置されている。リモートオペレータは、グローブ型デバイス３１１－２を操作して、このロボットハンド３９１－２と実際に握手をする。このロボットハンド３９１－２は、グローブ型デバイス３１１－１から伝送されたハプティクスデータに基づいて駆動し、ローカルオペレータが操作するグローブ型デバイス３１１－１の動きを再現する。つまり、ローカルオペレータとリモートオペレータは、互いに相手と本当に握手を行っているかのような感覚（力覚や触覚）を得ることができる。また、実在のロボットハンド３９１－２が駆動するので、リモートオペレータは、その握手の感覚の現実性を向上させることができる。
　例えば、ローカルシステム１０１は、基準位置RP1（Reference Position 1）の絶対座標位置、絶対座標軸の向き（水平面と鉛直方向）、絶対座標での座標値（x,y,z）、基準観測点BP1（例えば、Group1（＝ Organ１）の支点）、基準位置RP1からのオフセット等の情報によりグローブ型デバイス３１１－１の位置を表現する。
　同様に、例えば、リモートシステム１０２は、基準位置RP2（Reference Position 2）の絶対座標位置、絶対座標軸の向き（水平面と鉛直方向）、絶対座標での座標値（x,y,z）、基準観測点BP2（例えば、Group2（＝ Organ２）の支点）、基準位置RP2からのオフセット等の情報によりグローブ型デバイス３１１－２の位置を表現する。
　これらの情報を授受することにより、グローブ型デバイス３１１－１とグローブ型デバイス３１１－２の相対位置を導出することができ、仮想的な握手（実在のロボットハンド３９１との握手）を行うことができる。
　　＜レンダラ＞
　次に、レンダラ１３２について説明する。レンダラ１３２は、力データについて、例えば、ローカル動作で発生する力データとリモートから受信した力データとの合成を行うようにしてもよい。その場合のレンダラ１３２の主な構成例を図１９に示す。図１９に示されるように、この場合のレンダラ１３２は、合成部４０１を有する。この合成部４０１は、センサ部１３１から供給される、ローカル動作で発生する力データ（Force1(power,direction)）を取得する。また、合成部４０１は、復号化部１６２から供給される、リモートから受信した力データ（Force2(power,direction)）を取得する。合成部４０１は、それらの力データを合成し、アクチュエータ１３３の制御情報（Synth_force(power,direction)）を生成する。合成部４０１は、その制御情報をアクチュエータ１３３に供給する。
　また、レンダラ１３２が、絶対位置でのハプティクスシステムの姿勢補正を行うようにしてもよい。さらに、レンダラ１３２が、ローカルの位置関係上にリモートの位置情報を補正マッピングさせてもよい。その場合のレンダラ１３２の主な構成例を図２０に示す。この場合、レンダラ１３２は、位置関係決定部４１１および位置補正部４１２を有する。
　位置関係決定部４１１は、ローカルの絶対座標１からリファレンスポジションRP１と基準関節点BP１の位置関係を決定する。同様にRP1とローカルの従属関節点CP１の位置関係を決定する。
　位置補正部４１２は、リモートからの絶対座標２からリモートのリファレンスポジションRP２とリモートの基準観測点BP2の位置関係、リモートの従属関節点CP2の位置関係が求まる。それらの位置関係を上述のように求めたローカルの位置関係上にスケーリング変換し補正する。そして、補正後の位置データをアクチュエータに送る。
　なお、同様の処理はリモート側のレンダラにおいても行われるようにしてもよい。
　　＜位置検知センサによる遅延補償＞
　ローカル側、リモート側それぞれに、動きを検知するセンサには予測器を設け、直前の履歴を用いて直後の位置を予測するようにしてもよい。この予測機能により、実際に伝送する位置情報は、ローカル側の現在位置よりも先に進んだ値（先取り位置データ）を伝送することができる。
　リモート側ではその先取りデータ位置におけるフィードバック情報を送信する。ローカル側での実際の動きが進んだ時に、リモート側からのフィードバック情報を受信しアクチュエータで再現するようにチューニングすることで、ローカル側レンダラ出力を得ることが可能となる。同様のことがリモート側から発信されるセンサ情報にもいえ、リモート側からの先取り位置情報に対して、ローカル側のフィードバックが返されることで、リモート側のレンダラ出力で遅延を感じることなく力覚触感情報を得ることができる。
　　＜絶対位置の特定＞
　GPS（Global Positioning System）情報と３軸方位センサにより北に対する傾きを検出し、ハプティックデバイスの支点位置と設定された方向を特定するようにしてもよい。GPS情報には、例えば、空間座標として、２次元座標（latitude, longitude）、標高（elevation）、時刻（time）等の情報が定義されている。GPS情報のxml型式表現による記述例を図２１に示す。
　　＜鉛直方向のズレ＞
　また、例えば図２２に示されるように、加速度センサ４２１を用いてその加速度センサが設置されたデバイス４２０の傾斜角度を求めるようにしてもよい。例えば、加速度センサ４２１が重力の働く方向と一致すると加速度センサ４２１には加速度9.8m/sec2が検出される。これに対して、加速度センサ４２１が重力の働く方向と直角の方向に配置されると、重力の影響は無くなり、加速度センサ４２１の出力は０になる。任意の角度θの傾きの加速度a が加速度センサ４２１の出力として求まると、以下の式（１）により傾斜角θを導出することができる。
Figure JPOXMLDOC01-appb-I000001
　このようにして、ハプティックデバイスの鉛直方向とのズレを算出することができる。
　　＜ハプティクスデータ（KTマップ）の他の例＞
　なお、ハプティクスデータ（KTマップ）の構成は任意であり、上述の例に限定されない。図７の例のハプティクスデータを、図２３に示されるような構成としてもよい。図１１の例のハプティクスデータを、図２４に示されるような構成としてもよい。つまり、支点関節点位置として、各観測点の位置、速度、加速度を示すようにしてもよい。
　　＜ハプティクスデータの符号化＞
　観測点のハプティクスデータ（力覚データ、触覚データ、力データ）の値は、例えば図２５のグラフのように、時間軸に沿って動的に変化する。そこで、このようなハプティクスデータを符号化する際に、例えば図２６に示されるように、所定の時間毎にフレーム（ハプティクスフレーム（Haptics_frame））を形成するようにしてもよい。
　図２６において、長方形は時系列に並べられたハプティクスデータを示しており、そのハプティクスデータが、所定の時間毎に区切られ、ハプティクスフレーム（Haptics_frame）４５１－１、ハプティクスフレーム４５１－２、ハプティクスフレーム４５１－３、・・・が形成されている。各ハプティクスフレームを互いに区別して説明する必要が無い場合、ハプティクスフレーム４５１と称する。
　そして、ハプティクスフレーム４５１内においてハプティクスデータのサンプル間の予測を行うこともでき、それを行う場合は情報量の増大が抑制される。
　１次元のデータの符号化方法として、例えばデッドバンド（deadband）がある。デッドバンド方式の場合、例えば、図２７のＡに示されるような１次元のデータにおいて、直前の値の変動が大きい一部のデータ（黒丸で示されるデータ）のみが符号化され、変動の少ないグレーの部分のデータについては符号化が省略される。復号化の際、符号化されていない区間については、符号化・復号化されたデータが複製される。したがって、復号化されたデータは、図２７のＢのようになる。つまり、デッドバンド方式の場合、微小な変化分の再生が困難となるおそれがあった。逆に、高精細度の動きを再現しようとすると、Perception thresholdの範囲はごく狭くなり、伝送するデータの頻度が高くなるので、符号化効率が低減してしまうおそれがあった。
　そこで、ハプティクスデータの符号化においては、時系列の隣接ポイント間で差分を取り、差分値を可変長符号化するようにする。例えば、図２８のＡに示されるように１次元のハプティクスデータのハプティクスフレーム４５１内において、時系列の隣接ポイント間で差分を導出する。なお、ハプティクスフレームの先頭のデータは、差分を導出せず、そのままの値を用いる。
　このようにすることにより、ハプティクスフレーム毎のハプティクスデータ（差分値）は、例えば曲線４６１乃至曲線４６４のようになる。そして、この差分値を量子化し、さらに可変長符号化するようにする。このようにすることにより、元のデータをそのまま符号化する場合に比べて、情報量を低減させることができ、符号化効率の低減を抑制することができる。また、このような符号化データを復号化すると、図２８のＢに示される曲線４６５のように、元のデータを忠実に復元することができる。したがって、デッドバンド方式のような符号化・復号化による再生精度の低減を抑制することができる。つまり、受信側で高精細な動きの再現が可能であり、また常に一定のデータ圧縮効果も図ることができる。これは３次元空間の動きの場合においても同様である。
　なお、このような予測処理を行う場合、伝送時のエラー等に起因する不正な復号化値が後続のサンプルに伝搬するおそれがあるが、上述のように、所定の時間毎にハプティクスフレーム化し、その先頭において予測をリフレッシュし、差分値を導出せずに符号化することにより、例えば復号化に失敗した場合にもその伝搬を抑制することができる。これにより、例えば、伝送エラー等に対する耐性を向上させることができる。
　　＜符号化部＞
　この場合の符号化部１５２（図３）の主な構成例を図２９のＡに示す。この場合、符号化部１５２は、遅延部５０１、演算部５０２、量子化部５０３、および可変長符号化部５０４を有する。
　遅延部５０１は、入力されたハプティクスデータ（Input data(t)）を遅延させ、遅延されたハプティクスデータ（dd(t)）を生成する。演算部５０２は、入力されたハプティクスデータ（Input data(t)）と遅延部５０１により遅延されたハプティクスデータ（dd(t)）との差分値（予測残差値とも称する）（Predicted data(t)）を導出する。つまり、サンプル間の予測が行われ、その予測残差が導出される。量子化部５０３は、その予測残差値（Predicted data(t)）を量子化し、量子化係数（quantized data(t)）を生成する。可変長符号化部５０４は、その量子化係数（quantized data(t)）を可変長符号化し、符号化データ（variable length code(t)）を生成し、出力する。
　　＜復号化部＞
　また、この場合の復号化部１６２の主な構成例を図２９のＢに示す。この場合、復号化部１６２は、可変長復号化部５１１、逆量子化部５１２、演算部５１３、および遅延部５１４を有する。
　可変長復号化部５１１は、入力された符号化データ（variable length code(t)）を可変長復号化し、量子化係数（quantized data(t)）を生成する。逆量子化部５１２は、その量子化係数（quantized data(t)）を逆量子化し、逆量子化係数（dequantized data(t)）を導出する。この逆量子化係数（dequantized data(t)）は、復元された予測残差値（Predicted data'(t)）である。量子化が行われており量子化ステップ幅によっては非可逆であるので、この復元された予測残差値（Predicted data'(t)）は、符号化部１５２の予測残差値（Predicted data(t)）と同一とならない可能性がある。
　演算部５１３は、その逆量子化係数（dequantized data(t)）に、ハプティクスデータ（Reconstructed data(t)）を遅延部５１４で遅延させたデータ(dd'(t))を加算し、復元されたハプティクスデータ（Reconstructed data(t)）を導出する。つまり、演算部５１３は、予測残差に過去サンプルの復号結果を加算することにより現サンプルのハプティクスデータを生成する。
　例えば、符号化部１５２に入力されるハプティクスデータ（Input data(t)）値が時系列に沿って「２」→「８」→「４」→「６」→「１０」のように変化すると、ハプティクスデータ（dd(t)）、予測残差値（Predicted data(t)）、ハプティクスデータ（dd'(t)）、ハプティクスデータ（Reconstructed data(t)）は、それぞれ、図３０に示されるような値となる。一般に、可変長符号化では入力値がゼロに近い程、符号長を短くするようなマッピングが行われるので、この結果、情報量を低減させ、符号化効率の低減を抑制することができる。
　なお、ハプティクスフレーム内においては、支点関節点位置、刺激操作、および力等の情報は、図３１のＡ乃至Ｃに示されるように、それぞれ、サンプル間の予測がなされ、非予測値と予測残差値により構成される。
　　＜ハプティクスデータ送信処理の流れ＞
　次に、ローカルシステム１０１において実行される処理について説明する。ローカルシステム１０１は、ハプティクスデータ送信処理を行うことにより、ハプティクスデータの送信を行う。このハプティクスデータ送信処理の流れの例を図３２のフローチャートを参照して説明する。
　ハプティクスデータ送信処理が開始されると、センサ部１３１は、ステップＳ１０１においてハプティクスインタフェース１３４の複数の観測点において、力覚データ、触覚データ、力データ等を検出する。ステップＳ１０２において、センサ部１３１は、それらの情報を用いて、マルチポイントのハプティクスデータを生成する。ステップＳ１０３において、コンポーザ１５１は、そのマルチポイントのハプティクスデータを観測点毎にまとめる等して、KTマップを生成する。
　ステップＳ１０４において、符号化部１５２は、そのKTマップを、サンプル間の予測を用いて符号化し、符号化データを生成する。
　ステップＳ１０５において、コンテナ処理部１５３は、その符号化データをコンテナに格納し、送信用データを生成する。ステップＳ１０６において、コンテナ処理部１５３は、その送信用データを送信する。
　以上のようにハプティクスデータを含む送信用データが送信されるとハプティクスデータ送信処理が終了する。
　このようにすることにより、複数観測点のハプティクスデータを送信することができ、より高精度に遠隔制御を行うことができる。
　　＜ハプティクスデータ受信処理の流れ＞
　次に、図３３のフローチャートを参照してハプティクスデータ受信処理の流れの例を説明する。
　ハプティクスデータ受信処理が開始されると、コンテナ処理部１６１は、ステップＳ１３１において、送信されたデータを受信し、符号化データを抽出する。ステップＳ１３２において、復号化部１６２は、その符号化データを復号化し、KTマップを再現する。ステップＳ１３３において、復号化部１６２は、そのKTマップを用いてマルチポイントのハプティクスデータを再現する。
　ステップＳ１３４において、レンダラ１３２は、そのマルチポイントのハプティクスデータを用いてレンダリングを行い、アクチュエータ１３３を制御する制御情報を再現する。
　ステップＳ１３５において、アクチュエータ１３３は、ステップＳ１３４において生成された制御情報に基づいてハプティクスインタフェース１３４を駆動させる。
　ハプティクスインタフェース１３４が駆動するとハプティクスデータ受信処理が終了する。
　このようにすることにより、複数観測点のハプティクスデータを受信することができ、より高精度に遠隔制御を行うことができる。
　＜３．第２の実施の形態＞
　　＜MPDの適用＞
　上述のように、遠隔操作システム１００は、ハプティクスデータの再生にMPDを適用することもできる。その場合、ローカルシステム１０１は、自身が検出したハプティクスデータについてMPDを生成し、そのMPDをMPDサーバ１０３に登録することができる。
　　＜MPD生成処理の流れ＞
　このようなMPDを生成するMPD生成処理の流れの例を、図３４のフローチャートを参照して説明する。
　MPD生成処理が開始されると、MPD生成部１５４は、ステップＳ１６１において、コンポーザ１５１からマルチポイントのハプティクスデータを取得し、そのマルチポイントのハプティクスデータに基づいて、そのマルチポイントのハプティクスデータに対応するMPDを生成する。
　ステップＳ１６２において、コンテナ処理部１５３は、ステップＳ１６１において生成されたMPDをMPDサーバ１０３宛てに送信する。MPDが送信されるとMPD送信処理が終了する。
　このようにマルチポイントのハプティクスデータについてMPDを生成し、MPDサーバに登録することにより、MPDに基づいた再生制御を行うことができる。
　　＜MPD制御処理の流れ＞
　MPDを用いたハプティクスデータの再生制御に関する処理であるMPD制御処理の流れの例を、図３５のフローチャートを参照して説明する。
　MPD制御処理が開始されると、MPD制御部１６３は、ステップＳ１９１において、コンテナ処理部１６１を介してMPDをMPDサーバ１０３に要求し、取得する。
　ステップＳ１９２において、MPD制御部１６３は、ステップＳ１９１の処理により取得したMPDに基づいて、取得するハプティクスデータを選択する。
　ステップＳ１９３において、MPD制御部１６３は、コンテナ処理部１６１を介して、リモートシステム１０２に対して、ステップＳ１９２の処理により選択したハプティクスデータを要求する。
　以上のような要求に基づいて供給されるハプティクスデータは、ローカルシステム１０１が上述のハプティクスデータ受信処理を行うことにより取得することができる。
　　＜コンテナ構成例＞
　ハプティクスデータを格納するコンテナの主な構成例を図３６のＡに示す。ハプティクスデータは、例えば、ISOBMFF（ISO Base Media File Format）形式のコンテナ（送信用データ）に格納される。このISOBMFFの場合、図３６のＡに示されるように、コンテナは、IS（Initialization Segment）とMS（Media Segment）とを有する。MSには、トラックの識別情報（trackID）やタイムスタンプ（Timestamp）等が格納される。また、DASH MPDは、このMSに紐づけられる。
　図３６のＡは、メディアセグメントがフラグメントされない場合のコンテナの様子の例を示す。図３６のＢは、メディアセグメントがフラグメントされる場合のコンテナの様子の例を示す。メディアセグメントは、ムービーフラグメント（Movie Fragment）として、moofやmdatを内包する。
　DASHのMPDは、グループID（Group_id）により、メディアセグメントのmoofに紐づけされる。図３７のＡは、ローカルからの送信の場合の例を示す。図３７のＢは、リモートからの送信の場合の例を示す。
　また、ローカルにハプティックデバイスが複数存在する場合、図３８に示されるように、１つのMPDを複数のmoofに紐づけることもできる。その場合も、グループIDにより紐づけが行われる。この例のように、ハプティクスデータをグループ毎に互いに異なるトラックに格納するようにしてもよい。
　　＜トラックの割り当て＞
　ハプティクスデータは、１つのグループをメディアファイルの１トラックに割り当ててもよい。図７の例のハプティクスデータを格納する場合のコンテナ構成の例を図３９に示す。また、図１１の例のハプティクスデータを格納する場合のコンテナ構成の例を図４０に示す。さらに、図１６の例のハプティクスデータを格納する場合のコンテナ構成の例を図４１に示す。
　　＜ファイルフォーマット内のデータ配置＞
　例えば、図４２に示されるように、１つのハプティックデバイス１２１（ハプティクスインタフェース１３４）の全ての観測点のハプティクスデータを、コンテナの１トラック内に配置するようにしてもよい。この場合、トラックは、１ファイルに割り当てられ、moofはトラック内で独立して配置される。HapticsSampleGroupEntry (‘hsge’)により、各観測点の接続配置と共に、同一時刻におけるsubpart間のoffset位置、時間軸昇順offset位置、sample間のoffset位置等が示される。なお、符号化対象が触覚データ（tactile data）の場合も同様である。subpart間のoffset位置を示すsubpt_grp_offsetにより、再生側での観測点の構造に応じて適宜必要なsubptrepのグループのみをピックアップすることが容易にできる。
　量子化テーブル（Q_table）、値の精度（Precision_of_positions）、およびコネクションチェイン（connection_chain）の例を図４３に示す。connection_chain情報は、subpartrep_ordering_typeが“interleaved”の場合に符号化されたサンプル要素の配置順を示す。positionの代わりにvelocityやacceleration情報を送受信することもできる。また、rotaccelerationの代わりに rotposition やrotvelocity 情報を送受信することもできる。
　　＜エラー耐性への配慮＞
　復号化部１６２が符号化対象データを可変長復号化する際、通常のデータとは別の意味を持つ所定の符号列（ユニークワード）を検出することにより、伝送の過程でエラーによる劣化の影響を最小限で食い止め、次のタイムデータ（time data）あるいは、次のハプティクスフレーム（frame）の最初を検知し、そこから復号化処理をリスタート（restart）することができるようにしてもよい。図４４にその例を示す。図４４において、斜線模様の四角が、可変長符号化ユニークワード（unique word）によりハプティクスフレームの先頭（Frame Top）を識別する識別情報を示す。また、グレーの四角が、可変長符号化ユニークワード（unique word）によりタイムデータの先頭（Time_data Top）を識別する識別情報を示す。
　例えば、‘1111111111’が、ハプティクスフレームの先頭（Frame Top）を識別するユニークワードであるとし、‘1111111110’が、タイムデータの先頭（Time Data Top）を識別するユニークワードであるとしてもよい。つまり、ハプティクスフレームの先頭（Frame Top）においては、’1’がＮ個連続し、タイムデータの先頭（Time Data Top）においては、’1’が（N-1）個連続するようにし、それ以外の符号化データにおいては’1’が最大（N-2）個連続するようにしてもよい。
　受信機では、パケットロス発生時（上位レイヤのチェックサムなどでチェックすることは可能）でも、’1’の連続数を検査することでユニークワードの検出ができ、所定のタイミングからのリカバリが可能となる。
　　＜受信側の再生選択制の確保＞
　送受信間デバイスで持つ関節点の規模が異なる場合（つまり送信側の観測点の数と受信側の制御点の数とが異なる場合）がある。送信側動作させる関節点の数(Ｍ)と受信側で再生可能な関節点の数(Ｐ)とが異なる場合、特に、M>Pである場合に受信側が再生可能な関節点に相当するSubpoint groupのみを復号化させることができるようにしてもよい。例えば、図４５のように、再生するサブグループ（Sbgsp）のみを選択し、それ以外の復号化あるいは再生をスキップするようにしてもよい。図４５の例の場合、グレーで示されるサブグループ(例えば、Sbgsp4, Sbgsp6)の復号化あるいは再生がスキップされている。
　その際、受信側におけるdecisionとしては、MPDの中の各々のサブリプレゼンテーション（subRepresentation）で括られるsubgroupset毎に関節点の位置情報の初期値をチェックする。受信機で再生可能な関節点と位置情報が近いものを多く持つsubgroupsetを再生対象として採用する。例えば、subgroupset＝1と2と3と5を採用する場合、図４５においてグレーで示されるサブグループ（subgroupset）をスキップする。スキップするにあたり、MPDにあるSubpt_grp_offset情報が利用される。
　そのようにして再生された場合のローカル側へのフィードバック情報は採用された分のみがリモート側から送信されることになる。この機能により、ハプティクス力覚再生デバイスとして、より広範囲なタイプの再生デバイスが利用可能となる。
　なお、KTマップに対応するISOBMFFファイルフォーマットにおけるmoofのシンタクスの例を図４６に示す。図４６において、/hsgeと/connection_chainがKTマップに対応するために設けられた要素である。
　　＜受信側のMPDによる配信対象の制御＞
　受信側ではMPDサーバ１０３にアクセスし、MPDファイルを取得し解析し、受信側ネットワークでの可能な帯域を考慮し、適切なビットレート（bitrate）となるようにビットレートの選択を行ってもよい。また、受信側のデバイス構成により、再生可能な範囲内となるように、配信される観測点の規模を選択する制御を行ってもよい。
　以上の機能を実現するために、MPDにおいて、Supplementary descriptorを用いて新規スキーマ定義をする。
　例えば、MPDサーバ１０３経由で送信側がビットレートのリクエストを受けると、送信側は、それを実現するような量子化ステップサイズで符号化量子化制御を行う。その場合のMPDの例を図４７に示す。図４７は、図１１のハプティクスデータに対応するMPDの例である。図４７の一点鎖線枠７０１および一点鎖線枠７０２の部分には、図４８乃至図５０のサブリプレゼンテーションの記述が挿入される。図４８乃至図５０のサブリプレゼンテーション以下のpositiondata, rotaccdate, forcedataは、動的変化の初期値を示す。この例では、符号化ビットレートの総量が4Mbpsか2Mbpsかの選択を行えるようになされている。
　また、MPDサーバ１０３経由で送信側が関節点規模の削減のリクエストを受けると、送信側は、それを実現するようにサブグループ（sub_group）数を減らして符号化を行う。その場合のMPDの例を図５１に示す。図５１は、図１１のハプティクスデータに対応するMPDの例である。図５１の一点鎖線枠７１１および一点鎖線枠７１２の部分には、図５２および図５３のサブリプレゼンテーションの記述が挿入される。図５２および図５３のサブリプレゼンテーション以下のpositiondata, rotaccdate, forcedataは、動的変化の初期値を示す。この例では、サブグループ数が６か４かの選択を行えるようになされている。
　なお、図４７乃至図５３の例は、単数の力覚デバイスからハプティクスデータを送信する場合のMPDについて説明したが、複数の力覚デバイスからハプティクスデータを送信してもよい。その場合のMPDの例を図５４に示す。図５４の例の場合、アダプテーションセットが２つ設けられている。各アダプテーションセットには互いに異なるグループIDが割り当てられており、各アダプテーションセットは、互いに異なる力覚デバイスに対応する。
　また、ハプティクスデータを双方向に送信する場合の、ローカルシステム１０１からリモートシステム１０２へのハプティクスデータの伝送に対応するMPDの例を図５５に示す。この場合、このローカルシステム１０１からの伝送に対応するMPD内において、リモートシステム１０２に対して、硬さ、摩擦係数、温度情報等の触覚データを返すようにリクエストが行われる。例えば、図５５のMPD中の<SupplementaryDesctiptor schemeIdUri=“urn:bicom:haptic3d:qrhardness” value= “ptB1queryhardness”/>は、リモートシステム１０２に対してtactile（触感データ）として「硬さ」を返信してもらうことを要求する記述である。また、<SupplementaryDesctiptor schemeIdUri=“urn:bicom:haptic3d:qrfriction” value= “ptB1queryfriction”/>は、リモートシステム１０２に対してtactile（触感データ）として「摩擦係数」を返信してもらうことを要求する記述である。さらに、<SupplementaryDesctiptor schemeIdUri=“urn:bicom:haptic3d:qrtemp” value= “ptB1querytemperature”/>は、リモートシステム１０２に対してtactile（触感データ）として「温度情報」を返信してもらうことを要求する記述である。同様に、図５５のMPD中の<SupplementaryDesctiptor schemeIdUri=“urn:bicom:haptic3d:qrhardness” value= “ptB2queryhardness”/>は、リモートシステム１０２に対してtactile（触感データ）として「硬さ」を返信してもらうことを要求する記述である。また、<SupplementaryDesctiptor schemeIdUri=“urn:bicom:haptic3d:qrfriction” value= “ptB2queryfriction”/>は、リモートシステム１０２に対してtactile（触感データ）として「摩擦係数」を返信してもらうことを要求する記述である。さらに、<SupplementaryDesctiptor schemeIdUri=“urn:bicom:haptic3d:qrtemp” value= “ptB2querytemperature”/>は、リモートシステム１０２に対してtactile（触感データ）として「温度情報」を返信してもらうことを要求する記述である。
　また、この図５５のMPDに対応する、リモートシステム１０２からローカルシステム１０１へのハプティクスデータの伝送（feedback伝送）に対応するMPDの例を図５６に示す。このフィードバック伝送においては、図５５のMPDに記載のリクエストに基づいて、硬さ、摩擦係数、温度情報等の触覚データが返される。例えば、図５６のMPDの中の<SupplementaryDesctiptor schemeIdUri=“urn:bicom:haptic3d:pthardness” value= “ptB1hardness”/>は、ローカルシステム１０１からのリクエストに応じる形で、tactile data（触感データ）として「硬さ」をフィードバックし、その初期値をptB1hardnessに反映していることを示す記述である。また、<SupplementaryDesctiptor schemeIdUri=“urn:bicom:haptic3d:ptfriction” value= “ptB1friction”/>は、ローカルシステム１０１からのリクエストに応じる形で、tactile data（触感データ）として「摩擦係数」をフィードバックし、その初期値をptB1frictionに反映していることを示す記述である。さらに、<SupplementaryDesctiptor schemeIdUri=“urn:bicom:haptic3d:pttemp” value= “ptB1temperature”/>は、ローカルシステム１０１からのリクエストに応じる形で、tactile data（触感データ）として「温度情報」をフィードバックし、その初期値をptB1temperatureに反映していることを示す記述である。同様に、図５６のMPDの中の<SupplementaryDesctiptor schemeIdUri=“urn:bicom:haptic3d:pthardness” value= “ptB2hardness”/>は、ローカルシステム１０１からのリクエストに応じる形で、tactile data（触感データ）として「硬さ」をフィードバックし、その初期値をptB2hardnessに反映していることを示す記述である。また、<SupplementaryDesctiptor schemeIdUri=“urn:bicom:haptic3d:ptfriction” value= “ptB2friction”/>は、ローカルシステム１０１からのリクエストに応じる形で、tactile data（触感データ）として「摩擦係数」をフィードバックし、その初期値をptB2frictionに反映していることを示す記述である。さらに、<SupplementaryDesctiptor schemeIdUri=“urn:bicom:haptic3d:pttemp” value= “ptB2temperature”/>は、ローカルシステム１０１からのリクエストに応じる形で、tactile data（触感データ）として「温度情報」をフィードバックし、その初期値をptB2temperatureに反映していることを示す記述である。
　図５７は、ハプティクスデータを双方向に送信する場合の、ローカルシステム１０１からリモートシステム１０２へのハプティクスデータの伝送に対応するMPDの他の例を示す図である。この場合、このローカルシステム１０１からの伝送に対応するMPD内において、リモートシステム１０２に対して、振動情報を周波数と振幅値で返すようにリクエストが行われる。例えば、図５７のMPD中の<SupplementaryDesctiptor schemeIdUri=“urn:bicom:haptic3d:qrvibfreqency” value= “ptB1queryvibfrequency”/>は、リモートシステム１０２に対して振動情報を周波数で返信してもらうことを要求する記述である。また、<SupplementaryDesctiptor schemeIdUri=“urn:bicom:haptic3d:qrvibamplitude” value= “ptB1queryvibamplitude”/>は、リモートシステム１０２に対して振動情報を振幅値で返信してもらうことを要求する記述である。同様に、図５７のMPD中の<SupplementaryDesctiptor schemeIdUri=“urn:bicom:haptic3d:qrvibfreqency” value= “ptB2queryvibfrequency”/>は、リモートシステム１０２に対して振動情報を周波数で返信してもらうことを要求する記述である。また、<SupplementaryDesctiptor schemeIdUri=“urn:bicom:haptic3d:qrvibamplitude” value= “ptB2queryvibamplitude”/>は、リモートシステム１０２に対して振動情報を振幅値で返信してもらうことを要求する記述である。
　また、この図５７のMPDに対応する、リモートシステム１０２からローカルシステム１０１へのハプティクスデータの伝送（feedback伝送）に対応するMPDの例を図５８に示す。このフィードバック伝送においては、図５７のMPDに記載のリクエストに基づいて、振動情報が周波数と振幅値とで返される。例えば、図５８のMPDの中の<SupplementaryDesctiptor schemeIdUri=“urn:bicom:haptic3d:vibfreqency” value= “ptB1vibfrequency”/>は、ローカルシステム１０１からのリクエストに応じる形で、振動情報を周波数でフィードバックし、その初期値をptB1vibfrequencyに反映していることを示す記述である。また、例えば、図５８のMPDの中の<SupplementaryDesctiptor schemeIdUri=“urn:bicom:haptic3d:vibamplitude” value= “ptB1vibamplitude”/>は、ローカルシステム１０１からのリクエストに応じる形で、振動情報を振幅値でフィードバックし、その初期値をptB1vibamplitudeに反映していることを示す記述である。同様に、図５８のMPDの中の<SupplementaryDesctiptor schemeIdUri=“urn:bicom:haptic3d:vibfreqency” value= “ptB2vibfrequency”/>は、ローカルシステム１０１からのリクエストに応じる形で、振動情報を周波数でフィードバックし、その初期値をptB2vibfrequencyに反映していることを示す記述である。また、例えば、図５８のMPDの中の<SupplementaryDesctiptor schemeIdUri=“urn:bicom:haptic3d:vibamplitude” value= “ptB2vibamplitude”/>は、ローカルシステム１０１からのリクエストに応じる形で、振動情報を振幅値でフィードバックし、その初期値をptB2vibamplitudeに反映していることを示す記述である。
　なお、MPDのセマンティクスの例を図５９および図６０に示す。
　＜４．第３の実施の形態＞
　　＜デジタルインタフェース＞
　ローカルシステム１０１やリモートシステム１０２の一方または両方において、ハプティックデバイス１２１と通信デバイス１２２との間のハプティクスデータの伝送は、図３に示されるようにデジタルインタフェース１２３やデジタルインタフェース１２４を介して行われるようにすることができる。上述したようにこれらのデジタルインタフェースには、任意の規格のデジタル機器用インタフェースを適用することができる。例えば、HDMIを適用する場合のデジタルインタフェース１２３の主な構成例を図６１に示す。なお、HDMIを適用する場合のデジタルインタフェース１２４の主な構成例もこの図６１の例と同様である。この場合、ハプティックデバイス１２１および通信デバイス１２２間のハプティクスデータの伝送は、HDMIのTMDS（Transition Minimized Differential Signaling）チャンネルを用いて行われる。なお、TMDSチャンネルで送るデータは光伝送路あるいは無線電波でなされるとしても同様の前提として考えることができる。
　ハプティクスデータの伝送は、映像データと同期させるか、または、ブランキング期間を利用して行われる。このデータアイランドスロットにおけるメタデータ挿入の様子の例を、図６２および図６３に示す。また、セマンティクスの例を図６４に示す。また、ハプティクスデータのTMDSチャンネルにおける伝送フォーマットの例を図６５に示す。
　＜５．付記＞
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図６６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図６６に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２１を駆動する。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体９２１に記録して適用することができる。その場合、プログラムは、リムーバブル記録媒体９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、専用線によるネットワークあるいはWAN、インターネット、衛星通信等といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
　　＜本技術の適用対象＞
　以上においては、本技術の適用例として遠隔操作システム１００の各装置について説明したが、本技術は、任意の構成に適用することができる。
　例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット、ローカルエリアネットワーク、専用線によるネットワークあるいはWAN上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に適用され得る。
　また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
　また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　　＜その他＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　インタフェースとなるデバイスの複数の観測点についての、前記観測点において検出された力覚に関する情報を含む力覚データ、前記観測点において検出された触覚に関する情報を含む触覚データ、および前記観測点に印加される力の大きさに関する情報を含む力データの内の、少なくともいずれか１つを含むハプティクスデータを送信する送信部
　を備える情報処理装置。
　（２）　前記力覚データは、前記観測点の位置に関する情報または前記観測点の速度に関する情報を含む
　（１）に記載の情報処理装置。
　（３）　前記触覚データは、前記観測点において接触した他の物体の硬さに関する情報、前記物体の摩擦係数に関する情報、および前記物体の温度に関する情報の内の少なくともいずれか１つを含む
　（１）または（２）に記載の情報処理装置。
　（４）　前記ハプティクスデータは、前記観測点毎に分類された、前記力覚データ、前記触覚データ、および前記力データの内の少なくともいずれか１つを含む
　（１）乃至（３）のいずれかに記載の情報処理装置。
　（５）　前記ハプティクスデータは、さらに、前記観測点間の関係を示す情報を含む
　（４）に記載の情報処理装置。
　（６）　前記送信部は、前記観測点毎の前記ハプティクスデータを、前記デバイスの制御構造に応じた前記観測点のグループ毎に互いに異なるトラックに格納して送信する
　（４）または（５）に記載の情報処理装置。
　（７）　前記ハプティクスデータを符号化して符号化データを生成する符号化部をさらに備え、
　前記送信部は、前記符号化部により生成された前記符号化データを送信する
　（１）乃至（６）のいずれかに記載の情報処理装置。
　（８）　前記符号化部は、前記ハプティクスデータについて、サンプル間の予測を行って予測残差を導出し、前記予測残差を符号化して前記符号化データを生成する
　（７）に記載の情報処理装置。
　（９）　前記ハプティクスデータの再生を制御する制御情報を生成する生成部をさらに備え、
　前記送信部は、前記生成部により生成された前記制御情報を送信する
　（１）乃至（８）のいずれかに記載の情報処理装置。
　（１０）　インタフェースとなるデバイスの複数の観測点についての、前記観測点において検出された力覚に関する情報を含む力覚データ、前記観測点において検出された触覚に関する情報を含む触覚データ、および前記観測点に印加される力の大きさに関する情報を含む力データの内の、少なくともいずれか１つを含むハプティクスデータを送信する
　情報処理方法。
　（１１）　インタフェースとなるデバイスの複数の観測点についての、前記観測点において検出された力覚に関する情報を含む力覚データ、前記観測点において検出された触覚に関する情報を含む触覚データ、および前記観測点に印加される力の大きさに関する情報を含む力データの内の、少なくともいずれか１つを含むハプティクスデータを受信する受信部と、
　前記受信部により受信された前記ハプティクスデータに基づいて、インタフェースとなるデバイスの複数の被駆動点を駆動する駆動部と
　を備える情報処理装置。
　（１２）　前記ハプティクスデータの再生を制御する制御情報に基づいて前記受信部を制御する制御部をさらに備え、
　前記受信部は、前記制御部により指定された前記ハプティクスデータを受信する
　（１１）に記載の情報処理装置。
　（１３）　前記受信部は、前記制御部により指定されたビットレートの前記ハプティクスデータを受信する
　（１２）に記載の情報処理装置。
　（１４）　前記受信部は、前記制御部により指定された前記観測点のグループの前記ハプティクスデータを受信する
　（１２）または（１３）に記載の情報処理装置。
　（１５）　前記受信部は、前記ハプティクスデータの符号化データを受信し、
　前記受信部により受信された前記符号化データを復号化して、前記ハプティクスデータを生成する復号化部をさらに備える
　（１１）乃至（１４）のいずれかに記載の情報処理装置。
　（１６）　前記符号化データは、サンプル間の予測が行われて導出された前記ハプティクスデータの予測残差の符号化データであり、
　前記復号化部は、前記符号化データを復号化して前記予測残差を生成し、前記予測残差に過去サンプルの復号化結果を加算することにより現サンプルの前記ハプティクスデータを生成する
　（１５）に記載の情報処理装置。
　（１７）　前記復号化部は、前記符号化データに含まれる所定の符号列を検出し、前記サンプル間の予測の開始位置を特定する
　（１６）に記載の情報処理装置。
　（１８）　前記被駆動点を有する前記デバイスの観測点において検出されたハプティクスデータと、前記受信部により受信された前記ハプティクスデータとに基づいて、前記駆動部を制御する制御情報を生成するレンダリング処理を行うレンダリング処理部をさらに備え、
　前記駆動部は、前記レンダリング処理部により生成された前記制御情報に基づいて、前記デバイスの複数の前記被駆動点を駆動する
　（１１）乃至（１７）のいずれかに記載の情報処理装置。
　（１９）　前記レンダリング処理部は、絶対座標を用いて、前記制御情報を補正する
　（１８）に記載の情報処理装置。
　（２０）　インタフェースとなるデバイスの複数の観測点についての、前記観測点において検出された力覚に関する情報を含む力覚データ、前記観測点において検出された触覚に関する情報を含む触覚データ、および前記観測点に印加される力の大きさに関する情報を含む力データの内の、少なくともいずれか１つを含むハプティクスデータを受信し、
　受信された前記ハプティクスデータに基づいて、インタフェースとなるデバイスの複数の被駆動点を駆動する
　情報処理方法。
　１００　遠隔操作システム，　１０１　ローカルシステム，　１０２　リモートシステム，　１０３　MPDサーバ，　１２１　ハプティックデバイス，　１２２　通信デバイス，　１３１　センサ部，　１３２　レンダラ，　１３３　アクチュエータ，　１３４　ハプティクスインタフェース，　１４１　イメージセンサ，　１４２　空間座標変換部，　１５１　コンポーザ，　１５２　符号化部，　１５３　コンテナ処理部，　１５４　MPD生成部，　１５５　撮像部，　１５６　ビデオ符号化部，　１６１　コンテナ処理部，　１６２　復号化部，　１６３　MPD制御部，　１６４　ビデオ復号化部，　１６５　表示部，　３０１　立体刺激デバイス，　３０２　オブジェクト，　３１１　グローブ型デバイス，　３１２　オブジェクト，　３３１　KTマップ，　３５１　リモートデバイス，　３５２　オブジェクト，　３５３　仮想オブジェクト，　３６１　飛行体，　３６２　ロボットハンド，　３７１　リモートデバイス，　３７２　物体表面，　３８１　ヘッドマウントディスプレイ，　３９１　ロボットハンド，　４０１　合成部，　４１１　位置関係決定部，　４１２　位置補正部，　４２０　デバイス，　４２１　加速度センサ，　４５１　ハプティクスフレーム，　５０１　遅延部，　５０２　演算部，　５０３　量子化部，　５０４　可変長符号化部，　５１１　可変長復号化部，　５１２　逆量子化部，　５１３　演算部，　５１４　遅延部

Claims (20)

  1. 　インタフェースとなるデバイスの複数の観測点についての、前記観測点において検出された力覚に関する情報を含む力覚データ、前記観測点において検出された触覚に関する情報を含む触覚データ、および前記観測点に印加される力の大きさに関する情報を含む力データの内の、少なくともいずれか１つを含むハプティクスデータを送信する送信部
    　を備える情報処理装置。
  2. 　前記力覚データは、前記観測点の位置に関する情報または前記観測点の速度に関する情報を含む
    　請求項１に記載の情報処理装置。
  3. 　前記触覚データは、前記観測点において接触した他の物体の硬さに関する情報、前記物体の摩擦係数に関する情報、および前記物体の温度に関する情報の内の少なくともいずれか１つを含む
    　請求項１に記載の情報処理装置。
  4. 　前記ハプティクスデータは、前記観測点毎に分類された、前記力覚データ、前記触覚データ、および前記力データの内の少なくともいずれか１つを含む
    　請求項１に記載の情報処理装置。
  5. 　前記ハプティクスデータは、さらに、前記観測点間の関係を示す情報を含む
    　請求項４に記載の情報処理装置。
  6. 　前記送信部は、前記観測点毎の前記ハプティクスデータを、前記デバイスの制御構造に応じた前記観測点のグループ毎に互いに異なるトラックに格納して送信する
    　請求項４に記載の情報処理装置。
  7. 　前記ハプティクスデータを符号化して符号化データを生成する符号化部をさらに備え、　前記送信部は、前記符号化部により生成された前記符号化データを送信する
    　請求項１に記載の情報処理装置。
  8. 　前記符号化部は、前記ハプティクスデータについて、サンプル間の予測を行って予測残差を導出し、前記予測残差を符号化して前記符号化データを生成する
    　請求項７に記載の情報処理装置。
  9. 　前記ハプティクスデータの再生を制御する制御情報を生成する生成部をさらに備え、
    　前記送信部は、前記生成部により生成された前記制御情報を送信する
    　請求項１に記載の情報処理装置。
  10. 　インタフェースとなるデバイスの複数の観測点についての、前記観測点において検出された力覚に関する情報を含む力覚データ、前記観測点において検出された触覚に関する情報を含む触覚データ、および前記観測点に印加される力の大きさに関する情報を含む力データの内の、少なくともいずれか１つを含むハプティクスデータを送信する
    　情報処理方法。
  11. 　インタフェースとなるデバイスの複数の観測点についての、前記観測点において検出された力覚に関する情報を含む力覚データ、前記観測点において検出された触覚に関する情報を含む触覚データ、および前記観測点に印加される力の大きさに関する情報を含む力データの内の、少なくともいずれか１つを含むハプティクスデータを受信する受信部と、
    　前記受信部により受信された前記ハプティクスデータに基づいて、インタフェースとなるデバイスの複数の被駆動点を駆動する駆動部と
    　を備える情報処理装置。
  12. 　前記ハプティクスデータの再生を制御する制御情報に基づいて前記受信部を制御する制御部をさらに備え、
    　前記受信部は、前記制御部により指定された前記ハプティクスデータを受信する
    　請求項１１に記載の情報処理装置。
  13. 　前記受信部は、前記制御部により指定されたビットレートの前記ハプティクスデータを受信する
    　請求項１２に記載の情報処理装置。
  14. 　前記受信部は、前記制御部により指定された前記観測点のグループの前記ハプティクスデータを受信する
    　請求項１２に記載の情報処理装置。
  15. 　前記受信部は、前記ハプティクスデータの符号化データを受信し、
    　前記受信部により受信された前記符号化データを復号化して、前記ハプティクスデータを生成する復号化部をさらに備える
    　請求項１１に記載の情報処理装置。
  16. 　前記符号化データは、サンプル間の予測が行われて導出された前記ハプティクスデータの予測残差の符号化データであり、
    　前記復号化部は、前記符号化データを復号化して前記予測残差を生成し、前記予測残差に過去サンプルの復号化結果を加算することにより現サンプルの前記ハプティクスデータを生成する
    　請求項１５に記載の情報処理装置。
  17. 　前記復号化部は、前記符号化データに含まれる所定の符号列を検出し、前記サンプル間の予測の開始位置を特定する
    　請求項１６に記載の情報処理装置。
  18. 　前記被駆動点を有する前記デバイスの観測点において検出されたハプティクスデータと、前記受信部により受信された前記ハプティクスデータとに基づいて、前記駆動部を制御する制御情報を生成するレンダリング処理を行うレンダリング処理部をさらに備え、
    　前記駆動部は、前記レンダリング処理部により生成された前記制御情報に基づいて、前記デバイスの複数の前記被駆動点を駆動する
    　請求項１１に記載の情報処理装置。
  19. 　前記レンダリング処理部は、絶対座標を用いて、前記制御情報を補正する
    　請求項１８に記載の情報処理装置。
  20. 　インタフェースとなるデバイスの複数の観測点についての、前記観測点において検出された力覚に関する情報を含む力覚データ、前記観測点において検出された触覚に関する情報を含む触覚データ、および前記観測点に印加される力の大きさに関する情報を含む力データの内の、少なくともいずれか１つを含むハプティクスデータを受信し、
    　受信された前記ハプティクスデータに基づいて、インタフェースとなるデバイスの複数の被駆動点を駆動する
    　情報処理方法。
PCT/JP2020/044985 2019-12-17 2020-12-03 情報処理装置および方法 WO2021124902A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20903565.8A EP4079459A4 (en) 2019-12-17 2020-12-03 INFORMATION PROCESSING DEVICE AND METHOD
CN202080085824.7A CN114787754A (zh) 2019-12-17 2020-12-03 信息处理装置和方法
US17/777,214 US20220388178A1 (en) 2019-12-17 2020-12-03 Information processing device and method
JP2021565454A JPWO2021124902A1 (ja) 2019-12-17 2020-12-03

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019227550 2019-12-17
JP2019-227550 2019-12-17

Publications (1)

Publication Number Publication Date
WO2021124902A1 true WO2021124902A1 (ja) 2021-06-24

Family

ID=76478730

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/044985 WO2021124902A1 (ja) 2019-12-17 2020-12-03 情報処理装置および方法

Country Status (5)

Country Link
US (1) US20220388178A1 (ja)
EP (1) EP4079459A4 (ja)
JP (1) JPWO2021124902A1 (ja)
CN (1) CN114787754A (ja)
WO (1) WO2021124902A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06134687A (ja) * 1992-10-23 1994-05-17 Mitsubishi Heavy Ind Ltd 移動ロボットの遠隔操作装置
JP2005014166A (ja) * 2003-06-26 2005-01-20 Japan Science & Technology Agency 多指ロボットハンドの制御方法及び装置
JP2019063951A (ja) * 2017-10-02 2019-04-25 株式会社オカムラ 作業システム、作業システムの制御方法及びプログラム
JP2019198939A (ja) * 2018-05-18 2019-11-21 Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 触覚センサ
WO2019224994A1 (ja) * 2018-05-25 2019-11-28 株式会社メルティンＭｍｉ 動き検出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06134687A (ja) * 1992-10-23 1994-05-17 Mitsubishi Heavy Ind Ltd 移動ロボットの遠隔操作装置
JP2005014166A (ja) * 2003-06-26 2005-01-20 Japan Science & Technology Agency 多指ロボットハンドの制御方法及び装置
JP2019063951A (ja) * 2017-10-02 2019-04-25 株式会社オカムラ 作業システム、作業システムの制御方法及びプログラム
JP2019198939A (ja) * 2018-05-18 2019-11-21 Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 触覚センサ
WO2019224994A1 (ja) * 2018-05-25 2019-11-28 株式会社メルティンＭｍｉ 動き検出装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Definition and Representation of Haptic-Tactile Essence For Broadcast Production Applications", SMPTE ST2100-1, 2017
P. HINTERSEERS. HIRCHES. CHAUDHURIE. STEINBACHM. BUSS: "Perception-based data reduction and transmission of haptic data in telepresence and teleaction systems", IEEE TRANSACTIONS ON SIGNAL PROCESSING
See also references of EP4079459A4

Also Published As

Publication number Publication date
JPWO2021124902A1 (ja) 2021-06-24
US20220388178A1 (en) 2022-12-08
CN114787754A (zh) 2022-07-22
EP4079459A1 (en) 2022-10-26
EP4079459A4 (en) 2023-05-24

Similar Documents

Publication Publication Date Title
US10984541B2 (en) 3D point cloud compression systems for delivery and access of a subset of a compressed 3D point cloud
US11159796B2 (en) Data transmission
CN109375764B (zh) 一种头戴显示器、云端服务器、vr系统及数据处理方法
EP3596931B1 (en) Method and apparatus for packaging and streaming of virtual reality media content
CN108702454B (zh) 用于视频显示的方法、系统和计算设备
EP3099035B1 (en) Method and device for encoding/decoding a packet comprising data representative of a haptic effect
EP2790099A1 (en) Offline haptic conversion system
EP3497553A1 (en) Multimedia device for processing spatialized audio based on movement
WO2019116994A1 (ja) 画像補正装置、画像補正方法およびプログラム
US11967014B2 (en) 3D conversations in an artificial reality environment
US11394943B2 (en) Image processing apparatus and method, file generation apparatus and method, and program
Akyildiz et al. Holographic-type communication: A new challenge for the next decade
WO2023051138A1 (zh) 沉浸媒体的数据处理方法、装置、设备、存储介质及程序产品
EP4245032A1 (en) Encoders, methods and display apparatuses incorporating gaze-directed compression
Akyildiz et al. Mulsemedia communication research challenges for metaverse in 6G wireless systems
WO2021124902A1 (ja) 情報処理装置および方法
CN111064981B (zh) 一种视频串流的系统及方法
US20180160133A1 (en) Realtime recording of gestures and/or voice to modify animations
JP2021064822A (ja) 通信装置、通信装置の制御方法およびプログラム
US11656683B2 (en) Signal generation device, signal generation method, and reproduction device
CN116490922A (zh) 声学场景和视觉场景的一致性
JP2022067849A (ja) 映像符号化装置及びプログラム
CN116324683A (zh) 沉浸式媒体互操作性
CN116249955A (zh) 沉浸式媒体兼容性

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20903565

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021565454

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020903565

Country of ref document: EP

Effective date: 20220718