WO2015151685A1 - データ伝送システム、データ伝送装置、及びデータ伝送方法 - Google Patents

データ伝送システム、データ伝送装置、及びデータ伝送方法 Download PDF

Info

Publication number
WO2015151685A1
WO2015151685A1 PCT/JP2015/055945 JP2015055945W WO2015151685A1 WO 2015151685 A1 WO2015151685 A1 WO 2015151685A1 JP 2015055945 W JP2015055945 W JP 2015055945W WO 2015151685 A1 WO2015151685 A1 WO 2015151685A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
point cloud
data transmission
cell
transfer target
Prior art date
Application number
PCT/JP2015/055945
Other languages
English (en)
French (fr)
Inventor
夏樹 松波
智宏 田見
宅原　雅人
Original Assignee
三菱重工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱重工業株式会社 filed Critical 三菱重工業株式会社
Priority to US15/123,477 priority Critical patent/US20170075330A1/en
Publication of WO2015151685A1 publication Critical patent/WO2015151685A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/048—Monitoring; Safety
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/23—Pc programming
    • G05B2219/23098—Manual control, via microprocessor instead of direct connection to actuators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37567—3-D vision, stereo vision, with two cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40169—Display of actual situation at the remote site
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/50—Receiving or transmitting feedback, e.g. replies, status updates, acknowledgements, from the controlled devices
    • G08C2201/51—Remote controlling of devices based on replies, status thereof
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/91—Remote control based on location and proximity

Definitions

  • the present invention relates to a data transmission system, a data transmission device, a data transmission method, and a data transmission program, and more particularly, to a data transmission device, a data transmission method, and a data transmission program for transmitting three-dimensional point cloud data to a remote device.
  • a technique for measuring a three-dimensional shape with a three-dimensional sensor and acquiring point cloud data (also referred to as a point cloud) indicating three-dimensional coordinates is known.
  • a laser scanner or a stereo camera is exemplified as a three-dimensional sensor that acquires point cloud data.
  • the laser scanner measures the three-dimensional position coordinates (point group data) of the surface of the measurement object using laser irradiation light and reflected light.
  • the laser scanner acquires the three-dimensional position coordinates of the surface of the measurement object from the reciprocation time of the laser light between the measurement object and the sensor and the irradiation angle of the laser light.
  • the color information acquired by a camera or the like provided separately from the laser scanner is combined with the point cloud data, thereby making it easy to visually recognize the three-dimensional shape of the measurement object.
  • the amount of point cloud data acquired by a 3D sensor is large, so when modeling 3D shapes by analyzing the point cloud data, the amount of point cloud data is reduced to reduce the amount of calculation. Processing is performed. For example, when the point position data is acquired by changing the scan position and the shape of a wide area is obtained by combining the point point data at each scan position, the obtained point group data is aligned (matching process). Need to do. In this case, it is known to reduce the amount of point cloud data in order to reduce the amount of calculation in the matching process.
  • the technology to reduce the amount of point cloud data for the matching process is described in, for example, “Fast range-independent subsampling of 3D laser scanner points and data reduction performance literature 1 reference).
  • Non-Patent Document 1 describes a technique for reducing point cloud data so that the data interval is constant in a spherical coordinate system. In order to perform the matching process, it is necessary to reduce the point cloud data while retaining the shape information of the object. For this reason, in the method described in Non-Patent Document 1, the number of point cloud data is reduced so that the interval between the point cloud data after reduction is as constant as possible with respect to the entire data measurement range.
  • the amount of point cloud data is large, it takes a lot of time to transfer all measured point cloud data to another device.
  • the shape around the mobile robot for example, peripheral terrain
  • the user who operates the remote control terminal grasps the surrounding situation of the mobile robot from the shape image (for example, terrain image) generated by processing the transferred point cloud data, and instructs the next operation of the mobile robot can do.
  • the time required to instruct the next operation of the mobile robot becomes long, leading to an increase in the mission performance time of the robot.
  • An object of the present invention is to provide a data transmission system, a data transmission device, a data transmission method, and a data transmission program that reduce the amount of point cloud data transferred to the remote operation terminal side.
  • the data transmission device includes an actuator, a three-dimensional sensor, an arithmetic device (data selection unit), and a communication unit.
  • the operation of the actuator is controlled in accordance with a control signal from the remote control device.
  • the three-dimensional sensor acquires point cloud data indicating three-dimensional coordinates.
  • the arithmetic device selects data to be transferred based on the point cloud data.
  • the communication unit transmits the selected transfer target data to the remote operation terminal.
  • the arithmetic device sets the upper limit of the data amount of the transfer target data belonging to the predetermined three-dimensional area.
  • the data transmission method is a data transmission method by a data transmission device including an actuator whose operation is controlled according to a control signal from a remote operation terminal, and includes the following steps. That is, the data transmission method includes a step of acquiring point cloud data indicating three-dimensional coordinates, a step of selecting transfer target data based on the point cloud data, and a step of transmitting the transfer target data to the remote control terminal. To do.
  • the arithmetic unit of the data transmission apparatus sets an upper limit of the amount of data to be transferred belonging to a predetermined three-dimensional area.
  • the amount of point cloud data transferred to the remote operation terminal can be reduced.
  • FIG. 1 is a diagram illustrating an example of a configuration of a data transmission system according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of point cloud data acquired by the robot according to the embodiment.
  • FIG. 3 is a schematic block diagram illustrating an example of a data transmission system according to the embodiment.
  • FIG. 4 is a conceptual diagram of point cloud data and a measurement target acquired by the robot according to the embodiment.
  • FIG. 5 is a diagram illustrating an example of a grid arranged for point cloud data acquired by the robot according to the embodiment.
  • FIG. 6 is a diagram illustrating an example of a transfer data reduction method according to the embodiment.
  • FIG. 7 is a diagram illustrating a transfer data reduction method according to the first embodiment.
  • FIG. 8 is a diagram illustrating an example of point cloud data acquired by the robot according to the embodiment.
  • FIG. 9 is a diagram illustrating a grid arrangement example for the point cloud data in the transfer data reduction process according to the embodiment.
  • FIG. 10 is a diagram illustrating an example of a transfer data reduction method according to the first embodiment.
  • FIG. 11 is a diagram illustrating another example of the transfer data reduction method according to the first embodiment.
  • FIG. 12 is a diagram illustrating an example of point cloud data after the amount of transfer data in the first embodiment is reduced.
  • FIG. 12 is a diagram illustrating an example of point cloud data after the amount of transfer data in the first embodiment is reduced.
  • FIG. 13 is a diagram illustrating still another example of the transfer data reduction method according to the first embodiment.
  • FIG. 14 is a diagram illustrating another example of the point cloud data after reducing the data amount of the transfer data according to the first embodiment.
  • FIG. 15 is a diagram illustrating an example of reducing the amount of transfer data when the point cloud data is distributed one-dimensionally in the transfer data reduction method according to the second embodiment.
  • FIG. 16 is a diagram illustrating an example of reducing the amount of transfer data when the point cloud data is distributed two-dimensionally in the transfer data reduction method according to the second embodiment.
  • FIG. 17 is a diagram illustrating a transfer data amount reduction example when the point cloud data is distributed three-dimensionally in the transfer data reduction method according to the second embodiment.
  • the data transmission system selects data to be transferred from point cloud data acquired by a remotely operated robot.
  • point cloud data belonging to a predetermined three-dimensional area
  • an upper limit is set for the amount of data selected as transfer target data.
  • the density of the transfer data can be controlled for the point cloud data in the area.
  • the measurement target is virtually covered with a three-dimensional grid, and the point cloud data in the grid is reduced according to a predetermined algorithm.
  • the robot transmits point cloud data (transfer target data) with a reduced amount of data to the remote operation terminal.
  • the remote operation terminal creates a shape image around the robot based on the received point cloud data, and outputs it to a display device or the like so as to be visible.
  • the user controls the operation of the robot by operating the remote operation terminal while viewing the shape image around the output robot.
  • FIG. 1 is a diagram illustrating an example of the configuration of the data transmission system 100.
  • FIG. 2 is a diagram illustrating an example of point cloud data acquired by the robot.
  • the data transmission system 100 includes a remote operation terminal 101 and a robot 10.
  • the robot 10 moves in response to an instruction (control signal) from the remote operation terminal 101.
  • the operation of the arm 4 (manipulator) of the robot which will be described later, is controlled in accordance with an instruction (control signal) from the remote operation terminal 101.
  • the robot 10 executes an operation of “moving to the vicinity of the target 90 and moving the target 90 from the current position to another position” in response to an instruction from the remote operation terminal 101.
  • the robot 10 transmits the point group data 20 of the peripheral area acquired by the three-dimensional sensor 2 (that is, a sensor for acquiring a three-dimensional shape) to the remote operation terminal 101.
  • the user instructs the robot 10 to perform the next operation by operating the remote operation terminal 101 while confirming the surface shape image around the robot 10 created based on the point cloud data 20.
  • the remote operation terminal 101 is connected to the output device 102, the input device 103, and the transmission device 104.
  • the remote operation terminal 101 is exemplified by a computer device, and includes a CPU and a storage device (not shown).
  • the remote operation terminal 101 controls the operation of the robot 10, images the surface shape of the measurement target based on the point cloud data 20 transmitted from the robot 10, and outputs the surface shape to the output device 102 so as to be visible. Details of the configuration of the remote operation terminal 101 will be described later.
  • the output device 102 is exemplified by a monitor and a printer, and outputs the image information output from the remote operation terminal 101 so as to be visible.
  • the input device 103 is exemplified by a keyboard, a touch panel, a mouse, a joystick, and the like, and is an interface device that inputs various information (or various data) to the remote operation terminal 101 when operated by a user.
  • the transmission device 104 is a communication interface device that controls transmission of data and signals between the remote operation terminal 101 and the robot 10 (transmission device 1). Specifically, the transmission device 104 constructs a transmission path with the transmission device 1 mounted on the robot 10 using either a wireless line, a wired line, or both, and the remote operation terminal 101 and the robot 10 Control the data transmission to and from.
  • the remote operation terminal 101, the output device 102, the input device 103, and the transmission device 104 may be provided as individual devices as shown in FIG. 1, but all devices (or elements) are provided as a unit. Alternatively, at least two of all devices (or elements) may be provided integrally.
  • a form in which the output device 102 and the input device 103 are integrated can be realized by a touch panel.
  • the form in which the remote operation terminal 101 and the transmission device 104 are integrated can be realized by a computer device with a communication function.
  • the remote control terminal 101, the output device 102, the input device 103, and the transmission device 104 are all installed in a touch panel type mobile phone (commonly referred to as a smart phone), a PDA (Personal Digital Assistants) with a communication function. Etc. are exemplified.
  • the robot 10 includes a transmission device 1, a three-dimensional sensor 2, a leg portion 3, and an arm portion 4.
  • the robot 10 functions as a data transmission device that reduces the data amount of the point cloud data 20 acquired by measurement by the three-dimensional sensor 2 according to a predetermined algorithm and then transfers the data to the remote operation terminal 101.
  • the robot 10 is an aspect of the data transmission device.
  • the transmission device 1 is an interface device that controls transmission of data and signals between the robot 10 and the remote operation terminal 101. Specifically, the transmission apparatus 1 constructs a transmission path between the wireless apparatus 101 and the transmission apparatus 104 connected to the remote operation terminal 101 by using either a wireless line or a wired line, or both lines, and remotely operates the robot 10. Controls data transmission with the terminal 101.
  • the three-dimensional sensor 2 is exemplified by a laser scanner and a stereo camera, and acquires the three-dimensional position coordinates of the surface of the measurement object around the robot 10 as point cloud data 20 (also referred to as a point cloud).
  • point cloud data 20 also referred to as a point cloud
  • a laser scanner that can be used as the three-dimensional sensor 2 measures (or acquires) the point cloud data 20 by any one of a trigonometric method, a time-of-flight method, and a phase difference method (phase shift). .
  • the measurement range (scanning range) of the point cloud data 20 by the three-dimensional sensor 2 will be described with reference to FIG.
  • the measurement position (for example, installation position) of the three-dimensional sensor 2 is defined as the origin Os
  • the coordinate system of the measured point cloud data 20 is defined as (Xs, Ys, Zs).
  • the three-dimensional sensor 2 scans the laser within the range of the azimuth angle ⁇ and the elevation angle ⁇ with the irradiation angle centered on the origin Os, and based on the reflected light from the measurement object within this range,
  • the surface three-dimensional coordinates are measured (or acquired) as point cloud data 20.
  • the robot 10 moves by the leg 3 and measures the point cloud data 20 at a plurality of positions (in other words, a plurality of positions of the three-dimensional sensor), and performs matching synthesis of the measured point cloud data 20 to obtain a desired value. Can be obtained.
  • the leg 3 is a moving means that is driven by an actuator 16 described later and moves the robot 10 to an arbitrary position.
  • a leg having a joint and a link will be described as an example of the leg 3.
  • a rotating body for example, a wheel
  • the number of legs, the shape, and the number of joints (number of links) in the leg 3 are not limited to the illustrated number and shape, and can be arbitrarily set.
  • the arm 4 is driven by an actuator 16 described later, and is exemplified by a manipulator (also referred to as an arm) having a joint, a link, and an end effector 401.
  • the end effector 401 is preferably provided, for example, at the tip of the arm 4 and has a mechanism that applies a physical action (mechanical action, electromagnetic action, thermodynamic action) to the object.
  • the end effector 401 may include a mechanism for gripping, painting, or welding an object.
  • the end effector 401 may include an electromagnetic sensor, various measuring devices, and the like.
  • the arm portion 4 is provided with a robot hand that grips (handles) an object as an end effector 401.
  • the number of arms (arms), the shape, the number of joints (number of links), and the structure of the end effector 401 in the arm portion 4 are not limited to the numbers and shapes described in FIG. 1 and can be arbitrarily set.
  • each function of the communication unit 201, the display unit 202, and the control unit 203 is realized by the CPU executing a program stored in a storage device (not shown).
  • the functions of the communication unit 201, the display unit 202, and the control unit 203 may be realized only by hardware or by cooperation between software and hardware.
  • the communication unit 201 includes a communication interface (hardware).
  • the communication unit 201 controls the transmission device 104 shown in FIG. 1 to control communication with the transmission device 1 in the robot 10. Specifically, the communication unit 201 transfers a control signal from the control unit 203 to the transmission device 1 in the robot 10 via the transmission device 104. Alternatively, the point cloud data 20 transferred from the robot 10 (or a signal corresponding to the point cloud data 20) is output to the display unit 202. The display unit 202 generates image information to be displayed on the output device 102. More specifically, the display unit 202 uses the point cloud data 20 input from the communication unit 201 to create image information (image data) for displaying the surface shape of the measurement target, and outputs the image information to the output device 102. Output.
  • the display unit 202 calculates image information for displaying the surface shape of the measurement target object through processing such as edge detection, smoothing by noise removal, and normal line extraction on the point cloud data 20.
  • the control unit 203 generates a control signal corresponding to the input signal from the input device 103 and outputs the control signal to the communication unit 201.
  • the robot 10 controls, for example, the movement of the leg portion 3 and the arm portion 4 or the operation of acquiring the point cloud data 20 in accordance with the control signal output from the control unit 203.
  • the robot 10 includes a computer device (not shown) (the computer device includes, for example, an arithmetic device including a CPU, a storage device, and the like).
  • the functions of the point cloud coordinate calculation unit 11, the data selection unit 12, the recognition unit 13, the communication unit 14, and the controller 15 are realized by the CPU executing a program stored in a storage device (not shown).
  • the functions of the point group coordinate calculation unit 11, the data selection unit 12, the recognition unit 13, the communication unit 14, and the controller 15 may be realized by hardware alone or by cooperation between software and hardware.
  • processing such as point cloud data acquisition processing, point cloud data selection processing, and surface shape calculation processing described later is realized.
  • the point cloud coordinate calculation unit 11 uses the distance between the measurement object and the sensor and the irradiation angle (reflection angle) measured by the three-dimensional sensor 2 to determine the three-dimensional position coordinates of the measurement point. (X, Y, Z) is calculated as the point group data 20 (in other words, the point group coordinate calculation unit 11 calculates the three-dimensional position coordinates of the measurement points measured by the three-dimensional sensor 2 as the point group data 20. Execute point cloud data acquisition processing.) In addition, the point group coordinate calculation unit 11 matches a plurality of point group data 20 obtained by the three-dimensional sensor 2 with each other at a plurality of positions (a plurality of positions of the three-dimensional sensor). You may extract as 20.
  • the point cloud data 20 calculated by the point cloud coordinate calculation unit 11 is output to the data selection unit 12.
  • the robot 10 may include a CCD camera that acquires color information (RGB) for enhancing the visibility of the terrain around the robot and the shape of the object.
  • the point group coordinate calculation unit 11 may combine (color matching) the point group data 20 and the color information.
  • the point cloud data 20 and the color information are transmitted from the robot 10 to the remote operation terminal 101 at different timings. Then, color matching may be performed at the remote operation terminal 101.
  • the data selection unit 12 executes a point cloud data selection process for selecting the point cloud data 20 to be transferred to the remote operation terminal 101 from the point cloud data 20 obtained by the point cloud coordinate calculation unit 11. At this time, it is preferable that the data selection unit 12 sets a predetermined area and determines the upper limit of the data amount of transfer data in the area.
  • the data selection unit 12 arranges a grid 30 (predetermined three-dimensional region) in a virtual space in which the point group data 20 acquired from the point group coordinate calculation unit 11 is distributed, and the number of point group data 20 belonging to the grid 30 Are reduced according to a predetermined algorithm (point cloud data selection process).
  • the data selection unit 12 outputs the point cloud data 20 to be transferred belonging to the grid 30 to the communication unit 14.
  • the data selection unit 12 selects the point cloud data 20 to be transferred (point cloud data 20 to be transferred registered in the grid 30) as the point cloud data 20 to be transferred first in preference to the other point cloud data 20. May be.
  • the point cloud data 20 not selected in the selection process may be output to the communication unit 14 as data having a low transfer priority.
  • the point cloud data 20 selected by the data selection unit 12 and all the point cloud data 20 before selection are preferably recorded in a storage device (not shown). Details of the point cloud data selection processing operation in the data selection unit 12 will be described later.
  • the data selection unit 12 may analyze the point cloud data 20 in a predetermined area and select data obtained based on the analysis result as transfer target data. Details of a method of acquiring data obtained based on the analysis result of the point cloud data 20 will be described later.
  • the data selection unit 12 preferably outputs all of the point cloud data 20 acquired from the point cloud coordinate calculation unit 11 (point cloud data 20 before selection) to the recognition unit 13. However, the data selection unit 12 may output the point cloud data 20 selected as the transfer target data to the recognition unit 13.
  • the recognition unit 13 analyzes the point cloud data 20 and performs a surface shape calculation process for calculating the surface shape of the measurement object in the region measured by the three-dimensional sensor 2 (the region in which the point cloud data 20 to be analyzed is distributed). Execute. Then, information (data) indicating the calculated surface shape is output to the controller 15. This information is preferably recorded in a storage device (not shown).
  • the surface shape information obtained here includes, for example, information (data) indicating the peripheral topography in the measurement region and the detailed position coordinates of the target 90.
  • the controller 15 controls the operation of the actuator 16 by an operation command signal based on a control signal input from the remote operation terminal 101 via the communication unit 14. Specifically, the controller 15 receives a control signal (for example, information indicating the target position and target posture) for moving the leg 3, arm 4, and the like from the remote operation terminal 101. Based on the control signal, the controller 15 controls the actuator 16 so that the leg 3, the arm 4, and the like are in the position and posture instructed from the remote operation terminal 101.
  • a control signal for example, information indicating the target position and target posture
  • the operation amount and the operation direction of the actuator 16 may be corrected.
  • the controller 15 autonomously uses the surface coordinates of the measurement object output from the recognition unit 13 and the position coordinates of the links or end effectors 401 and 402 in the leg 3 or the arm 4 to autonomously move the amount of movement of the actuator 16.
  • the operation direction may be determined and the operation of the robot 10 may be controlled.
  • the controller 15 uses detailed surface shape information calculated by the recognition unit 13 instead of the point cloud data 20 selected as the transfer target in order to improve the operation accuracy and perform detailed analysis of the movement path. May be.
  • the actuator 16 is exemplified by a servo motor, a power cylinder, a linear actuator, a rubber actuator, and the like, and controls the mechanical behavior of the leg portion 3 and the arm portion 4 in accordance with an operation command signal from the controller 15.
  • the actuator 16 may indirectly drive the leg 3, the arm 4, or the like, or may directly drive the actuator 16. That is, the actuator 16 may be provided separately from the leg portion 3 or the arm portion 4, or may be mounted as a part (for example, a joint portion) of the leg portion 3, the arm portion 4, or the like.
  • a motor or an engine may be used as the actuator 16.
  • FIG. 4 is a conceptual diagram of the point cloud data 20 acquired by the robot 10 and the measurement object.
  • the robot 10 acquires point cloud data 20 of the measurement object by the three-dimensional sensor 2.
  • the measurement object is, for example, an element that reflects laser light within the scanning range of the three-dimensional sensor 2 and includes the surrounding landform and the target 90 within the scanning range.
  • the point cloud data 20 is preferably represented by an orthogonal coordinate system (Xs, Ys, Zs). For example, as shown in FIG.
  • the scan coordinate system (Xs, Ys, Zs) to which the point cloud data 20 belongs is preferably the same absolute coordinate system as the coordinate system in which the position coordinates of the robot 10, the leg 3 and the arm 4 are expressed.
  • FIG. 5 is a diagram illustrating an example of a grid 30 (predetermined three-dimensional region) arranged with respect to the point cloud data 20 acquired by the robot 10.
  • the grid 30 includes a straight line parallel to the virtual visual line direction Yg (hereinafter referred to as the visual line direction Yg), a straight line parallel to the direction Xg orthogonal to the visual line direction Yg, the visual line direction Yg, and the direction Xg.
  • the visual line direction Yg a straight line parallel to the virtual visual line direction Yg
  • Xg orthogonal to the visual line direction Yg
  • the visual line direction Yg the visual line direction Yg
  • the direction Xg Formed by a plurality of cells 31 (1, 1, 1) to (X1, Ym, Zn) defined by straight lines parallel to the direction Zg orthogonal to both (l, m, n are natural numbers of 2 or more).
  • the line-of-sight direction Yg of the grid 30 can be arbitrarily set independently of the scan coordinate system (Xs, Ys, Zs) of the point cloud data 20.
  • the line-of-sight direction Yg is specified based on an instruction from the remote operation terminal, for example.
  • the line-of-sight direction Yg can be set regardless of the orientation of the robot head.
  • the orientation of the grid 30 (the line-of-sight direction Yg), the size, number, and position of the cells 31 or the overall size of the grid 30 are preferably set by the remote operation terminal 101. It does not matter.
  • the robot 10 reduces the data amount of the point cloud data 20 to be transferred by filtering using the grid 30, and transfers the point cloud data 20 after the data amount reduction to the remote operation terminal 101.
  • the robot 10 data selection unit 12
  • FIG. 6 is a diagram illustrating an example of a transfer data reduction method using the grid 30. With reference to FIG. 6, the transfer data reduction method when the upper limit of the number of point cloud data selected (registered) as transfer data in the cell 31 is one will be described.
  • the data selection unit 12 selects (registers) only the point cloud data 20-1 as the point cloud data to be transferred, and the other point cloud data 20-2, 20-3. Are excluded from the transfer target (not registered) (where 1 ⁇ i ⁇ l (1), 1 ⁇ j ⁇ m, 1 ⁇ k ⁇ m).
  • the size of the cell 31 is 1 cm 3 , for example, one of a plurality of point cloud data in a cube having a side of 1 cm is set as a transfer target, and other point cloud data is excluded from the transfer target. Can do.
  • the point cloud data 20-2 and 20-3 excluded from the transfer target are selected (registered) as data to be transferred to the remote operation terminal 101 after the transfer of the previously selected point cloud data 20-1. It doesn't matter. In this case, the point cloud data 20 having a large amount of data can be divided into predetermined data amounts and transferred to the remote operation terminal 101.
  • the order selected (registered) as a transfer target in the cell 31 can be arbitrarily set. For example, they are selected in the scanning order of the three-dimensional sensor 2.
  • the point group data 20 on the upstream side in the scanning direction of the three-dimensional sensor 2 in the cell 31 is preferentially selected as a transfer target.
  • the point cloud data 20-1, 20-2, 20-3 are measured in this order, and when the upper limit of the transfer target is 2, the point cloud data 20-1, 20-2 is selected as the transfer target.
  • the shape of the grid 30 (cell 31) is not limited to a cube or a rectangular parallelepiped, and may be a polyhedron.
  • the size of the cell 31 may not be uniform within the grid 30 but may be different depending on the location.
  • the size of the cell 31 can be changed by applying an octree method to the cells 31 in a predetermined area. In this case, the cell size in the vicinity of the edge to be measured can be set small, and the cell size in the region away from the edge can be set large.
  • the grid 30 is preferably arranged with reference to the viewing direction Yg, but may be arranged with reference to other directions.
  • the transfer rate of point cloud data in the cell 31 is changed according to the position of the cell 31. That is, according to the position of the cell 31, an area where the point cloud data 20 is greatly thinned out and an area where the point cloud data 20 is thinned out are set. As a result, it is possible to display in detail the important area that affects the remote operation while reducing the data transfer amount.
  • the transfer rate of the point cloud data 20 in the cell 31 is the data selected as the transfer target in the unit volume (point cloud data and the data amount of all the point cloud data in the unit volume of the cell 31). Indicates the ratio of the amount of data. In other words, the transfer rate indicates a value obtained by normalizing the ratio of the data amount of the transfer data to the total data amount of the point cloud data in the cell 31 by the cell size (cell volume).
  • FIG. 7 is a diagram illustrating an example of a transfer data reduction method according to the first embodiment.
  • the transfer rate of transfer data in an area 33 (also referred to as a first area) indicated by a predetermined distance from important point 32 is the other area 34 (second area). It is set so as to be larger than (also referred to as).
  • the important point 32 that determines the area 33 where the transfer rate of the transfer data is large is set to an arbitrary point (or a nearby point) in the end effector 401 (hand) or end effector 402 (foot tip) in order to improve operation accuracy.
  • the region 33 may have any shape as long as it is determined based on the important point 32. For example, a range in which the distance from the important point 32 is constant is preferable.
  • the area 34 for reducing the transfer rate of transfer data is preferably set to an area other than the area 33 in the area where the point cloud data 20 is distributed. Further, in the area 34, the transfer rate of the transfer data may be reduced stepwise according to the distance from the important point 32. For example, the area where the point cloud data 20 is distributed may be divided into a plurality of areas, and the transfer rate of the transfer data may be reduced according to the distance from the important point 32 (for example, in proportion). Furthermore, a plurality of areas 33 and 34 may be set.
  • the upper limit of the number of point cloud data registered as transfer data (transfer target point cloud data) and the transfer rate can be arbitrarily set for the cells 31 included in each of the plurality of regions.
  • the conditions for determining the areas 33 and 34 are not limited to the above-described method, and can be set arbitrarily.
  • a region defined by a plurality of cells 31 that satisfy a predetermined condition may be defined as a region 33, and a region defined by a plurality of other cells 31 that do not satisfy a predetermined condition may be defined as a region 34.
  • the predetermined condition may be selected based on, for example, the position coordinates of the cell 31 or the cell arrangement.
  • Each of the important point 32, the region 33, and the region 34 can be designated from the remote operation terminal 101. Further, the robot 10 may automatically calculate the area 33 and the area 34 based on the important point 32 designated by the remote operation terminal 101. In this case, it is preferable that parameters such as the distance from the important point 32 for determining the regions 33 and 34 are set in the robot 10 in advance.
  • the transfer rate of the point cloud data 20 set for each of the areas 33 and 34 can be changed by changing the size of the cell 31 or changing the upper limit of the point cloud data registered as a transfer target in the cell 31. Become. An example of changing the transfer rate of transfer data using the grid 30 will be described with reference to FIGS. Actually, the point cloud data 20 indicated by the three-dimensional coordinates is excluded from the transfer target, but in the following, the point cloud data 20 and the grid 30 will be displayed in a two-dimensional manner to simplify the explanation.
  • FIG. 8 is a diagram illustrating an example of the point cloud data 20 measured by the robot 10.
  • a grid 30 is arranged in a virtual space in which the point cloud data 20 is distributed.
  • the virtual viewpoint 35, the arrangement position or shape of the grid 30, the line-of-sight direction Yg, the size of the cell 31 (grid division size), and the like are preferably specified by the remote operation terminal 101.
  • any one of the virtual viewpoint 35, the arrangement position or shape of the grid 30, the line-of-sight direction Yg, the size (grid division size), the number, and the arrangement of the cells 31 is set in advance in the robot 10, and the setting is used.
  • the grid 30 may be arranged.
  • the grid division size (the size of the cell 31) in the region 33 around the important point 32 is smaller than the grid division size (the size of the cell 31) in the other region 34.
  • the size of the cell 31-1 in the region 33 with the radius r 1 centering on the important point 32 is set to half the size of the cell 31-2 in the other region 34.
  • the transfer rate of the point group data 20 in the region 33 having a small cell size is higher than that in the other regions 34. growing.
  • the point cloud data 20 excluded as a transfer target in the area 34 having a large cell size is larger than that in the area 33.
  • the data density of the point cloud data 20 to be transferred in the area 33 is higher than the data density of the transfer target data in the other areas 34.
  • the size of the cells 31 in the region 33 and the region 34 is not changed (equalized), and the upper limit of the number of data in the cell 31 is changed according to the region (location).
  • the transfer rate of the point cloud data 20 in the cell 31-1 in the region 33 with the radius r1 centered on the important point 32 is set to 100% (no limit on the number of point cloud data to be transferred).
  • the upper limit of the cell 31-2 in the region 34 can be set to 1.
  • the transfer rate of the point cloud data 20 in the area 33 can be made larger than that in the other area 34, and the data density of the point cloud data 20 to be transferred in the area 33 can be changed to the other area 34.
  • the data density of the transfer target data can be made higher.
  • the upper limit of the point cloud data in the cell 31 is determined for each of the regions 33 and 34, points in a predetermined region (for example, the region 33 or the region 34).
  • the amount of data communication can be reduced while arbitrarily changing the density of the group data 20.
  • FIG. 12 is a diagram showing the point cloud data 20 selected as a transfer target by the method shown in FIG. As shown in FIG. 12, since there is a density difference in the transfer data in the areas 33 and 34, the remote control terminal 101 can obtain a detailed image in the area around the end effector and a simplified image in the other areas. It becomes possible.
  • the method of increasing the data transfer rate of the area 33 determined by the important point 32 has been described.
  • the method is not limited to this, and transfer is performed in the cell 31 according to the virtual viewpoint 35 and the line-of-sight direction Yg.
  • the upper limit of the target point cloud data and the transfer rate may be determined.
  • a grid 30 is arranged in a virtual space in which the point cloud data 20 is distributed.
  • the remote operation terminal 101 specifies the virtual viewpoint 35, the arrangement position and shape of the grid 30, the line-of-sight direction Yg, the size (grid division size), the number, or the position of the cell 31.
  • the point cloud data 20 in the cell 31-3 (also referred to as a first region) that is visible when viewed from the virtual viewpoint 35 in the line-of-sight direction Yg is registered as a transfer target, and other cells 31 -4 (also referred to as second region) is excluded from the transfer target.
  • the cell row (cells 31 (i, 1, k) to 31 (i, Ym, k)) in the line-of-sight direction Yg, the virtual viewpoint 35 side of the cells 31 including the point cloud data 20 is displayed.
  • the point cloud data 20 in the cell 31-3 (i, h, k) is registered as a transfer target. Then, the point cloud data 20 of the other cells 31-4 (i, h + 1, k) to cells 31-4 (i, Ym, k) are excluded from the transfer target (however, 1 ⁇ h ⁇ Ym ⁇ 1) ).
  • the cell 31-3 closest to the virtual viewpoint 35 side among the cells 31 including the point cloud data 20 is a cell column (cells 31 (i, 1, k) to 31 (i, Ym, k)), if it is the Ym-th cell 31, the point cloud data 20 of the cell 31-3 (i, Ym, k) is registered as the transfer target.
  • FIG. 14 is a diagram showing the point cloud data 20 selected as a transfer target after the amount of transfer data is reduced by the method shown in FIG. As shown in FIG. 14, only the surface shape that is visible when viewing the line-of-sight direction Yg from the virtual viewpoint 35 is the transfer target to the remote control terminal 101, and the point cloud data 20 on the back side as viewed in the line-of-sight direction Yg. Is excluded from the transfer target.
  • the present embodiment only the surface shape that is visible when viewing the line-of-sight direction Yg from the virtual viewpoint 35 side is transferred to the remote operation terminal 101. Therefore, as shown in FIG. It is possible to display an easy-to-view image that omits the point cloud data 20 overlapping with. Further, since all of the point cloud data 20 overlapping in the depth direction is excluded from the transfer data, the amount of data communication can be further reduced as compared with the methods shown in FIGS. In the present embodiment, all of the point group data 20 of the cell 31-4 on the back side as viewed from the virtual viewpoint 35 is excluded from the transfer target, but this is not limiting, and the point group data 20 in the cell 31-4 is not limited to this.
  • a predetermined number of point cloud data 20 may be registered as transfer targets.
  • the upper limit of the number of point cloud data to be transferred in a predetermined area (cell 31-4) is set to 0, but this upper limit can be arbitrarily set.
  • the transfer data is selected by the above-described method.
  • the transfer data may be selected for the cell 31-3 by the method described above.
  • the upper limit of the number of point cloud data 20 to be transferred in the cell 31-3 is set to be larger than the upper limit of the number of point cloud data 20 to be transferred in the cell 31-4.
  • the method of setting the area 34 or the cell 31-4 for decreasing the transfer rate of the point cloud data and the area 33 or the cell 31-3 for increasing the transfer rate is not limited to the above-described example.
  • the cell 31 with a large transfer rate and the cell 31 with a small transfer rate may be set according to the conditions which show a cell position (coordinate).
  • even-numbered cells in the Xg coordinate direction, even-numbered cells in the Yg coordinate direction, or even-numbered cells 31 in the Zg coordinate direction are cells 31-3 having a large transfer rate, and odd-numbered cells in the Xg coordinate direction.
  • the odd-numbered cells in the Yg coordinate direction or the odd-numbered cells 31 in the Zg coordinate direction are set as the cells 31-4 having a small transfer rate.
  • the predetermined distance for determining the regions 33 and 34 or the conditions for determining the cells 31-3 and 31-4 may be set in advance in the robot 10 or specified by the remote operation terminal 101. Also good.
  • the robot 10 in the second embodiment determines data (shape reproduction data described later) to be transferred to the remote operation terminal 101 according to the shape of the measurement object predicted from the point cloud data 20. To do.
  • the display unit 202 of the remote operation terminal 101 according to the second embodiment generates point cloud data based on the data transferred from the robot 10 and displays the surface shape of the measurement object using the point cloud data.
  • a second embodiment of the transfer data reduction method in the data transmission system 100 will be described.
  • the data transmission system 100 in the present embodiment changes the transfer data reduction rate in accordance with the “local shape of the measurement target”.
  • the “local shape of the measurement object” can be classified by the size of three eigenvalues obtained by principal component analysis for point cloud data within a predetermined range. If the eigenvalues are d1, d2, and d3 in descending order, the local shape of the measurement object can be classified as pattern 1 to pattern 5 below.
  • the data selection unit 12 of the robot 10 sets one of the measured point cloud data 20 as a reference point 51, and sets the reference point 51 as the reference point 51.
  • a corresponding range is set as the analysis region 52.
  • the analysis area 52 is, for example, a spherical area having a radius r2 with the reference point 51 as the center.
  • the reference point 51 may be determined randomly.
  • the distance (for example, radius r2) from the reference point 51 that determines the analysis region 52 is preferably set based on a fixed value.
  • the distance (for example, radius r2) from the reference point 51 that determines the analysis region 52 is set to 1 ⁇ 2 of the largest eigenvalue, for example.
  • the interval between the adjacent reference points 51 is a length that does not overlap the analysis region 52 (for example, a radius r2 or more).
  • the data selection unit 12 performs principal component analysis on the point cloud data 20 (position coordinates indicated by the point cloud data 20) in the analysis region 52, and the eigenvalues d1, d2, and d3 and the eigenvectors e1, e2, and e3 corresponding thereto. Ask for. Specifically, the eigenvalue decomposition is performed on the covariance matrix obtained from the position coordinates indicated by the point cloud data 20 in the analysis region 52, and the eigenvalues d1, d2, d3 and the eigenvectors e1, e2, e3 corresponding thereto are obtained.
  • the data selection unit 12 classifies the shape in the analysis region 52 into any one of the patterns 1 to 5 based on the magnitudes of the eigenvalues d1, d2, and d3.
  • the data selection unit 12 selects data to be transferred according to the classified pattern.
  • the data selection unit 12 replaces the point cloud data 20 in the analysis region 52 with the analysis result for the analysis region 52 as shape reproduction data, and the remote control terminal 101.
  • the remote operation terminal 101 arranges point cloud data distributed at predetermined intervals within the shape range indicated by the shape reproduction data, and generates and displays a measurement target shape image.
  • the eigenvalue is d1 ⁇ d2 ⁇ d3 ⁇ 0 and is classified as pattern 1. That is, when all of the eigenvalues d1, d2, and d3 are smaller than the predetermined first threshold value (in other words, when all of the eigenvalues d1, d2, and d3 can be approximated by 0 (including 0)), the pattern 1 is classified. Is done.
  • the data selection unit 12 excludes all of the point cloud data 20 in the analysis region 52 classified as the pattern 1 from the transfer target (transfer rate is 0%).
  • the eigenvalues are classified as pattern 2 as d1 >> d2 ⁇ d3 ⁇ 0. That is, the eigenvalue d2 and the eigenvalue d3 are smaller than the predetermined second threshold (the eigenvalue d2 and the eigenvalue d3 can be approximated by 0 (including 0)), and the value of the eigenvalue d1 is the third threshold (the third threshold is , Equal to the second threshold value or larger than the second threshold value), it is classified as pattern 2.
  • the data selection unit 12 selects the shape reproduction data as a transfer target for the remote operation terminal 101 instead of the point cloud data 20 in the analysis region 52 classified as the pattern 2.
  • the average coordinates 60 (three-dimensional coordinates Aa) of the point cloud data 20 (three-dimensional coordinates A1 to Ai) in the analysis region 52 classified as pattern 2 and the eigenvalue d1
  • the corresponding eigenvector e1 and eigenvalue d1 are transmitted to the remote operation terminal 101 as shape reproduction data.
  • the average coordinate 60 means the center coordinate of the distribution area of the point cloud data 20.
  • the eigenvector e1 means the direction in which the distribution range of the point cloud data 20 is widened
  • the eigenvalue d1 means the size of the distribution range of the point cloud data 20 in the eigenvector e1 direction.
  • the shape reproduction data having a small data amount is transmitted instead of the point cloud data, the data communication amount can be greatly reduced (transfer rate is small).
  • the display unit 202 of the remote operation terminal 101 has a point cloud data distribution region that extends around the average coordinate 60 by a size based on the eigenvalue d1 with respect to the direction of the eigenvector e1.
  • the point cloud data arranged at a predetermined interval in the distribution area is generated and displayed.
  • the display unit 202 sets a linear region in the range of ⁇ 3 times the eigenvalue d1 ( ⁇ 3d1 ⁇ eigenvector e1) from the average coordinate 60 in the direction of the eigenvector e1 as a point cloud data distribution region.
  • Point cloud data is arranged and displayed at intervals.
  • the interval of the point cloud data to be reproduced may be set in advance or specified by the input device 103 operated by the user.
  • the display unit 202 may generate and display the surface shape of the measurement target based on the generated point cloud data.
  • the eigenvalues are classified as pattern 3 because d1> d2 >> d3 ⁇ 0. That is, only the eigenvalue d3 is smaller than the predetermined fourth threshold (the eigenvalue d3 can be approximated by 0 (including 0)), and the values of the eigenvalue d1 and the eigenvalue d2 are the fifth threshold (the fifth threshold is 4 is equal to or greater than the fourth threshold value), and the eigenvalue d1 is greater than d2, the pattern 3 is classified.
  • the data selection unit 12 transmits shape reproduction data to the remote operation terminal 101 instead of the point cloud data 20 in the analysis region 52 classified as the pattern 3.
  • the average coordinates 60 (three-dimensional coordinates Aa) of the point cloud data 20 (three-dimensional coordinates A1 to Ai) in the analysis region 52 classified as pattern 3 correspond to the eigenvalue d1.
  • the eigenvector e1, the eigenvector e2, the eigenvalue d1, and the eigenvalue d2 corresponding to the eigenvector e1 and d2 are transmitted to the remote operation terminal 101 as shape reproduction data.
  • the average coordinate 60 means the center coordinate of the distribution area of the point cloud data 20.
  • the eigenvectors e1 and e2 mean the direction in which the distribution range of the point cloud data 20 is widened, the eigenvalue d1 means the size of the distribution range of the point cloud data 20 in the eigenvector e1 direction, and the eigenvalue d2 is the eigenvector e2 This means the size of the distribution range of the point cloud data 20 in the direction.
  • the data communication amount can be greatly reduced (low transfer rate).
  • the display unit 202 of the remote control terminal 101 spreads about the average coordinate 60 by the magnitude based on the eigenvalue d1 with respect to the direction of the eigenvector e1, and with respect to the direction of the eigenvector e2.
  • An area that expands by a size based on the eigenvalue d2 is set as a distribution area of point cloud data, and point cloud data arranged at a predetermined interval in the distribution area is generated and displayed.
  • the display unit 202 has a range of ⁇ 3 times the eigenvalue d1 from the average coordinate 60 in the direction of the eigenvector e1 ( ⁇ 3d1 ⁇ eigenvector e1), and ⁇ 3 times the eigenvalue d2 from the average coordinate 60 in the direction of the eigenvector e2.
  • a plane region surrounded by the range ( ⁇ 3d2 ⁇ eigenvector e2) is set as a distribution region of point cloud data, and the point cloud data is arranged and displayed at a predetermined interval in the region.
  • the interval between the point cloud data may be set in advance or specified by the input device 103 operated by the user.
  • the display unit 202 may generate and display the surface shape of the measurement target based on the generated point cloud data.
  • the eigenvalues are classified as pattern 4 as d1> d2> d3 >> 0. That is, if all of the eigenvalues d1, d2, and d3 are larger than a predetermined sixth threshold value compared to 0, the eigenvalue d2 is larger than the eigenvalue d3, and the eigenvalue d1 is larger than the eigenvalue d2, the pattern 4 is classified. .
  • all of the point cloud data 20 in the analysis area 52 classified into the pattern 4 since there is a high demand for the user operating the remote operation terminal 101 to confirm the three-dimensional shape in detail, all of the point cloud data 20 is selected as a transfer target. Is preferable (transfer rate 100%).
  • the data selection method using the grid 30 described above may be adopted for the point cloud data 20 in the analysis region 52 classified into the pattern 4.
  • the eigenvalues d1, d2, and d3 indicate values that do not correspond to any of the patterns 1 to 4, they are classified into the pattern 5.
  • transfer data is selected by the data selection method using the grid 30 described above.
  • all point cloud data 20 in the area classified as pattern 5 may be excluded from the transfer target (transfer rate 0%).
  • the first to sixth threshold values which are reference values for comparing the magnitudes of the eigenvalues in pattern determination, can be arbitrarily set according to the use for acquiring the point cloud data and the measurement accuracy of the sensor.
  • the first to sixth threshold values used for pattern determination are arbitrarily set according to the measurement accuracy of the sensor. Specifically, when the measurement variation is ⁇ 1 cm, three times the standard deviation (3 ⁇ ) is ⁇ 1 cm, and the eigenvalue d3 ( ⁇ squared) is 1/9.
  • the criterion (fourth threshold value) for determining whether or not the eigenvalue d3 is approximated to 0 needs to be set to a value larger than 1/9.
  • the fourth threshold value For example, in a sensor with a measurement variation of ⁇ 1 cm, by setting the fourth threshold value to 1/5, when the eigenvalue d3 is smaller than 1/5, it can be determined that it can be approximated to 0, and the planar shape can be determined.
  • arbitrary measurement accuracy can be realized by arbitrarily setting the first to sixth threshold values used for pattern determination.
  • the reference value that determines whether or not the eigenvalue is approximated to 0 is measured in units of m compared to the case of measuring unevenness on a plane (three-dimensional object) in units of mm (precision measurement). In the case of (non-precision measurement), it is set larger.
  • the shape reproduction data format is not limited to the above.
  • at least two point group data 20 for example, two points separated by the eigenvalue d1 in the eigenvector e1 direction
  • Selected as a target can be transferred.
  • At least three point group data 20 that can define a planar shape (for example, two points separated by the eigenvalue d1 in the eigenvector e1 direction, and For at least one of the two points, one point separated by the eigenvalue d2 in the eigenvector e2 direction) is selected as the transfer target. Also in this case, the amount of communication between the robot 10 and the remote control terminal 101 can be greatly reduced.
  • transfer data in the area is selected and the upper limit of the data amount is determined according to the pattern classified for each area. For example, when the shape reproduction data is set as transfer target data for a certain area, the data amount for the area is determined by the data amount of the shape reproduction data.
  • the shape reproduction data capable of reproducing the surface shape of the measurement object in the remote operation terminal 101 is selected according to the expected shape of the measurement object.
  • the shape reproduction data has a data amount smaller than that of the point cloud data 20
  • the data communication amount can be reduced as compared with the case where the point cloud data 20 is transmitted.
  • the situation around the robot 10 is within a range that does not affect the operability for the robot 10. Can be grasped.
  • the robot 10 may transmit not only the data selected as the transfer target by the selection method described above but also the data excluded from the selection target to the remote operation terminal 101. In this case, it is preferable that the robot 10 transmits the data selected as the transfer target before the data excluded from the selection target. That is, it is preferable that the transmission order of data to be transmitted to the remote operation terminal 101 is set by the method for selecting the transfer target described above. Specifically, first, the data selected as the transfer target from the measured point cloud data 20 is transferred with the highest priority, and other data (data excluded from the transfer target) is transferred thereafter. The transmission order is given as follows. Further, the above-described selection process may be further performed on the point cloud data excluded from the transfer target, and the transmission order may be determined.
  • the point cloud data 20 or the shape reproduction data with high importance is transmitted first to the remote operation terminal 101, and the data with low importance is sequentially transmitted.
  • a user who operates the remote operation terminal 101 can obtain important information (for example, the situation around the hand) for operating the robot 10 at an early stage after data transfer from the robot 10 is started. It is possible to grasp the entire image of the measurement object from information with low importance.
  • the robot 10 transmits the point cloud data 20 to be transferred in the area 33 or the cell 31-3 having a large transfer rate of the point cloud data 20 with the highest priority, and the transfer target in the other area 34 or the cell 31-4.
  • the point cloud data 20 may be transmitted thereafter. That is, it is preferable that the transmission order for the remote operation terminal 101 is set according to the transfer rate of the point cloud data 20.
  • the point cloud data 20 excluded from the transfer target is transferred after the point cloud data 20 set as the transfer target in the regions 33 and 34 or the cells 31-3 and 31-4.
  • the user of the remote operation terminal 101 can visually recognize the surface shape image in an important region (for example, the hand side or the near side in the line-of-sight direction) at an early stage. I can grasp it. Note that when the transmission order of the point cloud data 20 in the area 33 and the area 34 is set, all the point cloud data 20 in the area 33 and the area 34 may be transmitted.
  • the robot 10 may set the transmission order of the point cloud data 20 according to the condition indicating the cell position (for example, cell coordinates).
  • the point cloud data 20 in the multiple cell number 4 in the Xg coordinate direction, the multiple cell number 4 in the Yg coordinate direction, or the multiple cell number 4 in the Zg coordinate direction is transmitted with the highest priority.
  • a cell that is a multiple of 2 in the Yg coordinate direction (excluding a cell that is a multiple of 4)
  • 2 in the Zg coordinate direction Next, the point cloud data 20 in the multiple cell (excluding the multiple cell of 4) is transmitted next, and the point cloud data 20 in the other cells is transmitted last.
  • point cloud data 20 point cloud data in a cell for each predetermined interval
  • a point cloud for forming an image having a fine spatial resolution is transmitted.
  • Data 20 (the point cloud data 20 in the cell between the cell 31 that has transmitted the point cloud data and the other cell 31 that has transmitted the point cloud data) is transmitted.
  • the user of the remote operation terminal 101 can check the rough shape of the measurement object when receiving data with coarse spatial resolution, and grasps the detailed situation with the passage of time (reception of sequentially transmitted data). can do.
  • the minimum data necessary for the operation of the robot 10 is preferentially transmitted, and imaging can be performed in the remote operation terminal 101 based on the data.
  • the user can grasp the situation around the robot in a short time even when the communication environment is bad or a transmission path with a small communication capacity is used. Thereby, the time required for the robot operation can be shortened. In addition, more detailed status can be grasped as time passes by data transmitted in stages.
  • the robot 10 performs high-speed point cloud data 20 (hereinafter referred to as low-density data) measured by the three-dimensional sensor 2 for autonomous operation. It is preferable to be able to use high-density data). That is, the robot 10 preferably uses a plurality of data of low density data and high density point cloud data 20 depending on the application. A human can operate the robot 10 by referring to map information and surface shape created by low-density data (for example, the minimum interval of point cloud data is about 1 cm).
  • the robot 10 transmits low-density data for remote operation and uses map information generated based on the high-density data for autonomous movement.
  • the coarse / fine data As described above, it is possible to reduce the data transfer amount while maintaining the accuracy of the autonomous control of the robot 10.
  • the robot 10 uses the point group data 20 (Xs, Ys, Zs, R, G, B) to which the color information (RGB) is added, or the color information (RGB) and the point group data (Xs, Ts, Zs). ) Is preferably transmitted to the remote operation terminal 101.
  • the point cloud data (Xs, Ys, Zs) that does not add color information (RGB) to the control of the robot 10 such as autonomous movement. Is preferably used.
  • the robot 10 transmits colored data for remote operation and uses map information generated based on data without color for autonomous movement.
  • map information generated based on data without color for autonomous movement.
  • the robot 10 controls the transfer data reduction rate according to the communication quality or communication capacity with the remote operation terminal 101.
  • the robot 10 sets a large reduction amount of the transfer data when the communication speed is low, and decreases the reduction amount when the communication speed is high.
  • the transfer data reduction amount is set to be large.
  • the communication quality indicates a communication speed or a propagation environment (for example, reception intensity) on a transmission path between the robot 10 and the remote operation terminal 101, and the communication quality is measured by the robot 10 or the remote operation terminal 101.
  • the robot 10 itself may measure the communication quality and set or change the transfer rate accordingly.
  • the communication quality measurement and the transfer rate setting or change control for the robot 10 be controlled by the remote operation terminal 101.
  • the robot 10 can be remotely operated with a small amount of data communication even in a situation where the communication speed is low, the upper limit of the communication capacity is small, or the communication quality is poor.
  • the data regarding the shape that has an important influence on the remote operation is selected and transmitted at an early stage, the user can make a quick decision, and the operation using the robot 10 can be completed in a short time. Become.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

　データ伝送装置（１００）は、取得された点群データ（２０）に基づいて、遠隔操作端末（１０１）に対する転送対象データを選定する。この際、所定の範囲の領域における転送対象データのデータ量の上限が決められる。

Description

データ伝送システム、データ伝送装置、及びデータ伝送方法
　本発明は、データ伝送システム、データ伝送装置、データ伝送方法、及びデータ伝送プログラムに関し、特に、３次元点群データを遠隔装置に伝送するデータ伝送装置、データ伝送方法、及びデータ伝送プログラムに関する。
　３次元センサにより３次元形状を計測し、３次元座標を示す点群データ（ポイントクラウドとも称す）を取得する技術が知られている。点群データを取得する３次元センサとしてレーザスキャナやステレオカメラが例示される。例えば、レーザスキャナは、レーザの照射光と反射光により、計測対象物の表面の３次元位置座標（点群データ）を測定する。具体的には、レーザスキャナは、計測対象物とセンサとの間におけるレーザ光の往復時間及びレーザ光の照射角度から計測対象物の表面の３次元位置座標を取得する。この際、レーザスキャナとは別に設けられたカメラ等によって取得した色情報を点群データと合成することで、計測対象物の３次元形状を視認し易くすることができる。
　通常、３次元センサによって取得された点群データのデータ量は多いことから、点群データを解析して３次元形状をモデリングする場合、計算量を低減するために点群データのデータ量を削減する処理が行われる。例えば、スキャン位置を変更して点群データを取得し、各スキャン位置における点群データを合成して広範囲の領域の形状を得ようとする場合、取得した点群データの位置合わせ（マッチング処理）を行う必要がある。この場合、マッチング処理における計算量を低減するため、点群データのデータ量を削減することが知られている。マッチング処理のために点群データのデータ量を削減する技術が、例えば、「Ｆａｓｔ　ｒａｎｇｅ－ｉｎｄｅｐｅｎｄｅｎｔ　ｓｐｈｅｒｉｃａｌ　ｓｕｂｓａｍｐｌｉｎｇ　ｏｆ　３Ｄ　ｌａｓｅｒ　ｓｃａｎｎｅｒ　ｐｏｉｎｔｓ　ａｎｄ　ｄａｔａ　ｒｅｄｕｃｔｉｏｎ　ｐｅｒｆｏｒｍａｎｃｅ　ｅｖａｌｕａｔｉｏｎ　ｆｏｒ　ｓｃｅｎｅ　ｒｅｇｉｓｔｒａｔｉｏｎ」に記載されている（非特許文献１参照）。
　非特許文献１には、球面座標系においてデータ間隔が一定になるように点群データを削減する技術が記載されている。マッチング処理を行うためには、物体の形状情報が保持されたままで点群データを削減する必要がある。このため、非特許文献１に記載の方法では、データ計測範囲全体に対して削減後の点群データの間隔が、できるだけ一定になるように点群データの数を削減している。
　又、点群データのデータ量が多いことから、計測された全ての点群データを他の装置に転送する場合も、多くの時間が必要となる。例えば、遠隔操作端末によって制御される移動型ロボットに３次元スキャナを搭載した場合、移動型ロボット周辺の形状（例えば周辺地形）が点群データとして遠隔操作端末に転送される。遠隔操作端末を操作するユーザは、転送された点群データを加工して生成された形状画像（例えば地形画像）により、移動型ロボットの周辺状況を把握し、移動型ロボットの次の動作を指示することができる。このとき、点群データの転送時間が多くかかる場合、移動型ロボットの次の動作を指示するまでに要する時間が長くなり、ロボットのミッション遂行時間の長大化につながる。このため、遠隔操作される移動型ロボットから操作端末に対して点群データを転送する場合、点群データのデータ量を削減して点群データの転送時間を短縮化することが求められている。特に、移動型ロボットと遠隔操作端末間のデータ伝送路の伝搬環境が悪い場合（例えば伝送容量が小さい場合）、転送する点群データのデータ量を削減することが強く求められている。
　更に、遠隔操作を行う際、ロボットの周辺形状に対する視認性を確保する必要がある。このため、視認性を維持しながら、転送する点群データを削減することが求められている。
Ａｎｔｈｏｎｙ　Ｍａｎｄｏｗ　他３名、「Ｆａｓｔ　ｒａｎｇｅ－ｉｎｄｅｐｅｎｄｅｎｔ　ｓｐｈｅｒｉｃａｌ　ｓｕｂｓａｍｐｌｉｎｇ　ｏｆ　３Ｄ　ｌａｓｅｒ　ｓｃａｎｎｅｒ　ｐｏｉｎｔｓ　ａｎｄ　ｄａｔａ　ｒｅｄｕｃｔｉｏｎ　ｐｅｒｆｏｒｍａｎｃｅ　ｅｖａｌｕａｔｉｏｎ　ｆｏｒ　ｓｃｅｎｅ　ｒｅｇｉｓｔｒａｔｉｏｎ」、Ｊｏｕｒｎａｌ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ　Ｌｅｔｔｅｒｓ、Ｖｏｌｕｍｅ　３１　Ｉｓｓｕｅ　１１，　Ｐａｇｅｓ　１２３９－１２５０、２０１０年８月
　本発明の目的は、遠隔操作端末側に転送される点群データのデータ量を削減するデータ伝送システム、データ伝送装置、データ伝送方法、及びデータ伝送プログラムを提供することにある。
　いくつかの実施形態によるデータ伝送装置は、アクチュエータ、３次元センサと、演算装置（データ選定部）、及び通信部を具備する。アクチュエータは、遠隔操作装置からの制御信号に応じて動作が制御される。３次元センサは、３次元座標を示す点群データを取得する。演算装置は、点群データに基づいて転送対象データを選定する。通信部は、選定された転送対象データを遠隔操作端末に送信する。ここで、演算装置は、所定の３次元領域に属する転送対象データのデータ量の上限を設定する。
　いくつかの実施形態によるデータ伝送方法は、遠隔操作端末からの制御信号に応じて動作が制御されるアクチュエータを備えるデータ伝送装置よるデータ伝送方法であって、以下のステップを具備する。すなわち、データ伝送方法は、３次元座標を示す点群データを取得するステップと、点群データに基づいて、転送対象データを選定するステップと、転送対象データを遠隔操作端末に送信するステップを具備する。データ伝送装置の演算装置は、所定の３次元領域に属する転送対象データのデータ量の上限を設定する。
　本発明によれば、遠隔操作端末側に転送される点群データのデータ量を削減することができる。
添付の図面は、実施形態の説明を助けるために本明細書に組み込まれる。なお、図面は、本発明を、図示された例および説明された例に限定するものとして解釈されるべきではない。
図１は、実施形態によるデータ伝送システムの構成の一例を示す図である。 図２は、実施形態に係るロボットによって取得される点群データの一例を示す図である。 図３は、実施形態によるデータ伝送システムの一例を示す概略ブロック図である。 図４は、実施形態に係るロボットによって取得される点群データと計測対象物の概念図である。 図５は、実施形態に係るロボットによって取得される点群データに対して配置されるグリッドの一例を示す図である。 図６は、実施形態による転送データの削減方法の一例を示す図である。 図７は、第１の実施形態による転送データの削減方法を示す図である。 図８は、実施形態に係るロボットによって取得された点群データの一例を示す図である。 図９は、実施形態による転送データの削減処理において、点群データに対するグリッドの配置例を示す図である。 図１０は、第１の実施の形態における転送データの削減方法の一例を示す図である。 図１１は、第１の実施の形態における転送データの削減方法の他の一例を示す図である。 図１２は、第１の実施の形態における転送データのデータ量を削減した後の点群データの一例を示す図である。 図１３は、第１の実施の形態における転送データの削減方法の更に他の一例を示す図である。 図１４は、第１の実施の形態における転送データのデータ量を削減した後の点群データの他の一例を示す図である。 図１５は、第２の実施の形態における転送データの削減方法において、点群データが１次元状に分布する場合の転送データ量の削減例を示す図である。 図１６は、第２の実施の形態における転送データの削減方法において、点群データが２次元状に分布する場合の転送データ量の削減例を示す図である。 図１７は、第２の実施の形態における転送データの削減方法において、点群データが３次元状に分布する場合の転送データ量の削減例を示す図である。
　以下、添付図面を参照しながら実施の形態を説明する。以下の詳細な説明においては、実施形態の包括的な理解を提供するために、説明の目的で多くの詳細な特定事項が開示される。しかし、一又は複数の実施形態は、これらの詳細な特定事項なしで実行可能であることが明らかである。
（概要）
　いくつかの実施形態によるデータ伝送システムは、遠隔操作されるロボットによって取得された点群データの中から転送対象データを選定する。所定の３次元領域に属する点群データについて、転送対象データとして選定されるデータのデータ量には、上限が設定される。これにより、当該領域内の点群データについて、転送データの粗密を制御することができる。このため、通信量を削減しながら、計測対象の形状を示す転送対象データ（点群データのうちの転送されるデータ）の粗密を任意に選択することができる。例えば、計測対象を、３次元グリッドによって仮想的に覆い、グリッド内の点群データを所定のアルゴリズムに従って削減する。ロボットはデータ量が削減された点群データ（転送対象データ）を遠隔操作端末に送信する。遠隔操作端末は、受信した点群データに基づいてロボットの周辺の形状画像を作成し、表示装置等に視認可能に出力する。ユーザは、出力されたロボット周辺の形状画像を見ながら、遠隔操作端末を操作することでロボットの動作を制御する。
（構成）
　図１及び図２を参照して、実施形態によるデータ伝送システム１００の構成の一例を説明する。図１は、データ伝送システム１００の構成の一例を示す図である。図２は、ロボットによって取得される点群データの一例を示す図である。
　図１を参照して、データ伝送システム１００は、遠隔操作端末１０１及びロボット１０を具備する。ロボット１０は、遠隔操作端末１０１からの指示（制御信号）に応じて移動する。代替的に、又は、付加的に、遠隔操作端末１０１からの指示（制御信号）に応じて、後述するロボットの腕部４（マニピュレータ）の動作が制御される。例えば、ロボット１０は、遠隔操作端末１０１からの指示により、「目標物９０近傍まで移動し、目標物９０を現在位置から他の位置に移動する」というオペレーションを実行する。この際、ロボット１０は、３次元センサ２（すなわち、３次元形状を取得するためのセンサ）によって取得した周辺領域の点群データ２０を遠隔操作端末１０１に送信する。ユーザは、点群データ２０に基づいて作成されたロボット１０の周辺における表面形状画像を確認しながら、遠隔操作端末１０１を操作することにより、ロボット１０に次の動作を指示する。
　以下、図１及び図２を参照して、データ伝送システム１００の構成の詳細を説明する。
　遠隔操作端末１０１は、出力装置１０２、入力装置１０３、伝送装置１０４に接続される。遠隔操作端末１０１はコンピュータ装置に例示され、図示しないＣＰＵ及び記憶装置を具備する。遠隔操作端末１０１は、ロボット１０の動作を制御するとともに、ロボット１０から送信される点群データ２０に基づいて計測対象の表面形状を画像化し、出力装置１０２に視認可能に出力する。遠隔操作端末１０１の構成の詳細は後述する。出力装置１０２は、モニタやプリンタに例示され、遠隔操作端末１０１から出力される画像情報を視認可能に出力する。入力装置１０３は、キーボード、タッチパネル、マウス、又はジョイスティック等に例示され、ユーザによって操作されることで各種情報（または、各種データ）を遠隔操作端末１０１に入力するインタフェース装置である。伝送装置１０４は、遠隔操作端末１０１とロボット１０（伝送装置１）との間のデータや信号の伝送を制御する通信インタフェース装置である。詳細には、伝送装置１０４は、無線回線又は有線回線のいずれか、又は両方の回線により、ロボット１０に搭載された伝送装置１との間に伝送路を構築し、遠隔操作端末１０１とロボット１０との間のデータ伝送を制御する。
　尚、遠隔操作端末１０１、出力装置１０２、入力装置１０３、伝送装置１０４は、図１に示すように、それぞれ個別の装置として設けられてもよいが、全ての装置（または要素）が一体として設けられてもよいし、全ての装置（または要素）のうちの少なくとも２つが一体として設けられてもよい。例えば、出力装置１０２及び入力装置１０３を一体とした形態は、タッチパネルにより実現できる。又、遠隔操作端末１０１と伝送装置１０４を一体とした形態は、通信機能付きのコンピュータ装置によって実現できる。更に、遠隔操作端末１０１、出力装置１０２、入力装置１０３、伝送装置１０４の全てが搭載された形態として、タッチパネル式の携帯電話（俗にスマートフォンと称す）、通信機能付きのＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）等が例示される。
　ロボット１０は、伝送装置１、３次元センサ２、脚部３、腕部４を備える。ロボット１０は、３次元センサ２による計測により取得した点群データ２０のデータ量を所定のアルゴリズムに従って削減してから遠隔操作端末１０１に転送するデータ伝送装置として機能する。換言すれば、ロボット１０は、データ伝送装置の一態様である。
　伝送装置１は、ロボット１０と遠隔操作端末１０１との間でのデータや信号の伝送を制御するインタフェース装置である。詳細には、伝送装置１は、無線回線又は有線回線のいずれか、又は両方の回線により、遠隔操作端末１０１に接続された伝送装置１０４との間に伝送路を構築し、ロボット１０と遠隔操作端末１０１との間のデータ伝送を制御する。
　３次元センサ２は、レーザスキャナやステレオカメラに例示され、ロボット１０周辺における計測対象物の表面の３次元位置座標を点群データ２０（ポイントクラウドとも称す）として取得する。例えば、３次元センサ２として利用し得るレーザスキャナは、三角法方式、タイム・オブ・フライト方式、位相差方式（フェイズ・シフト）のいずれかの方式によって点群データ２０を計測（または取得）する。
　図２を参照して、３次元センサ２による点群データ２０の計測範囲（走査範囲）の一例を説明する。ここで、３次元センサ２の計測位置（例えば、設置位置）を原点Ｏｓとし、計測した点群データ２０の座標系を（Ｘｓ，Ｙｓ，Ｚｓ）とする。３次元センサ２は、レーザを、その照射角が原点Ｏｓを中心に方位角θ、仰俯角φの範囲で走査し、この範囲内の計測対象物からの反射光に基づいて、当該対象物の表面の３次元座標を点群データ２０として計測（または取得）する。ロボット１０は、脚部３によって移動し複数の位置（換言すれば、３次元センサの複数の位置）において点群データ２０の計測を行い、計測した点群データ２０をマッチング合成することで、所望の範囲の点群データ２０を取得することができる。
　図１を参照して、脚部３は、後述するアクチュエータ１６によって駆動され、ロボット１０を任意の位置に移動させる移動手段である。本実施例では脚部３として関節及びリンクを有する脚を一例に説明するが、モータやエンジンによって回転する回転体（例えば車輪）が脚部３としてロボット１０に搭載されてもよい。脚部３における脚の数、形状、関節数（リンク数）は、図示した数や形状に限定されず任意に設定できる。腕部４は、後述するアクチュエータ１６によって駆動され、関節、リンク及びエンドエフェクタ４０１を有するマニピュレータ（アームとも称す）に例示される。エンドエフェクタ４０１は、例えば、腕部４の先端に設けられ、対象物に対し物理的な作用（力学的作用、電磁気的作用、熱力学的作用）を与える機構を有することが好ましい。具体的には、エンドエフェクタ４０１は、対象物を把持、塗装、または、溶接する機構を備えていてもよい。代替的に、あるいは、付加的に、エンドエフェクタ４０１は、電磁気的センサ、各種計測機器等を備えていてもよい。図１に記載の例では、腕部４には、対象物を把持（ハンドリング）するロボットハンドがエンドエフェクタ４０１として設けられている。腕部４における腕（アーム）の数、形状、関節数（リンク数）、エンドエフェクタ４０１の構造は、図１に記載された数や形状等に限定されず任意に設定できる。
　図３を参照して、遠隔操作端末１０１及びロボット１０の構成の詳細を説明する。遠隔操作端末１０１では、図示しない記憶装置に格納されたプログラムをＣＰＵが実行することにより、通信部２０１、表示部２０２、及び制御部２０３の各機能が実現される。通信部２０１、表示部２０２、及び制御部２０３の各機能は、ハードウェアのみ、又はソフトウェアとハードウェアの連携によって実現されても構わない。例えば、通信部２０１は、通信インターフェース（ハードウェア）を備える。
　通信部２０１は、図１に示す伝送装置１０４を制御してロボット１０における伝送装置１との間の通信を制御する。詳細には、通信部２０１は、制御部２０３からの制御信号を、伝送装置１０４を介してロボット１０における伝送装置１に転送する。あるいは、ロボット１０から転送された点群データ２０（または、点群データ２０に対応する信号）を表示部２０２に出力する。表示部２０２は、出力装置１０２に表示させる画像情報を生成する。詳細には、表示部２０２は、通信部２０１から入力された点群データ２０を利用して、計測対象物の表面形状を表示するための画像情報（画像データ）を作成し、出力装置１０２に出力する。例えば、表示部２０２は、点群データ２０に対してエッジ検出、ノイズ除去による平滑化、法線抽出等の処理を経て、計測対象物の表面形状を表示するための画像情報を算出する。制御部２０３は、入力装置１０３からの入力信号に応じた制御信号を生成し、通信部２０１に出力する。ロボット１０は、制御部２０３から出力された制御信号に応じて、例えば、脚部３、腕部４等の運動、あるいは、点群データ２０の取得動作等を制御する。
　ロボット１０は、図示しないコンピュータ装置（コンピュータ装置は、例えば、ＣＰＵを含む演算装置及び記憶装置等を含む）を具備する。ロボット１０では、図示しない記憶装置に格納されたプログラムをＣＰＵが実行することにより、点群座標算出部１１、データ選定部１２、認識部１３、通信部１４、及びコントローラ１５の各機能が実現される。点群座標算出部１１、データ選定部１２、認識部１３、通信部１４、及びコントローラ１５の各機能は、ハードウェアのみ、又はソフトウェアとハードウェアの連携によって実現されても構わない。前述のプログラムをコンピュータ装置（ＣＰＵを含む演算装置）が実行することにより、後述の点群データ取得処理、点群データ選定処理、表面形状算出処理等の処理が実現される。
　点群座標算出部１１（演算装置）は、３次元センサ２によって測定された、計測対象物と当該センサとの間の距離及び照射角度（反射角度）を用いて、測定点の３次元位置座標（Ｘ，Ｙ，Ｚ）を点群データ２０として算出する（換言すれば、点群座標算出部１１は、３次元センサ２によって測定された測定点の３次元位置座標を点群データ２０として算出する点群データ取得処理を実行する。）。又、点群座標算出部１１は、複数の位置（３次元センサの複数の位置）において、３次元センサ２よって得られた複数の点群データ２０を互いにマッチングし、計測領域全体の点群データ２０として抽出してもよい。点群座標算出部１１によって算出された点群データ２０は、データ選定部１２に出力される。ここで、ロボット１０は、３次元センサ２の他に、ロボット周辺の地形や対象物の形状の視認性を高めるための色情報（ＲＧＢ）を取得するＣＣＤカメラを搭載しても構わない。この場合、点群座標算出部１１は、点群データ２０と色情報とを合成（カラーマッチング）しても構わない。しかし、遠隔操作端末１０１へのデータ伝送量を低減するため、あるいは、ロボット１０における計算量を低減するため、点群データ２０と色情報とは、異なるタイミングでロボット１０から遠隔操作端末１０１に送信され、遠隔操作端末１０１においてカラーマッチングされてもよい。
　データ選定部１２（演算装置）は、点群座標算出部１１によって得られた点群データ２０から、遠隔操作端末１０１に転送する点群データ２０の選定を行う点群データ選定処理を実行する。この際、データ選定部１２は、所定の領域を設定し、当該領域における転送データのデータ量の上限を決めることが好ましい。
　データ選定部１２は、点群座標算出部１１から取得した点群データ２０が分布する仮想空間上にグリッド３０（所定の３次元領域）を配置し、グリッド３０内に属する点群データ２０の数を所定のアルゴリズムに従って削減する（点群データ選定処理）。データ選定部１２は、グリッド３０内に属する転送対象の点群データ２０を通信部１４に出力する。データ選定部１２は、転送対象の点群データ２０（グリッド３０に登録した転送対象の点群データ２０）を、他の点群データ２０に優先して先に転送する点群データ２０として選定してもよい。この場合、選定処理において選定されなかった点群データ２０を転送の優先度が低いデータとして通信部１４に出力してもよい。データ選定部１２によって選定された点群データ２０、および、選定される前の全ての点群データ２０は、図示しない記憶装置に記録されることが好ましい。データ選定部１２における点群データ選定処理動作の詳細は後述する。
　又、データ選定部１２は、所定の領域内の点群データ２０を解析し、解析結果に基づいて得られるデータを転送対象データとして選定してもよい。点群データ２０の解析結果に基づいて得られるデータの取得方法の詳細は後述する。
　データ選定部１２は、点群座標算出部１１から取得した点群データ２０の全て（選定前の点群データ２０）を、認識部１３に出力することが好ましい。ただし、データ選定部１２は、転送対象データとして選定した点群データ２０を認識部１３に出力しても構わない。
　認識部１３は、点群データ２０を解析し、３次元センサ２によって計測された領域（解析対象の点群データ２０が分布する領域）における計測対象物の表面形状を算出する表面形状算出処理を実行する。そして、算出された表面形状を示す情報（データ）を、コントローラ１５に出力する。この情報は、図示しない記憶装置に記録されることが好ましい。ここで得られる表面形状の情報は、例えば、計測領域内の周辺地形や目標物９０の詳細な位置座標を示す情報（データ）を含む。
　コントローラ１５は、通信部１４を介して遠隔操作端末１０１から入力された制御信号に基づいた動作指令信号によりアクチュエータ１６の動作を制御する。詳細には、コントローラ１５は、脚部３、腕部４等を所望の位置に移動させるための制御信号（例えば、目標位置及び目標姿勢を示す情報）を遠隔操作端末１０１から受信する。コントローラ１５は、制御信号に基づき、脚部３、腕部４等が遠隔操作端末１０１から指示された位置及び姿勢となるようにアクチュエータ１６を制御する。この際、認識部１３から出力された計測対象物の表面形状を示す情報（例えば、計測対象物の表面座標）、および、脚部３又は腕部４におけるリンク又はエンドエフェクタ４０１、４０２の位置座標に基づいて、アクチュエータ１６の動作量や動作方向が補正されてもよい。
　コントローラ１５は、認識部１３から出力された計測対象物の表面座標や、脚部３又は腕部４におけるリンク又はエンドエフェクタ４０１、４０２の位置座標を利用して、自律的にアクチュエータ１６の動作量や動作方向を決定し、ロボット１０の動作を制御してもよい。この際、コントローラ１５は、動作精度の向上や移動経路の詳細な解析を行うため、転送対象として選定された点群データ２０ではなく、認識部１３において算出された詳細な表面形状の情報を利用してもよい。
　アクチュエータ１６は、サーボモータ、動力シリンダ、リニアアクチュエータ、ラバーアクチュエータ等に例示され、コントローラ１５からの動作指令信号に応じて脚部３、腕部４等の機械的挙動を制御する。アクチュエータ１６は、脚部３、腕部４等を間接的に駆動してもよいし、直接的に駆動してもよい。すなわち、アクチュエータ１６は、脚部３又は腕部４とは別に設けられてもよいし、脚部３、腕部４等の一部（例えば関節部）として搭載されていてもよい。又、脚部３が車輪に例示される回転体である場合、アクチュエータ１６としてモータ又はエンジンを使用してもよい。
（転送データ量削減方法）
　図４から図１７を参照して、データ伝送システム１００における転送データ量の削減方法の詳細を説明する。先ず図４から図６を参照して、データ量削減方法の基本形態を説明する。
　図４は、ロボット１０によって取得される点群データ２０と計測対象物の概念図である。図４を参照して、ロボット１０は、３次元センサ２によって計測対象物の点群データ２０を取得する。計測対象物は、例えば、３次元センサ２による走査範囲にあるレーザ光を反射する要素であり、走査範囲内における周辺地形や目標物９０を含む。複数の位置において計測された点群データ２０を合成して広範囲の点群データ２０を取得する場合、点群データ２０は直交座標系（Ｘｓ，Ｙｓ，Ｚｓ）で示されることが好ましい。例えば、図２に示すように測定点Ｏｓにおいて計測された点群データ２０が極座標で示される場合、直交座標系（Ｘｓ，Ｙｓ，Ｚｓ）に変更されることが好ましい。又、点群データ２０が属するスキャン座標系（Ｘｓ，Ｙｓ，Ｚｓ）は、ロボット１０、脚部３及び腕部４の位置座標が表現される座標系と同じ絶対座標系であることが好ましい。
　図５は、ロボット１０によって取得される点群データ２０に対して配置されるグリッド３０（所定の３次元領域）の一例を示す図である。図５を参照して、グリッド３０は、仮想視線の方向Ｙｇ（以下、視線方向Ｙｇと称す）に平行な直線、及び視線方向Ｙｇに直交する方向Ｘｇに平行な直線、視線方向Ｙｇおよび方向Ｘｇの両方に直交する方向Ｚｇに平行な直線によって規定される複数のセル３１（１，１，１）～（Ｘｌ，Ｙｍ，Ｚｎ）によって形成される（ｌ、ｍ、ｎは２以上の自然数）。グリッド３０の視線方向Ｙｇは、点群データ２０のスキャン座標系（Ｘｓ、Ｙｓ、Ｚｓ）とは独立して任意に設定し得る。視線方向Ｙｇは、例えば、遠隔操作端末からの指示に基づいて指定される。視線方向Ｙｇは、ロボットの頭部の向きとは、無関係に設定可能である。又、グリッド３０の向き（視線方向Ｙｇ）、セル３１の大きさ、数、位置、あるいはグリッド３０全体の大きさは、遠隔操作端末１０１によって設定されることが好ましいが、ロボット１０において予め設定されていても構わない。
　ロボット１０は、グリッド３０を利用したフィルタリングによって転送対象となる点群データ２０のデータ量を削減し、データ量削減後の点群データ２０を遠隔操作端末１０１に転送する。例えば、ロボット１０（データ選定部１２）は、セル３１内の点群データの数を所定の値に制限し、所定数を越える点群データ２０を転送対象から除外、又は転送順の優先度を低くする。これにより、近接した複数の点群データ２０の転送を所定数以内に制限できる。図６は、グリッド３０を利用した転送データの削減方法の一例を示す図である。図６を参照して、セル３１内において転送データとして選定される（登録される）点群データ数の上限を１つとしたときの転送データの削減方法について説明する。図６（ａ）に示されるように、仮想的に配置されたセル３１（ｉ，ｊ，ｋ）内に３つの点群データ２０－１、２０－２、２０－３が含まれている場合、データ選定部１２は、図６（ｂ）に示すように、点群データ２０－１のみを転送対象の点群データとして選定（登録）し、他の点群データ２０－２、２０－３を転送対象から除外する（登録しない）（ただし、１≦ｉ≦ｌ（エル）、１≦ｊ≦ｍ、１≦ｋ≦ｍ）。ここで、セル３１のサイズが１ｃｍ３である場合、例えば、１辺１ｃｍの立方体内の複数の点群データのうちの１つを転送対象とし、他の点群データを転送対象から除外することができる。
　尚、転送対象から除外された点群データ２０－２、２０－３は、先に選定された点群データ２０－１の転送後に遠隔操作端末１０１に転送されるデータとして選定（登録）されても構わない。この場合、データ量の多い点群データ２０を所定のデータ量毎に分割して遠隔操作端末１０１に転送することが可能となる。
　セル３１内において転送対象として選定（登録）される順番は、任意に設定し得る。例えば、３次元センサ２の走査順に選定される。この場合、セル３１内において３次元センサ２の走査方向の上流側の点群データ２０が優先して転送対象として選定される。具体的には、点群データ２０－１、２０－２、２０―３の順で計測され、転送対象の上限が２の場合、点群データ２０－１、２０－２が転送対象として選定される。
　以上のように、データ伝送システム１００では、視線方向Ｙｇを基準としたグリッド３０を利用して、遠隔操作端末１０１へ転送されるデータ量を削減することができる。尚、グリッド３０（セル３１）の形状は立方体や直方体に限らず多面体でも構わない。又、セル３１の大きさは、グリッド３０内で均一ではなく場所に応じて異なる大きさでも構わない。セル３１のサイズは、所定の領域内のセル３１に対し八分木法（Ｏｃｔｒｅｅ　Ｍｅｔｈｏｄ）を適用することで変更できる。この場合、計測対象のエッジ付近のセルサイズは小さく、エッジから離れた領域のセルサイズは大きく設定することができる。あるいは、後述するように、指定した領域や、重要点の近傍領域におけるセル３１のサイズを他のセル３１よりも小さくしてもよい。更に、グリッド３０は視線方向Ｙｇを基準として配置されることが好ましいが、他の方向を基準に配置されても構わない。
　第１の実施の形態
　図７から図１４を参照して、データ伝送システム１００における転送データの削減方法の第１の実施の形態について説明する。第１実施の形態では、セル３１内における点群データの転送率を、セル３１の位置に応じて変化させている。すなわち、セル３１の位置に応じて、点群データ２０が大きく間引かれる領域と、小さく間引かれる領域が設定される。この結果、データ転送量を削減しながら、遠隔操作に影響する重要な領域を詳細に表示させることが可能となる。ここで、セル３１における点群データ２０の転送率とは、セル３１の単位体積内における全ての点群データのデータ量に対する、当該単位体積内における転送対象として選定されたデータ（点群データとは限らない）のデータ量の割合を示す。換言すれば、転送率とは、セル３１内の点群データの総データ量に対する、転送データのデータ量の割合をセルの大きさ（セルの体積）で規格化した値を示す。
　図７は、第１の実施の形態における転送データの削減方法の一例を示す図である。図７を参照して、本実施の形態では、重要点３２から所定の距離の範囲によって示される領域３３（第１領域とも称す）内における転送データの転送率が他の領域３４（第２領域とも称す）に比べて大きくなるように設定される。転送データの転送率が大きい領域３３を決める重要点３２は、オペレーション精度を向上させるため、エンドエフェクタ４０１（手先）やエンドエフェクタ４０２（足先）における任意の点（又はその近傍の点）が設定されることが好ましい。例えば、腕部４のエンドエフェクタ４０１における所定の位置座標を重要点３２に設定することで、ロボット１０が把持している目標物９０又は把持を予定している目標物９０の周辺の領域、あるいは、エンドエフェクタ４０１の周辺の領域についての詳細な状況を遠隔操作端末１０１に送信可能となる。あるいは、脚部３のエンドエフェクタ４０２における所定の座標を重要点３２に設定することで、ロボット１０に対する歩行制御を詳細に指示することが可能となる。又、他の領域については、転送率を小さくすることで転送データの総量を低減することが可能となる。
　領域３３は、重要点３２を基準に決められれば、どのような形状でもよく、例えば重要点３２からの距離が一定の範囲が好適である。転送データの転送率を小さくする領域３４は、点群データ２０が分布する領域において領域３３以外の領域が好適に設定される。又、領域３４は、重要点３２からの距離に応じて段階的に転送データの転送率が小さくなってもよい。例えば、点群データ２０が分布する領域を複数の領域に分割し、それぞれ重要点３２からの距離に応じて（例えば比例して）転送データの転送率を小さくしてもよい。更に、領域３３、３４は複数設定されても構わない。この場合、複数の領域のそれぞれが包含するセル３１に対して転送データ（転送対象点群データ）として登録される点群データの数の上限や、転送率は任意に設定され得る。又、領域３３、３４を決める条件は上述の方法に限らず任意に設定できる。例えば、所定の条件を満たす複数のセル３１によって規定される領域を領域３３、所定の条件を満たさない他の複数のセル３１によって規定される領域を領域３４としてもよい。なお、所定の条件は、例えば、セル３１の位置座標、あるいは、セルの配列等に基づいて選定されてもよい。重要点３２、領域３３、領域３４のそれぞれは、遠隔操作端末１０１から指定することができる。又、ロボット１０が、遠隔操作端末１０１によって指定された重要点３２に基づいて、領域３３、領域３４を自動計算してもよい。この場合、領域３３、３４を決めるための重要点３２からの距離等のパラメータは、予めロボット１０に設定されていることが好ましい。
　領域３３、３４毎に設定される点群データ２０の転送率は、セル３１のサイズを変更することや、セル３１内に転送対象として登録される点群データの上限を変更することで可能となる。図８から図１４を参照して、グリッド３０を利用した転送データの転送率の変更例を説明する。実際には３次元座標で示される点群データ２０が転送対象から除外されるが、以下では、説明の簡単化のため点群データ２０及びグリッド３０を２次元的に表示して説明する。図８は、ロボット１０によって計測された点群データ２０の一例を示す図である。
　先ず、図９に示すように、点群データ２０が分布している仮想空間上に、グリッド３０が配置される。この際、仮想視点３５、グリッド３０の配置位置又は形状、視線方向Ｙｇ、セル３１の大きさ（グリッド分割サイズ）等は、遠隔操作端末１０１によって指定されることが好ましい。尚、仮想視点３５、グリッド３０の配置位置又は形状、視線方向Ｙｇ、セル３１の大きさ（グリッド分割サイズ）、数、配置のいずれかは、予めロボット１０に設定され、当該設定を利用してグリッド３０が配置されても構わない。
　図１０に示す一例では、図９に示すグリッド３０において、重要点３２周辺の領域３３のグリッド分割サイズ（セル３１のサイズ）が他の領域３４におけるグリッド分割サイズ（セル３１のサイズ）よりも小さくなるように設定される。例えば、重要点３２を中心に半径ｒ１の領域３３におけるセル３１－１のサイズが、他の領域３４のセル３１－２のサイズの半分に設定される。ここで、全てのセル３１内の点群データ２０の上限を等しい値（例えば１つ）に制限した場合、セルサイズの小さな領域３３における点群データ２０の転送率は、他の領域３４よりも大きくなる。換言すると、セルサイズの大きな領域３４において転送対象として除外される点群データ２０は、領域３３よりも多くなる。これにより、領域３３において転送対象となる点群データ２０のデータ密度は、他の領域３４における転送対象データのデータ密度よりも高くなる。
　又、図１１に示すように、領域３３と領域３４のセル３１のサイズを変更せず（等しくし）、セル３１内のデータ数の上限を領域（場所）に応じて変更することで、点群データの転送率を変更してもよい。図１１において、例えば、重要点３２を中心に半径ｒ１の領域３３におけるセル３１－１における点群データ２０の転送率を１００％（転送対象となる点群データ数の上限なし）とし、他の領域３４のセル３１－２の上限を１とすることが可能である。このような方法によっても、領域３３における点群データ２０の転送率を他の領域３４よりも大きくすることができ、領域３３において転送対象となる点群データ２０のデータ密度を、他の領域３４における転送対象データのデータ密度よりも高くすることができる。
　尚、図１０及び図１１に示すように、グリッド３０が配置されていない領域における点群データ２０は、全て転送対象から除外（又は送信順の優先度が低く設定）されることが好ましい。
　以上のように、本実施の形態におけるデータ伝送システム１００では、領域３３、３４毎にセル３１内の点群データの上限が決められるため、所定の領域（例えば、領域３３又は領域３４）における点群データ２０の粗密を任意に変更しながら、データ通信量を低減することができる。
　図１２は、図１１に示す方法により転送対象として選定された点群データ２０を示す図である。図１２に示すように、領域３３、３４における転送データに密度差が生じるため、遠隔操作端末１０１は、エンドエフェクタ周辺の領域については詳細に、その他の領域は簡略化された画像を得ることが可能となる。
　図１０から図１２に示す例では、重要点３２によって決まる領域３３のデータ転送率を大きくする方法について説明したが、これに限らず、仮想視点３５や視線方向Ｙｇに応じて、セル３１において転送対象とする点群データの上限や、転送率を決めてもよい。
　以下、図９、図１３及び図１４を参照して、仮想視点３５又は視線方向Ｙｇに応じて転送対象データを選定する方法について具体例を説明する。
　先ず、図９に示すように、点群データ２０が分布している仮想空間上に、グリッド３０が配置される。この際、仮想視点３５、グリッド３０の配置位置や形状、視線方向Ｙｇ、セル３１の大きさ（グリッド分割サイズ）、数、又は位置が、遠隔操作端末１０１によって指定される。
　図１３を参照して、仮想視点３５側から視線方向Ｙｇに見て視認可能なセル３１－３（第１領域とも称す）内の点群データ２０のみが転送対象として登録され、他のセル３１－４（第２領域とも称す）内の点群データが転送対象から除外される。詳細には、視線方向Ｙｇのセル列（セル３１（ｉ、１、ｋ）～セル３１（ｉ、Ｙｍ、ｋ））において、点群データ２０を包含するセル３１のうち、仮想視点３５側に最も近いセル３１が、視線方向Ｙｇについてｈ番目のセル３１－３（ｉ、ｈ、ｋ）である場合、セル３１－３（ｉ、ｈ、ｋ）内の点群データ２０が転送対象として登録され、他のセル３１－４（ｉ、ｈ＋１、ｋ）～セル３１－４（ｉ、Ｙｍ、ｋ）の点群データ２０は、転送対象から除外される（ただし、１≦ｈ≦Ｙｍ－１）。又、点群データ２０を包含するセル３１のうち仮想視点３５側に最も近いセル３１－３が、視線方向Ｙｇのセル列（セル３１（ｉ、１、ｋ）～セル３１（ｉ、Ｙｍ、ｋ））においてＹｍ番目のセル３１である場合、セル３１－３（ｉ、Ｙｍ、ｋ）の点群データ２０が転送対象として登録される。
　図１４は、図１３に示す方法により転送データ量が削減され、転送対象として選定された点群データ２０を示す図である。図１４に示すように、仮想視点３５から視線方向Ｙｇを見たときに視認可能な表面形状のみが遠隔操作端末１０１への転送対象となり、その視線方向Ｙｇに見て奥側の点群データ２０は転送対象から除外される。
　本実施例では、仮想視点３５側から視線方向Ｙｇを見たときに視認可能な表面形状のみが、遠隔操作端末１０１に転送されるため、遠隔操作端末１０１は、図１４に示すように奥行方向に重なる点群データ２０を省いた見易い画像を表示することができる。又、転送データから奥行き方向に重なる点群データ２０の全てが除外されるため、図１０や図１１に示す方法に比べてデータ通信量を更に削減することができる。本実施例では、仮想視点３５から見て奥側のセル３１－４の点群データ２０の全てが転送対象から除外されたが、これに限らず、セル３１－４内の点群データ２０のうち、所定の数の点群データ２０は、転送対象として登録されても構わない。換言すると、本実施例では、所定の領域（セル３１－４）における転送対象とされる点群データの数の上限が０に設定されているが、この上限は任意に設定し得る。この場合、上述の方法によって転送データが選定されることが好ましい。更に、転送データを更に削減するため、セル３１－３に対し、上述の方法により転送データが選定されても構わない。ただし、セル３１－３内における転送対象とされる点群データ２０の数の上限は、セル３１－４内における転送対象とされる点群データ２０の数の上限よりも多くなるように設定される。
　点群データの転送率を小さくする領域３４又はセル３１－４、転送率を大きくする（削減しない場合も含む）領域３３又はセル３１－３の設定方法は、上述の例に限らず、セル位置を規定する所定の条件に応じて決めてもよい。例えば、視線方向Ｙｇにおいて仮想視点３５から所定の距離よりも遠方の領域を領域３４に設定し、近い領域を領域３３に設定してもよい。あるいは、セル位置（座標）を示す条件に応じて転送率の大きなセル３１と転送率の小さなセル３１が設定されてもよい。一例として、Ｘｇ座標方向に偶数番目のセル、Ｙｇ座標方向に偶数番目のセル、または、Ｚｇ座標方向に偶数番目のセル３１が転送率の大きなセル３１－３、Ｘｇ座標方向に奇数番目のセル、Ｙｇ座標方向に奇数番目のセル、または、Ｚｇ座標方向に奇数番目のセル３１が転送率の小さなセル３１－４として設定される。ここで、領域３３、３４を決定するための所定の距離又はセル３１－３、３１－４を決定する条件は、ロボット１０に予め設定されていてもよいし、遠隔操作端末１０１から指定されてもよい。
　第２の実施の形態
　第２の実施の形態におけるロボット１０は、点群データ２０から予測された計測対象物の形状に応じて遠隔操作端末１０１に転送するデータ（後述の形状再現データ）を決定する。第２の実施の形態における遠隔操作端末１０１の表示部２０２は、ロボット１０から転送されたデータに基づいて点群データを生成し、これを用いて計測対象物の表面形状を表示する。以下、データ伝送システム１００における転送データの削減方法の第２の実施の形態について説明する。
　本実施の形態におけるデータ伝送システム１００は、「計測対象物の局所的な形状」に応じて転送データの削減率を変更する。ここで、「計測対象物の局所的な形状」とは、所定の範囲内における点群データに対する主成分分析によって得られる３つの固有値の大きさによって分類できる。ここで固有値を大きい順にｄ１、ｄ２、ｄ３とすると、計測対象物の局所的な形状を、下記のパタン１からパタン５のように分類できる。
　ｄ１≒ｄ２≒ｄ３≒０　：　０次元的な広がりを持つ点構造・・・パタン１
　ｄ１＞＞ｄ２≒ｄ３≒０　：　１次元的な広がりを持つ線状構造・・・パタン２
　ｄ１＞ｄ２＞＞ｄ３≒０　：　２次元的な広がりを持つ平面構造・・・パタン３
　ｄ１＞ｄ２＞ｄ３＞＞０　：　３次元的な広がりを持つ立体構造・・・パタン４
　その他：パタン５
　図１５から図１７を参照して、計測対象物の局所的な形状の分類方法及び転送データ量の削減方法について、詳細に説明する。
　図１５（ａ）、図１６（ａ）、図１７を参照して、ロボット１０のデータ選定部１２は、計測された点群データ２０の１つを基準点５１として設定し、基準点５１に応じた範囲を解析領域５２として設定する。解析領域５２は、例えば基準点５１を中心とした半径ｒ２の球形領域である。基準点５１はランダムに決められてもよい。又、解析領域５２を決める基準点５１からの距離（例えば半径ｒ２）は、固定値に基づいて設定されることが好ましい。解析領域５２を決める基準点５１からの距離（例えば半径ｒ２）は、例えば、最も大きな固有値の１／２に設定される。基準点５１が複数設定される場合、隣接する基準点５１の間隔は、解析領域５２が重ならない長さ（例えば半径ｒ２以上）であることが好ましい。
　データ選定部１２は、解析領域５２内における点群データ２０（点群データ２０が示す位置座標）に対して主成分分析し、固有値ｄ１、ｄ２、ｄ３及びこれらに対応する固有ベクトルｅ１、ｅ２、ｅ３を求める。詳細には、解析領域５２内の点群データ２０が示す位置座標から求められた共分散行列を固有値分解し、固有値ｄ１、ｄ２、ｄ３及びこれらに対応する固有ベクトルｅ１、ｅ２、ｅ３が求められる。ここで、データ選定部１２は、固有値ｄ１、ｄ２、ｄ３の大きさに基づいて解析領域５２内の形状をパタン１～パタン５のいずれかに分類する。データ選定部１２は、分類されたパタンに応じて転送するデータを選定する。このとき、パタン２、または、パタン３に分類された場合、データ選定部１２は、解析領域５２内の点群データ２０に替えて、解析領域５２に対する解析結果を形状再現データとして遠隔操作端末１０１に送信する。遠隔操作端末１０１は、形状再現データに基づいて、形状再現データが示す形状の範囲内に所定の間隔で分布する点群データを配置し、計測対象形状画像を生成、表示する。
　点群データ２０がほぼ１点に集まっている場合、すなわち点群データ２０が０次元的な広がりを持つ構造を示す場合、固有値は、ｄ１≒ｄ２≒ｄ３≒０となりパタン１に分類される。すなわち、固有値ｄ１、ｄ２、ｄ３の全てが所定の第１の閾値より小さい場合（換言すれば、固有値ｄ１、ｄ２、ｄ３の全てが０で近似できる場合（０も含む））、パタン１に分類される。データ選定部１２は、パタン１に分類された解析領域５２内の点群データ２０の全てを転送対象から除外する（転送率は０％）。すなわち、パタン１に分類された解析領域５２内の点群データ２０は全て遠隔操作端末１０１に転送されない。この領域については、ロボット１０の行動に影響する地形や障害物がないと判断できるため、遠隔操作端末１０１に点群データ２０を送信する必要はない。
　点群データ２０が図１５（ａ）に示されるように１次元的な広がりを持つ構造を示す場合、固有値は、ｄ１＞＞ｄ２≒ｄ３≒０となりパタン２に分類される。すなわち、固有値ｄ２および固有値ｄ３が所定の第２の閾値より小さく（固有値ｄ２および固有値ｄ３が０で近似できる（０も含む））、固有値ｄ１の値が、第３の閾値（第３の閾値は、第２の閾値と等しいか、あるいは、第２の閾値よりも大きい）よりも大きい場合、パタン２に分類される。データ選定部１２は、パタン２として分類された解析領域５２内の点群データ２０に替えて、形状再現データを遠隔操作端末１０１に対する転送対象として選定する。例えば、図１５（ａ）を参照して、パタン２として分類された解析領域５２内における点群データ２０（３次元座標Ａ１～Ａｉ）の平均座標６０（３次元座標Ａａ）と、固有値ｄ１に対応した固有ベクトルｅ１と、固有値ｄ１が、形状再現データとして遠隔操作端末１０１に送信される。ここで平均座標６０は、点群データ２０の分布領域の中心座標を意味する。又、固有ベクトルｅ１は、点群データ２０の分布範囲の広がる方向を意味し、固有値ｄ１は、固有ベクトルｅ１方向における点群データ２０の分布範囲の大きさを意味する。パタン２に分類された領域については、点群データの替わりにデータ量の小さな形状再現データが送信されるため、データ通信量を大きく削減することができる（転送率小）。
　図１５（ｂ）を参照して、遠隔操作端末１０１の表示部２０２は、平均座標６０を中心に、固有ベクトルｅ１の方向に対し固有値ｄ１に基づいた大きさだけ広がる領域を点群データの分布領域として設定し、当該分布領域に所定の間隔で配置した点群データを生成して表示する。例えば、表示部２０２は、固有ベクトルｅ１の方向に、平均座標６０から固有値ｄ１の±３倍の範囲（±３ｄ１×固有ベクトルｅ１）の線状領域を点群データの分布領域とし、当該領域に所定の間隔で点群データを配置して表示する。ここで、再現される点群データの間隔は、予め設定されても、ユーザが操作する入力装置１０３によって指定されてもどちらでもよい。又、表示部２０２は、生成した点群データに基づいて、計測対象物の表面形状を生成して表示してもよい。
　点群データ２０が図１６（ａ）に示されるように２次元的な広がりを持つ構造を示す場合、固有値は、ｄ１＞ｄ２＞＞ｄ３≒０となりパタン３に分類される。すなわち、固有値ｄ３のみが所定の第４の閾値より小さく（固有値ｄ３が０で近似できる（０も含む））、固有値ｄ１および固有値ｄ２の値が、第５の閾値（第５の閾値は、第４の閾値と等しいか、あるいは、第４の閾値よりも大きい）よりも大きく、かつ、固有値ｄ１の値がｄ２よりも大きい場合、パタン３に分類される。データ選定部１２は、パタン３として分類された解析領域５２内の点群データ２０に替えて形状再現データを遠隔操作端末１０１に送信する。例えば、図１６（ａ）を参照して、パタン３として分類された解析領域５２内における点群データ２０（３次元座標Ａ１～Ａｉ）の平均座標６０（３次元座標Ａａ）、固有値ｄ１に対応した固有ベクトルｅ１、固有値ｄ２に対応した固有ベクトルｅ２、固有値ｄ１、および、固有値ｄ２が、形状再現データとして遠隔操作端末１０１に送信される。ここで平均座標６０は、点群データ２０の分布領域の中心座標を意味する。又、固有ベクトルｅ１、ｅ２は、点群データ２０の分布範囲の広がる方向を意味し、固有値ｄ１は、固有ベクトルｅ１方向における点群データ２０の分布範囲の大きさを意味し、固有値ｄ２は、固有ベクトルｅ２方向における点群データ２０の分布範囲の大きさを意味する。パタン３に分類された領域については、点群データの替わりにデータ量の小さな形状再現データが送信されるため、データ通信量を大きく削減することができる（転送率小）。
　図１６（ｂ）を参照して、遠隔操作端末１０１の表示部２０２は、平均座標６０を中心に、固有ベクトルｅ１の方向に対し固有値ｄ１に基づいた大きさだけ広がるとともに、固有ベクトルｅ２の方向に対し固有値ｄ２に基づいた大きさだけ広がる領域を点群データの分布領域として設定し、当該分布領域に所定の間隔で配置した点群データを生成して表示する。例えば、表示部２０２は、固有ベクトルｅ１の方向に、平均座標６０から固有値ｄ１の±３倍の範囲（±３ｄ１×固有ベクトルｅ１）と、固有ベクトルｅ２の方向に、平均座標６０から固有値ｄ２の±３倍の範囲（±３ｄ２×固有ベクトルｅ２）に囲まれた平面領域を点群データの分布領域とし、当該領域に所定の間隔で点群データを配置して表示する。ここで、点群データの間隔は、予め設定されても、ユーザが操作する入力装置１０３によって指定されてもどちらでもよい。又、表示部２０２は、生成した点群データに基づいて、計測対象物の表面形状を生成して表示してもよい。
　図１７を参照して、点群データ２０が３次元的な広がりを持つ構造を示す場合、固有値は、ｄ１＞ｄ２＞ｄ３＞＞０となりパタン４に分類される。すなわち、固有値ｄ１、ｄ２、ｄ３の全てが０に比べて所定の第６の閾値よりも大きく、固有値ｄ３よりも固有値ｄ２が大きく、固有値ｄ２よりも固有値ｄ１が大きい場合、パタン４に分類される。パタン４に分類された解析領域５２内の点群データ２０については、遠隔操作端末１０１を操作するユーザにとって、立体的な形状を詳細に確認する要求が高いため、全て転送対象として選定されることが好ましい（転送率１００％）。あるいは、パタン４に分類された解析領域５２内の点群データ２０については、上述のグリッド３０を利用したデータ選定方法が採用されてもよい。
　固有値ｄ１、ｄ２、ｄ３が、パタン１～パタン４のいずれにも該当しない値を示す場合、パタン５に分類される。パタン５に分類された領域（図示なし）内の点群データ２０は、上述のグリッド３０を利用したデータ選定方法によって転送データの選定が行われることが好ましい。あるいは、パタン５に分類された領域内の点群データ２０は、全て転送対象から除外されてもよい（転送率０％）。
　尚、パタン判定において固有値の大きさを比較するための基準値である第１～第６の閾値は、点群データを取得する用途やセンサの測定精度に応じて任意に設定し得る。例えば、センサの測定精度に応じて、パタン判定に利用される第１～第６の閾値は任意に設定される。具体的には、測定ばらつきが±１ｃｍである場合、標準偏差の３倍（３σ）が±１ｃｍ、固有値ｄ３（σの２乗）が１／９となる。この場合、測定ばらつきを考慮して平面上の凹凸を検出する場合、固有値ｄ３を０に近似するか否かの判定基準（第４の閾値）は、１／９よりも大きな値に設定する必要がある。例えば、測定ばらつきが±１ｃｍのセンサにおいて、第４の閾値を１／５とすることで、固有値ｄ３が１／５よりも小さい場合０に近似できると判定し、平面形状と判定できる。又、パタン判定に利用される第１～第６の閾値を任意に設定することで任意の測定精度を実現することができる。例えば、固有値を０に近似するか否かを決める基準値（例えば第４の閾値）は、平面上の凹凸（立体物）をｍｍ単位で計測する場合（精密測定）に比べ、ｍ単位で計測する場合（非精密測定）の方が大きく設定される。
　パタン２またはパタン３と判定された場合、遠隔操作端末１０１において１次元又は２次元形状が再現できれば、形状再現データの形式は上述のものに限らない。例えば、パタン２と判定された場合（１次元形状として判定された場合）、線形状を定義できる少なくとも２つの点群データ２０（例えば、固有ベクトルｅ１方向において固有値ｄ１だけ離れた２点）が、転送対象として選定される。あるいは、パタン３と判定された場合（２次元形状として判定された場合）、平面形状を定義できる少なくとも３つの点群データ２０（例えば、固有ベクトルｅ１方向において固有値ｄ１だけ離れた２点、及び、当該２点の少なくとも一方について、固有ベクトルｅ２方向において固有値ｄ２だけ離れた１点）が、転送対象として選定される。この場合も、ロボット１０と遠隔操作端末１０１との間の通信量を大きく削減することができる。
　本実施の形態では、領域毎に分類されたパタンに応じて、当該領域における転送データが選定されるとともに、そのデータ量の上限も決まる。例えば、ある領域に対して形状再現データが転送対象データとして設定された場合、当該領域に対するデータ量は、形状再現データのデータ量によって決まる。
　以上のように、第２の実施の形態におけるデータ転送方法によれば、遠隔操作端末１０１において計測対象物の表面形状を再現可能な形状再現データを、当該計測対象物の予想形状に応じて選定して遠隔操作端末１０１に送信する。形状再現データは、点群データ２０よりも少ないデータ量であるため、点群データ２０を送信する場合に比べデータ通信量を低減することができる。又、計測対象物の表面形状に応じたデータに基づいて点群データの分布及び対象物の形状を再現しているため、ロボット１０に対する操作性に影響のない範囲内で当該ロボット１０周辺の状況を把握することが可能となる。
　次に、ロボット１０から、点群データ２０又は計測対象物の表面形状を再現するためのデータを遠隔操作端末１０１に転送する方法について説明する。
　ロボット１０は、上述した選定方法によって転送対象として選定したデータのみならず、選定対象から除外したデータも遠隔操作端末１０１に送信してもよい。この場合、ロボット１０は、転送対象として選定したデータを、選定対象から除外したデータよりも前に送信することが好ましい。すなわち、上述した転送対象を選定する方法によって遠隔操作端末１０１に送信するデータの送信順が設定されることが好ましい。詳細には、最初に、計測された点群データ２０の中から転送対象として選定されたデータを最優先に転送し、他のデータ（転送対象から除外されたデータ）については、その後に転送するように送信順が付与される。又、転送対象から除外された点群データに対して、更に上述の選定処理が行われ、送信順が決められてもよい。これにより、遠隔操作端末１０１に対して、重要度の高い点群データ２０又は形状再現データが先に送信され、重要度の低いデータが順次送信されることとなる。遠隔操作端末１０１を操作するユーザは、ロボット１０からデータ転送が開始されてから早い段階で、ロボット１０を操作するために重要な情報（例えば手先周辺の状況）を得ることができるとともに、その後、重要度の低い情報により計測対象物の全体像を把握することができる。
　又、ロボット１０は、点群データ２０の転送率の大きな領域３３又はセル３１－３における転送対象の点群データ２０を最優先に送信し、他の領域３４又はセル３１－４における転送対象の点群データ２０を、その後に送信してもよい。すなわち、点群データ２０の転送率に応じて遠隔操作端末１０１に対する送信順が設定されることが好ましい。この際、転送対象から除外された点群データ２０は、領域３３及び３４、又は、セル３１－３及びセル３１－４において転送対象に設定された点群データ２０よりも後に転送される。この場合も、遠隔操作端末１０１のユーザは、早い段階で重要な領域（例えば手先や、視線方向の手前側）における表面形状画像を視認することが可能となり、その後、計測対象物の全体像を把握することができる。尚、領域３３及び領域３４内における点群データ２０の送信順を設定する場合には、領域３３及び領域３４内の全ての点群データ２０を送信しても構わない。
　更に、ロボット１０は、セル位置（例えば、セル座標）を示す条件に応じて点群データ２０の送信順を設定してもよい。例えば、Ｘｇ座標方向に４の倍数番目のセル、Ｙｇ座標方向に４の倍数番目のセル、または、Ｚｇ座標方向に４の倍数番目のセル３１内の点群データ２０を最優先に送信し、Ｘｇ座標方向に２の倍数番目のセル（４の倍数番目のセルを除く）、Ｙｇ座標方向に２の倍数番目のセル（４の倍数番目のセルを除く）、または、Ｚｇ座標方向に２の倍数番目のセル（４の倍数番目のセルを除く）内の点群データ２０を次に送信し、その他のセル内の点群データ２０を最後に送信する。この場合、最初に空間分解能の粗い画像を形成するための点群データ２０（所定間隔毎のセル内の点群データ）が送信され、次に、空間分解能の細かい画像を形成するための点群データ２０（点群データを送信済みのセル３１と点群データを送信済みの他のセル３１の間のセル内の点群データ２０）が送信されることとなる。遠隔操作端末１０１のユーザは、空間分解能の粗いデータを受け取った段階で、計測対象物の大まかな形状を確認でき、時間の経過（逐次送信されるデータの受信）に伴い、詳細な状況を把握することができる。
　以上のように、実施形態によるデータ伝送システム１００によれば、ロボット１０の操作に必要な最小限のデータを優先して送信し、当該データに基づいて遠隔操作端末１０１において画像化が可能なため、ユーザは、通信環境が悪い場合又は通信容量が小さい伝送路を使用した場合でも、ロボット周辺の状況を短時間で把握することができる。これにより、ロボット操作に要する時間を短縮化できる。又、段階的に送信されるデータにより、時間経過とともにより詳細な状況も把握することができる。
　ロボット１０は、転送用に選定した低密度の点群データ２０（以下、低密度データと称す）の他、自律動作のため、３次元センサ２によって計測した高密度の点群データ２０（以下、高密度データと称す）を利用できることが好ましい。すなわち、ロボット１０は、用途に応じて低密度データと高密度の点群データ２０の複数のデータを使い分けることが好ましい。人間は、低密度データ（例えば、点群データの最低間隔が１ｃｍ程度）によって作成された地図情報や表面形状を参照することでロボット１０を操作することが可能である。一方、ロボット１０の自律動作（例えば自律移動）のためには、衝突や転倒を防止するため、精度の高い地図情報や表面形状が必要となる。このため、ロボット１０は、遠隔操作のためには低密度データを送信し、自律移動のためには、高密度データに基づいて生成した地図情報を利用することが好ましい。このように粗密データを使い分けることで、ロボット１０の自律制御の精度を維持したまま、データ転送量を低減することが可能となる。
　又、人間は、形状の違いだけでなく、色の違いを用いた認識能力が高いため、遠隔操作用に利用される点群データには色情報が付加されていることが好ましい。このため、ロボット１０は、色情報（ＲＧＢ）を付加した点群データ２０（Ｘｓ、Ｙｓ、Ｚｓ、Ｒ、Ｇ、Ｂ）、又は、色情報（ＲＧＢ）及び点群データ（Ｘｓ、Ｔｓ、Ｚｓ）を遠隔操作端末１０１に送信することが好ましい。一方、ロボット１０の自律制御等においては、座標データのみで制御精度を維持できることから、ロボット１０の自律移動等の制御には色情報（ＲＧＢ）を付加しない点群データ（Ｘｓ、Ｙｓ、Ｚｓ）が利用されることが好ましい。すなわち、ロボット１０は、遠隔操作のためには色つきのデータを送信し、自律移動のためには、色なしのデータに基づいて生成した地図情報を利用することが好ましい。このように色情報の有無を使い分けることで、ロボット１０の自律制御の精度を維持したまま、データ転送量を低減することが可能となる。
　更に、ロボット１０は、遠隔操作端末１０１との間の通信品質又は通信容量に応じて、転送データの削減率を制御することが好ましい。例えば、ロボット１０は、通信速度が低い場合は、転送データの削減量を大きく設定し、通信速度が高い場合は削減量を小さくする。あるいは、ロボット１０と遠隔操作端末１０１間の通信量が、予め設定された通信容量を超える場合、転送データの削減量が大きくなるように設定される。ここで、通信品質は、ロボット１０と遠隔操作端末１０１との間の伝送路における通信速度又は伝搬環境（例えば受信強度）を示し、当該通信品質は、ロボット１０又は遠隔操作端末１０１において測定される。ロボット１０自身が通信品質の測定を行いこれに応じて転送率の設定又は変更を行ってもよい。しかし、ロボット１０の処理負荷の軽減や軽量化の観点から、通信品質の測定及びロボット１０に対する転送率の設定又は変更の制御は、遠隔操作端末１０１によって行われることが好ましい。
　以上のように、実施形態によれば、計測対象物の表面形状に関する情報を効率よく選定し、遠隔操作端末１０１に転送できる。このため、通信速度が低い、通信容量の上限が小さい、あるいは通信品質が劣悪な状況においても、少ないデータ通信量で、ロボット１０を遠隔操作するが可能となる。又、遠隔操作に重要な影響を与える形状に関するデータを選択して早期に送信しているため、ユーザは迅速な判断が可能となり、ロボット１０を使ったオペレーションを短時間で完遂することが可能となる。
　以上、本発明のいくつかの実施の形態を詳述してきたが、具体的な構成は上記実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の変更があっても本発明に含まれる。上述した実施例及び実施の形態は、技術的な矛盾がない範囲内で、他の実施例及び実施形態に組み合わせて実行できる。
　本出願は、２０１４年３月３１日に出願された日本国特許出願第２０１４－７４３７８号を基礎とする優先権を主張し、当該基礎出願の開示の全てを引用により本出願に取り込む。

Claims (32)

  1. 　遠隔操作端末からの制御信号に応じて動作が制御されるアクチュエータと、
    　３次元座標を示す点群データを取得する３次元センサと、
    　前記点群データに基づいて転送対象データを選定する演算装置と、
    　前記転送対象データを前記遠隔操作端末に送信する通信部と
    　を具備し、
    　前記演算装置は、所定の３次元領域に属する前記転送対象データのデータ量の上限を設定する
    　データ伝送装置。
  2. 　請求項１に記載のデータ伝送装置において、
    　前記演算装置は、複数のセルを有する３次元グリッドを、複数の前記点群データが分布する領域に仮想的に配置し、前記複数のセルの各セルに対して設定される上限数以下の前記点群データを、当該各セル内の前記転送対象データとして選定する
    　データ伝送装置。
  3. 　請求項２に記載のデータ伝送装置において、
    　前記演算装置は、第１領域内の前記点群データの転送率が、前記第１領域とは異なる第２領域内の前記点群データの転送率よりも大きくなるように、前記各セル内の前記点群データの転送率を設定し、
    　前記転送率は、前記各セル内の前記点群データのデータ量に対する、前記各セル内の前記転送対象データのデータ量の割合を前記各セルの大きさで規格化した値をである
    　データ伝送装置。
  4. 　請求項３に記載のデータ伝送装置において、
    　　前記演算装置は、前記第１領域内の各セル内の転送対象点群データの数の上限が、前記第２領域の各セル内の転送対象点群データの数の上限よりも大きくなるように、前記各セル内の転送対象点群データの数の上限を設定する
    　データ伝送装置。
  5. 　請求項３に記載のデータ伝送装置において、
    　前記第１領域内の前記各セルの大きさは、前記第２領域内の前記各セルの大きさよりも小さく、
    　前記演算装置は、前記第１領域内の各セル内の転送対象点群データの数の上限が、前記第２領域の各セル内の転送対象点群データの数の上限と等しくなるように、前記各セル内の転送対象点群データの数の上限値を設定し、
    　前記演算装置は、前記各セルについて前記上限値以下の数の前記点群データを前記転送対象データとして選定する
    　データ伝送装置。
  6. 　請求項３乃至５のいずれか１項に記載のデータ伝送装置において、
    　前記第１領域は、前記アクチュエータによって駆動されるエンドエフェクタの周辺領域を含む
    　データ伝送装置。
  7. 　請求項３乃至５のいずれか１項に記載のデータ伝送装置において、
    　前記第１領域は、前記遠隔操作端末によって指定される
    　データ伝送装置。
  8. 　請求項３に記載のデータ伝送装置において、
    　前記複数のセルの各々は、仮想視線の方向に平行な直線、当該仮想視線の方向に直交する方向に延びる第１直線、および、前記仮想視線の方向と前記第１直線とに直交する第２直線によって規定されるセルであって、
    　仮想視点から前記仮想視線の方向に見て視認可能な複数のセルによって規定される領域が前記第１領域として設定され、
    　前記仮想視点から前記仮想視線の方向に見て視認可能でない複数のセルによって規定される領域が第２領域として設定される
    　データ伝送装置。
  9. 　請求項８に記載のデータ伝送装置において、
    　前記第２領域内の前記点群データの全ては前記転送対象データから除外される
    　データ伝送装置。
  10. 　請求項１に記載のデータ伝送装置において、
    　前記演算装置は、前記所定の３次元領域内における前記点群データに対する主成分分析の結果に基づいて得られるデータを、前記所定の３次元領域内における前記転送対象データとして選定する
    　データ伝送装置。
  11. 　請求項１０に記載のデータ伝送装置において、
    　前記主成分分析によって得られた固有値ｄ１、ｄ２、ｄ３の値が、ｄ１＞＞ｄ２≒ｄ３≒０の場合、
    　前記演算装置は、固有値ｄ１に対応した固有ベクトルｅ１、及び固有値ｄ１を、前記所定の３次元領域内における前記転送対象データとして選定する
    　データ伝送装置。
  12. 　請求項１０に記載のデータ伝送装置において、
    　前記主成分分析によって得られた固有値ｄ１、ｄ２、ｄ３の値が、ｄ１＞ｄ２＞＞ｄ３≒０の場合、
    　前記演算装置は、固有値ｄ１に対応した固有ベクトルｅ１、固有値ｄ１、固有値ｄ２に対応した固有ベクトルｅ２、及び固有値ｄ２を、前記所定の３次元領域内における前記転送対象データとして選定する
    　データ伝送装置。
  13. 　請求項１乃至１２のいずれか１項に記載のデータ伝送装置において、
    　前記通信部は、前記遠隔操作端末に対し、前記転送対象データを送信した後に、前記取得された前記点群データの中から前記転送対象データを除くデータの少なくとも一部を送信する
    　データ伝送装置。
  14. 　請求項１乃至１３のいずれか１項に記載のデータ伝送装置において、
    　前記取得された全ての前記点群データを利用して、前記アクチュエータを自律制御するコントローラを更に具備する
    　データ伝送装置。
  15. 　請求項１乃至１４のいずれか１項に記載のデータ伝送装置において、
    　前記通信部は、前記転送対象データとともに、計測された色情報を前記遠隔操作端末に送信する
    　データ伝送装置。
  16. 　請求項１乃至１５のいずれか１項に記載のデータ伝送装置と、
    　前記遠隔操作端末と
    　を具備し、
    　前記遠隔操作端末は、前記データ伝送装置から転送された前記転送対象データに基づいて計測対象形状の表示画像を生成する
    　データ伝送システム。
  17. 　遠隔操作端末からの制御信号に応じて動作が制御されるアクチュエータを備えるデータ伝送装置によるデータ伝送方法において、
    　３次元座標を示す点群データを取得するステップと、
    　前記点群データに基づいて転送対象データを選定するステップと、
    　前記転送対象データを前記遠隔操作端末に送信するステップと
    　を具備し、
    　前記選定するステップは、所定の３次元領域に属する前記転送対象データのデータ量が、前記データ伝送装置の演算装置によって設定される上限以下となるように、前記転送対象データを選定するステップである
    　データ伝送方法。
  18. 　請求項１７に記載のデータ伝送方法において、
    　前記選定するステップは、
    　複数のセルを有する３次元グリッドを、複数の前記点群データが分布する領域に仮想的に配置し、前記複数のセルの各セルに対して設定される上限数以下の前記点群データを、当該各セル内の前記転送対象データとして選定することを含む
    　データ伝送方法。
  19. 　請求項１８に記載のデータ伝送方法において、
    　前記選定するステップは、第１領域内の前記点群データの転送率が、前記第１領域とは異なる第２領域内の前記点群データの転送率よりも大きくなるように、前記各セル内の前記点群データの転送率を設定するステップを備え、
    　前記転送率は、前記各セル内の前記点群データのデータ量に対する、前記各セル内の前記転送対象データのデータ量の割合を前記各セルの大きさで規格化した値である
    　データ伝送方法。
  20. 　請求項１９に記載のデータ伝送方法において、
    　前記選定するステップは、前記第１領域内の各セル内の転送対象点群データの数の上限が、前記第２領域の各セル内の転送対象点群データの数の上限よりも大きくなるように、前記各セル内の転送対象点群データの数の上限を設定することを含む
    　データ伝送方法。
  21. 　請求項２０に記載のデータ伝送方法において、
    　前記第１領域内の前記各セルの大きさは、前記第２領域内の前記各セルの大きさよりも小さく、
    　前記選定するステップは、前記第１領域内の各セル内の転送対象点群データの数の上限が、前記第２領域内の各セル内の前記点群データの数の上限と等しくなるように、前記各セル内の転送対象点群データの数の上限値を設定することを含み、
    　前記選定するステップは、前記各セルについて前記上限値以下の数の点群データを転送対象データとして選定するステップを備える
    　データ伝送方法。
  22. 　請求項１９乃至２１のいずれか１項に記載のデータ伝送方法において、
    　前記第１領域は、前記アクチュエータによって駆動されるエンドエフェクタの周辺領域を含む
    　データ伝送方法。
  23. 　請求項１９乃至２２のいずれか１項に記載のデータ伝送方法において、
    　前記第１領域は、前記遠隔操作端末によって指定される
    　データ伝送方法。
  24. 　請求項１９に記載のデータ伝送方法において、
    　前記複数のセルの各々は、仮想視線の方向に平行な直線、当該仮想視線の方向に直交する方向に延びる第１直線、および、前記仮想視線の方向と前記第１直線とに直交する第２直線によって規定されるセルであって、
    　仮想視点から前記仮想視線の方向に見て視認可能な複数のセルによって規定される領域が前記第１領域として設定され、
    　前記仮想視点から前記仮想視線の方向に見て視認可能でない複数のセルによって規定される領域が第２領域として設定される
    　データ伝送方法。
  25. 　請求項２４に記載のデータ伝送方法において、
    　前記第２領域内の前記点群データの全ては前記転送対象データから除外される
    　データ伝送方法。
  26. 　請求項１７に記載のデータ伝送方法において、
    　前記選定するステップは、前記所定の３次元領域内における前記点群データに対する主成分分析の結果に基づいて得られるデータを、前記所定の３次元領域内における前記転送対象データとして選定するステップを備える
    　データ伝送方法。
  27. 　請求項２６に記載のデータ伝送方法において、
    　前記主成分分析によって得られた固有値ｄ１、ｄ２、ｄ３の値が、ｄ１＞＞ｄ２≒ｄ３≒０の場合、
    　固有値ｄ１に対応した固有ベクトルｅ１、及び固有値ｄ１が、前記所定の３次元領域内における前記転送対象データとして選定される
    　データ伝送方法。
  28. 　請求項２６に記載のデータ伝送方法において、
    　前記主成分分析によって得られた固有値ｄ１、ｄ２、ｄ３の値が、ｄ１≒ｄ２＞＞ｄ３≒０の場合、
    　固有値ｄ１に対応した固有ベクトルｅ１、固有値ｄ１、固有値ｄ２に対応した固有ベクトルｅ２、及び固有値ｄ２が、前記所定の３次元領域内における前記転送対象データとして選定される
    　データ伝送方法。
  29. 　請求項２６に記載のデータ伝送方法において、
    　前記主成分分析によって得られた固有値ｄ１、ｄ２、ｄ３の値が、ｄ１≒ｄ２≒ｄ３＞＞０の場合、
    　前記所定の３次元領域内における前記点群データが前記転送対象データとして選定される
    　データ伝送方法。
  30. 　請求項１７乃至２９のいずれか１項に記載のデータ伝送方法において、
    　前記送信するステップは、前記遠隔操作端末に対し、前記転送対象データを送信するステップと、前記転送対象データの送信後に、前記取得された点群データの中から前記転送対象データを除くデータの少なくとも一部を送信するステップを備える
    　データ伝送方法。
  31. 　請求項１７乃至３０のいずれか１項に記載のデータ伝送方法において、
    　前記送信するステップは、前記転送対象データとともに、計測された色情報を前記遠隔操作端末に送信するステップを備える
    　データ伝送方法。
  32. 　請求項１７乃至３１のいずれか１項に記載のデータ伝送方法をコンピュータに実行させるデータ伝送プログラム。
PCT/JP2015/055945 2014-03-31 2015-02-27 データ伝送システム、データ伝送装置、及びデータ伝送方法 WO2015151685A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/123,477 US20170075330A1 (en) 2014-03-31 2015-02-27 Data transmission system, data transmission apparatus and data transmission method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-074378 2014-03-31
JP2014074378A JP2015197329A (ja) 2014-03-31 2014-03-31 データ伝送システム、データ伝送装置、データ伝送方法、及びデータ伝送プログラム

Publications (1)

Publication Number Publication Date
WO2015151685A1 true WO2015151685A1 (ja) 2015-10-08

Family

ID=54240018

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/055945 WO2015151685A1 (ja) 2014-03-31 2015-02-27 データ伝送システム、データ伝送装置、及びデータ伝送方法

Country Status (3)

Country Link
US (1) US20170075330A1 (ja)
JP (1) JP2015197329A (ja)
WO (1) WO2015151685A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105291114A (zh) * 2015-12-04 2016-02-03 北京建筑大学 基于移动互联网的家居服务型机器人系统
JP2020136882A (ja) * 2019-02-19 2020-08-31 株式会社メディア工房 点群データ通信システム、点群データ送信装置および点群データ送信方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6637855B2 (ja) * 2016-08-22 2020-01-29 株式会社ソニー・インタラクティブエンタテインメント データ処理装置、データ処理方法およびコンピュータプログラム
JP6893607B2 (ja) * 2017-04-21 2021-06-23 達闥机器人有限公司 ロボット制御方法、ロボット装置及びロボット機器
EP3671279B1 (en) * 2017-08-18 2024-08-14 Koito Manufacturing Co., Ltd. Recognition sensor, control method therefor, automobile, vehicle light fixture, object identification system, and object identification method
JP2021043475A (ja) * 2017-12-25 2021-03-18 住友電気工業株式会社 送信装置、点群データ収集システムおよびコンピュータプログラム
JP2019113553A (ja) * 2017-12-25 2019-07-11 シナノケンシ株式会社 三次元レーザー光走査装置
US11604284B2 (en) 2019-05-06 2023-03-14 Waymo Llc Methods and systems to determine a strategy for a drop process associated with a light detection and ranging (LIDAR) device
JPWO2023032085A1 (ja) * 2021-09-01 2023-03-09

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002040941A1 (fr) * 2000-11-15 2002-05-23 National Institute Of Advanced Industrial Science And Technology Système de distribution d'informations d'empreintes de pied
JP2011167815A (ja) * 2010-02-19 2011-09-01 Ihi Corp 物体認識ロボットシステム
JP2012146262A (ja) * 2011-01-14 2012-08-02 Toshiba Corp 構造物計測システム
US20130028482A1 (en) * 2011-07-29 2013-01-31 Raytheon Company Method and System for Thinning a Point Cloud

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002048966A1 (en) * 2000-12-14 2002-06-20 Rtimage Inc. Three-dimensional image streaming system and method for medical images
US8192501B2 (en) * 2008-09-29 2012-06-05 Shriners Hospital For Children Prosthetic knee with gravity-activated lock
US20110310088A1 (en) * 2010-06-17 2011-12-22 Microsoft Corporation Personalized navigation through virtual 3d environments
US9463574B2 (en) * 2012-03-01 2016-10-11 Irobot Corporation Mobile inspection robot

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002040941A1 (fr) * 2000-11-15 2002-05-23 National Institute Of Advanced Industrial Science And Technology Système de distribution d'informations d'empreintes de pied
JP2011167815A (ja) * 2010-02-19 2011-09-01 Ihi Corp 物体認識ロボットシステム
JP2012146262A (ja) * 2011-01-14 2012-08-02 Toshiba Corp 構造物計測システム
US20130028482A1 (en) * 2011-07-29 2013-01-31 Raytheon Company Method and System for Thinning a Point Cloud

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105291114A (zh) * 2015-12-04 2016-02-03 北京建筑大学 基于移动互联网的家居服务型机器人系统
JP2020136882A (ja) * 2019-02-19 2020-08-31 株式会社メディア工房 点群データ通信システム、点群データ送信装置および点群データ送信方法
US11146773B2 (en) 2019-02-19 2021-10-12 Media Kobo, Inc. Point cloud data communication system, point cloud data transmitting apparatus, and point cloud data transmission method

Also Published As

Publication number Publication date
US20170075330A1 (en) 2017-03-16
JP2015197329A (ja) 2015-11-09

Similar Documents

Publication Publication Date Title
WO2015151685A1 (ja) データ伝送システム、データ伝送装置、及びデータ伝送方法
CN108283021B (zh) 机器人和用于机器人定位的方法
CN105981074B (zh) 用于标定成像装置的系统、方法和装置
KR100703692B1 (ko) 공간상에 존재하는 오브젝트들을 구별하기 위한 시스템,장치 및 방법
JP5548482B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、プログラム及び記憶媒体
US20210303005A1 (en) Methods and associated systems for communicating with/controlling moveable devices by gestures
US9317735B2 (en) Information processing apparatus, information processing method, and program to calculate position and posture of an object having a three-dimensional shape
JP5736622B1 (ja) 検出装置およびこの装置を具えたマニプレータの動作制御
CN106104198A (zh) 信息处理设备、信息处理方法和程序
JP6054831B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2014013146A5 (ja)
JP2012247364A (ja) ステレオカメラ装置、ステレオカメラシステム、プログラム
US11729367B2 (en) Wide viewing angle stereo camera apparatus and depth image processing method using the same
KR101565900B1 (ko) 카메라 및 레이저 센서의 캘리브레이션 장치 및 캘리브레이션 방법
JP2015043488A (ja) 遠隔操作装置及びそれを用いた遠隔施工方法
KR102432370B1 (ko) 피킹 로봇을 위한 비젼 분석 장치
Liu et al. Navigation on point-cloud—A Riemannian metric approach
JP4849178B2 (ja) 移動型ロボット
KR20130078913A (ko) 물체 인식 방법과, 물체 인식을 위한 기술자 생성 방법, 물체 인식을 위한 기술자
JP5198078B2 (ja) 計測装置および計測方法
JP6188345B2 (ja) 情報処理装置、情報処理方法
US20210012529A1 (en) Information processing apparatus
CN110603503A (zh) 移动设备的控制方法、设备和存储装置
KR101391554B1 (ko) 평면 추출 방법 및 이를 구비하는 이동 로봇의 지도 형성 방법 및 위치 인식 방법
JP6368503B2 (ja) 障害物監視システム及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15773205

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15123477

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15773205

Country of ref document: EP

Kind code of ref document: A1