WO2022030047A1 - 遠隔操作装置 - Google Patents

遠隔操作装置 Download PDF

Info

Publication number
WO2022030047A1
WO2022030047A1 PCT/JP2021/015911 JP2021015911W WO2022030047A1 WO 2022030047 A1 WO2022030047 A1 WO 2022030047A1 JP 2021015911 W JP2021015911 W JP 2021015911W WO 2022030047 A1 WO2022030047 A1 WO 2022030047A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
actual machine
information
movable range
unit
Prior art date
Application number
PCT/JP2021/015911
Other languages
English (en)
French (fr)
Inventor
正樹 春名
貴景 森本
亜紀 嶺岸
朋希 延命
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US18/019,101 priority Critical patent/US20230292000A1/en
Priority to CN202180058187.9A priority patent/CN116056843A/zh
Priority to JP2021559199A priority patent/JP7397879B2/ja
Priority to EP21853723.1A priority patent/EP4190513A4/en
Publication of WO2022030047A1 publication Critical patent/WO2022030047A1/ja
Priority to JP2022126408A priority patent/JP2022172112A/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details, by setting parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35438—Joystick
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35506—Camera images overlayed with graphics, model
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36447—Project light on path to be followed, keep also distance constant
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37571—Camera detecting reflected light from laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39014—Match virtual world with real world
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39451—Augmented reality for robot programming
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40131—Virtual reality control, programming of manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40168—Simulated display of remote site, driven by operator interaction
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40382—Limit allowable area where robot can be teached
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40478—Graphic display of work area of robot, forbidden, permitted zone
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40617—Agile eye, control position of camera, active vision, pan-tilt camera, follow object

Definitions

  • This disclosure relates to a remote control device in which an operator remotely controls an actual machine.
  • the behavior of the actual machine predicted by the operator differs from the behavior of the actual actual machine, so that it becomes difficult to predict the motion of the actual machine and the work efficiency deteriorates.
  • Patent Document 1 discloses a user interface of a very dexterous system.
  • the system sets the range of motion of the actual machine in order to facilitate the prediction of the motion of the actual machine.
  • An object of the present disclosure is to provide a remote control device that improves work efficiency by setting a movable range of an actual machine and presenting the set movable range to an operator.
  • the remote control device is a remote control device in which an operator remotely operates an actual machine, and is a limiting unit that sets a movable range of the actual machine based on the restriction information from the operator.
  • An operation unit that generates first command information, which is input information for operating the actual machine, based on the operation information from the operator and the movable range, and the actual machine that is visualized. It is provided with an image display unit that displays a machine image and a movable information image in which the movable range corresponding to the actual machine is visualized.
  • the remote control device can improve the work efficiency as compared with the conventional case by setting the movable range of the actual machine and presenting the set movable range to the operator.
  • FIG. It is a block diagram which shows an example of the structure of the remote control device in Embodiment 1.
  • FIG. It is a schematic diagram which shows an example of the structure including the operation part in Embodiment 1.
  • FIG. It is a schematic diagram which shows an example of the operation part in Embodiment 1.
  • FIG. It is a schematic diagram which shows an example of the structure including the actual machine in Embodiment 1.
  • FIG. It is a schematic diagram which shows an example of the limitation part at the time of setting the movable range in the 1st mode in Embodiment 1.
  • FIG. It is a schematic diagram which shows an example of the image in the image display part when the movable range is set in the 1st mode in Embodiment 1.
  • FIG. 1 It is a schematic diagram which shows an example of the limitation part at the time of setting the movable range in the 2nd mode in Embodiment 1.
  • FIG. 2nd mode it is a schematic diagram which shows an example of the image in the image display part when the movable range is set in the 2nd mode in Embodiment 1.
  • FIG. 2nd mode it is a schematic diagram which shows an example of the limitation part at the time of setting the movable range in the 3rd mode in Embodiment 1.
  • FIG. It is a schematic diagram which shows an example of the image in the image display part when the movable range is set in the 3rd mode in Embodiment 1.
  • FIG. 1 It is a schematic diagram which shows an example of the image in the image display part when the movable range is set in the 4th mode in Embodiment 1.
  • FIG. It is a schematic diagram which shows an example of the structure of the model generation part in the case of setting the movable range in the 5th mode in Embodiment 1.
  • FIG. It is a schematic diagram which shows an example of the operation part in the case of setting the movable range in the 5th mode in Embodiment 1.
  • FIG. It is a schematic diagram which shows an example of the image in the image display part when the movable range is set in the 5th mode in Embodiment 1.
  • FIG. It is a schematic diagram which shows an example of another image in the image display part when the movable range is set in the 5th mode in Embodiment 1.
  • FIG. It is a block diagram which shows an example of the structure of the remote control device in Embodiment 2. It is a schematic diagram which shows an example of the structure including the actual machine in Embodiment 2. It is a schematic diagram which shows an example of another configuration including the actual machine in Embodiment 2. It is a schematic diagram which shows an example of the image in the image display part in Embodiment 2. It is a schematic diagram which shows an example of another image in the image display part in Embodiment 2.
  • FIG. It is a block diagram which shows an example of the structure of the remote control device in Embodiment 3.
  • Embodiment 7 It is a schematic diagram which shows an example of the structure including the actual machine in Embodiment 7. It is a schematic diagram which shows an example of the image in the image display part in Embodiment 7. It is a schematic diagram which shows the relationship between the movable range and the motion locus of an end effector in Embodiment 7. It is a flowchart which shows an example of the operation of the remote control device in Embodiment 7.
  • the xyz orthogonal coordinate system is defined in the direction in which the x-axis translation mechanism 31, the y-axis translation mechanism 32, and the z-axis translation mechanism 33, which will be described later, are arranged.
  • the same direction as the direction in which the x-axis translation mechanism 31 is arranged is defined as the x-axis direction.
  • the back side is in the + x direction, and the front side is in the ⁇ x direction.
  • the same direction as the direction in which the y-axis translation mechanism 32 is arranged is defined as the y-axis direction.
  • the left side is in the + y direction, and the right side is in the ⁇ y direction.
  • the same direction as the direction in which the z-axis translation mechanism 33 is arranged is defined as the z-axis direction.
  • the upper side is in the + z direction, and the lower side is in the ⁇ z direction.
  • the depth direction is set to the x-axis direction for the operation unit 12 and the operator.
  • the back side is in the + x direction, and the front side is in the ⁇ x direction.
  • the left-right direction is the y-axis direction for the operation unit 12 and the operator.
  • the left side is in the + y direction, and the right side is in the ⁇ y direction.
  • the vertical direction is the z-axis direction for the operation unit 12 and the operator.
  • the upper side is in the + z direction, and the lower side is in the ⁇ z direction.
  • FIG. 1 is a block diagram showing an example of the configuration of the remote control device 1 according to the first embodiment.
  • the remote control device 1 is for the operator to remotely control the actual machine 3 imaged by the image pickup means 4.
  • the remote control device 1 includes a restriction unit 11, an operation unit 12, a model generation unit 13, a video model generation unit 14, and a video display unit 15.
  • the restriction unit 11 receives restriction information S1 from an operator (not shown).
  • the limiting unit 11 generates a movable range S3 based on the limiting information S1 and gives it to the operating unit 12 and the video model generation unit 14.
  • the restriction information S1 is information in which the operator sets the movable range of the actual machine 3.
  • the movable range S3 is the movable range of the actual machine 3 set by the operator. That is, the limiting unit 11 sets the movable range S3 of the actual machine 3 based on the limiting information S1 from the operator.
  • the operation unit 12 receives the operation information S2 from the operator and the movable range S3 from the restriction unit 11.
  • the operation unit 12 generates the first command information S4 and the second command information S5 based on the operation information S2 and the movable range S3, and sends the first command information S4 to the actual machine 3 and the actual machine model generation unit 131.
  • the second command information S5 is given to the image pickup means 4 and the image pickup model generation unit 132.
  • the operation information S2 is an exercise command for remotely controlling the actual machine 3. This movement command is the operation itself of the control stick 121 and the button 122 in the operation unit 12, which will be described later.
  • the first command information S4 is input information for operating the actual machine 3.
  • the first command information S4 is input information to a driver IC, a microcomputer, or the like that operates the actual machine 3.
  • the second command information S5 is input information for operating the image pickup means 4.
  • the second command information S5 is a shooting ON / OFF switching command, a magnification adjustment command, and the like to the image pickup means 4.
  • the model generation unit 13 receives the first command information S4 and the second command information S5 from the operation unit 12.
  • the model generation unit 13 generates model information S6 based on these information and gives it to the video model generation unit 14.
  • the model generation unit 13 is an actual machine model generation unit 131 that generates a model of the actual machine 3 using the first command information S4, and an image pickup model generation unit 13 that generates a model of the image pickup means 4 using the second command information S5. It has 132 and.
  • the model information S6 is a combination of the model of the actual machine 3 and the model of the image pickup means 4, and is, for example, a three-dimensional model in which the actual machine 3 is virtually projected so as to be seen from a predetermined direction.
  • the predetermined direction is the same as the direction in which the image pickup means 4 takes an image of the actual machine 3. That is, the model generation unit 13 outputs model information S6 in which the model of the actual machine 3 and the model of the image pickup means 4 are combined.
  • the video model generation unit 14 receives the movable range S3 from the restriction unit 11 and the model information S6 from the model generation unit 13. Based on this information, the video model generation unit 14 generates a movable information video S7 in which the movable range S3 is visualized, and gives it to the video display unit 15.
  • the movable information image S7 is an image of the movable range S3 corresponding to the actual machine 3. It was
  • the video display unit 15 receives the movable information video S7 from the video model generation unit 14 and the actual machine video S8 from the image pickup means 4.
  • the video display unit 15 generates a video S9 based on the movable information video S7 and the actual machine video S8, and presents the video S9 to the operator.
  • the image display unit 15 displays the actual machine image S8 and the movable information image S7.
  • the actual machine image S8 is an image obtained by photographing the actual machine 3.
  • the image display unit 15 adjusts the position of the movable information image S7 so that the position of the three-dimensional model in the movable information image S7 and the position of the actual machine in the actual machine image S8 match.
  • the movable information image S7 is superimposed on the actual machine image S8 at an accurate position.
  • the position adjustment of the movable information image S7 may be performed by image processing using an image feature point or a marker between the movable information image S7 and the actual machine image S8. Alternatively, it may be performed by correcting the initial positions of the movable information image S7 and the actual machine image S8.
  • the method of adjusting the position of the movable information image S7 is not limited to these.
  • the video display unit 15 does not need to superimpose and display the actual machine video S8 and the movable information video S7, and for example, each video may be displayed on a separate screen. However, in the following, it will be described as being superimposed and displayed.
  • the actual machine 3 receives the first command information S4 from the operation unit 12, the reaction force S11 from the target 5, and the reaction force S12 from the non-target 6.
  • the actual machine 3 generates an acting force S10 based on the first command information S4 and gives it to the target 5.
  • the target 5 is an object that the actual machine 3 applies an acting force S10 to move.
  • the reaction force S11 from the target 5 is generated when the actual machine 3 moves the target 5.
  • the reaction force S12 from the non-target 6 is generated when the actual machine 3 moves the target 5 and comes into contact with the non-target 6.
  • the image pickup means 4 receives the second command information S5 from the operation unit 12.
  • the image pickup means 4 photographs the actual machine 3 based on the second command information S5 to generate the actual machine image S8, and gives it to the image display unit 15.
  • Target 5 receives the acting force S10 from the actual machine 3.
  • the target 5 applies a reaction force S11 to the actual machine 3 based on the acting force S10.
  • the non-target 6 gives a reaction force S12 to the actual machine 3 when the target 5 comes into contact with the non-target 6.
  • the reaction force S12 also includes a force from the non-target 6 via the target 5.
  • the non-target 6 is an object to which the actual machine 3 intentionally does not apply the acting force S10.
  • the image pickup means 4 is always fixed at the same position and the shooting is always ON, the actual machine image S8 can be obtained even if the second command information S5 is not input to the image pickup means 4.
  • the second command information S5 does not need to be input to the image pickup means 4, but is input only to the image pickup model generation unit 132. This also applies to the subsequent embodiments.
  • FIG. 2 (a) and 2 (b) are schematic views showing an example of the configuration including the operation unit 12 in the first embodiment.
  • FIG. 2A is a view of the operator from the back
  • FIG. 2B is a view of the operator from the top.
  • the operator remotely controls the actual machine 3 by using the operation unit 12 while watching the image S9 of the image display unit 15. Since the operation unit 12, the image display unit 15, and the image S9 shown in FIG. 2 are the same as the operation unit 12, the image display unit 15, and the image S9 shown in FIG. 1, the description thereof will be omitted.
  • FIG. 3 is a schematic diagram showing an example of the operation unit 12 in the first embodiment. As shown in FIG. 3, the operation unit 12 has a control stick 121 and a button 122.
  • the control stick 121 is a controller that can operate in the x-axis direction, the y-axis direction, and in the xy plane.
  • the control stick 121 is used to remotely control the actual machine 3. That is, the actual machine 3 moves according to the operation direction of the control stick 121. For example, when the operator operates the control stick 121 in the + x direction, the actual machine moves in the + x direction.
  • the button 122 is a button for moving the actual machine 3 in the z-axis direction. For example, when the operator keeps pressing the button 122, the actual machine 3 moves in the + z direction, and when the button 122 is released, the actual machine 3 moves in the ⁇ z direction. If the button 122 is pressed in this state, the actual machine 3 is stopped.
  • the operation unit 12 is not limited to the one having the control stick 121 and the button 122 as shown in FIG.
  • the operator may operate with gestures, or the operator may wear and operate an auxiliary device (not shown) simulating the actual machine 3.
  • the gesture is an action such as waving a hand toward a camera (not shown) arranged near the operator.
  • the actual machine 3 moves according to the gesture or the operation direction of the auxiliary device. For example, when the operator operates in the + x direction using a gesture or an auxiliary device, the actual machine moves in the + x direction.
  • FIG. 4 is a schematic diagram showing an example of the configuration including the actual machine 3 in the first embodiment. Since the image pickup means 4, the target 5, and the non-target 6 shown in FIG. 4 are the same as the image pickup means 4, the target 5, and the non-target 6 shown in FIG. 1, the description thereof will be omitted.
  • the actual machine 3 has an x-axis translation mechanism 31, a y-axis translation mechanism 32, a z-axis translation mechanism 33, and an actual machine end 34.
  • the x-axis translation mechanism 31 moves the actual machine end 34 in the x-axis direction. That is, when the operator operates the control stick 121 of the operation unit 12 in the x-axis direction, the x-axis translation mechanism 31 moves the actual machine end 34 in the x-axis direction.
  • the y-axis translation mechanism 32 moves the actual machine end 34 in the y-axis direction. That is, when the operator operates the control stick 121 of the operation unit 12 in the y-axis direction, the y-axis translation mechanism 32 moves the actual machine end 34 in the y-axis direction.
  • the z-axis translation mechanism 33 moves the actual machine end 34 in the z-axis direction. That is, when the operator presses the button 122 of the operation unit 12, the z-axis translation mechanism 33 moves the actual machine end 34 in the z-axis direction.
  • the actual machine end 34 moves based on the operation information S2 from the operator.
  • the image pickup means 4 is arranged at a position where the actual machine 3 can be seen in the field of view.
  • the image pickup means 4 photographs the actual machine 3 to generate the actual machine image S8.
  • the image display unit 15 displays the actual machine image S8. This is similar to a conventional remote control device.
  • the image display unit 15 in the first embodiment displays an image S9 in which the actual machine image S8 and the movable information image S7, which is the image of the movable range S3 of the actual machine 3, are superimposed.
  • a method of setting the movable range S3 in the limiting unit 11 will be described.
  • the limiting unit 11 has five modes (hereinafter referred to as "first mode”, “second mode”, “third mode”, “fourth mode”, and “fifth mode”).
  • the movable range S3 of the actual machine 3 is set by any one of the modes.
  • the first mode is a mode in which the movable range S3 is set by means for forcibly limiting the operation of the operation unit 12.
  • the second mode is a mode in which the movable range S3 is set by pressing the button corresponding to the direction in which the movement is possible.
  • the third mode is a mode in which the movable range S3 is set by the movable pattern prepared in advance.
  • the fourth mode is a mode in which the movable range S3 is set by a straight line or a curve connecting a plurality of restraint points.
  • the fifth mode is a mode in which the movable range S3 is set by the light source model generation unit 133 that generates a model of the light source that emits light.
  • the operation unit 12 has means for forcibly limiting the operation from the operator.
  • the limiting unit 11 sets the movable range S3 by this means.
  • the means for forcibly limiting is to physically limit the operable range of the operation unit 12.
  • the x-axis translation plate 11a and the y-axis translation plate 11b which will be described later.
  • 5 (a) and 5 (b) are schematic views showing an example of the limiting unit 11 when the movable range S3 is set in the first mode in the first embodiment.
  • FIG. 5A is a schematic diagram when the limiting portion 11 is the x-axis translation plate 11a.
  • FIG. 5B is a schematic diagram when the limiting portion 11 is a y-axis translation plate 11b.
  • the x-axis translation plate 11a shown in FIG. 5A is attached to the operation unit 12. Thereby, the operation of the control stick 121 can be restricted in the x-axis direction.
  • the y-axis translation plate 11b shown in FIG. 5B is attached to the operation unit 12. As a result, the operation of the control stick 121 can be restricted in the y-axis direction.
  • FIG. 6A and 6 (b) are schematic views showing an example of the image S9 on the image display unit 15 when the movable range S3 is set in the first mode in the first embodiment.
  • FIG. 6A is a schematic view of the image S9a when the x-axis translation plate 11a is attached to the operation unit 12.
  • FIG. 6B is a schematic view of the image S9b when the y-axis translation plate 11b is attached to the operation unit 12.
  • the image S9a is an image in which the actual machine image S8a and the movable information image S7a are superimposed.
  • the actual machine image S8a is an image of the actual machine 3 taken by the image pickup means 4.
  • the movable information video S7a is a video of the movable range S3 generated by the video model generation unit 14.
  • the movable information image S7a is an image of the movable range S3 in the same direction as the x-axis direction, and is displayed on the upper side and the lower side of the actual machine image S8a.
  • the image S9b is an image in which the actual machine image S8a and the movable information image S7b are superimposed.
  • the movable information video S7b is a video of the movable range S3 generated by the video model generation unit 14.
  • the movable information image S7b is an image of the movable range S3 in the same direction as the y-axis direction, and is displayed on the upper side and the lower side of the actual machine image S8a.
  • the video model generation unit 14 identifies that the movable range S3 is in the x-axis direction. Similarly, when the y-axis translation plate 11b is attached to the operation unit 12, the video model generation unit 14 identifies that the movable range S3 is in the y-axis direction. Further, the video model generation unit 14 matches the identified information with the model information S6 from the model generation unit 13 to generate the movable information video S7a. Instead of the model information S6, it may be spatial information acquired by image processing the actual machine image S8a, that is, vector information corresponding to the x-axis direction in the actual machine image S8a. In this case, the video model generation unit 14 matches the identified information with the spatial information to generate the movable information video S7a. This is the same even when the y-axis translation plate 11b is attached to the operation unit 12.
  • the movable information images S7a and S7b are displayed on the upper side and the lower side in the actual machine image S8a, respectively, but they are in the same direction as the movable range S3.
  • the place where it is displayed is not limited. For example, it may be in the center of the actual machine image S8a. This also applies to the subsequent embodiments.
  • the image display unit 15 may superimpose the image of the position of the actual machine end 34 on the xy plane on the images S9a and S9b.
  • a projection point (not shown) of the end 34 of the actual machine on the xy plane is superimposed on the movable information images S7a and S7b.
  • the x-coordinate and y-coordinate of this projection point are the x-coordinate and y-coordinate of the actual machine end 34, and correspond to the operation amount in the x-axis direction and the operation amount in the y-axis direction of the control stick 121, respectively.
  • the information regarding the manipulated variable is included in the model information S6.
  • the video model generation unit 14 generates an image of the projection point based on the model information S6, and the image display unit 15 superimposes the image of the projection point on the images S9a and S9b. This also applies to the subsequent embodiments. By superimposing the projection points on the images S9a and S9b, the operability of the actual machine 3 is improved.
  • the limiting portion 11 in the first mode is not limited to the x-axis translation plate 11a and the y-axis translation plate 11b, and may be, for example, an oblique translation plate (not shown), or the x-axis direction and y (not shown). It may be a translation plate that can move in both axial directions.
  • the gesture may be a gesture of the operator waving his hand, or the operator may wear an auxiliary device (not shown) simulating an actual machine. In the case of a gesture, after setting the movable range S3 of the actual machine 3 by the gesture, the actual machine 3 is remotely controlled by the same gesture.
  • the auxiliary device itself has a structure in which the movable range S3 is limited. That is, when the operator wears the auxiliary device, the actual machine 3 is remotely controlled while the movable range S3 is limited.
  • One example is a mobile suit.
  • the operator When the movable range S3 is set in the first mode, the operator operates the operation unit 12 while checking the movable information video S7a or S7b in a state where the movable range S3 is limited. This makes it possible to improve work efficiency in remotely controlling the actual machine 3.
  • the operation unit 12 has a button corresponding to the direction in which the movement is possible.
  • the limiting unit 11 sets the movable range S3 by pressing this button.
  • FIG. 7 is a schematic diagram showing an example of the limiting unit 11 when the movable range S3 is set in the second mode in the first embodiment.
  • FIG. 7 is a schematic diagram when the limiting unit 11 is the x-axis limiting button 11c and the y-axis limiting button 11d.
  • the x-axis limit button 11c and the y-axis limit button 11d shown in FIG. 7 are provided on the operation unit 12.
  • the operation of the control stick 121 can be restricted in the x-axis direction.
  • the operation of the control stick 121 can be restricted in the y-axis direction.
  • the x-axis restriction button 11c and the y-axis restriction button 11d do not necessarily have to be provided in the operation unit 12, and may be provided anywhere near the operator.
  • FIG. 8A and 8 (b) are schematic views showing an example of the image S9 on the image display unit 15 when the movable range S3 is set in the second mode in the first embodiment.
  • FIG. 8A is a schematic diagram of the image S9a when the x-axis restriction button 11c is pressed.
  • FIG. 8B is a schematic diagram of the image S9b when the y-axis restriction button 11d is pressed. Since the video S9a of FIG. 8A is the same as the video S9a of FIG. 6A and the video S9b of FIG. 8B is the same as the video S9b of FIG. 6B, the description thereof is omitted. do.
  • the video model generation unit 14 identifies that the movable range S3 is in the x-axis direction. As a result, the movable information video S7a is generated. Similarly, when the y-axis restriction button 11d is pressed, the video model generation unit 14 identifies that the movable range S3 is in the y-axis direction. As a result, the movable information video S7b is generated.
  • the movable range S3 becomes both the x-axis direction and the y-axis direction.
  • the structure may be such that when the x-axis restriction button 11c is pressed, the x-axis direction is constrained, and when the y-axis restriction button 11d is pressed, the y-axis direction is constrained.
  • FIG. 9 is a schematic diagram showing an example of the limiting unit 11 when the movable range S3 is set in the third mode in the first embodiment.
  • the restriction patterns 11e to 11j are displayed on the video S9c from the video display unit 15.
  • the restriction patterns 11e to 11j are exercise patterns prepared in advance. The operator selects any one of the restriction patterns 11e to 11j by using the operation unit 12 before remotely controlling the actual machine 3. For example, when the operator selects the restriction pattern 11e, the control stick 121 is used to move the cursor 11k to the restriction pattern 11e, and the button 122 is pressed. As a result, the limiting unit 11 sets the movable range S3 in the x-axis direction.
  • the exerciseable pattern is not limited to the restriction patterns 11e to 11j.
  • the image display unit 15 has a touch display function, and the operator may manually operate the screen to select from the restriction patterns 11e to 11j. This eliminates the need for the cursor 11k and enables simple operation.
  • FIG. 10A to 10 (f) are schematic views showing an example of the image S9 on the image display unit 15 when the movable range S3 is set in the third mode in the first embodiment.
  • FIG. 10A is a schematic diagram of the image S9a when the restriction pattern 11e is selected.
  • FIG. 10B is a schematic diagram of the image S9b when the restriction pattern 11f is selected.
  • FIG. 10C is a schematic diagram of the image S9d when the restriction pattern 11g is selected.
  • FIG. 10D is a schematic diagram of the image S9e when the restriction pattern 11h is selected.
  • FIG. 10E is a schematic diagram of the image S9f when the restriction pattern 11i is selected.
  • FIG. 10 (f) is a schematic diagram of the image S9g when the restriction pattern 11j is selected.
  • the image S9d is an image in which the actual machine image S8a and the movable information image S7c are superimposed.
  • the actual machine image S8a is an image of the actual machine 3 taken by the image pickup means 4.
  • the movable information video S7c is a video of the movable range S3 generated by the video model generation unit 14.
  • the movable information image S7c is an image of the movable range S3 in the diagonal direction.
  • the image S9e is an image in which the actual machine image S8a and the movable information image S7d are superimposed.
  • the actual machine image S8a is an image of the actual machine 3 taken by the image pickup means 4.
  • the movable information video S7d is a video of the movable range S3 generated by the video model generation unit 14.
  • the movable information image S7d is an image of the movable range S3 in the diagonal direction.
  • the image S9f is an image in which the actual machine image S8a and the movable information image S7e are superimposed.
  • the actual machine image S8a is an image of the actual machine 3 taken by the image pickup means 4.
  • the movable information video S7e is a video of the movable range S3 generated by the video model generation unit 14.
  • the movable information image S7e is an image of the movable range S3 in the same direction as the x-axis direction and the same direction as the y-axis direction.
  • the image S9g is an image in which the actual machine image S8a and the movable information image S7f are superimposed.
  • the actual machine image S8a is an image of the actual machine 3 taken by the image pickup means 4.
  • the movable information video S7f is a video of the movable range S3 generated by the video model generation unit 14.
  • the movable information image S7f is an image of two diagonally movable ranges S3.
  • the video model generation unit 14 identifies that the movable range S3 is in the x-axis direction. As a result, the movable information video S7a is generated. The same applies even when the limiting portions 11f to 11j are selected.
  • the limiting unit 11 sets the movable range S3 by a straight line or a curve connecting a plurality of restraint points.
  • 11 (a) to 11 (d) are schematic views showing an example of the limiting unit 11 when the movable range S3 is set in the fourth mode in the first embodiment.
  • the operator sets the movable range S3 using the operation unit 12 while watching the video S9h.
  • the control stick 121 is used to move the cursor 11ma to an arbitrary position in the limiting portion 11m, and the button 122 is pressed to set a plurality of restraint points.
  • four restraint points 11md, 11me, 11mf, and 11mg are set in order.
  • press the OK button 11mb to complete the setting of the movable range S3. If the CANCEL button 11mc is pressed during the setting, the setting returns to the previous constraint point setting.
  • the state returns to the state in which the constraint point 11me is set. This makes it possible to reset the constraint point.
  • the straight line connecting the four restraint points 11md, 11me, 11mf, and 11mg is the movable range S3.
  • the operator sets the movable range S3 using the operation unit 12 while watching the video S9i.
  • the control stick 121 is used to move the cursor 11na to an arbitrary position in the limiting portion 11n, and the button 122 is pressed to set a plurality of restraint points.
  • four constraint points 11nd, 11ne, 11nf, and 11ng are set in order.
  • press the OK button 11nb to complete the setting of the movable range S3.
  • the cursor 11na is moved while pressing the button 122.
  • the movable range S3 according to the movement path is set, and it can be a straight line or an arbitrary curve.
  • the operation unit 12 has a function of automatically correcting this, and the distortion can be eliminated by the correction.
  • the CANCEL button 11nc is pressed during the setting, the setting returns to the previous constraint point setting. For example, if the CANCEL button 11nc is pressed after setting the constraint point 11nf, the state where the constraint point 11ne is set returns to the set state. This makes it possible to reset the constraint point.
  • the curve connecting the four restraint points 11nd, 11ne, 11nf, and 11ng is the movable range S3.
  • the operator sets the movable range S3 using the operation unit 12 while watching the video S9j.
  • the control stick 121 is used to move the cursor 11 Wheela to an arbitrary position in the restriction portion 11 Europe, and the button 122 is pressed to set a plurality of restraint points.
  • the four constraint points 11 Mrd, 11 Righte, 11 Rightf, and 11 Rightg are set in order, and the constraint points 11 Mrd are set again.
  • press the OK button 11 Mrb to complete the setting of the movable range S3. If the CANCEL button 11 Cosmeticc is pressed during the setting, the setting returns to the previous constraint point setting.
  • the operator sets the movable range S3 using the operation unit 12 while watching the video S9k.
  • the control stick 121 is used to move the cursor 11pa to an arbitrary position in the limiting portion 11p, and the button 122 is pressed to set a plurality of restraint points.
  • the four constraint points 11pd, 11pe, 11 pf, and 11 pg are set in order, and the constraint points 11 pd are set again.
  • press the OK button 11pb After setting, press the OK button 11pb to complete the setting of the movable range S3.
  • the cursor is moved while pressing the button 122.
  • the movable range S3 according to the movement path is set, and it can be a straight line or an arbitrary curve.
  • the operation unit 12 has a function of automatically correcting this, and the distortion can be eliminated by the correction.
  • the CANCEL button 11pc is pressed during the setting, the setting returns to the previous constraint point setting. For example, if the CANCEL button 11pc is pressed after setting the constraint point 11 pf, the state returns to the state in which the constraint point 11 pe is set. This makes it possible to reset the constraint point.
  • the curve connecting the four restraint points 11pd, 11pe, 11pf, and 11pg, or the region surrounded by the curve is the movable range S3. Whether it is a straight line or an area can be selected in advance.
  • the image display unit 15 has a touch display function, and the operator may manually operate the screen to set the movable range S3. This eliminates the need for cursors 11ma, 11na, 11 Cincinnatia, and 11pa, and enables simple operation.
  • FIG. 12A is a schematic diagram of an image S9m in which the movable range S3 is set by the limiting unit 11m and the movable information image S7g generated by the image model generation unit 14 is superimposed on the actual machine image S8a.
  • FIG. 12B is a schematic diagram of an image S9n in which the movable range S3 is set by the limiting unit 11n and the movable information image S7h generated by the image model generation unit 14 is superimposed on the actual machine image S8a.
  • FIG. 12A is a schematic diagram of an image S9m in which the movable range S3 is set by the limiting unit 11m and the movable information image S7g generated by the image model generation unit 14 is superimposed on the actual machine image S8a.
  • FIG. 12B is a schematic diagram of an image S9n in which the movable range S3 is set by the limiting unit 11n and the movable information image S7h generated by the image model generation unit 14 is superimposed on the actual machine image
  • FIG. 12C is a schematic diagram of an image S9 Economics in which the movable range S3 is set by the limiting unit 11 1958 and the movable information image S7i generated by the image model generation unit 14 is superimposed on the actual machine image S8a.
  • FIG. 12D is a schematic diagram of an image S9p in which the movable range S3 is set by the limiting unit 11p and the movable information image S7j generated by the image model generation unit 14 is superimposed on the actual machine image S8a.
  • FIG. 12 (e) is a schematic diagram of another image S9q in which the movable range S3 is set by the limiting unit 11 1958 and the movable information image S7k generated by the image model generation unit 14 is superimposed on the actual machine image S8a.
  • FIG. 12 (f) is a schematic diagram of another image S9r in which the movable range S3 is set by the limiting unit 11p and the movable information image S7m generated by the image model generation unit 14 is superimposed on
  • the image S9m is an image in which the actual machine image S8a and the movable information image S7g are superimposed.
  • the actual machine image S8a is an image of the actual machine 3 taken by the image pickup means 4.
  • the movable information image S7g is an image of the movable range S3 generated by the image model generation unit 14.
  • the movable information image S7g is an image of the movable range S3 which is a straight line connecting the four restraint points.
  • the video S9n is a video in which the actual machine video S8a and the movable information video S7h are superimposed.
  • the actual machine image S8a is an image of the actual machine 3 taken by the image pickup means 4.
  • the movable information video S7h is a video of the movable range S3 generated by the video model generation unit 14.
  • the movable information image S7h is an image of the movable range S3 which is a curve connecting the four restraint points.
  • the image S9ello is an image in which the actual machine image S8a and the movable information image S7i are superimposed.
  • the actual machine image S8a is an image of the actual machine 3 taken by the image pickup means 4.
  • the movable information video S7i is a video of the movable range S3 generated by the video model generation unit 14.
  • the movable information image S7i is an image of the movable range S3 which is a straight line connecting the four restraint points.
  • the video S9p is a video in which the actual machine video S8a and the movable information video S7j are superimposed.
  • the actual machine image S8a is an image of the actual machine 3 taken by the image pickup means 4.
  • the movable information video S7j is a video of the movable range S3 generated by the video model generation unit 14.
  • the movable information image S7j is an image of the movable range S3 which is a curve connecting the four restraint points.
  • the image S9q is an image in which the actual machine image S8a and the movable information image S7k are superimposed.
  • the actual machine image S8a is an image of the actual machine 3 taken by the image pickup means 4.
  • the movable information video S7k is a video of the movable range S3 generated by the video model generation unit 14.
  • the movable information image S7k is an image of the movable range S3 which is a region surrounded by a straight line connecting four restraint points.
  • the image S9r is an image in which the actual machine image S8a and the movable information image S7m are superimposed.
  • the actual machine image S8a is an image of the actual machine 3 taken by the image pickup means 4.
  • the movable information image S7m is an image of the movable range S3 generated by the image model generation unit 14.
  • the movable information image S7m is an image of the movable range S3 which is a region surrounded by a curve connecting four restraint points.
  • the video model generation unit 14 identifies that the movable range S3 is a straight line connecting the four constraint points. As a result, the movable information image S7g is generated. The same applies even when the movable range S3 is set by the limiting portions 11n to 11p.
  • FIG. 13 is a block diagram showing an example of the configuration of the model generation unit 13 when the movable range S3 is set in the fifth mode in the first embodiment.
  • the operation unit 12 further generates third command information S13, which is input information for operating the light source that emits light, based on the movable range S3 from the restriction unit 11.
  • the model generation unit 13 further includes a light source model generation unit 133 that generates a light source model using the third command information S13, and is a model in which a model of the actual machine 3, a model of the image pickup means 4, and a light source model are combined.
  • Information S6 is output.
  • the model generation unit 13 has a first command information S4 from the operation unit 12 to the actual machine model generation unit 131, a second command information S5 from the operation unit 12 to the imaging model generation unit 132, and a light source model generation unit from the operation unit 12.
  • Model information S6 is generated based on the third command information S13 to 133, and is given to the video model generation unit 14.
  • the third command information S13 is input information for operating a light source that emits light.
  • the third command information S13 is a power ON / OFF switching command to the light source and input information for rotating the light source in the xy plane.
  • FIG. 14 is a schematic diagram showing an example of the operation unit 12 when the movable range S3 is set in the fifth mode in the first embodiment.
  • FIG. 14 is a schematic view of the case where the control stick 121 shown in FIG. 3 can rotate in the Rz direction and has the function of the limiting unit 11. Counterclockwise is the + Rz direction, and clockwise is the -Rz direction.
  • the direction vector of the control stick 121 when the button 122 is pressed is set as the movable range S3.
  • the operator may set a plurality of direction vectors.
  • the control stick 121 is rotated on the xy plane, and the operation of pressing the button 122 is repeated.
  • a plurality of direction vectors are set as the movable range S3.
  • a region surrounded by a plurality of direction vectors is set as the movable range S3. Whether to use a plurality of direction vectors or a region can be selected in advance.
  • FIG. 15 is a schematic diagram showing an example of the image S9 on the image display unit 15 when the movable range S3 is set in the fifth mode in the first embodiment.
  • FIG. 15 is a schematic diagram of the image S9s when the movable range S3 is set by the control stick 121.
  • the video S9s is a video in which the actual machine video S8a and the movable information video S7n are superimposed.
  • the actual machine image S8a is an image of the actual machine 3 taken by the image pickup means 4.
  • the movable information video S7n is a video of the movable range S3 generated by the video model generation unit 14.
  • the movable information image S7n includes an image of the movable range S3 represented by a direction vector and an image of model information from the light source model generation unit 133 of the model information S6.
  • FIG. 16 is a schematic diagram showing an example of another video S9 on the video display unit 15 when the movable range S3 is set in the fifth mode in the first embodiment.
  • FIG. 16 is a schematic diagram of the image S9t when two direction vectors are set by the control stick 121 and the area surrounded by the two direction vectors is selected as the movable range S3.
  • the video S9t is a video in which the actual machine video S8a and the movable information video S7 Europe are superimposed.
  • the actual machine image S8a is an image of the actual machine 3 taken by the image pickup means 4.
  • the movable information video S7 Europe is a video of the movable range S3 generated by the video model generation unit 14.
  • the image of the movable range S3 represented by the region surrounded by the two direction vectors and the image of the model information from the light source model generation unit 133 of the model information S6 are displayed. included.
  • the movable range S3 of the actual machine 3 is set by the limiting unit 11. As a result, complicated remote control of the actual machine 3 can be avoided. Further, the movable information image S7 generated based on the movable range S3 from the limiting unit 11 and the model information S6 from the model generation unit 13 and the actual machine image S8 generated by the imaging means 4 are superimposed. The video S9 is generated by the video display unit 15. As a result, the actual machine 3 can be remotely controlled while checking the movable range S3, and the work efficiency can be improved as compared with the conventional case.
  • FIG. 17 is a block diagram showing an example of the configuration of the remote control device 1 according to the second embodiment.
  • the remote control device 1 includes a restriction unit 11, an operation unit 12, and a video display unit 15. Since the limiting unit 11, the actual machine 3, the target 5, and the non-target 6 shown in FIG. 17 are the same as the limiting unit 11, the actual machine 3, the target 5, and the non-target 6 shown in FIG. 1, the description thereof will be omitted. ..
  • the operation unit 12 receives the operation information S2 from the operator and the movable range S3 from the restriction unit 11.
  • the operation unit 12 generates the first command information S4, the second command information S5, and the fourth command information S14 based on these information, gives the first command information S4 to the actual machine 3, and gives the second command information S5. Is given to the image pickup means 4, and the fourth command information S14 is given to the movable range forming means 7.
  • the fourth command information S14 will be described later.
  • the image display unit 15 receives the actual machine image S8 and the movable information image S15 from the image pickup means 4.
  • the video display unit 15 generates a video S9 in which these videos are superimposed and presents the video S9 to the operator.
  • the movable information image S15 is an image of the movable range S3 directly captured by the image pickup means 4.
  • the image pickup means 4 receives the second command information S5 from the operation unit 12.
  • the image pickup means 4 gives the actual machine image S8 and the movable information image S15 to the image display unit 15 based on the second command information S5.
  • the movable range forming means 7 forms the movable range S3 of the actual machine 3.
  • the movable range forming means 7 receives the fourth command information S14 from the operation unit 12.
  • the movable range forming means 7 is connected to the actual machine 3, but if the movable range S3 can be shown in the actual machine 3, it may not be connected to the actual machine 3.
  • the movable range forming means 7 is, for example, a light source that emits light, such as a laser light source or an LED light source. In this case, the pattern of light emitted from the light source and imaged in and around the actual machine 3 becomes the movable range S3. The light pattern is captured by the image pickup means 4 and becomes an image, which is displayed on the image display unit 15.
  • the light source emits light having a wavelength that can be photographed by the image pickup means 4.
  • the light source is a laser having a wavelength in the infrared region.
  • the fourth command information S14 is input information for operating the movable range forming means 7 that forms the movable range S3 of the actual machine 3.
  • the fourth command information S14 is a power ON / OFF switching command to the movable range forming means 7 and input information for rotating the movable range forming means 7 in the xy plane.
  • the operation unit 12 in the second embodiment is the same as the operation unit 12 shown in FIG. That is, the control stick 121 can also rotate in the Rz direction and has the function of the limiting unit 11.
  • the method of setting the movable range S3 is the same as the setting method described with reference to FIG.
  • FIG. 18 is a schematic diagram showing an example of the configuration including the actual machine 3 in the second embodiment. Since the actual machine 3, the image pickup means 4, the target 5, and the non-target 6 shown in FIG. 18 are the same as the actual machine 3, the image pickup means 4, the target 5, and the non-target 6 shown in FIG. 4, the description thereof will be omitted. ..
  • the movable range forming means 7 is connected near the center of the z-axis translation mechanism 33.
  • the movable range forming means 7 is a laser light source 71, and the laser beam 72 is output from the laser light source 71.
  • the output direction of the laser beam 72 is set by using the control stick 121.
  • the movable range forming means 7 is arranged near the center of the z-axis translation mechanism 33, but the present invention is not limited to this. For example, it may be arranged above or below the z-axis translation mechanism 33. Further, it may be arranged outside the actual machine 3.
  • FIG. 19 is a schematic diagram showing an example of another configuration including the actual machine 3 in the second embodiment. Since the actual machine 3, the image pickup means 4, the target 5, and the non-target 6 shown in FIG. 19 are the same as the actual machine 3, the image pickup means 4, the target 5, and the non-target 6 shown in FIG. 4, the description thereof will be omitted. ..
  • the movable range forming means 7 is connected near the center of the z-axis translation mechanism 33.
  • the movable range forming means 7 is the multi-laser light source 73, and the multi-laser ray 74 is output.
  • the output direction of the multi-laser ray 74 is set by using the control stick 121.
  • the movable range forming means 7 is arranged near the center of the z-axis translation mechanism 33, but the present invention is not limited to this. For example, it may be arranged above or below the z-axis translation mechanism 33. Further, it may be arranged outside the actual machine 3.
  • the movable range forming means 7 is the laser light source shown in FIG. 18, when the operator rotates the control stick 121 in the xy plane and presses the button 122, the direction of the control stick 121 when the button 122 is pressed.
  • the vector is set as the movable range S3.
  • the movable range forming means 7 is the multi-laser light source shown in FIG. 19, when the operator rotates the control stick 121 in the xy plane and presses the button 122 twice, the two direction vectors can move. It is set as the range S3. Alternatively, the area surrounded by the two direction vectors is set as the movable range S3. Whether it is a two-direction vector or a region can be selected in advance.
  • FIG. 20 is a schematic diagram showing an example of the image S9 on the image display unit 15 in the second embodiment.
  • FIG. 20 is a schematic diagram of the image S9u when the movable range S3 is set by the control stick 121.
  • the video S9u is a video in which the actual machine video S8b and the movable information video S15a are superimposed.
  • the actual machine image S8b is an image of the actual machine 3 and the movable range forming means 7 taken by the image pickup means 4.
  • the movable information image S15a is an image of the movable range S3 taken by the image pickup means 4.
  • the movable information image S15a is an image of the movable range S3 represented by the direction vector.
  • FIG. 21 is a schematic diagram showing an example of another video S9 in the video display unit 15 in the second embodiment.
  • FIG. 21 is a schematic diagram of the image S9v when two direction vectors are set by the control stick 121 and the area surrounded by the two direction vectors is selected as the movable range S3.
  • the video S9v is a video in which the actual machine video S8c and the movable information video S15b are superimposed.
  • the actual machine image S8c is an image of the actual machine 3 and the movable range forming means 7 taken by the image pickup means 4.
  • the movable information image S15b is an image of the movable range S3 taken by the image pickup means 4.
  • the movable information image S15b is an image of the movable range S3 represented by the region surrounded by the two direction vectors.
  • both the actual machine image S8 and the movable information image S15 are generated by the image pickup means 4.
  • the model generation unit 13 and the video model generation unit 14 of the first embodiment can be eliminated.
  • FIG. 22 is a block diagram showing an example of the configuration of the remote control device 1 according to the third embodiment.
  • the remote control device 1 includes a restriction unit 11, an operation unit 12, a model generation unit 13, a video model generation unit 14, and a video display unit 15.
  • FIG. 22 is a block diagram showing a configuration in which a drive model generation unit 134 and a drive device 8 are added to the configuration of the first embodiment shown in FIG.
  • the restriction unit 11, the image model generation unit 14, the image display unit 15, the actual machine 3, the image pickup means 4, the target 5, and the non-target 6 shown in FIG. 22 are the restriction unit 11 and the image model generation unit 14 shown in FIG. Since it is the same as the image display unit 15, the actual machine 3, the image pickup means 4, the target 5, and the non-target 6, the description thereof will be omitted.
  • the operation unit 12 receives the operation information S2 from the operator and the movable range S3 from the restriction unit 11.
  • the operation unit 12 generates the first command information S4, the second command information S5, and the fifth command information S16 based on these information, and the first command information S4 is sent to the actual machine 3 and the actual machine model generation unit 131.
  • the second command information S5 is given to the image pickup means 4 and the image pickup model generation unit 132
  • the fifth command information S16 is given to the drive device 8 and the drive model generation unit 134.
  • the fifth command information S16 will be described later.
  • the model generation unit 13 further has a drive model generation unit 134 that generates a model of the drive device 8 that drives the image pickup means 4 by using the fifth command information S16 generated by the operation unit 12.
  • the model generation unit 13 has a first command information S4 from the operation unit 12 to the actual machine model generation unit 131, a second command information S5 from the operation unit 12 to the imaging model generation unit 132, and a drive model generation unit from the operation unit 12.
  • Model information S6 is generated based on the fifth command information S16 to 134, and is given to the video model generation unit 14.
  • the fifth command information S16 is input information for operating the drive device 8 that drives the image pickup means 4.
  • the fifth command information S16 is control information for controlling the drive device 8.
  • the drive device 8 is connected to the image pickup means 4 and receives the fifth command information S16 from the operation unit 12.
  • the drive device 8 rotates based on the fifth command information S16.
  • the direction of the image pickup means 4 changes, and the direction in which the actual machine 3 is photographed can be changed.
  • the light source model generation unit 133 shown in FIG. 13 may be added to the model generation unit 13 of FIG. 22. ..
  • the model generation unit 13 outputs model information S6 that combines the model of the actual machine 3, the model of the image pickup means 4, the model of the light source, and the model of the drive device 8.
  • the model generation unit 13 in the present embodiment may have the actual machine model generation unit 131, the image pickup model generation unit 132, and the drive model generation unit 134, and does not necessarily have the light source model generation unit 133. May be good.
  • the model information S6 may be a combination of the model of the actual machine 3, the model of the image pickup means 4, and the model of the drive device 8, and it is not always necessary to combine the model of the light source.
  • FIG. 23 is a block diagram showing an example of another configuration of the remote control device 1 according to the third embodiment.
  • the remote control device 1 includes a restriction unit 11, an operation unit 12, and a video display unit 15.
  • FIG. 23 is a block diagram showing a configuration in which a drive device 8 is added to the configuration of the second embodiment shown in FIG.
  • the limiting unit 11, the image display unit 15, the actual machine 3, the imaging means 4, the target 5, the non-target 6, and the movable range forming means 7 shown in FIG. 23 are the limiting unit 11 and the image display unit 15 shown in FIG. Since it is the same as the actual machine 3, the image pickup means 4, the target 5, the non-target 6, and the movable range forming means 7, the description thereof will be omitted. Further, since the drive device 8 shown in FIG. 23 is the same as the drive device 8 shown in FIG. 22, the description thereof will be omitted.
  • the operation unit 12 receives the operation information S2 from the operator and the movable range S3 from the restriction unit 11.
  • the operation unit 12 generates the first command information S4, the second command information S5, the fourth command information S14, and the fifth command information S16 based on these information, and gives the first command information S4 to the actual machine 3.
  • the second command information S5 is given to the image pickup means 4
  • the fourth command information S14 is given to the movable range forming means 7
  • the fifth command information S16 is given to the drive device 8.
  • the operation unit 12 in the third embodiment is the same as the operation unit 12 shown in FIG.
  • the operator can remotely control the actual machine 3 while adjusting the orientation of the image pickup means 4 by switching between a mode for changing the orientation of the image pickup means 4 and a mode for remotely controlling the actual machine 3. Switching between the two is performed by means (not shown).
  • the control stick 121 is operated in the x-axis direction or the y-axis direction. As a result, the direction of the image pickup means 4 is changed in the x-axis direction or the y-axis direction.
  • FIG. 24 is a schematic diagram showing an example of the configuration including the actual machine 3 in the third embodiment.
  • FIG. 24 is a schematic diagram when operating the actual machine 3 using the remote control device 1 shown in FIG. 22. Since the actual machine 3, the image pickup means 4, the target 5, and the non-target 6 shown in FIG. 24 are the same as the actual machine 3, the image pickup means 4, the target 5, and the non-target 6 shown in FIG. 4, the description thereof will be omitted. ..
  • the drive device 8 is connected to the image pickup means 4, and changes the direction of the image pickup means 4 based on the fifth command information S16 from the operation unit 12.
  • the orientation of the actual machine image S8 on the image display unit 15 is switched according to the orientation of the image pickup means 4.
  • the orientation of the image pickup means 4 is changed by the drive device 8.
  • the operator can operate the actual machine 3 while sequentially changing the orientation of the actual machine image S8, and can efficiently perform remote control.
  • FIG. 25 is a block diagram showing an example of the configuration of the remote control device 1 according to the fourth embodiment.
  • the remote control device 1 includes a restriction unit 11, an operation unit 12, a model generation unit 13, a video model generation unit 14, and a video display unit 15.
  • FIG. 25 is a block diagram showing a configuration in which a manipulator model generation unit 135 and a manipulator 9 are added to the configuration of the first embodiment shown in FIG. Since the actual machine 3, the image pickup means 4, the target 5, and the non-target 6 shown in FIG. 25 are the same as the actual machine 3, the image pickup means 4, the target 5, and the non-target 6 shown in FIG. 1, the description thereof will be omitted. ..
  • the restriction unit 11 receives the restriction information S1 from the operator.
  • the limiting unit 11 generates a movable range S3, an openable / closable range S17, and a posture limiting range S18 based on the limited information S1, and gives them to the operation unit 12 and the video model generation unit 14.
  • the openable / closable range S17 is a range in which the manipulator 9 can be opened / closed.
  • the posture restriction range S18 is a posture when the manipulator 9 is restricted to a predetermined posture, in other words, an inclination when the manipulator 9 is restricted to a predetermined inclination.
  • the operation unit 12 receives the operation information S2 from the operator, the movable range S3 from the limiting unit 11, the openable / closable range S17 from the limiting unit 11, and the posture limiting range S18 from the limiting unit 11.
  • the operation unit 12 generates the first command information S4, the second command information S5, and the sixth command information S19 based on these information, and the first command information S4 is sent to the actual machine 3 and the actual machine model generation unit 131.
  • the second command information S5 is given to the image pickup means 4 and the image pickup model generation unit 132, and the sixth command information S19 is given to the manipulator 9 and the manipulator model generation unit 135.
  • the sixth command information S19 is input information for operating the manipulator 9 connected to the actual machine 3.
  • the sixth command information S19 is input information to a driver IC, a microcomputer, or the like that operates the manipulator 9.
  • the model generation unit 13 further has a manipulator model generation unit 135 that generates a model of the manipulator 9 using the sixth command information S19 generated by the operation unit 12.
  • the model generation unit 13 has a first command information S4 from the operation unit 12 to the actual machine model generation unit 131, a second command information S5 from the operation unit 12 to the imaging model generation unit 132, and a manipulator model generation unit from the operation unit 12.
  • Model information S6 is generated based on the sixth command information S19 to 135, and is given to the video model generation unit 14.
  • the video model generation unit 14 receives the movable range S3 from the restriction unit, the open / closeable range S17, the posture restriction range S18, and the model information S6 from the model generation unit 13. Based on this information, the image model generation unit 14 generates a movable information image S20 which is an image of the movable range S3, the open / closeable range S17, and the posture limiting range S18, and gives the movable information image S20 to the image display unit 15.
  • the video display unit 15 receives the movable information video S20 from the video model generation unit 14 and the actual machine video S8 from the image pickup means 4.
  • the video display unit 15 generates a video S9 in which these videos are superimposed and presents the video S9 to the operator.
  • the manipulator 9 is connected to the actual machine 3 and receives the sixth command information S19 from the operation unit 12.
  • the light source model generation unit 133 shown in FIG. 13 may be added to the model generation unit 13 of FIG. 25. ..
  • the drive model generation unit 134 in the third embodiment may be added to the model generation unit 13, or the image pickup means 4 may be connected to the drive device 8 and the orientation may be changed.
  • the model generation unit 13 outputs model information S6 that combines the model of the actual machine 3, the model of the image pickup means 4, the model of the light source, the model of the drive device 8, and the model of the manipulator 9.
  • the model generation unit 13 in the present embodiment may have an actual machine model generation unit 131, an image pickup model generation unit 132, and a manipulator model generation unit 135, and does not necessarily have a light source model generation unit 133 and a drive model generation unit 134. It is not necessary to have and. Further, the model information S6 may be a combination of the model of the actual machine 3, the model of the image pickup means 4, and the model of the manipulator 9, and it is not always necessary to combine the model of the light source and the model of the drive device 8. ..
  • FIG. 26 is a block diagram showing an example of another configuration of the remote control device 1 according to the fourth embodiment.
  • the remote control device 1 includes a restriction unit 11, an operation unit 12, and a video display unit 15.
  • FIG. 26 is a block diagram showing a configuration in which a manipulator 9 is added to the configuration of the second embodiment shown in FIG.
  • the limiting unit 11, the image display unit 15, the actual machine 3, the imaging means 4, the target 5, the non-target 6, and the movable range forming means 7 shown in FIG. 26 are the limiting unit 11 and the image display unit 15 shown in FIG. Since it is the same as the actual machine 3, the image pickup means 4, the target 5, the non-target 6, and the movable range forming means 7, the description thereof will be omitted. Further, since the manipulator 9 shown in FIG. 26 is the same as the manipulator 9 shown in FIG. 25, the description thereof will be omitted.
  • the operation unit 12 receives the operation information S2 from the operator and the movable range S3 from the restriction unit 11.
  • the operation unit 12 generates the first command information S4, the second command information S5, the fourth command information S14, and the sixth command information S19 based on these information, and gives the first command information S4 to the actual machine 3.
  • the second command information S5 is given to the image pickup means 4
  • the fourth command information S14 is given to the movable range forming means 7
  • the sixth command information S19 is given to the manipulator 9.
  • the limiting unit 11 As shown in FIG. 26, unlike the limiting unit 11 shown in FIG. 25, the limiting unit 11 generates only the movable range S3. That is, the open / closeable range S17 and the posture limiting range S18 of the manipulator 9 are not generated. Alternatively, as in FIG. 25, the limiting unit 11 may generate not only the movable range S3 but also the openable / closable range S17 and the posture limiting range S18 of the manipulator 9. However, a means for indicating an openable / closable range (not shown) and a means for indicating a posture restriction range (not shown) are required, and the operation unit 12 generates command information for these.
  • the image pickup means 4 may be connected to the drive device 8 and its orientation may be changed.
  • the operation unit 12 has the first command information S4 to the actual machine 3, the second command information S5 to the image pickup means 4, the fourth command information S14 to the movable range forming means 7, and the drive device 8.
  • the fifth command information S16 to the manipulator 9 and the sixth command information S19 to the manipulator 9 are generated.
  • the operation unit 12 in the fourth embodiment is the same as the operation unit 12 shown in FIG. Further, the control stick 121 has the function of the limiting unit 11.
  • the manipulator 9 may be opened and closed by rotating the control stick 121 in a state of being aligned with the center position of the operation unit 12.
  • FIG. 27 is a schematic diagram showing an example of the configuration including the actual machine 3 in the fourth embodiment.
  • FIG. 27 is a schematic diagram when operating the actual machine 3 using the remote control device 1 shown in FIG. 25. Since the actual machine 3, the image pickup means 4, the target 5, and the non-target 6 shown in FIG. 27 are the same as the actual machine 3, the image pickup means 4, the target 5, and the non-target 6 shown in FIG. 4, the description thereof will be omitted. ..
  • the manipulator 9 is rotatably connected to the end 34 of the actual machine.
  • the openable / closable range S17 and the posture limiting range S18 are set by the limiting unit 11 and the control stick 121.
  • FIG. 28 is a schematic diagram showing an example of the restriction unit 11 in the fourth embodiment.
  • FIG. 28 is a schematic diagram when operating the actual machine 3 using the remote control device 1 shown in FIG. 25. Further, FIG. 28 is a schematic diagram in the case of setting the open / closeable range S17 of the manipulator 9 in a mode similar to the third mode in the first embodiment.
  • the restriction patterns 11q and 11r are displayed on the video S9w from the video display unit 15.
  • the limiting patterns 11q and 11r are openable / closable patterns of the manipulator 9 prepared in advance.
  • the operator sets the movable range S3 of the actual machine 3 in an arbitrary mode, and selects either the limit pattern 11q or 11r as the open / closeable pattern of the manipulator 9.
  • the control stick 121 is used to move the cursor 11s to the restriction pattern 11q, and the button 122 is pressed.
  • the limiting unit 11 sets the openable / closable range S17 of the manipulator 9 in the x-axis direction.
  • the openable / closable pattern is not limited to the restriction patterns 11q and 11r, and may include an oblique pattern.
  • the image display unit 15 has a touch display function, and the operator may manually operate the screen to select either the restriction pattern 11q or 11r. This eliminates the need for the cursor 11s and enables simple operation.
  • the open / closeable range S17 of the manipulator 9 is set in a mode similar to the third mode in the first embodiment, but the first mode, the second mode, the fourth mode, or the fourth mode is set.
  • the openable / closable range S17 of the manipulator 9 may be set in a mode similar to the mode of 5.
  • FIG. 29 (a) and 29 (b) are schematic views showing an example of the image S9 in the image display unit 15 in the fourth embodiment.
  • FIG. 29 is a schematic diagram when operating the actual machine 3 using the remote control device 1 shown in FIG. 25.
  • FIG. 29A is a schematic diagram of the image S9x when the movable range S3 of the actual machine 3 is set in the x-axis direction and the restriction pattern 11q is selected as the openable / closable range S17 of the manipulator 9.
  • FIG. 29B is a schematic diagram of the image S9y when the movable range of the actual machine 3 is set in the x-axis direction and the restriction pattern 11r is selected as the openable / closable range S17 of the manipulator 9.
  • the image S9x is an image in which the actual machine image S8d, the movable information image S20a, and the movable information image S20b are superimposed.
  • the actual machine image S8d is an image of the actual machine 3 and the manipulator 9 taken by the image pickup means 4.
  • the movable information image S20a is an image of the movable range S3 generated by the image model generation unit 14.
  • the movable information video S20b is a video of the openable / closable range S17 generated by the video model generation unit 14.
  • the movable information image S20a is an image of the movable range S3 in the same direction as the x-axis direction.
  • the movable information image S20b is an image of the openable / closable range S17 in the same direction as the x-axis direction.
  • the image S9y is an image in which the actual machine image S8e, the movable information image S20a, and the movable information image S20c are superimposed.
  • the actual machine image S8e is an image of the actual machine 3 and the manipulator 9 taken by the image pickup means 4.
  • the movable information image S20a is an image of the movable range S3 generated by the image model generation unit 14.
  • the movable information video S20c is a video of the openable / closable range S17 generated by the video model generation unit 14.
  • the movable information image S20a is an image of the movable range S3 in the same direction as the x-axis direction.
  • the movable information image S20c is an image of the openable / closable range S17 in the same direction as the y-axis direction.
  • the movable information image S20a is displayed on the upper side in the actual machine images S8d and S8e, and the movable information images S20b and S20c are displayed on the lower side in the actual machine images S8d and S8e, respectively.
  • the movable information images S20b and S20c are displayed on the lower side in the actual machine images S8d and S8e, respectively.
  • it is not limited to this.
  • the operator sets the movable range S3 of the actual machine 3 in an arbitrary mode, sets the openable / closable range S17 of the manipulator 9 in an arbitrary mode, and limits the posture of the manipulator 9.
  • the range S18 is set by the control stick 121.
  • the operator sets the posture limiting range S18 by moving the control stick 121 in the x-axis direction or the y-axis direction.
  • FIG. 30 is a schematic diagram showing an example of another video S9 in the video display unit 15 in the fourth embodiment.
  • FIG. 30 is a schematic diagram when operating the actual machine 3 using the remote control device 1 shown in FIG. 25.
  • the movable range S3 of the actual machine 3 is set in the x-axis direction
  • the openable / closable range S17 of the manipulator 9 is set in the y-axis direction
  • the posture limiting range S18 of the manipulator 9 is in the diagonal direction of the y-axis.
  • It is a schematic diagram of the image S9z when it is set to.
  • the image S9z is an image in which the actual machine image S8f, the movable information image S20a, the movable information image S20c, and the movable information image S20d are superimposed.
  • the actual machine image S8f is an image of the actual machine 3 and the manipulator 9 taken by the image pickup means 4.
  • the movable information image S20a is an image of the movable range S3 generated by the image model generation unit 14.
  • the movable information video S20c is a video of the openable / closable range S17 generated by the video model generation unit 14.
  • the movable information video S20d is a video of the posture limiting range S18 generated by the video model generation unit 14. In the case of FIG.
  • the movable information image S20a is an image of the movable range S3 in the same direction as the x-axis direction. Further, the movable information image S20c is an image of the openable / closable range S17 in the same direction as the y-axis direction. Further, the movable information image S20d is an image of the posture limiting range S18 in the diagonal direction.
  • the movable information image S20a is displayed on the upper side in the actual machine image S8f
  • the movable information image S20c is displayed on the lower side in the actual machine image S8f
  • the movable information image S20d is near the center in the actual machine image S8f. It is displayed in, but it is not limited to this.
  • the image model generation unit 14 generates a movable information image S20 which is an image of the open / closeable range S17 of the manipulator 9 and the posture limiting range S18, and the movable information image S20 and the actual machine image S8 are superimposed.
  • S9 is displayed on the video display unit 15.
  • FIG. 31 is a block diagram showing an example of the configuration of the remote control device 1 according to the fifth embodiment.
  • the remote control device 1 includes a restriction unit 11, an operation unit 12, a model generation unit 13, a video model generation unit 14, and a video display unit 15.
  • FIG. 31 is a block diagram showing a configuration in which four image pickup means 41 to 44 are added to the configuration of the first embodiment shown in FIG.
  • the limiting unit 11, the model generation unit 13, the video model generation unit 14, the video display unit 15, the actual machine 3, the target 5, and the non-target 6 shown in FIG. 31 are the restriction unit 11, the model generation unit 13, and the model generation unit 13 shown in FIG. Since it is the same as the video model generation unit 14, the video display unit 15, the actual machine 3, the target 5, and the non-target 6, the description thereof will be omitted.
  • the operation unit 12 receives the operation information S2 from the operator and the movable range S3 from the restriction unit 11.
  • the operation unit 12 generates the first command information S4, the second command information S5, and the second command information S51 to S54 based on these information, and the first command information S4 is the actual machine 3 and the actual machine model generation unit. It is given to 131, the second command information S5 is given to the image pickup model generation unit 132, and the second command information S51 to S54 is given to the image pickup means 41 to 44, respectively.
  • the second command information S51 to S54 are a shooting ON / OFF switching command, a magnification adjustment command, and the like to the image pickup means 41 to 44, respectively.
  • the operation unit 12 generates the second command information S51 to S54 so that any one of the image pickup means 41 to 44 is turned on for shooting and the other is turned off for shooting. This makes it possible to select an imaging means corresponding to the direction in which the photograph is desired.
  • the operation unit 12 may generate the second command information S51 to S54 so that the plurality of image pickup means among the image pickup means 41 to 44 are turned on for shooting. As a result, a three-dimensional image obtained by combining a plurality of images is generated, and the same operation feeling as when directly operating the actual machine 3 can be obtained. That is, the operation unit 12 generates command information to the image pickup means 41 to 44 so that at least one of the plurality of image pickup means 41 to 44 is effective.
  • the second command information S5 is the same as the command information corresponding to the image pickup means in which the shooting ON is set among the second command information S51 to S54.
  • a plurality of second command information S5s are generated, and a plurality of image pickup model generation units 132 are also provided.
  • the image pickup means 41 to 44 receive the second command information S51 to S54 from the operation unit 12, respectively.
  • the image pickup means 41 to 44 generate the actual machine image S8 based on these information and give it to the image display unit 15. Specifically, among the image pickup means 41 to 44, the actual machine image S8 photographed by the image pickup means to which the command of photographing ON is transmitted by the operation unit 12 is input to the image display unit 15.
  • the number of imaging means is four, but the number may be any number as long as it is two or more.
  • the light source model generation unit 133 shown in FIG. 13 may be added to the model generation unit 13 of FIG. 31. ..
  • the drive model generation unit 134 in the third embodiment may be added to the model generation unit 13, or the image pickup means 4 may be connected to the drive device 8 and the orientation may be changed.
  • the manipulator model generation unit 135 in the fourth embodiment may be added to the model generation unit 13, or the manipulator 9 may be connected to the actual machine 3.
  • the model generation unit 13 outputs model information S6 that combines the model of the actual machine 3, the model of the image pickup means 4, the model of the light source, the model of the drive device 8, and the model of the manipulator 9.
  • the model generation unit 13 in the present embodiment may have an actual machine model generation unit 131 and an image pickup model generation unit 132, and does not necessarily have a light source model generation unit 133, a drive model generation unit 134, and a manipulator model generation unit 135. It is not necessary to have and. Further, the model information S6 may be a combination of the model of the actual machine 3 and the model of the image pickup means 4, and it is not always necessary to combine the model of the light source, the model of the drive device 8, and the model of the manipulator 9. ..
  • FIG. 32 is a block diagram showing an example of another configuration of the remote control device 1 according to the fifth embodiment.
  • the remote control device 1 includes a restriction unit 11, an operation unit 12, and a video display unit 15.
  • FIG. 32 is a block diagram showing a configuration in which four image pickup means 41 to 44 are added to the configuration of the second embodiment shown in FIG.
  • the limiting unit 11, the image display unit 15, the actual machine 3, the target 5, the non-target 6, and the movable range forming means 7 shown in FIG. 32 are the limiting unit 11, the image display unit 15, the actual machine 3, and the movable range forming means 7 shown in FIG. Since it is the same as the target 5, the non-target 6, and the movable range forming means 7, the description thereof will be omitted. Further, since the image pickup means 41 to 44 shown in FIG. 32 are the same as the image pickup means 41 to 44 shown in FIG. 31, the description thereof will be omitted.
  • the operation unit 12 receives the operation information S2 from the operator and the movable range S3 from the restriction unit 11.
  • the operation unit 12 generates the first command information S4, the second command information S51 to S54, and the fourth command information S14 based on these information, gives the first command information S4 to the actual machine 3, and gives the second command.
  • Information S51 to 54 are given to the imaging means 41 to 44, respectively, and fourth command information S14 is given to the movable range forming means 7.
  • the second command information S51 to S54 is the same as the second command information S51 to S54 shown in FIG.
  • the image pickup means 41 to 44 may be connected to the drive device 8 to change the orientation, or the actual machine 3 may be connected to the manipulator 9.
  • the operation unit 12 includes the first command information S4 to the actual machine 3, the second command information S51 to S54 to the image pickup means 41 to 44, and the fourth command information S14 to the movable range forming means 7.
  • the fifth command information S16 to the drive device 8 and the sixth command information S19 to the manipulator 9 are generated.
  • the configuration including the operation unit 12 in the fifth embodiment is the same as the configuration shown in FIG. 2, the description thereof will be omitted. Further, since the operation unit 12 in the fifth embodiment is the same as the operation unit 12 shown in FIG. 3, the description thereof will be omitted.
  • FIG. 33 is a schematic diagram showing an example of the configuration including the actual machine 3 in the fifth embodiment.
  • FIG. 33 is a schematic diagram when operating the actual machine 3 using the remote control device 1 shown in FIG. 31. Since the actual machine 3, the target 5, and the non-target 6 shown in FIG. 33 are the same as the actual machine 3, the image pickup means 4, the target 5, and the non-target 6 shown in FIG. 4, the description thereof will be omitted.
  • the image pickup means 41 to 44 are all arranged at positions where the actual machine 3 can be seen.
  • Drive devices 81 to 84 may be connected to each of the image pickup means 41 to 44.
  • FIG. 34 is a flowchart showing an example of the operation of the remote control device 1 in the fifth embodiment. The flowchart of FIG. 34 is also applied to the remote control device 1 according to the first to fourth embodiments.
  • the restriction unit 11 sets the movable range S3 of the actual machine 3 based on the restriction information S1 from the operator (step ST1). ..
  • the operation unit 12 generates first command information S4, which is input information for operating the actual machine 3, based on the operation information S2 from the operator and the movable range S3 of the actual machine 3 (step ST2). ).
  • the image display unit 15 displays the actual machine image S8 from the image pickup means 4 and the movable information image S7 from the image model generation unit 14 (step ST3). Alternatively, the image display unit 15 displays the actual machine image S8 and the movable information image S15 from the image pickup means 4.
  • the movable information image S7 is an image of the movable range S3 from the limiting unit 11. Further, the movable information image S15 is an image of the movable range S3 acquired by photographing the movable range forming means 7.
  • a means (not shown) instructs the operator to start remote control (step ST4).
  • the operator remotely controls the actual machine 3 while checking the actual machine image S8 and the movable information image S7 displayed by the image display unit 15, or the actual machine image S8 and the movable information image S15.
  • a means (not shown) stops the remote control device 1 when receiving an instruction from the operator to end the remote control.
  • the actual machine 3 is photographed with any one of the plurality of imaging means effective.
  • the operator can operate the actual machine 3 while sequentially selecting the orientation of the actual machine image S8, and can efficiently perform remote control.
  • the actual machine 3 is photographed with the plurality of imaging means effective, and a three-dimensional image in which the plurality of images are combined is generated.
  • the same operation feeling as when the actual machine 3 is directly operated can be obtained.
  • FIG. 35 is a block diagram showing an example of the configuration of the remote control device 1 according to the sixth embodiment.
  • the remote control device 1 includes a restriction unit 11, an operation unit 12, a model generation unit 13, a video model generation unit 14a, and a video display unit 15a.
  • FIG. 35 is different from FIG. 1 in that the video model generation unit 14a outputs not only the movable information video S7 but also the actual machine video S81.
  • FIG. 35 is different from FIG. 1 in that the image display unit 15a inputs the actual machine image S81 from the image model generation unit 14a instead of inputting the actual machine image S8 from the image pickup means 4.
  • the limiting unit 11, the operating unit 12, the model generating unit 13, the actual machine 3, the target 5, and the non-target 6 shown in FIG. 35 are the limiting unit 11, the operating unit 12, the model generating unit 13, and the actual machine 3 shown in FIG. , Target 5, and non-target 6, so the description thereof will be omitted.
  • the video model generation unit 14a receives the movable range S3 from the restriction unit 11 and the model information S6 from the model generation unit 13. Based on this information, the image model generation unit 14a generates a movable information image S7 in which the movable range S3 is visualized and an actual machine image S81, and gives the image display unit 15a.
  • the actual machine image S81 is, for example, a visualization of a three-dimensional model of the actual machine 3.
  • the video display unit 15a receives the movable information video S7 and the actual machine video S81 from the video model generation unit 14.
  • the video display unit 15a generates a video S9 based on the movable information video S7 and the actual machine video S81, and presents the video S9 to the operator.
  • the image display unit 15a displays the actual machine image S81 in which the three-dimensional model of the actual machine 3 is visualized, instead of the actual machine image S8 which is imaged by photographing the actual machine 3.
  • the image display unit 15a has a movable information in which the actual machine image S81 in which the actual machine 3 is visualized and the movable range S3 corresponding to the actual machine 3 are visualized.
  • the image S7 is displayed.
  • the remote control device 1 may input an image from the image pickup means 4 in order to grasp the positional relationship between the actual machine 3 and the target 5. good.
  • the image display unit 15a photographing the actual machine 3 and displaying the imaged image
  • the three-dimensional model of the actual machine 3 displays the imaged image, thereby eliminating the need for the image pickup means 4. be able to.
  • the image pickup means 4 can be made inexpensive with a small resolution. This is because the actual machine image S81 displayed by the image display unit 15a is a three-dimensional model of the actual machine 3 and does not depend on the resolution of the image pickup means 4.
  • FIG. 36 is a flowchart showing an example of the operation of the remote control device 1 in the sixth embodiment.
  • the restriction unit 11 sets the movable range S3 of the actual machine 3 based on the restriction information S1 from the operator (step ST1). ..
  • the operation unit 12 generates first command information S4, which is input information for operating the actual machine 3, based on the operation information S2 from the operator and the movable range S3 of the actual machine 3 (step ST2). ).
  • the video display unit 15a displays the actual machine video S81 and the movable information video S7 from the video model generation unit 14a (step ST5).
  • a means instructs the operator to start remote control (step ST4).
  • the operator remotely controls the actual machine 3 while checking the actual machine image S8 and the movable information image S7 displayed by the image display unit 15a.
  • the image of the three-dimensional model of the actual machine 3 is displayed.
  • the image pickup means 4 can be eliminated. Further, even if the image pickup means 4 is required, it can be inexpensive with a small resolution.
  • FIG. 37 is a block diagram showing an example of the configuration of the remote control device 1 according to the seventh embodiment.
  • the remote control device 1 includes a restriction unit 11s, an operation unit 12a, a model generation unit 13, a video model generation unit 14, and a video display unit 15.
  • FIG. 37 is different from FIG. 1 in that the limiting unit 11s is provided instead of the limiting unit 11 and the operating unit 12a is provided instead of the operating unit 12.
  • the model generation unit 13, the image model generation unit 14, the image display unit 15, the actual machine 3, the image pickup means 4, the target 5, and the non-target 6 shown in FIG. 37 are the model generation unit 13 and the image model generation unit shown in FIG. Since it is the same as 14, the image display unit 15, the actual machine 3, the image pickup means 4, the target 5, and the non-target 6, the description thereof will be omitted.
  • the restriction unit 11s receives the restriction information S1 from the operator.
  • the limiting unit 11s generates a movable range S3 based on the limiting information S1 and gives it to the coordinate system conversion unit 123 and the video model generation unit 14 in the operation unit 12a.
  • the limiting unit 11s sets the movable range S3 in an arbitrary spatial coordinate system including the xyz orthogonal coordinate system in which the actual machine 3 is installed. Therefore, the limiting unit 11s does not physically set the movable range S3 by using, for example, the x-axis translation plate 11a and the y-axis translation plate 11b shown in FIG. 5, but sets the movable range S3 by software processing. Set.
  • the software processing is to set a plurality of points in the coordinate system in which the movable range S3 is to be set, and set the straight line, the curve, the plane, or the curved surface including these points as the movable range S3.
  • the operation unit 12a includes a coordinate system conversion unit 123, an inverse kinematics calculation unit 124, and a second command information generation unit 125.
  • the coordinate system conversion unit 123 receives the movable range S3 from the restriction unit 11s.
  • the coordinate system conversion unit 123 converts the spatial coordinate system in which the movable range S3 is set into the xyz orthogonal coordinate system in which the actual machine 3 is installed. This corresponds to a mapping from the spatial coordinate system in which the movable range S3 is set to the xyz orthogonal coordinate system.
  • the inverse kinematics calculation unit 124 receives the operation information S2 from the operator and the exerciseable range S3 from the restriction unit 11s.
  • the inverse kinematics calculation unit 124 reverses motion with respect to a plurality of points constituting the movable range S3 in the xyz Cartesian coordinate system converted by the coordinate system conversion unit 123 based on the operation information S2 and the movable range S3.
  • the academic calculation is performed, and the first command information S41 after the inverse kinematics calculation is given to the actual machine 3 and the actual machine model generation unit 131.
  • the second command information generation unit 125 receives the operation information S2 from the operator.
  • the second command information generation unit 125 generates the second command information S5 based on the operation information S2 and gives it to the image pickup means 4 and the image pickup model generation unit 132. Since the second command information S5 is the same as the second command information S5 in the first embodiment, the description thereof will be omitted.
  • the actual machine 3 moves within the movable range S3 set by the limiting unit 11s, but may not be physically able to move. Therefore, the remote control device 1 may be provided with a first correction unit (not shown) between the operation unit 12a and the actual machine 3 and between the operation unit 12a and the actual machine model generation unit 131.
  • the first correction unit receives the first command information S41 from the inverse kinematics calculation unit 124 and corrects the first command information S41.
  • the first correction unit gives the corrected first command information to the actual machine 3 and the actual machine model generation unit 131.
  • the first correction unit corrects the first command information S41 so as to be within the movable range.
  • a second correction unit (not shown) is provided between the restriction unit 11s and the operation unit 12a, and between the restriction unit 11s and the video model generation unit 14. May be provided.
  • the second correction unit corrects the movable range S3 from the limiting unit 11s, and gives the corrected movable range to the coordinate system conversion unit 123 and the video model generation unit 14.
  • the second correction unit converts the spatial coordinate system in which the movable range S3 is set into the xyz Cartesian coordinate system, and performs inverse kinematics calculation on a plurality of points constituting the movable range S3. ..
  • the second correction unit corrects the kinematic range calculated by the inverse kinematics, and sets the corrected kinematic range as the corrected kinematic range, and sets the operation unit 12a and the video model generation unit 14.
  • the corrected range of the inverse kinematics calculated may be output as the first command information S41 to the actual machine 3 and the actual machine model generation unit 131, and in this case, the kinematics calculation is unnecessary. Become. However, when the video display unit 15 displays the corrected kinetic range, the kinematics calculation is performed.
  • FIG. 38 is a schematic diagram showing an example of the configuration including the actual machine 3 in the seventh embodiment. Since the image pickup means 4 shown in FIG. 38 is the same as the image pickup means 4 shown in FIG. 4, the description thereof will be omitted.
  • the actual machine 3 is a 2-link manipulator.
  • the two-link manipulator is a robot arm that determines the position of the end effector 35 by rotating two actuators 36 by the first command information S41 from the inverse kinematics calculation unit 124.
  • the movable range S3 is set with respect to the end effector 35.
  • FIG. 37 only the first command information S41 is input to the actual machine 3 and the actual machine model generation unit 131, but when the actual machine 3 is a two-link manipulator, there are two different actuators 36.
  • the first command information S41 is input.
  • the inverse kinematics calculation unit 124 uses a conversion formula for converting the position of the end effector 35 into the angles of the two actuators 36, thereby causing the inverse kinematics. Perform academic calculations. Therefore, the first command information S41 corresponds to the angle of the actuator 36.
  • the conversion formula becomes complicated.
  • the inverse kinematics calculation unit 124 simplifies the conversion formula by linearizing the angle of the actuator 36 with respect to the position of the end effector 35, and optimizes the coefficient to be multiplied by the variable such as the position of the end effector 35. It may be obtained by an algorithm. Alternatively, the coefficient may be obtained by machine learning. The optimization algorithm is, for example, a gradient descent method.
  • the kinematic calculation performed by the second correction unit uses a conversion formula for converting the angle of the actuator 36 to the position of the end effector 35. be.
  • the actual machine 3 is not limited to the 2-link manipulator.
  • FIG. 39 (a) and 39 (b) are schematic views showing an example of the image S9 in the image display unit 15 in the seventh embodiment.
  • FIG. 39A is a schematic diagram of the image S91a on the image display unit 15 when the straight line is set as the movable range S3.
  • FIG. 39B is a schematic diagram of the image S91b on the image display unit 15 when the plane is set as the movable range S3.
  • the image S91a is an image in which the actual machine image S8g and the movable information image S7p are superimposed.
  • the actual machine image S8g is an image of the actual machine 3 taken by the image pickup means 4.
  • the movable information video S7p is a video of the movable range S3 generated by the video model generation unit 14.
  • the image S91b is an image in which the actual machine image S8h and the movable information image S7q are superimposed.
  • the actual machine image S8h is an image of the actual machine 3 taken by the image pickup means 4.
  • the movable information video S7q is a video of the movable range S3 generated by the video model generation unit 14.
  • the first problem is that a divergence occurs between the movable range S3 set by the limiting unit 11s and the motion locus of the end effector 35.
  • 40 (a) and 40 (b) are schematic views showing the relationship between the movable range S3 and the motion locus of the end effector 35 in the seventh embodiment.
  • FIG. 40A shows the motion locus T1 of the end effector 35 when the movable range S3a is set by the plurality of points C1.
  • FIG. 40B shows the motion locus T2 of the end effector 35 when the movable range S3b is set by the plurality of points C2.
  • the interval between the points C1 becomes large, so that a gap occurs between the movable range S3a and the motion locus T1.
  • the first command information S41 is command information to the actuator 36, and this locus is a rotation locus.
  • the locus of the movable range S3 is not limited to the rotation locus, and any locus can be taken.
  • the actual machine 3 is composed of the x-axis translation mechanism 31, the y-axis translation mechanism 32, and the z-axis translation mechanism 33, the number of points to be set per unit time is small. Even in this case, there is no discrepancy between the movable range S3 and the movement locus. This is because, for example, when the movable range S3 is set to the x-axis, the locus of the first command information S4 becomes the x-axis, which coincides with the locus of the movable range S3, and both have a linear relationship.
  • the second problem is that the first command information S41 becomes discontinuous when switching between a free movement in which the movable range S3 is not set and a restraint movement in which the movable range S3 is set.
  • free motion the real machine 3 moves in the xyz Cartesian coordinate system.
  • the constrained motion the movable range S3 is once converted into the spatial coordinate system in which the movable range S3 is set, and then converted into the xyz orthogonal coordinate system.
  • the first command information S41 becomes discontinuous.
  • the actuator 36 is required to change the command value suddenly, so that the actuator 36 may be damaged.
  • the end effector 35 may be moved to a position where the change in the command value for the actuator 36 is suppressed within the first predetermined range, and then the free motion is switched to the restraint motion.
  • the first predetermined range is, for example, a range in which the current flowing through the actuator 36 is equal to or less than a predetermined value.
  • the first predetermined range is a range that does not collide with the surrounding environment (equipment, people, etc.).
  • points such that the distance from the coordinate point of the end effector 35 immediately before the switch is within the second predetermined range are selected from a plurality of points, and are selected immediately after the switch.
  • the second predetermined range may be the same as or different from the first predetermined range.
  • the plurality of points are a plurality of points constituting the movable range S3.
  • the movable range S3 may be set so that the spatial coordinate system in which the movable range S3 is set becomes the xyz orthogonal coordinate system. As a result, the transformation of the coordinate system does not occur. Further, instead of remotely controlling the actual machine 3 with two motion patterns of free motion and restraint motion, remote control may be performed only with the restraint motion.
  • FIG. 41 is a flowchart showing an example of the operation of the remote control device 1 according to the seventh embodiment.
  • the restriction unit 11s sets the movable range S3 of the actual machine 3 based on the restriction information S1 from the operator (step ST6). ..
  • the limiting unit 11s sets the movable range S3 by software processing.
  • the coordinate system conversion unit 123 converts the spatial coordinate system in which the movable range S3 is set into the xyz orthogonal coordinate system (step ST7).
  • the inverse kinematics calculation unit 124 performs inverse kinematics calculation on a plurality of points constituting the movable range S3 in the xyz orthogonal coordinate system converted by the coordinate system conversion unit 123, and the first after the inverse kinematics calculation.
  • the command information S41 is given to the actual machine 3 and the actual machine model generation unit 131 (step ST8).
  • the image display unit 15 displays the actual machine image S8 from the image pickup means 4 and the movable information image S7 from the image model generation unit 14 (step ST3).
  • a means (not shown) instructs the operator to start remote control (step ST4).
  • the operator remotely controls the actual machine 3 while checking the actual machine image S8 and the movable information image S7 displayed by the image display unit 15.
  • a means (not shown) stops the remote control device 1 when receiving an instruction from the operator to end the remote control.
  • the movable range S3 can be set in any spatial coordinate system.
  • the movable range S3 of the actual machine 3 is set in the x-axis direction, the y-axis direction, or an arbitrary direction on the xy plane, but is arbitrary in the z-axis direction and the yz plane. It may be set in a direction or in any direction on the xz plane. Further, the movable range S3 may be set on an arbitrary plane.
  • the head-mounted display may be used as the video display units 15 and 15a, and the operator may wear the head-mounted display and remotely control the actual machine 3 while checking the video S9. ..
  • the actual machine end 34, the manipulator 9 or the end effector 35 may be presented to the operator by means (not shown) that the actual machine end 34, the manipulator 9 or the end effector 35 has come into contact with the target 5.
  • a tactile sensor is attached to the end 34 of the actual machine, the manipulator 9, or the end effector 35. After confirming the contact with the target 5, it is not always necessary to operate the actual machine while confirming the actual machine images S8 and S81, so that a period for turning off the shooting by the imaging means 4 can be provided. As a result, the memory capacity of the image pickup means 4 can be reduced, and the load of communication between the remote control device 1 and the image pickup means 4 can be reduced.

Abstract

遠隔操作装置（１）は、実機械（３）を操作者が遠隔操作する遠隔操作装置（１）であって、前記操作者からの制限情報（Ｓ１）に基づいて、前記実機械（３）の運動可能範囲（Ｓ３）を設定する制限部（１１）と、前記操作者からの操作情報（Ｓ２）と、前記運動可能範囲（Ｓ３）とに基づいて、前記実機械（３）を操作するための入力情報である第１指令情報（Ｓ４）を生成する操作部（１２）と、前記実機械（３）が映像化された実機械映像（Ｓ８）と、前記実機械（３）に対応した前記運動可能範囲（Ｓ３）が映像化された可動情報映像（Ｓ７）とを表示する映像表示部（１５）と、を備える。

Description

遠隔操作装置
　本開示は、実機械を操作者が遠隔操作する遠隔操作装置に関する。
　操作者が実機械を遠隔操作する際、操作者が予測する実機械の挙動と、実際の実機械の挙動が異なることから、実機械の運動予測が困難となり、作業効率が悪くなる。
　特許文献１は、非常に器用なシステムのユーザインタフェースを開示する。当該システムは、実機械の運動予測を容易にするために、実機械の運動可能範囲を設定する。
特表２０１８－５１３７１１号公報（第１０－１２頁、第１図）
　従来の遠隔操作装置では、操作者は実機械の運動可能範囲を把握することができず、作業効率が悪くなるという課題があった。
　本開示は、上述の課題を解決するためになされた。本開示の目的は、実機械の運動可能範囲を設定し、設定された運動可能範囲を操作者に提示することで、作業効率が良くなる遠隔操作装置を提供することである。
　本開示に係る遠隔操作装置は、実機械を操作者が遠隔操作する遠隔操作装置であって、前記操作者からの制限情報に基づいて、前記実機械の運動可能範囲を設定する制限部と、前記操作者からの操作情報と、前記運動可能範囲とに基づいて、前記実機械を操作するための入力情報である第１指令情報を生成する操作部と、前記実機械が映像化された実機械映像と、前記実機械に対応した前記運動可能範囲が映像化された可動情報映像とを表示する映像表示部とを備える。
　本開示によれば、遠隔操作装置は、実機械の運動可能範囲を設定し、設定された運動可能範囲を操作者に提示することで、従来に比べて作業効率を良くすることができる。
実施の形態１における遠隔操作装置の構成の一例を示すブロック図である。 実施の形態１における操作部を含む構成の一例を示す模式図である。 実施の形態１における操作部の一例を示す模式図である。 実施の形態１における実機械を含む構成の一例を示す模式図である。 実施の形態１において第１のモードで運動可能範囲を設定する場合の制限部の一例を示す模式図である。 実施の形態１において第１のモードで運動可能範囲を設定した場合の映像表示部での映像の一例を示す模式図である。 実施の形態１において第２のモードで運動可能範囲を設定する場合の制限部の一例を示す模式図である。 実施の形態１において第２のモードで運動可能範囲を設定した場合の映像表示部での映像の一例を示す模式図である。 実施の形態１において第３のモードで運動可能範囲を設定する場合の制限部の一例を示す模式図である。 実施の形態１において第３のモードで運動可能範囲を設定した場合の映像表示部での映像の一例を示す模式図である。 実施の形態１において第４のモードで運動可能範囲を設定する場合の制限部の一例を示す模式図である。 実施の形態１において第４のモードで運動可能範囲を設定した場合の映像表示部での映像の一例を示す模式図である。 実施の形態１において第５のモードで運動可能範囲を設定する場合のモデル生成部の構成の一例を示す模式図である。 実施の形態１において第５のモードで運動可能範囲を設定する場合の操作部の一例を示す模式図である。 実施の形態１において第５のモードで運動可能範囲を設定した場合の映像表示部での映像の一例を示す模式図である。 実施の形態１において第５のモードで運動可能範囲を設定した場合の映像表示部での別の映像の一例を示す模式図である。 実施の形態２における遠隔操作装置の構成の一例を示すブロック図である。 実施の形態２における実機械を含む構成の一例を示す模式図である。 実施の形態２における実機械を含む別の構成の一例を示す模式図である。 実施の形態２における映像表示部での映像の一例を示す模式図である。 実施の形態２における映像表示部での別の映像の一例を示す模式図である。 実施の形態３における遠隔操作装置の構成の一例を示すブロック図である。 実施の形態３における遠隔操作装置の別の構成の一例を示すブロック図である。 実施の形態３における実機械を含む構成の一例を示す模式図である。 実施の形態４における遠隔操作装置の構成の一例を示すブロック図である。 実施の形態４における遠隔操作装置の別の構成の一例を示すブロック図である。 実施の形態４における実機械を含む構成の一例を示す模式図である。 実施の形態４における制限部の一例を示す模式図である。 実施の形態４における映像表示部での映像の一例を示す模式図である。 実施の形態４における映像表示部での別の映像の一例を示す模式図である。 実施の形態５における遠隔操作装置の構成の一例を示すブロック図である。 実施の形態５における遠隔操作装置の別の構成の一例を示すブロック図である。 実施の形態５における実機械を含む構成の一例を示す模式図である。 実施の形態１から５における遠隔操作装置の動作の一例を示すフローチャートである。 実施の形態６における遠隔操作装置の構成の一例を示すブロック図である。 実施の形態６における遠隔操作装置の動作の一例を示すフローチャートである。 実施の形態７における遠隔操作装置の構成の一例を示すブロック図である。 実施の形態７における実機械を含む構成の一例を示す模式図である。 実施の形態７における映像表示部での映像の一例を示す模式図である。 実施の形態７における運動可能範囲とエンドエフェクタの運動軌跡との関係を示す模式図である。 実施の形態７における遠隔操作装置の動作の一例を示すフローチャートである。
　実施の形態について添付の図面に従って説明する。なお、説明を容易にするために、各図中にｘｙｚ直交座標系の座標軸を示す。実機械３において、後に説明するｘ軸並進機構３１とｙ軸並進機構３２とｚ軸並進機構３３とが配置される方向でｘｙｚ直交座標系を定義する。ｘ軸並進機構３１が配置される方向と同じ方向をｘ軸方向とする。奥側が＋ｘ方向であり、手前側が－ｘ方向である。ｙ軸並進機構３２が配置される方向と同じ方向をｙ軸方向とする。左側が＋ｙ方向であり、右側が－ｙ方向である。ｚ軸並進機構３３が配置される方向と同じ方向をｚ軸方向とする。上側が＋ｚ方向であり、下側が－ｚ方向である。また、操作部１２および操作者に対し、奥行方向をｘ軸方向とする。奥側が＋ｘ方向であり、手前側が－ｘ方向である。操作部１２および操作者に対し、左右方向をｙ軸方向とする。左側が＋ｙ方向であり、右側が－ｙ方向である。操作部１２および操作者に対し、上下方向をｚ軸方向とする。上側が＋ｚ方向であり、下側が－ｚ方向である。
実施の形態１．
　図１は、実施の形態１における遠隔操作装置１の構成の一例を示すブロック図である。遠隔操作装置１は、撮像手段４によって撮影される実機械３を操作者が遠隔操作するものである。
　図１に示すように、遠隔操作装置１は、制限部１１と、操作部１２と、モデル生成部１３と、映像モデル生成部１４と、映像表示部１５とを備える。
　制限部１１は、図示しない操作者からの制限情報Ｓ１を受け取る。制限部１１は、この制限情報Ｓ１に基づいて運動可能範囲Ｓ３を生成し、操作部１２および映像モデル生成部１４に与える。制限情報Ｓ１は、実機械３の運動可能な範囲を操作者が設定する情報である。運動可能範囲Ｓ３は、操作者によって設定される、実機械３の運動可能な範囲である。すなわち、制限部１１は、操作者からの制限情報Ｓ１に基づいて、実機械３の運動可能範囲Ｓ３を設定する。
　操作部１２は、操作者からの操作情報Ｓ２と、制限部１１からの運動可能範囲Ｓ３とを受け取る。操作部１２は、操作情報Ｓ２と運動可能範囲Ｓ３とに基づいて第１指令情報Ｓ４と第２指令情報Ｓ５とを生成し、第１指令情報Ｓ４を実機械３および実機械モデル生成部１３１に与え、第２指令情報Ｓ５を撮像手段４および撮像モデル生成部１３２に与える。操作情報Ｓ２は、実機械３を遠隔操作するための運動コマンドである。この運動コマンドは、後に説明する操作部１２内の操縦桿１２１およびボタン１２２の操作そのものである。第１指令情報Ｓ４は、実機械３を操作するための入力情報である。具体的には、第１指令情報Ｓ４は、実機械３を動かすドライバーＩＣやマイコンなどへの入力情報である。第２指令情報Ｓ５は、撮像手段４を操作するための入力情報である。具体的には、第２指令情報Ｓ５は、撮像手段４への、撮影のＯＮ／ＯＦＦ切り替えコマンド、および倍率調整コマンドなどである。操作者は、撮像手段４の倍率を調整することで、実機械３の全体映像と拡大映像との両方を確認しながら実機械３を操作することができる。
　モデル生成部１３は、操作部１２からの第１指令情報Ｓ４および第２指令情報Ｓ５を受け取る。モデル生成部１３は、これらの情報に基づいてモデル情報Ｓ６を生成し、映像モデル生成部１４に与える。モデル生成部１３は、第１指令情報Ｓ４を用いて実機械３のモデルを生成する実機械モデル生成部１３１と、第２指令情報Ｓ５を用いて撮像手段４のモデルを生成する撮像モデル生成部１３２とを有する。モデル情報Ｓ６は、実機械３のモデルと撮像手段４のモデルとを組み合わせたものであり、例えば実機械３を所定の方向から見えるように仮想的に投影された３次元モデルである。ここで所定の方向とは、撮像手段４が実機械３を撮影する方向と同じである。すなわち、モデル生成部１３は、実機械３のモデルと撮像手段４のモデルとを組み合わせたモデル情報Ｓ６を出力する。
　映像モデル生成部１４は、制限部１１からの運動可能範囲Ｓ３と、モデル生成部１３からのモデル情報Ｓ６とを受け取る。映像モデル生成部１４は、これらの情報に基づいて、運動可能範囲Ｓ３が映像化された可動情報映像Ｓ７を生成し、映像表示部１５に与える。可動情報映像Ｓ７は、実機械３に対応した運動可能範囲Ｓ３が映像化されたものである。　
　映像表示部１５は、映像モデル生成部１４からの可動情報映像Ｓ７と、撮像手段４からの実機械映像Ｓ８とを受け取る。映像表示部１５は、可動情報映像Ｓ７と実機械映像Ｓ８とに基づいて映像Ｓ９を生成し、映像Ｓ９を操作者に提示する。映像表示部１５は、実機械映像Ｓ８と可動情報映像Ｓ７とを表示する。実機械映像Ｓ８は、実機械３を撮影して映像化されたものである。映像表示部１５は、可動情報映像Ｓ７内の３次元モデルの位置と実機械映像Ｓ８内の実機械の位置とが一致するよう、可動情報映像Ｓ７の位置調整を行う。これにより、可動情報映像Ｓ７が実機械映像Ｓ８に対し正確な位置に重畳される。可動情報映像Ｓ７の位置調整は、可動情報映像Ｓ７と実機械映像Ｓ８との画像特徴点あるいはマーカーなどを利用した画像処理によって行われてもよい。あるいは、可動情報映像Ｓ７と実機械映像Ｓ８との初期位置を補正することによって行われてもよい。可動情報映像Ｓ７の位置調整を行う方法は、これらに限定されない。また、映像表示部１５は実機械映像Ｓ８と可動情報映像Ｓ７とを重畳して表示する必要はなく、例えばそれぞれの映像を別画面で表示してもよい。但し、以下では重畳して表示するものとして説明する。
　実機械３は、操作部１２からの第１指令情報Ｓ４と、ターゲット５からの反作用力Ｓ１１と、非ターゲット６からの反作用力Ｓ１２を受け取る。実機械３は、この第１指令情報Ｓ４に基づいて作用力Ｓ１０を生成し、ターゲット５に与える。ターゲット５は、実機械３が作用力Ｓ１０を与えて動かす対象物である。ターゲット５からの反作用力Ｓ１１は、実機械３がターゲット５を動かす際に発生する。また、非ターゲット６からの反作用力Ｓ１２は、実機械３がターゲット５を動かし、非ターゲット６に接触する際に発生する。
　撮像手段４は、操作部１２からの第２指令情報Ｓ５を受け取る。撮像手段４は、この第２指令情報Ｓ５に基づいて実機械３を撮影して実機械映像Ｓ８を生成し、映像表示部１５に与える。
　ターゲット５は、実機械３からの作用力Ｓ１０を受け取る。ターゲット５は、この作用力Ｓ１０に基づいて、反作用力Ｓ１１を実機械３に与える。
　非ターゲット６は、ターゲット５が非ターゲット６に接触すると、反作用力Ｓ１２を実機械３に与える。図示しないが、反作用力Ｓ１２は、ターゲット５を経由した非ターゲット６からの力も含む。非ターゲット６は、ターゲット５とは異なり、実機械３が作用力Ｓ１０を意図的に与えない対象物である。
　図１において、撮像手段４が常に同じ位置に固定され、かつ常に撮影ＯＮの状態であれば、第２指令情報Ｓ５が撮像手段４に入力されなくても、実機械映像Ｓ８が得られる。この場合、第２指令情報Ｓ５は撮像手段４に入力される必要はなく、撮像モデル生成部１３２にのみ入力される。これは、以降の実施の形態でも同様である。
　図２（ａ）および（ｂ）は、実施の形態１における操作部１２を含む構成の一例を示す模式図である。図２（ａ）は、操作者を背面から見た図であり、図２（ｂ）は、操作者を上面から見た図である。
　図２に示すように、操作者は、映像表示部１５の映像Ｓ９を見ながら、操作部１２を用いて実機械３を遠隔操作する。図２に示す操作部１２、映像表示部１５、および映像Ｓ９は、図１に示す操作部１２、映像表示部１５、および映像Ｓ９と同じであるため、説明を省略する。
　図３は、実施の形態１における操作部１２の一例を示す模式図である。図３に示すように、操作部１２は、操縦桿１２１と、ボタン１２２とを有する。
　操縦桿１２１は、ｘ軸方向、ｙ軸方向、およびｘｙ面内を操作可能とするコントローラである。操縦桿１２１は、実機械３を遠隔操作するのに用いられる。すなわち、操縦桿１２１の操作方向に対応して、実機械３が運動する。例えば、操作者が操縦桿１２１を＋ｘ方向に操作すると、実機械は＋ｘ方向に運動する。
　ボタン１２２は、実機械３をｚ軸方向に動かすためのボタンである。例えば、操作者がボタン１２２を押し続けると、実機械３は＋ｚ方向に運動し、ボタン１２２を離すと、実機械３は－ｚ方向に運動する。この状態でボタン１２２を押すと、実機械３は停止する。
　操作部１２は、図３に示すような操縦桿１２１とボタン１２２とを有するものに限定されない。例えば、操作者がジェスチャーで操作してもよいし、実機械３を模擬した図示しない補助装置を操作者が着用して操作してもよい。ここでジェスチャーは、例えば操作者の近くに配置される図示しないカメラに向かって手を振るなどの動作である。ジェスチャーあるいは補助装置の操作方向に対応して、実機械３が運動する。例えば操作者がジェスチャーあるいは補助装置を用いて＋ｘ方向に操作すると、実機械は＋ｘ方向に運動する。
　図４は、実施の形態１における実機械３を含む構成の一例を示す模式図である。図４に示す撮像手段４、ターゲット５、および非ターゲット６は、図１に示す撮像手段４、ターゲット５、および非ターゲット６と同じであるため、説明を省略する。
　図４に示すように、実機械３は、ｘ軸並進機構３１と、ｙ軸並進機構３２と、ｚ軸並進機構３３と、実機械端３４とを有する。
　ｘ軸並進機構３１は、実機械端３４をｘ軸方向に動かす。すなわち、ｘ軸並進機構３１は、操作者が操作部１２の操縦桿１２１をｘ軸方向に操作すると、実機械端３４をｘ軸方向に動かす。
　ｙ軸並進機構３２は、実機械端３４をｙ軸方向に動かす。すなわち、ｙ軸並進機構３２は、操作者が操作部１２の操縦桿１２１をｙ軸方向に操作すると、実機械端３４をｙ軸方向に動かす。
　ｚ軸並進機構３３は、実機械端３４をｚ軸方向に動かす。すなわち、ｚ軸並進機構３３は、操作者が操作部１２のボタン１２２を押すと、実機械端３４をｚ軸方向に動かす。
　実機械端３４は、操作者からの操作情報Ｓ２に基づいて運動する。
　図４において、撮像手段４は、実機械３を視野に収められる位置に配置される。撮像手段４は、実機械３を撮影して実機械映像Ｓ８を生成する。映像表示部１５は、この実機械映像Ｓ８を表示する。これは、従来の遠隔操作装置と同様である。実施の形態１における映像表示部１５は、実機械映像Ｓ８と、実機械３の運動可能範囲Ｓ３の映像である可動情報映像Ｓ７とを重畳した映像Ｓ９を表示する。以下では、制限部１１での運動可能範囲Ｓ３の設定方法について述べる。
　制限部１１は、５つのモード（以下、「第１のモード」、「第２のモード」、「第３のモード」、「第４のモード」、および「第５のモード」と称する）のうちのいずれか１つのモードによって、実機械３の運動可能範囲Ｓ３を設定する。第１のモードは、操作部１２の操作を強制的に限定する手段によって、運動可能範囲Ｓ３を設定するモードである。第２のモードは、運動可能とする方向に対応するボタンを押すことによって、運動可能範囲Ｓ３を設定するモードである。第３のモードは、予め用意された運動可能パターンによって、運動可能範囲Ｓ３を設定するモードである。第４のモードは、複数の拘束点を結ぶ直線あるいは曲線によって、運動可能範囲Ｓ３を設定するモードである。第５のモードは、光を放出する光源のモデルを生成する光源モデル生成部１３３によって、運動可能範囲Ｓ３を設定するモードである。
　まずは、第１のモードについて詳細に説明する。第１のモードでは、操作部１２は、操作者からの操作を強制的に限定する手段を有する。制限部１１は、この手段によって運動可能範囲Ｓ３を設定する。ここで、強制的に限定する手段とは、操作部１２の操作可能な範囲を物理的に限定するものである。一例として、後に説明するｘ軸並進板１１ａおよびｙ軸並進板１１ｂである。図５（ａ）および（ｂ）は、実施の形態１において第１のモードで運動可能範囲Ｓ３を設定する場合の制限部１１の一例を示す模式図である。図５（ａ）は、制限部１１がｘ軸並進板１１ａの場合の模式図である。図５（ｂ）は、制限部１１がｙ軸並進板１１ｂの場合の模式図である。
　図５（ａ）に示すｘ軸並進板１１ａは、操作部１２に装着される。これにより、操縦桿１２１の操作をｘ軸方向に制限することができる。同様に、図５（ｂ）に示すｙ軸並進板１１ｂは、操作部１２に装着される。これにより、操縦桿１２１の操作をｙ軸方向に制限することができる。
　図６（ａ）および（ｂ）は、実施の形態１において第１のモードで運動可能範囲Ｓ３を設定した場合の映像表示部１５での映像Ｓ９の一例を示す模式図である。図６（ａ）は、ｘ軸並進板１１ａを操作部１２に装着した場合の映像Ｓ９ａの模式図である。図６（ｂ）は、ｙ軸並進板１１ｂを操作部１２に装着した場合の映像Ｓ９ｂの模式図である。
　図６（ａ）に示すように、映像Ｓ９ａは、実機械映像Ｓ８ａと可動情報映像Ｓ７ａとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ａは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図６（ａ）の場合、可動情報映像Ｓ７ａは、ｘ軸方向と同じ方向の運動可能範囲Ｓ３の映像となり、実機械映像Ｓ８ａの上側と下側とに表示される。
　図６（ｂ）に示すように、映像Ｓ９ｂは、実機械映像Ｓ８ａと可動情報映像Ｓ７ｂとが重畳された映像となる。可動情報映像Ｓ７ｂは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図６（ｂ）の場合、可動情報映像Ｓ７ｂは、ｙ軸方向と同じ方向の運動可能範囲Ｓ３の映像となり、実機械映像Ｓ８ａの上側と下側とに表示される。
　ｘ軸並進板１１ａが操作部１２に装着されると、映像モデル生成部１４は運動可能範囲Ｓ３がｘ軸方向であることを同定する。同様に、ｙ軸並進板１１ｂが操作部１２に装着されると、映像モデル生成部１４は運動可能範囲Ｓ３がｙ軸方向であることを同定する。また、映像モデル生成部１４は、この同定した情報とモデル生成部１３からのモデル情報Ｓ６とを適合させ、可動情報映像Ｓ７ａを生成する。モデル情報Ｓ６の代わりに、実機械映像Ｓ８ａを画像処理することで取得される空間情報、すなわち実機械映像Ｓ８ａ内のｘ軸方向に相当するベクトル情報であってもよい。この場合、映像モデル生成部１４は、同定した情報と空間情報とを適合させ、可動情報映像Ｓ７ａを生成する。これは、ｙ軸並進板１１ｂが操作部１２に装着された場合でも同様である。
　また、図６（ａ）および（ｂ）では、それぞれ可動情報映像Ｓ７ａおよびＳ７ｂが実機械映像Ｓ８ａ内の上側と下側とに表示されているが、運動可能範囲Ｓ３と同じ方向であることが分かれば、表示される場所は限定されない。例えば、実機械映像Ｓ８ａ内の中央であってもよい。これは、以降の実施の形態でも同様である。
　加えて、映像表示部１５は、実機械端３４のｘｙ平面上における位置の映像を、映像Ｓ９ａおよびＳ９ｂに重畳させてもよい。例えば、実機械端３４のｘｙ平面への図示しない投影点を可動情報映像Ｓ７ａおよびＳ７ｂに重畳させる。この投影点のｘ座標とｙ座標は、実機械端３４のｘ座標とｙ座標であり、それぞれ操縦桿１２１のｘ軸方向の操作量とｙ軸方向の操作量に対応する。操作量に関する情報は、モデル情報Ｓ６に含まれる。映像モデル生成部１４は、このモデル情報Ｓ６に基づいて投影点の映像を生成し、映像表示部１５は、投影点の映像を映像Ｓ９ａおよび映像Ｓ９ｂに重畳させる。これは、以降の実施の形態でも同様である。投影点を映像Ｓ９ａおよびＳ９ｂに重畳させることで、実機械３の操作性が向上する。
　なお、第１のモードにおける制限部１１は、ｘ軸並進板１１ａおよびｙ軸並進板１１ｂに限定されず、例えば図示しない斜め方向の並進板であってもよいし、図示しないｘ軸方向とｙ軸方向を共に運動可能とする並進板であってもよい。また、操作者が手を振るジェスチャーであってもよいし、実機械を模擬した図示しない補助装置を操作者が着用してもよい。ジェスチャーの場合、実機械３の運動可能範囲Ｓ３をジェスチャーにより設定した後、同じくジェスチャーにより実機械３を遠隔操作する。操作者が補助装置を着用する場合、補助装置そのものが運動可能範囲Ｓ３を制限された構造を有する。すなわち、操作者が補助装置を着用すると、運動可能範囲Ｓ３を制限されながら、実機械３を遠隔操作する。一例として、モビルスーツである。
　第１のモードで運動可能範囲Ｓ３を設定した場合、操作者は、運動可能範囲Ｓ３が制限された状態で、可動情報映像Ｓ７ａあるいはＳ７ｂを確認しながら操作部１２を操作する。これにより、実機械３の遠隔操作を行う上で、作業効率を良くすることができる。
　次に、第２のモードについて詳細に説明する。第２のモードでは、操作部１２は、運動可能とする方向に対応するボタンを有する。制限部１１は、このボタンを押すことで運動可能範囲Ｓ３を設定する。図７は、実施の形態１において第２のモードで運動可能範囲Ｓ３を設定する場合の制限部１１の一例を示す模式図である。図７は、制限部１１がｘ軸制限ボタン１１ｃおよびｙ軸制限ボタン１１ｄの場合の模式図である。
　図７に示すｘ軸制限ボタン１１ｃおよびｙ軸制限ボタン１１ｄは、操作部１２に設けられる。操作者がｘ軸制限ボタン１１ｃを押すと、操縦桿１２１の操作をｘ軸方向に制限することができる。同様に、操作者がｙ軸制限ボタン１１ｄを押すと、操縦桿１２１の操作をｙ軸方向に制限することができる。なお、ｘ軸制限ボタン１１ｃおよびｙ軸制限ボタン１１ｄは、必ずしも操作部１２に設けられる必要はなく、操作者の近くであればどこに設けられてもよい。
　図８（ａ）および（ｂ）は、実施の形態１において第２のモードで運動可能範囲Ｓ３を設定した場合の映像表示部１５での映像Ｓ９の一例を示す模式図である。図８（ａ）は、ｘ軸制限ボタン１１ｃを押した場合の映像Ｓ９ａの模式図である。図８（ｂ）は、ｙ軸制限ボタン１１ｄを押した場合の映像Ｓ９ｂの模式図である。図８（ａ）の映像Ｓ９ａは、図６（ａ）の映像Ｓ９ａと同じであり、図８（ｂ）の映像Ｓ９ｂは、図６（ｂ）の映像Ｓ９ｂと同じであるため、説明を省略する。
　ｘ軸制限ボタン１１ｃが押されると、映像モデル生成部１４は運動可能範囲Ｓ３がｘ軸方向であることを同定する。これにより、可動情報映像Ｓ７ａが生成される。同様に、ｙ軸制限ボタン１１ｄが押されると、映像モデル生成部１４は運動可能範囲Ｓ３がｙ軸方向であることを同定する。これにより、可動情報映像Ｓ７ｂが生成される。
　なお、ｘ軸制限ボタン１１ｃとｙ軸制限ボタン１１ｄとが両方押されると、運動可能範囲Ｓ３はｘ軸方向とｙ軸方向の両方となる。
　また、上記ではｘ軸制限ボタン１１ｃを押した場合、運動可能範囲Ｓ３はｘ軸方向となり、ｙ軸制限ボタン１１ｄを押した場合、運動可能範囲Ｓ３はｙ軸方向となる。その代わりに、ｘ軸制限ボタン１１ｃを押した場合、ｘ軸方向を拘束する構造とし、ｙ軸制限ボタン１１ｄを押した場合、ｙ軸方向を拘束する構造としてもよい。この場合、ｘ軸制限ボタン１１ｃを押した場合、運動可能範囲Ｓ３はｙ軸方向となり、ｙ軸制限ボタン１１ｄを押した場合、運動可能範囲Ｓ３はｘ軸方向となる。
　第２のモードで運動可能範囲Ｓ３を設定した場合、第１のモードでの効果に加え、操作者は、第１のモードで必要なｘ軸並進板１１ａおよびｙ軸並進板１１ｂを不要とし、これらを操作部１２に装着する手間を省くことができる。
　次に、第３のモードについて詳細に説明する。第３のモードでは、制限部１１は、予め用意された運動可能パターンによって運動可能範囲Ｓ３を設定する。図９は、実施の形態１において第３のモードで運動可能範囲Ｓ３を設定する場合の制限部１１の一例を示す模式図である。
　図９に示すように、映像表示部１５からの映像Ｓ９ｃに、制限パターン１１ｅ～１１ｊが表示される。制限パターン１１ｅ～１１ｊは、予め用意された運動可能パターンである。操作者は、実機械３を遠隔操作する前に、操作部１２を用いて制限パターン１１ｅ～１１ｊの中からいずれか１つを選択する。例えば、操作者が制限パターン１１ｅを選択する場合、操縦桿１２１を用いてカーソル１１ｋを制限パターン１１ｅに合わせ、ボタン１２２を押す。これにより、制限部１１は運動可能範囲Ｓ３をｘ軸方向に設定する。なお、運動可能パターンは制限パターン１１ｅ～１１ｊに限定されない。また、映像表示部１５がタッチディスプレイ機能を有しており、操作者が手で画面操作して、制限パターン１１ｅ～１１ｊの中から選択してもよい。これにより、カーソル１１ｋを不要とし、簡単な操作を可能とする。
　図１０（ａ）～（ｆ）は、実施の形態１において第３のモードで運動可能範囲Ｓ３を設定した場合の映像表示部１５での映像Ｓ９の一例を示す模式図である。図１０（ａ）は、制限パターン１１ｅが選択された場合の映像Ｓ９ａの模式図である。図１０（ｂ）は、制限パターン１１ｆが選択された場合の映像Ｓ９ｂの模式図である。図１０（ｃ）は、制限パターン１１ｇが選択された場合の映像Ｓ９ｄの模式図である。図１０（ｄ）は、制限パターン１１ｈが選択された場合の映像Ｓ９ｅの模式図である。図１０（ｅ）は、制限パターン１１ｉが選択された場合の映像Ｓ９ｆの模式図である。図１０（ｆ）は、制限パターン１１ｊが選択された場合の映像Ｓ９ｇの模式図である。図１０（ａ）の映像Ｓ９ａは、図６（ａ）の映像Ｓ９ａと同じであり、図１０（ｂ）の映像Ｓ９ｂは、図６（ｂ）の映像Ｓ９ｂと同じであるため、説明を省略する。
　図１０（ｃ）に示すように、映像Ｓ９ｄは、実機械映像Ｓ８ａと可動情報映像Ｓ７ｃとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｃは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図１０（ｃ）の場合、可動情報映像Ｓ７ｃは、斜め方向の運動可能範囲Ｓ３の映像となる。
　図１０（ｄ）に示すように、映像Ｓ９ｅは、実機械映像Ｓ８ａと可動情報映像Ｓ７ｄとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｄは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図１０（ｄ）の場合、可動情報映像Ｓ７ｄは、斜め方向の運動可能範囲Ｓ３の映像となる。
　図１０（ｅ）に示すように、映像Ｓ９ｆは、実機械映像Ｓ８ａと可動情報映像Ｓ７ｅとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｅは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図１０（ｅ）の場合、可動情報映像Ｓ７ｅは、ｘ軸方向と同じ方向、およびｙ軸方向と同じ方向の運動可能範囲Ｓ３の映像となる。
　図１０（ｆ）に示すように、映像Ｓ９ｇは、実機械映像Ｓ８ａと可動情報映像Ｓ７ｆとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｆは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図１０（ｆ）の場合、可動情報映像Ｓ７ｆは、２つの斜め方向の運動可能範囲Ｓ３の映像となる。
　制限部１１ｅが選択されると、映像モデル生成部１４は運動可能範囲Ｓ３がｘ軸方向であることを同定する。これにより、可動情報映像Ｓ７ａが生成される。制限部１１ｆ～１１ｊが選択された場合でも同様である。
　第３のモードで運動可能範囲Ｓ３を設定した場合、第２のモードでの効果に加え、運動可能範囲Ｓ３の選択肢が多くなる。
　次に、第４のモードについて詳細に説明する。第４のモードでは、制限部１１は、複数の拘束点を結ぶ直線あるいは曲線によって運動可能範囲Ｓ３を設定する。図１１（ａ）～（ｄ）は、実施の形態１において第４のモードで運動可能範囲Ｓ３を設定する場合の制限部１１の一例を示す模式図である。
　図１１（ａ）に示すように、操作者は、映像Ｓ９ｈを見ながら、操作部１２を用いて運動可能範囲Ｓ３を設定する。具体的には、操縦桿１２１を用いてカーソル１１ｍａを制限部１１ｍ内の任意の箇所に合わせ、ボタン１２２を押すことで拘束点を複数設定する。図１１（ａ）では、４つの拘束点１１ｍｄ、１１ｍｅ、１１ｍｆ、および１１ｍｇが順番に設定される。設定後、ＯＫボタン１１ｍｂを押すと、運動可能範囲Ｓ３の設定が終了する。また、設定中にＣＡＮＣＥＬボタン１１ｍｃを押すと、１つ前の拘束点設定に戻る。例えば、拘束点１１ｍｆを設定した後にＣＡＮＣＥＬボタン１１ｍｃを押すと、拘束点１１ｍｅが設定された状態に戻る。これにより、拘束点を設定し直すことができる。図１１（ａ）の場合、４つの拘束点１１ｍｄ、１１ｍｅ、１１ｍｆ、および１１ｍｇを結ぶ直線が運動可能範囲Ｓ３となる。
　図１１（ｂ）に示すように、操作者は、映像Ｓ９ｉを見ながら、操作部１２を用いて運動可能範囲Ｓ３を設定する。具体的には、操縦桿１２１を用いてカーソル１１ｎａを制限部１１ｎ内の任意の箇所に合わせ、ボタン１２２を押すことで拘束点を複数設定する。図１１（ｂ）では、４つの拘束点１１ｎｄ、１１ｎｅ、１１ｎｆ、および１１ｎｇが順番に設定される。設定後、ＯＫボタン１１ｎｂを押すと、運動可能範囲Ｓ３の設定が終了する。なお、各拘束点を設定後、次の拘束点にカーソル１１ｎａを移動する際、ボタン１２２を押しながら移動する。これにより、移動経路に従った運動可能範囲Ｓ３が設定され、直線または任意の曲線にすることができる。しかし、ボタン１２２を押しながらカーソル１１ｎａを移動させると、直線または曲線が歪む。そこで、操作部１２はこれを自動的に補正する機能を有し、補正することで歪みを無くすことができる。また、設定中にＣＡＮＣＥＬボタン１１ｎｃを押すと、１つ前の拘束点設定に戻る。例えば、拘束点１１ｎｆを設定した後にＣＡＮＣＥＬボタン１１ｎｃを押すと、拘束点１１ｎｅが設定された状態に戻る。これにより、拘束点を設定し直すことができる。図１１（ｂ）の場合、４つの拘束点１１ｎｄ、１１ｎｅ、１１ｎｆ、および１１ｎｇを結ぶ曲線が運動可能範囲Ｓ３となる。
　図１１（ｃ）に示すように、操作者は、映像Ｓ９ｊを見ながら、操作部１２を用いて運動可能範囲Ｓ３を設定する。具体的には、操縦桿１２１を用いてカーソル１１оａを制限部１１о内の任意の箇所に合わせ、ボタン１２２を押すことで拘束点を複数設定する。図１１（ｃ）では、４つの拘束点１１оｄ、１１оｅ、１１оｆ、および１１оｇが順番に設定され、拘束点１１оｄが再度設定される。設定後、ＯＫボタン１１оｂを押すと、運動可能範囲Ｓ３の設定が終了する。また、設定中にＣＡＮＣＥＬボタン１１оｃを押すと、１つ前の拘束点設定に戻る。例えば、拘束点１１оｆを設定した後にＣＡＮＣＥＬボタン１１оｃを押すと、拘束点１１оｅが設定された状態に戻る。これにより、拘束点を設定し直すことができる。図１１（ｃ）の場合、４つの拘束点１１оｄ、１１оｅ、１１оｆ、および１１оｇを結ぶ直線、あるいは直線によって囲まれた領域が運動可能範囲Ｓ３となる。直線とするか、あるいは領域とするかは、予め選択できるものとする。
　図１１（ｄ）に示すように、操作者は、映像Ｓ９ｋを見ながら、操作部１２を用いて運動可能範囲Ｓ３を設定する。具体的には、操縦桿１２１を用いてカーソル１１ｐａを制限部１１ｐ内の任意の箇所に合わせ、ボタン１２２を押すことで拘束点を複数設定する。図１１（ｄ）では、４つの拘束点１１ｐｄ、１１ｐｅ、１１ｐｆ、および１１ｐｇが順番に設定され、拘束点１１ｐｄが再度設定される。設定後、ＯＫボタン１１ｐｂを押すと、運動可能範囲Ｓ３の設定が終了する。なお、各拘束点を設定後、次の拘束点にカーソル１１ｐａを移動する際、ボタン１２２を押しながら移動する。これにより、移動経路に従った運動可能範囲Ｓ３が設定され、直線または任意の曲線にすることができる。しかし、ボタン１２２を押しながらカーソル１１ｐａを移動させると、直線または曲線が歪む。そこで、操作部１２はこれを自動的に補正する機能を有し、補正することで歪みを無くすことができる。また、設定中にＣＡＮＣＥＬボタン１１ｐｃを押すと、１つ前の拘束点設定に戻る。例えば、拘束点１１ｐｆを設定した後にＣＡＮＣＥＬボタン１１ｐｃを押すと、拘束点１１ｐｅが設定された状態に戻る。これにより、拘束点を設定し直すことができる。図１１（ｄ）の場合、４つの拘束点１１ｐｄ、１１ｐｅ、１１ｐｆ、および１１ｐｇを結ぶ曲線、あるいは曲線によって囲まれた領域が運動可能範囲Ｓ３となる。直線とするか、あるいは領域とするかは、予め選択できるものとする。
　図１１（ａ）～（ｄ）において、映像表示部１５がタッチディスプレイ機能を有しており、操作者が手で画面操作して、運動可能範囲Ｓ３を設定してもよい。これにより、カーソル１１ｍａ、１１ｎａ、１１оａ、および１１ｐａを不要とし、簡単な操作を可能とする。
　図１２（ａ）～（ｆ）は、実施の形態１において第４のモードで運動可能範囲Ｓ３を設定した場合の映像表示部１５での映像Ｓ９の一例を示す模式図である。図１２（ａ）は、制限部１１ｍで運動可能範囲Ｓ３を設定し、映像モデル生成部１４で生成された可動情報映像Ｓ７ｇを実機械映像Ｓ８ａに重畳した映像Ｓ９ｍの模式図である。図１２（ｂ）は、制限部１１ｎで運動可能範囲Ｓ３を設定し、映像モデル生成部１４で生成された可動情報映像Ｓ７ｈを実機械映像Ｓ８ａに重畳した映像Ｓ９ｎの模式図である。図１２（ｃ）は、制限部１１оで運動可能範囲Ｓ３を設定し、映像モデル生成部１４で生成された可動情報映像Ｓ７ｉを実機械映像Ｓ８ａに重畳した映像Ｓ９оの模式図である。図１２（ｄ）は、制限部１１ｐで運動可能範囲Ｓ３を設定し、映像モデル生成部１４で生成された可動情報映像Ｓ７ｊを実機械映像Ｓ８ａに重畳した映像Ｓ９ｐの模式図である。図１２（ｅ）は、制限部１１оで運動可能範囲Ｓ３を設定し、映像モデル生成部１４で生成された可動情報映像Ｓ７ｋを実機械映像Ｓ８ａに重畳した別の映像Ｓ９ｑの模式図である。図１２（ｆ）は、制限部１１ｐで運動可能範囲Ｓ３を設定し、映像モデル生成部１４で生成された可動情報映像Ｓ７ｍを実機械映像Ｓ８ａに重畳した別の映像Ｓ９ｒの模式図である。
　図１２（ａ）に示すように、映像Ｓ９ｍは、実機械映像Ｓ８ａと可動情報映像Ｓ７ｇとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｇは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図１２（ａ）の場合、可動情報映像Ｓ７ｇは、４つの拘束点を結ぶ直線である運動可能範囲Ｓ３の映像となる。
　図１２（ｂ）に示すように、映像Ｓ９ｎは、実機械映像Ｓ８ａと可動情報映像Ｓ７ｈとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｈは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図１２（ｂ）の場合、可動情報映像Ｓ７ｈは、４つの拘束点を結ぶ曲線である運動可能範囲Ｓ３の映像となる。
　図１２（ｃ）に示すように、映像Ｓ９оは、実機械映像Ｓ８ａと可動情報映像Ｓ７ｉとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｉは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図１２（ｃ）の場合、可動情報映像Ｓ７ｉは、４つの拘束点を結ぶ直線である運動可能範囲Ｓ３の映像となる。
　図１２（ｄ）に示すように、映像Ｓ９ｐは、実機械映像Ｓ８ａと可動情報映像Ｓ７ｊとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｊは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図１２（ｄ）の場合、可動情報映像Ｓ７ｊは、４つの拘束点を結ぶ曲線である運動可能範囲Ｓ３の映像となる。
　図１２（ｅ）に示すように、映像Ｓ９ｑは、実機械映像Ｓ８ａと可動情報映像Ｓ７ｋとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｋは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図１２（ｅ）の場合、可動情報映像Ｓ７ｋは、４つの拘束点を結ぶ直線によって囲まれた領域である運動可能範囲Ｓ３の映像となる。
　図１２（ｆ）に示すように、映像Ｓ９ｒは、実機械映像Ｓ８ａと可動情報映像Ｓ７ｍとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｍは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図１２（ｆ）の場合、可動情報映像Ｓ７ｍは、４つの拘束点を結ぶ曲線によって囲まれた領域である運動可能範囲Ｓ３の映像となる。
　制限部１１ｍで運動可能範囲Ｓ３が設定されると、映像モデル生成部１４は運動可能範囲Ｓ３が４つの拘束点を結ぶ直線であることを同定する。これにより、可動情報映像Ｓ７ｇが生成される。制限部１１ｎ～１１ｐで運動可能範囲Ｓ３が設定された場合でも同様である。
　第４のモードで運動可能範囲Ｓ３を設定した場合、第３のモードでの効果に加え、運動可能範囲Ｓ３の設定自由度が高くなる。
　次に、第５のモードについて詳細に説明する。図１３は、実施の形態１において第５のモードで運動可能範囲Ｓ３を設定した場合のモデル生成部１３の構成の一例を示すブロック図である。第５のモードでは、操作部１２は、制限部１１からの運動可能範囲Ｓ３に基づいて、光を放出する光源を操作するための入力情報である第３指令情報Ｓ１３を更に生成する。モデル生成部１３は、第３指令情報Ｓ１３を用いて光源のモデルを生成する光源モデル生成部１３３を更に有し、実機械３のモデルと撮像手段４のモデルと光源のモデルとを組み合わせたモデル情報Ｓ６を出力する。
　モデル生成部１３は、操作部１２から実機械モデル生成部１３１への第１指令情報Ｓ４、操作部１２から撮像モデル生成部１３２への第２指令情報Ｓ５、および操作部１２から光源モデル生成部１３３への第３指令情報Ｓ１３に基づいてモデル情報Ｓ６を生成し、映像モデル生成部１４に与える。第３指令情報Ｓ１３は、光を放出する光源を操作するための入力情報である。具体的には、第３指令情報Ｓ１３は、光源への電源ＯＮ／ＯＦＦ切り替えコマンド、および光源をｘｙ平面内で回転させるための入力情報である。この第３指令情報Ｓ１３がそのまま光源モデル生成部１３３へ入力されることにより、光源モデル生成部１３３からの光線の出力ＯＮ／ＯＦＦ切り替え制御、および光線の軌跡の回転制御が可能となる。
　図１４は、実施の形態１において第５のモードで運動可能範囲Ｓ３を設定する場合の操作部１２の一例を示す模式図である。図１４は、図３に示す操縦桿１２１がＲｚ方向の回転も可能であり、制限部１１の機能を有する場合の模式図である。反時計周りが＋Ｒｚ方向、時計周りが－Ｒｚ方向である。
　操作者が操縦桿１２１をｘｙ平面内で回転させてボタン１２２を押すと、ボタン１２２が押された時の操縦桿１２１の方向ベクトルが運動可能範囲Ｓ３として設定される。なお、操作者は、方向ベクトルを複数設定してもよい。この場合、操縦桿１２１をｘｙ平面で回転させ、ボタン１２２を押す動作を繰り返し行う。これにより、複数の方向ベクトルが運動可能範囲Ｓ３として設定される。あるいは、複数の方向ベクトルによって囲まれた領域が運動可能範囲Ｓ３として設定される。複数の方向ベクトルとするか、あるいは領域とするかは、予め選択できるものとする。
　図１５は、実施の形態１において第５のモードで運動可能範囲Ｓ３を設定した場合の映像表示部１５での映像Ｓ９の一例を示す模式図である。図１５は、操縦桿１２１で運動可能範囲Ｓ３を設定した場合の映像Ｓ９ｓの模式図である。
　図１５に示すように、映像Ｓ９ｓは、実機械映像Ｓ８ａと可動情報映像Ｓ７ｎとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｎは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図１５の場合、可動情報映像Ｓ７ｎは、方向ベクトルで表される運動可能範囲Ｓ３の映像と、モデル情報Ｓ６のうち光源モデル生成部１３３からのモデル情報の映像とが含まれる。
　図１６は、実施の形態１において第５のモードで運動可能範囲Ｓ３を設定した場合の映像表示部１５での別の映像Ｓ９の一例を示す模式図である。図１６は、操縦桿１２１で方向ベクトルを２つ設定し、２つの方向ベクトルによって囲まれた領域を運動可能範囲Ｓ３として選択した場合の映像Ｓ９ｔの模式図である。
　図１６に示すように、映像Ｓ９ｔは、実機械映像Ｓ８ａと可動情報映像Ｓ７оとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７оは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図１６の場合、可動情報映像Ｓ７оは、２つの方向ベクトルで囲まれた領域で表される運動可能範囲Ｓ３の映像と、モデル情報Ｓ６のうち光源モデル生成部１３３からのモデル情報の映像とが含まれる。
　第５のモードで運動可能範囲Ｓ３を設定した場合、第４のモードでの効果と同様の効果が得られる。
　以上で説明した実施の形態１によれば、制限部１１によって実機械３の運動可能範囲Ｓ３が設定される。これにより、実機械３の複雑な遠隔操作を回避できる。また、制限部１１からの運動可能範囲Ｓ３とモデル生成部１３からのモデル情報Ｓ６とに基づいて生成される可動情報映像Ｓ７と、撮像手段４によって生成される実機械映像Ｓ８とを重畳させた映像Ｓ９が映像表示部１５によって生成される。これにより、運動可能範囲Ｓ３を確認しながら実機械３を遠隔操作でき、従来に比べて作業効率を良くすることができる。
実施の形態２．
　図１７は、実施の形態２における遠隔操作装置１の構成の一例を示すブロック図である。
　図１７に示すように、遠隔操作装置１は、制限部１１と、操作部１２と、映像表示部１５とを備える。図１７に示す制限部１１、実機械３、ターゲット５、および非ターゲット６は、図１に示す制限部１１、実機械３、ターゲット５、および非ターゲット６と同じであるため、説明を省略する。
　操作部１２は、操作者からの操作情報Ｓ２と、制限部１１からの運動可能範囲Ｓ３とを受け取る。操作部１２は、これらの情報に基づいて第１指令情報Ｓ４と第２指令情報Ｓ５と第４指令情報Ｓ１４とを生成し、第１指令情報Ｓ４を実機械３に与え、第２指令情報Ｓ５を撮像手段４に与え、第４指令情報Ｓ１４を運動可能範囲形成手段７に与える。第４指令情報Ｓ１４については、後に説明する。
　映像表示部１５は、撮像手段４からの実機械映像Ｓ８および可動情報映像Ｓ１５を受け取る。映像表示部１５は、これらの映像を重畳した映像Ｓ９を生成し、操作者に提示する。可動情報映像Ｓ１５は、撮像手段４によって直接撮影される運動可能範囲Ｓ３の映像である。
　撮像手段４は、操作部１２からの第２指令情報Ｓ５を受け取る。撮像手段４は、この第２指令情報Ｓ５に基づいて、実機械映像Ｓ８と可動情報映像Ｓ１５とを映像表示部１５に与える。
　運動可能範囲形成手段７は、実機械３の運動可能範囲Ｓ３を形成する。運動可能範囲形成手段７は、操作部１２からの第４指令情報Ｓ１４を受け取る。図１７では、運動可能範囲形成手段７は実機械３と接続されているが、運動可能範囲Ｓ３を実機械３内で示すことができれば、実機械３と接続されていなくてもよい。運動可能範囲形成手段７は、例えば光を放出する光源であり、レーザ光源やＬＥＤ光源などである。この場合、光源から放出され、実機械３およびその周辺に結像される光のパターンが運動可能範囲Ｓ３となる。光のパターンは、撮像手段４によって撮影されて映像となり、映像表示部１５に表示される。光源は、撮像手段４によって撮影可能な波長の光を放出するものである。例えば、撮像手段４として赤外カメラを用いる場合、光源は赤外領域の波長を有するレーザである。第４指令情報Ｓ１４は、実機械３の運動可能範囲Ｓ３を形成する運動可能範囲形成手段７を操作するための入力情報である。具体的には、第４指令情報Ｓ１４は、運動可能範囲形成手段７への電源ＯＮ／ＯＦＦ切り替えコマンド、および運動可能範囲形成手段７をｘｙ平面内で回転させるための入力情報である。
　図１７に示すように、運動可能範囲形成手段７を撮像手段４で撮影することで、実機械映像Ｓ８だけでなく可動情報映像Ｓ１５も撮像手段４で取得することができる。これにより、実施の形態１における遠隔操作装置１に対し、モデル生成部１３と映像モデル生成部１４とを不要とする。
　実施の形態２における操作部１２を含む構成は、図２に示す構成と同じであるため、説明を省略する。
　実施の形態２における操作部１２は、図１４に示す操作部１２と同じである。すなわち、操縦桿１２１はＲｚ方向の回転も可能であり、制限部１１の機能を有する。運動可能範囲Ｓ３の設定方法は、図１４を用いて説明した設定方法と同じである。
　図１８は、実施の形態２における実機械３を含む構成の一例を示す模式図である。図１８に示す実機械３、撮像手段４、ターゲット５、および非ターゲット６は、図４に示す実機械３、撮像手段４、ターゲット５、および非ターゲット６と同じであるため、説明を省略する。
　図１８に示すように、ｚ軸並進機構３３の中央近傍に、運動可能範囲形成手段７が接続されている。この場合、運動可能範囲形成手段７はレーザ光源７１であり、レーザ光源７１からレーザ光線７２が出力される。レーザ光線７２の出力方向は、操縦桿１２１を用いて設定される。図１８の場合、運動可能範囲形成手段７はｚ軸並進機構３３の中央近傍に配置されているが、これに限定されない。例えば、ｚ軸並進機構３３の上側あるいは下側に配置されてもよい。また、実機械３の外側に配置されてもよい。
　図１９は、実施の形態２における実機械３を含む別の構成の一例を示す模式図である。図１９に示す実機械３、撮像手段４、ターゲット５、および非ターゲット６は、図４に示す実機械３、撮像手段４、ターゲット５、および非ターゲット６と同じであるため、説明を省略する。
　図１９に示すように、ｚ軸並進機構３３の中央近傍に、運動可能範囲形成手段７が接続されている。この場合、運動可能範囲形成手段７はマルチレーザ光源７３であり、マルチレーザ光線７４が出力される。マルチレーザ光線７４の出力方向は、操縦桿１２１を用いて設定される。図１９の場合、運動可能範囲形成手段７はｚ軸並進機構３３の中央近傍に配置されているが、これに限定されない。例えば、ｚ軸並進機構３３の上側あるいは下側に配置されてもよい。また、実機械３の外側に配置されてもよい。
　運動可能範囲形成手段７が、図１８に示すレーザ光源の場合、操作者が操縦桿１２１をｘｙ平面内で回転させてボタン１２２を押すと、ボタン１２２が押された時の操縦桿１２１の方向ベクトルが運動可能範囲Ｓ３として設定される。
　運動可能範囲形成手段７が、図１９に示すマルチレーザ光源の場合、操作者が操縦桿１２１をｘｙ平面内で回転させてボタン１２２を押す動作を２回行うと、２つの方向ベクトルが運動可能範囲Ｓ３として設定される。あるいは、２つの方向ベクトルによって囲まれた領域が運動可能範囲Ｓ３として設定される。２つの方向ベクトルとするか、あるいは領域とするかは、予め選択できるものとする。
　図２０は、実施の形態２における映像表示部１５での映像Ｓ９の一例を示す模式図である。図２０は、操縦桿１２１で運動可能範囲Ｓ３を設定した場合の映像Ｓ９ｕの模式図である。
　図２０に示すように、映像Ｓ９ｕは、実機械映像Ｓ８ｂと可動情報映像Ｓ１５ａとが重畳された映像となる。実機械映像Ｓ８ｂは、撮像手段４によって撮影された実機械３と運動可能範囲形成手段７との映像である。可動情報映像Ｓ１５ａは、撮像手段４によって撮影された運動可能範囲Ｓ３の映像である。図２０の場合、可動情報映像Ｓ１５ａは、方向ベクトルで表される運動可能範囲Ｓ３の映像となる。
　図２１は、実施の形態２における映像表示部１５での別の映像Ｓ９の一例を示す模式図である。図２１は、操縦桿１２１で方向ベクトルを２つ設定し、２つの方向ベクトルによって囲まれた領域を運動可能範囲Ｓ３として選択した場合の映像Ｓ９ｖの模式図である。
　図２１に示すように、映像Ｓ９ｖは、実機械映像Ｓ８ｃと可動情報映像Ｓ１５ｂとが重畳された映像となる。実機械映像Ｓ８ｃは、撮像手段４によって撮影された実機械３と運動可能範囲形成手段７との映像である。可動情報映像Ｓ１５ｂは、撮像手段４によって撮影された運動可能範囲Ｓ３の映像である。図２１の場合、可動情報映像Ｓ１５ｂは、２つの方向ベクトルで囲まれた領域で表される運動可能範囲Ｓ３の映像となる。
　以上で説明した実施の形態２によれば、運動可能範囲形成手段７が実機械３に設けられることにより、実機械映像Ｓ８と可動情報映像Ｓ１５との両方が撮像手段４によって生成される。これにより、実施の形態１で得られる効果に加え、実施の形態１のモデル生成部１３と映像モデル生成部１４とを不要とすることができる。
実施の形態３．
　図２２は、実施の形態３における遠隔操作装置１の構成の一例を示すブロック図である。
　図２２に示すように、遠隔操作装置１は、制限部１１と、操作部１２と、モデル生成部１３と、映像モデル生成部１４と、映像表示部１５とを備える。図２２は、図１に示す実施の形態１の構成に対し、駆動モデル生成部１３４と駆動装置８とが追加された構成を示すブロック図である。図２２に示す制限部１１、映像モデル生成部１４、映像表示部１５、実機械３、撮像手段４、ターゲット５、および非ターゲット６は、図１に示す制限部１１、映像モデル生成部１４、映像表示部１５、実機械３、撮像手段４、ターゲット５、および非ターゲット６と同じであるため、説明を省略する。
　操作部１２は、操作者からの操作情報Ｓ２と、制限部１１からの運動可能範囲Ｓ３とを受け取る。操作部１２は、これらの情報に基づいて第１指令情報Ｓ４と第２指令情報Ｓ５と第５指令情報Ｓ１６とを生成し、第１指令情報Ｓ４を実機械３および実機械モデル生成部１３１に与え、第２指令情報Ｓ５を撮像手段４および撮像モデル生成部１３２に与え、第５指令情報Ｓ１６を駆動装置８および駆動モデル生成部１３４に与える。第５指令情報Ｓ１６については、後に説明する。
　モデル生成部１３は、操作部１２によって生成される第５指令情報Ｓ１６を用いて撮像手段４を駆動する駆動装置８のモデルを生成する駆動モデル生成部１３４を更に有する。モデル生成部１３は、操作部１２から実機械モデル生成部１３１への第１指令情報Ｓ４、操作部１２から撮像モデル生成部１３２への第２指令情報Ｓ５、および操作部１２から駆動モデル生成部１３４への第５指令情報Ｓ１６に基づいてモデル情報Ｓ６を生成し、映像モデル生成部１４に与える。第５指令情報Ｓ１６は、撮像手段４を駆動する駆動装置８を操作するための入力情報である。具体的には、第５指令情報Ｓ１６は、駆動装置８を制御するための制御情報である。
　駆動装置８は、撮像手段４と接続され、操作部１２からの第５指令情報Ｓ１６を受け取る。駆動装置８は、この第５指令情報Ｓ１６に基づいて回転する。これにより、撮像手段４の向きが変わり、実機械３を撮影する方向を変更することができる。
　なお、本実施の形態において、実施の形態１における第５のモードで運動可能範囲Ｓ３を設定する場合は、図１３に示す光源モデル生成部１３３を図２２のモデル生成部１３に追加すればよい。この場合、モデル生成部１３は、実機械３のモデルと撮像手段４のモデルと光源のモデルと駆動装置８のモデルとを組み合わせたモデル情報Ｓ６を出力する。本実施の形態におけるモデル生成部１３は、実機械モデル生成部１３１と撮像モデル生成部１３２と駆動モデル生成部１３４とを有していればよく、必ずしも光源モデル生成部１３３を有していなくてもよい。また、モデル情報Ｓ６は、実機械３のモデルと撮像手段４のモデルと駆動装置８のモデルとを組み合わせたものであればよく、必ずしも光源のモデルを組み合わせなくてもよい。
　図２３は、実施の形態３における遠隔操作装置１の別の構成の一例を示すブロック図である。
　図２３に示すように、遠隔操作装置１は、制限部１１と、操作部１２と、映像表示部１５とを備える。図２３は、図１７に示す実施の形態２の構成に対し、駆動装置８が追加された構成を示すブロック図である。図２３に示す制限部１１、映像表示部１５、実機械３、撮像手段４、ターゲット５、非ターゲット６、および運動可能範囲形成手段７は、図１７に示す制限部１１、映像表示部１５、実機械３、撮像手段４、ターゲット５、非ターゲット６、および運動可能範囲形成手段７と同じであるため、説明を省略する。また、図２３に示す駆動装置８は、図２２に示す駆動装置８と同じであるため、説明を省略する。
　操作部１２は、操作者からの操作情報Ｓ２と、制限部１１からの運動可能範囲Ｓ３とを受け取る。操作部１２は、これらの情報に基づいて第１指令情報Ｓ４と第２指令情報Ｓ５と第４指令情報Ｓ１４と第５指令情報Ｓ１６とを生成し、第１指令情報Ｓ４を実機械３に与え、第２指令情報Ｓ５を撮像手段４に与え、第４指令情報Ｓ１４を運動可能範囲形成手段７に与え、第５指令情報Ｓ１６を駆動装置８に与える。
　実施の形態３における操作部１２を含む構成は、図２に示す構成と同じであるため、説明を省略する。
　実施の形態３における操作部１２は、図３に示す操作部１２と同じである。操作者は、撮像手段４の向きを変更するモードと、実機械３を遠隔操作するモードとを切り替えることにより、撮像手段４の向きを調整しながら実機械３を遠隔操作できる。両者の切り替えは、図示しない手段により行われる。撮像手段４の向きを変更する場合、操縦桿１２１をｘ軸方向あるいはｙ軸方向に操作する。これにより、撮像手段４は、ｘ軸方向あるいはｙ軸方向に向きが変更される。
　図２４は、実施の形態３における実機械３を含む構成の一例を示す模式図である。図２４は、図２２に示す遠隔操作装置１を用いて実機械３を操作する時の模式図である。図２４に示す実機械３、撮像手段４、ターゲット５、および非ターゲット６は、図４に示す実機械３、撮像手段４、ターゲット５、および非ターゲット６と同じであるため、説明を省略する。
　駆動装置８は、撮像手段４に接続され、操作部１２からの第５指令情報Ｓ１６に基づいて、撮像手段４の向きを変更する。映像表示部１５での実機械映像Ｓ８の向きは、撮像手段４の向きに応じて切り替わる。
　以上で説明した実施の形態３によれば、駆動装置８により撮像手段４の向きが変更される。これにより、実施の形態２で得られる効果に加え、操作者は、実機械映像Ｓ８の向きを逐次変更しながら実機械３を操作でき、効率的に遠隔操作を行うことができる。
実施の形態４．
　図２５は、実施の形態４における遠隔操作装置１の構成の一例を示すブロック図である。
　図２５に示すように、遠隔操作装置１は、制限部１１と、操作部１２と、モデル生成部１３と、映像モデル生成部１４と、映像表示部１５とを備える。図２５は、図１に示す実施の形態１の構成に対し、マニピュレータモデル生成部１３５とマニピュレータ９とが追加された構成を示すブロック図である。図２５に示す実機械３、撮像手段４、ターゲット５、および非ターゲット６は、図１に示す実機械３、撮像手段４、ターゲット５、および非ターゲット６と同じであるため、説明を省略する。
　制限部１１は、操作者からの制限情報Ｓ１を受け取る。制限部１１は、この制限情報Ｓ１に基づいて運動可能範囲Ｓ３と開閉可能範囲Ｓ１７と姿勢制限範囲Ｓ１８とを生成し、操作部１２および映像モデル生成部１４に与える。開閉可能範囲Ｓ１７は、マニピュレータ９の開閉可能な範囲である。姿勢制限範囲Ｓ１８は、マニピュレータ９が所定の姿勢に制限される時の姿勢、言い換えると、所定の傾きに制限される時の傾きである。
　操作部１２は、操作者からの操作情報Ｓ２と、制限部１１からの運動可能範囲Ｓ３と、制限部１１からの開閉可能範囲Ｓ１７と、制限部１１からの姿勢制限範囲Ｓ１８とを受け取る。操作部１２は、これらの情報に基づいて第１指令情報Ｓ４と第２指令情報Ｓ５と第６指令情報Ｓ１９とを生成し、第１指令情報Ｓ４を実機械３および実機械モデル生成部１３１に与え、第２指令情報Ｓ５を撮像手段４および撮像モデル生成部１３２に与え、第６指令情報Ｓ１９をマニピュレータ９およびマニピュレータモデル生成部１３５に与える。第６指令情報Ｓ１９は、実機械３に接続されるマニピュレータ９を操作するための入力情報である。具体的には、第６指令情報Ｓ１９は、マニピュレータ９を動かすドライバーＩＣやマイコンなどへの入力情報である。
　モデル生成部１３は、操作部１２によって生成される第６指令情報Ｓ１９を用いてマニピュレータ９のモデルを生成するマニピュレータモデル生成部１３５を更に有する。モデル生成部１３は、操作部１２から実機械モデル生成部１３１への第１指令情報Ｓ４、操作部１２から撮像モデル生成部１３２への第２指令情報Ｓ５、および操作部１２からマニピュレータモデル生成部１３５への第６指令情報Ｓ１９に基づいてモデル情報Ｓ６を生成し、映像モデル生成部１４に与える。
　映像モデル生成部１４は、制限部からの運動可能範囲Ｓ３と、開閉可能範囲Ｓ１７と、姿勢制限範囲Ｓ１８と、モデル生成部１３からのモデル情報Ｓ６とを受け取る。映像モデル生成部１４は、これらの情報に基づいて、運動可能範囲Ｓ３と開閉可能範囲Ｓ１７と姿勢制限範囲Ｓ１８との映像である可動情報映像Ｓ２０を生成し、映像表示部１５に与える。
　映像表示部１５は、映像モデル生成部１４からの可動情報映像Ｓ２０と、撮像手段４からの実機械映像Ｓ８を受け取る。映像表示部１５は、これらの映像を重畳した映像Ｓ９を生成し、操作者に提示する。
　マニピュレータ９は、実機械３に接続され、操作部１２からの第６指令情報Ｓ１９を受け取る。
　なお、本実施の形態において、実施の形態１における第５のモードで運動可能範囲Ｓ３を設定する場合は、図１３に示す光源モデル生成部１３３を図２５のモデル生成部１３に追加すればよい。また、実施の形態３における駆動モデル生成部１３４をモデル生成部１３に追加してもよいし、撮像手段４は駆動装置８と接続されて向きを変更されてもよい。この場合、モデル生成部１３は、実機械３のモデルと撮像手段４のモデルと光源のモデルと駆動装置８のモデルとマニピュレータ９のモデルとを組み合わせたモデル情報Ｓ６を出力する。本実施の形態におけるモデル生成部１３は、実機械モデル生成部１３１と撮像モデル生成部１３２とマニピュレータモデル生成部１３５とを有していればよく、必ずしも光源モデル生成部１３３と駆動モデル生成部１３４とを有していなくてもよい。また、モデル情報Ｓ６は、実機械３のモデルと撮像手段４のモデルとマニピュレータ９のモデルとを組み合わせたものであればよく、必ずしも光源のモデルと駆動装置８のモデルとを組み合わせなくてもよい。
　図２６は、実施の形態４における遠隔操作装置１の別の構成の一例を示すブロック図である。
　図２６に示すように、遠隔操作装置１は、制限部１１と、操作部１２と、映像表示部１５とを備える。図２６は、図１７に示す実施の形態２の構成に対し、マニピュレータ９が追加された構成を示すブロック図である。図２６に示す制限部１１、映像表示部１５、実機械３、撮像手段４、ターゲット５、非ターゲット６、および運動可能範囲形成手段７は、図１７に示す制限部１１、映像表示部１５、実機械３、撮像手段４、ターゲット５、非ターゲット６、および運動可能範囲形成手段７と同じであるため、説明を省略する。また、図２６に示すマニピュレータ９は、図２５に示すマニピュレータ９と同じであるため、説明を省略する。
　操作部１２は、操作者からの操作情報Ｓ２と、制限部１１からの運動可能範囲Ｓ３とを受け取る。操作部１２は、これらの情報に基づいて第１指令情報Ｓ４と第２指令情報Ｓ５と第４指令情報Ｓ１４と第６指令情報Ｓ１９とを生成し、第１指令情報Ｓ４を実機械３に与え、第２指令情報Ｓ５を撮像手段４に与え、第４指令情報Ｓ１４を運動可能範囲形成手段７に与え、第６指令情報Ｓ１９をマニピュレータ９に与える。
　図２６に示すように、制限部１１は、図２５に示す制限部１１とは違い、運動可能範囲Ｓ３のみを生成する。すなわち、マニピュレータ９の開閉可能範囲Ｓ１７および姿勢制限範囲Ｓ１８は生成されない。あるいは、制限部１１は、図２５と同様、運動可能範囲Ｓ３だけでなく、マニピュレータ９の開閉可能範囲Ｓ１７および姿勢制限範囲Ｓ１８を生成してもよい。但し、図示しない開閉可能範囲を示す手段と、図示しない姿勢制限範囲を示す手段とが必要となり、操作部１２はこれらに対する指令情報を生成する。
　図２６において、撮像手段４は駆動装置８と接続されて向きが変更されてもよい。この場合、操作部１２は、実機械３への第１指令情報Ｓ４と、撮像手段４への第２指令情報Ｓ５と、運動可能範囲形成手段７への第４指令情報Ｓ１４と、駆動装置８への第５指令情報Ｓ１６と、マニピュレータ９への第６指令情報Ｓ１９とを生成する。
　実施の形態４における操作部１２を含む構成は、図２に示す構成と同じであるため、説明を省略する。
　実施の形態４における操作部１２は、図３に示す操作部１２と同じである。また、操縦桿１２１は制限部１１の機能を有する。なお、実機械３を遠隔操作する際、操縦桿１２１を操作部１２の中心位置に合わせた状態で回転させることで、マニピュレータ９を開閉させる操作を行ってもよい。
　図２７は、実施の形態４における実機械３を含む構成の一例を示す模式図である。図２７は、図２５に示す遠隔操作装置１を用いて実機械３を操作する時の模式図である。図２７に示す実機械３、撮像手段４、ターゲット５、および非ターゲット６は、図４に示す実機械３、撮像手段４、ターゲット５、および非ターゲット６と同じであるため、説明を省略する。
　マニピュレータ９は、実機械端３４に回動自在に接続される。マニピュレータ９は、制限部１１および操縦桿１２１によって、開閉可能範囲Ｓ１７および姿勢制限範囲Ｓ１８が設定される。
　図２８は、実施の形態４における制限部１１の一例を示す模式図である。図２８は、図２５に示す遠隔操作装置１を用いて実機械３を操作する時の模式図である。また、図２８は、実施の形態１における第３のモードと類似するモードで、マニピュレータ９の開閉可能範囲Ｓ１７を設定する場合の模式図である。
　図２８に示すように、映像表示部１５からの映像Ｓ９ｗに、制限パターン１１ｑおよび１１ｒが表示される。制限パターン１１ｑおよび１１ｒは、予め用意されたマニピュレータ９の開閉可能パターンである。操作者は、実機械３を遠隔操作する前に、実機械３の運動可能範囲Ｓ３を任意のモードで設定し、マニピュレータ９の開閉可能パターンを制限パターン１１ｑおよび１１ｒのうちどちらかを選択する。例えば、操作者が制限パターン１１ｑを選択する場合、操縦桿１２１を用いてカーソル１１ｓを制限パターン１１ｑに合わせ、ボタン１２２を押す。これにより、制限部１１はマニピュレータ９の開閉可能範囲Ｓ１７をｘ軸方向に設定する。なお、開閉可能パターンは制限パターン１１ｑおよび１１ｒに限定されず、斜めを含んでもよい。また、映像表示部１５がタッチディスプレイ機能を有しており、操作者が手で画面操作して、制限パターン１１ｑおよび１１ｒのうちどちらかを選択してもよい。これにより、カーソル１１ｓを不要とし、簡単な操作を可能とする。
　また、図２８では、実施の形態１における第３のモードと類似するモードで、マニピュレータ９の開閉可能範囲Ｓ１７を設定するが、第１のモード、第２のモード、第４のモード、あるいは第５のモードと類似するモードで、マニピュレータ９の開閉可能範囲Ｓ１７を設定してもよい。
　図２９（ａ）および（ｂ）は、実施の形態４における映像表示部１５での映像Ｓ９の一例を示す模式図である。図２９は、図２５に示す遠隔操作装置１を用いて実機械３を操作する時の模式図である。図２９（ａ）は、実機械３の運動可能範囲Ｓ３がｘ軸方向に設定され、マニピュレータ９の開閉可能範囲Ｓ１７として制限パターン１１ｑが選択された場合の映像Ｓ９ｘの模式図である。図２９（ｂ）は、実機械３の運動可能範囲がｘ軸方向に設定され、マニピュレータ９の開閉可能範囲Ｓ１７として制限パターン１１ｒが選択された場合の映像Ｓ９ｙの模式図である。
　図２９（ａ）に示すように、映像Ｓ９ｘは、実機械映像Ｓ８ｄと可動情報映像Ｓ２０ａと可動情報映像Ｓ２０ｂとが重畳された映像となる。実機械映像Ｓ８ｄは、撮像手段４によって撮影された実機械３とマニピュレータ９との映像である。可動情報映像Ｓ２０ａは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。可動情報映像Ｓ２０ｂは、映像モデル生成部１４によって生成された、開閉可能範囲Ｓ１７の映像である。図２９（ａ）の場合、可動情報映像Ｓ２０ａは、ｘ軸方向と同じ方向の運動可能範囲Ｓ３の映像となる。また、可動情報映像Ｓ２０ｂは、ｘ軸方向と同じ方向の開閉可能範囲Ｓ１７の映像となる。
　図２９（ｂ）に示すように、映像Ｓ９ｙは、実機械映像Ｓ８ｅと可動情報映像Ｓ２０ａと可動情報映像Ｓ２０ｃとが重畳された映像となる。実機械映像Ｓ８ｅは、撮像手段４によって撮影された実機械３とマニピュレータ９との映像である。可動情報映像Ｓ２０ａは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。可動情報映像Ｓ２０ｃは、映像モデル生成部１４によって生成された、開閉可能範囲Ｓ１７の映像である。図２９（ｂ）の場合、可動情報映像Ｓ２０ａは、ｘ軸方向と同じ方向の運動可能範囲Ｓ３の映像となる。また、可動情報映像Ｓ２０ｃは、ｙ軸方向と同じ方向の開閉可能範囲Ｓ１７の映像となる。
　図２９（ａ）および（ｂ）では、可動情報映像Ｓ２０ａは実機械映像Ｓ８ｄおよびＳ８ｅ内の上側に表示され、可動情報映像Ｓ２０ｂおよびＳ２０ｃはそれぞれ実機械映像Ｓ８ｄおよびＳ８ｅ内の下側に表示されているが、これに限定されない。
　次に、マニピュレータ９の開閉可能範囲Ｓ１７に加え、姿勢制限範囲Ｓ１８を設定する方法について説明する。操作者は、実機械３を遠隔操作する前に、実機械３の運動可能範囲Ｓ３を任意のモードで設定し、マニピュレータ９の開閉可能範囲Ｓ１７を任意のモードで設定し、マニピュレータ９の姿勢制限範囲Ｓ１８を操縦桿１２１で設定する。操作者は、操縦桿１２１をｘ軸方向あるいはｙ軸方向に動かすことで姿勢制限範囲Ｓ１８を設定する。
　図３０は、実施の形態４における映像表示部１５での別の映像Ｓ９の一例を示す模式図である。図３０は、図２５に示す遠隔操作装置１を用いて実機械３を操作する時の模式図である。また、図３０は、実機械３の運動可能範囲Ｓ３がｘ軸方向に設定され、マニピュレータ９の開閉可能範囲Ｓ１７がｙ軸方向に設定され、マニピュレータ９の姿勢制限範囲Ｓ１８がｙ軸の斜め方向に設定された場合の映像Ｓ９ｚの模式図である。
　図３０に示すように、映像Ｓ９ｚは、実機械映像Ｓ８ｆと可動情報映像Ｓ２０ａと可動情報映像Ｓ２０ｃと可動情報映像Ｓ２０ｄとが重畳された映像となる。実機械映像Ｓ８ｆは、撮像手段４によって撮影された実機械３とマニピュレータ９との映像である。可動情報映像Ｓ２０ａは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。可動情報映像Ｓ２０ｃは、映像モデル生成部１４によって生成された、開閉可能範囲Ｓ１７の映像である。可動情報映像Ｓ２０ｄは、映像モデル生成部１４によって生成された、姿勢制限範囲Ｓ１８の映像である。図３０の場合、可動情報映像Ｓ２０ａは、ｘ軸方向と同じ方向の運動可能範囲Ｓ３の映像となる。また、可動情報映像Ｓ２０ｃは、ｙ軸方向と同じ方向の開閉可能範囲Ｓ１７の映像となる。更に、可動情報映像Ｓ２０ｄは、斜め方向の姿勢制限範囲Ｓ１８の映像となる。
　図３０では、可動情報映像Ｓ２０ａは実機械映像Ｓ８ｆ内の上側に表示され、可動情報映像Ｓ２０ｃは実機械映像Ｓ８ｆ内の下側に表示され、可動情報映像Ｓ２０ｄは実機械映像Ｓ８ｆ内の中心付近に表示されているが、これに限定されない。
　以上で説明した実施の形態４によれば、制限部１１によって実機械３の運動可能範囲Ｓ３だけでなく、マニピュレータ９の開閉可能範囲Ｓ１７と姿勢制限範囲Ｓ１８とが設定される。これにより、実施の形態３で得られる効果に加え、操作者はマニピュレータ９の複雑な遠隔操作を回避できる。また、映像モデル生成部１４によって、マニピュレータ９の開閉可能範囲Ｓ１７と姿勢制限範囲Ｓ１８との映像である可動情報映像Ｓ２０が生成され、この可動情報映像Ｓ２０と実機械映像Ｓ８とが重畳された映像Ｓ９が映像表示部１５で表示される。これにより、マニピュレータ９の開閉可能範囲Ｓ１７と姿勢制限範囲Ｓ１８とを確認しながらマニピュレータ９を操作でき、効率的に遠隔操作を行うことができる。
実施の形態５．
　図３１は、実施の形態５における遠隔操作装置１の構成の一例を示すブロック図である。
　図３１に示すように、遠隔操作装置１は、制限部１１と、操作部１２と、モデル生成部１３と、映像モデル生成部１４と、映像表示部１５とを備える。図３１は、図１に示す実施の形態１の構成に対し、４つの撮像手段４１～４４が追加された構成を示すブロック図である。図３１に示す制限部１１、モデル生成部１３、映像モデル生成部１４、映像表示部１５、実機械３、ターゲット５、および非ターゲット６は、図１に示す制限部１１、モデル生成部１３、映像モデル生成部１４、映像表示部１５、実機械３、ターゲット５、および非ターゲット６と同じであるため、説明を省略する。
　操作部１２は、操作者からの操作情報Ｓ２と、制限部１１からの運動可能範囲Ｓ３とを受け取る。操作部１２は、これらの情報に基づいて第１指令情報Ｓ４と第２指令情報Ｓ５と第２指令情報Ｓ５１～Ｓ５４とを生成し、第１指令情報Ｓ４を実機械３および実機械モデル生成部１３１に与え、第２指令情報Ｓ５を撮像モデル生成部１３２に与え、第２指令情報Ｓ５１～Ｓ５４をそれぞれ撮像手段４１～４４に与える。第２指令情報Ｓ５１～Ｓ５４は、それぞれ撮像手段４１～４４への、撮影のＯＮ／ＯＦＦ切り替えコマンド、および倍率調整コマンドなどである。操作部１２は、撮像手段４１～４４のうちいずれか１つを撮影ＯＮとし、それ以外を撮影ＯＦＦとするよう、第２指令情報Ｓ５１～Ｓ５４を生成する。これにより、撮影したい方向に対応した撮像手段を選択できる。あるいは、操作部１２は、撮像手段４１～４４のうち複数の撮像手段に対し撮影ＯＮとするよう、第２指令情報Ｓ５１～Ｓ５４を生成してもよい。これにより、複数の映像を合体させた３次元映像が生成され、実機械３を直接操作するのと同じ操作感が得られる。すなわち、操作部１２は、複数の撮像手段４１～４４のうちの少なくとも１つの撮像手段を有効とするよう、撮像手段４１～４４への指令情報を生成する。第２指令情報Ｓ５は、第２指令情報Ｓ５１～Ｓ５４のうち、撮影ＯＮを設定した撮像手段に対応する指令情報と同じである。撮影ＯＮを設定した撮像手段が複数の場合は、第２指令情報Ｓ５は複数生成され、撮像モデル生成部１３２も複数設けられる。
　撮像手段４１～４４は、それぞれ操作部１２からの第２指令情報Ｓ５１～Ｓ５４を受け取る。撮像手段４１～４４は、これらの情報に基づいて実機械映像Ｓ８を生成し、映像表示部１５に与える。具体的には、撮像手段４１～４４のうち、操作部１２によって撮影ＯＮのコマンドが送信された撮像手段で撮影された実機械映像Ｓ８が、映像表示部１５に入力される。なお、図３９では、撮像手段の数量は４つであるが、数量は２つ以上であればいくつでもよい。
　なお、本実施の形態において、実施の形態１における第５のモードで運動可能範囲Ｓ３を設定する場合は、図１３に示す光源モデル生成部１３３を図３１のモデル生成部１３に追加すればよい。また、実施の形態３における駆動モデル生成部１３４をモデル生成部１３に追加してもよいし、撮像手段４は駆動装置８と接続されて向きを変更されてもよい。更に、実施の形態４におけるマニピュレータモデル生成部１３５をモデル生成部１３に追加してもよいし、実機械３にマニピュレータ９が接続されてもよい。この場合、モデル生成部１３は、実機械３のモデルと撮像手段４のモデルと光源のモデルと駆動装置８のモデルとマニピュレータ９のモデルとを組み合わせたモデル情報Ｓ６を出力する。本実施の形態におけるモデル生成部１３は、実機械モデル生成部１３１と撮像モデル生成部１３２とを有していればよく、必ずしも光源モデル生成部１３３と駆動モデル生成部１３４とマニピュレータモデル生成部１３５とを有していなくてもよい。また、モデル情報Ｓ６は、実機械３のモデルと撮像手段４のモデルとを組み合わせたものであればよく、必ずしも光源のモデルと駆動装置８のモデルとマニピュレータ９のモデルとを組み合わせなくてもよい。
　図３２は、実施の形態５における遠隔操作装置１の別の構成の一例を示すブロック図である。
　図３２に示すように、遠隔操作装置１は、制限部１１と、操作部１２と、映像表示部１５とを備える。図３２は、図１７に示す実施の形態２の構成に対し、４つの撮像手段４１～４４が追加された構成を示すブロック図である。図３２に示す制限部１１、映像表示部１５、実機械３、ターゲット５、非ターゲット６、および運動可能範囲形成手段７は、図１７に示す制限部１１、映像表示部１５、実機械３、ターゲット５、非ターゲット６、および運動可能範囲形成手段７と同じであるため、説明を省略する。また、図３２に示す撮像手段４１～４４は、図３１に示す撮像手段４１～４４と同じであるため、説明を省略する。
　操作部１２は、操作者からの操作情報Ｓ２と、制限部１１からの運動可能範囲Ｓ３を受け取る。操作部１２は、これらの情報に基づいて第１指令情報Ｓ４と第２指令情報Ｓ５１～Ｓ５４と第４指令情報Ｓ１４とを生成し、第１指令情報Ｓ４を実機械３に与え、第２指令情報Ｓ５１～５４をそれぞれ撮像手段４１～４４に与え、第４指令情報Ｓ１４を運動可能範囲形成手段７に与える。第２指令情報Ｓ５１～Ｓ５４は、図３１に示す第２指令情報Ｓ５１～Ｓ５４と同じである。
　図３２において、撮像手段４１～４４は駆動装置８と接続されて向きが変更されてもよいし、実機械３はマニピュレータ９と接続されてもよい。この場合、操作部１２は、実機械３への第１指令情報Ｓ４と、撮像手段４１～４４への第２指令情報Ｓ５１～Ｓ５４と、運動可能範囲形成手段７への第４指令情報Ｓ１４と、駆動装置８への第５指令情報Ｓ１６と、マニピュレータ９への第６指令情報Ｓ１９とを生成する。
　実施の形態５における操作部１２を含む構成は、図２に示す構成と同じであるため、説明を省略する。また、実施の形態５における操作部１２は、図３に示す操作部１２と同じであるため、説明を省略する。
　図３３は、実施の形態５における実機械３を含む構成の一例を示す模式図である。図３３は、図３１に示す遠隔操作装置１を用いて実機械３を操作する時の模式図である。図３３に示す実機械３、ターゲット５、および非ターゲット６は、図４に示す実機械３、撮像手段４、ターゲット５、および非ターゲット６と同じであるため、説明を省略する。
　撮像手段４１～４４は、いずれも実機械３を視野に収められる位置に配置される。なお、撮像手段４１～４４それぞれに、図示しない駆動装置８１～８４が接続されてもよい。
　図３４は、実施の形態５における遠隔操作装置１の動作の一例を示すフローチャートである。図３４のフローチャートは、実施の形態１から４における遠隔操作装置１に対しても適用される。
　図３５に示すように、図示しない手段により遠隔操作装置１が起動すると、制限部１１は、操作者からの制限情報Ｓ１に基づいて、実機械３の運動可能範囲Ｓ３を設定する（ステップＳＴ１）。
　操作部１２は、操作者からの操作情報Ｓ２と、実機械３の運動可能範囲Ｓ３とに基づいて、実機械３を操作するための入力情報である第１指令情報Ｓ４を生成する（ステップＳＴ２）。
　映像表示部１５は、撮像手段４からの実機械映像Ｓ８と、映像モデル生成部１４からの可動情報映像Ｓ７とを表示する（ステップＳＴ３）。あるいは、映像表示部１５は、撮像手段４からの実機械映像Ｓ８と可動情報映像Ｓ１５とを表示する。可動情報映像Ｓ７は、制限部１１からの運動可能範囲Ｓ３が映像化されたものである。また、可動情報映像Ｓ１５は、運動可能範囲形成手段７を撮影することで取得される運動可能範囲Ｓ３の映像である。
　図示しない手段が操作者に対し遠隔操作開始を指示する（ステップＳＴ４）。操作者は、映像表示部１５が表示する実機械映像Ｓ８と可動情報映像Ｓ７、あるいは実機械映像Ｓ８と可動情報映像Ｓ１５とを確認しながら、実機械３を遠隔操作する。図示しない手段は、操作者からの遠隔操作終了の指示を受け取った場合に、遠隔操作装置１を停止させる。
　以上で説明した実施の形態５によれば、複数の撮像手段のうちいずれか１つを有効として、実機械３が撮影される。これにより、実施の形態４で得られる効果に加え、操作者は、実機械映像Ｓ８の向きを逐次選択しながら実機械３を操作でき、効率的に遠隔操作を行うことができる。また、複数の撮像手段を有効として実機械３が撮影され、複数の映像を合体させた３次元映像が生成される。これにより、実施の形態４で得られる効果に加え、実機械３を直接操作するのと同じ操作感が得られる。
実施の形態６．
　図３５は、実施の形態６における遠隔操作装置１の構成の一例を示すブロック図である。
　図３５に示すように、遠隔操作装置１は、制限部１１と、操作部１２と、モデル生成部１３と、映像モデル生成部１４ａと、映像表示部１５ａとを備える。図３５は、映像モデル生成部１４ａが可動情報映像Ｓ７だけでなく実機械映像Ｓ８１を出力する点が、図１とは異なる。また、図３５は、映像表示部１５ａが撮像手段４からの実機械映像Ｓ８を入力する代わりに、映像モデル生成部１４ａからの実機械映像Ｓ８１を入力する点が、図１とは異なる。図３５に示す制限部１１、操作部１２、モデル生成部１３、実機械３、ターゲット５、および非ターゲット６は、図１に示す制限部１１、操作部１２、モデル生成部１３、実機械３、ターゲット５、および非ターゲット６と同じであるため、説明を省略する。
　映像モデル生成部１４ａは、制限部１１からの運動可能範囲Ｓ３と、モデル生成部１３からのモデル情報Ｓ６とを受け取る。映像モデル生成部１４ａは、これらの情報に基づいて、運動可能範囲Ｓ３が映像化された可動情報映像Ｓ７と、実機械映像Ｓ８１とを生成し、映像表示部１５ａに与える。実機械映像Ｓ８１は、例えば実機械３の３次元モデルが映像化されたものである。
　映像表示部１５ａは、映像モデル生成部１４からの可動情報映像Ｓ７と実機械映像Ｓ８１とを受け取る。映像表示部１５ａは、可動情報映像Ｓ７と実機械映像Ｓ８１とに基づいて映像Ｓ９を生成し、映像Ｓ９を操作者に提示する。映像表示部１５ａは、実機械３を撮影して映像化された実機械映像Ｓ８ではなく、実機械３の３次元モデルが映像化された実機械映像Ｓ８１を表示する。実施の形態１～５と合わせて一般化すると、映像表示部１５ａは、実機械３が映像化された実機械映像Ｓ８１と、実機械３に対応した運動可能範囲Ｓ３が映像化された可動情報映像Ｓ７とを表示する。但し、実機械３を遠隔操作してターゲット５を動かす場合には、実機械３とターゲット５との位置関係を把握するために、遠隔操作装置１は撮像手段４からの映像を入力してもよい。
　映像表示部１５ａが実機械３を撮影して映像化されたものを表示する代わりに、例えば実機械３の３次元モデルが映像化されたものを表示することで、撮像手段４を不要にすることができる。また、実機械３とターゲット５との位置関係を把握するために撮像手段４が必要であっても、撮像手段４を解像度が小さい安価なものにすることができる。これは、映像表示部１５ａで表示される実機械映像Ｓ８１が実機械３の３次元モデルであり、撮像手段４の解像度に依存しないためである。
　図３６は、実施の形態６における遠隔操作装置１の動作の一例を示すフローチャートである。
　図３６に示すように、図示しない手段により遠隔操作装置１が起動すると、制限部１１は、操作者からの制限情報Ｓ１に基づいて、実機械３の運動可能範囲Ｓ３を設定する（ステップＳＴ１）。
　操作部１２は、操作者からの操作情報Ｓ２と、実機械３の運動可能範囲Ｓ３とに基づいて、実機械３を操作するための入力情報である第１指令情報Ｓ４を生成する（ステップＳＴ２）。
　映像表示部１５ａは、映像モデル生成部１４ａからの実機械映像Ｓ８１と可動情報映像Ｓ７とを表示する（ステップＳＴ５）。
　図示しない手段が操作者に対し遠隔操作開始を指示する（ステップＳＴ４）。操作者は、映像表示部１５ａが表示する実機械映像Ｓ８と可動情報映像Ｓ７とを確認しながら、実機械３を遠隔操作する。
　以上で説明した実施の形態６によれば、映像表示部１５ａが実機械３を映像化したものを表示する代わりに、例えば実機械３の３次元モデルを映像化したものを表示することで、撮像手段４を不要にすることができる。また、撮像手段４が必要であっても、解像度が小さい安価なものにすることができる。
実施の形態７．
　図３７は、実施の形態７における遠隔操作装置１の構成の一例を示すブロック図である。
　図３７に示すように、遠隔操作装置１は、制限部１１ｓと、操作部１２ａと、モデル生成部１３と、映像モデル生成部１４と、映像表示部１５とを備える。図３７は、制限部１１の代わりに制限部１１ｓを備える点、および操作部１２の代わりに操作部１２ａを備える点が、図１とは異なる。図３７に示すモデル生成部１３、映像モデル生成部１４、映像表示部１５、実機械３、撮像手段４、ターゲット５、および非ターゲット６は、図１に示すモデル生成部１３、映像モデル生成部１４、映像表示部１５、実機械３、撮像手段４、ターゲット５、および非ターゲット６と同じであるため、説明を省略する。
　制限部１１ｓは、操作者からの制限情報Ｓ１を受け取る。制限部１１ｓは、この制限情報Ｓ１に基づいて運動可能範囲Ｓ３を生成し、操作部１２ａ内の座標系変換部１２３および映像モデル生成部１４に与える。本実施の形態では、本実施の形態では、制限部１１ｓは、実機械３が設置されるｘｙｚ直交座標系を含む任意の空間座標系で運動可能範囲Ｓ３を設定する。このため、制限部１１ｓは、例えば図５に示すｘ軸並進板１１ａおよびｙ軸並進板１１ｂなどを用いて物理的に運動可能範囲Ｓ３を設定するのではなく、ソフトウェア処理によって運動可能範囲Ｓ３を設定する。ここでソフトウェア処理とは、運動可能範囲Ｓ３を設定したい座標系において複数の点を設定し、これらの点を含む直線、曲線、平面、あるいは曲面を運動可能範囲Ｓ３とすることである。
　操作部１２ａは、座標系変換部１２３と、逆運動学計算部１２４と、第２指令情報生成部１２５とを備える。
　座標系変換部１２３は、制限部１１ｓから運動可能範囲Ｓ３を受け取る。座標系変換部１２３は、運動可能範囲Ｓ３が設定された空間座標系を実機械３が設置されるｘｙｚ直交座標系に変換する。これは、運動可能範囲Ｓ３が設定された空間座標系からｘｙｚ直交座標系への写像に相当する。
　逆運動学計算部１２４は、操作者からの操作情報Ｓ２と、制限部１１ｓからの運動可能範囲Ｓ３とを受け取る。逆運動学計算部１２４は、操作情報Ｓ２と運動可能範囲Ｓ３とに基づいて、座標系変換部１２３で変換されたｘｙｚ直交座標系において、運動可能範囲Ｓ３を構成する複数の点に対し逆運動学計算を行い、逆運動学計算後の第１指令情報Ｓ４１を実機械３と実機械モデル生成部１３１とに与える。
　第２指令情報生成部１２５は、操作者から操作情報Ｓ２を受け取る。第２指令情報生成部１２５は、操作情報Ｓ２に基づいて第２指令情報Ｓ５を生成し、撮像手段４および撮像モデル生成部１３２に与える。第２指令情報Ｓ５は、実施の形態１における第２指令情報Ｓ５と同じであるため、説明を省略する。
　なお、実機械３は、制限部１１ｓが設定する運動可能範囲Ｓ３内を運動するが、物理的に運動できない場合がある。そこで、遠隔操作装置１は、操作部１２ａと実機械３との間、および操作部１２ａと実機械モデル生成部１３１との間に、図示しない第１の補正部を設けてもよい。第１の補正部は、逆運動学計算部１２４から第１指令情報Ｓ４１を受け取り、第１指令情報Ｓ４１を補正する。第１の補正部は、補正された第１指令情報を実機械３と実機械モデル生成部１３１とに与える。一例として、実機械３の物理的な可動範囲が運動可能範囲Ｓ３よりも狭い場合に、実機械３に対して可動範囲を超えた入力値を第１指令情報Ｓ４１として与えてしまう。そこで、第１の補正部は、可動範囲に収まるよう第１指令情報Ｓ４１を補正する。
　なお、遠隔操作装置１は、第１の補正部の代わりに、制限部１１ｓと操作部１２ａとの間、および制限部１１ｓと映像モデル生成部１４との間に、図示しない第２の補正部を設けてもよい。第２の補正部は、制限部１１ｓからの運動可能範囲Ｓ３を補正し、補正後の運動可能範囲を座標系変換部１２３および映像モデル生成部１４に与える。具体的には、第２の補正部は、運動可能範囲Ｓ３が設定された空間座標系をｘｙｚ直交座標系に変換し、運動可能範囲Ｓ３を構成する複数の点に対し逆運動学計算を行う。そして、第２の補正部は、逆運動学計算された運動可能範囲を補正し、これに対し運動学計算を行ったものを補正後の運動可能範囲として、操作部１２ａおよび映像モデル生成部１４へ出力する。ここで、逆運動学計算された運動可能範囲を補正したものを第１指令情報Ｓ４１として実機械３および実機械モデル生成部１３１へ出力してもよく、この場合には運動学計算は不要となる。しかし、映像表示部１５が補正後の運動可能範囲を表示する場合には、運動学計算を行う。
　図３８は、実施の形態７における実機械３を含む構成の一例を示す模式図である。図３８に示す撮像手段４は、図４に示す撮像手段４と同じであるため、説明を省略する。
　図３８に示すように、実機械３は２リンクマニピュレータである。２リンクマニピュレータは、逆運動学計算部１２４からの第１指令情報Ｓ４１によって２つのアクチュエータ３６が回転することで、エンドエフェクタ３５の位置を決定するロボットアームである。この場合、運動可能範囲Ｓ３は、エンドエフェクタ３５に対して設定される。なお、図３７では、実機械３および実機械モデル生成部１３１に対し第１指令情報Ｓ４１のみが入力されるが、実機械３が２リンクマニピュレータの場合、２つのアクチュエータ３６に対応する２つの異なる第１指令情報Ｓ４１が入力される。
　また、実機械３が図３８に示す２リンクマニピュレータの場合、逆運動学計算部１２４は、エンドエフェクタ３５の位置を２つのアクチュエータ３６の角度に換算するための換算式を用いることで、逆運動学計算を行う。よって、第１指令情報Ｓ４１はアクチュエータ３６の角度に相当する。但し、実機械３が２リンクマニピュレータではなく、例えば６リンクマニピュレータの場合、あるいは実機械３が移動台車などに設置される場合には、換算式が複雑となる。そこで、逆運動学計算部１２４は、例えばエンドエフェクタ３５の位置に対しアクチュエータ３６の角度を線形化することによって換算式を単純化し、エンドエフェクタ３５の位置などの変数に乗算される係数を最適化アルゴリズムによって求めてもよい。あるいは、係数を機械学習によって求めてもよい。最適化アルゴリズムは、例えば勾配降下法などである。なお、遠隔操作装置１が第２の補正部を備える場合、第２の補正部が行う運動学計算とは、アクチュエータ３６の角度をエンドエフェクタ３５の位置に換算するための換算式を用いることである。
　なお、実機械３は２リンクマニピュレータに限定されない。
　図３９（ａ）および（ｂ）は、実施の形態７における映像表示部１５での映像Ｓ９の一例を示す模式図である。図３９（ａ）は、直線を運動可能範囲Ｓ３として設定した場合の映像表示部１５での映像Ｓ９１ａの模式図である。図３９（ｂ）は、平面を運動可能範囲Ｓ３として設定した場合の映像表示部１５での映像Ｓ９１ｂの模式図である。
　図３９（ａ）に示すように、映像Ｓ９１ａは、実機械映像Ｓ８ｇと可動情報映像Ｓ７ｐとが重畳された映像となる。実機械映像Ｓ８ｇは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｐは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。
　図３９（ｂ）に示すように、映像Ｓ９１ｂは、実機械映像Ｓ８ｈと可動情報映像Ｓ７ｑとが重畳された映像となる。実機械映像Ｓ８ｈは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｑは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。
　制限部１１ｓがソフトウェア処理によって運動可能範囲Ｓ３を設定する場合、２つの問題が生じる。１つ目の問題は、制限部１１ｓが設定した運動可能範囲Ｓ３とエンドエフェクタ３５の運動軌跡との間に乖離が生じることである。図４０（ａ）および（ｂ）は、実施の形態７における運動可能範囲Ｓ３とエンドエフェクタ３５の運動軌跡との関係を示す模式図である。図４０（ａ）は、複数の点Ｃ１によって運動可能範囲Ｓ３ａを設定した場合のエンドエフェクタ３５の運動軌跡Ｔ１を示すものである。図４０（ｂ）は、複数の点Ｃ２によって運動可能範囲Ｓ３ｂを設定した場合のエンドエフェクタ３５の運動軌跡Ｔ２を示すものである。
　図４０（ａ）に示すように、単位時間あたりに設定する点Ｃ１の数が少ない場合、点Ｃ１の間隔が大きくなるため、運動可能範囲Ｓ３ａと運動軌跡Ｔ１との間に乖離が生じる。これは、逆運動学計算を行う対象である運動可能範囲Ｓ３の軌跡と第１指令情報Ｓ４１の軌跡とが必ずしも一致せず、両者が非線形の関係になるからである。第１指令情報Ｓ４１はアクチュエータ３６への指令情報であり、この軌跡は回転軌跡である。一方、運動可能範囲Ｓ３の軌跡は回転軌跡に限定されず任意の軌跡を取り得る。
　これを解決するには、図４０（ｂ）に示すように単位時間あたりに設定する点Ｃ２の数を多くすることが挙げられる。但し、多くし過ぎると計算負荷が大きくなるため、計算負荷とのバランスで点Ｃ２を設定することが望ましい。また、図４０（ａ）に示す点Ｃ１の数を変えず、局所的に設定する方法が挙げられる。これは、エンドエフェクタ３５の移動速度を小さくすることに相当する。更に、エンドエフェクタ３５の運動がアクチュエータ３６と同じ回転運動となるよう、運動可能範囲Ｓ３を設定することが挙げられる。
　なお、実施の形態１から６の場合、実機械３はｘ軸並進機構３１、ｙ軸並進機構３２、およびｚ軸並進機構３３により構成されるため、単位時間あたりに設定する点の数が少ない場合でも、運動可能範囲Ｓ３と運動軌跡との間に乖離は生じない。これは、例えば運動可能範囲Ｓ３をｘ軸に設定した場合、第１指令情報Ｓ４の軌跡はｘ軸となり、運動可能範囲Ｓ３の軌跡と一致し、両者が線形の関係になるからである。
　２つ目の問題は、運動可能範囲Ｓ３を設定しない自由運動と、運動可能範囲Ｓ３を設定する拘束運動との切り替え時に、第１指令情報Ｓ４１が不連続となることである。自由運動では、ｘｙｚ直交座標系で実機械３が運動する。一方、拘束運動では、運動可能範囲Ｓ３が設定される空間座標系に一旦変換された後に、ｘｙｚ直交座標系に変換される。運動可能範囲Ｓ３が設定される空間座標系に変換される際に、第１指令情報Ｓ４１が不連続となる。これにより、アクチュエータ３６に対し急な指令値変更を要求することになるため、アクチュエータ３６が損傷する可能性がある。
　これを解決するには、アクチュエータ３６に対する指令値変更を第１の所定範囲内に抑えるような位置にエンドエフェクタ３５を移動させた後に、自由運動から拘束運動に切り替えることが挙げられる。第１の所定範囲とは、例えばアクチュエータ３６を流れる電流が所定値以下となるような範囲である。あるいは第１の所定範囲とは、周辺の環境（機器や人など）に衝突しないような範囲である。また、自由運動から拘束運動に切り替える際、切り替え直前のエンドエフェクタ３５の座標点との距離が第２の所定範囲内となるような点を複数の点から選定し、切り替え直後には選定された点にエンドエフェクタ３５が移動するよう、第１指令情報Ｓ４１を生成することが挙げられる。ここで、第２の所定範囲とは、第１の所定範囲と同じであってもよいし、異なっていてもよい。また、複数の点とは、運動可能範囲Ｓ３を構成する複数の点のことである。更に、運動可能範囲Ｓ３が設定される空間座標系がｘｙｚ直交座標系になるよう、運動可能範囲Ｓ３を設定することが挙げられる。これにより、座標系の変換が発生せずに済む。更に、自由運動と拘束運動との２つの運動パターンで実機械３を遠隔操作する代わりに、拘束運動のみで遠隔操作することが挙げられる。
　図４１は、実施の形態７における遠隔操作装置１の動作の一例を示すフローチャートである。
　図４１に示すように、図示しない手段により遠隔操作装置１が起動すると、制限部１１ｓは、操作者からの制限情報Ｓ１に基づいて、実機械３の運動可能範囲Ｓ３を設定する（ステップＳＴ６）。制限部１１ｓは、ソフトウェア処理によって運動可能範囲Ｓ３を設定する。
　座標系変換部１２３は、運動可能範囲Ｓ３が設定された空間座標系をｘｙｚ直交座標系に変換する（ステップＳＴ７）。
　逆運動学計算部１２４は、座標系変換部１２３で変換されたｘｙｚ直交座標系において、運動可能範囲Ｓ３を構成する複数の点に対し逆運動学計算を行い、逆運動学計算後の第１指令情報Ｓ４１を実機械３と実機械モデル生成部１３１とに与える（ステップＳＴ８）。
　映像表示部１５は、撮像手段４からの実機械映像Ｓ８と、映像モデル生成部１４からの可動情報映像Ｓ７とを表示する（ステップＳＴ３）。
　図示しない手段が操作者に対し遠隔操作開始を指示する（ステップＳＴ４）。操作者は、映像表示部１５が表示する実機械映像Ｓ８と可動情報映像Ｓ７とを確認しながら、実機械３を遠隔操作する。図示しない手段は、操作者からの遠隔操作終了の指示を受け取った場合に、遠隔操作装置１を停止させる。
　以上で説明した実施の形態７によれば、制限部１１ｓがソフトウェア処理によって運動可能範囲Ｓ３を設定するため、任意の空間座標系で運動可能範囲Ｓ３を設定することができる。
　実施の形態１～６において、実機械３の運動可能範囲Ｓ３は、ｘ軸方向、ｙ軸方向、またはｘｙ平面上の任意の方向に設定されるが、ｚ軸方向、ｙｚ平面上の任意の方向、またはｘｚ平面上の任意の方向に設定されてもよい。また、運動可能範囲Ｓ３は、任意の平面上に設定されてもよい。
　また、実施の形態１～７において、映像表示部１５，１５ａとしてヘッドマウントディスプレイを用い、操作者はヘッドマウントディスプレイを装着して、映像Ｓ９を確認しながら実機械３を遠隔操作してもよい。
　更に、実施の形態１～７において、実機械端３４、マニピュレータ９あるいはエンドエフェクタ３５がターゲット５に接触したことを、図示しない手段により操作者に提示してもよい。例えば、実機械端３４、マニピュレータ９あるいはエンドエフェクタ３５に触覚センサーを取り付ける。ターゲット５への接触を確認した後は、必ずしも実機械映像Ｓ８，Ｓ８１を確認しながら実機械を操作する必要はないため、撮像手段４による撮影をＯＦＦにする期間を設けることができる。これにより、撮像手段４のメモリ容量を削減でき、遠隔操作装置１と撮像手段４との通信の負荷を軽減できる。
　１　遠隔操作装置、　３　実機械、　４，４１～４４　撮像手段、　５　ターゲット、　６　非ターゲット、　７　運動可能範囲形成手段、　８　駆動装置、　９　マニピュレータ、　１１，１１ｍ～１１ｐ，１１ｓ　制限部、　１１ａ　ｘ軸並進板、　１１ｂ　ｙ軸並進板、　１１ｃ　ｘ軸制限ボタン、　１１ｄ　ｙ軸制限ボタン、　１１ｅ～１１ｊ，１１ｑ，１１ｒ　制限パターン、　１１ｋ，１１ｍａ～１１ｐａ，１１ｓ　カーソル、　１１ｍｂ～１１ｐｂ　ＯＫボタン、　１１ｍｃ～１１ｐｃ　ＣＡＮＣＥＬボタン、　１１ｍｄ～１１ｍｇ，１１ｎｄ～１１ｎｇ，１１оｄ～１１оｇ，１１ｐｄ～１１ｐｇ　拘束点、　１２，１２ａ　操作部、　１２３　座標系変換部、　１２４　逆運動学計算部、　１２５　第２指令情報生成部、　１３　モデル生成部、　１４，１４ａ　映像モデル生成部、　１５，１５ａ　映像表示部、　３１　ｘ軸並進機構、　３２　ｙ軸並進機構、　３３　ｚ軸並進機構、　３４　実機械端、　３５　エンドエフェクタ、　３６　アクチュエータ、　７１　レーザ光源、　７２　レーザ光線、　７３　マルチレーザ光源、　７４　マルチレーザ光線、　１２１　操縦桿、　１２２　ボタン、　１３１　実機械モデル生成部、　１３２　撮像モデル生成部、　１３３　光源モデル生成部、　１３４　駆動モデル生成部、　１３５　マニピュレータモデル生成部、　Ｓ１　制限情報、　Ｓ２　操作情報、　Ｓ３，Ｓ３ａ，Ｓ３ｂ　運動可能範囲、　Ｓ４，Ｓ４１　第１指令情報、　Ｓ５，Ｓ５１～Ｓ５４　第２指令情報、　Ｓ１３　第３指令情報、　Ｓ１４　第４指令情報、　Ｓ１６　第５指令情報、　Ｓ１９　第６指令情報、　Ｓ６　モデル情報、　Ｓ７，Ｓ７ａ～Ｓ７ｋ，Ｓ７ｍ～Ｓ７ｑ，Ｓ１５，Ｓ１５ａ，Ｓ１５ｂ，Ｓ２０，Ｓ２０ａ～Ｓ２０ｄ　可動情報映像、　Ｓ８，Ｓ８１，Ｓ８ａ～Ｓ８ｈ　実機械映像、　Ｓ９，Ｓ９ａ～Ｓ９ｋ，Ｓ９ｍ～Ｓ９ｚ，Ｓ９１ａ，Ｓ９１ｂ　映像、　Ｓ１０　作用力、　Ｓ１１，Ｓ１２　反作用力、　Ｓ１７　開閉可能範囲、　Ｓ１８　姿勢制限範囲、　Ｃ１，Ｃ２　運動可能範囲を構成する点、　Ｔ１，Ｔ２　運動軌跡。

Claims (18)

  1. 　実機械を操作者が遠隔操作する遠隔操作装置であって、
    　前記操作者からの制限情報に基づいて、前記実機械の運動可能範囲を設定する制限部と、
    　前記操作者からの操作情報と、前記運動可能範囲とに基づいて、前記実機械を操作するための入力情報である第１指令情報を生成する操作部と、
    　前記実機械が映像化された実機械映像と、前記実機械に対応した前記運動可能範囲が映像化された可動情報映像とを表示する映像表示部と、
    　を備える遠隔操作装置。
  2. 　前記実機械映像は、撮像手段によって撮影される前記実機械が映像化されたものである請求項１に記載の遠隔操作装置。
  3. 　前記第１指令情報を用いて前記実機械のモデルを生成する実機械モデル生成部と、前記撮像手段を操作するための入力情報である第２指令情報を用いて前記撮像手段のモデルを生成する撮像モデル生成部とを有し、前記実機械のモデルと前記撮像手段のモデルとを組み合わせたモデル情報を出力するモデル生成部と、
    　前記制限部からの前記運動可能範囲と、前記モデル生成部からの前記モデル情報とに基づいて、前記運動可能範囲を映像化して前記可動情報映像を生成する映像モデル生成部と、
    　を更に備え、
    　前記映像表示部は、前記実機械映像と、前記映像モデル生成部からの前記可動情報映像とを表示する請求項２に記載の遠隔操作装置。
  4. 　前記操作部は、前記操作者からの操作を強制的に限定する手段を有し、
    　前記制限部は、前記限定する手段によって前記運動可能範囲を設定する請求項３に記載の遠隔操作装置。
  5. 　前記操作部は、運動可能とする方向に対応するボタンを有し、
    　前記制限部は、前記ボタンを押すことで前記運動可能範囲を設定する請求項３に記載の遠隔操作装置。
  6. 　前記制限部は、予め用意された運動可能パターンによって前記運動可能範囲を設定する請求項３に記載の遠隔操作装置。
  7. 　前記制限部は、複数の拘束点を結ぶ直線あるいは曲線によって前記運動可能範囲を設定する請求項３に記載の遠隔操作装置。
  8. 　前記操作部は、前記制限部からの前記運動可能範囲に基づいて、光を放出する光源を操作するための入力情報である第３指令情報を更に生成し、
    　前記モデル生成部は、前記第３指令情報を用いて前記光源のモデルを生成する光源モデル生成部を更に有し、前記光源のモデルを更に組み合わせた前記モデル情報を出力する請求項３に記載の遠隔操作装置。
  9. 　前記操作部は、前記制限部からの前記運動可能範囲に基づいて、前記実機械の前記運動可能範囲を形成する運動可能範囲形成手段を操作するための入力情報である第４指令情報を更に生成し、
    　前記映像表示部は、前記実機械映像と、前記運動可能範囲形成手段によって形成された前記運動可能範囲を撮影して映像化された前記可動情報映像とを表示する請求項２に記載の遠隔操作装置。
  10. 　前記運動可能範囲形成手段は、光を放出する光源である請求項９に記載の遠隔操作装置。
  11. 　前記操作部は、前記操作者からの前記操作情報に基づいて、前記撮像手段を駆動する駆動装置を操作するための入力情報である第５指令情報を更に生成する請求項２～１０のいずれか１項に記載の遠隔操作装置。
  12. 　前記操作部は、前記操作者からの前記操作情報に基づいて、前記撮像手段を駆動する駆動装置を操作するための入力情報である第５指令情報を更に生成し、
    　前記モデル生成部は、前記第５指令情報を用いて前記駆動装置のモデルを生成する駆動モデル生成部を更に有し、前記駆動装置のモデルを更に組み合わせた前記モデル情報を出力する請求項３～８のいずれか１項に記載の遠隔操作装置。
  13. 　前記操作部は、前記操作者からの前記操作情報に基づいて、前記実機械に接続されるマニピュレータを操作するための入力情報である第６指令情報を更に生成する請求項２～１１のいずれか１項に記載の遠隔操作装置。
  14. 　前記操作部は、前記操作者からの前記操作情報に基づいて、前記実機械に接続されるマニピュレータを操作するための入力情報である第６指令情報を更に生成し、
    　前記モデル生成部は、前記第６指令情報を用いて前記マニピュレータのモデルを生成するマニピュレータモデル生成部を更に有し、前記マニピュレータのモデルを更に組み合わせた前記モデル情報を出力する請求項３、４、５、６、７、８または１２のいずれか１項に記載の遠隔操作装置。
  15. 　前記制限部は、前記操作者からの制限情報に基づいて、前記マニピュレータの開閉可能範囲を設定する請求項１３または１４に記載の遠隔操作装置。
  16. 　前記制限部は、前記操作者からの制限情報に基づいて、前記マニピュレータの姿勢制限範囲を設定する請求項１３～１５のいずれか１項に記載の遠隔操作装置。
  17. 　前記操作部は、前記運動可能範囲が設定された空間座標系を前記実機械が設置される座標系に変換する座標系変換部と、
    　変換された前記座標系において、前記運動可能範囲を構成する複数の点に対し逆運動学計算を行い、計算結果を前記第１指令情報として出力する逆運動学計算部と、
    　を更に備える請求項３、４、５、６、７、８または１２のいずれか１項に記載の遠隔操作装置。
  18. 　前記操作部は、複数の前記撮像手段のうちの少なくとも１つの前記撮像手段を有効とするよう、前記撮像手段への指令情報を生成する請求項２～１７のいずれか１項に記載の遠隔操作装置。
PCT/JP2021/015911 2020-08-03 2021-04-19 遠隔操作装置 WO2022030047A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US18/019,101 US20230292000A1 (en) 2020-08-03 2021-04-19 Remote control device
CN202180058187.9A CN116056843A (zh) 2020-08-03 2021-04-19 远程操作装置
JP2021559199A JP7397879B2 (ja) 2020-08-03 2021-04-19 遠隔操作装置
EP21853723.1A EP4190513A4 (en) 2020-08-03 2021-04-19 REMOTE CONTROL DEVICE
JP2022126408A JP2022172112A (ja) 2020-08-03 2022-08-08 遠隔操作装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-131900 2020-08-03
JP2020131900 2020-08-03

Publications (1)

Publication Number Publication Date
WO2022030047A1 true WO2022030047A1 (ja) 2022-02-10

Family

ID=80117226

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/015911 WO2022030047A1 (ja) 2020-08-03 2021-04-19 遠隔操作装置

Country Status (5)

Country Link
US (1) US20230292000A1 (ja)
EP (1) EP4190513A4 (ja)
JP (2) JP7397879B2 (ja)
CN (1) CN116056843A (ja)
WO (1) WO2022030047A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006113858A (ja) * 2004-10-15 2006-04-27 Mitsubishi Heavy Ind Ltd 移動体の遠隔操作支援方法及びシステム
JP2012236244A (ja) * 2011-05-10 2012-12-06 Sony Corp ロボット装置、ロボット装置の制御方法、並びにロボット装置制御用プログラム
JP2014180723A (ja) * 2013-03-19 2014-09-29 Yaskawa Electric Corp ロボットシステム及び被加工物の製造方法
JP2017013206A (ja) * 2015-07-03 2017-01-19 株式会社デンソーウェーブ ロボットシステム
JP2018202514A (ja) * 2017-05-31 2018-12-27 ファナック株式会社 ロボットの教示のための情報を表示するロボットシステム
WO2019012812A1 (ja) * 2017-07-12 2019-01-17 ソニー株式会社 制御装置及び制御方法、並びにマスタ－スレーブ・システム
WO2019092792A1 (ja) * 2017-11-07 2019-05-16 三菱電機株式会社 表示制御装置、表示制御方法および表示制御プログラム
JP2020075354A (ja) * 2018-11-01 2020-05-21 キヤノン株式会社 外部入力装置、ロボットシステム、ロボットシステムの制御方法、制御プログラム、及び記録媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6044293A (ja) * 1983-08-18 1985-03-09 株式会社日立製作所 産業用ロボットの制御装置
JP2004223128A (ja) 2003-01-27 2004-08-12 Hitachi Ltd 医療行為支援装置および方法
DE10305384A1 (de) 2003-02-11 2004-08-26 Kuka Roboter Gmbh Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
US9789608B2 (en) * 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
JP5974668B2 (ja) * 2012-06-25 2016-08-23 国立大学法人 筑波大学 マニピュレーションシステム
DE102013108115A1 (de) 2013-07-30 2015-02-05 gomtec GmbH Verfahren und Vorrichtung zum Festlegen eines Arbeitsbereichs eines Roboters
DE102013110847B3 (de) 2013-10-01 2015-01-22 gomtec GmbH Steuervorrichtung und Verfahren zum Steuern eines Robotersystems mittels Gestensteuerung
JP6787623B2 (ja) * 2015-02-24 2020-11-18 エスアールアイ インターナショナルＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ 非常に器用なシステムのユーザインタフェース
JP2018008347A (ja) * 2016-07-13 2018-01-18 東芝機械株式会社 ロボットシステムおよび動作領域表示方法
JP7259284B2 (ja) * 2017-11-28 2023-04-18 株式会社デンソーウェーブ 教示装置、教示方法
JP2020013548A (ja) * 2018-07-06 2020-01-23 キヤノン株式会社 画像処理装置、画像処理方法、システム、物品の製造方法
JP7250489B2 (ja) * 2018-11-26 2023-04-03 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
JP2021065971A (ja) * 2019-10-23 2021-04-30 ファナック株式会社 ロボット教示システム、画像生成方法、及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006113858A (ja) * 2004-10-15 2006-04-27 Mitsubishi Heavy Ind Ltd 移動体の遠隔操作支援方法及びシステム
JP2012236244A (ja) * 2011-05-10 2012-12-06 Sony Corp ロボット装置、ロボット装置の制御方法、並びにロボット装置制御用プログラム
JP2014180723A (ja) * 2013-03-19 2014-09-29 Yaskawa Electric Corp ロボットシステム及び被加工物の製造方法
JP2017013206A (ja) * 2015-07-03 2017-01-19 株式会社デンソーウェーブ ロボットシステム
JP2018202514A (ja) * 2017-05-31 2018-12-27 ファナック株式会社 ロボットの教示のための情報を表示するロボットシステム
WO2019012812A1 (ja) * 2017-07-12 2019-01-17 ソニー株式会社 制御装置及び制御方法、並びにマスタ－スレーブ・システム
WO2019092792A1 (ja) * 2017-11-07 2019-05-16 三菱電機株式会社 表示制御装置、表示制御方法および表示制御プログラム
JP2020075354A (ja) * 2018-11-01 2020-05-21 キヤノン株式会社 外部入力装置、ロボットシステム、ロボットシステムの制御方法、制御プログラム、及び記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4190513A4

Also Published As

Publication number Publication date
JP7397879B2 (ja) 2023-12-13
JPWO2022030047A1 (ja) 2022-02-10
US20230292000A1 (en) 2023-09-14
EP4190513A1 (en) 2023-06-07
JP2022172112A (ja) 2022-11-15
CN116056843A (zh) 2023-05-02
EP4190513A4 (en) 2024-01-24

Similar Documents

Publication Publication Date Title
JP6843051B2 (ja) 遠隔操作ロボットシステム
US8918214B2 (en) Telematic interface with directional translation
KR101832346B1 (ko) 사용자 상호 장치 및 방법
JP6361213B2 (ja) ロボット制御装置、ロボット、ロボットシステム、教示方法、及びプログラム
US10022195B2 (en) User interface for a robot
WO2016148072A1 (ja) 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
JP5974668B2 (ja) マニピュレーションシステム
US20160058514A1 (en) Master-slave system
JP2008099279A (ja) カメラ制御システム
JP5800610B2 (ja) 医療用マスタスレーブマニピュレータ
KR20170016436A (ko) 작업 로봇의 교시 데이터 생성 장치 및 교시 데이터 생성 방법
JP2011101915A (ja) ロボットシステム
JP2018144228A (ja) ロボット制御装置、ロボット、ロボットシステム、教示方法、及びプログラム
CN111991084A (zh) 手术机器人及其虚拟成像控制方法、虚拟成像控制装置
WO2022030047A1 (ja) 遠隔操作装置
JP5217845B2 (ja) ロボット操作装置及びロボット操作システム
JP2003181785A (ja) 遠隔操作装置
JP2000042960A (ja) マニピュレータの遠隔操作装置
JP2782428B2 (ja) 仮想物体操作装置
JPH0430981A (ja) 遠隔操縦型ロボットのテレビカメラ制御装置
CN113612928B (zh) 遥操作系统、遥操作方法及芯片
Yang et al. A web-based 3d virtual robot remote control system
Plopski et al. Invisiblerobot: Facilitating robot manipulation through diminished reality
JP7218872B2 (ja) アニメーション制作システム
WO2024089890A1 (ja) 遠隔操作システムおよび遠隔操作方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021559199

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21853723

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2021853723

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021853723

Country of ref document: EP

Effective date: 20230303