WO2020202426A1 - 制御ユニット及び自動動作システム - Google Patents

制御ユニット及び自動動作システム Download PDF

Info

Publication number
WO2020202426A1
WO2020202426A1 PCT/JP2019/014441 JP2019014441W WO2020202426A1 WO 2020202426 A1 WO2020202426 A1 WO 2020202426A1 JP 2019014441 W JP2019014441 W JP 2019014441W WO 2020202426 A1 WO2020202426 A1 WO 2020202426A1
Authority
WO
WIPO (PCT)
Prior art keywords
control unit
remote
control
external
connector
Prior art date
Application number
PCT/JP2019/014441
Other languages
English (en)
French (fr)
Inventor
裕二 平松
啓二 西村
村松 啓且
Original Assignee
ヤマハ発動機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ発動機株式会社 filed Critical ヤマハ発動機株式会社
Priority to PCT/JP2019/014441 priority Critical patent/WO2020202426A1/ja
Priority to PCT/JP2020/014545 priority patent/WO2020203967A1/ja
Priority to PCT/JP2020/014546 priority patent/WO2020203968A1/ja
Publication of WO2020202426A1 publication Critical patent/WO2020202426A1/ja
Priority to US17/490,658 priority patent/US20220019219A1/en

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/007Manipulators mounted on wheels or on carriages mounted on wheels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/08Programme-controlled manipulators characterised by modular constructions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Definitions

  • the present invention relates to a control unit used in an automatic operation device and an automatic operation system including the control unit.
  • Patent Document 1 shows a working robot. This work robot performs image recognition on the image taken by the camera, and controls the driving force of the work motor based on the result of the image recognition. As a result, complicated work can be performed automatically.
  • an automatic operation device that operates based on an image taken by a camera
  • an automatic operation device that can suppress or avoid complication of configuration and has a high degree of freedom in work that can be performed is desired.
  • An object of the present invention is to provide a control unit for an automatically operating device that can suppress or avoid complication of configuration and improve the degree of freedom of work that can be performed.
  • the present inventor conducted a study in view of the above-mentioned problems and obtained the following findings.
  • an automatic working device equipped with a camera for work control is connected to an automatic traveling vehicle equipped with a camera for running control.
  • an automatic traveling vehicle equipped with a camera for running control it is possible to perform precise work based on the image recognition of the image taken by the work control camera while moving precisely based on the image recognition of the image taken by the travel control camera. ..
  • the device in which the plurality of devices described above are connected may be provided with a camera for each device depending on the role of work. If images from a plurality of cameras provided according to a role correspond to, for example, a display unit of a remote control device provided for each role, a plurality of remote control devices are required. When using a plurality of remote control devices, preparation and installation for remote control are troublesome. Further, the image data is significantly larger than the information of the distance sensor or the position sensor, for example. For this reason, when image data from a plurality of cameras is transmitted, the amount of data to be transmitted becomes enormous. For example, due to communication restrictions, the image required for operation may be disturbed or delayed, which may hinder the operation. There is.
  • a control unit for an automatically operating device that makes it easy to prepare and install a remote control device and suppresses the influence of communication restrictions. If this can be achieved, the operator can respond more appropriately to the situation where work can be performed only by automatic processing based on the image while suppressing or avoiding the complexity of the configuration by performing remote control while viewing the image. It becomes possible. As a result, the complexity of the configuration can be suppressed or avoided, and more complicated work can be performed. Therefore, the complexity of the configuration can be suppressed or avoided, and the degree of freedom of the work that can be performed can be improved.
  • control unit has the following configuration.
  • An external photographing camera for photographing the external environment and an actuator are mounted and used for an automatic operation device that can be operated by operating a remote control device.
  • the camera is equipped with a cooperative operation device camera for photographing the external environment and the automatic operation is described.
  • It is a control unit connected to one remote communication device connected to the cooperative control unit used for the cooperative operation device connected to the device.
  • the control unit is An external image connector for inputting external image data indicating the shooting result from the external shooting camera, and An operation control connector for outputting an operation control signal for controlling the operation of the actuator, and an operation control connector.
  • a remote data connector for inputting / outputting data to / from the one remote communication device communicably connected to the remote control device.
  • the operation control device outputs monitor image data based on external image data indicating the shooting result obtained from the external shooting camera to the remote communication device via the remote data connector.
  • the monitor image data can be transmitted from the remote communication device to the remote control device and displayed.
  • a cooperation control unit used for a cooperation operation device provided with the cooperation operation device is also connected to the above-mentioned remote communication device.
  • the data of the linked image can also be transmitted from the remote communication device to the remote control device and displayed. It is possible to perform more complicated work based on the image displayed by the remote control device. Therefore, the degree of freedom of the work that can be performed can be improved.
  • the remote communication device transmits both the external image data from the motion control device and the linked image data from the linked motion device to the remote control device.
  • the operation control device having the above configuration outputs monitor image data based on the external image data input via the external image connector to the remote communication device based on the signal output from the remote control device or the cooperative control unit. Therefore, the amount of image data output to the remote control device via the remote control device can be adjusted according to the remote control device or the cooperative control unit. For example, the amount of an image can be adjusted and output to one remote communication device by compressing, superimposing, compositing, switching, or cropping the image. Therefore, when both the automatic operation device and the cooperative operation device are remotely controlled by using the remote control device, images of a plurality of devices can be displayed by one remote control device. Therefore, the complexity of the configuration of the remote control device can be suppressed or avoided. Therefore, the remote control device can be easily prepared and installed. In addition, it is possible to suppress the influence of the limitation of the communication output to the remote control device.
  • control unit can adopt the following configuration.
  • the control unit of (1) The actuator mounted on the automatic operation device is a traveling device for traveling the automatic operation device.
  • the motion control device generates an motion control signal for instructing a traveling course of the automatic motion device by processing the external image data.
  • the automatic operation device functions as an automatic traveling vehicle.
  • the automatic traveling vehicle When displaying an image of an autonomous vehicle and an image of a cooperative operation device for remote control, it is possible to suppress or avoid complication of the configuration of the remote control device while displaying the image necessary for controlling the vehicle. Therefore, it is possible to display an image required for maneuvering the linked operation device. Therefore, the complexity of the configuration of the remote control device for manipulating the self-driving vehicle can be suppressed or avoided, and the degree of freedom of feasible work including the running of the self-driving vehicle can be increased.
  • control unit can adopt the following configuration.
  • the control unit of (1) The motion control device is a signal output from the remote communication device and input via the remote data connector in response to a request for transmission of an image being input from the remote control device to the remote communication device, or By processing the external image data input from the external photographing camera based on the signal output from the cooperative control unit, monitor image data having a smaller amount of data than the external image data is output.
  • monitor image data having a smaller amount of data than the external image data input from the external camera is output. Therefore, it is possible to display an image required for maneuvering the linked operating device while suppressing the influence of communication restrictions. Therefore, the complexity of the configuration of the remote control device can be suppressed or avoided, and the degree of freedom of the work that can be performed can be increased.
  • control unit can adopt the following configuration.
  • the control unit of (1) The motion control device is a signal output from the remote communication device and input via the remote data connector in response to a request for transmission of an image being input from the remote control device to the remote communication device, or Based on the signal output from the cooperation control unit, the external image data input from the external photographing camera is subjected to image compression processing to output monitor image data having a smaller amount of data than the external image data.
  • the control unit having the above configuration since the external image data is image-compressed, the amount of data can be reduced while suppressing narrowing the display range and widening the display update time interval. It is possible to suppress the influence of communication restrictions while suppressing the deterioration of image clarity.
  • control unit can adopt the following configuration.
  • the control unit of (1) The motion control device is a signal output from the remote communication device and input via the remote data connector in response to a request for transmission of an image being input from the remote control device to the remote communication device, or Based on the signal output from the cooperation control unit, the external image data input from the external photographing camera is subjected to frame thinning processing to output monitor image data having a smaller amount of data than the external image data. ..
  • control unit having the above configuration, it is possible to suppress the influence of communication restrictions without lowering the image resolution.
  • control unit can adopt the following configuration.
  • the control unit of (1) The motion control device is a signal output from the remote communication device and input via the remote data connector in response to a request for transmission of an image being input from the remote control device to the remote communication device, or
  • the amount of data is smaller than that of the external image data by the clipping process of extracting an image of a part of the external image data input from the external photographing camera based on the signal output from the cooperative control unit.
  • Output monitor image data is a signal output from the remote communication device and input via the remote data connector in response to a request for transmission of an image being input from the remote control device to the remote communication device, or
  • the amount of data is smaller than that of the external image data by the clipping process of extracting an image of a part of the external image data input from the external photographing camera based on the signal output from the cooperative control unit.
  • control unit having the above configuration, it is possible to suppress the influence of communication limitation without lowering the resolution of the image area of interest by the crop processing.
  • the automatic operation system can adopt the following configuration.
  • An automatic operation system that can operate automatically based on an external image and can be remotely controlled based on the operation of a remote control device.
  • the automatic operation system It is provided with an automatic operation device and a cooperative operation device connected to the automatic operation device.
  • the cooperative operation device is Cooperative operation device camera that takes images and It is equipped with a linked control unit that performs control based on the linked image taken by the linked operating device camera.
  • the automatic operation device is An external camera that is provided in the automatic operation device and captures an external image, An actuator controlled based on the external image and A remote communication device connected to the cooperative control unit, Equipped with a control unit connected to a remote communication device
  • the control unit is An external image connector for inputting external image data indicating the shooting result from the external shooting camera, and An operation control connector for outputting an operation control signal for controlling the operation of the actuator, and an operation control connector.
  • a remote data connector for inputting / outputting data to / from the remote communication device communicably connected to the remote control device, In a state where the cooperative control unit that controls the linked operation device is connected to the remote communication device, the remote communication device responds to a request for image transmission from the remote control device to the remote communication device.
  • the operation control device that outputs to the remote control device via the remote communication device to which the remote data connector and the cooperation control unit are connected.
  • the automatic operation system having the above configuration, when remote control is performed using the remote control device, it is possible to display images of a plurality of devices possessed by the automatic operation system with one remote control device. Therefore, the complexity of the configuration of the remote control device can be suppressed or avoided.
  • the remote control device is easy to prepare and install. It is possible to perform more complicated work based on the image displayed by the remote control device. Therefore, the degree of freedom of the work that can be performed can be improved. Furthermore, the amount of image data can be adjusted to suppress the influence of restrictions on communication of image data output to the remote control device.
  • the terminology used herein is for the purpose of defining only specific embodiments and is not intended to limit the invention.
  • the term “and / or” includes any or all combinations of one or more related enumerated components.
  • the use of the terms “including, including,””comprising,” or “having,” and variations thereof, is a feature, process, operation, described. It identifies the presence of elements, components and / or their equivalents, but can include one or more of steps, actions, elements, components, and / or groups thereof.
  • the terms “attached”, “connected”, “combined” and / or their equivalents are widely used, direct and indirect attachment, connection and Includes both bonds.
  • connection and “coupled” are not limited to physical or mechanical connections or connections, but can include direct or indirect electrical connections or connections.
  • all terms used herein, including technical and scientific terms, have the same meaning as commonly understood by those skilled in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be construed to have meaning consistent with the relevant technology and in the context of the present disclosure and are expressly defined herein. Unless it is, it will not be interpreted in an ideal or overly formal sense. It is understood that a plurality of techniques and processes are disclosed in the description of the present invention. Each of these has its own benefit and each can be used in conjunction with one or more of the other disclosed techniques, or in some cases all.
  • the autonomous driving device is, for example, an autonomous driving vehicle.
  • the automatic operation device is not particularly limited, and may be, for example, an automatic work robot.
  • the cooperative operation device that cooperates with the automatic operation device is an automatic work robot mounted on the automatic driving vehicle.
  • the cooperative operation device is not limited to this, and for example, an autonomous driving vehicle equipped with an automatic work robot as an automatic driving vehicle may be used.
  • the control unit controls the actuator based on, for example, the external environment photographed by the external photographing camera or the external environment photographed by the cooperative operation device camera. Further, the control unit may control the actuator based on, for example, the external environment photographed by the external photographing camera and the external environment photographed by the linked operation device camera.
  • One telecommunications device means only one telecommunications device.
  • the control unit may include a communication device other than one remote communication device.
  • the control unit (that is, the operation control device) and the cooperative control unit are such that the monitor image data corresponding to the request for image transmission is output from one remote communication device while satisfying the condition of X ⁇ Y + Z. Performs processing for image transmission.
  • each of the control unit and the cooperative control unit may receive a request for transmitting an image and perform processing for transmitting the image independently of each other.
  • one of the control unit and the cooperative control unit may receive a request for transmitting an image and send an instruction for transmitting an image to the other while performing processing for transmitting the image.
  • processing for transmitting the image is performed based on the instruction.
  • X indicates the amount of data communication per unit time of the monitor image data output from one remote communication device to the remote control device.
  • Y indicates the amount of data communication per unit time of the external image data input from the external camera to the control unit.
  • Z indicates the amount of data communication per unit time of the linked image data input from the linked operating device camera to the linked control unit.
  • the remote communication device is a device that inputs image data from the operation control device and the cooperative control unit of the control unit and transmits the data to the remote control device.
  • the remote communication device is, for example, a combination of a data hub device and a communication device.
  • the data hub device receives data from both the operation control device and the cooperative control unit of the control unit and outputs the data to the communication device, and the communication device transmits the output data to the remote control device.
  • the telecommunications device may have, for example, a function of reducing the amount of data.
  • the remote communication device is not particularly limited, and for example, the input data may be transmitted as it is.
  • the remote communication device is connected to, for example, a remote control device so as to be capable of wireless communication, and is physically located at a remote position.
  • the remote communication device may be connected to, for example, a remote control device so as to be capable of wired communication.
  • the image request signal output from the remote control device to the remote communication device in the embodiment described later is an example of a request for transmitting an image.
  • the request for transmitting an image is not limited to the request for transmitting an image, and may be, for example, a request for specifications of the image to be transmitted.
  • the specifications of the image are not particularly limited. Examples of image specifications include compression rate, frame rate, shooting target, and shooting range.
  • the remote control device is an example of a communication device located outside the automatic operation device and the cooperative operation device.
  • the other communication device remotely requests a request for image transmission. It may be transmitted to the communication device, and the remote communication device may transmit the monitor image data to the remote control device. As described above, the request for transmitting the image does not necessarily have to be transmitted from the remote control device.
  • the actuator is, for example, a motor.
  • the actuator causes the automatic operation device to perform physical output.
  • the actuator provided in the cooperative operation device causes the cooperative operation device to perform physical output.
  • the actuator may be an electromagnetic solenoid.
  • the actuator is controlled by the motion control device.
  • the actuator may be directly controlled by the motion control device.
  • the actuator and the motion control device may be indirectly controlled via a control means different from the motion control device. In this case, the motion control device controls the control means, and the control means controls the actuator.
  • the control unit is, for example, a navigation device for controlling the automatic driving of an autonomous driving vehicle.
  • the control unit is not particularly limited, and may be configured to control a robot that does not travel.
  • the control unit used in the automatic operation device is mounted on the automatic operation device, for example.
  • the control unit is not particularly limited, and may be installed at a position away from the automatic operation device and may be communicably connected to the peripheral device via each connector.
  • the communicable connection is, for example, directly electrically connected via a connector and an electric wire.
  • the communicable connection is not particularly limited, and may be, for example, a state in which communication is possible via a wireless communication device arranged at physically separated positions. Further, the communicable connection may be in a state in which communication is possible via a central communication relay device capable of communicating with a large number of devices.
  • control unit for an automatically operating device that can suppress or avoid complication of configuration and improve the degree of freedom of work that can be performed.
  • FIG. 1 is a block diagram showing a configuration of an automatic operation system including a control unit according to the first embodiment of the present invention.
  • the automatic operation system S is an operator H, that is, a system capable of automatically operating regardless of the operation of a person.
  • the automatic operation system S detects the external environment of the automatic operation system S by itself. Then, the automatic operation system S recognizes the content of the detection result, and controls the operation of the automatic operation system S based on the recognition result.
  • the automatic operation system S also has a function of operating according to the operation of the operator H.
  • the automatic operation system S operates in response to the operation of the remote control device 3.
  • the remote control device 3 is a device for remotely controlling the automatic operation system S.
  • the remote control device 3 can communicate with the automatic operation system S by wireless communication.
  • the remote control device 3 transmits operation information to the automatic operation system S.
  • the remote control device 3 receives an image from the automatic operation system S and displays the image.
  • the automatic operation system S can start or stop the automatic operation in response to the operation of starting or stopping the automatic operation with respect to the remote control device 3.
  • the automatic operation system S can select one pattern from a plurality of automatic operation patterns according to the operation of the selection operation for the remote control device 3.
  • the automatic operation system S can perform sequential operations in response to sequential operations on the remote control device 3. Sequential operations are operations typified by, for example, forward, backward, and stop.
  • the automatic operation system S includes an automatic operation device 1 and a cooperative operation device 2.
  • the automatic operation device 1 shown in FIG. 1 is a system capable of performing automatic operation.
  • the automatic operation device 1 detects the external environment. Then, the automatic operation device 1 recognizes the detection result and controls the operation based on the recognition result.
  • the automatic operation device 1 also has a function of operating according to the operation of the operator H. The operation according to the operation is the same as the operation for the automatic operation system S described above.
  • the cooperative operation device 2 is also a system capable of performing automatic operation.
  • the cooperative operation device 2 detects the external environment. Then, the cooperative operation device 2 recognizes the detection result and controls the operation based on the recognition result.
  • the cooperative operation device 2 also has a function of operating according to the operation of the operator H.
  • the cooperative operation device 2 it is also possible to adopt a configuration in which the automatic operation device 1 does not detect the external environment by itself, but operates by receiving the detection result of the external environment in the automatic operation device 1 or the instruction from the automatic operation device 1.
  • a configuration for detecting the external environment as the cooperative operation device 2 will be described.
  • the cooperative operation device 2 shown in FIG. 1 operates in cooperation with the automatic operation device 1. That is, the automatic operation device 1 and the cooperative operation device 2 cooperate with each other to complete the work expected by the operator H.
  • the cooperative operation device 2 can cooperate by performing the same type of operation as the automatic operation device 1, for example. As an example of this, there is a case where the automatic operation device 1 and the cooperative operation device 2 are a pair of robot arms. Further, for example, the cooperative operation device 2 and the automatic operation device 1 can complete the desired operation by performing different types of operations from each other. That is, the cooperative operation device 2 and the automatic operation device 1 can cooperate with each other. As an example of this, there is a case where the automatic operation device 1 is an automatic traveling vehicle and the cooperative operation device 2 is a robot arm mounted on the automatic traveling vehicle.
  • the automatic operation device 1 and the cooperative operation device 2 shown in FIG. 1 are mechanically connected. However, the automatic operation device 1 and the cooperative operation device 2 may be separated from each other. As an example of this, there is a case where the automatic operation device 1 and the cooperative operation device 2 are two vehicles that travel in a common area or share a plurality of adjacent areas.
  • the linked operation device 2 shown in FIG. 1 is communicably connected to the automatic operation device 1.
  • the automatic operation device 1 and the cooperative operation device 2 shown in FIG. 1 are electrically connected to each other by electric wires.
  • a configuration for wireless communication can be adopted as the automatic operation device 1 and the cooperative operation device 2, for example, a configuration for wireless communication can be adopted.
  • the automatic operation device 1 includes a control unit 10, an external environment sensing unit 11, an operation unit 12, a remote communication device 13, and a power supply unit 14.
  • the external environment sensing unit 11 detects the external environment of the automatic operation device 1.
  • the external environment sensing unit 11 outputs external environment data indicating the detection result.
  • the external environment sensing unit 11 is, for example, a camera that photographs the external environment of the automatically operating device 1.
  • the camera as the external environment sensing unit 11 outputs external image data indicating the shooting result.
  • the control unit 10 can operate the actuator 121 while recognizing the complicated external environment.
  • the operation unit 12 is controlled based on the external environment.
  • the operation unit 12 includes an actuator 121.
  • the actuator 121 is mechanically operated by electric control to drive a device mounted on the automatic operation device 1 or the automatic operation device 1 itself.
  • the control unit 10 is connected to the external environment sensing unit 11, the operation unit 12, and the remote communication device 13.
  • the control unit 10 controls the actuator 121 of the operation unit 12 based on the external environment detected by the external environment sensing unit 11. More specifically, the control unit 10 recognizes the contents of the external environment by processing the external environment data output from the external environment sensing unit 11. The control unit 10 determines the control content based on the recognized content. Then, the control unit 10 controls the actuator 121 based on the determined control content.
  • the control unit 10 may receive a control command corresponding to the operation of the remote control device 3 from the remote communication device 13 and control the actuator 121 based on the control command.
  • the internal configuration of the control unit 10 will be described later.
  • the power supply unit 14 supplies electric power to the control unit 10, the external environment sensing unit 11, the operating unit 12, and the remote communication device 13.
  • the power supply unit 14 has a battery (not shown).
  • the power supply unit 14 supplies the electric power stored in the battery to each unit.
  • the power supply unit 14 supplies electric power based on the control of the control unit 10.
  • the power source used by the power supply unit 14 is not limited to the battery, and various power sources can be used.
  • An engine generator includes, for example, an engine that operates on liquid fuel and a generator that is driven by the engine to generate electricity.
  • the power supply unit 14 shown in FIG. 1 also supplies electric power to the cooperative operation device 2.
  • the linked operation device 2 may be provided with a power supply independent of, for example, the automatic operation device 1.
  • the remote communication device 13 is communicably connected to the remote control device 3.
  • the remote communication device 13 is communicably connected to the remote control device 3 by wireless communication.
  • the remote communication device 13 relays communication data between the remote control device 3 and the control unit 10.
  • the remote communication device 13 outputs a control command output from the remote control device 3 to the control unit 10 in response to the operation of the remote control device 3.
  • the control command from the remote control device 3 is supplied to the control unit 10.
  • the remote communication device 13 supplies data based on the data output from the external environment sensing unit 11 to the remote control device 3.
  • the remote communication device 13 transmits data based on the external image data output from the camera to the remote control device 3.
  • the remote control device 3 transmits an image command to the remote communication device 13.
  • the image command is a command for designating the content of the image and the amount of image data transmitted to the remote control device 3.
  • the remote communication device 13 sends an image command to the control unit 10.
  • the data exchange between the remote communication device 13 and the control unit 10 described above is the same as the data exchange between the remote communication device 13 and the cooperative control unit 20.
  • the cooperative operation device 2 includes a cooperative control unit 20, a cooperative sensing unit 21, and a cooperative operation unit 22.
  • the roles of the cooperation control unit 20, the cooperation sensing unit 21, and the cooperation operation unit 22 in the cooperation operation device 2 are the same as the roles of the control unit 10, the external environment sensing unit 11, and the operation unit 12 in the above-mentioned automatic operation device 1. are doing. However, the type of environment detected by the cooperative sensing unit 21, the detailed content of the determination of the cooperative control unit 20, and the output of the cooperative operation unit 22 differ depending on the function of the cooperative operation device 2.
  • the cooperation control unit 20 controls the cooperation operation unit 22 that performs physical output.
  • the physical output of the cooperative operation unit 22 is, for example, the operation of the actuator 221.
  • the cooperative control unit 20 corresponds to an example of the control unit referred to in the present invention, like the control unit 10.
  • an automatic traveling vehicle can be mentioned, for example.
  • the control unit 10 is, for example, an automatic navigation unit.
  • the actuator 121 of the operation unit 12 is a traveling device for traveling the automatic operation device 1.
  • the traveling device is, for example, a motor.
  • the control unit 10 recognizes the content of the image of the traveling region taken by the camera as the external environment sensing unit 11, determines the traveling route based on the recognition result, and instructs the operation unit 12 of the determined traveling route. That is, the control unit 10 controls the operation unit 12 based on the determined travel path.
  • the automatically operating device 1 automatically travels.
  • An example of the function of the cooperative operation device 2 shown in FIG. 1 is a work device mounted on an autonomous vehicle.
  • An example of working equipment is a fruit-picking device that picks fruits on a farm.
  • the cooperative control unit 20 recognizes the content of the fruit tree photographed by the camera as the cooperative sensing unit 21, determines the state and position of the fruit based on the recognition result, and based on the determined position of the fruit, A running command (running position command) is transmitted to the automatic operation device 1.
  • the travel command is an example of an operation command.
  • the actuator 221 of the fruit-picking device as the cooperative operation unit 22 is controlled based on the determined position of the fruit.
  • the cooperative operation device 2 mounted on the automatic operation device 1 can be replaced with a cooperative operation device having a function different from that of the cooperative operation device 2 shown in FIG.
  • FIG. 2 is a block diagram showing the configuration of the control unit 10 shown in FIG.
  • the control unit 10 is a unit covered with one housing, and is incorporated in the automatic operation device 1 (see FIG. 1).
  • the control unit 10 is electrically connected to each part of the automatic operation device 1.
  • the control unit 10 is a commercial unit.
  • the control unit 10 is a mass production type.
  • the control unit 10 includes an external environment information connector 110, an operation control connector 130, an external communication connection unit 140, and an operation control device 160. Further, the control unit 10 includes a remote data connector 150.
  • the external environment information connector 110 is electrically connected to the external environment sensing unit 11 shown in FIG. External environment data indicating the detection result is input to the control unit 10 from the external environment sensing unit 11 via the external environment information connector 110.
  • the external environment sensing unit 11 is, for example, a camera
  • the external environment information connector 110 functions as an external image connector.
  • the external environment information connector 110 will also be referred to as an external image connector 110.
  • the operation control connector 130 is electrically connected to the operation unit 12 shown in FIG.
  • An operation control signal for controlling the operation of the actuator 121 is output from the control unit 10 to the operation unit 12 via the operation control connector 130.
  • the external communication connection unit 140 is connected to the cooperation control unit 20 shown in FIG.
  • the external communication connection unit 140 in the example shown in FIG. 1 is an external communication connector that is electrically connected to the cooperation control unit 20.
  • the external communication connection unit 140 is also referred to as an external communication connector 140.
  • the external communication connector 140 physically includes a plurality of connectors corresponding to a plurality of types of transmission formats.
  • the types of transmission formats are, for example, Controller Area Network (CAN) (registered trademark) and Ethernet (registered trademark).
  • CAN Controller Area Network
  • Ethernet registered trademark
  • the external communication connector 140 is an example of an external communication connection unit that is communicably connected to the cooperation control unit 20.
  • As the external communication connection unit for example, a configuration in which a wireless communication device is used instead of the external communication connector 140 can be adopted.
  • the remote data connector 150 is electrically connected to the remote communication device 13 shown in FIG.
  • a control command signal is input to the control unit 10 from the remote control device 3 (see FIG. 1) and the remote communication device 13 via the remote data connector 150. That is, in response to a request for transmitting an image being input from the remote control device 3 to the remote communication device 13, a control command signal is output from the remote control device 13 and input via the remote data connector 150 for control. It is input to the unit 10. Further, a signal indicating the external environment and the state of the control unit 10 is output from the control unit 10 to the remote communication device 13 via the remote data connector 150. This signal is supplied from the remote communication device 13 to the remote control device 3.
  • the motion control device 160 controls the actuator 121 of the motion unit 12 based on the external environment detected by the external environment sensing unit 11 shown in FIG. More specifically, the motion control device 160 processes the external environment data output from the external environment sensing unit 11. The motion control device 160 controls the actuator 121 based on the processing result of the external environment data. Further, the motion control device 160 receives a control command corresponding to the operation of the remote control device 3 from the remote communication device 13, and controls the motion unit 12 based on the control command. Further, the operation control device 160 communicates with the cooperation control unit 20 connected via the external communication connector 140. As described above, various devices can be selected as the collaborative operation device 2 that can be combined with the automatic operation device 1.
  • the master unit is a cooperative control unit 20 configured to transmit an operation command to the operation control device 160.
  • the slave unit is a cooperative control unit 20 configured to receive an operation command from the operation control device 160. Either the master unit or the slave unit is connected to the external communication connector 140.
  • the operation control device 160 switches the operation mode according to the type of the cooperation control unit 20.
  • the operation control device 160 When the master unit is connected to the external communication connector 140, the operation control device 160 generates an operation control signal based on the operation command received from the master unit. The motion control device 160 outputs the generated motion control signal to the actuator 121 of the motion unit 12 via the motion control connector 130.
  • the operation control device 160 controls the cooperative operation device 2 based on the processing result of the external environment data input from the external environment sensing unit 11. Generate an operation command for. The operation control device 160 transmits the generated operation command to the slave unit via the external communication connector 140.
  • the versatility of the control unit 10 can be improved.
  • the motion control device 160 includes an automatic control circuit 170 and a monitoring circuit 180.
  • the automatic control circuit 170 and the monitoring circuit 180 are provided in the housing of the control unit 10.
  • the automatic control circuit 170 carries out basic control processing in the motion control device 160. More specifically, the automatic control circuit 170 controls the actuator 121 based on the external environment signal from the external environment sensing unit 11. More specifically, the automatic control circuit 170 outputs an operation control signal based on an external environment signal by executing a software process. The automatic control circuit 170 also outputs a status index signal by executing a software process.
  • the automatic control circuit 170 includes a Graphics Processing Unit (GPU) 171.
  • GPU 171 is a processor having a multi-core capable of parallel processing.
  • the GPU 171 includes 100 or more arithmetic cores that can operate in parallel.
  • the GPU 171 executes a SIMD (single-instruction multiple-data stream) operation by 100 or more arithmetic cores.
  • the automatic control circuit 170 includes a non-volatile memory 172, a RAM 173, a control input / output (control IO) 174, and a CPU 175.
  • the non-volatile memory 172 is, for example, a mask ROM flash memory or an EEPROM.
  • the CPU 175 is a Central Processing Unit. The CPU 175 controls the entire automatic control circuit 170.
  • the GPU 171 and the CPU 175 share and execute the control of the automatic control circuit 170. More specifically, the CPU 175 causes the GPU 171 to perform some of the functions of the automatic control circuit 170. The functions executed by the GPU 171 will be described later.
  • the non-volatile memory 172 stores a program executed by the CPU 175 and the GPU 171.
  • the CPU 175 sequentially reads and executes the programs stored in the non-volatile memory 172. As a result, control by the automatic control circuit 170 is executed. Further, the program of the GPU 171 stored in the non-volatile memory 172 is read by the CPU 175 and supplied to the GPU 171.
  • the RAM 173 holds the result of the processing by the CPU 175 and the result of the processing by the GPU 171.
  • the CPU 175 and the GPU 171 read / write data to / from the RAM 173.
  • the RAM 173 stores data input to the CPU 175 and the GPU 171, data indicating the processing status, and data indicating the operation control signal output from the automatic control circuit 170 as a result of the processing.
  • the data input to the GPU 171 is, for example, data representing an external environment signal.
  • the data indicating the processing status is, for example, one of the parameters indicating the operating status of the automatic control circuit 170.
  • the control IO 174 relays signals input / output to the CPU 175 and the GPU 171.
  • the CPU 175 and the GPU 171 output a status index signal indicating the operating status of the control model via the control IO 174.
  • the status indicator signal is, for example, a pulse indicating the period and time during which the process of processing the control model is executed.
  • the status index signal is one of the parameters indicating the operating status of the automatic control circuit 170.
  • the stored contents of the RAM 173 can be read out to the FPGA 181 of the monitoring circuit 180 via the control IO 174.
  • the CPU 175 supplies the program stored in the non-volatile memory 172 to the GPU 171. Further, the CPU 175 outputs a command to execute the program to the GPU 171.
  • the automatic control circuit 170 is configured with the control model 171a constructed by machine learning.
  • the control model 171a is a model showing the relationship between the external environment detected by the external environment sensing unit 11 and the control of the operation unit 12 to be controlled.
  • the control model 171a is a machine learning model using a neural network.
  • a machine learning model can be obtained, for example, by constructing a model that shows the relationship between external image data and an object that can exist on a traveling path, and optimizing the model.
  • control model 171a optimizes the weighting parameters of the model by referring to, for example, the actual external image data and the data in which the object on the traveling path is associated with the data. This is the result obtained by converting.
  • the function of optimizing the control model 171a with reference to the data is performed not inside the automatic control circuit 170 or the control unit 10, but in the external environment of the automatic operation system S.
  • a program that builds the control model as a result of the optimization is stored in the non-volatile memory 172.
  • the method of optimizing the control model 171a is not limited to this.
  • the automatic control circuit 170 itself can optimize the control model 171a that it configures based on the external image data actually obtained.
  • the GPU 171 can execute SIMD operations on 100 or more arithmetic cores, it is possible to execute the processing of the control model 171a accompanied by the iterative arithmetic of a large-scale matrix at high speed.
  • the CPU 175 determines the operation of the control unit 10 based on the information of the object obtained as a result of applying the data of the external environment to the machine learning model.
  • the CPU 175 controls the operation unit 12 based on the result of the determination. More specifically, the CPU 175 outputs a command to the operation unit 130 via, for example, the control IO 174 and the communication IF 183 of the monitoring circuit 180. Further, the CPU 175 transmits a command to the cooperative operation unit 20 based on the result of the determination.
  • the CPU 175 transmits data to the remote communication device 13.
  • the division of control between the CPU 175 and the GPU 171 and the input / output of the model executed by the GPU 171 are not limited to those described above.
  • the machine learning model may be a model that directly shows, for example, the relationship between the external image data and the optimum traveling path or the motion trajectory of the arm or the like.
  • the CPU 175 controls the operation unit 12 based on the travel path or operation locus output as the processing result of the GPU 171.
  • the monitoring circuit 180 constitutes the control unit 10 integrally with the automatic control circuit 170.
  • the monitoring circuit 180 monitors the operation of the automatic control circuit 170 constituting the control model 171a.
  • the monitoring circuit 180 includes a field programmable gate array (FPGA) 181 and a non-volatile memory 182. Further, the monitoring circuit 180 includes a communication interface (communication IF) 183, a relay 184, and a memory 185 for a program.
  • FPGA field programmable gate array
  • the FPGA 181 has a reprogrammable logic circuit.
  • the non-volatile memory 182 stores the connection information of the logic circuit for monitoring constructed by the FPGA 181.
  • the FPGA 181 reads the connection information from the non-volatile memory 182 in the initialization process after the power is turned on or after the reset.
  • the FPGA 181 constructs a logic circuit based on connection information. After constructing the logic circuit, the FPGA 181 starts the processing by the logic circuit.
  • the monitoring circuit 180 the monitoring conditions can be changed by changing the connection information, which is software stored in the non-volatile memory 182, and the hardware based on the connection information.
  • the GPU 171 described above, the CPU 175, or the processor 181p described later will sequentially read the stored programs by accessing the non-volatile memory 172 or the memory 185 for the program during execution after initialization.
  • the FPGA 181 reads out the non-volatile memory 182 only once at the time of initialization to form the logic circuit of the monitoring circuit 180.
  • the FPGA 181 completes reading the non-volatile memory 182 before starting execution of the process. Therefore, the logic circuit for monitoring can operate with high reliability.
  • the non-volatile memory 182 containing the information of the logic circuit for monitoring may be physically divided into a plurality of parts.
  • the first device of the non-volatile memory 182 composed of a plurality of memory devices stores information on a higher-level logic circuit that monitors the monitoring target and a reference information loader.
  • the numerical range of the monitoring target and the logic of the combination of signals determined to be abnormal are stored as reference information.
  • the reference information loader starts execution, reads (loads) the reference information from the second device, and complements the numerical range in the logic circuit and the logic of the combination. This completes the construction of the logic circuit in FPGA181. That is, the reading of information is executed in a plurality of steps.
  • a configuration in which the non-volatile memory 182 is used as three or more devices can also be adopted.
  • the FPGA 181 may have a fixed logic circuit other than the reprogrammable logic circuit.
  • the FPGA 181 has a processor 181p and a memory as logic circuits.
  • the processor 181p executes processing while sequentially reading the programs stored in the memory 185, for example. This allows for more advanced processing.
  • the memory 185 read by the processor 181p is non-volatile. However, unlike the non-volatile memory 182 for the FPGA 181, the memory 185 stores not the connection information but the programs that are sequentially read by the processor. By dividing the memory according to the application, the reliability of the logic circuit composed of the FPGA 181 is improved.
  • the communication IF183 is an interface for the FPGA 181 and the automatic control circuit 170 to communicate with the operation unit 12.
  • the communication IF 183 provides, for example, a physical interface for communicating with the operating unit 12.
  • the physical interface is, for example, CAN.
  • the automatic control circuit 170 outputs an operation control signal via the communication IF 183.
  • the relay 184 cuts off the power supply of the power supply unit 14 (see FIG. 1) to the operating unit 12. More specifically, the relay 184 transmits a supply signal for supplying electric power to the power supply unit 14 by energizing under the control of the FPGA 181. When the energization of the relay 184 is stopped by the control of the FPGA 181, the transmission of the supply signal is stopped. As a result, the power supply from the power supply unit 14 is cut off. By shutting off the power supply, the operation can be reliably stopped.
  • the supply signal from the relay 184 can pass through a relay (not shown) provided in each part of the automatic operation device 1 and the cooperative operation device 2 outside the monitoring circuit 180. As a result, the power supply is immediately cut off by some cutoff control. Therefore, the operation can be reliably stopped.
  • the logic circuit composed of FPGA181 of the monitoring circuit 180 detects an abnormality in the operation of the automatic control circuit 170 by rule-based logic.
  • the monitoring circuit 180 inspects at least one signal selected from the group consisting of the external environment signal, the operation control signal, and the status index signal of the automatic control circuit 170.
  • the monitoring circuit 180 monitors all of the external environment signal, the operation control signal, and the status index signal, for example.
  • the monitoring circuit 180 is configured to monitor whether or not the external environment signal, the operation control signal, and the status index signal satisfy the conditions set to be associated with each of them.
  • the automatic control circuit 170 stores the external environment data representing the external environment signal output from the external environment sensing unit 11 in the RAM 173.
  • the monitoring circuit 180 reads a part of the external environment data of the RAM 173 and monitors whether or not the external environment signal is within the corresponding normal condition range.
  • the monitoring circuit 180 also monitors the interval at which the external environment signal is input, the value of the data indicated by the external environment signal, and the amount of change in the data indicated by the external environment signal in the automatic control circuit 170.
  • the monitoring circuit 180 reads data indicating the processing status and data indicating the operation control signal as a result of the processing from the RAM 173. The monitoring circuit 180 monitors whether or not the read result is within the corresponding normal condition range. Further, the monitoring circuit 180 monitors whether or not the status index signal output from the control IO 174 of the automatic control circuit 170 is within the corresponding normal condition range. The monitoring circuit 180 monitors whether or not the operation control signal output from the automatic control circuit 170 via the communication IF 183 is within the corresponding normal condition range. Further, the monitoring circuit 180 monitors whether or not the cycle and time for executing the process for processing the control model are within the corresponding normal condition range. The monitoring circuit 180 also monitors the voltage of the power supply supplied to the FPGA 181. As a result, the monitoring circuit 180 can also monitor the abnormality of the power supply unit 14.
  • the monitoring circuit 180 monitors whether or not the parameter to be monitored is included in the range defined so as to be associated with the parameter.
  • the monitoring circuit 180 does not limit the output of the automatic control circuit 170. That is, when the parameter to be monitored is within the range defined by the rule, the automatic control circuit 170 is not restricted by the rule. Therefore, it is possible to control with a high degree of freedom by the model of the automatic control circuit 170 while maintaining reliability.
  • the monitoring circuit 180 detects an abnormality of the parameter, the portion of the controlled object that stops the operation is changed according to the type of the abnormality of the parameter.
  • the non-volatile memory 182 records conditions defined so as to be associated with parameters.
  • the FPGA 181 of the monitoring circuit 180 implements a processing function for inspecting whether or not the parameters satisfy the conditions.
  • the FPGA 181 of the monitoring circuit 180 is configured to determine the result of monitoring by the logical product, OR, or a combination thereof of signals representing the detected abnormalities. A logical product, a logical sum, or a combination thereof is recorded in the non-volatile memory 182.
  • the monitoring circuit 180 is configured with a logic circuit to select the type of stop described above according to the degree of abnormality of the parameter. Further, the monitoring circuit 180 generates a stop signal for stopping the operation of the actuator 121 at a predetermined deceleration depending on the type of abnormal parameter. For example, if the anomalous parameter relates to a range of command speeds, the monitoring circuit 180 will generate a stop signal to stop at a predetermined deceleration. In this case, the impact caused by the stop of the actuator 121 is suppressed. When the actuator 121 is a traveling device, the influence of the sudden stop on the mounted equipment is suppressed.
  • the monitoring circuit 180 generates a stop signal for stopping the operation of the actuator 121 instead of the operation control signal output by the automatic control circuit 170, depending on the type of the abnormal parameter. For example, if the combination of commands is different from the combination of the assumed range, a stop signal is generated. In this case, the actuator 121 is stopped in a short time, and the shock to the mounted device is suppressed to some extent. Further, the monitoring circuit 180 generates a signal for operating the brake included in the operation unit 12 instead of the operation control signal output by the automatic control circuit 170, depending on the type of abnormal parameter. For example, when an abnormality is detected in the process itself in the automatic control circuit 170, a signal for operating the brake is generated. In this case, since the actuator 121 can be stopped in the shortest time, the influence of the abnormal state can be minimized.
  • the monitoring circuit 180 when the monitoring circuit 180 detects an abnormality, the monitoring circuit 180 cuts off the power supply to the controlled object according to the type and number of the abnormal parameters.
  • the monitoring circuit 180 shuts off the power supply by operating the relay 184, for example, when an abnormality of a plurality of parameters is detected.
  • the monitoring circuit 180 controls the automatic control circuit 170 so that the image of the camera is forcibly displayed on the remote control device 3 when an abnormality is detected. As a result, the operator can immediately perform the corresponding maneuver.
  • the output by the monitoring circuit 180 is not limited to the above combination.
  • the monitoring circuit 180 detects an abnormality of at least one parameter related to at least one type of signal
  • the monitoring circuit 180 also adopts a configuration in which the output of the operation control signal by the automatic control circuit 170 is prohibited instead of outputting the operation command. It is possible. In this case, the monitoring circuit 180 stops the operation of the communication IF 183 that outputs the signal from the automatic control circuit 170. As a result, the situation in which an abnormal operation control signal is continuously output is suppressed.
  • the logical combination constructed by the monitoring circuit 180 implements an appropriate stop according to the degree of parameter abnormality.
  • the basic hardware structure of the control unit 10 described above is also applied to the cooperative control unit 20. However, when the output content based on the abnormality detection result of the cooperative sensing unit 21 is different from that of the control unit 10, a part of the hardware and the software are different from the control unit 10 according to the difference.
  • the control unit 10 having the above-described configuration operates in cooperation with the cooperative control unit 20.
  • the control unit 10 operates in cooperation with the cooperative control unit 20 regardless of whether the master unit or the slave unit is connected as the cooperative control unit 20. Subsequently, the details of the cooperation operation with the cooperation control unit 20 will be described.
  • FIG. 3 is a flowchart illustrating a cooperative operation among the operations of the control unit shown in FIG.
  • the operation control device 160 executes the determination of the type of the cooperation control unit 20 and the cooperation operation according to the type.
  • the type determination and the cooperative operation according to the type are mainly carried out by the automatic control circuit 170 shown in FIG.
  • a configuration in which the type of the cooperative control unit 20 is determined by the processor 181p provided in the monitoring circuit 180 can also be adopted.
  • the cooperative operation will be described as the operation of the operation control device 160.
  • the motion control device 160 first determines whether or not it is connected to the linked control unit 20 (S11). For example, the operation control device 160 determines whether or not it is possible to communicate with the cooperation control unit 20 via the external communication connection unit 140. When the cooperative control unit 20 is connected, the cooperative control unit 20 can communicate with the operation control device 160 of the control unit 10. In this case, the operation control device 160 determines that it is connected to the cooperation control unit 20.
  • the operation control device 160 When communication with the cooperation control unit 20 is possible (Yes in S11), the operation control device 160 identifies the type of the cooperation control unit 20 (S12). For example, the operation control device 160 reads the identification information that identifies the cooperation control unit 20 from the cooperation control unit 20 via the external communication connection unit 140.
  • the cooperation control unit 20 determines the type of the cooperation control unit 20 (S13).
  • the cooperation control unit 20 determines whether the cooperation control unit 20 is either a master unit or a slave unit by referring to a database in which identification information and the type of the cooperation control unit are associated with each other, for example.
  • the cooperation control unit 20 When the cooperation control unit 20 is not a master unit (No in S13), the cooperation control unit 20 is a slave unit. In this case, the control unit 10 operates as a master unit.
  • the operation control device 160 recognizes the content of the external environment data by processing the external environment data (S14). More specifically, for example, when the automatic operation device 1 is an automatic traveling vehicle, the operation control device 160 performs a process for recognizing the content of image data representing an external image based on the constructed control model.
  • the motion control device 160 determines the motion based on the recognition result of the content of the external environment data (S15). More specifically, for example, the motion control device 160 grasps the current position of the automatic motion device 1 and determines the optimum travel route based on the recognition of the content of the image data.
  • the operation control device 160 generates an operation control signal based on the processing result of the external environment data (S16).
  • the operation control device 160 outputs the generated operation control signal to the actuator 121 of the operation unit 12 via the operation control connector 130. More specifically, for example, the motion control device 160 generates an motion control signal including a travel and steering command based on the determined travel path, and outputs the motion control signal to the motion unit 12.
  • the operation unit 12 operates the actuator 121.
  • the automatic operation device 1 operates based on the external environment.
  • the operation control device 160 transmits an operation command for controlling the linked operation device 2 based on the processing result of the external environment data (S17). More specifically, for example, the operation control device 160 generates an operation command for the cooperative control unit 20 to perform an operation according to the position of the automatic operation device 1 on the traveling path. The operation control device 160 transmits an operation command to the cooperation control unit 20 via the external communication connection unit 140. As a result, the control unit 10 operates in cooperation with the cooperative control unit 20 that operates as a slave unit.
  • the operation control device 160 When the cooperative control unit 20 is a master unit (Yes in S13), the operation control device 160 operates as a slave unit. In this case, the motion control device 160 recognizes the content of the external environment data by processing the external environment data (S21). Further, the motion control device 160 determines the motion based on the recognition result of the content of the external environment data (S22). These operations are the same as in steps S14 and S15 described above.
  • the operation control device 160 receives an operation command from the cooperative control unit 20 which is a master unit (S23).
  • the cooperative control unit 20 transmits an operation command to the control unit 10 via the external communication connection unit 140. More specifically, for example, the cooperative control unit 20 transmits an operation command indicating whether the automatic operation device 1 moves forward or backward according to the position of the work target to the operation control device 160 of the control unit 10.
  • the operation control device 160 transmits an operation control signal for controlling the cooperative operation device 2 based on the operation command received via the external communication connection unit 140 (S24).
  • the motion control device 160 generates an motion control signal based on the external environment data recognized in step S22 and the motion command. More specifically, for example, the motion control device 160 generates an motion control signal so as to move forward or backward along the determined travel path, and outputs the motion control signal to the motion unit 12.
  • the operation unit 12 operates the actuator 121.
  • the automatic operation device 1 operates based on the operation command of the cooperation control unit 20.
  • the control unit 10 operates in cooperation with the cooperative control unit 20 that operates as a master unit.
  • FIG. 4 is a block diagram showing a first application example of the control unit shown in FIG.
  • An application example shown in FIG. 4 is a case where the automatic operation device 1 is an automatic traveling vehicle and the cooperation control unit 20 is a master unit. That is, the master unit is connected to the external communication connector 140.
  • the cooperative operation device 2 is an autonomous operation robot mounted on an autonomous vehicle.
  • the cooperation control unit 20 recognizes the position of the work target of the robot based on the image of the cooperation operation device camera (robot camera) as the cooperation sensing unit 21.
  • the cooperative control unit 20 transmits an operation command including forward / backward movement to the operation control device 160 of the control unit 10 according to the position of the work target.
  • the operation control device 160 generates an operation control signal from the cooperation control unit 20 based on the operation command received.
  • the motion control device 160 outputs the generated motion control signal to the actuator 121 of the motion unit 12 via the motion control connector 130.
  • the automatic operation device 1 and the cooperative operation device 2 can cooperate with each other to perform precise work.
  • FIG. 5 is a block diagram showing a second application example of the control unit shown in FIG.
  • the application example shown in FIG. 5 is a case where the automatic operation device 1 is an automatic traveling vehicle and the cooperation control unit 20 is a slave unit. That is, the slave unit is connected to the external communication connector 140.
  • the cooperative operation device 2' is a simple work device mounted on the automatic operation device 1.
  • the cooperative operation device 2' is, for example, a sprayer that sprays a chemical or the like toward a work target.
  • the operation control device 160 generates an operation command for controlling the cooperative operation device 2'based on the processing result of the image data of the external photographing camera as the external environment sensing unit 11.
  • the motion control device 160 generates, for example, an motion command for causing the cooperative motion device 2 to start or stop a work motion based on the position of the autonomous driving vehicle acquired as a result of processing the image data of the external camera. , Transmit to the cooperation control unit 20.
  • the cooperative operation device 2 can operate appropriately according to the traveling of the automatic traveling vehicle as the automatic operation device 1.
  • the cooperation control unit 20 is connected to the external communication connector 140 of the control unit 10 regardless of whether the master unit or the slave unit is connected as the cooperation control unit 20. Can perform precise work in cooperation with. Therefore, the versatility of the control unit 10 can be improved.
  • the automatic operation system S operates in response to the operation of the remote control device 3 by the operator H.
  • the remote control device 3 shows both or one of an image based on the image data of the external photographing camera 11 and an image based on the image data of the cooperative operation device camera 21.
  • FIG. 6 is a block diagram showing an image flow in the automatic operation system shown in FIG.
  • the solid arrow in FIG. 6 shows the flow of the image when the automatic operation system S is remotely controlled.
  • the broken line arrow in FIG. 6 indicates the flow of the image request signal from the remote control device 3.
  • an external photographing camera is shown as an example of the external environment sensing unit 11.
  • a linked operation device camera is shown as the linked sensing unit 21.
  • the external environment sensing unit 11 will also be referred to as an external photographing camera 11.
  • the linked sensing unit 21 is also referred to as a linked operating device camera 21.
  • the automatic operation device 1 is equipped with an external photographing camera 11 and an actuator 221 for photographing an external environment. Further, the cooperative operation device 2 is provided with a cooperative operation device camera 21 for photographing the external environment.
  • the control unit 10 of the automatic operation device 1 is connected to one remote communication device 13.
  • the control unit 10 of the automatic operation device 1 and the cooperation control unit 20 of the cooperation operation device 2 are connected to one remote communication device 13. That is, the control unit 10 and the cooperative control unit 20 jointly use one remote communication device 13.
  • the control unit 10 includes an external image connector 110, an operation control connector 130, a remote data connector 150, and an operation control device 160 (see FIG. 2).
  • the external image connector 110 (external environment information connector 110) is a connector for inputting external image data indicating a shooting result from the external shooting camera 11 to the control unit 10.
  • the operation control connector 130 is a connector for the control unit 10 to output an operation control signal for controlling the operation of the actuator 121.
  • the remote data connector 150 is a connector for inputting / outputting data to / from one remote communication device 13 communicably connected to the remote control device 3.
  • the operation control device 160 (see FIG. 2) of the control unit 10 remotely transfers monitor image data based on the external image data input via the external image connector 110 from the remote data connector 150 via one remote communication device 13. Output to the control device 3.
  • the operation control device 160 outputs monitor image data based on an image command signal from the outside of the control unit 10.
  • the cooperative control unit 20 also performs the same processing as the control unit 10 on the image data of the cooperative operation device camera 21.
  • the operation of the control unit 10 in the operation control device 160 will be described as a representative.
  • FIG. 7 is a flowchart illustrating control of an image in the operation control device 160 of the control unit 10 shown in FIG.
  • the operation control device 160 determines whether or not an image command signal has been received from the outside (S31).
  • the image command signal is transmitted from the remote communication device 13 via the remote data connector 150.
  • the image command signal may be transmitted from the cooperation control unit 20 via the external communication connector 140.
  • the operation control device 160 discriminates about the image command signal transmitted through both connectors.
  • the operation control device 160 determines whether the content of the image command signal indicates the start of image transmission (S32).
  • the motion control device 160 outputs the monitor image data to the remote control device 3 (S33).
  • the monitor image data is data obtained by processing the external image data input via the external image connector 110.
  • the operation control device 160 generates monitor image data having a smaller amount of data than the external image data by performing image compression processing on the external image data.
  • external image data that has not been substantially processed may be used as the monitor image data.
  • the operation control device 160 outputs monitor image data from the remote data connector 150 to one remote communication device 13.
  • the monitor image data is transmitted to the remote control device 3 via the remote communication device 13.
  • the operation control device 160 determines whether the content of the image command signal indicates that the image transmission is stopped (S34). When the image transmission is stopped (Yes in S34), the operation control device 160 stops the output of the monitor image data (S35). As a result, the transmission of the monitor image data to the remote control device 3 is stopped.
  • the operation control device 160 determines whether the content of the image command signal indicates that the image transmission is stopped (S34). When the image transmission is stopped (Yes in S34), the operation control device 160 stops the output of the monitor image data (S35). As a result, the transmission of the monitor image data to the remote control device 3 is stopped.
  • the image command signal indicating that the image transmission is stopped may be output from the cooperation control unit 20.
  • the cooperative control unit 20 that has received a command to transmit only the image of the cooperative operation device camera 21 from the remote control device 3 sends an image command signal indicating that the image transmission is stopped to the control unit 10. By stopping the transmission of data based on the image data of the external photographing camera 11, the remote control device 3 can display the image that the operator H wants to pay attention to during maneuvering while reducing the amount of data to be transmitted.
  • the operation control device 160 determines whether the content of the image command signal indicates frame thinning (S36). In the case of frame thinning (Yes in S36), the operation control device 160 performs frame thinning processing on the monitor image data (S37). As a result, the amount of monitor image data transmitted to the remote control device 3 is reduced.
  • the operation control device 160 determines whether the content of the image command signal indicates the image compression rate (S38). In the case of the image compression rate (Yes in S38), the operation control device 160 changes the compression rate of the image compression process (S39). As a result, the amount of monitor image data transmitted to the remote control device 3 is reduced.
  • the operation control device 160 determines whether the content of the image command signal indicates a cutout of a part of the image (S41). In the case of cutting out the area (Yes in S41), the operation control device 160 performs the area cutting process on the monitor image data (S42). That is, the motion control device 160 extracts an image of a part of the area designated by the image command from the images captured by the external photographing camera 11 to generate monitor image data. More specifically, for example, when the range captured by the external photographing camera 11 is wide, only an image of a part of the traveling direction necessary for maneuvering is transmitted / displayed. As a result, the amount of monitor image data transmitted to the remote control device 3 is reduced.
  • a plurality of external photographing cameras 11 are connected to the control unit 10, and the motion control device 160 processes the images of the plurality of areas photographed by the plurality of external photographing cameras 11. It also applies if you have one. In the case of cropping a region (Yes in S41), the motion control device 160 uses only the image of the designated region as monitor image data. Also in this case, the amount of monitor image data transmitted to the remote control device 3 is reduced.
  • step S31 When it is determined in step S31 that the image command signal has not been received (No in S31), the operation control device 160 stops the output of the monitor image data (S45).
  • the operation control device 160 determines whether or not an abnormal state has occurred in the control unit 10 (S46).
  • the abnormal state of the control unit 10 is detected by, for example, a logic circuit composed of FPGA 181 of the monitoring circuit 180.
  • the operation control device 160 determines that an abnormal state has occurred, for example, when any of the parameters to be monitored is not within the range defined by the rule.
  • the motion control device 160 outputs monitor image data to the remote control device 3 (S47).
  • the monitor image data is transmitted to the remote control device 3 via the remote communication device 13.
  • the operator H can recognize the occurrence of the abnormal state at an early stage by the display screen of the remote control device 3.
  • the operator H can recognize the cause of the abnormal state at an early stage from the display screen.
  • FIG. 8 is a block diagram showing a third application example of the control unit shown in FIG.
  • the cooperative operation device 4 of the automatic operation system S is not connected to the automatic operation device 1.
  • the cooperative operation device 4 operates away from the automatic operation device 1.
  • the cooperative operation device 4 is, for example, an automatic traveling vehicle having substantially the same configuration as the automatic operation device 1.
  • the cooperative control unit 40 of the cooperative operation device 4 operates as either a master unit or a slave unit.
  • the external communication connection unit 140 included in the control unit 10 of the automatic operation device 1 is a wireless communication device.
  • the cooperative operation device 4 includes an external communication connection unit 440 that performs wireless communication with the external communication connection unit 140.
  • the control unit 10 of the automatic operation device 1 communicates with the cooperation control unit 40 of the cooperation operation device 4 via wireless communication.
  • the cooperation control unit 40 controls the cooperation operation unit 42.
  • the control unit 10 of the automatic operation device 1 When the cooperative control unit 40 is the master unit, the control unit 10 of the automatic operation device 1 outputs an operation control signal based on the operation command from the cooperative control unit 40. For example, the control unit 10 travels in response to an operation command from the cooperation control unit 40. For example, the control unit 10 operates following the cooperative operation device 4. In this case, the control unit 10 can, for example, photograph the cooperative operation device 4 with the external photographing camera 11 and run following the cooperative operation device 4 based on the image data of the external photographing camera 11.
  • the control unit 10 When the cooperation control unit 40 is a slave unit, the control unit 10 generates an operation command for controlling the cooperation operation device 4 based on the image data of the external photographing camera 11. The control unit 10 transmits an operation command to the cooperative control unit 40.
  • the cooperative operation device 4 operates following the automatic operation device 1.
  • FIG. 9 is a flowchart illustrating the cooperative operation of the control unit 10 according to the second embodiment of the present invention.
  • the operation of the control unit shown in FIG. 9 is different from the operation described with reference to FIG. 3 in steps S51 and S53.
  • step S51 the operation control device 160 (see FIG. 2) of the control unit 10 determines whether or not an operation command has been received from the cooperative control unit 20.
  • the operation control device 160 When the operation control device 160 receives an operation command from the cooperation control unit 20 (Yes in S51), the operation control device 160 determines that the cooperation control unit 20 is the master unit. That is, the control unit 10 operates as a slave unit. In this case, the cooperation control unit 20 executes the processes of steps S21, S22, S53, and S24. In step S53, the operation control device 160 executes the process based on the operation command received in S51.
  • the operation control device 160 determines that the cooperation control unit 20 is a slave unit. That is, the control unit 10 operates as a master unit. In this case, the cooperation control unit 20 carries out the processes of steps S14 to S17.
  • control unit 10 of the present embodiment determines that the cooperation control unit 20 is the master unit when the operation command is input from the cooperation control unit.
  • the control unit 10 determines that the cooperative control unit is the slave unit until an operation command is input.
  • FIG. 10 is a block diagram showing a configuration of an automatic operation system including a control unit according to a third embodiment of the present invention.
  • the automatic operation device 1 in the present embodiment is different from the first embodiment in that it has a hub 13a. Further, the automatic operation device 1 in the present embodiment is connected to the cooperation control unit 20 via the hub 13a instead of directly. Since other points in this embodiment are the same as those in the first embodiment, each part is designated by the same reference numerals as those in the first embodiment.
  • the control unit 10 and the cooperation control unit 20 in FIG. 10 are connected to one remote communication device 13 via the hub 13a.
  • the hub 13a relays data between the control unit 10, the cooperative control unit 20, and the remote communication device 13.
  • the control unit 10 and the cooperative control unit 20 connected to the hub 13a transmit data in a common transmission format.
  • the automatic operation device 1 in FIG. 10 communicates with the cooperation control unit 20 via the hub 13a.
  • the hub 13a in the present embodiment has an independent data mixing function in the remote communication device 13 of the first embodiment. That is, the hub 13a has a part of the functions of the remote communication device 13. Therefore, even in this embodiment, it can be said that the cooperative control unit 20 of the automatic operation device 1 and the cooperative control unit 20 of the cooperative operation device 2 are connected to one remote communication device 13.

Abstract

本発明の課題は、構成の複雑化が抑制乃至回避され得ると共に、実施可能な作業の自由度を向上させることができる自動動作機器のための制御ユニットを提供することである。制御ユニットは、外部画像データを入力するための外部画像コネクタと、アクチュエータの動作を制御するための動作制御信号を出力するための動作制御コネクタと、遠隔操縦装置と通信可能に接続された1つの遠隔通信装置に対しデータを入出力するための遠隔データコネクタと、連携動作機器を制御する連携制御ユニットが1つの遠隔通信装置に接続された状態で、自動動作機器及び連携動作機器の外部に位置する通信機器又は連携制御ユニットから出力された信号に基づいて、外部画像コネクタを介して入力された外部画像データに基づくモニタ画像データを、遠隔データコネクタから1つの遠隔通信装置を介して遠隔操縦装置へ出力する動作制御装置と、を備える。

Description

制御ユニット及び自動動作システム
 本発明は、自動動作機器に用いられる制御ユニット及び制御ユニットを備えた自動動作システムに関する。
 カメラを備え、カメラで撮影された画像に基づいて動作する自動動作機器が知られている。
 例えば、特許文献1には、作業ロボットが示されている。この作業ロボットは、カメラで撮影した画像に対し画像認識を行い、画像認識の結果によって作業用モータの駆動力を制御する。これにより、複雑な作業を自動的に行うことができる。
特開2018-7615号公報
 カメラで撮影された画像に基づいて動作する自動動作機器としては、構成の複雑化が抑制乃至回避され得ると共に、実施可能な作業の自由度が高い自動動作機器が望まれている。
 本発明の目的は、構成の複雑化が抑制乃至回避され得ると共に、実施可能な作業の自由度を向上させることができる自動動作機器のための制御ユニットを提供することである。
 本発明者は、上述した課題に鑑みて検討を行い、以下の知見を得た。
 例えば、より複雑な作業を実施するため、自動動作可能な複数の機器を組合せることが考えられる。例えば、走行制御用のカメラを備えた自動走行車両に、作業制御用のカメラを備えた自動作業器を連結する。
 この場合、走行制御用のカメラで撮影される画像の画像認識に基づいて精密に移動しつつ、作業制御用のカメラで撮影される画像の画像認識に基づいて精密な作業を実施することができる。
 しかし、機器が実際に作業するフィールドでは、画像に基づく自動処理のみで作業を遂行できない場合がある。例えば、車両の走行経路上に、作業開始時には予想されなかった障害物があり、画像に基づく自動処理のみでは作業が困難となるような場合である。このような事態は、作業の複雑さが高くなるほど、生じ易くなる。また、このような事態が発生した時に当該事態に対して更に自動処理で対応するように自動動作機器を構成することも考えられる。例えば、画像に基づく自動処理のみで作業が困難となった場合に、画像以外の外部環境センシングの結果に基づく自動処理により当該事態を打開するように自動動作機器を構成することが考えられる。しかしながら、構成が複雑化してしまう。
 そこで、自動処理のみで作業を遂行できない場合のため、遠隔地から作業機器を動作させる遠隔操縦装置を設けることが考えられる。また、遠隔操縦の際に、作業機器に設けられたカメラを活用することが考えられる。例えば、カメラで撮影した画像を遠隔操縦装置に送信・表示することによって、操作者がカメラの画像を見ながら遠隔操縦を行う。これにより、構成の複雑化を抑制乃至回避しつつ、画像に基づく自動処理のみで作業が困難な事態に対応することが考えられる。しかし、このような対応を実現可能とするためには、以下のような支障が生じることが考えられる。
 上述した複数の機器を連結した装置には、作業の役割に応じて機器毎にカメラが設けられている場合がある。
 役割に応じて設けられた複数のカメラからの画像を、例えば、役割毎に設けられた遠隔操縦装置の表示部に対応させると、複数の遠隔操縦装置が必要となる。複数の遠隔操縦装置を利用する場合、遠隔操縦のための準備及び設置が煩わしい。また、画像データは、例えば距離センサ又は位置センサの情報と比べて著しく大きい。このため複数のカメラからの画像データを送信する場合、送信されるデータが膨大となり、例えば通信の制限により、操作に必要な画像が乱れたり遅延して送られたりして操作に支障が生じる場合がある。
 そこで、遠隔操縦装置の準備および設置が容易で、且つ、通信の制限による影響が抑制される自動動作機器のための制御ユニットを提供することが考えられる。これを実現できれば、構成の複雑化を抑制乃至回避しつつ、画像に基づく自動処理のみで作業が可能な事態に対して、操作者は、画像を見ながら遠隔操縦を行うことより適切に対応することが可能となる。結果として、構成の複雑化が抑制乃至回避され得ると共に、より複雑な作業を行うことが可能となる。従って、構成の複雑化が抑制乃至回避され得ると共に、実施可能な作業の自由度を向上させることができる。
 以上の目的を達成するために、本発明の一つの観点によれば、制御ユニットは、次の構成を備える。
 (1) 外部環境を撮影する外部撮影カメラとアクチュエータとが搭載されるとともに遠隔操縦装置の操作によって操縦可能な自動動作機器に用いられ、外部環境を撮影する連携動作機器カメラを備え且つ前記自動動作機器と連結された連携動作機器に用いられる連携制御ユニットと接続された1つの遠隔通信装置と接続される制御ユニットであって、
 前記制御ユニットは、
 前記外部撮影カメラから撮影結果を示す外部画像データを入力するための外部画像コネクタと、
 前記アクチュエータの動作を制御するための動作制御信号を出力するための動作制御コネクタと、
 前記遠隔操縦装置と通信可能に接続された前記1つの遠隔通信装置に対しデータを入出力するための遠隔データコネクタと、
 前記連携動作機器を制御する連携制御ユニットが前記1つの遠隔通信装置に接続された状態で、前記自動動作機器及び前記連携動作機器の外部に位置する通信機器又は前記連携制御ユニットから出力された信号に基づいて、前記外部画像コネクタを介して入力された前記外部画像データに基づくモニタ画像データを、前記遠隔データコネクタから前記1つの遠隔通信装置を介して前記遠隔操縦装置へ出力する動作制御装置と、を備える。
 動作制御装置は、外部撮影カメラから得られる撮影結果を示す外部画像データに基づくモニタ画像データを、遠隔データコネクタを介して遠隔通信装置へ出力する。モニタ画像データは、遠隔通信装置から遠隔操縦装置に送信され表示されることができる。
 上記の遠隔通信装置には、連携動作機器を備えた連携動作機器に用いられる連携制御ユニットも接続されている。連携画像のデータも遠隔通信装置から遠隔操縦装置に送信され表示されることができる。遠隔操縦装置で表示される画像に基づいてより複雑な作業を行うことが可能となる。従って、実施可能な作業の自由度を向上させることができる。
 遠隔通信装置は、動作制御装置からの外部画像データと、連携動作機器からの連携画像データの双方を遠隔操縦装置に送信する。このため、連携動作機器から送信されるデータの量が増大しやすい。上記構成の動作制御装置は、外部画像コネクタを介して入力された前記外部画像データに基づくモニタ画像データを、遠隔操縦装置又は連携制御ユニットから出力された信号に基づいて遠隔通信装置へ出力する。このため、遠隔通信装置を介して遠隔操縦装置へ出力される画像のデータの量を遠隔操縦装置又は連携制御ユニットに応じて調整することができる。例えば、画像を圧縮、重畳、合成、切換え、又は、切抜きすることによって画像の量を調整して1つの遠隔通信装置に向け出力することができる。
 従って、遠隔操縦装置を用いて自動動作機器と連携動作機器の双方を遠隔操縦する際に、複数の機器の画像を1つの遠隔操縦装置で表示することが可能となる。従って、遠隔操縦装置の構成の複雑化が抑制乃至回避され得る。このため、遠隔操縦装置の準備および設置が容易である。また、遠隔操縦装置へ出力される通信の制限による影響を抑制することができる。
 本発明の一つの観点によれば、制御ユニットは、以下の構成を採用できる。
 (2) (1)の制御ユニットであって、
 前記自動動作機器に搭載された前記アクチュエータは、前記自動動作機器を走行させる走行装置であり、
 前記動作制御装置は、前記外部画像データを処理することによって前記自動動作機器の走行進路を指示するための動作制御信号を生成する。
 上記構成の制御ユニットによれば、自動動作機器は、自動走行車両として機能する。遠隔操縦のため、自動走行車両の画像及び連携動作機器の画像を表示する場合、車両の操縦に必要な画像を表示しつつ、遠隔操縦装置の構成の複雑化を抑制乃至回避することができる。このため、連携動作機器の操縦に求められる画像を表示することができる。従って、自動走行車両を操縦する遠隔操縦装置の構成の複雑化が抑制乃至回避され得ると共に、自動走行車両の走行を含む実施可能な作業の自由度を高めることができる。
 本発明の一つの観点によれば、制御ユニットは、以下の構成を採用できる。
 (3) (1)の制御ユニットであって、
 前記動作制御装置は、画像の送信についての要求が前記遠隔操縦装置から前記遠隔通信装置へ入力されたことに応じて前記遠隔通信装置から出力され且つ前記遠隔データコネクタを介し入力された信号、又は、前記連携制御ユニットから出力された信号に基づいて、前記外部撮影カメラから入力された前記外部画像データを処理することによって前記外部画像データよりもデータ量が少ないモニタ画像データを出力する。
 上記構成の制御ユニットによれば、外部撮影カメラから入力された外部画像データよりもデータ量が少ないモニタ画像データが出力される。従って、通信の制限による影響を抑制しつつ、連携動作機器の操縦に求められる画像を表示することができる。従って、遠隔操縦装置の構成の複雑化が抑制乃至回避され得ると共に、実施可能な作業の自由度を高めることができる。
 本発明の一つの観点によれば、制御ユニットは、以下の構成を採用できる。
 (4) (1)の制御ユニットであって、
 前記動作制御装置は、画像の送信についての要求が前記遠隔操縦装置から前記遠隔通信装置へ入力されたことに応じて前記遠隔通信装置から出力され且つ前記遠隔データコネクタを介し入力された信号、又は、前記連携制御ユニットから出力された信号に基づいて、前記外部撮影カメラから入力された前記外部画像データを画像圧縮処理することによって前記外部画像データよりもデータ量が少ないモニタ画像データを出力する。
 上記構成の制御ユニットによれば、外部画像データを画像圧縮処理するので、表示範囲を狭めたり、表示の更新時間間隔を広げたりすることを抑えつつ、データ量を減少することができる。画像の明瞭性の低下を抑えつつ、通信の制限による影響を抑制することができる。
 本発明の一つの観点によれば、制御ユニットは、以下の構成を採用できる。
 (5) (1)の制御ユニットであって、
 前記動作制御装置は、画像の送信についての要求が前記遠隔操縦装置から前記遠隔通信装置へ入力されたことに応じて前記遠隔通信装置から出力され且つ前記遠隔データコネクタを介し入力された信号、又は、前記連携制御ユニットから出力された信号に基づいて、前記外部撮影カメラから入力された前記外部画像データに対しフレーム間引き処理することによって前記外部画像データよりもデータ量が少ないモニタ画像データを出力する。
 上記構成の制御ユニットによれば、画像の解像度を低下させることなく、通信の制限による影響を抑制することができる。
 本発明の一つの観点によれば、制御ユニットは、以下の構成を採用できる。
 (6) (1)の制御ユニットであって、
 前記動作制御装置は、画像の送信についての要求が前記遠隔操縦装置から前記遠隔通信装置へ入力されたことに応じて前記遠隔通信装置から出力され且つ前記遠隔データコネクタを介し入力された信号、又は、前記連携制御ユニットから出力された信号に基づいて、前記外部撮影カメラから入力された前記外部画像データに対し一部の領域の画像を抽出する切抜き処理によって前記外部画像データよりもデータ量が少ないモニタ画像データを出力する。
 上記構成の制御ユニットによれば、切抜き(Crop)処理によって注目する画像領域の解像度を低下させることなく、通信の制限による影響を抑制することができる。
 本発明の一つの観点によれば、自動動作システムは、以下の構成を採用できる。
 (7) 外部の画像に基づいて自動的に動作可能であるとともに遠隔操縦装置の操作に基づいて遠隔操縦が可能な自動動作システムであって、
 前記自動動作システムは、
 自動動作機器と、前記自動動作機器と連結された連携動作機器とを備え、
 前記連携動作機器は、
 画像を撮影する連携動作機器カメラと、
 前記連携動作機器カメラで撮影された連携画像に基づく制御を行う連携制御ユニットとを備え、
 前記自動動作機器は、
 前記自動動作機器に設けられ、外部画像を撮影する外部撮影カメラと、
 前記外部画像に基づいて制御されるアクチュエータと、
 前記連携制御ユニットと接続された遠隔通信装置と、
 遠隔通信装置と接続される制御ユニットとを備え、
 前記制御ユニットは、
 前記外部撮影カメラから撮影結果を示す外部画像データを入力するための外部画像コネクタと、
 前記アクチュエータの動作を制御するための動作制御信号を出力するための動作制御コネクタと、
 前記遠隔操縦装置と通信可能に接続された前記遠隔通信装置に対しデータを入出力するための遠隔データコネクタと、
 前記連携動作機器を制御する連携制御ユニットが前記遠隔通信装置に接続された状態で、画像の送信についての要求が前記遠隔操縦装置から前記遠隔通信装置へ入力されたことに応じて前記遠隔通信装置から出力され且つ前記遠隔データコネクタを介し入力された信号、又は、前記連携制御ユニットから出力された信号に基づいて、前記外部画像コネクタを介して入力された前記外部画像データに基づくモニタ画像データを、前記遠隔データコネクタ及び連携制御ユニットが接続された前記遠隔通信装置を介して前記遠隔操縦装置へ出力する動作制御装置と、を備える。
 上記構成の自動動作システムによれば、遠隔操縦装置を用いて遠隔操縦する際に、自動動作システムが有する複数の機器の画像を一つの遠隔操縦装置で表示することが可能となる。従って、遠隔操縦装置の構成の複雑化が抑制乃至回避され得る。遠隔操縦装置の準備および設置が容易である。遠隔操縦装置で表示される画像に基づいてより複雑な作業を行うことが可能となる。従って、実施可能な作業の自由度を向上させることができる。またさらに、画像のデータ量を調整し、遠隔操縦装置へ出力される画像のデータの通信の制限による影響を抑制することができる。
 本明細書にて使用される専門用語は特定の実施例のみを定義する目的であって発明を制限する意図を有しない。
 本明細書にて使用される用語「および/または」はひとつの、または複数の関連した列挙された構成物のあらゆるまたはすべての組み合わせを含む。
 本明細書中で使用される場合、用語「含む、備える(including)」「含む、備える(comprising)」または「有する(having)」およびその変形の使用は、記載された特徴、工程、操作、要素、成分および/またはそれらの等価物の存在を特定するが、ステップ、動作、要素、コンポーネント、および/またはそれらのグループのうちの1つまたは複数を含むことができる。
 本明細書中で使用される場合、用語「取り付けられた」、「接続された」、「結合された」および/またはそれらの等価物は広く使用され、直接的および間接的な取り付け、接続および結合の両方を包含する。更に、「接続された」および「結合された」は、物理的または機械的な接続または結合に限定されず、直接的または間接的な電気的接続または結合を含むことができる。
 他に定義されない限り、本明細書で使用される全ての用語(技術用語および科学用語を含む)は、本発明が属する当業者によって一般的に理解されるのと同じ意味を有する。
 一般的に使用される辞書に定義された用語のような用語は、関連する技術および本開示の文脈における意味と一致する意味を有すると解釈されるべきであり、本明細書で明示的に定義されていない限り、理想的または過度に形式的な意味で解釈されることはない。
 本発明の説明においては、複数の技術および工程が開示されていると理解される。
 これらの各々は個別の利益を有し、それぞれは、他の開示された技術の1つ以上、または、場合によっては全てと共に使用することもできる。
 従って、明確にするために、この説明は、不要に個々のステップの可能な組み合わせをすべて繰り返すことを控える。
 それにもかかわらず、明細書および特許請求の範囲は、そのような組み合わせがすべて本発明および請求項の範囲内にあることを理解して読まれるべきである。
 本明細書では、新しい制御ユニットについて説明する。
 以下の説明では、説明の目的で、本発明の完全な理解を提供するために多数の具体的な詳細を述べる。
 しかしながら、当業者には、これらの特定の詳細なしに本発明を実施できることが明らかである。
 本開示は、本発明の例示として考慮されるべきであり、本発明を以下の図面または説明によって示される特定の実施形態に限定することを意図するものではない。
 自動動作機器は、例えば、自動運転車両である。但し、自動動作機器は、特に限定されず例えば自動作業ロボットでもよい。
 また、自動動作機器と連携する連携動作機器は、自動運転車両に搭載される自動作業ロボットである。但し、連携動作機器もこれに限定されず、例えば自動運転車両としての自動作業ロボットを搭載する自動運転車両でもよい。
 制御ユニットは、例えば、外部撮影カメラで撮影される外部環境又は連携動作機器カメラで撮影される外部環境に基づいてアクチュエータを制御する。また、制御ユニットは、例えば、外部撮影カメラで撮影される外部環境、及び連携動作機器カメラで撮影される外部環境に基づいてアクチュエータを制御してもよい。
 1つの遠隔通信装置は、ただ1つの遠隔通信装置を意味する。但し、制御ユニットは、1つの遠隔通信装置以外の通信装置を備えていてもよい。制御ユニット(即ち動作制御装置)と連携制御ユニットとは、X<Y+Zの条件が満たされつつ、画像の送信についての要求に応じたモニタ画像データが1つの遠隔通信装置から出力されるように、画像送信のための処理を行う。このとき、制御ユニット及び連携制御ユニットの各々が、画像の送信についての要求を受け、互いに独立して当該画像送信のための処理を行ってもよい。また、制御ユニット及び連携制御ユニットの一方が、画像の送信についての要求を受け、他方へ画像の送信についての指示を送りつつ、当該画像送信のための処理を行ってもよい。この場合、他方では、当該指示に基づいて、当該画像送信のための処理が行われる。なお、Xは、1つの遠隔通信装置から遠隔操縦装置へ出力されるモニタ画像データの単位時間あたりのデータ通信量を示す。Yは、外部撮影カメラから制御ユニットへ入力される外部画像データの単位時間あたりのデータ通信量を示す。Zは、連携動作機器カメラから連携制御ユニットへ入力される連携画像データの単位時間あたりのデータ通信量を示す。
 遠隔通信装置は、制御ユニットの動作制御装置及び連携制御ユニットから、画像データを入力し、遠隔操縦装置にデータを送信する装置である。遠隔通信装置は、例えば、データハブ装置、及び、通信装置の組合せである。データハブ装置は制御ユニットの動作制御装置及び連携制御ユニットの双方からデータを受け通信装置に出力する、通信装置は出力されたデータを遠隔操縦装置に送信する。遠隔通信装置は、例えば、データの量を減少する機能を有していてもよい。但し、遠隔通信装置は、特に限られず、例えば、入力されたデータをそのまま送信してもよい。
 遠隔通信装置は、例えば遠隔操縦装置と無線通信可能に接続されており、物理的には離れた位置に配置されている。但し、遠隔通信装置は、例えば遠隔操縦装置と有線通信可能に接続されてもよい。後述する実施形態において遠隔操縦装置から遠隔通信装置へ出力される画像要求信号は、画像の送信についての要求の一例である。画像の送信についての要求は、画像を送信することの要求に限定されず、例えば、送信される画像の仕様についての要求であってもよい。画像の仕様は、特に限定されない。画像の仕様としては、例えば、圧縮率、フレームレート、撮影対象、撮影範囲が挙げられる。遠隔操縦装置は、自動動作機器及び連携動作機器の外部に位置する通信機器の一例である。即ち、自動動作機器及び連携動作機器の外部に位置する通信機器として、遠隔操縦装置と、他の通信機器とが存在する場合に、当該他の通信機器が、画像の送信についての要求を、遠隔通信装置へ送信し、遠隔通信装置が、モニタ画像データを、遠隔操縦装置へ送信してもよい。このように、画像の送信についての要求は、必ずしも、遠隔操縦装置から送信される必要はない。
 アクチュエータは、例えば、モータである。アクチュエータは、自動動作機器に物理的な出力を行わせる。連携動作機器に設けられるアクチュエータは、当該連携動作機器に物理的な出力を行わせる。アクチュエータは電磁ソレノイドでもよい。アクチュエータは、動作制御装置により制御される。アクチュエータは、動作制御装置により直接的に制御されてもよい。アクチュエータと動作制御装置とは、動作制御装置と異なる制御手段を介して間接的に制御されてもよい。この場合、動作制御装置は、制御手段を制御し、制御手段が、アクチュエータを制御する。
 制御ユニットは、例えば、自動運転車両の自動運転を制御するためのナビゲーション装置である。但し、制御ユニットは、特に限定されず、走行しないロボットを制御するように構成されていてもよい。
 自動動作機器に用いられる制御ユニットは、例えば自動動作機器に搭載される。但し、制御ユニットは特に限られず、例えば自動動作機器から離れた位置に設置され、周辺機器と各コネクタを介して通信可能に接続されてもよい。
 通信可能な接続は、例えば、コネクタ及び電線を介して、電気的に直接接続されることである。但し、通信可能な接続は、特に限定されず、例えば物理的に離れた位置で配置され無線通信機を介して通信可能な状態でもよい。また、通信可能な接続は、多数の装置と通信可能な中央通信中継装置を介して通信可能な状態でもよい。
 本発明によれば、構成の複雑化が抑制乃至回避され得ると共に、実施可能な作業の自由度を向上させることができる自動動作機器のための制御ユニットが実現できる。
本発明の第一実施形態に係る制御ユニットを含む自動動作システムの構成を示すブロック図である。 図1に示す制御ユニットの構成を示すブロック図である。 図1に示す制御ユニットの連携動作を説明するフローチャートである。 図1に示す制御ユニットの第1の適用例を示すブロック図である。 図1に示す制御ユニットの第2の適用例を示すブロック図である。 図1に示す自動動作システムにおける画像の流れを示すブロック図である。 図6に示す制御ユニットの動作制御装置における画像の制御を説明するフローチャートである。 図1に示す制御ユニットの第3の適用例を示すブロック図である。 本発明の第二実施形態に係る制御ユニットの連携動作を説明するフローチャートである。 本発明の第三実施形態に係る制御ユニットを含む自動動作システムの構成を示すブロック図である。
 以下、本発明の実施形態について、図面を参照しながら説明する。
[第一実施形態]
 図1は、本発明の第一実施形態に係る制御ユニットを含む自動動作システムの構成を示すブロック図である。
[自動動作システム]
 自動動作システムSは、操作者H、即ち人の操作によらず自動動作することができるシステムである。自動動作システムSは、自ら自動動作システムSの外部環境を検出する。そして、自動動作システムSは、検出結果の内容を認知し、そして認知結果に基づき自動動作システムSの動作を制御する。
 自動動作システムSは、操作者Hの操作に応じて動作する機能も有する。例えば、自動動作システムSは、遠隔操縦装置3の操作に応じて動作する。遠隔操縦装置3は、自動動作システムSを遠隔操縦するための装置である。遠隔操縦装置3は、自動動作システムSと無線通信により通信可能である。遠隔操縦装置3は、自動動作システムSに操作の情報を送信する。また、遠隔操縦装置3は、自動動作システムSから画像を受信し、画像を表示する。
 例えば、自動動作システムSは、遠隔操縦装置3に対する自動動作開始の操作又は停止の操作に応じて、自動動作を開始又は停止することができる。また、例えば、自動動作システムSは、遠隔操縦装置3に対する選択動作の操作に応じて、複数ある自動動作のパターンから1つのパターンを選択することができる。また、例えば、自動動作システムSは、遠隔操縦装置3に対する逐次操作に応じて、逐次動作を行うことができる。逐次操作は、例えば、前進、後退、及び停止に代表される操作である。
 自動動作システムSは、自動動作機器1及び連携動作機器2を備える。図1に示す自動動作機器1は、自動動作を行うことができるシステムである。
 自動動作機器1は、外部環境を検出する。そして、自動動作機器1は、検出結果を認知し、そして認知結果に基づき動作を制御する。但し、自動動作機器1は、操作者Hの操作に応じて動作する機能も有する。操作に応じた動作は、上述した自動動作システムSについての動作と同じである。
 なお、図1に示す例において、連携動作機器2もまた、自動動作を行うことができるシステムである。連携動作機器2は、外部環境を検出する。そして、連携動作機器2は、検出結果を認知し、そして認知結果に基づき動作を制御する。また、連携動作機器2は、操作者Hの操作に応じて動作する機能も有する。
 なお、連携動作機器2としては、自ら外部環境の検出を行わず、自動動作機器1における外部環境の検出結果又は自動動作機器1からの指示を受けて動作する構成も採用可能である。ここでは、まず、連携動作機器2として外部環境を検出する構成を説明する。
 図1に示す連携動作機器2は、自動動作機器1と連携して動作する。即ち、自動動作機器1及び連携動作機器2は、互いに協働して操作者Hが期待する作業を完遂するよう動作する。連携動作機器2は、例えば、自動動作機器1と同一の種類の動作を行うことによって連携することができる。この一例としては、自動動作機器1及び連携動作機器2が、一対のロボットアームである場合が挙げられる。
 また、例えば連携動作機器2と自動動作機器1は、互いに異なる種類の動作を行うことによって、所期の動作を完遂することができる。即ち、連携動作機器2と自動動作機器1は、連携することができる。この一例として、自動動作機器1が自動走行車両であり、連携動作機器2が自動走行車両に搭載されたロボットアームである場合が挙げられる。
 図1に示す自動動作機器1及び連携動作機器2は、機械的に連結されている。
 但し、自動動作機器1及び連携動作機器2は、離れていてもよい。この一例としては、自動動作機器1及び連携動作機器2が、共通の領域を走行したり、隣接する複数の領域を分担して走行したりする2台の車両である場合が挙げられる。
 図1に示す連携動作機器2は、自動動作機器1と通信可能に接続されている。図1に示す自動動作機器1及び連携動作機器2は、互いに電線によって電気的に接続されている。但し、自動動作機器1及び連携動作機器2として、例えば無線通信する構成も採用可能である。
[自動動作機器]
 自動動作機器1は、制御ユニット10と、外部環境センシングユニット11と、動作ユニット12と、遠隔通信装置13と、電源ユニット14とを備えている。
 外部環境センシングユニット11は、自動動作機器1の外部環境を検出する。外部環境センシングユニット11は、検出の結果を示す外部環境データを出力する。
 外部環境センシングユニット11は、例えば、自動動作機器1の外部環境を撮影するカメラである。外部環境センシングユニット11としてのカメラは、撮影結果を示す外部画像データを出力する。カメラを用いることで、制御ユニット10が複雑な外部環境を認知しつつ、アクチュエータ121を動作させることができる。
 動作ユニット12は、外部環境に基づいて制御される。動作ユニット12は、アクチュエータ121を備える。アクチュエータ121は、電気制御によって機械的に動作し、自動動作機器1に搭載された装置又は自動動作機器1自体を駆動する。
 制御ユニット10は、外部環境センシングユニット11、動作ユニット12、及び遠隔通信装置13と接続される。
 制御ユニット10は、外部環境センシングユニット11で検出された外部環境に基づいて動作ユニット12のアクチュエータ121を制御する。より詳細には、制御ユニット10は、外部環境センシングユニット11から出力された外部環境データを処理することによって、外部環境の内容を認知する。制御ユニット10は、認知した内容に基づき制御内容を判断する。そして、制御ユニット10は、判断した制御内容に基づきアクチュエータ121を制御する。
 制御ユニット10は、遠隔操縦装置3の操作に応じた操縦指令を遠隔通信装置13から受け、操縦指令に基づいてアクチュエータ121を制御する場合もある。制御ユニット10の内部構成については後述する。
 電源ユニット14は、制御ユニット10と、外部環境センシングユニット11と、動作ユニット12と、遠隔通信装置13とに電力を供給する。
 電源ユニット14は、図示しないバッテリを有している。電源ユニット14は、バッテリに蓄えられた電力を各ユニットに供給する。電源ユニット14は、制御ユニット10の制御に基づいて電力を供給する。電源ユニット14が用いる電源としては、バッテリに限られず種々の電源が使用可能である。例えば、電源ユニット14として、バッテリの代わりにエンジン発電機、又は燃料電池を有する構成も採用可能である。エンジン発電機は、例えば液体燃料で動作するエンジン、及び、そのエンジンで駆動されて電気を発生する発電機を有する。
 図1に示す電源ユニット14は、連携動作機器2にも電力を供給する。但し、連携動作機器2が、例えば、自動動作機器1から独立した電源を備えることも可能である。
 遠隔通信装置13は、遠隔操縦装置3と通信可能に接続されている。遠隔通信装置13は、遠隔操縦装置3と無線通信によって通信可能に接続されている。
 遠隔通信装置13は、遠隔操縦装置3と制御ユニット10との間で、通信データを中継する。例えば遠隔通信装置13は、遠隔操縦装置3の操作に応じて遠隔操縦装置3から出力される操縦指令を制御ユニット10に出力する。これによって、遠隔操縦装置3からの操縦指令が制御ユニット10に供給される。また、例えば遠隔通信装置13は、外部環境センシングユニット11から出力されたデータに基づくデータを遠隔操縦装置3に供給する。例えば遠隔通信装置13は、外部環境センシングユニット11がカメラである場合に、カメラから出力された外部画像データに基づくデータを遠隔操縦装置3に送信する。これによって、遠隔操縦装置3にカメラの画像が表示される。この場合、遠隔操縦装置3は、遠隔通信装置13に画像指令を送信する。画像指令は、遠隔操縦装置3に送信される画像の内容及び画像データの量を指定するための指令である。遠隔通信装置13は、画像指令を制御ユニット10に送る。
 上述した、遠隔通信装置13と制御ユニット10とのデータのやりとりは、遠隔通信装置13と連携制御ユニット20とのデータのやりとりについても同様である。
[連携動作機器]
 連携動作機器2は、連携制御ユニット20と、連携センシングユニット21と、連携動作ユニット22とを備えている。連携動作機器2における連携制御ユニット20、連携センシングユニット21、及び連携動作ユニット22の役割は、上述した自動動作機器1における、制御ユニット10、外部環境センシングユニット11、及び動作ユニット12の役割と共通している。但し、連携センシングユニット21が検出する環境の種類、及び連携制御ユニット20の判断の詳細な内容、及び連携動作ユニット22の出力は、連携動作機器2の機能に応じて異なる。
 連携制御ユニット20は、物理的な出力を行う連携動作ユニット22を制御する。連携動作ユニット22の物理的な出力は、例えば、アクチュエータ221の動作である。
 連携制御ユニット20は、制御ユニット10と同じく、本発明にいう制御ユニットの一例に相当する。
 図1に示す自動動作機器1の機能の一例として、例えば自動走行車両が挙げられる。この場合、制御ユニット10は、例えば、自動ナビゲーションユニットである。動作ユニット12のアクチュエータ121は、自動動作機器1を走行させる走行装置である。走行装置は、例えば、モータである。制御ユニット10は、外部環境センシングユニット11としてのカメラで撮影された走行領域の画像の内容を認知し、認知結果に基づいて走行経路を判断し、判断した走行経路を動作ユニット12に指示する。即ち、制御ユニット10は、判断した走行経路に基づいて動作ユニット12を制御する。これにより、自動動作機器1が自動走行する。
 図1に示す連携動作機器2の機能の一例として、自動走行車両に搭載される作業機器が挙げられる。作業機器の一例として、農場で果実を摘果する摘果装置が挙げられる。この場合、連携制御ユニット20は、連携センシングユニット21としてのカメラで撮影された果樹の内容を認知し、認知結果に基づいて果実の状態及び位置を判断し、判断した果実の位置に基づいて、自動動作機器1に走行指令(走行位置指令)を送信する。走行指令は、動作指令の一例である。また、判断した果実の位置に基づいて、連携動作ユニット22としての摘果装置のアクチュエータ221を制御する。自動動作機器1と連携動作機器2の連携によって、農場内の果実を摘果するという機能が実現する。
 また、自動動作機器1に搭載される連携動作機器2は、図1に示す連携動作機器2と異なる機能を有する連携動作機器と交換されることが可能である。
[制御ユニット]
 図2は、図1に示す制御ユニット10の構成を示すブロック図である。
 制御ユニット10は、1つの筐体で覆われたユニットであり、自動動作機器1(図1参照)に組み込まれる。制御ユニット10は、自動動作機器1の各部と電気的に接続される。
 制御ユニット10は、商用のユニットである。また、制御ユニット10は、量産型である。
 制御ユニット10は、外部環境情報コネクタ110と、動作制御コネクタ130と、外部通信接続部140と、動作制御装置160とを備える。また、制御ユニット10は、遠隔データコネクタ150を備える。
 外部環境情報コネクタ110は、図1に示す外部環境センシングユニット11と電気的に接続される。外部環境情報コネクタ110を介して、外部環境センシングユニット11から、検出の結果を示す外部環境データが制御ユニット10に入力される。
 外部環境センシングユニット11が例えばカメラの場合、外部環境情報コネクタ110は、外部画像コネクタとして機能する。以降、外部環境情報コネクタ110を、外部画像コネクタ110とも称する。
 動作制御コネクタ130は、図1に示す動作ユニット12と電気的に接続される。動作制御コネクタ130を介して、制御ユニット10から、動作ユニット12にアクチュエータ121の動作を制御するための動作制御信号が出力される。
 外部通信接続部140は、図1に示す連携制御ユニット20と接続される。図1に示す例における外部通信接続部140は、連携制御ユニット20と電気的に接続される外部通信コネクタである。以降、外部通信接続部140を外部通信コネクタ140とも称する。外部通信コネクタ140は、物理的には、複数種類の伝送形式に対応した複数のコネクタを含む。伝送形式の種類は、例えば、Controller Area Network(CAN)(登録商標)、及び、イーサネット(登録商標)である。複数のコネクタを有することによって、種々の機能を有する複数のユニットの候補から連携制御ユニット20を選択することができる。制御ユニット10の汎用性が向上する。外部通信コネクタ140は、連携制御ユニット20と通信可能に接続される外部通信接続部の一例である。外部通信接続部として、例えば、外部通信コネクタ140の代わりに無線通信機を用いる構成も採用可能である。
 遠隔データコネクタ150は、図1に示す遠隔通信装置13と電気的に接続される。遠隔データコネクタ150を介して、遠隔操縦装置3(図1参照)及び遠隔通信装置13から、制御ユニット10に操縦指令の信号が入力される。つまり、画像の送信についての要求が遠隔操縦装置3から遠隔通信装置13へ入力されたことに応じて、操縦指令の信号が、遠隔通信装置13から出力され且つ遠隔データコネクタ150を介し入力され制御ユニット10に入力される。また、遠隔データコネクタ150を介して、制御ユニット10から、遠隔通信装置13に外部環境や制御ユニット10の状態を表す信号が出力される。この信号は、遠隔通信装置13から遠隔操縦装置3に供給される。
 動作制御装置160は、図1に示す外部環境センシングユニット11で検出された外部環境に基づいて動作ユニット12のアクチュエータ121を制御する。より詳細には、動作制御装置160は、外部環境センシングユニット11から出力された外部環境データを処理する。動作制御装置160は、外部環境データの処理結果に基づきアクチュエータ121を制御する。また、動作制御装置160は、遠隔操縦装置3の操作に応じた操縦指令を遠隔通信装置13から受け、操縦指令に基づいて動作ユニット12を制御する。
 また、動作制御装置160は、外部通信コネクタ140を介して接続される連携制御ユニット20と通信する。上述したように、自動動作機器1には、組合せ可能な連携動作機器2として種々の機器が選択可能である。
 連携動作機器2が有する連携制御ユニット20には2つの種類、即ち、マスタユニット及びスレーブユニットがある。マスタユニットは、動作制御装置160に対し動作指令を送信するように構成された連携制御ユニット20である。スレーブユニットは、前記動作制御装置160から動作指令を受信するように構成された連携制御ユニット20である。 外部通信コネクタ140には、マスタユニット又はスレーブユニットのいずれか一方が接続される。動作制御装置160は連携制御ユニット20の種類に応じて、動作のモードを切替える。
 外部通信コネクタ140にマスタユニットが接続されている場合、動作制御装置160は、マスタユニットから受信する動作指令に基づいて動作制御信号を生成する。動作制御装置160は、生成した動作制御信号を、動作ユニット12のアクチュエータ121に動作制御コネクタ130を介して出力する。
 これに対し、外部通信コネクタ140にスレーブユニットが接続されている場合、動作制御装置160は、外部環境センシングユニット11から入力された外部環境データの処理結果に基づいて、連携動作機器2を制御するための動作指令を生成する。動作制御装置160は、生成した動作指令をスレーブユニットに外部通信コネクタ140を介して送信する。
 これによって、制御ユニット10の外部通信コネクタ140に連携制御ユニット20としてマスタユニット及びスレーブユニットのいずれが接続されても、連携制御ユニット20と連携して精密な作業を行うことができる。従って、制御ユニット10の汎用性を向上することができる。
[動作制御装置の構成]
 図2に示すように、動作制御装置160は、自動制御回路170及び監視回路180を備えている。
 自動制御回路170及び監視回路180は、制御ユニット10の筐体内に設けられている。
 自動制御回路170は、動作制御装置160における基本的な制御処理を実施する。より詳細には、自動制御回路170は、外部環境センシングユニット11からの外部環境信号に基づいてアクチュエータ121を制御する。より詳細には、自動制御回路170は、ソフトウェアプロセスを実行することにより、外部環境信号に基づく動作制御信号を出力する。自動制御回路170は、ソフトウェアプロセスを実行することにより状況指標信号も出力する。
 自動制御回路170は、Graphics Processing Unit(GPU)171を備える。
 GPU171は、並列処理が可能なマルチコアを有するプロセッサである。GPU171は、並列に動作可能な100以上の演算コアを備える。GPU171は、100以上の演算コアによってSIMD(single-instruction multiple-data stream)演算を実行する。
 また、自動制御回路170は、不揮発性メモリ172、RAM173、制御入出力(制御IO)174、及びCPU175を備えている。不揮発性メモリ172は、例えば、マスクROMフラッシュメモリ、又はEEPROMである。
 CPU175は、Central Processing Unitである。CPU175は、自動制御回路170全体の制御を行う。GPU171とCPU175は、自動制御回路170の制御を分担して実行する。より詳細には、CPU175は、GPU171に、自動制御回路170の機能の一部を実行させる。GPU171が実行する機能については後述する。
 不揮発性メモリ172は、CPU175及びGPU171で実行されるプログラムを記憶している。CPU175は、不揮発性メモリ172に記憶されたプログラムを順次読み出し実行する。これにより、自動制御回路170による制御が実行される。
 また、不揮発性メモリ172に記憶されたGPU171のプログラムは、CPU175によって読み出され、GPU171に供給される。
 RAM173は、CPU175での処理の結果、及びGPU171での処理の結果を保持する。CPU175及びGPU171は、RAM173に対しデータを読み書きする。RAM173には、CPU175及びGPU171に入力されるデータ、処理の状況を示すデータ、及び処理の結果、自動制御回路170から出力される動作制御信号を示すデータが記憶される。GPU171に入力されるデータは、例えば外部環境信号を表すデータである。処理の状況を示すデータは、例えば、自動制御回路170の動作状況を示すパラメータの一つである。
 制御IO174は、CPU175及びGPU171に対し入出力される信号を中継する。CPU175及びGPU171は、制御IO174を介して、制御モデルの動作状況を示す状況指標信号を出力する。状況指標信号は、例えば、制御モデルの処理を行うプロセスが実行される周期及び時間を示すパルスである。状況指標信号は、自動制御回路170の動作状況を示すパラメータの一つである。RAM173の記憶内容は、制御IO174を介して、監視回路180のFPGA181に読み出されることができる。
 CPU175は、不揮発性メモリ172に記憶されたプログラムをGPU171に供給する。また、CPU175は、GPU171に、プログラムを実行の指令を出力する。
 GPU171が不揮発性メモリ172に記憶されたプログラムを実行することによって、自動制御回路170には、機械学習により構築された制御モデル171aが構成される。制御モデル171aは、外部環境センシングユニット11で検出される外部環境と制御対象である動作ユニット12の制御の関係を示すモデルである。制御モデル171aは、ニューラルネットワークによる機械学習モデルである。
 機械学習モデルは、例えば、外部画像データと走行経路上に存在し得る物体の関係を示すようなモデルを構築し、モデルを最適化することで得られる。より詳細には、制御モデル171aは、例えば、実際の外部画像データと、当該データに対し適切とされる走行経路上の物体が対応付けられたデータを参照して、モデルの重みづけパラメータを最適化することで得られる結果である。なお、データを参照して制御モデル171aを最適化する機能は、自動制御回路170又は制御ユニット10の内部ではなく、自動動作システムSの外部環境で実施される。最適化された結果としての制御モデルを構築するプログラムが、不揮発性メモリ172に記憶される。
 但し、制御モデル171aを最適化する方法はこれに限られない。例えば、自動制御回路170自体が、実際に得られた外部画像データに基づき、自らが構成する制御モデル171aを最適化することも可能である。
 GPU171は、100以上の演算コアに対しSIMD演算を実行できるので、大規模な行列の繰返し演算を伴う制御モデル171aの処理を高速に実行することができる。
 CPU175は、外部環境のデータを機械学習モデルに適用した結果得られる物体の情報に基づいて、制御ユニット10の動作を判断する。CPU175は、判断の結果に基づいて、動作ユニット12を制御する。より詳細には、CPU175は、例えば制御IO174及び監視回路180の通信IF183を介して動作ユニット130に指令を出力する。
 また、CPU175は、判断の結果に基づいて、連携操作ユニット20に指令を送信する。また、CPU175は、遠隔通信装置13にデータを送信する。
 なお、CPU175とGPU171の制御の分担、及びGPU171が実行するモデルの入出力は、上述したことに限られない。例えば機械学習モデルは、例えば、外部画像データと、最適な走行経路又はアーム等の動作軌跡の関係とを直接に示すようなモデルであってもよい。この場合、CPU175は、GPU171の処理結果として出力される走行経路又は動作軌跡に基づいて、動作ユニット12を制御する。
[監視回路]
 監視回路180は、自動制御回路170と一体で制御ユニット10を構成する。監視回路180は、制御モデル171aを構成する自動制御回路170の動作を監視する。
 監視回路180は、フィールドプログラマブルゲートアレイ(FPGA)181及び不揮発性メモリ182を備える。また、監視回路180は、通信インターフェース(通信IF)183、リレー184、及び、プログラム用のメモリ185を備える。
 FPGA181は、再プログラミング可能な論理回路を有する。不揮発性メモリ182は、FPGA181で構築される、監視のための論理回路の接続情報を記憶している。FPGA181は、電源投入後又はリセット後の初期化処理で、不揮発性メモリ182から接続情報を読み出す。FPGA181は、接続情報に基づく論理回路を構築する。FPGA181は、論理回路を構築した後、論理回路による処理を開始する。
 不揮発性メモリ182に記憶されるデータを変更することにより、論理回路で構築される機能を変更することが可能である。従って、監視回路180では、不揮発性メモリ182に記憶されたソフトウェアである接続情報及び、接続情報に基づくハードウェアの変更によって監視の条件が変更されることができる。
 上述したGPU171、CPU175、又は後述するプロセッサ181pは、初期化後の実行最中に不揮発性メモリ172、又はプログラム用のメモリ185にアクセスすることによって、記憶されたプログラムを順次読み出す。これに対し、FPGA181は、初期化時に一度だけ、不揮発性メモリ182を読み出し、監視回路180の論理回路を構成する。FPGA181は、処理の実行開始前に、不揮発性メモリ182の読み出しを完了する。従って、監視のための論理回路が高い信頼性で動作できる。
 なお、監視のための論理回路の情報を備える不揮発性メモリ182は、物理的に複数に分かれていてもよい。例えば、複数のメモリデバイスで構成される不揮発性メモリ182の1つ目のデバイスには、監視対象を監視する上位の論理回路の情報と基準情報ローダが記憶される。2つ目のデバイスには、監視対象の数値範囲や、異常と判断する信号の組合せの論理が基準情報として記憶される。この場合、FPGA181のリセットによって、1つ目のデバイスから上位の論理回路の情報と基準情報ローダが読み出され、論理回路が構築される。次に、基準情報ローダが実行を開始し、2つ目のデバイスから基準情報を読み出し(ロード)、論理回路における数値範囲や、組合せの論理を補完する。これにより、FPGA181における論理回路の構築が完成する。即ち、情報の読み出しが、複数ステップで実行される。
 なお、不揮発性メモリ182を3つ以上のデバイスとする構成も採用可能である。
 FPGA181は、再プログラミング可能な論理回路以外に固定された論理回路を有していてもよい。例えば、FPGA181は、論理回路としてのプロセッサ181p及びメモリを有する。このプロセッサ181pは、例えば、メモリ185に記憶されたプログラムを順次読み出しながら処理を実行する。これによって、より高度な処理が可能になる。プロセッサ181pが読み出すメモリ185は、不揮発性である。但し、メモリ185は、FPGA181用の不揮発性メモリ182とは異なり、接続情報ではなく、プロセッサに順次読み出されるプログラムを記憶している。用途に応じてメモリが分かれることによって、FPGA181で構成される論理回路の信頼性が向上する。
 通信IF183は、FPGA181及び自動制御回路170が動作ユニット12と通信するためのインターフェースである。通信IF183は、例えば、動作ユニット12と通信するための物理インターフェースを提供する。物理インターフェースは例えばCANである。自動制御回路170は、通信IF183を介して動作制御信号を出力する。
 リレー184は、動作ユニット12に対する電源ユニット14(図1参照)の電力供給を遮断する。より詳細には、リレー184は、FPGA181の制御により通電することによって、電源ユニット14に電力供給させるための供給信号を送信する。FPGA181の制御によりリレー184の通電が停止すると、供給信号の送信が停止する。この結果、電源ユニット14からの電力供給が遮断される。電力供給の遮断によって、動作停止を確実に行える。
 リレー184からの供給信号は、監視回路180の外部で自動動作機器1及び連携動作機器2の各部に配備された図示しないリレーを経由することができる。これにより、一部の遮断制御により、電力供給が直ちに遮断される。従って、動作停止を確実に行える。
 監視回路180のFPGA181で構成される論理回路は、自動制御回路170の動作の異常を、ルールベースの論理で検出する。
 監視回路180は、自動制御回路170の外部環境信号、動作制御信号、及び状況指標信号からなる群から選択される少なくとも1種の信号を検査する。監視回路180は、例えば、外部環境信号、動作制御信号及び状況指標信号の全てを監視する。
 監視回路180は、外部環境信号、動作制御信号及び状況指標信号が、各々に対応付けるように定められた条件を満たすか否かを監視するように構成される。
 例えば、自動制御回路170は、外部環境センシングユニット11から出力された外部環境信号を表す外部環境データをRAM173に記憶する。監視回路180は、RAM173の外部環境データの一部を読み出し、外部環境信号が、対応する正常条件範囲内にあるか否か監視する。
 また、監視回路180は、自動制御回路170において、外部環境信号が入力される間隔、外部環境信号が示すデータの値及び外部環境信号が示すデータの変化量も監視する。
 また、監視回路180は、RAM173から、処理の状況を示すデータ、及び処理の結果の動作制御信号を示すデータを読み出す。監視回路180は、読み出した結果が、対応する正常条件範囲内にあるか否か監視する。
 また、監視回路180は、自動制御回路170の制御IO174から出力される状況指標信号が、対応する正常条件範囲内にあるか否か監視する。監視回路180は、自動制御回路170から通信IF183を介して出力される動作制御信号が、対応する正常条件範囲内にあるか否か監視する。更に、監視回路180は、制御モデルの処理を行うプロセスが実行される周期及び時間が、対応する正常条件範囲内にあるか否か監視する。
 また、監視回路180は、FPGA181に供給される電源の電圧も監視する。これによって、監視回路180は、電源ユニット14の異常も監視することができる。
 このようにして、監視回路180は、監視対象のパラメータが、パラメータに対応付けられるように定められた範囲内に含まれるか否かを監視する。監視対象のパラメータが、定められた範囲内にある場合、監視回路180は、自動制御回路170の出力を制限しない。つまり、監視対象のパラメータが、ルールで定められた範囲内にある場合、自動制御回路170はルールによる制限を受けない。従って、信頼性を保持しつつ、自動制御回路170のモデルによる自由度の高い制御が可能である。
 監視回路180は、パラメータの異常を検出した場合、制御対象のうち動作を停止する部分を、パラメータの異常の種類に応じて変える。
 不揮発性メモリ182には、パラメータに対応付けられるように定められた条件が記録されている。これによって、監視回路180のFPGA181では、パラメータが条件を満たすか否かを検査する処理機能が実装される。監視回路180のFPGA181は、検出される異常を表す信号の論理積、論理和又はそれらの組合せにより、監視の結果を決定するように構成されている。不揮発性メモリ182には、論理積、論理和又はこれらの組合せが記録されている。
 例えば、監視回路180は、パラメータの異常の程度に応じて、上述した停止の種類を選択するよう論理回路が構成される。
 また、監視回路180は、異常なパラメータの種類によって、アクチュエータ121の動作を予め定められた減速度で停止するための停止信号を生成する。例えば、異常なパラメータが指令速度の範囲に関する場合、監視回路180は、予め定められた減速度で停止するための停止信号を生成する。この場合、アクチュエータ121の停止に起因する衝撃が抑制される。アクチュエータ121が走行装置の場合、急停止による搭載機器への影響が抑制される。
 また、監視回路180は、異常なパラメータの種類によって、自動制御回路170により出力される動作制御信号に代えて、アクチュエータ121の動作を停止させるための停止信号を生成する。例えば、指令の組合せが想定範囲の組合せと異なる場合、停止信号を生成する。この場合、アクチュエータ121が短時間で停止しつつ、搭載機器へのショックがある程度抑制される。
 また、監視回路180は、異常なパラメータの種類によって、自動制御回路170により出力される動作制御信号に代えて、動作ユニット12が備えるブレーキを作動させるための信号を生成する。例えば、自動制御回路170におけるプロセス自体に異常が検出された場合、ブレーキを作動させるための信号を生成する。この場合、アクチュエータ121が最短時間で停止できるので異常状態の影響が最小限に抑制されやすい。
 また、監視回路180は、異常を検出した場合、異常なパラメータの種類と数に応じて制御対象への電力供給を遮断する。
 監視回路180は、例えば複数のパラメータの異常が検出される場合、リレー184の動作によって電力供給を遮断させる。
 また、例えば、監視回路180は、異常を検出した場合、カメラの画像を強制的に遠隔操縦装置3に表示させるよう自動制御回路170を制御する。これにより、作業者が直ちに対応の操縦を行うことができる。
 また、監視回路180による出力は、上述の組合せに限られない。例えば、監視回路180は、少なくとも1種の信号に関連する少なくとも1つのパラメータの異常を検出した場合、動作指令を出力する代わりに、自動制御回路170による動作制御信号の出力を禁止する構成も採用可能である。この場合、監視回路180は、自動制御回路170からの信号を出力する通信IF183の動作を停止する。これによって、異常な動作制御信号が継続して出力される事態が抑制される。
 このように、監視回路180で構築される論理組合せによって、パラメータの異常の程度に応じた適切な停止が実施される。
 上述した制御ユニット10の基本的なハードウェア構造は、連携制御ユニット20にも適用される。但し、連携センシングユニット21の異常の検出結果に基づく出力内容が制御ユニット10と異なる場合、差異に応じて、ハードウェアの一部及びソフトウェアが制御ユニット10と異なる。
[連携制御ユニットとの連携動作]
 上述した構成の制御ユニット10は、連携制御ユニット20と連携して動作する。
 制御ユニット10は、連携制御ユニット20としてマスタユニット及びスレーブユニットのいずれが接続される場合でも、連携制御ユニット20と連携して動作する。
 続いて、連携制御ユニット20との連携動作の詳細について説明する。
 図3は、図1に示す制御ユニットの動作のうち連携動作を説明するフローチャートである。
 連携制御ユニット20の種類の判別、及び種類に応じた連携動作は、動作制御装置160で実施される。
 種類の判別、及び種類に応じた連携動作は、主に図2に示す自動制御回路170によって実施される。但し、例えば、連携制御ユニット20の種類の判別は、監視回路180に備えられたプロセッサ181pによって実施される構成も採用可能である。
 ここでは、動作制御装置160の動作として連携動作を説明する。
 連携動作において、動作制御装置160は、まず、連携制御ユニット20と接続されているか否かを判別する(S11)。例えば、動作制御装置160は、外部通信接続部140を介して連携制御ユニット20と通信できるか否かを判別する。
 連携制御ユニット20が接続されると、連携制御ユニット20は、制御ユニット10の動作制御装置160と通信可能になる。この場合、動作制御装置160は、連携制御ユニット20と接続されていると判別する。
 連携制御ユニット20と通信可能である場合(S11でYes)、動作制御装置160は、連携制御ユニット20の種類の識別を行う(S12)。例えば、動作制御装置160は、外部通信接続部140を介して連携制御ユニット20から、連携制御ユニット20を識別する識別情報を読み出す。
 次に、連携制御ユニット20は、連携制御ユニット20の種類を判別する(S13)。連携制御ユニット20は、例えば識別情報と連携制御ユニットの種類とが対応付けられたデータベースを参照することで、連携制御ユニット20がマスタユニット又はスレーブユニットのいずれかであるかを判別する。
 連携制御ユニット20がマスタユニットでない場合(S13でNo)、連携制御ユニット20はスレーブユニットである。この場合、制御ユニット10は、マスタユニットとして動作する。
 動作制御装置160は、外部環境データを処理することによって、外部環境データの内容を認知する(S14)。
 より詳細には、例えば、自動動作機器1が自動走行車両の場合、動作制御装置160は、構築された制御モデルに基づいて、外部画像を表す画像データの内容を認知するための処理を行う。
 動作制御装置160は、外部環境データの内容の認知結果に基づいて、動作についての判断を行う(S15)。
 より詳細には、例えば、動作制御装置160は、画像データの内容の認知に基づいて、自動動作機器1の現在位置の把握と、最適な走行経路の決定を行う。
 動作制御装置160は、外部環境データの処理結果に基づいて動作制御信号を生成する(S16)。動作制御装置160は、生成した動作制御信号を、動作制御コネクタ130を介して動作ユニット12のアクチュエータ121に出力する。
 より詳細には、例えば、動作制御装置160は、決定された走行経路に基づいて、走行及び操舵の指令からなる動作制御信号を生成し、動作ユニット12に出力する。動作ユニット12はアクチュエータ121を動作させる。これによって、自動動作機器1が外部環境に基づいて動作する。
 また、動作制御装置160は、外部環境データの処理結果に基づいて、連携動作機器2を制御するための動作指令を送信する(S17)。
 より詳細には、例えば、動作制御装置160は、連携制御ユニット20に対し、走行経路における自動動作機器1の位置に応じた動作を行うための動作指令を生成する。動作制御装置160は、外部通信接続部140を介して連携制御ユニット20に動作指令を送信する。これによって、制御ユニット10は、スレーブユニットとして動作する連携制御ユニット20と協働で動作する。
 連携制御ユニット20がマスタユニットである場合(S13でYes)、動作制御装置160は、スレーブユニットとして動作する。
 この場合、動作制御装置160は、外部環境データを処理することによって、外部環境データの内容を認知する(S21)。また、動作制御装置160は、外部環境データの内容の認知結果に基づいて、動作についての判断を行う(S22)。これらの動作は、上述したステップS14及びS15と同じである。
 次に、動作制御装置160は、マスタユニットである連携制御ユニット20から、動作指令を受信する(S23)。連携制御ユニット20は、外部通信接続部140を介して制御ユニット10に動作指令を送信する。
 より詳細には、例えば、連携制御ユニット20は、作業対象の位置に応じて自動動作機器1が前進するか、後退するかを示す動作指令を制御ユニット10の動作制御装置160に送信する。
 次に、動作制御装置160は、外部通信接続部140を介して受信した動作指令に基づき、連携動作機器2を制御するための動作制御信号を送信する(S24)。動作制御装置160は、ステップS22で認知した外部環境データと、動作指令に基づき動作制御信号を生成する。
 より詳細には、例えば、動作制御装置160は、決定した走行経路に沿って前進又は後退するよう、動作制御信号を生成し、動作ユニット12に出力する。動作ユニット12はアクチュエータ121を動作させる。これによって、自動動作機器1が連携制御ユニット20の動作指令に基づいて動作する。制御ユニット10は、マスタユニットとして動作する連携制御ユニット20と協働で動作する。
[連携の第1の適用例]
 図4は、図1に示す制御ユニットの第1の適用例を示すブロック図である。
 図4に示す適用例は、自動動作機器1が自動走行車両であり、連携制御ユニット20がマスタユニットの場合である。つまり、外部通信コネクタ140にマスタユニットが接続されている。連携動作機器2は、自動走行車両に搭載された自律動作ロボットである。
 例えば、連携制御ユニット20は、連携センシングユニット21としての連携動作機器カメラ(ロボット用カメラ)の画像に基づいてロボットの作業対象の位置を認知する。連携制御ユニット20は作業対象の位置に応じて、前進・後退を含む動作指令を制御ユニット10の動作制御装置160に送信する。動作制御装置160は、連携制御ユニット20から、受信する動作指令に基づいて動作制御信号を生成する。動作制御装置160は、生成した動作制御信号を、動作ユニット12のアクチュエータ121に動作制御コネクタ130を介して出力する。自動動作機器1と連携動作機器2が互いに連携して精密な作業を行うことができる。
[連携の第2の適用例]
 図5は、図1に示す制御ユニットの第2の適用例を示すブロック図である。
 図5に示す適用例は、自動動作機器1が自動走行車両であり、連携制御ユニット20がスレーブユニットの場合である。つまり、外部通信コネクタ140にスレーブユニットが接続されている。連携動作機器2’は、自動動作機器1に搭載された単純作業器である。連携動作機器2’は、例えば作業対象に向け薬剤等を噴霧する噴霧器である。
 動作制御装置160は、外部環境センシングユニット11としての外部撮影カメラの画像データの処理結果に基づいて連携動作機器2’を制御するための動作指令を生成する。動作制御装置160は、例えば、外部撮影カメラの画像データの処理結果取得される自動走行車両の位置に基づいて、連携動作機器2に作業動作の開始又は停止を行わせるための動作指令を生成し、連携制御ユニット20に送信する。
 これによって連携動作機器2は、自動動作機器1としての自動走行車両の走行に応じて適切に動作することができる。
 図4の例、及び図5の例を参照して説明したように、制御ユニット10の外部通信コネクタ140に連携制御ユニット20としてマスタユニット及びスレーブユニットのいずれが接続されても、連携制御ユニット20と連携して精密な作業を行うことができる。従って、制御ユニット10の汎用性を向上することができる。
[遠隔操縦時の画像送信]
 例えば、走行経路上に障害物があり自動動作のみによる作業が困難な場合、また、動作試験や確認の場合、自動動作システムSは、操作者Hによる遠隔操縦装置3の操作に応じて動作する。
 この場合に、自動動作システムSは、操作者Hによる遠隔操縦装置3の操作に応じて動作する。遠隔操縦装置3には、外部撮影カメラ11の画像データに基づく画像、及び連携動作機器カメラ21の画像データに基づく画像の双方又は片方が示される。
 図6は、図1に示す自動動作システムにおける画像の流れを示すブロック図である。
 図6における実線の矢印は、自動動作システムSが遠隔操縦される場合の画像の流れを示している。図6における破線の矢印は、遠隔操縦装置3からの画像要求信号の流れを示している。図6では、外部環境センシングユニット11の例として外部撮影カメラが示されている。また、連携センシングユニット21として連携動作機器カメラが示されている。以降、外部環境センシングユニット11を外部撮影カメラ11とも称する。また、連携センシングユニット21を連携動作機器カメラ21とも称する。
 自動動作機器1には、外部環境を撮影する外部撮影カメラ11とアクチュエータ221が搭載されている。また、連携動作機器2には、外部環境を撮影する連携動作機器カメラを21が備えられている。
 自動動作機器1の制御ユニット10は、1つの遠隔通信装置13と接続されている。
 自動動作機器1の制御ユニット10と、連携動作機器2の連携制御ユニット20は、1つの遠隔通信装置13に接続されている。つまり、制御ユニット10と連携制御ユニット20は1つの遠隔通信装置13を共同で使用している。
 制御ユニット10は、先に説明したように、外部画像コネクタ110、動作制御コネクタ130、遠隔データコネクタ150、及び、動作制御装置160(図2参照)を備えている。
 外部画像コネクタ110(外部環境情報コネクタ110)は、外部撮影カメラ11から撮影結果を示す外部画像データを制御ユニット10に入力するためのコネクタである。
 動作制御コネクタ130は、制御ユニット10がアクチュエータ121の動作を制御するための動作制御信号を出力するためのコネクタである。
 遠隔データコネクタ150は、遠隔操縦装置3と通信可能に接続された1つの遠隔通信装置13に対しデータを入出力するためのコネクタである。
 制御ユニット10の動作制御装置160(図2参照)は、外部画像コネクタ110を介して入力された外部画像データに基づくモニタ画像データを、遠隔データコネクタ150から1つの遠隔通信装置13を介して遠隔操縦装置3へ出力する。動作制御装置160は、制御ユニット10の外部からの画像指令信号に基づいて、モニタ画像データを出力する。
 連携制御ユニット20でも、連携動作機器カメラ21の画像データに対し、制御ユニット10と同様の処理が実施される。ここでは、代表として制御ユニット10の動作制御装置160における動作を説明する。
[画像の流れの制御]
 図7は、図6に示す制御ユニット10の動作制御装置160における画像の制御を説明するフローチャートである。
 動作制御装置160は、外部から画像指令信号を受信したか否か判別する(S31)。画像指令信号は、遠隔データコネクタ150を介して遠隔通信装置13から送信される。但し、画像指令信号は、外部通信コネクタ140を介して連携制御ユニット20から送信される場合もある。動作制御装置160は、双方のコネクタを介して送信される画像指令信号について判別する。
 画像指令信号を受信した場合(S31でYes)、動作制御装置160は、画像指令信号の内容が画像送信開始を示しているか判別する(S32)。
 画像送信開始の場合(S32でYes)、動作制御装置160は、モニタ画像データを遠隔操縦装置3へ出力する(S33)。モニタ画像データは、外部画像コネクタ110を介して入力された外部画像データを加工したデータである。動作制御装置160は、外部画像データを画像圧縮処理することによって、外部画像データよりもデータ量が少ないモニタ画像データを生成する。但し、モニタ画像データとして、実質的に加工されていない外部画像データが利用されてもよい。動作制御装置160は、モニタ画像データを、遠隔データコネクタ150から1つの遠隔通信装置13へ出力する。モニタ画像データは、遠隔通信装置13を介して遠隔操縦装置3へ送信される。
 動作制御装置160は、画像指令信号の内容が画像送信停止を示しているか判別する(S34)。
 画像送信停止の場合(S34でYes)、動作制御装置160は、モニタ画像データの出力を停止する(S35)。これにより、遠隔操縦装置3へのモニタ画像データの送信が停止する。
 動作制御装置160は、画像指令信号の内容が画像送信停止を示しているか判別する(S34)。
 画像送信停止の場合(S34でYes)、動作制御装置160は、モニタ画像データの出力を停止する(S35)。これにより、遠隔操縦装置3へのモニタ画像データの送信が停止する。画像送信停止を示す画像指令信号は、連携制御ユニット20から出力される場合もある。例えば、連携動作機器カメラ21の画像のみを送信する指令を遠隔操縦装置3から受信した連携制御ユニット20が、制御ユニット10に、画像送信停止を示す画像指令信号する場合である。外部撮影カメラ11の画像データに基づくデータの送信が停止することによって、送信のデータ量を削減しつつ、操作者Hが操縦の際に注目したい画像を遠隔操縦装置3に表示することができる。
 動作制御装置160は、画像指令信号の内容がフレーム間引きを示しているか判別する(S36)。
 フレーム間引きの場合(S36でYes)、動作制御装置160は、モニタ画像データに対し、フレーム間引き処理を実施する(S37)。これにより、遠隔操縦装置3へ送信されるモニタ画像データのデータ量が減少する。
 動作制御装置160は、画像指令信号の内容が画像圧縮率を示しているか判別する(S38)。
 画像圧縮率の場合(S38でYes)、動作制御装置160は、画像圧縮処理の圧縮率を変更する(S39)。これにより、遠隔操縦装置3へ送信されるモニタ画像データのデータ量が減少する。
 動作制御装置160は、画像指令信号の内容が画像の一部領域の切抜きを示しているか判別する(S41)。
 領域の切抜きの場合(S41でYes)、動作制御装置160は、モニタ画像データに対し、領域の切抜き処理を実施する(S42)。即ち、動作制御装置160は、外部撮影カメラ11で撮影された画像のうち、画像指令で指定された一部の領域の画像を抽出してモニタ画像データを生成する。より詳細には、例えば、外部撮影カメラ11で撮影される範囲が広い場合に、操縦に必要な進行方向の一部の領域の画像のみが送信・表示される。これにより、遠隔操縦装置3へ送信されるモニタ画像データのデータ量が減少する。
 なお、画像の一部領域の切抜きは、例えば、制御ユニット10に複数の外部撮影カメラ11が接続され、動作制御装置160が複数の外部撮影カメラ11で撮影された複数領域の画像を処理している場合にも適用される。領域の切抜きの場合(S41でYes)、動作制御装置160は、指定された領域の画像のみをモニタ画像データとする。この場合にも、遠隔操縦装置3へ送信されるモニタ画像データのデータ量が減少する。
 上記ステップS31で、画像指令信号を受信していないと判別した場合(S31でNo)、動作制御装置160は、モニタ画像データの出力を停止する(S45)。
 次に、動作制御装置160は、制御ユニット10に異常状態が生じているか判別する(S46)。制御ユニット10の異常状態は、例えば、監視回路180のFPGA181で構成される論理回路によって検出される。
 動作制御装置160は、例えば、監視対象のパラメータのいずれかが、ルールで定められた範囲内にない場合、異常状態が生じていると判別する。
 異常状態が生じている場合(S46でYes)、動作制御装置160は、モニタ画像データを遠隔操縦装置3へ出力する(S47)。モニタ画像データは、遠隔通信装置13を介して遠隔操縦装置3へ送信される。
 これによって、操作者Hは、遠隔操縦装置3の表示画面によって異常状態の発生を早期に認知することができる。また、操作者Hは、表示画面によって異常状態の原因を早期に認知することができる。
[連携動作機器の離隔動作例]
 これまで、連携動作機器2が自動動作機器1に連結された例を説明した。しかし、本実施形態の制御ユニット10は、自動動作機器1と連結されず、離れて動作する連携動作機器4にも対応するように構成可能である。
 図8は、図1に示す制御ユニットの第3の適用例を示すブロック図である。
 図8に示す適用例では、自動動作システムSの連携動作機器4が、自動動作機器1に連結されていない。連携動作機器4は、自動動作機器1から離れて動作する。連携動作機器4は、例えば自動動作機器1と実質的に同じ構成を有する自動走行車両である。但し、連携動作機器4の連携制御ユニット40は、マスタユニット又はスレーブユニットのいずれかとして動作する。
 自動動作機器1の制御ユニット10が備える外部通信接続部140は、無線通信機である。また、連携動作機器4は、外部通信接続部140と無線通信を行う外部通信接続部440を備える。自動動作機器1の制御ユニット10は、連携動作機器4の連携制御ユニット40と、無線通信を介して通信する。連携制御ユニット40は連携動作ユニット42を制御する。
 連携制御ユニット40がマスタユニットである場合、自動動作機器1の制御ユニット10は、連携制御ユニット40からの動作指令に基づいて動作制御信号を出力する。例えば、制御ユニット10は、連携制御ユニット40からの動作指令に応じて走行する。例えば、制御ユニット10は、連携動作機器4に追従して動作する。この場合、制御ユニット10は、例えば、外部撮影カメラ11で連携動作機器4を撮影するとともに、外部撮影カメラ11の画像データに基づき、連携動作機器4に追従して走行することも可能である。
 連携制御ユニット40がスレーブユニットである場合、制御ユニット10は、外部撮影カメラ11の画像データに基づき、連携動作機器4を制御するための動作指令を生成する。制御ユニット10は、動作指令を連携制御ユニット40に送信する。連携動作機器4は、自動動作機器1に追従して動作する。
[第二実施形態]
 上述した実施形態では、制御ユニット10が連携制御ユニット20と接続した時点で連携制御ユニット20の種類を判別する例を説明した。
 続いて、制御ユニット10が、連携制御ユニット20と接続した後で連携制御ユニット20の種類を判別する形態を説明する。
 図9は、本発明の第二実施形態に係る制御ユニット10の連携動作を説明するフローチャートである。
 図9に示す制御ユニットの動作は、図3を参照して説明した動作と、ステップS51及びS53において異なる。
 ステップS51において、制御ユニット10の動作制御装置160(図2参照)は、連携制御ユニット20から動作指令を受信したか否かを判別する。
 動作制御装置160は、連携制御ユニット20から動作指令を受信した場合(S51でYes)、連携制御ユニット20がマスタユニットであると判別する。即ち、制御ユニット10は、スレーブユニットとして動作する。この場合、連携制御ユニット20は、ステップS21,S22,S53,S24の処理を実施する。ステップS53において、動作制御装置160は、S51で受信した動作指令に基づき処理を実施する。
 連携制御ユニット20から動作指令を受信しない場合(S51でYes)、動作制御装置160は、連携制御ユニット20がスレーブユニットであると判別する。即ち、制御ユニット10は、マスタユニットとして動作する。この場合、連携制御ユニット20は、ステップS14からS17の処理を実施する。
 このように、本実施形態の制御ユニット10は、連携制御ユニットから動作指令が入力された時点で連携制御ユニット20をマスタユニットであると判別する。制御ユニット10は、動作指令が入力されるまで、前記連携制御ユニットを前記スレーブユニットであると判別する。
[第三実施形態]
 上述した実施形態では、例えば図1を参照して、自動動作機器1の制御ユニット10と、連携動作機器2の連携制御ユニット20が、1つの遠隔通信装置13に直接接続されている例を説明した。
 図10は、本発明の第三実施形態に係る制御ユニットを含む自動動作システムの構成を示すブロック図である。
 本実施形態における自動動作機器1は、ハブ13aを有する点が第一実施形態と異なる。また、本実施形態における自動動作機器1は、連携制御ユニット20に対し、直接ではなく、ハブ13aを介して接続される。
本実施形態における他の点は、第一実施形態と同じであるので、各部には第一実施形態と同じ符号を付している。
 図10における制御ユニット10と連携制御ユニット20は、ハブ13aを介して、1つの遠隔通信装置13に接続されている。ハブ13aは、制御ユニット10、連携制御ユニット20、及び遠隔通信装置13の間で、データを中継する。ハブ13aに接続される制御ユニット10及び連携制御ユニット20は、共通の伝送形式でデータを送信する。
 また、図10における自動動作機器1は、ハブ13aを介して連携制御ユニット20と通信を行う。
 本実施形態におけるハブ13aは、第1実施形態の遠隔通信装置13におけるデータ混合機能が独立したものである。つまり、ハブ13aは、遠隔通信装置13の一部の機能を担っている。従って、本実施形態でも、自動動作機器1の連携制御ユニット20と、連携動作機器2の連携制御ユニット20が、1つの遠隔通信装置13に接続されているということができる。
1  自動動作機器
2,2’,4  連携動作機器
3  遠隔操縦装置
10  制御ユニット
11  外部環境センシングユニット(外部撮影カメラ)
12  動作ユニット
13  遠隔通信装置
14  電源ユニット
20,40  連携制御ユニット
21,41  連携センシングユニット(連携動作機器カメラ)
22、42  連携動作ユニット
40  連携制御ユニット
110  外部環境情報コネクタ(外部画像コネクタ)
121  アクチュエータ
130  動作制御コネクタ
140,440  外部通信接続部(外部通信コネクタ)
150  遠隔データコネクタ
160  動作制御装置
170  自動制御回路
171  GPU
171a  制御モデル
172  不揮発性メモリ
180  監視回路
181  FPGA
182  不揮発性メモリ
184  リレー
185  メモリ
221  アクチュエータ
S   自動動作システム

Claims (7)

  1.  外部環境を撮影する外部撮影カメラとアクチュエータとが搭載されるとともに遠隔操縦装置の操作によって操縦可能な自動動作機器に用いられ、外部環境を撮影する連携動作機器カメラを備え且つ前記自動動作機器と連結された連携動作機器に用いられる連携制御ユニットと接続された1つの遠隔通信装置と接続される制御ユニットであって、
     前記制御ユニットは、
     前記外部撮影カメラから撮影結果を示す外部画像データを入力するための外部画像コネクタと、
     前記アクチュエータの動作を制御するための動作制御信号を出力するための動作制御コネクタと、
     前記遠隔操縦装置と通信可能に接続された前記1つの遠隔通信装置に対しデータを入出力するための遠隔データコネクタと、
     前記連携動作機器を制御する連携制御ユニットが前記1つの遠隔通信装置に接続された状態で、前記自動動作機器及び前記連携動作機器の外部に位置する通信機器又は前記連携制御ユニットから出力された信号に基づいて、前記外部画像コネクタを介して入力された前記外部画像データに基づくモニタ画像データを、前記遠隔データコネクタから前記1つの遠隔通信装置を介して前記遠隔操縦装置へ出力する動作制御装置と、を備える。
  2.  請求項1に記載の制御ユニットであって、
     前記自動動作機器に搭載された前記アクチュエータは、前記自動動作機器を走行させる走行装置であり、
     前記動作制御装置は、前記外部画像データを処理することによって前記自動動作機器の走行進路を指示するための動作制御信号を生成する。
  3.  請求項1に記載の制御ユニットであって、
     前記動作制御装置は、画像の送信についての要求が前記遠隔操縦装置から前記遠隔通信装置へ入力されたことに応じて前記遠隔通信装置から出力され且つ前記遠隔データコネクタを介し入力された信号、又は、前記連携制御ユニットから出力された信号に基づいて、前記外部撮影カメラから入力された前記外部画像データを処理することによって前記外部画像データよりもデータ量が少ないモニタ画像データを出力する。
  4.  請求項1に記載の制御ユニットであって、
     前記動作制御装置は、画像の送信についての要求が前記遠隔操縦装置から前記遠隔通信装置へ入力されたことに応じて前記遠隔通信装置から出力され且つ前記遠隔データコネクタを介し入力された信号、又は、前記連携制御ユニットから出力された信号に基づいて、前記外部撮影カメラから入力された前記外部画像データを画像圧縮処理することによって前記外部画像データよりもデータ量が少ないモニタ画像データを出力する。
  5.  請求項1に記載の制御ユニットであって、
     前記動作制御装置は、画像の送信についての要求が前記遠隔操縦装置から前記遠隔通信装置へ入力されたことに応じて前記遠隔通信装置から出力され且つ前記遠隔データコネクタを介し入力された信号、又は、前記連携制御ユニットから出力された信号に基づいて、前記外部撮影カメラから入力された前記外部画像データに対しフレーム間引き処理することによって前記外部画像データよりもデータ量が少ないモニタ画像データを出力する。
  6.  請求項1に記載の制御ユニットであって、
     前記動作制御装置は、画像の送信についての要求が前記遠隔操縦装置から前記遠隔通信装置へ入力されたことに応じて前記遠隔通信装置から出力され且つ前記遠隔データコネクタを介し入力された信号、又は、前記連携制御ユニットから出力された信号に基づいて、前記外部撮影カメラから入力された前記外部画像データに対し一部の領域の画像を抽出する切抜き処理によって前記外部画像データよりもデータ量が少ないモニタ画像データを出力する。
  7.  外部の画像に基づいて自動的に動作可能であるとともに遠隔操縦装置の操作に基づいて遠隔操縦が可能な自動動作システムであって、
     前記自動動作システムは、
     自動動作機器と、前記自動動作機器と連結された連携動作機器とを備え、
     前記連携動作機器は、
     画像を撮影する連携動作機器カメラと、
     前記連携動作機器カメラで撮影された連携画像に基づく制御を行う連携制御ユニットとを備え、
     前記自動動作機器は、
     前記自動動作機器に設けられ、外部画像を撮影する外部撮影カメラと、
     前記外部画像に基づいて制御されるアクチュエータと、
     前記連携制御ユニットと接続された遠隔通信装置と、
     遠隔通信装置と接続される制御ユニットとを備え、
     前記制御ユニットは、
     前記外部撮影カメラから撮影結果を示す外部画像データを入力するための外部画像コネクタと、
     前記アクチュエータの動作を制御するための動作制御信号を出力するための動作制御コネクタと、
     前記遠隔操縦装置と通信可能に接続された前記遠隔通信装置に対しデータを入出力するための遠隔データコネクタと、
     前記連携動作機器を制御する連携制御ユニットが前記遠隔通信装置に接続された状態で、画像の送信についての要求が前記遠隔操縦装置から前記遠隔通信装置へ入力されたことに応じて前記遠隔通信装置から出力され且つ前記遠隔データコネクタを介し入力された信号、又は、前記連携制御ユニットから出力された信号に基づいて、前記外部画像コネクタを介して入力された前記外部画像データに基づくモニタ画像データを、前記遠隔データコネクタ及び連携制御ユニットが接続された前記遠隔通信装置を介して前記遠隔操縦装置へ出力する動作制御装置と、を備える。
PCT/JP2019/014441 2019-04-01 2019-04-01 制御ユニット及び自動動作システム WO2020202426A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2019/014441 WO2020202426A1 (ja) 2019-04-01 2019-04-01 制御ユニット及び自動動作システム
PCT/JP2020/014545 WO2020203967A1 (ja) 2019-04-01 2020-03-30 制御ユニット及び自動動作システム
PCT/JP2020/014546 WO2020203968A1 (ja) 2019-04-01 2020-03-30 制御ユニット
US17/490,658 US20220019219A1 (en) 2019-04-01 2021-09-30 Control unit and autonomous functioning system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/014441 WO2020202426A1 (ja) 2019-04-01 2019-04-01 制御ユニット及び自動動作システム

Publications (1)

Publication Number Publication Date
WO2020202426A1 true WO2020202426A1 (ja) 2020-10-08

Family

ID=72666461

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2019/014441 WO2020202426A1 (ja) 2019-04-01 2019-04-01 制御ユニット及び自動動作システム
PCT/JP2020/014545 WO2020203967A1 (ja) 2019-04-01 2020-03-30 制御ユニット及び自動動作システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/014545 WO2020203967A1 (ja) 2019-04-01 2020-03-30 制御ユニット及び自動動作システム

Country Status (2)

Country Link
US (1) US20220019219A1 (ja)
WO (2) WO2020202426A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210114854A1 (en) * 2019-10-21 2021-04-22 Robert Bosch Gmbh Automated Guided Vehicle Configured for Driverless, Autonomously Acting Operation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009217713A (ja) * 2008-03-12 2009-09-24 Daihen Corp ロボット制御システム
JP2010233178A (ja) * 2009-03-30 2010-10-14 Saxa Inc 画像処理システム
US20150306764A1 (en) * 2012-07-27 2015-10-29 Engineering Services Inc. Modular mobile robot
JP2018122713A (ja) * 2017-01-31 2018-08-09 オグラ金属株式会社 探査用ロボット

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07237106A (ja) * 1994-02-28 1995-09-12 Nippon Steel Corp 遠隔操作疵手入れ方法およびその装置
JPH10329070A (ja) * 1997-05-30 1998-12-15 Shin Caterpillar Mitsubishi Ltd 遠隔無線操縦方法およびその装置
US8108092B2 (en) * 2006-07-14 2012-01-31 Irobot Corporation Autonomous behaviors for a remote vehicle
JP5361058B2 (ja) * 2009-06-30 2013-12-04 株式会社Ihiエアロスペース ロボット遠隔操縦システムとこれに用いる作業ロボット
US9463574B2 (en) * 2012-03-01 2016-10-11 Irobot Corporation Mobile inspection robot
US9489490B1 (en) * 2013-04-29 2016-11-08 Daniel Theobald Mobile robot for receiving, transporting, and/or delivering one or more pharmaceutical items
US20180267690A1 (en) * 2017-03-20 2018-09-20 Georgia Tech Research Corporation Control system for a mobile manipulation device
JP2021142572A (ja) * 2018-06-12 2021-09-24 ソニーグループ株式会社 制御装置、制御方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009217713A (ja) * 2008-03-12 2009-09-24 Daihen Corp ロボット制御システム
JP2010233178A (ja) * 2009-03-30 2010-10-14 Saxa Inc 画像処理システム
US20150306764A1 (en) * 2012-07-27 2015-10-29 Engineering Services Inc. Modular mobile robot
JP2018122713A (ja) * 2017-01-31 2018-08-09 オグラ金属株式会社 探査用ロボット

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210114854A1 (en) * 2019-10-21 2021-04-22 Robert Bosch Gmbh Automated Guided Vehicle Configured for Driverless, Autonomously Acting Operation

Also Published As

Publication number Publication date
US20220019219A1 (en) 2022-01-20
WO2020203967A1 (ja) 2020-10-08

Similar Documents

Publication Publication Date Title
JP6605241B2 (ja) 遠隔操縦システム
AU2017261540A1 (en) Command for underground
JP2008202396A (ja) ビルディングマシン、特に道路ビルディングマシン
TWI488015B (zh) 操縱用通信裝置、被操縱體用通信裝置及操縱用通信系統
EP3944209B1 (en) Retrofit remote control system for a machine
US20180295357A1 (en) Display system of working machine and display method of working machine
WO2020202426A1 (ja) 制御ユニット及び自動動作システム
CN105700406A (zh) 基于无线网络的大田农业机械遥操作控制平台
KR20220081660A (ko) 카메라와 센서를 이용한 농기계 통합 관제 시스템
CN111300491A (zh) 基于协作化驱控一体机器人的人机协作安全系统
AU2017261609B2 (en) Command for underground
WO2021121429A1 (zh) 一种基于二元控制系统的智能农机
US20060187224A1 (en) Predictive display for a system having delayed feedback of a command issued
AU2018201213B2 (en) Command for underground
WO2020203968A1 (ja) 制御ユニット
WO2020202427A1 (ja) 制御ユニット
JPWO2021177052A5 (ja)
JP7290199B2 (ja) 遠隔監視制御装置、システム、方法、及びプログラム
CN109479520B (zh) 一种果蔬采摘机器人双边遥操作控制方法
WO2020202428A1 (ja) 制御ユニット
JP6608176B2 (ja) 情報処理装置、環境情報収集方法および環境情報収集用プログラム
JP4300060B2 (ja) 監視システム及び監視端末
JP7264395B2 (ja) 作業車両の遠隔制御システム、遠隔操作装置および遠隔制御方法
CN114867921B (zh) 工程机械的远程操纵系统
US11586225B2 (en) Mobile device, mobile body control system, mobile body control method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19923199

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19923199

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP