WO2021240957A1 - 遠隔操作支援装置、遠隔操作支援システム及び遠隔操作支援方法 - Google Patents
遠隔操作支援装置、遠隔操作支援システム及び遠隔操作支援方法 Download PDFInfo
- Publication number
- WO2021240957A1 WO2021240957A1 PCT/JP2021/010460 JP2021010460W WO2021240957A1 WO 2021240957 A1 WO2021240957 A1 WO 2021240957A1 JP 2021010460 W JP2021010460 W JP 2021010460W WO 2021240957 A1 WO2021240957 A1 WO 2021240957A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- client
- remote control
- work machine
- information
- signal
- Prior art date
Links
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
Definitions
- the present invention relates to a remote control support device for supporting remote control of a work machine.
- a remote control support system described in Patent Document 1 is known.
- This remote control support system includes a construction machine type work machine and a remote control unit, and the remote control unit has an operation device, a monitor, and the like.
- the work machine is remotely controlled by the operator operating the operator while visually observing the operating state of the work machine displayed on the monitor.
- the operator appropriately grasps the surrounding situation of the work machine because the operator remotely controls the work machine while visually observing the operating state of the work machine displayed on the monitor.
- the present invention has been made to solve the above problems, and an object of the present invention is to provide a remote control support device capable of appropriately supporting the remote control of an operator when the work machine is remotely controlled.
- the invention according to claim 1 is a remote operation support device for supporting the remote operation of a plurality of work machines selectively and remotely operated according to the operation of the remote control device by the operator. Therefore, when a remote operation signal indicating the operation state of the remote operation device by the operator is received from the remote operation device, the first support process of executing the first support process of transmitting to one of a plurality of work machines corresponding to the remote operation signal is executed.
- the terminal operation signal requests the stop of one work machine when the client exists in the peripheral area of one work machine.
- the second support process of transmitting a stop command signal for stopping one work machine to one work machine is executed regardless of whether or not the remote operation signal is received. It is characterized by having two support processing elements.
- this remote control support device in the first support processing element, when a remote control signal indicating an operation state of the remote control device by an operator is received from the remote control device, one of a plurality of work machines corresponding to the remote control signal. The first support process to be transmitted is executed. This makes it possible to remotely control one work machine. Further, in the second support processing element, when the terminal operation signal indicating the operation state of the client by the user is received, the terminal operation signal is one work machine when the client exists in the peripheral area of one work machine. The second support process of transmitting a stop command signal for stopping one work machine to one work machine regardless of whether or not the remote operation signal is received when the operation state of the user requesting the stop of is represented. Is executed.
- one work machine can be stopped regardless of whether or not the remote control signal is received.
- one work machine is forcibly stopped by the user's client operation. Can be controlled to. That is, when the operator remotely controls one work machine, the forced stop operation by the user can be added, and the remote operation by the operator can be appropriately supported.
- the invention according to claim 2 is the remote operation support device according to claim 1, wherein the second support processing element includes stop information indicating that one work machine is stopped in the second support process.
- the information signal is further transmitted to the remote control device, and the remote control device is further characterized by having a first output interface for outputting stop information when the stop information signal is received.
- a stop information signal including stop information indicating that one work machine is stopped is further transmitted to the remote control device. Then, when the remote control device receives the stop information signal, the stop information indicating that one work machine is stopped is output from the first output interface, so that the operator of the remote control device can remotely control the device. Even while the operation is being executed, it is possible to appropriately recognize that one work machine is forcibly stopped by the operation of the client by the user.
- the invention according to claim 3 is the remote operation support device according to claim 1 or 2, wherein the work machine has an image pickup device for acquiring an environment image of the work machine, and includes an environment image acquired by the image pickup device.
- the second support processing element receives the image signal from the work machine, the second support processing element further transmits the image signal to the remote control device in the second support process, and the remote control device further transmits the image signal to the remote control device.
- the remote control device further transmits the image signal to the remote control device.
- the image signal when an image signal including an environment image of the work machine acquired by the image pickup device of the work machine is received, the image signal is the remote control device in the second support process of the second support processing element. Will be sent further to.
- the environment image included in the image signal is output from the second output interface of the remote control device, so that the operator of the remote control device is forced by one work machine. Even when the work machine is stopped, the environment of the work machine can be properly visually recognized.
- the invention according to claim 4 is the remote control support device according to any one of claims 1 to 3, wherein the work machine has an internal combustion engine and a control unit as a power source, and the control unit is remotely controlled.
- the remote control signal indicates the start operation of the internal combustion engine by the operator
- the start control of the internal combustion engine is executed and at the same time, the equipment other than the internal combustion engine is controlled to the stop state. It is characterized by.
- this remote control support device when the control unit receives the remote control signal and the stop command signal and the remote control signal represents the start operation of the internal combustion engine by the operator, the start control of the internal combustion engine is executed. At the same time, devices other than the internal combustion engine are controlled to be stopped. As a result, even when the work machine is forcibly stopped, the internal combustion engine can be started, so that the work by the work machine can be started quickly when the forcible stop of the work machine is released.
- the invention according to claim 5 is the remote control support device according to any one of claims 1 to 4, wherein when the work machine receives the remote control signal, the remote control signal is the target for performing the remote control.
- the remote control signal is the target for performing the remote control.
- it is characterized by having an external output device that outputs notification information indicating that the work machine has been selected to the outside of the work machine.
- this remote operation support device when the work machine receives a remote operation signal indicating that the work machine is selected as the target for performing the remote operation, the work machine is selected from the external output device of the work machine.
- the notification information indicating the above is output to the outside of the work machine.
- the invention according to claim 6 is the remote operation support device according to any one of claims 1 to 5, wherein when the second support processing element receives a terminal operation signal from the client, the client includes one work machine. If the determination result of the first determination process for determining whether or not the machine exists in the peripheral area of a plurality of work machines and the determination result of the first determination process are affirmative, the terminal operation signal requests the stop of the plurality of work machines.
- the second determination process for determining whether or not the operation state of the above is represented is further executed, and when the determination result of the second determination process is affirmative, in the second support process, a stop command signal is transmitted to a plurality of work machines. It is characterized by sending to.
- this remote control support device when a terminal operation signal is received from a client in the first determination process, it is determined whether or not the client exists in a peripheral area of a plurality of work machines including one work machine. If the determination result of the first determination process is affirmative, it is determined in the second determination process whether or not the terminal operation signal represents the operation state of the user who requests the stop of the plurality of work machines. If the determination result of the second determination process is affirmative, the stop command signal is transmitted to the plurality of work machines in the second support process, so that the client user exists in the peripheral area of the plurality of work machines. If this is the case, a plurality of work machines can be forcibly stopped by the user's client operation, and high convenience can be ensured.
- the invention according to claim 7 is the remote operation support device according to any one of claims 1 to 5, wherein the client has an angle between an acceleration information acquisition unit that acquires acceleration information, which is information representing the acceleration of the client, and a client. It has an angle information acquisition unit that acquires angle information that is information representing the client, and a terminal position information acquisition unit that acquires terminal position information that is information that represents the position of the client, and has acceleration information and angles as terminal operation signals.
- the work machine transmits a signal including information and terminal position information, and the work machine has a machine position information acquisition unit for acquiring machine position information which is information indicating the position of the work machine, and has a machine position information signal including machine position information.
- the second support processing element transmits and receives the terminal operation signal from the client, the third determination process and the third determination process of determining whether or not the client exists in the peripheral area of one work machine.
- the determination result is affirmative and the machine position information signal is received from one work machine, the position of the client at the time when the acceleration of the client changes to a predetermined state is used as a reference based on the terminal operation signal and the machine position information signal.
- the designated area includes the demarcation process for defining the designated area to be defined as an area of the extension mode biased according to the acceleration of the client at the time point and the azimuth angle of the client, and the position of one work machine at the time point.
- the fourth determination process for determining whether or not to perform is further executed, and when the determination result of the fourth determination process is affirmative, in the second support process, the terminal operation signal of the user requesting the stop of one work machine. It is characterized in that a stop command signal is transmitted to one work machine as representing an operating state.
- this remote control support device when a terminal operation signal is received from the client in the third determination process of the second support processing element, it is determined whether or not the client exists in the peripheral area of one work machine. NS. Next, in the demarcation process, when the determination result of the third determination process is affirmative and the machine information signal is received from one working machine, the acceleration of the client becomes a predetermined state based on the terminal operation signal and the machine information signal.
- a designated area relative to the position of the client at the time of change is defined as an area of extensional mode that is biased according to the acceleration of the client and the azimuth angle of the client at the time.
- the fourth determination process it is determined whether or not the position of one work machine at the time point is included in the designated area, and if the determination result of the fourth determination process is affirmative, the terminal in the second support process.
- the operation signal represents the operation state of the user who requests the stop of one work machine
- the stop command signal is transmitted to one work machine.
- the work machine can be forcibly stopped by simply performing the operation of shaking the client toward the work machine that the user wants to forcibly stop, and the convenience can be further improved.
- the invention according to claim 8 is the remote operation support device according to any one of claims 1 to 5, wherein the client has an angle between an acceleration information acquisition unit that acquires acceleration information, which is information representing the acceleration of the client, and a client. It has an angle information acquisition unit that acquires angle information that is information representing the client, and a terminal position information acquisition unit that acquires terminal position information that is information that represents the position of the client, and has acceleration information and angles as terminal operation signals.
- the work machine transmits a signal including information and terminal position information, and the work machine has a machine position information acquisition unit for acquiring machine position information which is information indicating the position of the work machine, and has a machine position information signal including machine position information.
- the second support processing element transmits and determines whether or not the client exists in the peripheral area of a plurality of work machines including one work machine.
- the determination result of the fifth determination process is affirmative and the machine position information signals are received from a plurality of work machines
- the time when the acceleration of the client changes to a predetermined state based on the terminal operation signal and the machine position information signal is defined as the first designated area that extends in a biased direction in the direction in which the client was directed, and when the acceleration of the client at the time point is equal to or higher than the second threshold value, the client is directed based on the position where the client is located.
- this remote control support device when a terminal operation signal is received from a client in the fifth determination process of the second support processing element, the client exists in a peripheral area of a plurality of work machines including one work machine. Whether or not it is determined. Then, in the demarcation process, when the determination result of the fifth determination process is affirmative and the machine information signals are received from a plurality of work machines, the acceleration of the client becomes a predetermined state based on the terminal operation signal and the machine information signal. The position where the client exists when the designated area based on the position of the client at the time of change is less than the second threshold where the acceleration of the client at the time is greater than or equal to the first threshold and greater than the first threshold.
- the first designated area that extends biasedly in the direction in which the client was directed with reference to, and when the acceleration of the client at the time point is equal to or higher than the second threshold value, the position where the client is present is used as a reference.
- the second designated area which extends in a biased manner wider than the first designated area in the direction in which the client is directed, is defined as the designated area.
- the client user when the client user exists in the peripheral area of a plurality of work machines including one work machine, at least one work machine existing in the designated area can be forcibly stopped. ..
- the designated area when the acceleration of the client is equal to or higher than the first threshold value and less than the second threshold value larger than the first threshold value, the client is directed based on the position where the client exists. It is defined in the first designated area that extends in a biased direction, and when the acceleration of the client is equal to or higher than the second threshold value, the client is directed in the direction in which the client is located. It is defined in a second designated area that extends in a biased manner wider than the first designated area. That is, the user can change the size of the designated area by changing the acceleration when shaking the client, thereby changing the number of work machines that the user wants to forcibly stop. As a result, convenience can be further improved.
- the invention according to claim 9 is the remote operation support device according to any one of claims 1 to 5, wherein the client has an angle between an acceleration information acquisition unit that acquires acceleration information, which is information representing the acceleration of the client, and a client. It has an angle information acquisition unit that acquires angle information that is information representing the client, and a terminal position information acquisition unit that acquires terminal position information that is information that represents the position of the client, and has acceleration information and angles as terminal operation signals.
- the work machine transmits a signal including information and terminal position information, and the work machine has a machine position information acquisition unit for acquiring machine position information which is information indicating the position of the work machine, and has a machine position information signal including machine position information.
- the second support processing element transmits and determines whether or not the client exists in the peripheral area of a plurality of work machines including one work machine. , When the determination result of the seventh determination process is affirmative and the machine position information signals are received from a plurality of work machines, the time when the acceleration of the client changes to a predetermined state based on the terminal operation signal and the machine position information signal.
- the demarcation process that defines the designated area as an area that extends biasedly from the position of the client at the time point based on the position of the client in
- the terminal operation signal represents the operation state of the user who requests the stop of the work machine closest to the client
- the client at the time point is directed to the outside of the designated area.
- the eighth determination process of determining that the terminal operation signal represents the operation state of the user requesting the stop of the work machine other than the work machine closest to the client is executed, and the eighth in the second support process.
- the stop command signal is transmitted to the work machine closest to the client and the terminal operation signal is sent.
- the stop command signal is transmitted to the work machine other than the work machine closest to the client.
- this remote control support device when a terminal operation signal is received from a client in the seventh determination process of the second support processing element, the client exists in a peripheral area of a plurality of work machines including one work machine. Whether or not it is determined.
- the demarcation process when the determination result of the seventh determination process is affirmative and the machine information signals are received from a plurality of work machines, the acceleration of the client becomes a predetermined state based on the terminal operation signal and the machine information signal.
- the designated area is defined as an area that extends biasably from the position of the client at the time point based on the position of the client at the time of change and the position of the work machine closest to the client among the plurality of work machines.
- the eighth determination process when the client at the time point is directed to the designated area, it is determined that the terminal operation signal represents the operation state of the user who requests the stop of the work machine closest to the client, and at the time point.
- the terminal operation signal represents the operation state of the user who requests the stop of the work machine other than the work machine closest to the client.
- the stop command signal is the most to the client.
- the stop command signal is the work machine other than the work machine closest to the client. Will be sent to.
- the work machine closest to the client or other work machines can be stopped depending on whether or not the client is directed to the designated area at the time when the acceleration of the client changes to a predetermined state.
- the user can select a work machine to be forcibly stopped depending on whether the client is directed to the work machine closest to the client or the other direction while changing the acceleration of the client to a predetermined state. As a result, convenience can be further improved.
- the remote control support system according to claim 10 is characterized by including the remote control support device according to any one of claims 1 to 9, a remote control device, a client, and a plurality of work machines.
- the invention according to claim 11 is a remote operation support method for supporting the remote operation of a plurality of work machines selectively and remotely operated according to the operation of the remote operation device by the operator by the remote operation support device.
- the remote operation support device receives a remote operation signal indicating the operation state of the remote operation device by the operator from the remote operation device, the remote operation support device executes a first support process of transmitting the remote operation signal to one of a plurality of work machines corresponding to the remote operation signal.
- the terminal operation signal indicating the operation state of the client by the user is received
- the terminal operation signal requests the stop of one work machine when the client exists in the peripheral area of one work machine.
- it is characterized by executing a second support process of transmitting a stop command signal for stopping one work machine to one work machine regardless of whether or not a remote operation signal is received. do.
- the remote control support system 1 of the present embodiment includes a remote control support server 10 as a remote control support device and a plurality of work machines 40 (only two) to be remotely controlled by the remote control device 20. It is composed of a plurality of clients 60 (only one is shown) and the like (shown).
- the remote control support server 10, the remote control device 20, the plurality of work machines 40, and the plurality of clients 60 are configured to enable mutual network communication.
- the mutual communication network of the remote control support server 10 and the remote control device 20 and the mutual communication network of the remote control support server 10 and the work machine 40 may be the same or different.
- the remote control support server 10 includes a database 102, a first support processing element 103, a second support processing element 104, a server wireless communication device 105, and the like.
- the database 102 stores and holds the operation schedule of the work machine 40. In addition to the operation schedule, the database 102 may store, for example, captured image data and the like.
- the database 102 may be configured by a database server separate from the remote control support server 10.
- the two support processing elements 103 and 104 are composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the processor core), read necessary data and software from a storage device such as a memory, and target the data.
- the arithmetic processing according to the software is executed, and the control processing described later is executed.
- the server wireless communication device 105 is used to connect the remote control device 20 to the remote wireless communication device 222, which will be described later, the actual wireless communication device 422 of the work machine 40, and the output interface 611 of the client 6 via the network. Wireless communication is carried out between them.
- the remote control device 20 includes a remote control device 200, a remote input interface 210, and a remote output interface 220.
- the remote control device 200 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the processor core), reads necessary data and software from a storage device such as a memory, and applies the data to the software. In addition to executing the arithmetic processing according to it, the control processing described later is executed.
- the remote input interface 210 includes a remote control mechanism 211.
- the remote output interface 220 includes an image output device 221, a remote wireless communication device 222, a speaker (not shown), and the like.
- the remote output interface 220 corresponds to the first output interface and the second output interface.
- the remote control mechanism 211 includes a traveling operation device, a turning operation device, a boom operation device, an arm operation device, a bucket operation device, and the like. Each operating device has an operating lever that receives a rotation operation.
- the operation lever (travel lever) of the travel operation device is operated to move the lower traveling body 410 of the work machine 40.
- the travel lever may also serve as a travel pedal.
- a traveling pedal fixed to the base or the lower end of the traveling lever may be provided.
- the operation lever (swivel lever) of the swivel operation device is operated to move the swivel mechanism 430 of the work machine 40.
- the operating lever (boom lever) of the boom operating device is operated to move the boom cylinder 442 of the work machine 40.
- the operation lever (arm lever) of the arm operation device is operated to move the arm cylinder 444 of the work machine 40.
- the operation lever (bucket lever) of the bucket operation device is operated to move the bucket cylinder 446 of the work machine 40.
- Each operation lever constituting the remote control mechanism 211 is arranged around the seat St for the operator to sit on, for example, as shown in FIG.
- the seat St is in the form of a high back chair with armrests, but in any form that the operator can sit in, such as a low back chair without headrests or a chair without backrests. It may be.
- a pair of left and right traveling levers 2110 corresponding to the left and right crawlers are arranged side by side in front of the seat St.
- One operating lever may also serve as a plurality of operating levers.
- the left side operating lever 2111 provided in front of the left side frame of the seat St shown in FIG. 2 functions as an arm lever when operated in the front-rear direction, and turns when operated in the left-right direction. It may function as a lever.
- the right side operating lever 2112 provided in front of the right side frame of the seat St shown in FIG. 2 functions as a boom lever when operated in the front-rear direction and is operated in the left-right direction. It may function as a bucket lever.
- the lever pattern may be arbitrarily changed by an operation instruction of the operator.
- the cutoff lever 2113 provided below the left side operating lever 2111 in front of the left side frame of the seat St is such that the work machine 40 does not move even if each lever 2110, 2111, or 2112 is operated when it is raised. On the other hand, when it is lowered, it functions as an operation lever for releasing the lock.
- the image output device 221 is a central image output device 2210 and a left image output device 2211 having substantially rectangular screens arranged in front of the sheet St, diagonally to the left, and diagonally to the right. And the right image output device 2212.
- the shapes and sizes of the screens (image display areas) of the central image output device 2210, the left image output device 2211, and the right image output device 2212 may be the same or different.
- the right edge of the left image output device 2211 so that the screen of the central image output device 2210 and the screen of the left image output device 2211 form an inclination angle ⁇ 1 (for example, 120 ° ⁇ ⁇ 1 ⁇ 150 °).
- ⁇ 1 for example, 120 ° ⁇ ⁇ 1 ⁇ 150 °
- ⁇ 2 for example, 120 ° ⁇ ⁇ 2 ⁇ 150 °
- the inclination angles ⁇ 1 and ⁇ 2 may be the same or different.
- the screens of the central image output device 2210, the left image output device 2211, and the right image output device 2212 may be parallel to the vertical direction or may be inclined with respect to the vertical direction. At least one of the central image output device 2210, the left image output device 2211, and the right image output device 2212 may be configured by the image output device divided into a plurality of parts.
- the central image output device 2210 may be composed of a pair of vertically adjacent image output devices having a substantially rectangular screen.
- the work machine 40 includes an actual machine control device 400, an actual machine input interface 41, an actual machine output interface 42, an operating mechanism 440, an external output device 460, and the like.
- the actual machine control device 400 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the processor core), reads necessary data and software from a storage device such as a memory, and applies the data to the software. In addition to executing the arithmetic processing according to it, the control processing described later is executed.
- the actual machine control device 400 corresponds to the control unit.
- the work machine 40 is a crawler excavator type construction machine, and as shown in FIG. 3, the crawler type lower traveling body 410 and the upper traveling body 410 are rotatably mounted on the lower traveling body 410 via a turning mechanism 430. It is equipped with a body 420 and an internal combustion engine (not shown) as a power source.
- a cab 424 (driver's cab) is provided on the front left side of the upper swivel body 420.
- a work attachment 440 is provided in the front center portion of the upper swivel body 420.
- the actual machine input interface 41 includes an actual machine operation mechanism 411, an image pickup device 412, and a positioning device 414.
- the actual machine operation mechanism 411 includes a plurality of actual machine operation levers arranged in the same manner as the remote control mechanism 211 around the seat arranged inside the cab 424.
- the cab 424 is provided with a drive mechanism or a robot that receives a signal according to the operation mode of the remote control mechanism 211 and moves the actual machine operation lever based on the received signal.
- the image pickup device 412 is installed inside the cab 424, for example, and images an environment including at least a part of the operating mechanism 440 through a front window and a pair of left and right side windows. Some or all of the front window and the side window may be omitted.
- the positioning device 414 is composed of a GNSS receiver (GNSS: Global Navigation Satellite System) for detecting the existing position of the work machine 40 (hereinafter referred to as "machine position").
- GNSS Global Navigation Satellite System
- the positioning device 414 corresponds to the machine position information acquisition unit.
- the actual device output interface 42 includes an actual device wireless communication device 422 for executing wireless communication with the remote control support server 10, the remote control device 20, and the client 60.
- the work attachment 440 as an actuating mechanism is rotatably attached to the boom 441 rotatably attached to the upper swing body 420, the arm 443 rotatably connected to the tip of the boom 441, and the tip of the arm 443. It is equipped with a bucket 445, which is connected to a bucket 445.
- the work attachment 440 is equipped with a boom cylinder 442, an arm cylinder 444, and a bucket cylinder 446, which are configured by a telescopic hydraulic cylinder. It was
- the boom cylinder 442 is interposed between the boom 441 and the upper swing body 420 so as to expand and contract by receiving the supply of hydraulic oil and rotate the boom 441 in the undulating direction.
- the arm cylinder 444 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the arm 443 and the boom 441 so as to rotate the arm 443 about a horizontal axis with respect to the boom 441.
- the bucket cylinder 446 expands and contracts by receiving the supply of hydraulic oil and is interposed between the bucket 445 and the arm 443 so as to rotate the bucket 445 about a horizontal axis with respect to the arm 443.
- the external output device 460 is composed of a patrol lamp, a horn, and the like (none of them are shown).
- the patrol lamp is for notifying the workers around the work machine 40 of the operating state and the operating state of the work machine 40, and the patrol lamps of three colors of red, yellow and blue are arranged on the upper surface of the cab 424. Has been done.
- the blue patrol lamp is lit when the work machine 40 is selected as the remote control target, the internal combustion engine of the work machine 40 is started, and the like, and the yellow patrol lamp is the normal remote control of the work machine 40. Lights up when driven by operation. Further, as will be described later, the red patrol lamp is turned on when the work machine 40 is forcibly stopped. Further, in the horn, when the remote operation of the work machine 40 is started, the operation start sound indicating the remote operation is manually (operated by the operator) or automatically output.
- the client 60 is a terminal device such as a smartphone, a tablet terminal, or a personal computer, and includes a control device 600, an input interface 610, an output interface 611, an inertial measurement unit (IMU) 612, a positioning device 614, and the like. It is equipped with.
- a control device 600 an input interface 610, an output interface 611, an inertial measurement unit (IMU) 612, a positioning device 614, and the like. It is equipped with.
- IMU inertial measurement unit
- the control device 600 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the processor core), reads necessary data and software from a storage device such as a memory, and follows the software for the data. In addition to executing the arithmetic processing, the control processing described later is executed.
- arithmetic processing unit single-core processor or multi-core processor or a processor core constituting the processor core
- the input interface 610 is composed of touch panel type buttons and switches, and as buttons, a stop button for forcibly stopping the work machine 40 and a stop release for releasing the forced stop state of the work machine 40. It has buttons and so on. Further, the output interface 611 includes an image output device, a wireless communication device, and the like.
- the inertial measurement unit 612 measures the angular velocity and acceleration of the three-dimensional Cartesian coordinate system (earth coordinate system) of the client 60
- the positioning device 614 is configured by a GNSS receiver like the positioning device 414. ing.
- the inertial measurement unit 612 corresponds to the acceleration information acquisition unit and the angle information acquisition unit
- the positioning device 614 corresponds to the terminal position information acquisition unit.
- the control device 600 acquires the existing position of the client 60 (hereinafter referred to as “terminal position”), the angle around three axes, and the acceleration in the three axes direction based on the measurement results of the inertial measurement unit 612 and the positioning device 614.
- terminal position the existing position of the client 60
- the angle around three axes the angle around three axes
- the acceleration in the three axes direction based on the measurement results of the inertial measurement unit 612 and the positioning device 614.
- the three axes of the three-dimensional Cartesian coordinate system axes extending in the longitudinal direction, the lateral direction, and the thickness direction of the client 60 are used.
- FIGS. 4 to 16 the remote control control process of the work machine 40 by the remote control support system 1 of the present embodiment will be described with reference to FIGS. 4 to 16.
- This normal remote control control process is for the operator to remotely control the operation of the work machine 40 by operating the remote control device 20.
- FIG. 4 is an example in which the work machine 40 and the client 60 are illustrated one by one, but the remote control support system 1 of the present embodiment is configured to include a plurality of work machines 40 and a plurality of clients 60. It is possible to do.
- the device operation acquisition process is executed in the remote control device 20 (FIG. 4 / STEP1).
- This device operation acquisition process acquires operation information of the remote control mechanism 211 by the operator, and specifically, is executed by the remote control device 20 at a predetermined control cycle as shown in FIG.
- This determination can be made, for example, by raising or lowering the shutoff lever 2113.
- the shutoff lever 2113 When the shutoff lever 2113 is lowered, the locks of the operation levers 2110 and 2111 and 2112 are released, so that it is determined to be affirmative (FIG. 5 / STEP12 ... YES) and the shutoff lever 2113 is raised. Is determined to be negative (FIG. 5 / STEP12 ... NO).
- This operation information includes information such as a selection operation of the work machine 40 as a remote control target and a start operation of the internal combustion engine of the work machine 40, as well as ID information of the work machine 40 selected as a remote control target and remote control.
- the ID information of the remote control device 20 that outputs the operation signal and the like are included.
- the work machine 40 selected as the remote control target is appropriately referred to as “target machine 40”
- the remote control device 20 that outputs the remote control signal is appropriately referred to as "target device 20”.
- the remote control device 20 transmits the remote control signal from the remote control device 20 to the remote control support server 10 as the device operation acquisition process (FIG. 4 / STEP 1) is executed as described above. Then, the remote control support server 10 executes the first remote control process (FIG. 4 / STEP2). In this embodiment, the first remote control process corresponds to the first support process.
- This first remote control process transmits a remote control signal from the remote control device 20 to the target machine 40, and specifically, as shown in FIG. 6 by the remote control support server 10 at a predetermined control cycle. Is executed.
- the remote control signal is output to the target machine 40 corresponding to the read ID information (FIG. 6 / STEP22), and this process ends.
- the above-mentioned first remote control process is similarly executed when a plurality of remote control signals are received from each of the plurality of remote control devices 20.
- the remote control signal is transmitted from the remote control support server 10 to the target machine 40. Then, the target machine 40 executes the normal time control process (FIG. 4 / STEP3).
- This normal time control process controls the operation of the target machine 40 based on the remote control signal from the remote control support server 10. Specifically, the actual machine control device 400 of the target machine 40 controls the operation of the target machine 40. It is executed as shown in FIG. 7 in the control cycle.
- various devices are controlled based on the operation information included in the remote control signal.
- the operation information is the selection operation of the target machine 40
- the external output device 460 is used to notify the workers around the target machine 40 that the target machine 40 has been selected as the remote control target.
- the blue patrol lamp is lit.
- the operation information is the start operation of the internal combustion engine of the target machine 40
- the start control of the internal combustion engine is executed and the operator around the target machine 40 is notified that the internal combustion engine is started. Therefore, the blue patrol lamp of the external output device 460 is turned on.
- the operation information is the operation of the work attachment 440 in the target machine 40
- the operation control of the work attachment 440 is executed, and the external operator or the like is notified of the operation information.
- the yellow patrol lamp of the output device 460 is turned on.
- machine information is acquired (Fig. 7 / STEP32).
- the machine information includes operation information of the target machine 40, machine position information, image information of the surrounding environment captured by the image pickup device 412, ID information of the target device 20, and the like.
- the machine information signal including this machine information is output to the remote control support server 10 (FIG. 7 / STEP33), and this process ends.
- the above normal time control process is similarly executed in each of the plurality of target machines 40 even when the plurality of target machines 40 receive the plurality of remote control signals from the remote control support server 10.
- This first information control process transmits a machine information signal from the target machine 40 to the target device 20, and specifically, as shown in FIG. 8 by the remote control support server 10 at a predetermined control cycle. Will be executed.
- the machine information signal is output to the target device 20 corresponding to the read ID information (FIG. 8 / STEP42), and this process ends.
- the above first remote control process is similarly executed when a plurality of machine information signals are received from the plurality of target machines 40, respectively.
- the machine information signal is transmitted from the remote control support server 10 to the target device 20 as the first information control process (FIG. 4 / STEP 4) is executed in the remote control support server 10 as described above. Then, the machine information output process is executed in the target device 20 (FIG. 4 / STEP5).
- the target device 20 outputs (displays) an environmental image of the target machine 40 included in the machine information signal from the image output device 221 and shows the operating state of the target machine 40.
- the data is displayed.
- the operator can remotely control the target machine 40 while appropriately grasping the surrounding environment and the operating state of the target machine 40 based on this information.
- the remote control control process at the normal time is executed.
- the remote control signal is transmitted from the remote control device 20. It is transmitted to the remote control support server 10.
- the stop operation determination process is executed as described below (FIG. 9 / STEP51).
- this stop operation determination process when the user exists in the peripheral area of the work machine 40, it is determined whether or not the stop operation for forcibly stopping the work machine 40 is executed by the operation of the user's client 60. It is executed when the stop operation signal described later has not been output.
- this stop operation determination process is executed by the client 60 at a predetermined control cycle as shown in FIG.
- various parameters are acquired (FIG. 10 / STEP60). Specifically, as various parameters, the terminal position, the angle around the three axes, the acceleration in the three axes, and the like are acquired.
- buttons and switches of the input interface 610 are acquired (FIG. 10 / STEP61).
- (F1) In the input interface 610, the above-mentioned stop button is pressed.
- (F2) The amount of increase in the longitudinal acceleration (hereinafter referred to as “terminal acceleration”) ⁇ of the client 60 between the previous control timing and the current control timing is equal to or greater than a predetermined value.
- (F3) When the movement locus of the client 60 between the previous control timing and the current control timing is projected on a predetermined vertical plane, the azimuth angle (in world coordinates) of the reference axis in the longitudinal direction of the client 60 is projected. The amount of change is equal to or greater than the specified value.
- This stop operation signal includes stop information, and in this case, the stop information includes information on various parameters (terminal acceleration ⁇ , terminal position, etc.) described above in addition to the execution of the stop operation by the user. Is included. In this embodiment, the stop operation signal corresponds to the terminal operation signal.
- the remote control support server 10 performs the second remote control. Processing is executed (FIG. 9 / STEP52).
- This second remote control process transmits a stop control signal to the work machine 40 forcibly stopped by the user.
- the remote control support server 10 transmits a predetermined control cycle. Is executed as shown in FIG.
- the client 60 that has transmitted the stop operation signal and one or more work machines 40 share a relay antenna for wireless communication, it is determined that the client 60 exists in the peripheral area of the work machine 40. At other times, it is determined that the client 60 does not exist in the peripheral area of the work machine 40.
- the relay antenna is capable of communicating with the remote wireless communication device 222 of the server wireless communication device 105 and the remote control device 20 by wire or wirelessly, and further with the actual wireless communication device 422 of the work machine 40 and the output interface 611 of the client 6. It constitutes a network capable of wireless communication between the two, and is installed in a plurality of areas around the work area and the work area where the work machine 40 operates. It should be noted that this determination may be executed based on the terminal position information described above and the machine position information described above.
- This stop target determination process determines the work machine 40 (hereinafter referred to as “stop target 40”) forcibly stopped when the client 60 exists in the peripheral area of the work machine 40, and is specific. Is executed as shown in FIG. In the following description, the fact that the client 60 exists in the peripheral area of the work machine 40 is referred to as "the work machine 40 exists in the vicinity of the client 60".
- the stop operation information included in the stop operation signal is read (FIG. 12 / STEP90).
- the first threshold value ⁇ 1 is set to a relatively small predetermined positive value. When this determination is negative (FIG. 12 / STEP91 ... NO), this process ends.
- this first designated area is an isosceles triangle symmetrical with respect to the center line Lx in the longitudinal direction of the client 60 with respect to the position of the client 60 when the first designated area is viewed in a plane. It is defined as a triangular area (area shown by pointillism).
- the position of the client 60 is shown at a position in front of the center position in the longitudinal direction of the client 60 for ease of understanding. This point is the same in FIG. 18 described later.
- the work machine 40 existing in the first designated area is determined to be the stop target 40 (FIG. 12 / STEP95), and this process ends.
- the work machine 40A exists in the first designated area
- the work machine 40A is determined as the stop target 40.
- the one work machine 40 is stopped regardless of whether or not it exists in the first designated area. It may be configured to be determined as.
- the number of working machines 40 may be configured to execute the determination on the condition that the number of working machines is 2 or less instead of 3 or less.
- the second threshold value ⁇ 2 is set to a predetermined value at which ⁇ 2> ⁇ 1 is established.
- the first designated area is defined and the work machine 40 exists in the first designated area as described above. It is determined whether or not the work machine is used, and the work machine 40 existing in the first designated area is determined to be the stop target 40 (FIG. 12 / STEP93 to 95), and this process ends.
- the second designated area is defined as the designated area (FIG. 12 / STEP98).
- this second designated area is symmetrical with respect to the longitudinal center line Ly of the client 60 with respect to the position of the client 60 when the second designated area is viewed in a plane. It is an area of an isosceles triangle and is defined as an area having a larger apex angle and a larger height, that is, an area having a larger area than the first designated area.
- the second designated area and the center line Ly in FIG. 14 assume a state in which the azimuth angle of the client 60 is slightly inclined upward from the azimuth angle of the client 60 in the drawing.
- the operator After returning to FIG. 11 and executing the stop target determination process (FIG. 11 / STEP74) as described above, the operator requests the start of the stop target 40 determined as described above based on the operation information of the remote control signal. It is determined whether or not a certain stop target 40 exists (FIG. 11 / STEP75). Specifically, this start request requests the start of the internal combustion engine of the stop target 40.
- a stop control signal including the start request is output to the stop target 40.
- the stop control signal corresponds to the stop command signal.
- the above second remote control process is similarly executed when stop operation signals are received from a plurality of clients 60.
- Stop information output processing is executed (FIG. 9 / STEP53).
- character information and voice information indicating that the remote-controlled work machine 40 is forcibly stopped are output from the image output device 221 and the speaker, respectively. Thereby, the operator can surely recognize that the work machine 40 being remotely controlled is forcibly stopped.
- the stop target 40 controls the stop. Processing is executed (FIG. 9 / STEP54).
- This stop control process controls the target machine 40 to a stopped state based on the stop control signal from the remote control support server 10. Specifically, the actual machine control device 400 of the target machine 40 controls the target machine 40. It is executed as shown in FIG. 13 at a predetermined control cycle.
- the stop control signal includes the start request of the stop target 40
- the start control of the stop target 40 is executed (FIG. 13 / STEP112). Specifically, the internal combustion engine of the stop target 40 is started.
- the device When the start control is executed in this way, or when the above-mentioned determination is negative (FIG. 13 / STEP111 ... NO) and the stop control signal does not include the start request of the stop target 40, the device is stopped following these.
- the control process is executed (FIG. 13 / STEP113).
- the work attachment 440 and the like other than the internal combustion engine and the image pickup device 412 are controlled to the stopped state.
- the red patrol lamp is turned on to indicate that the stop target 40 is forcibly stopped.
- machine information is acquired (Fig. 13 / STEP114).
- the machine information includes the operation information of the target machine 40 and the image information of the surrounding environment captured by the image pickup device 412, as well as the ID information of the target device 20 and the like.
- the machine information signal including this machine information is output to the remote control support server 10 (FIG. 13 / STEP115), and this process ends.
- the above stop control process is similarly executed in each of the plurality of stop targets 40 even when the plurality of stop target 4040s receive the plurality of stop control signals from the remote control support server 10.
- the stop time control process (FIG. 9 / STEP54) is executed in the target machine 40 as described above, the machine information signal is transmitted from the target machine 40 to the remote control support server 10.
- the second information control process is executed on the remote control support server 10 (FIG. 9 / STEP55).
- the second remote control process and the second information control process correspond to the second support process.
- this second information control process is executed in the same manner as the first information control process (FIG. 4 / STEP4) described above, the description thereof will be omitted.
- the machine information signal is transmitted from the remote control support server 10 to the target device 20 as the second information control process is executed, the machine information output process is executed in the target device 20 (FIG. 9 / STEP56). Since this machine information output process is executed in the same manner as the machine information output process (FIG. 4 / STEP5) described above, the description thereof will be omitted.
- the remote control control process at the time of canceling the stop will be described with reference to FIG.
- the user operates the client 60 to forcibly stop the stop target 40. It is for releasing the state.
- the stop release operation determination process is executed on the client 60 (FIG. 16 / STEP130).
- the stop release operation determination process when the stop release button (not shown) of the client 60 is pressed by the user, it is determined that the stop release operation has been executed, and at other times, the stop release operation has not been executed. Is determined. Then, when it is determined that the stop release operation has been performed, the stop release operation signal is output to the remote control support server 10.
- the stop release operation signal is transmitted to the remote control support server 10 as the stop release operation determination process is executed in the client 60 as described above, the third remote control process is executed in the remote control support server 10. (Fig. 16 / STEP131).
- the stop release control signal is transmitted to the stop target 40, and at the same time, the stop release information signal is transmitted to the target device 20.
- the stop release control process is executed (FIG. 16 / STEP132).
- the stop state of the device such as the work attachment 440 is released, the state is controlled so that they can be operated, and the red patrol lamp is turned off to indicate the stop state.
- the stop release information output process is executed (FIG. 16 / STEP133).
- the stop release information (character information) included in the stop release information signal is output (displayed) from the image output device 221 in the target device 20, and the voice information included in the stop release information signal is output (displayed). Is output from the speaker.
- the stopped state of the stop target 40 is released, and the operator of the target device 20 is notified that this can be remotely controlled.
- the remote control process at the time of canceling the stop is executed as described above.
- the remote control support server 10 of the present embodiment in the normal remote control control process, when the remote control signal is received from the remote control device 20, the first remote control process (STEP2) is executed. Then, the remote control signal is transmitted to the target machine 40. As a result, the target machine 40 is remotely controlled by the operation of the remote control device 20 of the operator.
- the remote control support server 10 has a second.
- the remote control process (STEP52) is executed.
- the stop target 40 is determined by executing the stop target determination process (STEP74). Will be done.
- the stop time control process (STEP 54) is executed, so that the work attachment 440 or the like of the stop target 40 is controlled to the stop state.
- the work machine 40 is forcibly stopped by the operation of the user's client 60. Can be controlled. That is, when the operator remotely controls the work machine 40, the forced stop operation by the user can be taken into consideration, and the remote control by the operator can be appropriately supported.
- the stop information signal is transmitted to the target device 20.
- the target device 20 receives the stop information signal, the image output device 221 and the speaker output character information and audio information indicating that the remote-controlled work machine 40 is forcibly stopped, respectively. Therefore, the operator can surely recognize that the work machine 40 being remotely controlled is forcibly stopped.
- the stop target 40 executes the stop control process
- the stop control signal includes the start request of the stop target 40
- the start control of the stop target 40 is executed, so that the stop target 40 is executed.
- the internal combustion engine can be started even when the internal combustion engine is forcibly stopped. As a result, when the forced stop of the stop target 40 is released, the work by the work machine 40 can be started quickly.
- the stop control process is executed in the stop target 40 and the machine information signal is transmitted to the remote control device 20 via the remote control support server 10, the machine information output in the remote control device 20.
- the process (STEP56) is executed.
- the image information of the surrounding environment of the stop target 40 included in the machine information signal is output from the image output device 221. Therefore, the operator can forcibly stop the stop target 40 while the stop target 40 is stopped.
- the surrounding environment can be appropriately visually recognized.
- one work machine 40 exists in the vicinity of the client 60 when the terminal acceleration ⁇ is equal to or higher than the first threshold value ⁇ 1.
- the designated area is set based on the stop operation information included in the stop operation signal. , The first designated area is defined.
- the work machine 40 is determined as the stop target 40. In this way, the user simply presses the stop button of the client 60 and shakes the client 60 toward the work machine 40 to be forcibly stopped, and the work machine existing in the first designated area is executed. 40 can be forcibly stopped.
- the first designated area is set based on the stop operation information included in the stop operation signal.
- a second designated area wider than the designated area is defined. Then, when the work machine 40 exists in the second designated area, the work machine 40 is determined as the stop target 40. In this way, the user simply presses the stop button of the client 60 and shakes the client 60 toward the work machine 40 that wants to forcibly stop the client 60 so that ⁇ ⁇ ⁇ 2 is established, which is wider than the first designated area.
- the second designated area can be defined, and more work machines 40 can be forcibly stopped than when the first designated area is defined.
- the stop target determination process is executed as shown in FIG. 12, instead of this, the stop target determination process may be executed as shown in FIG.
- the stop operation information included in the stop operation signal is read (FIG. 17 / STEP150).
- third designated area and fourth designated area are defined as described below. That is, as shown in FIG. 18, when the client 60 and the work machines 40A and 40B are viewed in a plan view, the straight line L1 passing through both positions toward the work machine 40A closer to the client 60 and the straight line L.
- the area between these straight lines L2 and L3 is defined as the third designated area.
- the angle between the straight lines L2 and L3 is set to a value within a predetermined range (for example, 45 to 90 °).
- the region between the two straight lines L2 and L4 and the region between the two straight lines L3 and L4 are the second second. 4 Defined as a designated area.
- an area other than the third designated area may be defined as the fourth designated area.
- terminal azimuth angle the azimuth angle of the client 60 (hereinafter referred to as "terminal azimuth angle") is within the third area (FIG. 17 / STEP 154).
- this determination is affirmative (FIG. 17 / STEP154 ... YES), for example, when the terminal azimuth is the azimuth indicated by the arrow Y1 in FIG. 18, the work machine 40A closer to the client 60 is determined to be the stop target 40A. (Fig. 17 / STEP 155), this process ends.
- the embodiment is an example in which the remote control support server 10 is used as the remote control support device, but the remote control support device of the present invention is not limited to this, and is selected according to the operation of the remote control device by the operator. Anything may be used to support the remote control of a plurality of work machines that are remotely controlled.
- the remote control support device various arithmetic units such as a controller or a microcomputer may be used instead of the remote control support server 10.
- the embodiment is an example in which the crawler excavator type construction machine 40 is used as the work machine, but various work machines may be used instead.
- a bulldozer, a wheel loader, or the like may be used as the work machine.
- the embodiment is an example in which the inertial measurement unit is used as the acceleration information acquisition unit, but the acceleration information acquisition unit of the present invention is not limited to this, and acquires acceleration information which is information indicating the acceleration of the client. Anything is fine.
- an acceleration sensor or the like may be used as the acceleration information acquisition unit.
- the embodiment is an example in which the inertial measurement unit is used as the angle information acquisition unit, but the angle information acquisition unit of the present invention is not limited to this, and acquires angle information which is information representing the angle of the client. Anything is fine.
- a gyro sensor or the like may be used as the angle information acquisition unit.
- the embodiment is an example in which the first designated area as the designated area is set as shown in FIG. 14, but the first designated area of the present invention is not limited to this, and is based on the position where the client exists. It may be an area that extends biasedly in the direction in which the client is directed.
- the shape of the first designated area is not limited to the isosceles right triangle of the embodiment, and may be a fan shape or a semi-elliptical shape.
- the embodiment is an example in which the first designated area has an isosceles triangle shape symmetrical with respect to the center line Lx, but the first designated area has a shape asymmetrical with respect to the center line Lx (for example, the center line).
- the shape of an isosceles triangle slightly inclined with respect to Lx) may be used.
- the apex angle of the isosceles triangle in the first designated area is not limited to an acute angle but may be an obtuse angle.
- the embodiment is an example in which the second designated area is set as shown in FIG. 14, but the second designated area of the present invention is not limited to this, and the client is directed based on the position where the client exists. Any area may be used as long as it extends in a biased manner wider than the first designated area in the direction in which it was located.
- the shape of the second designated area is not limited to the isosceles triangle of the embodiment, and may be a fan shape or a semi-elliptical shape.
- the embodiment is an example in which the second designated area has a shape of an isosceles triangle symmetric with respect to the center line Ly, but the second designated area has a shape asymmetrical with respect to the center line Ly (for example, the center line).
- the shape of an isosceles triangle slightly inclined with respect to Ly) may be used.
- the second designated area may be defined as an area that does not completely overlap with the first designated area.
- the apex angle of the isosceles triangle in the second designated area may be a value larger than the apex angle of the isosceles triangle in the first designated area.
- Remote control support system 10
- Remote control support server (remote control support device)
- 103 1st support processing element
- 104 2nd support processing element
- Remote control device 220
- Remote output interface (1st output interface, 2nd output interface)
- Work machine 400
- Actual machine control device 412 Imaging device
- Positioning device (machine position information acquisition unit)
- External output device 60
- Client 612 Inertial measurement unit (acceleration information acquisition unit, angle information acquisition unit) 614
- Positioning device terminal position information acquisition unit)
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Operation Control Of Excavators (AREA)
- Selective Calling Equipment (AREA)
- Telephonic Communication Services (AREA)
Abstract
作業機械を遠隔操作する場合において、オペレータの遠隔操作を適切に支援することができる遠隔操作支援装置を提供する。遠隔操作支援サーバ10は、遠隔操作信号を遠隔操作装置20から受信した際、第1遠隔制御処理(STEP2)を実行し、遠隔操作信号を作業機械40に送信する。また、停止指令信号をクライアント60から受信した際、第2遠隔制御処理を実行し、クライアント60が作業機械40の周辺領域に存在している場合において作業機械40が指定エリア内に存在するときには、作業機械40を停止させるための停止指令信号を作業機械40に送信する。
Description
本発明は、作業機械の遠隔操作を支援するための遠隔操作支援装置などに関する。
従来、遠隔操作支援システムとして特許文献1に記載されたものが知られている。この遠隔操作支援システムは、建設機械タイプの作業機械及び遠隔操作部を備えており、この遠隔操作部は、操作器及びモニタなどを有している。この遠隔操作支援システムの場合、オペレータがモニタに表示された作業機械の動作状態を目視しながら、操作器を操作することによって、作業機械が遠隔操作される。
上記従来の遠隔操作支援システムによれば、オペレータがモニタに表示された作業機械の動作状態を目視しながら、作業機械を遠隔操作する関係上、オペレータは、作業機械の周辺状況を適切に把握することができないという問題がある。例えば、作業機械が作業動作を停止すべき条件下にある場合でも、オペレータがそれを認識できない事態が発生してしまう。この問題は、建設機械以外の作業機械を遠隔操作する場合においても同様に発生する。
本発明は、上記課題を解決するためになされたもので、作業機械を遠隔操作する場合において、オペレータの遠隔操作を適切に支援することができる遠隔操作支援装置を提供することを目的とする。
上記目的を達成するために、請求項1に係る発明は、オペレータによる遠隔操作装置の操作に応じて選択的に遠隔操作される複数の作業機械の遠隔操作を支援するための遠隔操作支援装置であって、オペレータによる遠隔操作装置の操作状態を表す遠隔操作信号を遠隔操作装置から受信した際、遠隔操作信号に対応する複数の作業機械の1つに送信する第1支援処理を実行する第1支援処理要素と、ユーザによるクライアントの操作状態を表す端末操作信号を受信した際、クライアントが1つの作業機械の周辺領域に存在している場合において、端末操作信号が1つの作業機械の停止を要求するユーザの操作状態を表しているときには、遠隔操作信号の受信の有無とは無関係に1つの作業機械を停止させるための停止指令信号を1つの作業機械に送信する第2支援処理を実行する第2支援処理要素と、を備えることを特徴とする。
この遠隔操作支援装置によれば、第1支援処理要素では、オペレータによる遠隔操作装置の操作状態を表す遠隔操作信号を遠隔操作装置から受信した際、遠隔操作信号に対応する複数の作業機械の1つに送信する第1支援処理が実行される。それにより、1つの作業機械を遠隔操作することが可能になる。また、第2支援処理要素では、ユーザによるクライアントの操作状態を表す端末操作信号を受信した際、クライアントが1つの作業機械の周辺領域に存在している場合において、端末操作信号が1つの作業機械の停止を要求するユーザの操作状態を表しているときには、遠隔操作信号の受信の有無とは無関係に1つの作業機械を停止させるための停止指令信号を1つの作業機械に送信する第2支援処理が実行される。それにより、1つの作業機械を、遠隔操作信号の受信の有無とは無関係に停止することが可能になる。このように、1つの作業機械の周辺領域に存在するユーザが1つの作業機械を強制的に停止した方がよいと判断した場合、ユーザのクライアント操作によって、1つの作業機械を強制的に停止状態に制御することができる。すなわち、オペレータが1つの作業機械を遠隔操作する際、ユーザによる強制停止動作を加味することができ、オペレータによる遠隔操作を適切に支援することができる。
請求項2に係る発明は、請求項1に記載の遠隔操作支援装置において、第2支援処理要素は、第2支援処理において、1つの作業機械が停止されていることを表す停止情報を含む停止情報信号を遠隔操作装置にさらに送信し、遠隔操作装置は、停止情報信号を受信した場合、停止情報を出力する第1出力インターフェースをさらに有していることを特徴とする。
この遠隔操作支援装置によれば、第2支援処理要素による第2支援処理において、1つの作業機械が停止されていることを表す停止情報を含む停止情報信号が遠隔操作装置にさらに送信される。そして、遠隔操作装置では、停止情報信号を受信した場合、その第1出力インターフェースから、1つの作業機械が停止されていることを表す停止情報が出力されるので、遠隔操作装置のオペレータは、遠隔操作を実行中であっても、ユーザによるクライアントの操作によって、1つの作業機械が強制的に停止されていることを適切に認識することができる。
請求項3に係る発明は、請求項1又は2に記載の遠隔操作支援装置において、作業機械は、作業機械の環境画像を取得する撮像装置を有し、撮像装置によって取得された環境画像を含む画像信号を送信可能に構成され、第2支援処理要素は、画像信号を作業機械から受信した場合、第2支援処理において、画像信号を遠隔操作装置にさらに送信し、遠隔操作装置は、画像信号を受信した場合、画像信号に含まれる環境画像を出力する第2出力インターフェースをさらに有していることを特徴とする。
この遠隔操作支援装置によれば、作業機械の撮像装置によって取得された作業機械の環境画像を含む画像信号を受信した場合、第2支援処理要素の第2支援処理において、画像信号が遠隔操作装置にさらに送信される。そして、画像信号が遠隔操作装置で受信された場合、遠隔操作装置の第2出力インターフェースから、画像信号に含まれる環境画像が出力されるので、遠隔操作装置のオペレータは、1つの作業機械が強制的に停止されている場合であっても、作業機械の環境を適切に視認することができる。
請求項4に係る発明は、請求項1ないし3のいずれかに記載の遠隔操作支援装置において、作業機械は、動力源としての内燃機関及び制御部を有しており、制御部は、遠隔操作信号及び停止指令信号を受信した場合において、遠隔操作信号がオペレータによる内燃機関の始動操作を表しているときには、内燃機関の始動制御を実行すると同時に、内燃機関以外の機器を停止状態に制御することを特徴とする。
この遠隔操作支援装置によれば、制御部によって、遠隔操作信号及び停止指令信号を受信した場合において、遠隔操作信号がオペレータによる内燃機関の始動操作を表しているときには、内燃機関の始動制御が実行されると同時に、内燃機関以外の機器が停止状態に制御される。それにより、作業機械が強制的に停止されている場合でも、内燃機関を始動できることで、作業機械の強制的な停止が解除された際、作業機械による作業を迅速に開始することができる。
請求項5に係る発明は、請求項1ないし4のいずれかに記載の遠隔操作支援装置において、作業機械は、遠隔操作信号を受信した場合において、遠隔操作信号が遠隔操作の実施対象として作業機械が選択されたことを表しているときには、作業機械が選択されたことを表す報知情報を作業機械の外部に出力する外部出力装置を有することを特徴とする。
この遠隔操作支援装置によれば、遠隔操作の実施対象として作業機械が選択されたことを表す遠隔操作信号を作業機械が受信した場合、作業機械の外部出力装置から、作業機械が選択されたことを表す報知情報が作業機械の外部に出力される。それにより、作業者などが作業機械の周辺領域に存在している場合には、その作業機械の遠隔操作が開始される可能性があることを作業者などが適切に認識することができる。
請求項6に係る発明は、請求項1ないし5のいずれかに記載の遠隔操作支援装置において、第2支援処理要素は、クライアントから端末操作信号を受信した場合、クライアントが1つの作業機械を含む複数の作業機械の周辺領域に存在しているか否かを判定する第1判定処理と、第1判定処理の判定結果が肯定である場合、端末操作信号が複数の作業機械の停止を要求するユーザの操作状態を表している否かを判定する第2判定処理と、をさらに実行し、第2判定処理の判定結果が肯定である場合、第2支援処理において、停止指令信号を複数の作業機械に送信することを特徴とする。
この遠隔操作支援装置によれば、第1判定処理において、クライアントから端末操作信号を受信した場合、クライアントが1つの作業機械を含む複数の作業機械の周辺領域に存在しているか否かが判定され、第1判定処理の判定結果が肯定である場合、第2判定処理において、端末操作信号が複数の作業機械の停止を要求するユーザの操作状態を表している否かが判定される。そして、第2判定処理の判定結果が肯定である場合、第2支援処理において、停止指令信号が複数の作業機械に送信されるので、クライアントのユーザが複数の作業機械の周辺領域に存在している場合には、ユーザのクライアント操作によって、複数の作業機械を強制的に停止することができ、高い利便性を確保することができる。
請求項7に係る発明は、請求項1ないし5のいずれかに記載の遠隔操作支援装置において、クライアントは、クライアントの加速度を表す情報である加速度情報を取得する加速度情報取得部と、クライアントの角度を表す情報である角度情報を取得する角度情報取得部と、クライアントの位置を表す情報である端末位置情報を取得する端末位置情報取得部と、を有し、端末操作信号として、加速度情報、角度情報及び端末位置情報を含む信号を送信し、作業機械は、作業機械の位置を表す情報である機械位置情報を取得する機械位置情報取得部を有し、機械位置情報を含む機械位置情報信号を送信し、第2支援処理要素は、クライアントから端末操作信号を受信した場合、クライアントが1つの作業機械の周辺領域に存在しているか否かを判定する第3判定処理と、第3判定処理の判定結果が肯定である場合において、1つの作業機械から機械位置情報信号を受信したときには、端末操作信号及び機械位置情報信号に基づき、クライアントの加速度が所定状態に変化した時点におけるクライアントの位置を基準とする指定エリアを、時点におけるクライアントの加速度及びクライアントの方位角に応じて偏向的な延在態様のエリアとして画定する画定処理と、時点における1つの作業機械の位置が指定エリアに含まれているか否かを判定する第4判定処理と、をさらに実行し、第4判定処理の判定結果が肯定である場合、第2支援処理において、端末操作信号が1つの作業機械の停止を要求するユーザの操作状態を表しているとして、停止指令信号を1つの作業機械に送信することを特徴とする。
この遠隔操作支援装置によれば、第2支援処理要素の第3判定処理において、クライアントから端末操作信号を受信した場合、クライアントが1つの作業機械の周辺領域に存在しているか否かが判定される。次いで、画定処理では、第3判定処理の判定結果が肯定である場合において、1つの作業機械から機械情報信号を受信したときには、端末操作信号及び機械情報信号に基づき、クライアントの加速度が所定状態に変化した時点におけるクライアントの位置を基準とする指定エリアが、時点におけるクライアントの加速度及びクライアントの方位角に応じて偏向的な延在態様のエリアとして画定される。そして、第4判定処理において、時点における1つの作業機械の位置が指定エリアに含まれているか否かが判定され、第4判定処理の判定結果が肯定である場合、第2支援処理において、端末操作信号が1つの作業機械の停止を要求するユーザの操作状態を表しているとして、停止指令信号が1つの作業機械に送信される。このように、クライアントの加速度情報、角度情報及び端末位置情報と、作業機械の位置情報とに基づいて、ユーザによるクライアントの操作が、1つの作業機械の停止を要求する操作状態であるか否かを適切に判定することができる。それにより、ユーザが強制的に停止したい作業機械の方に向けてクライアントを振るという動作を実行するだけで、作業機械を強制的に停止することができ、利便性をより向上させることができる。
請求項8に係る発明は、請求項1ないし5のいずれかに記載の遠隔操作支援装置において、クライアントは、クライアントの加速度を表す情報である加速度情報を取得する加速度情報取得部と、クライアントの角度を表す情報である角度情報を取得する角度情報取得部と、クライアントの位置を表す情報である端末位置情報を取得する端末位置情報取得部と、を有し、端末操作信号として、加速度情報、角度情報及び端末位置情報を含む信号を送信し、作業機械は、作業機械の位置を表す情報である機械位置情報を取得する機械位置情報取得部を有し、機械位置情報を含む機械位置情報信号を送信し、第2支援処理要素は、クライアントから端末操作信号を受信した場合、クライアントが1つの作業機械を含む複数の作業機械の周辺領域に存在しているか否かを判定する第5判定処理と、第5判定処理の判定結果が肯定である場合において、複数の作業機械から機械位置情報信号を受信したときには、端末操作信号及び機械位置情報信号に基づき、クライアントの加速度が所定状態に変化した時点におけるクライアントの位置を基準とする指定エリアを、時点におけるクライアントの加速度が第1しきい値以上で第1しきい値よりも大きい第2しきい値未満のときには、クライアントが存在する位置を基準としてクライアントが向けられていた方向に偏向的に延在する第1指定エリアとして画定するとともに、時点におけるクライアントの加速度が第2しきい値以上のときには、クライアントが存在する位置を基準としてクライアントが向けられていた方向に第1指定エリアよりも広く偏向的に延在する第2指定エリアを指定エリアとして画定する画定処理と、時点における複数の作業機の少なくとも1つの位置が指定エリアに含まれているか否かを判定する第6判定処理と、をさらに実行し、第6判定処理の判定結果が肯定である場合、第2支援処理において、端末操作信号が少なくとも1つの作業機械の停止を要求するユーザの操作状態を表しているとして、停止指令信号を少なくとも1つの作業機械に送信することを特徴とする。
この遠隔操作支援装置によれば、第2支援処理要素の第5判定処理において、クライアントから端末操作信号を受信した場合、クライアントが1つの作業機械を含む複数の作業機械の周辺領域に存在しているか否かが判定される。そして、画定処理では、第5判定処理の判定結果が肯定である場合において、複数の作業機械から機械情報信号を受信したときには、端末操作信号及び機械情報信号に基づき、クライアントの加速度が所定状態に変化した時点におけるクライアントの位置を基準とする指定エリアが、時点におけるクライアントの加速度が第1しきい値以上で第1しきい値よりも大きい第2しきい値未満のときには、クライアントが存在する位置を基準としてクライアントが向けられていた方向に偏向的に延在する第1指定エリアとして画定されるとともに、時点におけるクライアントの加速度が第2しきい値以上のときには、クライアントが存在する位置を基準としてクライアントが向けられていた方向に第1指定エリアよりも広く偏向的に延在する第2指定エリアを指定エリアとして画定される。さらに、第6判定処理において、複数の作業機の少なくとも1つの位置が指定エリアに含まれているか否かが判定され、第6判定処理の判定結果が肯定である場合、第2支援処理において、端末操作信号が少なくとも1つの作業機械の停止を要求するユーザの操作状態を表しているとして、停止指令信号が少なくとも1つの作業機械に送信される。
このように、クライアントのユーザが1つの作業機械を含む複数の作業機械の周辺領域に存在している場合には、指定エリア内に存在する少なくとも1つの作業機械を強制的に停止することができる。さらに、この場合の指定エリアとしては、クライアントの加速度が第1しきい値以上で第1しきい値よりも大きい第2しきい値未満のときには、クライアントが存在する位置を基準としてクライアントが向けられていた方向に偏向的に延在する第1指定エリアに画定されるとともに、クライアントの加速度が第2しきい値以上のときには、クライアントが存在する位置を基準としてクライアントが向けられていた方向に第1指定エリアよりも広く偏向的に延在する第2指定エリアに画定される。すなわち、ユーザは、クライアントを振るときの加速度を変更することで、指定エリアの広さを変更でき、それにより、ユーザが強制的に停止したい作業機械の数を変更することができる。その結果、利便性をより一層、向上させることができる。
請求項9に係る発明は、請求項1ないし5のいずれかに記載の遠隔操作支援装置において、クライアントは、クライアントの加速度を表す情報である加速度情報を取得する加速度情報取得部と、クライアントの角度を表す情報である角度情報を取得する角度情報取得部と、クライアントの位置を表す情報である端末位置情報を取得する端末位置情報取得部と、を有し、端末操作信号として、加速度情報、角度情報及び端末位置情報を含む信号を送信し、作業機械は、作業機械の位置を表す情報である機械位置情報を取得する機械位置情報取得部を有し、機械位置情報を含む機械位置情報信号を送信し、第2支援処理要素は、クライアントから端末操作信号を受信した場合、クライアントが1つの作業機械を含む複数の作業機械の周辺領域に存在しているか否かを判定する第7判定処理と、第7判定処理の判定結果が肯定である場合において、複数の作業機械から機械位置情報信号を受信したときには、端末操作信号及び機械位置情報信号に基づき、クライアントの加速度が所定状態に変化した時点におけるクライアントの位置と複数の作業機械のうちのクライアントに最も近い作業機械の位置とを基準として、指定エリアを時点におけるクライアントの位置から偏向的に延在するエリアとして画定する画定処理と、時点におけるクライアントが指定エリアに向けられているときには、端末操作信号がクライアントに最も近い作業機械の停止を要求するユーザの操作状態を表していると判定し、時点におけるクライアントが指定エリア外に向けられているときには、端末操作信号がクライアントに最も近い作業機械以外の作業機械の停止を要求するユーザの操作状態を表していると判定する第8判定処理と、を実行し、第2支援処理において、第8判定処理の判定結果に基づき、端末操作信号がクライアントに最も近い作業機械の停止を要求するユーザの操作状態を表しているときには、停止指令信号をクライアントに最も近い作業機械に送信し、端末操作信号がクライアントに最も近い作業機械以外の作業機械の停止を要求するユーザの操作状態を表しているときには、停止指令信号をクライアントに最も近い作業機械以外の作業機械に送信することを特徴とする。
この遠隔操作支援装置によれば、第2支援処理要素の第7判定処理において、クライアントから端末操作信号を受信した場合、クライアントが1つの作業機械を含む複数の作業機械の周辺領域に存在しているか否かが判定される。次いで、画定処理では、第7判定処理の判定結果が肯定である場合において、複数の作業機械から機械情報信号を受信したときには、端末操作信号及び機械情報信号に基づき、クライアントの加速度が所定状態に変化した時点におけるクライアントの位置と複数の作業機械のうちのクライアントに最も近い作業機械の位置とを基準として、指定エリアを時点におけるクライアントの位置から偏向的に延在するエリアとして画定される。さらに、第8判定処理では、時点におけるクライアントが指定エリアに向けられているときには、端末操作信号がクライアントに最も近い作業機械の停止を要求するユーザの操作状態を表していると判定され、時点におけるクライアントが指定エリア外に向けられているときには、端末操作信号がクライアントに最も近い作業機械以外の作業機械の停止を要求するユーザの操作状態を表していると判定される。そして、第2支援処理において、第8判定処理の判定結果に基づき、端末操作信号がクライアントに最も近い作業機械の停止を要求するユーザの操作状態を表しているときには、停止指令信号がクライアントに最も近い作業機械に送信され、端末操作信号がクライアントに最も近い作業機械以外の作業機械の停止を要求するユーザの操作状態を表しているときには、停止指令信号がクライアントに最も近い作業機械以外の作業機械に送信される。
このように、クライアントの加速度が所定状態に変化した時点におけるクライアントが指定エリアに向けられているか否かに応じて、クライアントに最も近い作業機械又はそれ以外の作業機械を停止することができるので、ユーザは、クライアントの加速度を所定状態に変化させながらクライアントをクライアントに最も近い作業機械側に向けるか、それ以外の方向に向けるかによって、強制的に停止させる作業機械を選択することができる。その結果、利便性をより一層、向上させることができる。
請求項10に係る遠隔操作支援システムは、請求項1~9のいずれかに記載の遠隔操作支援装置と、遠隔操作装置と、クライアントと、複数の作業機械と、を備えることを特徴とする。
請求項11に係る発明は、オペレータによる遠隔操作装置の操作に応じて選択的に遠隔操作される複数の作業機械の遠隔操作を遠隔操作支援装置によって支援するための遠隔操作支援方法であって、遠隔操作支援装置は、オペレータによる遠隔操作装置の操作状態を表す遠隔操作信号を遠隔操作装置から受信した際、遠隔操作信号に対応する複数の作業機械の1つに送信する第1支援処理を実行し、ユーザによるクライアントの操作状態を表す端末操作信号を受信した際、クライアントが1つの作業機械の周辺領域に存在している場合において、端末操作信号が1つの作業機械の停止を要求するユーザの操作状態を表しているときには、遠隔操作信号の受信の有無とは無関係に1つの作業機械を停止させるための停止指令信号を1つの作業機械に送信する第2支援処理を実行することを特徴とする。
以下、図面を参照しながら、本発明の一実施形態に係る遠隔操作支援装置及び遠隔操作支援システムについて説明する。図1に示すように、本実施形態の遠隔操作支援システム1は、遠隔操作支援装置としての遠隔操作支援サーバ10と、遠隔操作装置20による遠隔操作対象となる複数の作業機械40(2つのみ図示)と、複数のクライアント60(1つのみ図示)などで構成されている。
遠隔操作支援サーバ10、遠隔操作装置20、複数の作業機械40及び複数のクライアント60は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ10及び遠隔操作装置20の相互通信ネットワークと、遠隔操作支援サーバ10及び作業機械40の相互通信ネットワークと、は同一であってもよく相違していてもよい。
遠隔操作支援サーバ10は、データベース102と、第1支援処理要素103と、第2支援処理要素104と、サーバ無線通信機器105などを備えている。データベース102は、作業機械40の稼働スケジュールを記憶保持する。データベース102は、稼働スケジュールのほかに、例えば撮像画像データ等を記憶保持してもよい。
データベース102は、遠隔操作支援サーバ10とは別個のデータベースサーバにより構成されていてもよい。2つの支援処理要素103,104は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行するとともに、後述する制御処理などを実行する。
この遠隔操作支援サーバ10では、サーバ無線通信機器105により、ネットワークを介して、遠隔操作装置20の後述する遠隔無線通信機器222、作業機械40の実機無線通信装置422及びクライアント6の出力インターフェース611との間で無線通信が実行される。
遠隔操作装置20は、遠隔制御装置200と、遠隔入力インターフェース210と、遠隔出力インターフェース220と、を備えている。遠隔制御装置200は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行するとともに、後述する制御処理などを実行する。
遠隔入力インターフェース210は、遠隔操作機構211を備えている。遠隔出力インターフェース220は、画像出力装置221と、遠隔無線通信機器222と、図示しないスピーカなどを備えている。なお、本実施形態では、遠隔出力インターフェース220が第1出力インターフェース及び第2出力インターフェースに相当する。
遠隔操作機構211には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置などが含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー(走行レバー)は、作業機械40の下部走行体410を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。
旋回用操作装置の操作レバー(旋回レバー)は、作業機械40の旋回機構430を動かすために操作される。ブーム用操作装置の操作レバー(ブームレバー)は、作業機械40のブームシリンダ442を動かすために操作される。アーム用操作装置の操作レバー(アームレバー)は作業機械40のアームシリンダ444を動かすために操作される。バケット用操作装置の操作レバー(バケットレバー)は作業機械40のバケットシリンダ446を動かすために操作される。
遠隔操作機構211を構成する各操作レバーは、例えば、図2に示すように、オペレータが着座するためのシートStの周囲に配置されている。シートStは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。
シートStの前方に左右のクローラに応じた左右一対の走行レバー2110が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図2に示されているシートStの左側フレームの前方に設けられている左側操作レバー2111が、前後方向に操作された場合アームレバーとして機能し、かつ、左右方向に操作された場合旋回レバーとして機能してもよい。同様に、図2に示されているシートStの右側フレームの前方に設けられている右側操作レバー2112が、前後方向に操作された場合ブームレバーとして機能し、かつ、左右方向に操作された場合バケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
シートStの左側フレームの前方において左側操作レバー2111の下方に設けられている遮断レバー2113は、上げられた場合には各レバー2110、2111、2112が操作されても作業機械40が動かないようにロックする一方、下げられた場合には当該ロックを解除するための操作レバーとして機能する。
画像出力装置221は、例えば図2に示すように、シートStの前方、左斜め前方及び右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置2210、左側画像出力装置2211及び右側画像出力装置2212により構成されている。中央画像出力装置2210、左側画像出力装置2211及び右側画像出力装置2212のそれぞれの画面(画像表示領域)の形状及びサイズは同じであってもよく相違していてもよい。
図2に示すように、中央画像出力装置2210の画面及び左側画像出力装置2211の画面が傾斜角度θ1(例えば、120°≦θ1≦150°)をなすように、左側画像出力装置2211の右縁が、中央画像出力装置2210の左縁に隣接している。図2に示すように、中央画像出力装置2210の画面及び右側画像出力装置2212の画面が傾斜角度θ2(例えば、120°≦θ2≦150°)をなすように、右側画像出力装置2212の左縁が、中央画像出力装置2210の右縁に隣接している。当該傾斜角度θ1及びθ2は同じであっても相違していてもよい。
中央画像出力装置2210、左側画像出力装置2211及び右側画像出力装置2212のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置2210、左側画像出力装置2211及び右側画像出力装置2212のうち少なくとも1つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置2210が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。
図1に示すように、作業機械40は、実機制御装置400と、実機入力インターフェース41と、実機出力インターフェース42と、作動機構440と、外部出力装置460などを備えている。実機制御装置400は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行するとともに、後述する制御処理などを実行する。なお、本実施形態では、実機制御装置400が制御部に相当する。
作業機械40は、クローラショベルタイプの建設機械であり、図3に示すように、クローラ式の下部走行体410と、下部走行体410に旋回機構430を介して旋回可能に搭載されている上部旋回体420と、動力源としての内燃機関(図示せず)などを備えている。上部旋回体420の前方左側部にはキャブ424(運転室)が設けられている。上部旋回体420の前方中央部には作業アタッチメント440が設けられている。
実機入力インターフェース41は、実機操作機構411と、撮像装置412と、測位装置414と、を備えている。実機操作機構411は、キャブ424の内部に配置されたシートの周囲に遠隔操作機構211と同様に配置された複数の実機操作レバーを備えている。遠隔操作機構211の操作態様に応じた信号を受信し、当該受信信号に基づいて当該実機操作レバーを動かす駆動機構またはロボットがキャブ424に設けられている。
撮像装置412は、例えばキャブ424の内部に設置され、フロントウィンドウ及び左右一対のサイドウィンドウ越しに作動機構440の少なくとも一部を含む環境を撮像する。フロントウィンドウ及びサイドウィンドウのうち一部または全部が省略されていてもよい。
測位装置414は、作業機械40の存在位置(以下「機械位置」という)を検出するためのGNSS受信機(GNSS:Global Navigation Satellite System)により構成されている。なお、本実施形態では、測位装置414が機械位置情報取得部に相当する。
実機出力インターフェース42は、遠隔操作支援サーバ10、遠隔操作装置20及びクライアント60と無線通信を実行するための実機無線通信機器422を備えている。
作動機構としての作業アタッチメント440は、上部旋回体420に起伏可能に装着されているブーム441と、ブーム441の先端に回動可能に連結されているアーム443と、アーム443の先端に回動可能に連結されているバケット445と、を備えている。作業アタッチメント440には、伸縮可能な油圧シリンダにより構成されているブームシリンダ442、アームシリンダ444及びバケットシリンダ446が装着されている。
ブームシリンダ442は、作動油の供給を受けることにより伸縮してブーム441を起伏方向に回動させるように当該ブーム441と上部旋回体420との間に介在する。アームシリンダ444は、作動油の供給を受けることにより伸縮してアーム443をブーム441に対して水平軸回りに回動させるように当該アーム443と当該ブーム441との間に介在する。バケットシリンダ446は、作動油の供給を受けることにより伸縮してバケット445をアーム443に対して水平軸回りに回動させるように当該バケット445と当該アーム443との間に介在する。
また、外部出力装置460は、パトランプ及びホーンなどで構成されている(いずれも図示せず)。パトランプは、作業機械40の運転状態及び動作状態などを作業機械40の周辺の作業者などに報知するためのものであり、赤色、黄色及び青色の3色のパトランプがキャブ424の上表面に配置されている。
具体的には、青色パトランプは、遠隔操作対象として作業機械40が選択されたとき、及び作業機械40の内燃機関が始動されるときなどに点灯され、黄色パトランプは、作業機械40が通常の遠隔操作によって運転されているときに点灯される。また、赤色パトランプは、後述するように、作業機械40が強制的に停止されているときに点灯される。さらに、ホーンでは、作業機械40の遠隔操作の開始時、それを表す操作開始音が手動(オペレータによる操作)又は自動で出力される。
クライアント60は、スマートフォン、タブレット端末またはパーソナルコンピュータなどの端末装置であり、制御装置600と、入力インターフェース610と、出力インターフェース611と、慣性計測装置(IMU:Inertial Measurement Unit)612と、測位装置614などを備えている。
制御装置600は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行するとともに、後述する制御処理などを実行する。
入力インターフェース610は、タッチパネル方式のボタン及びスイッチなどにより構成されており、ボタンとして、作業機械40を強制的に停止させるための停止ボタンと、作業機械40の強制停止状態を解除するための停止解除ボタンなどを備えている。また、出力インターフェース611は、画像出力装置及び無線通信機器などを備えている。
また、慣性計測装置612は、クライアント60の3次元直交座標系(地球座標系)の角速度及び加速度を計測するものであり、測位装置614は、測位装置414と同様に、GNSS受信機によって構成されている。なお、本実施形態では、慣性計測装置612が加速度情報取得部及び角度情報取得部に相当し、測位装置614が端末位置情報取得部に相当する。
制御装置600は、慣性計測装置612及び測位装置614の計測結果に基づき、クライアント60の存在位置(以下「端末位置」という)、3軸周りの角度及び3軸方向の加速度を取得する。この場合、3次元直交座標系の3軸として、クライアント60の長手方向、短手方向及び厚さ方向に延びる軸が用いられる。
次に、図4~16を参照しながら、本実施形態の遠隔操作支援システム1による作業機械40の遠隔操作制御処理について説明する。まず、図4を参照しながら、通常時の遠隔操作制御処理について説明する。この通常時の遠隔操作制御処理は、オペレータが遠隔操作装置20を操作することによって、作業機械40の動作を遠隔操作するためのものである。なお、図4は、作業機械40及びクライアント60を1つずつ図示した例であるが、本実施形態の遠隔操作支援システム1は、複数の作業機械40及び複数のクライアント60を備えたものとして構成することが可能である。
同図に示すように、まず、遠隔操作装置20において、装置操作取得処理が実行される(図4/STEP1)。この装置操作取得処理は、オペレータによる遠隔操作機構211の操作情報を取得するものであり、具体的には、遠隔操作装置20により、所定の制御周期で図5に示すように実行される。
同図に示すように、まず、遠隔操作装置20による遠隔操作対象としての作業機械40を選択済みであるか否かが判定される(図5/STEP10)。この判定が否定(図5/STEP10…NO)で、作業機械40を選択済みでないときには、作業機械40の選択操作を実施したか否かが判定される(図5/STEP11)。この判定が否定(図5/STEP11…NO)のときには、本処理は終了する。
一方、この判定が肯定(図5/STEP11…YES)で、作業機械40の選択操作が実施されたとき、又は、前述した判定が肯定(図5/STEP10…YES)で、前回以前の制御タイミングにおいて作業機械40を選択済みであったときには、遠隔操作が実施されているか否かが判定される(図5/STEP12)。この場合、具体的には、オペレータによって遠隔操作機構211が操作されているときには、遠隔操作が実施されていると判定され、それ以外のときには、遠隔操作が実施されていないと判定される。
この判定は、例えば、遮断レバー2113の上げ下げにより判定することができる。遮断レバー2113が下げられているときには、各操作レバー2110、2111、2112のロックが解除されているので、肯定(図5/STEP12…YES)と判定され、遮断レバー2113が上げられている場合には否定(図5/STEP12…NO)と判定される。
この判定が否定(図5/STEP12…NO)のときには、本処理は終了する。一方、この判定が肯定(図5/STEP12…YES)で、遠隔操作が実施されているときには、その操作情報を含む遠隔操作信号を遠隔操作支援サーバ10に出力して(図5/STEP13)、本処理は終了する。
この操作情報には、遠隔操作対象としての作業機械40の選択操作及び作業機械40の内燃機関の始動操作などの情報に加えて、遠隔操作対象として選択された作業機械40のID情報と、遠隔操作信号を出力した遠隔操作装置20のID情報などが含まれる。なお、以下の説明では、遠隔操作対象として選択された作業機械40を適宜、「対象機械40」といい、遠隔操作信号を出力した遠隔操作装置20を適宜、「対象装置20」という。
図4に戻り、遠隔操作装置20において、装置操作取得処理(図4/STEP1)が以上のように実行されるのに伴い、遠隔操作信号が遠隔操作装置20から遠隔操作支援サーバ10に送信されると、遠隔操作支援サーバ10において、第1遠隔制御処理が実行される(図4/STEP2)。なお、本実施形態では、第1遠隔制御処理が第1支援処理に相当する。
この第1遠隔制御処理は、遠隔操作装置20からの遠隔操作信号を対象機械40に送信するものであり、具体的には、遠隔操作支援サーバ10により、所定の制御周期で図6に示すように実行される。
同図に示すように、まず、遠隔操作信号を受信したか否かが判定される(図6/STEP20)。この判定が否定(図6/STEP20…NO)のときには、本処理は終了する。一方、この判定が肯定(図6/STEP20…YES)で、遠隔操作信号を受信したときには、遠隔操作信号に含まれる対象機械40のID情報が読み込まれる(図6/STEP21)。
次いで、遠隔操作信号を、読み込んだID情報に対応する対象機械40に出力して(図6/STEP22)、本処理は終了する。以上の第1遠隔制御処理は、複数の遠隔操作信号を複数の遠隔操作装置20からそれぞれ受信したときにも同様に実行される。
図4に戻り、遠隔操作支援サーバ10において、第1遠隔制御処理(図4/STEP2)が以上のように実行されるのに伴い、遠隔操作信号が遠隔操作支援サーバ10から対象機械40に送信されると、対象機械40において、通常時制御処理が実行される(図4/STEP3)。
この通常時制御処理は、遠隔操作支援サーバ10からの遠隔操作信号に基づいて、対象機械40の動作を制御するものであり、具体的には、対象機械40の実機制御装置400により、所定の制御周期で図7に示すように実行される。
同図に示すように、まず、遠隔操作信号を受信したか否かが判定される(図7/STEP30)。この判定が否定(図7/STEP30…NO)のときには、本処理は終了する。一方、この判定が肯定(図7/STEP30…YES)で、遠隔操作信号を受信したときには、通常時機器制御処理が実行される(図7/STEP31)。
この通常時機器制御処理では、遠隔操作信号に含まれる操作情報に基づき、各種の機器が制御される。例えば、操作情報が対象機械40の選択操作であった場合には、対象機械40が遠隔操作対象として選択されたことを対象機械40周辺の作業者などに報知するために、外部出力装置460の青色パトランプが点灯される。
また、操作情報が対象機械40の内燃機関の始動操作であった場合には、内燃機関の始動制御が実行されるとともに、内燃機関が始動されることを対象機械40周辺の作業者などに報知するために、外部出力装置460の青色パトランプが点灯される。
さらに、操作情報が対象機械40における作業アタッチメント440の操作であった場合には、作業アタッチメント440の動作制御が実行されるとともに、それを対象機械40周辺の作業者などに報知するために、外部出力装置460の黄色パトランプが点灯される。
次いで、機械情報が取得される(図7/STEP32)。この場合、機械情報としては、対象機械40の動作情報、機械位置情報、撮像装置412によって撮像された周辺環境の画像情報、及び、対象装置20のID情報などが含まれる。
次に、この機械情報を含む機械情報信号を遠隔操作支援サーバ10に出力して(図7/STEP33)、本処理は終了する。以上の通常時制御処理は、複数の対象機械40がそれぞれ複数の遠隔操作信号を遠隔操作支援サーバ10から受信したときにも、複数の対象機械40の各々において同様に実行される。
図4に戻り、対象機械40において、通常時制御処理(図4/STEP3)が以上のように実行されるのに伴い、機械情報信号が対象機械40から遠隔操作支援サーバ10に送信されると、遠隔操作支援サーバ10において、第1情報制御処理が実行される(図4/STEP4)。
この第1情報制御処理は、対象機械40からの機械情報信号を対象装置20に送信するものであり、具体的には、遠隔操作支援サーバ10により、所定の制御周期で図8に示すように実行される。
同図に示すように、まず、機械情報信号を受信したか否かが判定される(図8/STEP40)。この判定が否定(図8/STEP40…NO)のときには、本処理は終了する。一方、この判定が肯定(図8/STEP40…YES)で、機械情報信号を受信したときには、機械情報信号に含まれる対象装置20のID情報が読み込まれる(図8/STEP41)。
次いで、機械情報信号を、読み込んだID情報に対応する対象装置20に出力して(図8/STEP42)、本処理は終了する。以上の第1遠隔制御処理は、複数の機械情報信号を複数の対象機械40からそれぞれ受信したときにも同様に実行される。
図4に戻り、遠隔操作支援サーバ10において、第1情報制御処理(図4/STEP4)が以上のように実行されるのに伴い、機械情報信号が遠隔操作支援サーバ10から対象装置20に送信されると、対象装置20において、機械情報出力処理が実行される(図4/STEP5)。
この機械情報出力処理では、図示しないが、対象装置20において、機械情報信号に含まれる対象機械40の環境画像が画像出力装置221から出力(表示)されるとともに、対象機械40の動作状態を示すデータが表示される。それにより、オペレータは、これらの情報に基づき、対象機械40の周辺環境及び動作状態を適切に把握しながら対象機械40を遠隔操作することができる。以上のように、遠隔操作支援システム1では、通常時の遠隔操作制御処理が実行される。
次に、図9を参照しながら、強制停止時の遠隔操作制御処理について説明する。この強制停止時の遠隔制御処理は、作業機械40の周辺領域に存在する作業者がクライアント60を操作することによって、作業機械40が運転中であっても作業機械40を強制的に停止するためのものである。なお、以下の説明では、作業者を適宜、「ユーザ」という。
同図に示すように、遠隔操作装置20において、前述した図4のSTEP1と同様に、装置操作取得処理(図9/STEP50)が実行されるのに伴い、遠隔操作信号が遠隔操作装置20から遠隔操作支援サーバ10に送信される。
一方、各クライアント60において、以下に述べるように、停止操作判定処理が実行される(図9/STEP51)。この停止操作判定処理は、ユーザが作業機械40の周辺領域に存在する場合において、ユーザのクライアント60の操作により、作業機械40を強制的に停止する停止操作が実行されたか否かが判定されるものであり、後述する停止操作信号を出力済みでないときに実行される。
この停止操作判定処理は、具体的には、クライアント60により、所定の制御周期で図10に示すように実行される。同図に示すように、まず、各種パラメータが取得される(図10/STEP60)。具体的には、各種パラメータとして、端末位置、3軸周りの角度及び3軸方向の加速度などが取得される。
次いで、入力インターフェース610のボタン及びスイッチなどの各種操作状態が取得される(図10/STEP61)。
次いで、ユーザにより停止操作が実行されたか否かが判定される(図10/STEP62)。具体的には、下記の条件(f1)~(f3)がいずれも成立しているときには、ユーザにより停止操作が実行されたと判定され、それ以外のときには停止操作が実行されていないと判定される。
(f1)入力インターフェース610において、前述した停止ボタンが押下されたこと。
(f2)前回の制御タイミングと今回の制御タイミングとの間において、クライアント60の長手方向の加速度(以下「端末加速度」という)αの増大量が所定値以上であること。
(f3)前回の制御タイミングと今回の制御タイミングとの間におけるクライアント60の移動軌跡を所定の鉛直面上に投影した際に、クライアント60の長手方向の基準軸線の(世界座標における)方位角の変化量が所定値以上であること。
(f2)前回の制御タイミングと今回の制御タイミングとの間において、クライアント60の長手方向の加速度(以下「端末加速度」という)αの増大量が所定値以上であること。
(f3)前回の制御タイミングと今回の制御タイミングとの間におけるクライアント60の移動軌跡を所定の鉛直面上に投影した際に、クライアント60の長手方向の基準軸線の(世界座標における)方位角の変化量が所定値以上であること。
この場合、上記条件(f2)に代えて、所定回数の制御処理が実行された場合において、端末加速度αの増大量の平均値を算出し、この平均値が所定値以上であることを条件として用いてもよい。
この判定が否定(図10/STEP62…NO)のときには、本処理は終了する。一方、この判定が肯定(図10/STEP62…YES)で、ユーザにより停止操作が実行されたときには、停止操作信号を遠隔操作支援サーバ10に出力して(図10/STEP63)、本処理は終了する。この停止操作信号は、停止情報を含むものであり、この場合、停止情報としては、ユーザによる停止操作が実行されたことに加えて、上述した各種パラメータ(端末加速度α及び端末位置など)の情報が含まれる。なお、本実施形態では、停止操作信号が端末操作信号に相当する。
以上の停止操作判定処理は、複数のクライアント60が作業機械40の周辺領域に存在する場合には、複数のクライアント60の各々において実行される。
図9に戻り、クライアント60において以上のように停止操作判定処理が実行されるのに伴い、停止操作信号が遠隔操作支援サーバ10に送信されると、遠隔操作支援サーバ10において、第2遠隔制御処理が実行される(図9/STEP52)。
この第2遠隔制御処理は、ユーザが強制的に停止しようとしている作業機械40に対して停止時制御信号を送信するものであり、具体的には、遠隔操作支援サーバ10により、所定の制御周期で図11に示すように実行される。
同図に示すように、まず、停止操作信号をクライアント60から受信したか否かが判定される(図11/STEP70)。この判定が否定(図11/STEP70…NO)のときには、本処理は終了する。一方、この判定が肯定(図11/STEP70…YES)で、停止操作信号をクライアント60から受信したときには、クライアント60が作業機械40の周辺領域に存在しているか否かが判定される(図11/STEP71)。
この場合、停止操作信号を発信したクライアント60と1台以上の作業機械40が無線通信用の中継アンテナを共用しているときには、クライアント60が作業機械40の周辺領域に存在していると判定され、それ以外のときには、クライアント60が作業機械40の周辺領域に存在していないと判定される。
中継アンテナは、サーバ無線通信機器105及び遠隔操作装置20の遠隔無線通信機器222と有線又は無線による通信可能なものとされ、さらに作業機械40の実機無線通信装置422やクライアント6の出力インターフェース611との間で無線通信可能なネットワークを構成するものであって、作業機械40が稼働する作業領域および業領域周辺に複数設置される。なお、前述した端末位置情報及び前述した機械位置情報に基づいて、この判定を実行してもよい。
この判定が否定(図11/STEP71…NO)のときには、本処理は終了する。一方、この判定が肯定(図11/STEP71…YES)で、クライアント60が作業機械40の周辺領域に存在しているときには、その作業機械40から遠隔操作信号を受信したか否かが判定される(図11/STEP72)。
この判定が肯定(図11/STEP72…YES)のときには、遠隔操作信号に含まれる操作情報が取得される(図11/STEP73)。このように操作情報を取得したとき、又は前述した判定が否定(図11/STEP72…NO)で、作業機械40から遠隔操作信号を受信していないときには、これらに続けて、停止対象決定処理が実行される(図11/STEP74)。
この停止対象決定処理は、クライアント60が作業機械40の周辺領域に存在している場合において、強制的に停止する作業機械40(以下「停止対象40」という)を決定するものであり、具体的には、図12に示すように実行される。なお、以下の説明では、クライアント60が作業機械40の周辺領域に存在していることを、「クライアント60の近傍に作業機械40が存在する」という。
同図に示すように、まず、停止操作信号に含まれる停止操作情報を読み込む(図12/STEP90)。次いで、停止操作情報に含まれる端末加速度αが第1しきい値α1以上であるか否かが判定される(図12/STEP91)。この第1しきい値α1は、比較的、小さい所定の正値に設定される。この判定が否定(図12/STEP91…NO)のときには、本処理は終了する。
一方、この判定が肯定(図12/STEP91…YES)で、α≧α1が成立しているときには、クライアント60の近傍に1台の作業機械40が存在しているか否かが判定される(図12/STEP92)。この判定が肯定(図12/STEP92…YES)のときには、指定エリアとして、第1指定エリアが画定される(図12/STEP93)。
この第1指定エリアは、図14に破線で示すように、第1指定エリアを平面視した場合、クライアント60の位置を基準とし、クライアント60の長手方向の中心線Lxに対して対称な二等辺三角形のエリア(点描で示すエリア)として画定される。なお、図14では、理解の容易化のために、クライアント60の位置がクライアント60の長手方向の中心位置よりも前側の位置に示されている。この点は、後述する図18においても同様である。
次いで、作業機械40が第1指定エリア内に存在しているか否かが判定される(図12/STEP94)。この判定が否定(図12/STEP94…NO)のときには、停止対象となる作業機械40が存在しないとして、本処理は終了する。
一方、この判定が肯定(図12/STEP94…YES)のときには、第1指定エリア内に存在する作業機械40を停止対象40に決定して(図12/STEP95)、本処理は終了する。例えば、図14に示すように、作業機械40Aが第1指定エリア内に存在している場合には、この作業機械40Aが停止対象40として決定される。なお、クライアント60の近傍に1台の作業機械40のみが存在している場合には、これが第1指定エリア内に存在するか否かとは無関係に、この1台の作業機械40を停止対象40として決定するように構成してもよい。
一方、上述した判定が否定(図12/STEP92…NO)のときには、クライアント60の近傍に3台以下の作業機械40が存在しているか否かが判定される(図12/STEP96)。この場合、作業機械40の台数を、3台以下に代えて2台以下を条件として判定を実行するように構成してもよい。
この判定が肯定(図12/STEP96…YES)で、クライアント60の近傍に3台以下の作業機械40が存在しているときには、端末加速度αが第2しきい値α2以上であるか否かが判定される(図12/STEP97)。この第2しきい値α2は、α2>α1が成立する所定値に設定される。
この判定が否定(図12/STEP97…NO)で、α1≦α<α2が成立しているときには、上述したように、第1指定エリアを画定し、作業機械40が第1指定エリア内に存在しているか否かが判定されるとともに、第1指定エリア内に存在する作業機械40を停止対象40に決定して(図12/STEP93~95)、本処理は終了する。
一方、上記の判定が肯定(図12/STEP97…YES)で、α≧α2が成立しているときには、指定エリアとして、第2指定エリアが画定される(図12/STEP98)。この第2指定エリアは、例えば、図14に破線で示すように、第2指定エリアを平面視した場合、クライアント60の位置を基準とし、クライアント60の長手方向の中心線Lyに対して対称な二等辺三角形のエリアであって、第1指定エリアと比べて、頂角がより大きくかつ高さがより大きいエリアすなわち面積のより広いエリアとして画定される。なお、図14の第2指定エリア及び中心線Lyは、クライアント60の方位角が図中のクライアント60の方位角よりも上側に若干、傾斜している状態を想定したものである。
次いで、作業機械40が第2指定エリア内に存在しているか否かが判定される(図12/STEP99)。この判定が否定(図12/STEP99…NO)のときには、停止対象となる作業機械40が存在しないとして、本処理は終了する。
一方、この判定が肯定(図12/STEP99…YES)のときには、第2指定エリア内に存在する作業機械40を停止対象40に決定して(図12/STEP100)、本処理は終了する。例えば、図14に示すように、作業機械40A,40Bが第2指定エリア内に存在している場合には、これらの作業機械40A,40Bが停止対象40A,40Bとして決定される。
一方、前述した判定が否定(図12/STEP96…NO)で、クライアント60の近傍に4台以上の作業機械40が存在しているときには、全作業機械40を停止対象40に決定して(図12/STEP101)、本処理は終了する。例えば、図15に示すように、クライアント60の近傍に4台の作業機械40A~40Dが存在している場合には、これらの作業機械40A~40Dが停止対象40A~40Dとして決定される。また、図15に示す作業機械40Eがクライアント60の近傍に存在していない場合、すなわち作業機械40Eがクライアント60と中継アンテナを共用していない場合には、作業機械40Eは停止対象とされない。
図11に戻り、停止対象決定処理(図11/STEP74)を以上のように実行した後、遠隔操作信号の操作情報に基づき、上記のように決定された停止対象40において、オペレータからの始動要求がある停止対象40が存在しているか否かが判定される(図11/STEP75)。この始動要求は、具体的には、停止対象40の内燃機関の始動を要求するものである。
この判定が肯定(図11/STEP75…YES)で、オペレータからの始動要求がある停止対象40が存在しているときには、その停止対象40に対して、始動要求を含む停止時制御信号が出力される(図11/STEP76)。なお、本実施形態では、停止時制御信号が停止指令信号に相当する。
このように始動要求を含む停止時制御信号が出力されたとき、又は上述した判定が否定(図11/STEP75…NO)のときには、遠隔操作信号の操作情報に基づき、上記のように決定された停止対象40において、オペレータからの始動要求のない停止対象40が存在しているか否かが判定される(図11/STEP77)。
この判定が肯定(図11/STEP77…YES)で、オペレータからの始動要求のない停止対象40が存在しているときには、その停止対象40に対して、始動要求を含まない停止時制御信号が出力される(図11/STEP78)。
このように始動要求を含まない停止時制御信号が出力されたとき、又は上述した判定が否定(図11/STEP77…NO)のときには、停止対象40を遠隔操作中の遠隔操作装置20に対して、停止情報信号を出力して(図11/STEP79)、本処理は終了する。
以上の第2遠隔制御処理は、複数のクライアント60から停止操作信号を受信した場合にも同様に実行される。
図9に戻り、遠隔操作支援サーバ10において、以上のように第2遠隔制御処理が実行されるのに伴い、停止情報信号が遠隔操作装置20に対して送信されると、遠隔操作装置20において、停止情報出力処理が実行される(図9/STEP53)。この停止情報出力処理では、遠隔操作中の作業機械40が強制的に停止されていることを表す文字情報及び音声情報が、画像出力装置221及びスピーカからそれぞれ出力される。それにより、オペレータは、遠隔操作中の作業機械40が強制的に停止されていることを確実に認識することができる。
また、遠隔操作支援サーバ10において、以上のように第2遠隔制御処理が実行されるのに伴い、停止時制御信号が停止対象40に対して送信されると、停止対象40において、停止時制御処理が実行される(図9/STEP54)。
この停止時制御処理は、遠隔操作支援サーバ10からの停止時制御信号に基づいて、対象機械40を停止状態に制御するものであり、具体的には、対象機械40の実機制御装置400により、所定の制御周期で図13に示すように実行される。
同図に示すように、まず、停止時制御信号を受信したか否かが判定される(図13/STEP110)。この判定が否定(図13/STEP110…NO)のときには、本処理は終了する。一方、この判定が肯定(図13/STEP110…YES)で、停止時制御信号を受信したときには、停止時制御信号が内燃機関の始動要求を含んでいるか否かが判定される(図13/STEP111)。
この判定が肯定(図13/STEP111…YES)で、停止時制御信号が停止対象40の始動要求を含んでいるときには、停止対象40の始動制御が実行される(図13/STEP112)。具体的には、停止対象40の内燃機関が始動される。
このように始動制御を実行したとき、又は上述した判定が否定(図13/STEP111…NO)で、停止時制御信号が停止対象40の始動要求を含んでいないときには、これらに続けて、機器停止制御処理を実行する(図13/STEP113)。この機器停止制御処理では、内燃機関及び撮像装置412以外の、作業アタッチメント440などが停止状態に制御される。これに加えて、停止対象40が強制的に停止されていることを表すために、赤色パトランプが点灯される。
次いで、機械情報が取得される(図13/STEP114)。この場合、機械情報としては、前述したように、対象機械40の動作情報と撮像装置412によって撮像された周辺環境の画像情報に加えて、対象装置20のID情報などが含まれる。
次に、この機械情報を含む機械情報信号を遠隔操作支援サーバ10に出力して(図13/STEP115)、本処理は終了する。以上の停止時制御処理は、複数の停止対象4040がそれぞれ複数の停止時制御信号を遠隔操作支援サーバ10から受信したときにも、複数の停止対象40の各々において同様に実行される。
図9に戻り、対象機械40において、停止時制御処理(図9/STEP54)が以上のように実行されるのに伴い、機械情報信号が対象機械40から遠隔操作支援サーバ10に送信されると、遠隔操作支援サーバ10において、第2情報制御処理が実行される(図9/STEP55)。なお、本実施形態では、第2遠隔制御処理及び第2情報制御処理が第2支援処理に相当する。
この第2情報制御処理は、前述した第1情報制御処理(図4/STEP4)と同様に実行されるので、その説明は省略する。この第2情報制御処理が実行されるのに伴い、機械情報信号が遠隔操作支援サーバ10から対象装置20に送信されると、対象装置20において、機械情報出力処理が実行される(図9/STEP56)。この機械情報出力処理は、前述した機械情報出力処理(図4/STEP5)と同様に実行されるので、その説明は省略する。
次に、図16を参照しながら、停止解除時の遠隔操作制御処理について説明する。この停止解除時の遠隔制御処理は、前述したように、停止対象40が強制的に停止状態に保持されている場合において、ユーザがクライアント60を操作することにより、停止対象40の強制的な停止状態を解除するためのものである。
同図に示すように、クライアント60において、停止解除操作判定処理が実行される(図16/STEP130)。この停止解除操作判定処理では、ユーザによりクライアント60の停止解除ボタン(図示せず)が押下されたときには、停止解除操作が実行されたと判定され、それ以外のときには、停止解除操作が実行されていないと判定される。そして、停止解除操作が実施されたと判定された際には、停止解除操作信号が遠隔操作支援サーバ10に出力される。
クライアント60において以上のように停止解除操作判定処理が実行されるのに伴い、停止解除操作信号が遠隔操作支援サーバ10に送信されると、遠隔操作支援サーバ10において、第3遠隔制御処理が実行される(図16/STEP131)。
この第3遠隔制御処理では、停止解除操作信号をクライアント60から受信した場合、停止解除制御信号が停止対象40に送信されると同時に、停止解除情報信号が対象装置20に送信される。
そして、停止対象40では、停止解除制御信号を遠隔操作支援サーバ10から受信した場合、停止解除制御処理が実施される(図16/STEP132)。この停止解除制御処理では、作業アタッチメント440などの機器の停止状態が解除され、これらが動作可能な状態に制御されるとともに、それを表すために、赤色パトランプが消灯される。
また、対象装置20では、停止解除情報信号を遠隔操作支援サーバ10から受信した場合、停止解除情報出力処理が実行される(図16/STEP133)。この停止解除情報出力処理では、対象装置20において、停止解除情報信号に含まれる停止解除情報(文字情報)が画像出力装置221から出力(表示)されるとともに、停止解除情報信号に含まれる音声情報がスピーカから出力される。それにより、停止対象40の停止状態が解除され、これを遠隔操作可能になったことが、対象装置20のオペレータに対して報知される。
遠隔操作支援システム1では、停止解除時の遠隔制御処理が以上のように実行される。
以上のように、本実施形態の遠隔操作支援サーバ10によれば、通常時の遠隔操作制御処理において、遠隔操作信号を遠隔操作装置20から受信した際、第1遠隔制御処理(STEP2)が実行され、遠隔操作信号が対象機械40に送信される。それによりオペレータの遠隔操作装置20の操作によって、対象機械40が遠隔操作される。
また、強制停止時の遠隔操作制御処理では、クライアント60における停止操作判定処理(STEP51)の実行により、停止操作信号が遠隔操作支援サーバ10に送信されると、遠隔操作支援サーバ10において、第2遠隔制御処理(STEP52)が実行される。この第2遠隔制御処理では、クライアント60から停止操作信号を受信した際、そのクライアント60が作業機械40の周辺領域に存在するときには、停止対象決定処理(STEP74)の実行により、停止対象40が決定される。そして、停止時制御信号が停止対象40に送信された際、停止時制御処理(STEP54)が実行されることにより、停止対象40の作業アタッチメント440などが停止状態に制御される。
このように、作業機械40の周辺領域に存在するユーザが作業機械40を強制的に停止した方がよいと判断した場合、ユーザのクライアント60の操作によって、作業機械40を強制的に停止状態に制御することができる。すなわち、オペレータが作業機械40を遠隔操作する際、ユーザによる強制停止動作を加味することができ、オペレータによる遠隔操作を適切に支援することができる。
さらに、第2遠隔制御処理では、停止対象40が決定された際、停止情報信号が対象装置20に送信される。そして、対象装置20では、停止情報信号を受信した場合、遠隔操作中の作業機械40が強制的に停止されていることを表す文字情報及び音声情報が、画像出力装置221及びスピーカからそれぞれ出力されるので、オペレータは、遠隔操作中の作業機械40が強制的に停止されていることを確実に認識することができる。
また、停止対象40において、停止時制御処理が実行された際、停止時制御信号が停止対象40の始動要求を含んでいるときには、停止対象40の始動制御が実行されることにより、停止対象40が強制的に停止されている際でも、その内燃機関を始動することができる。それにより、停止対象40の強制的な停止が解除された際、作業機械40による作業を迅速に開始することができる。
これに加えて、停止対象40において、停止時制御処理が実行され、機械情報信号が遠隔操作支援サーバ10を介して、遠隔操作装置20に送信された際、遠隔操作装置20において、機械情報出力処理(STEP56)が実行される。この機械情報出力処理では、機械情報信号に含まれている停止対象40の周辺環境の画像情報が画像出力装置221から出力されるので、オペレータは、停止対象40が強制的に停止されている間においても、その周辺環境を適切に視認することができる。
さらに、遠隔操作支援サーバ10の停止対象決定処理(図12)では、端末加速度αが第1しきい値α1以上である場合において、クライアント60の近傍に1台の作業機械40が存在しているときには、又は、クライアント60の近傍に3台以下の作業機械40が存在している場合においてα1≦α<α2が成立しているときには、停止操作信号に含まれる停止操作情報に基づき、指定エリアとして、第1指定エリアが画定される。そして、作業機械40が第1指定エリア内に存在する場合には、その作業機械40が停止対象40として決定される。このように、ユーザはクライアント60の停止ボタンを押下し、強制的に停止したい作業機械40の方に向けてクライアント60を振るという動作を実行するだけで、第1指定エリア内に存在する作業機械40を強制的に停止することができる。
また、クライアント60の近傍に3台以下の作業機械40が存在している場合において、α≧α2が成立しているときには、停止操作信号に含まれる停止操作情報に基づき、指定エリアとして、第1指定エリアよりも広い第2指定エリアが画定される。そして、作業機械40が第2指定エリア内に存在する場合には、その作業機械40が停止対象40として決定される。このように、ユーザはクライアント60の停止ボタンを押下し、クライアント60を強制的に停止したい作業機械40の方に向けてα≧α2が成立するように振るだけで、第1指定エリアよりも広い第2指定エリアを画定することができ、第1指定エリアを画定した場合よりも多くの作業機械40を強制的に停止することができる。
これに加えて、α≧α1が成立している場合において、クライアント60の近傍に4台以上の作業機械40が存在しているときには、全作業機械40が停止対象40として決定されるので、ユーザはクライアント60の停止ボタンを押下し、クライアント60をα≧α1が成立するように振るだけで、クライアント60近傍の全作業機械40を停止することができる。以上のように、本実施形態の遠隔操作支援サーバ10によれば、高い利便性を確保することができる。
なお、実施形態は、図12に示すように停止対象決定処理を実行した例であるが、これに代えて、図17に示すように、停止対象決定処理を実行してもよい。
同図に示すように、まず、停止操作信号に含まれる停止操作情報が読み込まれる(図17/STEP150)。次いで、停止操作情報に含まれる端末加速度αが第1しきい値α1以上であるか否かが判定される(図17/STEP151)。この判定が否定(図17/STEP151…NO)のときには、本処理は終了する。
一方、この判定が肯定(図17/STEP151…YES)で、α≧α1が成立しているときには、クライアント60の近傍に2台以下の作業機械40が存在しているか否かが判定される(図17/STEP152)。この判定が肯定(図17/STEP152…YES)のときには、指定エリアとして、第3指定エリア及び第4指定エリアが画定される(図17/STEP153)。
これらの第3指定エリア及び第4指定エリアは、以下に述べるように画定される。すなわち、図18に示すように、クライアント60と作業機械40A,40Bを平面視した場合において、クライアント60から近い方の作業機械40Aに向かって両者の位置を通る直線L1と、この直線Lに対してクライアント60の位置から所定傾斜角度で左右両側に延びる2つの直線L2,L3を引いたときに、これらの直線L2,L3の間の領域が第3指定エリアとして画定される。この場合、直線L2,L3の間の角度は、所定範囲(例えば、45~90゜)内の値に設定される。
さらに、クライアント60の位置を基準として、直線L1と直交する直線L4を引いたときに、2つの直線L2,L4の間の領域、及び2つの直線L3,L4の間の領域が、2つの第4指定領域として画定される。この場合、クライアント60を中心とする360゜のエリアにおいて、第3指定エリア以外のエリアを第4指定エリアとして画定してもよい。
次いで、クライアント60の方位角(以下「端末方位角」という)が第3エリア内であるか否かが判定される(図17/STEP154)。この判定が肯定(図17/STEP154…YES)のとき、例えば、端末方位角が図18の矢印Y1で示す方位角であるときには、クライアント60に近い方の作業機械40Aを停止対象40Aに決定して(図17/STEP155)、本処理は終了する。
一方、この判定が否定(図17/STEP154…NO)のときには、端末方位角が第4エリア内であるか否かが判定される(図17/STEP156)。この判定が否定(図17/STEP156…NO)のときには、停止対象40を決定することなく、本処理は終了する。
一方、この判定が肯定(図17/STEP156…YES)であるとき、例えば、端末方位角が図18の矢印Y2又は矢印Y3で示す方位角であるときには、クライアント60から遠い方の作業機械40Bを停止対象40Bに決定して(図17/STEP157)、本処理は終了する。
一方、前述した判定が否定(図17/STEP152…NO)で、クライアント60の近傍に3台以上の作業機械40が存在しているときには、クライアント60の近傍に存在する全作業機械40を停止対象40に決定して(図17/STEP158)、本処理は終了する。
以上のように、停止対象決定処理を実行した場合でも、実施形態の図12の停止対象決定処理と同様の作用効果を得ることができる。
なお、実施形態は、遠隔操作支援装置として、遠隔操作支援サーバ10を用いた例であるが、本発明の遠隔操作支援装置は、これに限らず、オペレータによる遠隔操作装置の操作に応じて選択的に遠隔操作される複数の作業機械の遠隔操作を支援するためのものであればよい。例えば、遠隔操作支援装置として、遠隔操作支援サーバ10に代えて、コントローラ又はマイクロコンピュータなどの各種演算装置を用いてもよい。
また、実施形態は、作業機械として、クローラショベルタイプの建設機械40を用いた例であるが、これに代えて、様々な作業機械を用いてもよい。例えば、作業機械として、ブルドーザ又はホイールローダなどを用いてもよい。
さらに、実施形態は、加速度情報取得部として、慣性計測装置を用いた例であるが、本発明の加速度情報取得部は、これに限らず、クライアントの加速度を表す情報である加速度情報を取得するものであればよい。例えば、加速度情報取得部として、加速度センサなどを用いてもよい。
一方、実施形態は、角度情報取得部として、慣性計測装置を用いた例であるが、本発明の角度情報取得部は、これに限らず、クライアントの角度を表す情報である角度情報を取得するものであればよい。例えば、角度情報取得部として、ジャイロセンサなどを用いてもよい。
また、実施形態は、指定エリアとしての第1指定エリアを図14に示すように設定した例であるが、本発明の第1指定エリアは、これに限らず、クライアントが存在する位置を基準としてクライアントが向けられていた方向に偏向的に延在するエリアであればよい。
例えば、第1指定エリアの形状は、実施形態の二等辺三角形に限らず、扇形又は半楕円形としてもよい。また、実施形態は、第1指定エリアを中心線Lxに対して対称な二等辺三角形の形状とした例であるが、第1指定エリアを中心線Lxに対して非対称の形状(例えば、中心線Lxに対して若干、傾いた二等辺三角形の形状)としてもよい。また、第1指定エリアの二等辺三角形の頂角は、鋭角に限らず鈍角でもよい。
さらに、実施形態は、第2指定エリアを図14に示すように設定した例であるが、本発明の第2指定エリアは、これに限らず、クライアントが存在する位置を基準としてクライアントが向けられていた方向に第1指定エリアよりも広く偏向的に延在するエリアであればよい。
例えば、第2指定エリアの形状は、実施形態の二等辺三角形に限らず、扇形又は半楕円形としてもよい。また、実施形態は、第2指定エリアを中心線Lyに対して対称な二等辺三角形の形状とした例であるが、第2指定エリアを中心線Lyに対して非対称の形状(例えば、中心線Lyに対して若干、傾いた二等辺三角形の形状)としてもよい。さらに、第2指定エリアが第1指定エリアと全面的にオーバラップしないエリアとして画定してもよい。また、第2指定エリアの二等辺三角形の頂角は、第1指定エリアの二等辺三角形の頂角よりも大きい値であればよい。
1 遠隔操作支援システム
10 遠隔操作支援サーバ(遠隔操作支援装置)
103 第1支援処理要素
104 第2支援処理要素
20 遠隔操作装置
220 遠隔出力インターフェース(第1出力インターフェース、第2出力インターフェース)
40 作業機械
400 実機制御装置(制御部)
412 撮像装置
414 測位装置(機械位置情報取得部)
460 外部出力装置
60 クライアント
612 慣性計測装置(加速度情報取得部、角度情報取得部)
614 測位装置(端末位置情報取得部)
10 遠隔操作支援サーバ(遠隔操作支援装置)
103 第1支援処理要素
104 第2支援処理要素
20 遠隔操作装置
220 遠隔出力インターフェース(第1出力インターフェース、第2出力インターフェース)
40 作業機械
400 実機制御装置(制御部)
412 撮像装置
414 測位装置(機械位置情報取得部)
460 外部出力装置
60 クライアント
612 慣性計測装置(加速度情報取得部、角度情報取得部)
614 測位装置(端末位置情報取得部)
Claims (11)
- オペレータによる遠隔操作装置の操作に応じて選択的に遠隔操作される複数の作業機械の遠隔操作を支援するための遠隔操作支援装置であって、
前記オペレータによる前記遠隔操作装置の操作状態を表す遠隔操作信号を前記遠隔操作装置から受信した際、当該遠隔操作信号に対応する前記複数の作業機械の1つに送信する第1支援処理を実行する第1支援処理要素と、
ユーザによるクライアントの操作状態を表す端末操作信号を受信した際、当該クライアントが前記1つの前記作業機械の周辺領域に存在している場合において、前記端末操作信号が前記1つの作業機械の停止を要求する前記ユーザの操作状態を表しているときには、前記遠隔操作信号の受信の有無とは無関係に前記1つの作業機械を停止させるための停止指令信号を前記1つの作業機械に送信する第2支援処理を実行する第2支援処理要素と、
を備えることを特徴とする遠隔操作支援装置。 - 請求項1に記載の遠隔操作支援装置において、
前記第2支援処理要素は、前記第2支援処理において、前記1つの作業機械が停止されていることを表す停止情報を含む停止情報信号を前記遠隔操作装置にさらに送信し、
前記遠隔操作装置は、前記停止情報信号を受信した場合、前記停止情報を出力する第1出力インターフェースをさらに有していることを特徴とする遠隔操作支援装置。 - 請求項1又は2に記載の遠隔操作支援装置において、
前記作業機械は、当該作業機械の環境画像を取得する撮像装置を有し、当該撮像装置によって取得された環境画像を含む画像信号を送信可能に構成され、
前記第2支援処理要素は、前記画像信号を前記作業機械から受信した場合、前記第2支援処理において、当該画像信号を前記遠隔操作装置にさらに送信し、
前記遠隔操作装置は、前記画像信号を受信した場合、当該画像信号に含まれる前記環境画像を出力する第2出力インターフェースをさらに有していることを特徴とする遠隔操作支援装置。 - 請求項1ないし3のいずれかに記載の遠隔操作支援装置において、
前記作業機械は、動力源としての内燃機関及び制御部を有しており、当該制御部は、前記遠隔操作信号及び前記停止指令信号を受信した場合において、当該遠隔操作信号が前記オペレータによる当該内燃機関の始動操作を表しているときには、当該内燃機関の始動制御を実行すると同時に、当該内燃機関以外の機器を停止状態に制御することを特徴とする遠隔操作支援装置。 - 請求項1ないし4のいずれかに記載の遠隔操作支援装置において、
前記作業機械は、前記遠隔操作信号を受信した場合において、当該遠隔操作信号が遠隔操作の実施対象として当該作業機械が選択されたことを表しているときには、当該作業機械が選択されたことを表す報知情報を当該作業機械の外部に出力する外部出力装置を有することを特徴とする遠隔操作支援装置。 - 請求項1ないし5のいずれかに記載の遠隔操作支援装置において、
前記第2支援処理要素は、
前記クライアントから前記端末操作信号を受信した場合、当該クライアントが前記1つの作業機械を含む前記複数の作業機械の周辺領域に存在しているか否かを判定する第1判定処理と、
当該第1判定処理の判定結果が肯定である場合、前記端末操作信号が前記複数の作業機械の停止を要求する前記ユーザの操作状態を表している否かを判定する第2判定処理と、をさらに実行し、
当該第2判定処理の判定結果が肯定である場合、前記第2支援処理において、前記停止指令信号を前記複数の作業機械に送信することを特徴とする遠隔操作支援装置。 - 請求項1ないし5のいずれかに記載の遠隔操作支援装置において、
前記クライアントは、当該クライアントの加速度を表す情報である加速度情報を取得する加速度情報取得部と、当該クライアントの角度を表す情報である角度情報を取得する角度情報取得部と、当該クライアントの位置を表す情報である端末位置情報を取得する端末位置情報取得部と、を有し、前記端末操作信号として、前記加速度情報、前記角度情報及び前記端末位置情報を含む信号を送信し、
前記作業機械は、当該作業機械の位置を表す情報である機械位置情報を取得する機械位置情報取得部を有し、当該機械位置情報を含む機械情報信号を送信し、
前記第2支援処理要素は、
前記クライアントから前記端末操作信号を受信した場合、当該クライアントが前記1つの作業機械の周辺領域に存在しているか否かを判定する第3判定処理と、
当該第3判定処理の判定結果が肯定である場合において、前記1つの作業機械から前記機械情報信号を受信したときには、前記端末操作信号及び前記機械情報信号に基づき、前記クライアントの前記加速度が所定状態に変化した時点における前記クライアントの位置を基準とする指定エリアを、当該時点における前記クライアントの前記加速度及び前記クライアントの方位角に応じて偏向的な延在態様のエリアとして画定する画定処理と、
前記時点における前記1つの作業機械の位置が前記指定エリアに含まれているか否かを判定する第4判定処理と、をさらに実行し、
当該第4判定処理の判定結果が肯定である場合、前記第2支援処理において、前記端末操作信号が前記1つの作業機械の停止を要求する前記ユーザの操作状態を表しているとして、前記停止指令信号を前記1つの作業機械に送信することを特徴とする遠隔操作支援装置。 - 請求項1ないし5のいずれかに記載の遠隔操作支援装置において、
前記クライアントは、当該クライアントの加速度を表す情報である加速度情報を取得する加速度情報取得部と、当該クライアントの角度を表す情報である角度情報を取得する角度情報取得部と、当該クライアントの位置を表す情報である端末位置情報を取得する端末位置情報取得部と、を有し、前記端末操作信号として、前記加速度情報、前記角度情報及び前記端末位置情報を含む信号を送信し、
前記作業機械は、当該作業機械の位置を表す情報である機械位置情報を取得する機械位置情報取得部を有し、当該機械位置情報を含む機械情報信号を送信し、
前記第2支援処理要素は、
前記クライアントから前記端末操作信号を受信した場合、当該クライアントが前記1つの作業機械を含む前記複数の作業機械の周辺領域に存在しているか否かを判定する第5判定処理と、
当該第5判定処理の判定結果が肯定である場合において、前記複数の作業機械から前記機械情報信号を受信したときには、前記端末操作信号及び前記機械情報信号に基づき、前記クライアントの前記加速度が所定状態に変化した時点における前記クライアントの位置を基準とする指定エリアを、当該時点における前記クライアントの前記加速度が第1しきい値以上で当該第1しきい値よりも大きい第2しきい値未満のときには、前記クライアントが存在する位置を基準として前記クライアントが向けられていた方向に偏向的に延在する第1指定エリアとして画定するとともに、前記時点における前記クライアントの前記加速度が前記第2しきい値以上のときには、前記クライアントが存在する位置を基準として前記クライアントが向けられていた方向に前記第1指定エリアよりも広く偏向的に延在する第2指定エリアを前記指定エリアとして画定する画定処理と、
前記時点における前記複数の作業機の少なくとも1つの位置が前記指定エリアに含まれているか否かを判定する第6判定処理と、をさらに実行し、
当該第6判定処理の判定結果が肯定である場合、前記第2支援処理において、前記端末操作信号が当該少なくとも1つの作業機械の停止を要求する前記ユーザの操作状態を表しているとして、前記停止指令信号を前記少なくとも1つの作業機械に送信することを特徴とする遠隔操作支援装置。 - 請求項1ないし5のいずれかに記載の遠隔操作支援装置において、
前記クライアントは、当該クライアントの加速度を表す情報である加速度情報を取得する加速度情報取得部と、当該クライアントの角度を表す情報である角度情報を取得する角度情報取得部と、当該クライアントの位置を表す情報である端末位置情報を取得する端末位置情報取得部と、を有し、前記端末操作信号として、前記加速度情報、前記角度情報及び前記端末位置情報を含む信号を送信し、
前記作業機械は、当該作業機械の位置を表す情報である機械位置情報を取得する機械位置情報取得部を有し、当該機械位置情報を含む機械情報信号を送信し、
前記第2支援処理要素は、
前記クライアントから前記端末操作信号を受信した場合、当該クライアントが前記1つの作業機械を含む前記複数の作業機械の周辺領域に存在しているか否かを判定する第7判定処理と、
当該第7判定処理の判定結果が肯定である場合において、前記複数の作業機械から前記機械情報信号を受信したときには、前記端末操作信号及び前記機械情報信号に基づき、前記クライアントの前記加速度が所定状態に変化した時点における前記クライアントの位置と前記複数の作業機械のうちの前記クライアントに最も近い前記作業機械の位置とを基準として、指定エリアを当該時点における前記クライアントの位置から偏向的に延在するエリアとして画定する画定処理と、
当該時点における前記クライアントが前記指定エリアに向けられているときには、前記端末操作信号が前記クライアントに最も近い前記作業機械の停止を要求する前記ユーザの操作状態を表していると判定し、当該時点における前記クライアントが前記指定エリア外に向けられているときには、前記端末操作信号が前記クライアントに最も近い前記作業機械以外の前記作業機械の停止を要求する前記ユーザの操作状態を表していると判定する第8判定処理と、を実行し、
前記第2支援処理において、当該第8判定処理の判定結果に基づき、前記端末操作信号が前記クライアントに最も近い前記作業機械の停止を要求する前記ユーザの操作状態を表しているときには、前記停止指令信号を前記クライアントに最も近い前記作業機械に送信し、
前記端末操作信号が前記クライアントに最も近い前記作業機械以外の前記作業機械の停止を要求する前記ユーザの操作状態を表しているときには、前記停止指令信号を前記クライアントに最も近い前記作業機械以外の前記作業機械に送信することを特徴とする遠隔操作支援装置。 - 請求項1~9のいずれかに記載の遠隔操作支援装置と、
前記遠隔操作装置と、
前記クライアントと、
前記複数の作業機械と、を備えることを特徴とする遠隔操作支援システム。 - オペレータによる遠隔操作装置の操作に応じて選択的に遠隔操作される複数の作業機械の遠隔操作を遠隔操作支援装置によって支援するための遠隔操作支援方法であって、
前記遠隔操作支援装置は、
前記オペレータによる前記遠隔操作装置の操作状態を表す遠隔操作信号を前記遠隔操作装置から受信した際、当該遠隔操作信号に対応する前記複数の作業機械の1つに送信する第1支援処理を実行し、
ユーザによるクライアントの操作状態を表す端末操作信号を受信した際、当該クライアントが前記1つの前記作業機械の周辺領域に存在している場合において、前記端末操作信号が前記1つの作業機械の停止を要求する前記ユーザの操作状態を表しているときには、前記遠隔操作信号の受信の有無とは無関係に前記1つの作業機械を停止させるための停止指令信号を前記1つの作業機械に送信する第2支援処理を実行することを特徴とする遠隔操作支援方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-092632 | 2020-05-27 | ||
JP2020092632A JP7528539B2 (ja) | 2020-05-27 | 2020-05-27 | 遠隔操作支援システム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021240957A1 true WO2021240957A1 (ja) | 2021-12-02 |
Family
ID=78723303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/010460 WO2021240957A1 (ja) | 2020-05-27 | 2021-03-15 | 遠隔操作支援装置、遠隔操作支援システム及び遠隔操作支援方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7528539B2 (ja) |
WO (1) | WO2021240957A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024201617A1 (ja) * | 2023-03-24 | 2024-10-03 | 日立建機株式会社 | 作業機械用情報入力システム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000315103A (ja) * | 1999-04-30 | 2000-11-14 | Star Micronics Co Ltd | Nc工作機械の管理システム、管理プログラムおよびnc工作機械 |
JP2006306233A (ja) * | 2005-04-27 | 2006-11-09 | Nippon Soken Inc | 駐車位置調整システム |
JP2015180996A (ja) * | 2014-03-07 | 2015-10-15 | ブラザー工業株式会社 | 制御装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004182193A (ja) | 2002-12-06 | 2004-07-02 | Calsonic Kansei Corp | 車両用遠隔操作装置 |
-
2020
- 2020-05-27 JP JP2020092632A patent/JP7528539B2/ja active Active
-
2021
- 2021-03-15 WO PCT/JP2021/010460 patent/WO2021240957A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000315103A (ja) * | 1999-04-30 | 2000-11-14 | Star Micronics Co Ltd | Nc工作機械の管理システム、管理プログラムおよびnc工作機械 |
JP2006306233A (ja) * | 2005-04-27 | 2006-11-09 | Nippon Soken Inc | 駐車位置調整システム |
JP2015180996A (ja) * | 2014-03-07 | 2015-10-15 | ブラザー工業株式会社 | 制御装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2021190773A (ja) | 2021-12-13 |
JP7528539B2 (ja) | 2024-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7070047B2 (ja) | 旋回式作業機械の旋回制御装置 | |
WO2021111677A1 (ja) | 遠隔操作支援サーバ、遠隔操作支援方法および遠隔操作支援システム | |
WO2022168443A1 (ja) | 作業支援システムおよび作業支援複合システム | |
WO2020250558A1 (ja) | 遠隔操作システムおよび遠隔操作サーバ | |
JP2021150931A (ja) | 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 | |
WO2021240957A1 (ja) | 遠隔操作支援装置、遠隔操作支援システム及び遠隔操作支援方法 | |
WO2021230090A1 (ja) | 遠隔操作支援装置および遠隔操作支援方法 | |
JP7310338B2 (ja) | 遠隔操作システムおよび遠隔操作サーバ | |
WO2021166476A1 (ja) | 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 | |
JP7441733B2 (ja) | 実機状態監視システムおよび実機状態監視方法 | |
WO2021106278A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
JP2022144495A (ja) | 遠隔操作支援システムおよび遠隔操作支援方法 | |
WO2023100533A1 (ja) | 画像表示システム、遠隔操作支援システムおよび画像表示方法 | |
WO2022070567A1 (ja) | 遠隔操作支援装置及び遠隔操作支援システム | |
WO2023234025A1 (ja) | 遠隔操作支援システムおよび遠隔操作装置 | |
WO2021166475A1 (ja) | 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 | |
US12123175B2 (en) | Remote operation device, remote operation assistance server, remote operation assistance system, and remote operation assistance method | |
JP7508815B2 (ja) | 作業支援サーバ、作業支援方法 | |
JP2022144491A (ja) | 撮像機能制御システムおよび撮像機能制御方法 | |
WO2021106279A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
JP2024068678A (ja) | 作業機械及び情報処理装置 | |
JP2024018270A (ja) | 作業支援システム、作業機械、投影装置、制御装置 | |
JP2024068294A (ja) | 作業機械の制御システム | |
JP2022152338A (ja) | 作業支援システムおよび作業支援複合システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21813130 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21813130 Country of ref document: EP Kind code of ref document: A1 |