WO2021192349A1 - 情報提示装置、遠隔操作システムおよびプログラム - Google Patents

情報提示装置、遠隔操作システムおよびプログラム Download PDF

Info

Publication number
WO2021192349A1
WO2021192349A1 PCT/JP2020/031892 JP2020031892W WO2021192349A1 WO 2021192349 A1 WO2021192349 A1 WO 2021192349A1 JP 2020031892 W JP2020031892 W JP 2020031892W WO 2021192349 A1 WO2021192349 A1 WO 2021192349A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user
item
notification item
notification
Prior art date
Application number
PCT/JP2020/031892
Other languages
English (en)
French (fr)
Inventor
力也 田尻
秀紀 坂庭
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2021192349A1 publication Critical patent/WO2021192349A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to an information presentation device, a remote control system and a program.
  • Patent Document 1 states that "the operator can suitably detect a change in the inclination of an unmanned moving body", and "the remote control system 1 is an unmanned moving body 2".
  • An inclination angle detection unit that detects the inclination angle of the unmanned moving body 2, including a remote control device 3 that is operated by an operator and wirelessly communicates with the unmanned moving body 2 to control the operation of the unmanned moving body 2.
  • 19 and the output amount calculation unit 33 that calculates the output amount based on the information related to the inclination angle of the unmanned moving body from the inclination angle detection unit 19, and the output amount calculation unit 33 calculated for the operator.
  • It has an operation unit 31 as a force-tactile sensation presenting unit that presents a force-tactile sensation corresponding to an output amount. ”(See summary).
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an information presenting device, a remote control system, and a program capable of presenting various kinds of information items by tactile stimulation.
  • the information presenting device of the present invention includes operation information indicating the operation state of the operation device by the user, device operation information indicating the operation state of the operation target device remotely operated according to the operation information, and device operation information.
  • a notification item setting unit that selects a notification item that is an information item to be notified to the user from a plurality of information items, a notification item notification unit that outputs notification item information representing the notification item, and a notification item notification unit. It is characterized by including a tactile presentation information output unit that outputs tactile presentation information representing the content of the tactile stimulus given to the user in response to the notification item.
  • various kinds of information items can be presented by tactile stimulation.
  • a preferred embodiment to be described later is to notify information that is lost by remote control using a tactile stimulus so that the information can be intuitively perceived and the visual cognitive load is reduced.
  • FIG. 1 is a block diagram of a remote control system 10 according to a preferred first embodiment.
  • the remote control system 10 includes a control device 16 (information presentation device, computer), a user state detection unit 22, an information output unit 24, an operation device 26, a tactile presentation device 28, and an operation target device 30.
  • a device information detection unit 42 and an environmental state detection unit 44 are provided. Then, the control device 16 and the other components communicate with each other in both directions via the network 18.
  • the operation target device 30 is a device that is arranged at the construction site 14 and is remotely controlled, and is a power shovel in the illustrated example. Then, in the illustrated example, the operation target device 30 includes a bucket 32, an arm 34, a vehicle body 36, and a track 38. The bucket 32 and the arm 34 are hydraulically driven to excavate earth and sand at the construction site 14. Further, the operation target device 30 self-propells by driving the track 38. Then, the vehicle body 36 can turn with respect to the track 38 together with the arm 34 and the bucket 32.
  • the operation target device 30 receives the operation information D30 from the control device 16 and drives each unit based on the operation information D30.
  • the device information detection unit 42 detects various information in the operation target device 30, and outputs the detection result to the control device 16 as device operation information D42.
  • the environmental state detection unit 44 measures various environments at the construction site 14, and outputs the results to the control device 16 as environmental information D44.
  • the device information detection unit 42 includes a tilt sensor that measures the tilt angle of the machine body, which is the tilt angle of the footband 38, a load sensor that measures the load capacity of the bucket 32, and the flood control of each part of the bucket 32 and the arm 34.
  • a hydraulic sensor that measures, a vibration sensor that measures the amount of vibration of the operation target device 30, a bucket tip distance sensor, a center of gravity position sensor that measures the position of the center of gravity of the operation target device 30, a traveling speed sensor of the cuffs 38, and a turning speed of the vehicle body 36. It is equipped with sensors, etc. (all are not shown).
  • the bucket tip distance sensor measures the "bucket tip distance", which means "the distance from the tip position of the bucket 32 to an object such as the ground”.
  • the environmental state detection unit 44 captures a motion sensor that detects surrounding people, an ambient sound sensor that collects ambient sounds, a driver's seat camera that captures the direction of the bucket 32 from the driver's seat, and peripheral images of the operation target device 30. It is equipped with a peripheral camera for imaging, a soil sensor for measuring the condition of the ground (unevenness of the ground, muddy condition of the ground, material of the soil hardness ground, etc.), an anemometer, a rainfall meter, etc. (all not shown).
  • the operation device 26 is a device for remotely controlling the operation target device 30, and is operated by the user 52. Then, the operation content for the operation device 26 is supplied to the control device 16 as the operation information D26.
  • the control device 16 generates the above-mentioned operation information D30 based on the operation information D26 and supplies it to the operation target device 30. However, the control device 16 may supply the operation information D26 as the operation information D30 to the operation target device 30 as it is.
  • the tactile presentation device 28 provides tactile feedback to the user based on the tactile presentation information D28 received from the control device 16. For example, the tactile presentation device 28 transmits a tactile stimulus to the user by vibrating the operating device 26. Then, in the present embodiment, the tactile presentation device 28 notifies the user of the data value for any one of the plurality of information items by tactile feedback.
  • the amount related to tactile stimulation is referred to as "stimulation amount".
  • the amount of stimulation can be the vibration amplitude of the tactile presentation device 28.
  • the “length of the period during which the vibration is turned on” can be set as the stimulation amount.
  • FIG. 2 is a diagram showing an example of information items in the present embodiment.
  • an information item to be notified to the user (hereinafter referred to as a notification item) is selected from a total of nine types of information items A1 to A3, B4 to B7, C8, and C9.
  • each information item has a corresponding "device status (status of the operation target device 30 and the like)".
  • the information item A1 peripheral object distance
  • the notification item can be selected as a notification item when a device condition of "large centrifugal force” (large centrifugal force generated in the bucket 32) occurs.
  • the priority of notifying the user 52 is defined, and the higher the column in FIG. 2, the higher the priority. That is, since the information items A1 to A3 are mainly items related to ensuring safety, they have the highest priority. Further, since the information items B4 to B7 are mainly items related to work efficiency and airframe maintenance, they are the next highest priority items. The information items C8 and C9 are mainly items related to prevention of operation mistakes, and have the lowest priority. The details of each information item and the device status shown in FIG. 2 will be described later.
  • the information output unit 24 includes a display 24a and a speaker 24b.
  • the display 24a may be a flat panel display or a head-mounted display. Then, the information output unit 24 receives the notification item information D24 and the general information D25 from the control device 16, and notifies the user 52 of these contents by video and audio.
  • the notification item information D24 notifies the user 52 of the above-mentioned notification item.
  • the general information D25 is various information other than the notification item information D24.
  • the general information D25 includes a moving image taken by a driver's seat camera (not shown) provided in the driver's seat of the operation target device 30, a peripheral image of the operation target device 30, peripheral sound of the operation target device 30, and an operation target device. It includes data showing various states in 30 and the like.
  • the user state detection unit 22 measures the state of the user 52 other than the operation information D26, and outputs the result as the user state information D22.
  • the user state detection unit 22 includes a user photographing camera (not shown) that captures the user 52, a line-of-sight detection device that detects the line of sight of the user 52 based on the image of the user photographing camera, and a thermometer that detects the body temperature of the user 52. It is equipped with a thermometer or the like that detects the heart rate of the user 52.
  • the control device 16 includes hardware as a general computer such as a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and an SSD (Solid State Drive). , OS (Operating System), application programs, various data, etc. are stored. The OS and application programs are expanded in RAM and executed by the CPU.
  • FIG. 1 the inside of the control device 16 shows a function realized by an application program or the like as a block.
  • the control device 16 includes an input / output unit 60, a database unit 70, and a calculation unit 80.
  • the input / output unit 60 transmits and receives the various information D22 to D44 described above via the network 18 between the remote control room 12 and each device at the construction site 14.
  • the database unit 70 includes a relational database 72, a work-related database 74, and a worker personal database 76.
  • the relational database 72 defines the relationship between the information D22, D26, D42, D44 input to the control device 16 and the estimated “equipment status” (see FIG. 2).
  • the work-related database 74 stores the work process at the construction site 14, construction drawing data, and the like.
  • the worker personal database 76 stores various personal information of the user 52.
  • the worker personal database 76 stores personal correction information that corrects the amount of stimulation according to the preference of the user 52. For example, when the user 52 is a veteran, it is conceivable to weaken the amount of stimulation.
  • the calculation unit 80 includes a device status estimation unit 82, a notification item setting unit 84 (notification item setting means), a notification item notification unit 86 (notification item notification means), a video delay measurement unit 88, and tactile presentation information. It includes an output unit 90 (tactile presentation information output means).
  • the tactile presentation information output unit 90 includes a data value calculation unit 92 and a stimulus amount calculation unit 94.
  • the device status estimation unit 82 generates one or a plurality of device statuses based on the information D22, D26, D42, D44 input to the control device 16 and the contents of the relational database 72 (see FIG. 2). And the corresponding information item. Further, the device status estimation unit 82 identifies the highest priority item, which is the highest priority information item (information item in the uppermost column in FIG. 2), from the estimated information items.
  • the notification item setting unit 84 determines whether or not to set the highest priority item specified by the device status estimation unit 82 as a notification item for notifying the user of data. Further, the notification item notification unit 86 outputs the set notification item as the notification item information D24 to the information output unit 24 via the input / output unit 60 and the network 18.
  • the data value calculation unit 92 in the tactile presentation information output unit 90 calculates the data value for the highest priority item. Further, the stimulus amount calculation unit 94 in the tactile presentation information output unit 90 calculates the stimulus amount corresponding to the user 52 based on the data value corresponding to the notification item and the worker personal database 76. Then, the tactile presentation information output unit 90 outputs the tactile presentation information D28 that specifies the calculated stimulus amount to the tactile presentation device 28 via the input / output unit 60 and the network 18.
  • FIG. 3 is a schematic view of the operation device 26 and the tactile presentation device 28.
  • the operation device 26 includes a left work lever 26WL, a right work lever 26WR, a left travel lever 26DL, and a right travel lever 26DR.
  • the left and right working levers 26WL and 26WR are used for operating the bucket 32 and the arm 34 and turning the vehicle body 36. Further, the left and right traveling levers 26DL and 26DR are used for the traveling operation of the crawler belt 38. Therefore, the operation information D26 (see FIG. 1) includes information regarding the operation of the bucket 32, the operation of the arm 34, the turning operation of the vehicle body 36, and the running operation of the track 38.
  • the tactile presentation device 28 includes four vibrating units 28WR, 28WL, 28DR, and 28DL.
  • the vibrating portions 28WR, 28WL, 28DR, and 28DL are attached to the lower parts of the levers 26WR, 26WL, 26DR, and 26DL, respectively, and when they vibrate based on the tactile presentation information D28, the corresponding levers vibrate.
  • the tactile presentation information D28 is supplied to the tactile presentation device 28, all the vibrating parts 28WR, 28WL, 28DR, 28DL may be vibrated, or some vibrating parts corresponding to the notification item information D24 may be vibrated. good.
  • ⁇ A1 peripheral object distance
  • the device status corresponding to the information item A1 is "peripheral object approach”. This means that peripheral objects such as "people" and “objects” exist in the vicinity of the operation target device 30 (for example, within a predetermined distance from the operation target device 30). Then, the meaning of the data value in the information item A1 is the "distance" from the operation target device 30 to the peripheral object. If the user does not notice the peripheral objects of the operation target device 30, a contact accident may occur. Therefore, it is preferable that the user 52 knows the distance between the operation target device 30 and the peripheral object. The distance from the peripheral object and the operation target device 30 to the peripheral object may be detected by the motion sensor value included in the environmental information D44 or the peripheral camera image.
  • this information item A1 may be enabled when the user 52 is not gazing at the surrounding objects. Then, the amount of stimulation specified by the tactile presentation information D28 may be reduced as the "distance" becomes longer. For example, the amount of stimulation may be inversely proportional to the "distance".
  • Airframe tilt index of the information item A2 is, for example, the airframe tilt angle.
  • the equipment status corresponding to this is "large aircraft tilt index”. This means that the operation target device 30 continues to travel in a situation where the airframe inclination index is larger than a predetermined value.
  • the meaning of the data value in the information item A2 is the airframe inclination index of the operation target device 30.
  • the aircraft tilt angle included in the device operation information D42 is applied as it is to the aircraft tilt index.
  • a value obtained by slightly correcting the inclination angle of the aircraft may be adopted as the inclination index of the aircraft.
  • the airframe inclination index may be corrected to a value larger than the airframe inclination angle. ..
  • the aircraft inclination index is set to be larger than the aircraft inclination angle. May be good.
  • the information item A2 may be enabled when the user 52 is performing a traveling operation (operation of the traveling levers 26DL and 26DR) by the operation information D26. Then, the amount of stimulation specified by the tactile presentation information D28 may be increased as the body tilt index increases. For example, the amount of stimulation may be proportional to the body tilt index.
  • ⁇ A3 (centrifugal force):
  • the equipment status corresponding to the information item A3 is "large centrifugal force". This means that the vehicle body 36 is turning in a situation where the centrifugal force applied to the operation target device 30 is larger than a predetermined value.
  • the meaning of the data value in the information item A3 is "centrifugal force applied to the operation target device 30". If the centrifugal force becomes excessive, the operation target device 30 may be overturned. Therefore, when the centrifugal force is large, it is preferable that the user 52 can continuously grasp the centrifugal force.
  • Centrifugal force can be obtained from the "bucket load sensor value" included in the device operation information D42. Further, the information item A3 may be enabled when the user 52 is performing the turning operation of the bucket 32 by the operation information D26. Further, the information item A3 may be enabled when the user is gazing at the moving destination of the bucket 32 based on the line-of-sight information of the user 52 included in the user state information D22. Then, the amount of stimulation specified by the tactile presentation information D28 may be increased as the centrifugal force increases. For example, the amount of stimulation may be proportional to the centrifugal force.
  • ⁇ B4 (bucket load capacity):
  • the equipment status corresponding to the information item B4 is "large bucket load capacity”. This means that the load capacity of the bucket 32 is larger than the predetermined weight.
  • the data value in the information item B4 is "loading capacity of the bucket 32". When the earth and sand in the bucket 32 contains a large amount of water, the load capacity of the bucket 32 becomes heavier than it looks. Therefore, when the load capacity of the bucket 32 is large, it is preferable that the user 52 knows the size.
  • the bucket load capacity can be obtained according to the "flood control change amount in the bucket", the "bucket load capacity sensor value", the "ground measurement result” included in the environmental information D44, and the like. Then, the stimulus amount specified by the tactile presentation information D28 may be increased as the load amount increases. For example, the amount of stimulation may be proportional to the amount of load.
  • ⁇ B5 soil hardness: The equipment status corresponding to the information item B5 is "high soil hardness". This means that the soil hardness of the ground to be worked on is larger than the predetermined value, and more specifically, the load applied to the bucket 32 when the bucket 32 is inserted into the ground is larger than the predetermined value. Means.
  • the data value in the information item B5 is "soil hardness of the ground to be worked”. If the soil hardness of the work target is high, when the bucket 32 is inserted into the ground, a part of the operation target device 30 is lifted from the ground, and the operation target device 30 is tilted. If this inclination is large, the operation target device 30 may tip over, so it is preferable for the user to know the soil hardness of the work target.
  • the soil hardness that is, the load applied to the bucket 32 can be obtained from the amount of change in the "flood control in the bucket 32" included in the equipment operation information D42. Further, when the bucket 32 is inserted into the ground, the amount of vibration in the operation target device 30 (this is included in the device operation information D42) and the loudness of the ambient sound, that is, the impact sound (this is included in the environmental information D44).
  • the soil hardness can also be obtained by Furthermore, the soil hardness can be indirectly determined from the "ground material” (for example, rock composition, water content, etc.) in the environmental information D44. Then, the amount of stimulation specified in the tactile presentation information D28 may be increased as the soil hardness increases. For example, the amount of stimulation may be proportional to the soil hardness.
  • the bucket tip distance is the distance from the tip position of the bucket 32 to an object such as the ground.
  • the device status corresponding to this is "small bucket tip distance”. This means that the bucket tip distance is less than or equal to a predetermined value.
  • the "object” is not limited to the ground, but may be the bottom surface of a puddle or a buried object in the soil. Then, the data value in the information item B6 becomes the "bucket tip distance".
  • the user 52 knows the bucket tip distance when the bucket 32 is close to the object.
  • the bucket tip distance can be obtained from the "bucket tip distance sensor value" included in the device operation information D42 and the "video information around the bucket” included in the environmental information D44. Then, the amount of stimulation specified by the tactile presentation information D28 may be reduced as the bucket tip distance becomes longer. For example, the amount of stimulation may be inversely proportional to the bucket tip distance.
  • ⁇ B7 (relief remaining distance): The state in which the arm 34 (see FIG. 1) of the operation target device 30 is fully extended is referred to as a “relief state”.
  • the "relief remaining distance” is the result of subtracting the current length of the arm 34 from the length of the arm 34 in the relief state.
  • the device status corresponding to the information item B7 is "relief remaining distance small”. This means that the remaining relief distance is less than or equal to a predetermined value.
  • the data value in the information item B7 is the "relief remaining distance”.
  • the user 52 knows the remaining relief distance when the arm 34 is close to the relief state.
  • the remaining relief distance can be obtained from the amount of change in the "flood control of the arm 34" included in the device operation information D42.
  • the remaining relief distance becomes a problem especially when excavation operation is performed. Therefore, the information item B7 may be enabled when the "excavation operation" is detected in the operation information D26 or D30. Then, the amount of stimulation specified by the tactile presentation information D28 may be reduced as the remaining relief distance becomes longer. For example, the amount of stimulation may be inversely proportional to the remaining relief distance.
  • the traveling speed change amount of the information item C8 is, for example, an absolute value of acceleration with respect to the traveling speed of the operation target device 30.
  • the equipment status corresponding to this means that the amount of change in traveling speed is large, that is, the amount of change in traveling speed is equal to or greater than a predetermined value.
  • the data value in the information item C8 is the above-mentioned amount of change in traveling speed.
  • the amount of change in traveling speed can be obtained based on the traveling speed included in the device operation information D42. Then, the amount of stimulation specified by the tactile presentation information D28 may be increased as the amount of change in traveling speed increases. For example, the amount of stimulation may be proportional to the amount of change in traveling speed.
  • the general information D25 includes a video signal.
  • the information item C9 is the delay time of the video signal in the network 18.
  • the corresponding device status means that the video delay time is equal to or longer than a predetermined time.
  • the data value in the information item C9 is the video delay time described above. If the user 52 is unaware of the delay in the video signal, it may lead to an accident. Therefore, when the delay time of the video signal is large, it is preferable to notify the user 52 of the delay time.
  • the video delay time is measured by the video delay measuring unit 88 (see FIG. 1). Then, the stimulus amount specified by the tactile presentation information D28 may be increased as the video delay time becomes longer. For example, the amount of stimulation may be proportional to the delay time.
  • FIG. 4 is a flowchart of an information presentation routine executed by the control device 16.
  • the input / output unit 60 receives information D22, D26, D42, and D44 from each device of the remote control room 12 and the construction site 14.
  • the device status estimation unit 82 occurs in the operation target device 30 and the like based on the contents of the relational database 72 and the information D22, D26, D42, D44 and the like. Estimate the status of one or more devices and the corresponding information items (see FIG. 2). Further, when a plurality of information items are estimated in step S4, the device status estimation unit 82 compares the priorities of these information items and identifies the highest priority item, which is the information item having the highest priority.
  • the data value calculation unit 92 calculates the data value for the specified highest priority item.
  • the notification item setting unit 84 determines whether or not the highest priority item satisfies the setting condition to be set for the notification item based on the calculated data value. ..
  • This setting condition is, for example, a condition such as "the data value of the highest priority item is larger than a predetermined threshold value corresponding to the highest priority item".
  • step S8 If “No” is determined in step S8, the process returns to step S2. After that, the operations of steps S2 to S8 are repeated until it is determined as “Yes” in step S8. Then, if it is determined as "Yes” in step S8, the process proceeds to step S10, and the notification item setting unit 84 sets the highest priority item as the notification item.
  • the notification item setting unit 84 determines whether or not the notification item has been changed. That is, the notification item setting unit 84 determines whether or not the notification item set when the above-mentioned step S10 is executed has changed from the notification item set before that. If "Yes” is determined in step S12, the process proceeds to step S14, and if "No" is determined, the process proceeds to step S16.
  • the notification item notification unit 86 transmits the notification item information D24 for notifying that the notification item has been changed to the information output unit 24 via the input / output unit 60.
  • the information output unit 24 notifies the user 52 that the notification item has been changed.
  • the changed notification item is "A1: Peripheral object distance” (see FIG. 2)
  • the speaker 24b may emit a voice saying "The notification item has been changed to the distance to the surrounding object".
  • the tactile presentation information output unit 90 displays the data value previously calculated in step S6 and the contents of the worker personal database 76. Based on this, the amount of stimulation to be given to the user is calculated.
  • the tactile presentation information output unit 90 outputs the tactile presentation information D28 that notifies the tactile presentation device 28 (see FIG. 1) of the calculated stimulus amount. As a result, the tactile presentation device 28 transmits the tactile stimulus of the stimulus amount corresponding to the tactile presentation information D28 to the user 52.
  • the process of step S18 is completed, the process returns to step S2, and the above-described operation is repeated.
  • the information presenting device (16) has the operation information D26 indicating the operation state of the operation device 26 by the user 52 and the operation target device 30 remotely operated according to the operation information D26.
  • a notification item setting unit 84 that selects a notification item that is an information item to be notified to the user 52 from a plurality of information items based on the device operation information D42 that represents the operating state of the device, and a notification that represents the notification item. It includes a notification item notification unit 86 that outputs item information D24, and a tactile presentation information output unit 90 that outputs tactile presentation information D28 that represents the content of the tactile stimulus given to the user 52 in response to the notification item.
  • the information presenting device (16) can present various meanings to the tactile stimulus according to the notification item.
  • the notification item setting unit 84 selects the notification item based on the operation information D26, the device operation information D42, and the environment information D44, which is information on the surrounding environment of the operation target device 30. Thereby, the meaning of the tactile stimulus can be switched according to the surrounding environment.
  • the notification item setting unit 84 is based on the operation information D26, the device operation information D42, the environment information D44, and the user state information D22 which is information indicating the state of the user 52 other than the operation information D26. It is more preferable to select the notification item. Thereby, for example, the notification item can be selected according to the line of sight, physical condition, etc. of the user 52.
  • the tactile presentation information output unit 90 is a user who is information representing the states of the operation information D26, the device operation information D42, the environment information D44 which is the information of the surrounding environment of the operation target device 30, and the user 52 other than the operation information D26. It is more preferable to calculate the tactile presentation information D28 based on one or more pieces of information selected from the group consisting of the state information D22. Thereby, an appropriate tactile stimulus can be given to the user 52 based on the operation information D26, the device operation information D42, the environmental information D44, or the tactile presentation information D28.
  • the present invention is not limited to the above-described embodiment, and various modifications are possible.
  • the above-described embodiments are exemplified for the purpose of explaining the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the configurations described.
  • another configuration may be added to the configuration of the above embodiment, and a part of the configuration may be replaced with another configuration.
  • the control lines and information lines shown in the figure show what is considered necessary for explanation, and do not necessarily show all the control lines and information lines necessary for the product. In practice, it can be considered that almost all configurations are interconnected. Possible modifications to the above embodiment are, for example, as follows.
  • only one notification item for notifying the user 52 of the data value by the tactile stimulus is selected from the plurality of information items.
  • the notification item is not limited to only one item. For example, by selecting a plurality of notification items and assigning the four vibrating units 28WR, 28WL, 28DR, and 28DL (see FIG. 3) to the plurality of notification items, data values for the plurality of notification items can be simultaneously assigned to the user 52. Can be notified.
  • the information item selection unit 84 selects the notification item based on the line-of-sight information included in the user status information D22, but is based on the body temperature, heart rate, etc. included in the user status information D22.
  • the physical condition of the user 52 may be determined, and the notification item may be selected based on the physical condition of the user 52.
  • FIG. 4 The process shown in FIG. 4 and other processes described above have been described as software-like processes using a program in the above embodiment, but some or all of them are ASIC (Application Specific Integrated Circuit; specific use). It may be replaced with hardware-like processing using an application specific integrated circuit) or FPGA (Field Programmable Gate Array). Further, the database unit 70 shown in FIG. 1 may be provided in a cloud (not shown) connected to the network 18.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the power shovel is exemplified as the operation target device 30, but the operation target device 30 is not limited to the power shovel, and other civil engineering / construction equipment, industrial equipment, automobiles, and railways. It may be a vehicle, a ship, or the like.
  • Remote control system 16 Control device (information presentation device, computer) 24 Information output unit 26 Operation device 28 Tactile presentation device 30 Operation target device 52 User 84 Notification item setting unit (Notification item setting means) 86 Notification item notification unit (Notification item notification means) 90 Tactile presentation information output unit (tactile presentation information output means) D22 User status information D24 Notification item information D26 Operation information D28 Tactile presentation information D42 Device operation information D44 Environmental information

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)

Abstract

触覚刺激によって多種類の情報項目を提示できる情報提示装置を実現する。そのため、情報提示装置（１６）は、ユーザ（５２）による操作デバイス（２６）に対する操作状態を表す操作情報（Ｄ２６）と、操作情報（Ｄ２６）に応じて遠隔操作される操作対象機器（３０）の稼働状態を表す機器稼働情報（Ｄ４２）と、に基づいて、複数の情報項目の中から、ユーザ（５２）に報知すべき情報項目である報知項目を選択する報知項目設定部（８４）と、報知項目を表す報知項目情報（Ｄ２４）を出力する報知項目通知部（８６）と、報知項目に対応して、ユーザ（５２）に付与する触覚刺激の内容を表す触覚提示情報（Ｄ２８）を出力する触覚提示情報出力部（９０）と、を備える。

Description

情報提示装置、遠隔操作システムおよびプログラム
　本発明は、情報提示装置、遠隔操作システムおよびプログラムに関する。
　本技術分野の背景技術として、下記特許文献１には、「無人移動体の傾きの変化をオペレータが好適に検知することを可能とする」、「遠隔操縦システム１は、無人移動体２と、オペレータにより操作され当該無人移動体２との間で無線通信を行い当該無人移動体２の動作を制御する遠隔操縦装置３と、を含み、無人移動体２の傾斜角を検出する傾斜角検出部１９と、傾斜角検出部１９からの無人移動体の傾斜角に係る情報に基づいて、出力量を算出する出力量算出部３３と、オペレータに対して、出力量算出部３３により算出された前記出力量に対応する力触覚を提示する力触覚提示部としての操作部３１と、を有する。」と記載されている（要約参照）。
特開２０１８－１４２１２３号公報
　ところで、上述した技術においては、触覚刺激によって提示できる情報項目の種類が少ないという問題があった。
　この発明は上述した事情に鑑みてなされたものであり、触覚刺激によって多種類の情報項目を提示できる情報提示装置、遠隔操作システムおよびプログラムを提供することを目的とする。
　上記課題を解決するため本発明の情報提示装置は、ユーザによる操作デバイスに対する操作状態を表す操作情報と、前記操作情報に応じて遠隔操作される操作対象機器の稼働状態を表す機器稼働情報と、に基づいて、複数の情報項目の中から、前記ユーザに報知すべき情報項目である報知項目を選択する報知項目設定部と、前記報知項目を表す報知項目情報を出力する報知項目通知部と、前記報知項目に対応して、前記ユーザに付与する触覚刺激の内容を表す触覚提示情報を出力する触覚提示情報出力部と、を備えることを特徴とする。
　本発明によれば、触覚刺激によって多種類の情報項目を提示できる。
好適な第１実施形態による遠隔操作システムのブロック図である。 第１実施形態における情報項目の例を示す図である。 操作デバイスおよび触覚提示デバイスの模式図である。 情報提示ルーチンのフローチャートである。
［実施形態の前提］
　近年、掘削機等の建設機械の運転において人手不足が深刻化しており、遠隔地から建設機械を遠隔操作する需要がある。しかし、建設機械を遠隔操作すると、搭乗感覚の欠如から、作業性が悪くなる可能性が高まる。これは、遠隔操作室等においては、工事現場に居れば身体で感じられていたような傾斜感や遠心力等の様々な身体知覚情報が欠落するためである。また、同様の理由により、遠隔操作を行うユーザは、搭乗感覚の欠如によって、不適切な操作を引き起こし易くなり、これによって建設機械を転倒させ、あるいは機体にダメージを与える可能性が高まる。
　その対策として、欠落してしまう身体知覚情報を、メーターや数値等によって、ユーザに視覚的に通知することが考えられる。しかし、これでは、視覚的な情報が多量になり、読み取りのための認知的コストが高まり、ユーザにおいて疲労や作業効率の低下を引きおこす可能性がある。そこで、後述する好適な実施形態は、遠隔操作によって抜け落ちる情報を、触覚刺激を用いて通知することで、情報を直観的に知覚可能にし、視覚の認知負荷を下げようとするものである。
　特に、遠隔操作において、実搭乗に対して欠落する搭乗感覚を高めるために、ユーザに触覚フィードバックを行うことが有効であり、これによってユーザの自己主体感が向上できると考えられる。そして、同じ触覚刺激であっても、状況によって異なった感覚想起（意味づけ）を行うことによって、多種類の情報を提示できると考えられる。
　ここで、様々な情報を同時並行的に触覚フィードバックによってユーザに伝達すると、ユーザの混乱を招く虞が高くなる。そこで、同時並行的に伝達する情報の数を少なくしながら、触覚フィードバックによって伝達する情報を切り替えることが好ましいと考えられる。これにより、ユーザの視覚の認知負荷を下げつつ、ユーザに多種類の情報を提示することができ、作業性や安全性を向上させることができる。
［第１実施形態］
〈実施形態の構成〉
　図１は、好適な第１実施形態による遠隔操作システム１０のブロック図である。
　図１において、遠隔操作システム１０は、制御装置１６（情報提示装置、コンピュータ）と、ユーザ状態検出部２２と、情報出力部２４と、操作デバイス２６と、触覚提示デバイス２８と、操作対象機器３０と、機器情報検出部４２と、環境状態検出部４４と、を備えている。そして、制御装置１６と、他の構成要素とは、ネットワーク１８を介して双方向通信する。
　操作対象機器３０は、工事現場１４に配置され遠隔操作される機器であり、図示の例ではパワーショベルである。そして、図示の例において、操作対象機器３０は、バケット３２と、アーム３４と、車体３６と、履帯３８と、を備えている。バケット３２およびアーム３４は油圧駆動され、工事現場１４の土砂等を掘削する。また、操作対象機器３０は、履帯３８を駆動することによって自走する。そして、車体３６は、アーム３４およびバケット３２とともに、履帯３８に対して旋回可能である。
　操作対象機器３０は、制御装置１６から操作情報Ｄ３０を受信し、この操作情報Ｄ３０に基づいて各部を駆動する。機器情報検出部４２は、操作対象機器３０における各種情報を検出し、検出結果を機器稼働情報Ｄ４２として制御装置１６に出力する。また、環境状態検出部４４は、工事現場１４における各種環境を計測し、その結果を環境情報Ｄ４４として制御装置１６に出力する。
　より具体的には、機器情報検出部４２は、履帯３８の傾斜角である機体傾斜角を計測するチルトセンサ、バケット３２の積載量を計測する積載量センサ、バケット３２およびアーム３４の各部の油圧を計測する油圧センサ、操作対象機器３０の振動量を計測する振動センサ、バケット先端距離センサ、操作対象機器３０の重心位置を計測する重心位置センサ、履帯３８の走行速度センサ、車体３６の旋回速度センサ等を備えている（何れも図示略）。なお、バケット先端距離センサは、「バケット先端距離」を計測するものであり、これは、「バケット３２の先端位置から地盤等の対象物までの距離」を意味する。
　また、環境状態検出部４４は、周囲の人を検出する人感センサ、周囲音を収集する周囲音センサ、運転席からバケット３２の方向を撮像する運転席カメラ、操作対象機器３０の周辺映像を撮像する周辺カメラ、地面の状態（地面の凹凸状態、地面のぬかるみの状態、土壌硬度地盤の材質等）を計測する土壌センサ、風速計、雨量計等を備えている（何れも図示略）。
　また、ユーザ状態検出部２２、情報出力部２４、操作デバイス２６および触覚提示デバイス２８は、遠隔操作室１２に設けられている。操作デバイス２６は、操作対象機器３０を遠隔操作するためのデバイスであり、ユーザ５２に操作される。そして、操作デバイス２６に対する操作内容は、操作情報Ｄ２６として制御装置１６に供給される。制御装置１６は、この操作情報Ｄ２６に基づいて、上述した操作情報Ｄ３０を生成し、操作対象機器３０に供給する。但し、制御装置１６は、操作情報Ｄ２６をそのまま操作情報Ｄ３０として、操作対象機器３０に供給してもよい。
　触覚提示デバイス２８は、制御装置１６から受信した触覚提示情報Ｄ２８に基づいてユーザに触覚フィードバックを行う。例えば、触覚提示デバイス２８は、操作デバイス２６を振動させることによって、ユーザに触覚刺激を伝達する。そして、本実施形態においては、触覚提示デバイス２８は、複数の情報項目のうち何れか一項目に対するデータ値を、触覚フィードバックによってユーザに報知する。ここで、触覚刺激に係る量を「刺激量」と呼ぶ。例えば、刺激量は、触覚提示デバイス２８の振動振幅とすることができる。また、触覚提示デバイス２８が所定の周期で振動のオン／オフを繰り返す場合には、「振動がオン状態になる期間の長さ」を刺激量とすることができる。
　図２は、本実施形態における情報項目の例を示す図である。
　図示の例では、Ａ１～Ａ３，Ｂ４～Ｂ７，Ｃ８，Ｃ９の合計９種類の情報項目の中から、ユーザに報知すべき情報項目（以下、報知項目と呼ぶ）が選択される。また、各情報項目には、対応する「機器状況（操作対象機器３０等の状況）」が存在する。そして、その機器状況が生じた場合に、当該情報項目が報知項目として選択される可能性が生じる。例えば、情報項目Ａ１（周辺物距離）は、「周辺物接近」（何らかの物体が操作対象機器３０に接近している）という機器状況に対応するため、その機器状況が生じた際に、報知項目として選択され得る。また、情報項目Ａ３（遠心力）は、「遠心力大」（バケット３２に生じる遠心力が大きい）という機器状況が生じた際に、報知項目として選択され得る。
　これら情報項目には、ユーザ５２に報知する優先度が定められており、図２において上の欄ほど優先度が高くなっている。すなわち、情報項目Ａ１～Ａ３は、主として安全確保に関する項目であるため、最も優先度が最も高い。また、情報項目Ｂ４～Ｂ７は、主として作業の効率化や機体保全に関する項目であるから、次に優先度が高い項目になる。また、情報項目Ｃ８，Ｃ９は、主として操作ミスの防止に関する項目であり、優先度が最も低くなっている。なお、図２に示す各情報項目および機器状況の詳細については後述する。
　図１に戻り、情報出力部２４は、ディスプレイ２４ａと、スピーカ２４ｂと、を備えている。ディスプレイ２４ａはフラットパネルディスプレイであっても、ヘッドマウントディスプレイであってもよい。そして、情報出力部２４は、制御装置１６から報知項目情報Ｄ２４と、一般情報Ｄ２５と、を受信し、これらの内容を映像および音声によってユーザ５２に報知する。
　ここで、報知項目情報Ｄ２４とは、上述した報知項目をユーザ５２に通知するものである。また、一般情報Ｄ２５とは、報知項目情報Ｄ２４以外の各種情報である。例えば、一般情報Ｄ２５は、操作対象機器３０の運転席に設けられた運転席カメラ（図示せず）で撮影した動画、操作対象機器３０の周辺映像、操作対象機器３０の周辺音声、操作対象機器３０における各種状態を示すデータ等を含んでいる。
　ユーザ状態検出部２２は、操作情報Ｄ２６以外のユーザ５２の状態を計測し、その結果をユーザ状態情報Ｄ２２として出力する。ユーザ状態検出部２２は、ユーザ５２を撮影するユーザ撮影カメラ（図示せず）、該ユーザ撮影カメラの画像に基づいて、ユーザ５２の視線を検出する視線検出装置、ユーザ５２の体温を検出する体温計ユーザ５２の心拍数を検出する心拍計等を備えている。
　制御装置１６は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＳＳＤ（Solid State Drive）等、一般的なコンピュータとしてのハードウエアを備えており、ＳＳＤには、ＯＳ（Operating System）、アプリケーションプログラム、各種データ等が格納されている。ＯＳおよびアプリケーションプログラムは、ＲＡＭに展開され、ＣＰＵによって実行される。図１において、制御装置１６の内部は、アプリケーションプログラム等によって実現される機能を、ブロックとして示している。
　すなわち、制御装置１６は、入出力部６０と、データベース部７０と、演算部８０と、を備えている。入出力部６０は、遠隔操作室１２および工事現場１４における各機器との間で、ネットワーク１８を介して、上述した各種情報Ｄ２２～Ｄ４４を送受信する。そして、データベース部７０は、関係データベース７２と、作業関連データベース７４と、作業者個人データベース７６と、を備えている。関係データベース７２は、制御装置１６に入力される情報Ｄ２２，Ｄ２６，Ｄ４２，Ｄ４４と、推定される「機器状況」（図２参照）との関係を規定する。
　また、作業関連データベース７４は、工事現場１４における作業工程や、施工図データ等を格納する。また、作業者個人データベース７６は、ユーザ５２の種々の個人情報を記憶する。特に、作業者個人データベース７６は、ユーザ５２の好みに応じて、刺激量を補正する個人補正情報を記憶する。例えば、ユーザ５２がベテランである場合は、刺激量を弱くすることが考えられる。
　また、演算部８０は、機器状況推定部８２と、報知項目設定部８４（報知項目設定手段）と、報知項目通知部８６（報知項目通知手段）と、映像遅延計測部８８と、触覚提示情報出力部９０（触覚提示情報出力手段）と、を備えている。そして、触覚提示情報出力部９０は、データ値算出部９２と、刺激量算出部９４と、を備えている。機器状況推定部８２は、制御装置１６に入力される情報Ｄ２２，Ｄ２６，Ｄ４２，Ｄ４４と、関係データベース７２の内容と、に基づいて、発生している一または複数の機器状況（図２参照）と、対応する情報項目とを推定する。さらに、機器状況推定部８２は、推定した情報項目の中から、最も優先度の高い情報項目（図２の中で最も上の欄にある情報項目）である最優先項目を特定する。
　報知項目設定部８４は、機器状況推定部８２が特定した最優先項目を、ユーザにデータを報知しようとする報知項目として設定するか否かを決定する。また、報知項目通知部８６は、設定された報知項目を、報知項目情報Ｄ２４として、入出力部６０およびネットワーク１８を介して情報出力部２４に出力する。
　触覚提示情報出力部９０におけるデータ値算出部９２は、最優先項目に対するデータ値を算出する。また、触覚提示情報出力部９０における刺激量算出部９４は、報知項目に対応するデータ値と、作業者個人データベース７６と、に基づいて、ユーザ５２に対応した刺激量を算出する。そして、触覚提示情報出力部９０は、算出した刺激量を指定する触覚提示情報Ｄ２８を、入出力部６０およびネットワーク１８を介して触覚提示デバイス２８に出力する。
　図３は、操作デバイス２６および触覚提示デバイス２８の模式図である。
　操作デバイス２６は、左作業レバー２６ＷＬと、右作業レバー２６ＷＲと、左走行レバー２６ＤＬと、右走行レバー２６ＤＲと、を備えている。左右の作業レバー２６ＷＬ，２６ＷＲは、バケット３２、アーム３４の操作および車体３６の旋回操作に用いられる。また、左右の走行レバー２６ＤＬ，２６ＤＲは、履帯３８の走行操作に用いられる。従って、操作情報Ｄ２６（図１参照）には、バケット３２の操作、アーム３４の操作、車体３６の旋回操作、および履帯３８の走行操作に関する情報が含まれる。
　また、触覚提示デバイス２８は、４個の振動部２８ＷＲ，２８ＷＬ，２８ＤＲ，２８ＤＬを備えている。振動部２８ＷＲ，２８ＷＬ，２８ＤＲ，２８ＤＬは、それぞれ、各レバー２６ＷＲ，２６ＷＬ，２６ＤＲ，２６ＤＬの下部に装着され、触覚提示情報Ｄ２８に基づいて振動すると、対応するレバーが振動する。これにより、振動したレバーをユーザ５２が把持していると、ユーザ５２の手に、振動による触覚刺激が伝達される。触覚提示情報Ｄ２８が触覚提示デバイス２８に供給された際、全ての振動部２８ＷＲ，２８ＷＬ，２８ＤＲ，２８ＤＬを振動させてもよく、報知項目情報Ｄ２４に対応した一部の振動部を振動させてもよい。
〈情報項目および機器状況の詳細〉
　ここで、再び図２を参照して、各々の情報項目および機器状況の詳細を説明する。
・Ａ１（周辺物距離）：
　情報項目Ａ１（周辺物距離）に対応する機器状況は、「周辺物接近」である。これは、操作対象機器３０の周辺（例えば操作対象機器３０から所定距離内）に、「人」や「物」等の周辺物が存在することを意味する。そして、情報項目Ａ１におけるデータ値の意味は、操作対象機器３０から周辺物までの「距離」になる。仮に、ユーザが操作対象機器３０の周辺物に気づかなかった場合、接触事故が生じる虞がある。そのため、ユーザ５２は、操作対象機器３０と周辺物との距離を把握しておくことが好ましい。周辺物および操作対象機器３０から周辺物までの距離の検出は、環境情報Ｄ４４に含まれる人感センサ値または周辺カメラ映像によって検出するとよい。
　また、ユーザ状態情報Ｄ２２に含まれるユーザ５２の視線情報によって、ユーザ５２が周辺物（より正確にはディスプレイ２４ａに表示された周辺物の像）を注視しているか否かを判別できる。そこで、ユーザ５２が周辺物を注視していない場合に、この情報項目Ａ１を有効化してもよい。そして、触覚提示情報Ｄ２８で指定される刺激量は、この「距離」が長くなるほど減少させるとよい。例えば、刺激量を「距離」に反比例させるとよい。
・Ａ２（機体傾斜指数）：
　情報項目Ａ２の「機体傾斜指数」とは、例えば機体傾斜角である。そして、これに対応する機器状況は、「機体傾斜指数大」である。これは、機体傾斜指数が所定値よりも大きい状況で、操作対象機器３０が走行を続けていることを意味する。そして、情報項目Ａ２におけるデータ値の意味は、操作対象機器３０の機体傾斜指数である。操作対象機器３０が走行している場合には、機体傾斜指数が変化するため、ユーザ５２がその変化を見落とすと、操作対象機器３０が転倒する可能性が生じる。このため、操作対象機器３０の走行中は、ユーザ５２によって機体傾斜指数の変化を連続的に把握できることが好ましい。
　機体傾斜指数は、機器稼働情報Ｄ４２に含まれる機体傾斜角をそのまま適用することが考えられる。但し、機体傾斜角に対して若干の補正を施した値を機体傾斜指数として採用してもよい。例えば、工事現場１４における地面の凹凸や、ぬかるみが大きい場合、風速や雨量が大きい場合には、機体傾斜角が急激に変化することがある。そこで、環境情報Ｄ４４に含まれる地面の凹凸状態、地面のぬかるみの状態、風速、雨量等が所定値よりも大きい場合は、機体傾斜指数を、機体傾斜角よりも大きな値に補正してもよい。
　また、ユーザ状態情報Ｄ２２に含まれるユーザ５２の視線情報によって、ユーザが走行レバー２６ＤＬ，２６ＤＲ等を注視していることが検出された場合にも、機体傾斜指数を機体傾斜角よりも大きくしてもよい。また、操作情報Ｄ２６によって、ユーザ５２が走行操作（走行レバー２６ＤＬ，２６ＤＲの操作）を行っている場合に、この情報項目Ａ２を有効化してもよい。そして、触覚提示情報Ｄ２８で指定される刺激量は、この機体傾斜指数が大きくなるほど増加させるとよい。例えば、刺激量を機体傾斜指数に比例させるとよい。
・Ａ３（遠心力）：
　情報項目Ａ３（遠心力）に対応する機器状況は「遠心力大」である。これは、操作対象機器３０にかかる遠心力が所定値よりも大きい状況で、車体３６が旋回していることを意味する。そして、情報項目Ａ３におけるデータ値の意味は、「操作対象機器３０にかかる遠心力」である。遠心力が過大になると、操作対象機器３０を転倒させる可能性があるため、遠心力が大きい場合には、ユーザ５２が遠心力を連続的に把握できることが好ましい。
　遠心力は、機器稼働情報Ｄ４２に含まれる「バケットの積載量センサ値」によって求めることができる。また、操作情報Ｄ２６によって、ユーザ５２がバケット３２の旋回操作を行っている場合に、この情報項目Ａ３を有効化してもよい。さらに、ユーザ状態情報Ｄ２２に含まれるユーザ５２の視線情報によって、ユーザが、バケット３２の移動先を注視している場合に、この情報項目Ａ３を有効化してもよい。そして、触覚提示情報Ｄ２８で指定される刺激量は、この遠心力が大きくなるほど増加させるとよい。例えば、刺激量を遠心力に比例させるとよい。
・Ｂ４（バケット積載量）：
　情報項目Ｂ４（バケット積載量）に対応する機器状況は「バケット積載量大」である。これは、バケット３２の積載量が所定重量よりも大きいことを意味する。そして、情報項目Ｂ４におけるデータ値は、「バケット３２の積載量」である。バケット３２内の土砂に水が多く含まれている場合等には、バケット３２の積載量は、見た目よりも重くなる。そのため、バケット３２の積載量が大きい場合には、その大きさをユーザ５２が把握しておくことが好ましい。バケット積載量は、「バケットにおける油圧変化量」、「バケットの積載量センサ値」、環境情報Ｄ４４に含まれる「地盤計測結果」等に応じて求めることができる。そして、触覚提示情報Ｄ２８で指定される刺激量は、この積載量が大きくなるほど増加させるとよい。例えば、刺激量を積載量に比例させるとよい。
・Ｂ５（土壌硬度）：
　情報項目Ｂ５に対応する機器状況は「土壌硬度大」である。これは、作業対象となる地盤の土壌硬度が所定値よりも大きいことを意味し、より詳細には、バケット３２を地面に挿入した際にバケット３２に印加される負荷が所定値よりも大きいことを意味する。そして、情報項目Ｂ５におけるデータ値は、「作業対象となる地盤の土壌硬度」である。作業対象の土壌硬度が大きいと、バケット３２を地面に挿入した際に操作対象機器３０の一部が地面から浮き上がり、操作対象機器３０が傾く。この傾きが大きいと、操作対象機器３０の転倒を招くため、ユーザは、作業対象の土壌硬度を把握しておくことが好ましい。
　土壌硬度、すなわちバケット３２に印加される負荷は、機器稼働情報Ｄ４２に含まれる「バケット３２における油圧」の変化量によって求めることができる。また、バケット３２を地盤に挿入した際の、操作対象機器３０における振動量（これは機器稼働情報Ｄ４２に含まれる）や、周囲音すなわち衝撃音の大きさ（これは環境情報Ｄ４４に含まれる）によっても土壌硬度を求めることができる。さらに、環境情報Ｄ４４における「地盤の材質」（例えば、岩石の組成や、水の含有量等）によっても、間接的に土壌硬度を求めることができる。そして、触覚提示情報Ｄ２８で指定される刺激量は、土壌硬度が大きくなるほど増加させるとよい。例えば、刺激量を、土壌硬度に比例させるとよい。
・Ｂ６（バケット先端距離）：
　上述のように、バケット先端距離とは、バケット３２の先端位置から地盤等の対象物までの距離である。そして、これに対応する機器状況は、「バケット先端距離小」である。これは、バケット先端距離が所定値以下であることを意味する。ここで、「対象物」は、地盤に限られず、水溜まりの底面や土中の埋没物であってもよい。そして、情報項目Ｂ６におけるデータ値は、「バケット先端距離」になる。
　バケット３２が高速で地盤等の対象物に衝突すると、操作対象機器３０に無理な力が加わり、機体にダメージが生じることがある。そのため、ユーザ５２は、バケット３２が対象物に近接している場合には、バケット先端距離を把握しておくことが好ましい。バケット先端距離は、機器稼働情報Ｄ４２に含まれる「バケット先端距離センサの値」や、環境情報Ｄ４４に含まれる「バケット周辺の映像情報」によって求めることができる。そして、触覚提示情報Ｄ２８で指定される刺激量は、バケット先端距離が長くなるほど、減少させるとよい。例えば、刺激量を、バケット先端距離に反比例させるとよい。
・Ｂ７（リリーフ残距離）：
　操作対象機器３０のアーム３４（図１参照）を伸ばしきった状態を「リリーフ状態」と呼ぶ。そして、「リリーフ残距離」とは、リリーフ状態におけるアーム３４の長さから、アーム３４の現状の長さを減算した結果である。情報項目Ｂ７に対応する機器状況は、「リリーフ残距離小」である。これは、リリーフ残距離が所定値以下であることを意味する。そして、情報項目Ｂ７におけるデータ値は、「リリーフ残距離」である。
　操作対象機器３０がリリーフ状態であるときに、バケット３２やアーム３４に強い力が印加されると、機体にダメージが生じることがある。そのため、ユーザ５２は、アーム３４がリリーフ状態に近い場合には、リリーフ残距離を把握しておくことが好ましい。リリーフ残距離は、機器稼働情報Ｄ４２に含まれる「アーム３４の油圧」の変化量によって求めることができる。ここで、リリーフ残距離は、特に掘削操作を行っている場合に問題となる。そこで、操作情報Ｄ２６またはＤ３０において、「掘削操作」が検出された場合に情報項目Ｂ７を有効化してもよい。そして、触覚提示情報Ｄ２８で指定される刺激量は、リリーフ残距離が長くなるほど、減少させるとよい。例えば、刺激量を、リリーフ残距離に反比例させるとよい。
・Ｃ８（走行速度変化量）：
　情報項目Ｃ８の走行速度変化量とは、例えば操作対象機器３０の走行速度に対する加速度の絶対値である。また、これに対応する機器状況は、「走行速度変化量大」、すなわち走行速度変化量が所定値以上であることを意味する。そして、情報項目Ｃ８におけるデータ値は、上述した走行速度変化量である。操作対象機器３０が走行状態である場合、工事現場１４の地面の状態によって、走行速度が変化する場合がある。
　その際、遠隔操作室１２に在室するユーザ５２が走行速度の変化に気づかないと、事故につながる可能性がある。そこで、走行速度の変化が大きい場合には、その旨をユーザ５２に報知できれば好ましい。走行速度変化量は、機器稼働情報Ｄ４２に含まれる走行速度に基づいて求めることができる。そして、触覚提示情報Ｄ２８で指定される刺激量は、走行速度変化量が大きくなるほど、増加させるとよい。例えば、刺激量を走行速度変化量に比例させるとよい。
・Ｃ９（映像遅延時間）：
　上述したように、一般情報Ｄ２５には、映像信号が含まれている。そして、情報項目Ｃ９は、ネットワーク１８における該映像信号の遅延時間である。そして、対応する機器状況（映像遅延時間・長）は、この映像遅延時間が所定時間以上であることを意味する。そして、情報項目Ｃ９におけるデータ値は、上述した映像遅延時間である。ユーザ５２が映像信号の遅延に気づいていないと、事故につながることがある。そこで、映像信号の遅延時間が大きい場合には、ユーザ５２に対して遅延時間を報知することが好ましい。映像遅延時間は、映像遅延計測部８８（図１参照）が計測する。そして、触覚提示情報Ｄ２８で指定される刺激量は、映像遅延時間が長くなるほど、増加させるとよい。例えば、刺激量を遅延時間に比例させるとよい。
〈第１実施形態の動作〉
　図４は、制御装置１６において実行される情報提示ルーチンのフローチャートである。
　図４において処理がステップＳ２に進むと、入出力部６０（図１参照）は、遠隔操作室１２および工事現場１４の各機器から、情報Ｄ２２，Ｄ２６，Ｄ４２，Ｄ４４を受信する。次に、処理がステップＳ４に進むと、機器状況推定部８２（図１参照）は、関係データベース７２の内容、情報Ｄ２２，Ｄ２６，Ｄ４２，Ｄ４４等に基づいて、操作対象機器３０等に発生している一または複数の機器状況および対応する情報項目（図２参照）を推定する。また、機器状況推定部８２は、ステップＳ４において複数の情報項目が推定された場合には、これら情報項目の優先度を比較し、最も優先度の高い情報項目である最優先項目を特定する。
　次に、処理がステップＳ６に進むと、データ値算出部９２（図１参照）は、特定された最優先項目について、データ値を算出する。次に、処理がステップＳ８に進むと、報知項目設定部８４は、計算されたデータ値に基づいて、当該最優先項目は報知項目に設定すべき設定条件を充足しているか否かを判定する。この設定条件は、例えば、「最優先項目のデータ値が、当該最優先項目に対応する所定の閾値よりも大きい」のような条件である。
　ステップＳ８において「Ｎｏ」と判定されると、処理はステップＳ２に戻る。以降は、ステップＳ８において「Ｙｅｓ」と判定されるまで、ステップＳ２～Ｓ８の動作が繰り返される。そして、ステップＳ８において「Ｙｅｓ」と判定されると、処理はステップＳ１０に進み、報知項目設定部８４は、最優先項目を報知項目に設定する。
　次に、処理がステップＳ１２に進むと、報知項目設定部８４は、報知項目に変更が生じたか否かを判定する。すなわち、報知項目設定部８４は、上述したステップＳ１０が実行された際に設定された報知項目が、それ以前に設定されていた報知項目から変化したか否かを判定する。ステップＳ１２において「Ｙｅｓ」と判定されると、処理はステップＳ１４に進み、「Ｎｏ」と判定されると、処理はステップＳ１６に進む。
　ステップＳ１４においては、報知項目通知部８６（図１参照）は、入出力部６０を介して、報知項目が変更された旨を通知する報知項目情報Ｄ２４を、情報出力部２４に送信する。情報出力部２４は、報知項目が変更された旨をユーザ５２に通知する。例えば変更後の報知項目が「Ａ１：周辺物距離」（図２参照）である場合には、ディスプレイ２４ａ（図１参照）に「周辺物距離」の点滅する文字列を表示することが考えられる。また、これに代えて（またはこれに加えて）、スピーカ２４ｂから、「報知項目は周辺物距離に変更されました」という音声を放音してもよい。
　図４に戻り、次に処理がステップＳ１６に進むと、触覚提示情報出力部９０（図１参照）は、先にステップＳ６において算出されたデータ値と、作業者個人データベース７６の内容と、に基づいて、ユーザに与えるべき刺激量を算出する。次に、処理がステップＳ１８に進むと、触覚提示情報出力部９０は、算出した刺激量を触覚提示デバイス２８（図１参照）に通知する触覚提示情報Ｄ２８を出力する。これにより、触覚提示デバイス２８は、触覚提示情報Ｄ２８に応じた刺激量の触覚刺激をユーザ５２に伝達する。ステップＳ１８の処理が終了すると、処理はステップＳ２に戻り、上述した動作が繰り返される。
〈第１実施形態の効果〉
　以上のように好適な実施形態によれば、情報提示装置（１６）は、ユーザ５２による操作デバイス２６に対する操作状態を表す操作情報Ｄ２６と、操作情報Ｄ２６に応じて遠隔操作される操作対象機器３０の稼働状態を表す機器稼働情報Ｄ４２と、に基づいて、複数の情報項目の中から、ユーザ５２に報知すべき情報項目である報知項目を選択する報知項目設定部８４と、報知項目を表す報知項目情報Ｄ２４を出力する報知項目通知部８６と、報知項目に対応して、ユーザ５２に付与する触覚刺激の内容を表す触覚提示情報Ｄ２８を出力する触覚提示情報出力部９０と、を備える。これにより、情報提示装置（１６）は、触覚刺激に対して、報知項目に応じた多種類の意味を提示できる。
　また、報知項目設定部８４は、操作情報Ｄ２６と、機器稼働情報Ｄ４２と、に加えて、操作対象機器３０の周辺環境の情報である環境情報Ｄ４４に基づいて報知項目を選択すると、さらに好ましい。これにより、周辺環境に応じて、触覚刺激の意味を切り替えることができる。
　また、報知項目設定部８４は、操作情報Ｄ２６と、機器稼働情報Ｄ４２と、環境情報Ｄ４４と、に加えて、操作情報Ｄ２６以外のユーザ５２の状態を表す情報であるユーザ状態情報Ｄ２２に基づいて報知項目を選択すると、さらに好ましい。これにより、例えばユーザ５２の視線や体調等に応じて、報知項目を選択することができる。
　また、触覚提示情報出力部９０は、操作情報Ｄ２６、機器稼働情報Ｄ４２、操作対象機器３０の周辺環境の情報である環境情報Ｄ４４、および操作情報Ｄ２６以外のユーザ５２の状態を表す情報であるユーザ状態情報Ｄ２２からなる群から選ばれた一または複数の情報に基づいて触覚提示情報Ｄ２８を算出すると、さらに好ましい。これにより、操作情報Ｄ２６、機器稼働情報Ｄ４２、環境情報Ｄ４４または触覚提示情報Ｄ２８に基づいて、ユーザ５２に適切な触覚刺激を与えることができる。
［変形例］
　本発明は上述した実施形態に限定されるものではなく、種々の変形が可能である。上述した実施形態は本発明を理解しやすく説明するために例示したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記実施形態の構成に他の構成を追加してもよく、構成の一部について他の構成に置換をすることも可能である。また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、製品上で必要な全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。上記実施形態に対して可能な変形は、例えば以下のようなものである。
（１）上述した実施形態においては、複数の情報項目の中から触覚刺激によってユーザ５２にデータ値を報知する報知項目は、一項目のみ選択された。しかし、報知項目は一項目のみに限定されるわけではない。例えば、複数の報知項目を選択し、４個の振動部２８ＷＲ，２８ＷＬ，２８ＤＲ，２８ＤＬ（図３参照）をこれら複数の報知項目に割り当てることにより、複数の報知項目に対するデータ値をユーザ５２に同時に報知できる。
（２）上記実施形態における制御装置１６のハードウエアは一般的なコンピュータによって実現できるため、図４に示したフローチャート、その他上述した各種処理を実行するプログラム等を記憶媒体に格納し、または伝送路を介して頒布してもよい。
（３）また、上記実施形態においては、情報項目選択部８４は、ユーザ状態情報Ｄ２２に含まれる視線情報によって、報知項目を選択したが、ユーザ状態情報Ｄ２２に含まれる体温、心拍数等に基づいてユーザ５２の体調を判定し、ユーザ５２の体調に基づいて報知項目を選択してもよい。
（４）図４に示した処理、その他上述した各処理は、上記実施形態ではプログラムを用いたソフトウエア的な処理として説明したが、その一部または全部をＡＳＩＣ(Application Specific Integrated Circuit；特定用途向けＩＣ)、あるいはＦＰＧＡ(Field Programmable Gate Array)等を用いたハードウエア的な処理に置き換えてもよい。また、図１に示したデータベース部７０は、ネットワーク１８に接続されたクラウド（図示せず）に設けてもよい。
（５）また、上記実施形態においては、操作対象機器３０としてパワーシャベルを例示したが、操作対象機器３０はパワーシャベルに限られるものではなく、他の土木・建設機器、工業機器、自動車、鉄道車両、船舶等であってもよい。
１０　遠隔操作システム
１６　制御装置（情報提示装置、コンピュータ）
２４　情報出力部
２６　操作デバイス
２８　触覚提示デバイス
３０　操作対象機器
５２　ユーザ
８４　報知項目設定部（報知項目設定手段）
８６　報知項目通知部（報知項目通知手段）
９０　触覚提示情報出力部（触覚提示情報出力手段）
Ｄ２２　ユーザ状態情報
Ｄ２４　報知項目情報
Ｄ２６　操作情報
Ｄ２８　触覚提示情報
Ｄ４２　機器稼働情報
Ｄ４４　環境情報

Claims (6)

  1. 　ユーザによる操作デバイスに対する操作状態を表す操作情報と、前記操作情報に応じて遠隔操作される操作対象機器の稼働状態を表す機器稼働情報と、に基づいて、複数の情報項目の中から、前記ユーザに報知すべき情報項目である報知項目を選択する報知項目設定部と、
    　前記報知項目を表す報知項目情報を出力する報知項目通知部と、
    　前記報知項目に対応して、前記ユーザに付与する触覚刺激の内容を表す触覚提示情報を出力する触覚提示情報出力部と、を備える
    　ことを特徴とする情報提示装置。
  2. 　前記報知項目設定部は、前記操作情報と、前記機器稼働情報と、に加えて、前記操作対象機器の周辺環境の情報である環境情報に基づいて前記報知項目を選択する
    　ことを特徴とする請求項１に記載の情報提示装置。
  3. 　前記報知項目設定部は、前記操作情報と、前記機器稼働情報と、前記環境情報と、に加えて、前記操作情報以外の前記ユーザの状態を表す情報であるユーザ状態情報に基づいて前記報知項目を選択する
    　ことを特徴とする請求項２に記載の情報提示装置。
  4. 　前記触覚提示情報出力部は、前記操作情報、前記機器稼働情報、前記操作対象機器の周辺環境の情報である環境情報、および前記操作情報以外の前記ユーザの状態を表す情報であるユーザ状態情報からなる群から選ばれた一または複数の情報に基づいて前記触覚提示情報を算出する
    　ことを特徴とする請求項１に記載の情報提示装置。
  5. 　ユーザによる操作デバイスに対する操作状態を表す操作情報と、前記操作情報に応じて遠隔操作される操作対象機器の稼働状態を表す機器稼働情報と、に基づいて、複数の情報項目の中から、前記ユーザに報知すべき情報項目である報知項目を選択する報知項目設定部と、
    　前記報知項目を表す報知項目情報を出力する報知項目通知部と、
    　前記報知項目に対応して、前記ユーザに付与する触覚刺激の内容を表す触覚提示情報を出力する触覚提示情報出力部と、
    　前記操作デバイスと、
    　前記操作対象機器と、
    　前記触覚提示情報に基づいて前記ユーザに触覚刺激を与える触覚提示デバイスと、
    　前記報知項目情報に基づいて前記ユーザに前記報知項目を通知する情報出力部と、を備える
    　ことを特徴とする遠隔操作システム。
  6. 　コンピュータを、
    　ユーザによる操作デバイスに対する操作状態を表す操作情報と、前記操作情報に応じて遠隔操作される操作対象機器の稼働状態を表す機器稼働情報と、に基づいて、複数の情報項目の中から、前記ユーザに報知すべき情報項目である報知項目を選択する報知項目設定手段、
    　前記報知項目を表す報知項目情報を出力する報知項目通知手段、
    　前記報知項目に対応して、前記ユーザに付与する触覚刺激の内容を表す触覚提示情報を出力する触覚提示情報出力手段、
    　として機能させるためのプログラム。
PCT/JP2020/031892 2020-03-24 2020-08-24 情報提示装置、遠隔操作システムおよびプログラム WO2021192349A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-052914 2020-03-24
JP2020052914A JP7260502B2 (ja) 2020-03-24 2020-03-24 情報提示装置、遠隔操作システムおよびプログラム

Publications (1)

Publication Number Publication Date
WO2021192349A1 true WO2021192349A1 (ja) 2021-09-30

Family

ID=77887332

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/031892 WO2021192349A1 (ja) 2020-03-24 2020-08-24 情報提示装置、遠隔操作システムおよびプログラム

Country Status (2)

Country Link
JP (1) JP7260502B2 (ja)
WO (1) WO2021192349A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011148946A1 (ja) * 2010-05-24 2011-12-01 日立建機株式会社 作業機械の安全装置
JP2016194237A (ja) * 2015-03-31 2016-11-17 株式会社小松製作所 作業機械
WO2019111859A1 (ja) * 2017-12-04 2019-06-13 住友重機械工業株式会社 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム
WO2019172424A1 (ja) * 2018-03-08 2019-09-12 住友重機械工業株式会社 作業機械、情報処理装置、情報処理方法、プログラム
JP2019169065A (ja) * 2018-03-26 2019-10-03 東京電力ホールディングス株式会社 点検システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011148946A1 (ja) * 2010-05-24 2011-12-01 日立建機株式会社 作業機械の安全装置
JP2016194237A (ja) * 2015-03-31 2016-11-17 株式会社小松製作所 作業機械
WO2019111859A1 (ja) * 2017-12-04 2019-06-13 住友重機械工業株式会社 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム
WO2019172424A1 (ja) * 2018-03-08 2019-09-12 住友重機械工業株式会社 作業機械、情報処理装置、情報処理方法、プログラム
JP2019169065A (ja) * 2018-03-26 2019-10-03 東京電力ホールディングス株式会社 点検システム

Also Published As

Publication number Publication date
JP7260502B2 (ja) 2023-04-18
JP2021152752A (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
JP5491627B2 (ja) 作業機械の安全装置
JP6023053B2 (ja) 作業機械
AU2019200237B2 (en) Controlling the operation of an industrial machine based on wire rope dead wraps
CA2916689C (en) Controlling a digging attachment along a path or trajectory
US20150004572A1 (en) Real-Time Operation-Based Onboard Coaching System
AU2015202126B2 (en) Controlling crowd runaway of an industrial machine
US20180230673A1 (en) Systems and methods for controlling machine ground pressure and tipping
JPWO2014013877A1 (ja) 作業機械
AU2016202469B2 (en) Dipper drop detection and mitigation in an industrial machine
WO2021192349A1 (ja) 情報提示装置、遠隔操作システムおよびプログラム
FI129250B (en) Control system for controlling the machine tool
KR101776819B1 (ko) 굴삭기 전도 상태 판별 방법
EP3521520B1 (en) Shovel with stability controller
JP6425618B2 (ja) 作業機械の操作支援装置
CN113502861A (zh) 施工机械的控制方法
KR20210044493A (ko) 건설기계의 알람동작 제어시스템
JP6812306B2 (ja) 作業車両の停止システム及びそれを具備する作業車両
WO2023100689A1 (ja) 建設機械の駆動装置、これを備えた建設機械及び建設機械システム
JP6795459B2 (ja) 作業車両の停止システム及びそれを具備する作業車両
JP2022127069A (ja) 作業機械
JP2022106036A (ja) 建設機械
JP2020033747A (ja) 建設機械

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20927286

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20927286

Country of ref document: EP

Kind code of ref document: A1