WO2022244747A1 - 作業現場管理システム、作業現場管理方法、及び作業現場管理プログラム - Google Patents

作業現場管理システム、作業現場管理方法、及び作業現場管理プログラム Download PDF

Info

Publication number
WO2022244747A1
WO2022244747A1 PCT/JP2022/020443 JP2022020443W WO2022244747A1 WO 2022244747 A1 WO2022244747 A1 WO 2022244747A1 JP 2022020443 W JP2022020443 W JP 2022020443W WO 2022244747 A1 WO2022244747 A1 WO 2022244747A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
information
worker
work vehicle
line
Prior art date
Application number
PCT/JP2022/020443
Other languages
English (en)
French (fr)
Inventor
雅貴 山田
篤史 眞方
茂年 則竹
宗一郎 渡辺
Original Assignee
株式会社アラヤ
鴻池運輸株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社アラヤ, 鴻池運輸株式会社 filed Critical 株式会社アラヤ
Publication of WO2022244747A1 publication Critical patent/WO2022244747A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/40—Transportation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/20—Information sensed or collected by the things relating to the thing itself
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/10—Detection; Monitoring

Definitions

  • the present disclosure relates to a worksite management system, a worksite management method, and a worksite management program.
  • workers and work vehicles such as forklifts come and go, and accidents may occur due to contact between workers and work vehicles.
  • Patent Document 1 an electronic key is used to associate and store vehicle identification information of a work vehicle (forklift) and information of a worker who drives the work vehicle, so that the operation of the work vehicle can be monitored in real time.
  • a vehicle operation system that manages a
  • Patent Document 1 in order to detect the position of a work vehicle, a bar with a color label having a unique color arrangement is set up in various places in the factory, and a worker's upper arm is attached. They also wear armbands with color labels on them, and set up beacons that emit radio waves in various places in the factory.
  • the work vehicle By receiving the radio wave from the beacon, the work vehicle detects the position of the work vehicle based on the beacon identification information and position information stored in advance and the radio wave reception intensity. Also.
  • a camera mounted on the work vehicle recognizes the color label of the erected bar, and detects the position of the work vehicle from the color arrangement of the color label, the size in the image, and the like. Furthermore, the approach of the worker to the work vehicle is detected by recognizing the color label worn by the worker with the camera of the work vehicle.
  • Patent Document 1 in order to detect the position of the work vehicle, a bar with a color label attached or a beacon is placed at the work site, or an armband including a color label is worn by the worker. It requires a lot of equipment investment and labor to realize the vehicle operation system. In addition, such a method that requires the installation of a large number of devices, the attachment of such devices to a person, and the like requires human intervention in operation. As a result, there have been cases where human error occurs and safe operation cannot be realized.
  • vehicles and people from other companies may also enter the work site, but it is difficult to manage vehicles and people from other companies using conventional methods. be.
  • the present disclosure has been made to solve such problems, and includes a work site management system, a work site management method, and a work site management method that can more appropriately reduce the risk of contact between a worker and a work vehicle at a work site. and to provide a workplace management program.
  • the work site management system includes a work site imaging unit capable of acquiring image information including an image of a work site, and image information acquired by the image information imaging unit.
  • an object recognition unit that recognizes a work vehicle and a worker in an image and generates position information of the work vehicle and the worker; and an image of a driver of the work vehicle to acquire line-of-sight information of the driver.
  • a risk determination unit that calculates a safety level correlated with the relative positional relationship between the work vehicle and the worker from the adjusts the predetermined warning threshold according to the line-of-sight direction of the driver recognized by the line-of-sight direction recognition unit.
  • the work site management system further includes a driver recognition unit that recognizes a driver of the work vehicle and generates driver recognition information, and a driver information storage that stores driver information including the driving history of the driver. and a driving tendency analysis unit that extracts driver information corresponding to the driver recognition information from the driver information storage unit and analyzes the driving tendency of the driver based on the extracted driver information.
  • the risk determination section may adjust the warning threshold according to the driving tendency of the driver analyzed by the driving tendency analysis section.
  • the work site imaging unit may image the work site from a position higher than the height of the work vehicle.
  • the risk determination unit uses the position information of the work vehicle and the worker generated by the object recognition unit to determine the first safety level according to the relative distance between the work vehicle and the worker. and generate alarm information that causes a first alarm to be issued when the first degree of safety falls below a first alarm threshold.
  • the risk determination unit determines a second degree of safety according to the moving direction of the work vehicle and the worker from the position information of the work vehicle and the worker generated by the object recognition unit. and generate alarm information that causes a second alarm to be issued when the second degree of safety falls below a second alarm threshold.
  • the risk determination unit determines the time required for the work vehicle and the worker to come into contact with each other based on the positional information of the work vehicle and the worker generated by the object recognition unit.
  • a third degree of safety may be calculated, and warning information may be generated to issue a third warning when the third degree of safety falls below a third warning threshold.
  • a work site management method includes a work site imaging step in which a computer acquires image information including an image of a work site, and an image acquired by the work site imaging step.
  • an object recognition step of recognizing a work vehicle and a worker appearing in an image from information and generating position information of the work vehicle and the worker; a driver imaging step to be acquired; a line-of-sight direction recognition step of recognizing a line-of-sight direction of a driver of the work vehicle from the line-of-sight information acquired by the driver imaging step; a risk determination step of calculating a safety level correlated with the relative positional relationship between the work vehicle and the worker from the position information of the worker and generating warning information when the safety level falls below a predetermined warning threshold;
  • a threshold adjustment step is executed for adjusting the predetermined alarm threshold in accordance with the line-of-sight direction of the driver recognized by the line-of-sight direction recognition step.
  • a work site management program includes a work site imaging step of acquiring image information including an image of a work site, and an image from the image information acquired by the work site imaging step.
  • an object recognition step of recognizing a work vehicle and a worker appearing inside the work vehicle and generating position information of the work vehicle and the worker;
  • a visual line direction recognition step of recognizing a line-of-sight direction of a driver of the work vehicle from the line-of-sight information acquired by the driver imaging step; and the work vehicle and the worker generated by the object recognition step.
  • a risk determination step of calculating a safety level correlated with the relative positional relationship between the work vehicle and the worker from the position information of and generating warning information when the safety level falls below a predetermined warning threshold; and a threshold adjustment step of adjusting the predetermined alarm threshold in accordance with the line-of-sight direction of the driver recognized by the line-of-sight direction recognition step before the risk determination step.
  • FIG. 1 is a schematic configuration diagram showing an overview of a work site management system according to an embodiment of the present disclosure
  • FIG. 1 is a system configuration diagram of a work site management system according to an embodiment of the present disclosure
  • FIG. 4 is an explanatory diagram of a degree of safety calculated by a risk determination unit according to the embodiment; It is explanatory drawing regarding adjustment of a 1st warning threshold value.
  • 4 is a flow chart showing a danger determination routine executed in a work site management device according to an embodiment of the present disclosure
  • FIG. 1 is a schematic configuration diagram showing an overview of a work site management system 1 according to an embodiment of the present disclosure
  • FIG. 2 is a system configuration diagram of the work site management system 1.
  • a physical distribution warehouse will be described as an example of a work site, but this embodiment can also be applied to other work sites such as factories.
  • a work site management system 1 includes a warehouse monitoring device 10 installed on the ceiling of a warehouse building and an operation monitoring device 20 installed on a forklift F, which are installed, for example, in a management room in the warehouse building. It is communicably connected to the work site management device 30 provided via a network such as the Internet, a LAN, or a VPN (Virtual Private Network).
  • a forklift F runs as a work vehicle in the warehouse building, and the worker W walks. can also be applied to work vehicles.
  • FIG. 1 shows only one forklift F, one driver D of the forklift F, one worker W, one warehouse monitoring device 10, one operation monitoring device 20, and one work site management device 30. , these numbers may be plural.
  • FIG. 2 shows the detailed configuration of the warehouse monitoring device 10, the operation monitoring device 20, and the work site management device 30 in the work site management system 1.
  • the warehouse monitoring device 10, the operation monitoring device 20, and the work site management device 30 each have a computer (not shown) capable of executing various processes based on a program, and the computer realizes the function of each part described later.
  • the warehouse monitoring device 10, the operation monitoring device 20, and the work site management device 30 include at least an arithmetic processing unit, a storage unit capable of storing various information, an input unit capable of inputting various information, and an output unit capable of outputting various information. output unit, and a communication unit capable of mutual communication with the outside.
  • the warehouse monitoring device 10 has a ceiling camera 11 (image information acquisition unit) and an object recognition unit 12.
  • the ceiling camera 11 is, for example, an RGB-D camera equipped with a distance sensor, and can acquire image information including depth images (Depth) including depth information in addition to color images (RGB).
  • the ceiling camera 11 is installed on the ceiling of the distribution warehouse, which is at least higher than the forklift F, and is capable of capturing an image downward. That is, the depth information acquired by the ceiling camera 11 is the depth along the height direction of the warehouse building.
  • the image information also includes information such as imaging time and imaging location.
  • the object recognition unit 12 has a function of recognizing the forklift F and the worker W appearing in the image from the image information acquired by the ceiling camera 11 and generating positional information of the work vehicle and the worker.
  • the object recognition unit 12 performs machine learning (for example, deep learning) using a plurality of images showing forklifts and workers in various positions and postures as learning data. F and worker W are recognized.
  • An image as learning data may include depth information, and an object recognition trained model may be generated by performing machine learning including the depth information.
  • the object recognition unit 12 generates position information of the forklift F and the worker W on the XY plane corresponding to the horizontal direction of the warehouse building from the image information. For example, the object recognition unit 12 estimates the movement direction of the forklift F and the worker W from the displacement from the position information of the forklift F and the worker W based on the image information captured last time to the position information based on the image information captured this time. , generates position information including the moving direction. For example, when a forklift or a worker moves across the imaging range of a plurality of ceiling cameras, the object recognition unit 12 uses not only the position information but also the appearance feature amount (appearance etc.) that can be obtained from each image. It is also possible to estimate the movement direction after identifying the same forklift and the same operator. Also, the direction of the forklift may be recognized by reading a marker attached to the forklift from image information.
  • the object recognition unit 12 estimates the moving speed and acceleration of the forklift F and the worker W from the displacement of the imaging time of the previous and current image information, and generates position information including the moving speed and acceleration. Note that the object recognition unit 12 may generate position information including height information of the forklift F and the worker W from the depth information included in the image information.
  • the driving monitoring device 20 has a line-of-sight camera 21 , a line-of-sight recognition section 22 , a driver recognition section 23 and an alarm device 24 .
  • the line-of-sight camera 21 is a camera that captures an image of the head including the eyes of the driver D. Specifically, as shown in FIG. 2, the line-of-sight camera 21 is provided at the back of the handle H of the driver's seat of the forklift F, and points at an angle of view that includes the eyes of the driver D sitting in the driver's seat. there is The line-of-sight camera 21 captures a head image including eye portions of the driver D, and generates head image information including image capturing time and the like. Note that the head image does not necessarily include the eye portion.
  • the direction of the driver D's head is recognized from the head image information, and the line-of-sight recognition unit 22 detects the direction of the line of sight from there. can be estimated.
  • the head image information cannot be obtained, for example, a marker is attached to the helmet worn by the driver D, and the orientation of the head is recognized from the marker attached to the head.
  • a line-of-sight direction may be estimated.
  • the line-of-sight recognition unit 22 recognizes the line-of-sight of the driver from the head image information generated by the line-of-sight camera 21, and generates line-of-sight information including the line-of-sight direction of the driver D.
  • the line-of-sight recognition unit 22 uses a line-of-sight recognition trained model that has undergone machine learning (for example, deep learning) using a plurality of images of various people's heads and line-of-sight directions corresponding to the images as learning data. Generate line-of-sight information for D.
  • machine learning for example, deep learning
  • the range for example, the depth direction
  • the line-of-sight direction will be described as one direction, but the line-of-sight direction may be recognized as a line-of-sight range with a width in consideration of the standard human viewing angle.
  • the driver recognition unit 23 recognizes the face of the driver D from the head image information generated by the line-of-sight camera 21, and generates driver information for the driver D.
  • the driver recognition unit 23 uses, for example, a driver recognition trained model that has undergone machine learning (for example, deep learning) using a plurality of images of various people's heads and facial parts corresponding to the images as learning data.
  • Driver information including face information of driver D is generated.
  • the alarm device 24 is, for example, a device that turns on or flashes a warning light toward the driver D, or emits a warning sound or voice by voice.
  • the alarm device 24 can also issue an alarm to the worker W outside the forklift F.
  • the number of alarm devices 24 is not limited to one, and for example, separate alarm devices may be provided for the driver D and for the outside.
  • the alarm device 24 can issue an alarm according to alarm information from the work site management device 30 .
  • the alarm device 24 of the present embodiment can issue three types of alarms, ie, first, second, and third alarms, and the second alarm gives a stronger warning to the driver than the first alarm.
  • the third warning are set to issue a stronger warning to the driver than the second warning.
  • the number, types, and warning strengths of the first to third warnings are merely examples, and are not limited to these.
  • the work site management device 30 has a driver database 31 (hereinafter referred to as a driver DB 31), a driving tendency analysis section 32, and a risk determination section 33.
  • the driver DB 31 stores various information about the driver.
  • the driver DB 31 stores personal information such as driver identification information (ID number, etc.), name, facial photograph, age, gender, and forklift driving history information.
  • the operation history information includes, for example, the operation date and time of the forklift, the total operation time, the operated forklift information, and the dangerous operation information.
  • Dangerous driving information includes, for example, the number of warnings by the alarm device 24, the number and time of disagreement between the traveling direction of the forklift and the line of sight, the number of sudden operations (sudden acceleration, sudden deceleration, sharp turns, etc.), videos of dangerous driving. , etc. are included.
  • the driving tendency analysis unit 32 acquires the driver recognition information generated by the driver recognition unit 23 of the driving monitoring device 20, and extracts the driver information corresponding to the acquired driver recognition information from the driver DB 31. , has a function of analyzing the driving tendency of the driver D.
  • the driving tendency analysis unit 32 extracts from the driver DB 31 driver information including a face photograph that matches or is similar to the face information of the driver D included in the driver recognition information, and extracts the extracted driving. Analyze driving trends from the driving history of the driver information. Specifically, the driving tendency analysis unit 32 analyzes the driving tendency based on the dangerous driving information of the driver D as the ratio of dangerous driving to the cumulative driving time (for example, the number of dangerous driving times/total driving time). Calculate the dangerous driving rate.
  • the danger determination unit 33 receives the position information of the forklift F and the worker W from the object recognition unit 12 of the warehouse monitoring device 10, the line-of-sight information of the driver D from the line-of-sight recognition unit 22 of the driving monitoring device 20, and the driving trend analysis unit 32. , the analysis result (risky driving rate) of the driving tendency of the driver D is acquired from each.
  • the danger determination unit 33 calculates a degree of safety correlated with the relative positional relationship between the forklift F and the worker W from the obtained positional information of the forklift F and the positional information of the worker W, and the safety degree exceeds a predetermined alarm threshold. When it falls below, alarm information is generated and the alarm device 24 of the operation monitoring device 20 issues an alarm.
  • the danger determination unit 33 of the present embodiment calculates three types of safety degrees: a first safety degree Se1, a second safety degree Se2, and a third safety degree Se3. Further, the danger determination unit 33 sets a first alarm threshold Th1 corresponding to the first safety degree Se1, a second alarm threshold Th2 corresponding to the second safety degree Se2, and a third alarm threshold Th3 corresponding to the third safety degree Se3. have.
  • FIG. 3 shows an explanatory diagram of the degree of safety calculated by the risk determination unit of this embodiment.
  • the first safety degree Se1 is a safety degree based on the relative distance Rd between the forklift F and the worker W shown in FIG.
  • the value of the first degree of safety Se1 decreases as the relative distance Rd decreases.
  • the first warning threshold Th1 is a predetermined radius r from the forklift F set in advance.
  • the second safety degree Se2 is a safety degree based on the relative movement direction of the forklift F and the worker W.
  • the second degree of safety Se2 is the degree of possibility that the worker W will enter the path of the forklift F. It is the distance Cd to the intersection point P with Fd.
  • the value of the second degree of safety Se2 decreases as the distance Cd from the position of the worker W to the intersection P decreases. For example, when the travel direction Fd of the forklift F and the travel direction Wd of the worker W do not intersect, the numerical value of the second safety degree Se2 becomes the upper limit value, and when the worker W is present on the route of the forklift F, the second safety The numerical value of the degree Se2 is the lower limit.
  • the second warning threshold Th2 is a preset distance.
  • the danger determination unit 33 performs the second warning. Generate alert information.
  • the third safety level Se3 is a safety level based on TTC (Time To Collision), which is the time until the forklift F and the worker W come into contact.
  • the third alarm threshold value Th3 is the preset predetermined time tx.
  • the danger determination unit 33 adjusts the first alarm threshold Th1, the second alarm threshold Th2, and the third alarm threshold Th3 according to the line-of-sight direction of the driver D from the acquired line-of-sight information of the driver D.
  • FIG. 4 shows an explanatory diagram relating to the adjustment of the first alarm threshold.
  • FIG. 4 shows a state in which the relative distance Rd between the forklift F and the worker W decreases as time t elapses, and the first degree of safety Se1 tends to decrease.
  • the first threshold value Th before threshold adjustment the first safety level Se1 falls below the first alarm threshold value Th1 at time t1, and the danger determination unit 33 causes the alarm device 24 to issue the first warning at time t1.
  • the risk determination unit 33 determines that the farther the line-of-sight direction Ed of the driver D is from the direction of the worker W, that is, the greater the angle of the line-of-sight direction Ed with respect to the direction from the driver D to the worker W, the greater the first alarm threshold value. Raises Th1. That is, the farther the line-of-sight direction of the driver D is from the worker W, the easier it is to issue the warning. Conversely, as the line-of-sight direction Ed of the driver D approaches the direction of the worker W, that is, as the angle of the line-of-sight direction Ed with respect to the direction from the driver D to the worker W decreases, the first alarm threshold value Th1 is decreased.
  • the danger determination unit 33 issues the first warning when the relative distance Rd is greater than before the threshold adjustment, and warns the driver D earlier.
  • the second warning threshold Th2 and the third warning threshold Th3 are greatly increased as the gaze direction of the driver D moves away from the worker W.
  • the danger determination unit 33 adjusts the first alarm threshold Th1, the second alarm threshold Th2, and the third alarm threshold Th3 according to the acquired analysis result of the driving tendency of the driver D (dangerous driving rate). Specifically, the higher the dangerous driving rate, the higher the alarm thresholds Th1, Th2, and Th3. That is, the higher the rate of dangerous driving, the easier it is for the warning to be issued. Also, the values of the warning thresholds Th1, Th2, and Th3 may be lowered as the dangerous driving rate is lower.
  • FIG. 5 shows a flowchart showing a risk determination routine executed by the work site management device 30 according to an embodiment of the present disclosure.
  • the work site management method will be described along the flowchart.
  • the flowchart is an example, and the danger determination routine is not limited to the processing of the flowchart, and the order of each processing may be changed, for example.
  • the danger determination routine starts, for example, after the work site management device 30 starts operating.
  • step S1 of FIG. 5 the danger determination unit 33 acquires the position information of the forklift F and the worker W recognized by the object recognition unit 12 from the image information captured by the ceiling camera 11 of the warehouse monitoring device 10.
  • step S2 the danger determination unit 33 calculates the first safety degree Se1, the second safety degree Se2, and the third safety degree Se3 from the obtained positional information of the forklift F and the worker W.
  • step S ⁇ b>3 the danger determination unit 33 acquires line-of-sight information from the line-of-sight recognition unit 22 based on the driver's head image information captured by the line-of-sight camera 21 of the driving monitoring device 20 .
  • step S4 the driving tendency analysis unit 32 acquires from the driver recognition unit 23 the driver recognition information generated based on the driver's head image information captured by the line-of-sight camera 21 of the driving monitoring device 20.
  • step S5 the driving tendency analysis unit 32 extracts driver information corresponding to the driver recognition information acquired in step S6 from the driver DB 31, and analyzes the driving tendency of the driver D. Specifically, the driving tendency analysis unit 32 calculates the risky driving rate of the driver D.
  • step S6 the risk determination unit 33, based on the line-of-sight information acquired in step S3 and the analysis result (dangerous driving rate) of the driving tendency of the driver D analyzed by the driving tendency analysis unit 32 in step S5, Each alarm threshold value Th1 to Th3 is adjusted.
  • step S7 the danger determination unit 33 determines whether or not the third degree of safety Se3 corresponding to the TTC of the forklift F and the worker W is greater than or equal to the third alarm threshold Th3. If the determination result is false (No), that is, if the third safety level Se3 is less than the third alarm threshold Th3, specifically, if the TTC is less than the predetermined time tx, the process proceeds to step S8.
  • step S8 the danger determination unit 33 generates alarm information for issuing the third alarm, causes the alarm device 24 of the driving monitoring device 20 to issue the third alarm, and returns the routine.
  • step S7 determines whether the third safety level Se3 is equal to or greater than the third alarm threshold value Th3, for example, if the TTC is equal to or greater than the predetermined time tx.
  • step S9 the danger determination unit 33 determines whether or not the second degree of safety Se2 corresponding to the relative movement direction of the forklift F and the worker W is equal to or greater than the second alarm threshold Th2.
  • the determination result is false (No) that is, when the second safety level Se2 is less than the second alarm threshold Th2, for example, the distance Cd from the position of the worker W to the intersection point P with the traveling direction Fd of the forklift F is short and there is a high possibility that the worker W will enter the path of the forklift F, the process proceeds to step S10.
  • step S10 the danger determination unit 33 generates alarm information for issuing the second alarm, causes the alarm device 24 of the operation monitoring device 20 to issue the second alarm, returns the routine, and repeats the process from step S1. repeat.
  • step S9 determines whether the second safety level Se2 is equal to or greater than the second alarm threshold value Th2, for example, the intersection point P.
  • step S11 the danger determination unit 33 determines whether or not the first safety degree Se1 corresponding to the relative distance Rd between the forklift F and the worker W is greater than or equal to the first alarm threshold Th1. If the determination result is false (No), that is, if the first safety level Se1 is less than the first alarm threshold Th1, for example, if the worker W is within a predetermined radius r from the forklift F, The process proceeds to step S12.
  • step S12 the danger determination unit 33 generates alarm information, causes the alarm device 24 of the operation monitoring device 20 to issue the first alarm, and returns the routine.
  • step S11 determines whether the first safety level Se1 is greater than or equal to the first alarm threshold value Th1, for example, the worker W is outside the range of the predetermined radius r from the forklift F. If so, the routine is returned without issuing an alarm.
  • the interior of the distribution warehouse is imaged by the ceiling camera 11 from the ceiling of the warehouse building, the image information including the depth information is acquired, and the object recognition unit 12 detects the forklift from the image information.
  • the position information of F and worker W is recognized.
  • the work site management system 1 recognizes the line-of-sight direction of the driver D of the forklift F, and adjusts the alarm threshold corresponding to the degree of safety according to the line-of-sight direction. Specifically, the farther the line-of-sight direction is from the worker W, the higher the warning threshold is raised to make it easier to issue the warning. In addition, as the line of sight direction approaches the worker W, the alarm threshold value is decreased to make it difficult to issue an alarm. As a result, when there is a high possibility that the driver D is not looking at the worker W, an early warning is given, and the possibility of contact can be suppressed. Further, when the driver D is looking at the worker W, the warning is given later, and unnecessary warning can be suppressed.
  • the danger determination unit 33 also adjusts the warning threshold according to the driving tendency of the driver D analyzed by the driving tendency analysis unit 32 . Specifically, the higher the risky driving rate calculated by the driving tendency analysis unit 32, the higher the warning thresholds Th1, Th2, and Th3 are adjusted to issue the warning earlier. It is possible to increase safety by issuing an early warning against On the other hand, the lower the risky driving rate is, the lower the warning thresholds Th1, Th2, and Th3 are adjusted so that the warning is issued later, so that the warning is issued later to the driver D who does less risky driving. By doing so, unnecessary alarms can be suppressed.
  • the ceiling camera 11 captures images of the work site from a position higher than the height of the forklift F, so that the work site management system 1 can be realized with less equipment investment and less labor.
  • the risk determination unit 33 calculates a first safety degree Se1 according to the relative distance Rd between the forklift F and the worker W as a safety degree, and when the first safety degree Se1 falls below the first alarm threshold value Th1, 1 Generate alarm information that causes an alarm. This makes it possible to easily calculate the degree of safety.
  • the danger determination unit 33 calculates a second safety degree Se2 according to the movement direction of the forklift F and the worker W as a safety degree, and when the second safety degree Se2 falls below the second alarm threshold Th2, the second safety degree Se2 Generate alarm information that causes an alarm. In this manner, by determining whether or not to issue an alarm using the second degree of safety Se2 that takes into account the movement direction of the forklift F and the worker W, more accurate alarm can be issued.
  • the danger determination unit 33 calculates a third safety degree Se3 according to the time (TTC) required for the forklift F and the worker W to come into contact with each other as the safety degree, and the third safety degree Se3 becomes the third alarm.
  • TTC time required for the forklift F and the worker W to come into contact with each other as the safety degree
  • the third safety degree Se3 becomes the third alarm.
  • Th3 threshold value
  • warning information is generated to issue a third warning.
  • the work site management system 1 (work site management method, work site management system) of the present embodiment can more appropriately reduce the risk of contact between workers and work vehicles at the work site.
  • the danger judgment unit 33 of the work site management device 30 issues an alarm instruction according to the degree of safety.
  • the warehouse monitoring device or the driving monitoring device may also include the driver DB and the driving tendency analysis section of the work site management device 30 .
  • the danger determination unit 33 adjusts the first warning threshold Th1 according to the line-of-sight direction Ed of the driver D and the angle of the direction of the worker W with respect to the driver D.
  • the method of adjusting the threshold according to the line-of-sight direction is not limited to this.
  • the first warning threshold may be adjusted more simply based on whether or not the worker is included in a fixed line-of-sight range from the driver. That is, when the operator is included in the line-of-sight range of the driver, that is, when the driver is looking at the worker, the first alarm threshold is set to a predetermined low value, and the worker is included in the line-of-sight range of the driver. If not, i.e., the driver is not looking at the worker, then the first warning threshold is set to a predetermined high value.
  • the ceiling camera 11 is described as an RGB-D camera, but any camera capable of acquiring depth information may be used. It may be a stereo camera using .
  • the image information that can be acquired by the ceiling camera is It does not necessarily include depth information.
  • an RGB camera that does not acquire depth information may be used as the ceiling camera.
  • the object recognition unit recognizes the work vehicle and the worker by using a three-dimensional transformation technique such as perspective projection transformation, and generates the position information of the work vehicle and the worker. good.
  • the object recognition unit designates reference points (for example, four points) on the image, converts the camera coordinate system of these reference points to the world coordinate system, and converts the work vehicle and the vehicle on the image of the world coordinate system.
  • reference points for example, four points
  • the worker By recognizing the worker and converting it into the lowest world coordinates of the rectangular range including the recognized portion, it becomes possible to calculate the positional information of the work vehicle and the worker.
  • a position indicating the floor surface is preferable for the reference point, and the reference point may be specified by specifying a position indicating the floor surface in advance or by detecting a characteristic point on the floor surface.
  • Recognition of work vehicles and workers on the image of the world coordinate system can be performed by an object recognition technique such as pattern matching.
  • the imaging unit of the warehouse monitoring device 10 is not limited to being provided on the ceiling, and may be provided at least at a position higher than the height of the work vehicle. That is, for example, it may be provided on a wall of a warehouse building, or on a pillar erected in the warehouse building or at a high position of equipment.
  • the driver information of the driver D is generated based on the head image captured by the line-of-sight camera 21, but the driver information acquisition unit is not limited to this.
  • the driver information acquisition unit may be an information reader that reads information from an IC card or key on which the identification information of the driver D is recorded.
  • the line-of-sight camera 21 is provided behind the handle H of the driver's seat of the forklift F, but the installation position of the line-of-sight camera is not limited to this.
  • it may be attached to an outer frame portion to which a forklift rearview mirror or light is attached.
  • the driving tendency analysis unit 32 calculates the dangerous driving rate, which is the ratio of dangerous driving to the total driving time, as the driving tendency analysis, but the driving tendency analysis is not limited to this. do not have.
  • the risk determination unit 33 calculates the first safety level Se1 to the third safety level Se3 to determine whether or not an alarm is necessary. Only one or two of them may be used to determine the necessity of warning.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Operations Research (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Forklifts And Lifting Vehicles (AREA)

Abstract

作業現場管理システム１は、画像情報を取得可能な天井カメラ１１と、フォークリフトＦの運転者Ｄの視線情報を取得する天井カメラ１１と、天井カメラ１１により取得した画像情報からフォークリフトＦ及び作業者Ｗの位置情報を生成する物体認識部１２と、運転者を撮像して運転者の視線情報を取得する視線カメラ２１と、視線カメラ２１により取得した視線情報から運転者の視線方向を認識する視線認識部２２と、フォークリフトＦ及び作業者Ｗの位置情報から相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定部３３と、を備え、危険判定部３３は、運転者の視線方向に応じて所定の警報閾値を調整する。

Description

作業現場管理システム、作業現場管理方法、及び作業現場管理プログラム
　本開示は、作業現場管理システム、作業現場管理方法、及び作業現場管理プログラムに関する。
　物流倉庫や工場等の作業現場では、作業者やフォークリフト等の作業車両が行き来をしており、作業者と作業車両との接触による事故が発生する場合がある。
　このような事故を未然に防ぐための技術が種々開発されている。例えば、特許文献１では、電子鍵を用いて作業車両（フォークリフト）の車両識別情報等と当該作業車両を運転する作業者の情報とを対応付けて記憶する等して、作業車両の稼働をリアルタイムに管理する車両運行システムが開示されている。
国際公開２０１８／２３００２５号
　特許文献１（特に実施の形態２）では、作業車両の位置を検出するために、工場内の各所に固有の色配置からなるカラーラベルが貼付されたバーを立設したり、作業者の上腕にもカラーラベルを含む腕章を装着したり、工場内の各所に電波を発するビーコンを立設したり、している。作業車両はビーコンからの電波を受信することで、予め記憶してあるビーコンの識別情報と位置を示す情報及び電波受信強度から作業車両の位置を検出している。また。作業車両に搭載されたカメラにより、立設されたバーのカラーラベルを認識し、カラーラベルの色の配置や画像中の大きさ等から作業車両の位置を検出している。さらに、作業車両のカメラにより作業者が装着しているカラーラベルを認識することで、作業車両に対する作業者の接近を検出している。
　しかしながら、特許文献１の技術では、作業車両の位置を検出するために、カラーラベルが貼付されたバーや、ビーコンを作業現場に配置したり、作業者にカラーラベルを含む腕章を装着させたりする必要があり、車両運行システムを実現させるために多くの設備投資や労力を必要とする。また、このような多くの装置の設置や人への装着等が必要な手法では人による運用上の介入が生じる。そのために、人為的ミスが発生して安全な運行が実現できなくなる場合も生じていた。
　さらに、作業現場には、管理下にある自社の車両や人だけでなく、他社の車両や人が入ってくる場合もあるが、従来の手法では他社の車両や人まで管理することは困難である。
　また、作業車両のカメラにより作業者が装着しているカラーラベルを認識する場合、作業現場には様々な障害物があり、作業車両と作業者との間を障害物により遮られたり、作業者の姿勢によってカラーラベルが隠れたりすると、接近している作業者を正確に認識することができないおそれがある。一方で、作業車両の運転者が作業者を目視で認識しているにも関わらずアラート等が行われると運転者に煩わしさを与えたり、運転者がアラートを信用しなくなったりするおそれがある。
　本開示は、このような問題点を解決するためになされたもので、作業現場において作業者と作業車両との接触リスクをより適切に低減することができる作業現場管理システム、作業現場管理方法、及び作業現場管理プログラムを提供することを目的とする。
　上記した目的を達成するために、本開示に係る作業現場管理システムは、作業現場を撮像した画像を含む画像情報を取得可能な作業現場撮像部と、前記画像情報撮像部により取得した画像情報から画像内に写る作業車両及び作業者を認識し、前記作業車両及び前記作業者の位置情報を生成する物体認識部と、前記作業車両の運転者を撮像して前記運転者の視線情報を取得する運転者撮像部と、前記視線情報取得部により取得した視線情報から、前記運転者の視線方向を認識する視線認識部と、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者との相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定部と、を備え、前記危険判定部は、前記視線方向認識部により認識された前記運転者の視線方向に応じて前記所定の警報閾値を調整する。
　上記作業現場管理システムにおいて、さらに、前記作業車両の運転者を認識し、運転者認識情報を生成する運転者認識部と、前記運転者の運転履歴を含む運転者情報を記憶する運転者情報記憶部と、前記運転者認識情報と対応する運転者情報を前記運転者情報記憶部から抽出して、抽出した運転者情報に基づき前記運転者の運転傾向を解析する運転傾向解析部と、を備え、前記危険判定部は、前記運転傾向解析部により解析された前記運転者の運転傾向に応じて前記警報閾値を調整してもよい。
　上記作業現場管理システムにおいて、前記作業現場撮像部は前記作業車両の高さよりも高い位置から前記作業現場を撮像してもよい。
　上記作業現場管理システムにおいて、前記危険判定部は、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から、前記作業車両と前記作業者との相対距離に応じた第１安全度を算出し、当該第１安全度が第１警報閾値を下回ると第１警報を行わせる警報情報を生成してもよい。
　上記作業現場管理システムにおいて、前記危険判定部は、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者の移動方向に応じた第２安全度を算出し、当該第２安全度が第２警報閾値を下回ると第２警報を行わせる警報情報を生成してもよい。
　上記作業現場管理システムにおいて、前記危険判定部は、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者とが接触するまでにかかる時間に応じた第３安全度を算出し、当該第３安全度が第３警報閾値を下回ると第３警報を行わせる警報情報を生成してもよい。
　上記した目的を達成するために、本開示に係る作業現場管理方法は、コンピュータが、作業現場を撮像した画像を含む画像情報を取得する作業現場撮像ステップと、前記作業現場撮像ステップにより取得した画像情報から画像内に写る作業車両及び作業者を認識し、前記作業車両及び前記作業者の位置情報を生成する物体認識ステップと、前記作業車両の運転者を撮像して前記運転者の視線情報を取得する運転者撮像ステップと、前記運転者撮像ステップにより取得した視線情報から、前記作業車両の運転者の視線方向を認識する視線方向認識ステップと、前記物体認識ステップにより生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者との相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定ステップと、前記危険判定ステップより前に、前記視線方向認識ステップにより認識された前記運転者の視線方向に応じて前記所定の警報閾値を調整する閾値調整ステップを実行する。
　上記した目的を達成するために、本開示に係る作業現場管理プログラムは、作業現場を撮像した画像を含む画像情報を取得する作業現場撮像ステップと、前記作業現場撮像ステップにより取得した画像情報から画像内に写る作業車両及び作業者を認識し、前記作業車両及び前記作業者の位置情報を生成する物体認識ステップと、前記作業車両の運転者を撮像して前記運転者の視線情報を取得する運転者撮像ステップと、前記運転者撮像ステップにより取得した視線情報から、前記作業車両の運転者の視線方向を認識する視線方向認識ステップと、前記物体認識ステップにより生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者との相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定ステップと、を備え、前記危険判定ステップより前に、前記視線方向認識ステップにより認識された前記運転者の視線方向に応じて前記所定の警報閾値を調整する閾値調整ステップと、をコンピュータに実行させるためのプログラムである。
　上記手段を用いる本開示によれば、作業現場において作業者と作業車両との接触リスクをより適切に低減することができる。
本開示の一実施形態に係る作業現場管理システムの概要を示す概略構成図である。 本開示の一実施形態に係る作業現場管理システムのシステム構成図である。 本実施形態の危険判定部が算出する安全度についての説明図である。 第１警報閾値の調整に関する説明図である。 本開示の一実施形態に係る作業現場管理装置において実行される危険判定ルーチンを示すフローチャートである。
　以下、本開示の実施形態を図面に基づき説明する。
　＜構成＞
　図１は本開示の一実施形態に係る作業現場管理システム１の概要を示す概略構成図であり、図２は作業現場管理システム１のシステム構成図である。なお、本実施形態は、作業現場として物流倉庫を例として説明を行うが、本実施形態は工場等の他の作業現場にも適用可能である。
　図１に示すように、作業現場管理システム１は、倉庫建物内の天井部分に設けられた倉庫監視装置１０とフォークリフトＦに設けられた運転監視装置２０が、例えば倉庫建物内の管理室に設けられた作業現場管理装置３０に、インターネット、ＬＡＮ、ＶＰＮ（Virtual Private Network）等のネットワークを介して通信可能に接続されている。なお、本実施形態の物流倉庫では、倉庫建物内に作業車両としてフォークリフトＦが走行し、作業者Ｗが歩行しているものとして説明するが、作業車両はフォークリフトに限定されるものではなく、他の作業車両にも適用可能である。また説明の簡略化のため、図１ではフォークリフトＦ及び当該フォークリフトＦの運転者Ｄ、作業者Ｗ、倉庫監視装置１０、運転監視装置２０、作業現場管理装置３０をそれぞれ１つのみ示しているが、これらの数は複数であってもよい。
　図２には、作業現場管理システム１における倉庫監視装置１０、運転監視装置２０、作業現場管理装置３０の詳しい構成が示されている。倉庫監視装置１０、運転監視装置２０、作業現場管理装置３０は、図示しないがそれぞれプログラムに基づき各種処理を実行可能なコンピュータを備えており、当該コンピュータにより後述する各部の機能を実現させている。具体的には、倉庫監視装置１０、運転監視装置２０、作業現場管理装置３０は、少なくとも演算処理部、各種情報を記憶可能な記憶部、各種情報を入力可能な入力部、各種情報を出力可能な出力部、外部と相互に通信可能な通信部を備えている。
　図２に示すように、倉庫監視装置１０は、天井カメラ１１（画像情報取得部）と、物体認識部１２を有している。
　天井カメラ１１は、例えば距離センサを搭載したＲＧＢ－Ｄカメラであり、カラー画像（ＲＧＢ）に加えて深度情報を含む奥行き画像（Ｄｅｐｔｈ）を含む画像情報を取得可能である。天井カメラ１１は、少なくともフォークリフトＦよりも高い位置である、物流倉庫内の天井に設けられており、下方に向けて画像を撮像可能である。つまり、当該天井カメラ１１により取得される深度情報は、倉庫建物の高さ方向に沿った深度となる。また、画像情報には撮像時間や撮像場所等の情報も含まれる。
　物体認識部１２は、天井カメラ１１により取得した画像情報から画像内に写るフォークリフトＦ及び作業者Ｗを認識し、作業車両及び前記作業者の位置情報を生成する機能を有する。
　具体的には、物体認識部１２は、様々な配置及び姿勢でフォークリフト及び作業者が写っている複数の画像を学習用データとして機械学習（例えばディープラーニング）した物体認識学習済みモデルを用いてフォークリフトＦ及び作業者Ｗの認識を行う。なお、学習用データとしての画像には深度情報が含まれてもよく、深度情報も含めて機械学習を行った物体認識学習済みモデルを生成してもよい。
　そして物体認識部１２は、画像情報から倉庫建物の水平方向に相当するＸＹ平面上におけるフォークリフトＦ及び作業者Ｗの位置情報を生成する。また物体認識部１２は、例えば前回撮像した画像情報に基づくフォークリフトＦ及び作業者Ｗの位置情報から今回撮像した画像情報に基づく位置情報への変位からフォークリフトＦ及び作業者Ｗの移動方向を推定し、当該移動方向を含めた位置情報を生成する。なお、物体認識部１２は、例えば複数の天井カメラの撮像範囲に跨ってフォークリフトや作業者が移動する場合は、位置情報だけでなくそれぞれの画像から取得できる外見上の特徴量（見た目等）から同一のフォークリフト、同一の作業者であることを同定した上で、移動方向を推定することも可能である。また、フォークリフトの向きに関しては、フォークリフトに貼り付けられたマーカを画像情報から読み取ることによって認識しても良い。
　さらに、物体認識部１２は、前回と今回の画像情報の撮像時間の変位からフォークリフトＦ及び作業者Ｗの移動速度や加速度を推定し、移動速度や加速度を含めた位置情報を生成する。なお、物体認識部１２は、画像情報に含まれる深度情報からフォークリフトＦ及び作業者Ｗの高さ情報を含めた位置情報を生成してもよい。
　運転監視装置２０は、視線カメラ２１、視線認識部２２、運転者認識部２３、警報器２４を有している。
　視線カメラ２１は、運転者Ｄの眼部分を含む頭部を撮像するカメラである。具体的には、図２に示すように視線カメラ２１は、フォークリフトＦの運転席のハンドルＨ奥に設けられており、運転席に着座した運転者Ｄの眼部分を含む画角で指向している。視線カメラ２１は、運転者Ｄの眼部分を含む頭部画像を撮像し、撮像時間等も含む頭部画像情報を生成する。なお、頭部画像には必ずしも眼部分が含まれていなくてもよい。例えば、運転者Ｄが上半身又は首を捩じって車両後方を確認している場合でも、頭部画像情報から運転者Ｄの頭部の向きを認識し、そこから視線認識部２２により視線方向を推定してもよい。さらに、頭部画像情報が取得できない場合でも、例えば運転者Ｄが被るヘルメット等にマーカを取付け、この頭部に取付けられたマーカより、頭部の向きを認識し、そこから視線認識部２２により視線方向を推定してもよい。
　視線認識部２２は、視線カメラ２１により生成された頭部画像情報から運転者の視線を認識して、運転者Ｄの視線方向を含む視線情報を生成する。視線認識部２２は、例えば様々な人の頭部を写した複数の画像と当該画像に対応する視線方向を学習用データとして機械学習（例えばディープラーニング）した視線認識学習済みモデルを用いて運転者Ｄの視線情報を生成する。説明を簡略化するため本実施形態における視線方向はＸＹ平面上における視線方向で説明するが、視線認識部２２はＸＹ平面(水平面)での視線方向だけでなく、Ｚ方向（上下どちらを向いているか）を認識することも可能である。Ｚ方向の視線も認識することで、例えば運転者が下方向を向いている場合は視線方向に含められる範囲（例えば奥行き方向）を限定してもよい。さらに、下記説明では視線方向を一つの方向として説明するが、視線方向は人間の標準的な視野角を考慮して幅を持たせた視線範囲として認識してもよい。
　運転者認識部２３は、視線カメラ２１により生成された頭部画像情報から運転者Ｄの顔を認識して、運転者Ｄの運転者情報を生成する。運転者認識部２３は、例えば様々な人の頭部を写した複数の画像と当該画像に対応する顔部分を学習用データとして機械学習（例えばディープラーニング）した運転者認識学習済みモデルを用いて運転者Ｄの顔情報を含む運転者情報を生成する。
　警報器２４は、例えば運転者Ｄに向けて警告灯を点灯又は点滅させたり、音声により警報音や音声を発する装置である。また警報器２４は、フォークリフトＦの外部の作業者Ｗに向けての警報を行うことも可能である。なお、警報器２４は一つに限られず、例えば運転者Ｄ向け用と、外部向け用、それぞれ別の警報器を設けてもよい。警報器２４は、作業現場管理装置３０からの警報情報に応じた警報を実施可能である。例えば、本実施形態の警報器２４は、第１警報、第２警報、第３警報の３種類の警報を実施可能であり、第２警報は第１警報よりも運転者に対して強い警報を、第３警報は第２警報よりも運転者に対してさらに強い警報を発するよう設定されている。なお、この第１警報から第３警報の警報の数、種類、警報強度は一例であり、これに限られるものではない。
　作業現場管理装置３０は、運転者データベース３１（以下運転者ＤＢ３１と記す）、運転傾向解析部３２、危険判定部３３を有している。
　運転者ＤＢ３１には、運転者に関する各種情報が記憶されている。例えば、運転者ＤＢ３１には、運転者の識別情報（ＩＤ番号等）、氏名、顔写真、年齢、性別等の個人情報の他、フォークリフトの運転履歴情報が記憶されている。運転履歴情報には、例えばフォークリフトの運転日時、総運転時間、運転したフォークリフト情報、危険運転情報が含まれている。危険運転情報は、例えば警報器２４による警報回数、フォークリフトの進行方向と視線との非合致回数や非合致時間、急操作（急加速、急減速、急旋回、等）の回数、危険運転の動画、等が含まれている。
　運転傾向解析部３２は、運転監視装置２０の運転者認識部２３で生成された運転者認識情報を取得して、取得した運転者認識情報に対応する運転者情報を運転者ＤＢ３１から抽出して、運転者Ｄの運転傾向を解析する機能を有する。本実施形態では、運転傾向解析部３２は、運転者認識情報に含まれる運転者Ｄの顔情報と一致又は類似する顔写真を含む運転者情報を運転者ＤＢ３１から抽出して、抽出された運転者情報の運転履歴から運転傾向の解析を行う。具体的には運転傾向解析部３２は、運転者Ｄの危険運転情報に基づく運転傾向の解析結果として、累積運転時間に対する危険運転の割合（例えば危険運転を行った回数／総運転時間）である危険運転率を算出する。
　危険判定部３３は、倉庫監視装置１０の物体認識部１２からフォークリフトＦ及び作業者Ｗの位置情報を、運転監視装置２０の視線認識部２２から運転者Ｄの視線情報を、運転傾向解析部３２から運転者Ｄの運転傾向の解析結果（危険運転率）を、それぞれ取得する。
　危険判定部３３は、取得したフォークリフトＦの位置情報及び作業者Ｗの位置情報からフォークリフトＦと作業者Ｗとの相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成して、運転監視装置２０の警報器２４による警報を行わせる。本実施形態の危険判定部３３は、第１安全度Ｓｅ１、第２安全度Ｓｅ２、第３安全度Ｓｅ３の３種類の安全度を算出する。また、危険判定部３３は、第１安全度Ｓｅ１に対応する第１警報閾値Ｔｈ１、第２安全度Ｓｅ２に対応する第２警報閾値Ｔｈ２、第３安全度Ｓｅ３に対応する第３警報閾値Ｔｈ３を有している。
　詳しくは図３に、本実施形態の危険判定部が算出する安全度についての説明図が示されている。
　第１安全度Ｓｅ１は、図３に示すフォークリフトＦと作業者Ｗとの相対距離Ｒｄに基づく安全度である。相対距離Ｒｄが短くなるほど第１安全度Ｓｅ１の値は低下する。これに対して第１警報閾値Ｔｈ１は、予め設定されたフォークリフトＦからの所定の半径ｒとなる。危険判定部３３は、第１安全度Ｓｅ１が第１警報閾値Ｔｈ１未満になると、即ち相対距離Ｒｄが所定の半径ｒ未満となると、第１警報を実施させるための警報情報を生成する。
　第２安全度Ｓｅ２は、フォークリフトＦと作業者Ｗとの相対的な移動方向に基づく安全度である。具体的には第２安全度Ｓｅ２は、フォークリフトＦの進路上に作業者Ｗが入ってくる可能性の度合いであり、例えば作業者Ｗの位置から作業者Ｗの進行方向とフォークリフトＦの進行方向Ｆｄとの交点Ｐまでの距離Ｃｄである。この作業者Ｗの位置から交点Ｐまでの距離Ｃｄが短くなるほど第２安全度Ｓｅ２の値は低下する。例えば、フォークリフトＦの進行方向Ｆｄと作業者Ｗの進行方向Ｗｄが交差しない場合は第２安全度Ｓｅ２の数値は上限値となり、フォークリフトＦの進路上に作業者Ｗが存在する場合は第２安全度Ｓｅ２の数値は下限値となる。これに対して第２警報閾値Ｔｈ２は、予め設定された所定の距離である。危険判定部３３は、第２安全度Ｓｅ２が第２警報閾値Ｔｈ２以下になると、即ち作業者Ｗの位置から交点Ｐまでの距離Ｃｄが所定の距離Ｄｘ以下となると第２警報を実施させるための警報情報を生成する。
　第３安全度Ｓｅ３は、フォークリフトＦと作業者Ｗとの接触までの時間であるＴＴＣ（Time To Collision）に基づく安全度である。ＴＴＣは従来から知られた計算を用いればよく、例えばフォークリフトＦと作業者Ｗとの相対距離Ｒｄをフォークリフト速度Ｖｆと作業者の移動速度Ｖｗの差（相対速度）で割ることで算出する（ＴＴＣ＝Ｒｄ／Ｖｗ－Ｖｆ）。つまり、ＴＴＣの値が小さくなるほど第３安全度Ｓｅ３の値は低下する。これに対して第３警報閾値Ｔｈ３は、予め設定された所定時間ｔｘとなる。危険判定部３３は、第３安全度Ｓｅ３が第３警報閾値Ｔｈ３以下になると、即ちＴＴＣが所定時間ｔｘ以下となると第３警報を実施させるための警報情報を生成する。
　また、危険判定部３３は、取得した運転者Ｄの視線情報から当該運転者Ｄの視線方向に応じて第１警報閾値Ｔｈ１、第２警報閾値Ｔｈ２、第３警報閾値Ｔｈ３の調整を行う。例えば図４には、第１警報閾値の調整に関する説明図が示されている。
　図４では、時間ｔが経つほどフォークリフトＦと作業者Ｗとの相対距離Ｒｄが短くなり第１安全度Ｓｅ１が下がる傾向にある状態を示している。閾値調整前の第１閾値Ｔｈでは、ｔ１時点で第１安全度Ｓｅ１が第１警報閾値Ｔｈ１を下回り、このｔ１時点で危険判定部３３は警報器２４により第１警報を実施させる。
　一方、危険判定部３３は、運転者Ｄの視線方向Ｅｄが作業者Ｗの方向から遠ざかるほど、即ち運転者Ｄから作業者Ｗへの方向に対する視線方向Ｅｄの角度が大きくなるほど、第１警報閾値Ｔｈ１を上昇させる。即ち、運転者Ｄの視線方向が作業者Ｗから遠ざかるほど警報が実施されやすくなる。また、逆に運転者Ｄの視線方向Ｅｄが作業者Ｗの方向に近づくほど、即ち運転者Ｄから作業者Ｗへの方向に対する視線方向Ｅｄの角度が小さくなるほど、第１警報閾値Ｔｈ１を減少させてもよい。
　図４では、このように閾値を上昇させた第１閾値Ｔｈでは、ｔ１時点よりも早いｔ２時点で第１安全度Ｓｅ１が第１警報閾値Ｔｈ１を下回る。従って、危険判定部３３は閾値調整前よりも相対距離Ｒｄが離れている時点で第１警報を実施させ、より早めに運転者Ｄに警告を行う。第２警報閾値Ｔｈ２及び第３警報閾値Ｔｈ３についても同様であり、運転者Ｄの視線方向が作業者Ｗから遠ざかるほど第２警報閾値Ｔｈ２及び第３警報閾値Ｔｈ３を大きく上昇させる。
　さらに、危険判定部３３は、取得した運転者Ｄの運転傾向の解析結果（危険運転率）に応じて第１警報閾値Ｔｈ１、第２警報閾値Ｔｈ２、第３警報閾値Ｔｈ３の調整を行う。具体的には、危険運転率が高いほど、各警報閾値Ｔｈ１、Ｔｈ２、Ｔｈ３の値を高くする。即ち、危険運転率が高いほど警報が実施されやすくなる。また、危険運転率が低いほど、各警報閾値Ｔｈ１、Ｔｈ２、Ｔｈ３の値を低くしてもよい。
　＜処理の流れ＞
　図５には、本開示の一実施形態に係る作業現場管理装置３０において実行される危険判定ルーチンを示すフローチャートが示されており、以下、同フローチャートを沿って作業現場管理方法について説明する。なお、当該フローチャートは一例であり、危険判定ルーチンは当該フローチャートの処理に限られるものではなく、例えば各処理の順序を変更してもよい。当該危険判定ルーチンは、例えば作業現場管理装置３０の動作開始後に開始する。
　図５のステップＳ１において、危険判定部３３は、倉庫監視装置１０の天井カメラ１１により撮像した画像情報から物体認識部１２により認識されたフォークリフトＦ及び作業者Ｗの位置情報を取得する。
　ステップＳ２において、危険判定部３３は、取得したフォークリフトＦ及び作業者Ｗの位置情報から上述した第１安全度Ｓｅ１、第２安全度Ｓｅ２、第３安全度Ｓｅ３を算出する。
　ステップＳ３において、危険判定部３３は、運転監視装置２０の視線カメラ２１により撮像した運転者の頭部画像情報に基づき認識した視線情報を視線認識部２２から取得する。
　また、ステップＳ４において、運転傾向解析部３２は、運転監視装置２０の視線カメラ２１により撮像した運転者の頭部画像情報に基づき生成された運転者認識情報を運転者認識部２３から取得する。
　ステップＳ５において、運転傾向解析部３２は、ステップＳ６で取得した運転者認識情報と対応する運転者情報を運転者ＤＢ３１から抽出して、当該運転者Ｄの運転傾向を解析する。具体的には運転傾向解析部３２は、運転者Ｄの危険運転率を算出する。
　ステップＳ６において、危険判定部３３は、ステップＳ３にて取得した視線情報と、ステップＳ５にて運転傾向解析部３２により解析された運転者Ｄの運転傾向の解析結果（危険運転率）に基づき、各警報閾値Ｔｈ１～Ｔｈ３の調整を行う。
　ステップＳ７において、危険判定部３３は、フォークリフトＦと作業者ＷのＴＴＣに応じた第３安全度Ｓｅ３が第３警報閾値Ｔｈ３以上であるか否かを判定する。当該判定結果が偽（Ｎｏ）である場合、即ち第３安全度Ｓｅ３が第３警報閾値Ｔｈ３未満の場合、例えば具体的にはＴＴＣが所定時間ｔｘ未満ある場合は、ステップＳ８に処理を進める。
　ステップＳ８において、危険判定部３３は第３警報を行うための警報情報を生成し、運転監視装置２０の警報器２４により第３警報を実施させ、当該ルーチンをリターンする。
　一方、ステップＳ７の判定結果が真（Ｙｅｓ）である場合、即ち第３安全度Ｓｅ３が第３警報閾値Ｔｈ３以上の場合、例えばＴＴＣが所定時間ｔｘ以上ある場合は、ステップＳ９に処理を進める。
　ステップＳ９において、危険判定部３３は、フォークリフトＦと作業者Ｗの相対的な移動方向に応じた第２安全度Ｓｅ２が第２警報閾値Ｔｈ２以上であるか否かを判定する。当該判定結果が偽（Ｎｏ）である場合、即ち第２安全度Ｓｅ２が第２警報閾値Ｔｈ２未満である場合、例えば作業者Ｗの位置からフォークリフトＦの進行方向Ｆｄとの交点Ｐまでの距離Ｃｄが短く、フォークリフトＦの進路上に作業者Ｗが入ってくる可能性が高い場合は、ステップＳ１０に処理を進める。
　ステップＳ１０において、危険判定部３３は第２警報を行うための警報情報を生成し、運転監視装置２０の警報器２４により第２警報を実施させ、当該ルーチンをリターンし、再度ステップＳ１からの処理を繰り返す。
　一方、ステップＳ９の判定結果が真（Ｙｅｓ）である場合、即ち第２安全度Ｓｅ２が第２警報閾値Ｔｈ２以上である場合、例えば作業者Ｗの位置からフォークリフトＦの進行方向Ｆｄとの交点Ｐまでの距離Ｃｄが十分にあり、フォークリフトＦの進路上に作業者Ｗが入ってくる可能性が低い場合は、ステップＳ１１に処理を進める。
　ステップＳ１１において、危険判定部３３は、フォークリフトＦと作業者Ｗの相対距離Ｒｄに応じた第１安全度Ｓｅ１が第１警報閾値Ｔｈ１以上であるか否かを判定する。当該判定結果が偽（Ｎｏ）である場合、即ち第１安全度Ｓｅ１が第１警報閾値Ｔｈ１未満である場合、例えば作業者ＷがフォークリフトＦからの所定の半径ｒの範囲内にいる場合は、ステップＳ１２に処理を進める。
　ステップＳ１２において、危険判定部３３は警報情報を生成し、運転監視装置２０の警報器２４により第１警報を実施させ、当該ルーチンをリターンする。
　一方、ステップＳ１１の判定結果が真（Ｙｅｓ）である場合、即ち第１安全度Ｓｅ１が第１警報閾値Ｔｈ１以上である場合、例えば作業者ＷがフォークリフトＦからの所定の半径ｒの範囲外にいる場合は、警報を行わずに当該ルーチンをリターンする。
　以上のように、作業現場管理システム１では、倉庫建物の天井部分から天井カメラ１１により物流倉庫内を撮像して深度情報も含めた画像情報を取得し、物体認識部１２により当該画像情報からフォークリフトＦ及び作業者Ｗの位置情報を認識している。このように深度情報を含む画像情報からフォークリフトＦ及び作業者Ｗの位置情報を認識することで、例え画像上においてフォークリフトＦや作業者Ｗの一部分が障害物等や姿勢の関係で隠れていても、より正確にフォークリフトＦや作業者Ｗの位置を認識することができる。位置情報を正確に認識できることで安全度の精度が向上し、より正確な警報を行うことができる。また、天井カメラ１１によりフォークリフトＦ及び作業者Ｗを認識できることで、従来のようなカラーラベルが貼付されたバーやビーコンを設置したり、作業者にカラーラベルを装着したりする必要がなくなり、設備コストや運用コストを低減でき、且つ人為的ミスも削減することができる。
　さらに作業現場管理システム１では、フォークリフトＦの運転者Ｄの視線方向を認識して、当該視線方向に応じて安全度に対応する警報閾値を調整している。具体的には、視線方向が作業者Ｗから離れるほど警報閾値を上昇させて警報を発しやすくする。また、視線方向が作業者Ｗに近づくほど警報閾値を減少させて警報を発しにくくする。これにより、運転者Ｄが作業者Ｗを目視していない可能性が高い場合には早めに警報することとなり、接触の可能性を抑えることができる。また、運転者Ｄが作業者Ｗを目視しているような場合には、遅めに警報することとなり、余計な警報を抑えることができる。
　また、危険判定部３３は運転傾向解析部３２により解析した運転者Ｄの運転傾向に応じても警報閾値を調整する。具体的には、運転傾向解析部３２により算出した危険運転率が高いほど各警報閾値Ｔｈ１、Ｔｈ２、Ｔｈ３を高く調整して早めに警報を発するようにすることで、危険運転の多い運転者Ｄに対しては早めに警報を発することで安全性を高めることができる。一方、危険運転率が低いほど各警報閾値Ｔｈ１、Ｔｈ２、Ｔｈ３を低く調整して遅めに警報を発するようにすることで、危険運転の少ない運転者Ｄに対しては遅めに警報を発することで余計な警報を抑えることができる。
　また天井カメラ１１はフォークリフトＦの高さよりも高い位置から作業現場を撮像することで、少ない設備投資と労力で作業現場管理システム１を実現することができる。
　また、危険判定部３３は安全度として、フォークリフトＦと作業者Ｗとの相対距離Ｒｄに応じた第１安全度Ｓｅ１を算出して、第１安全度Ｓｅ１が第１警報閾値Ｔｈ１を下回ると第１警報を行わせる警報情報を生成する。これにより、容易に安全度を算出することができる。
　また、危険判定部３３は安全度として、フォークリフトＦと作業者Ｗとの移動方向に応じた第２安全度Ｓｅ２を算出して、第２安全度Ｓｅ２が第２警報閾値Ｔｈ２を下回ると第２警報を行わせる警報情報を生成する。このように、フォークリフトＦと作業者Ｗとの移動方向を考慮した第２安全度Ｓｅ２を用いて警報の要否を判定することで、より正確な警報を行うことができる。
　また、危険判定部３３は安全度として、フォークリフトＦと作業者Ｗとが接触するまでにかかる時間（ＴＴＣ）に応じた第３安全度Ｓｅ３を算出して、第３安全度Ｓｅ３が第３警報閾値Ｔｈ３を下回ると第３警報を行わせる警報情報を生成する。このようにＴＴＣに応じた第３安全度Ｓｅ３を用いて警報の要否を判定することで、さらに正確な警報を行うことができる。
　また、このように複数の安全度を算出して、それぞれの安全度に基づく警報の要否を判定することで、状況に応じた適切な警報を行うことができる。
　このようにして本実施形態の作業現場管理システム１（作業現場管理方法、作業現場管理システム）では、作業現場において作業者と作業車両との接触リスクをより適切に低減することができる。
　以上、本開示のいくつかの実施形態を説明したが、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。
　上記実施形態では、作業現場管理装置３０の危険判定部３３が安全度に応じた警報指示を行っているが、例えば倉庫監視装置又は運転監視装置に危険判定部を備えてよい。また作業現場管理装置３０の運転者ＤＢや運転傾向解析部も倉庫監視装置又は運転監視装置が備えた構成としてもよい。
　また、上記実施形態では、危険判定部３３は、運転者Ｄの視線方向Ｅｄと運転者Ｄに対する作業者Ｗの方向の角度に応じて第１警報閾値Ｔｈ１を調整しているが、運転者の視線方向に応じた閾値の調整方法はこれに限られるものではない。例えば、より簡易に、運転者からの一定の視線範囲に作業者が含まれているか否かで、第１警報閾値を調整してもよい。つまり、運転者の視線範囲に作業者が含まれている、即ち運転者が作業者を見ている場合は第１警報閾値を低い所定値に設定し、運転者の視線範囲に作業者が含まれていない、即ち運転者が作業者を見ていない場合は第１警報閾値を高い所定値に設定する。
　また、上記実施形態では、天井カメラ１１をＲＧＢ－Ｄカメラとして説明しているが、深度情報を取得可能なカメラであればよく、例えばＴｏＦ（Time of Flight）センサを備えていたり、２つのカメラを用いるステレオカメラであったりしてもよい。
　また、物体認識部は画像内に写る作業車両及び作業者を認識し、作業車両及び作業者の位置情報を生成できればよいことから、天井カメラ（画像情報取得部）が取得可能な画像情報は、必ずしも深度情報を含まなくてもよい。例えば、天井カメラとして深度情報を取得しないＲＧＢカメラを使用してもよい。深度情報を含まない画像情報の場合、物体認識部は、例えば、透視投影変換等の３次元変換技術を用いることで作業車両及び作業者を認識し、作業車両及び作業者の位置情報を生成するとよい。具体的には、物体認識部は、画像上の基準点（例えば４点）を指定し、これらの基準点のカメラ座標系から世界座標系に変換し、世界座標系の画像上で作業車両や作業者を認識して、認識部分を含む矩形範囲の最下部の世界座標に変換することにより、作業車両や作業者の位置情報が算出可能となる。基準点は床面を示す位置が好ましく、当該基準点の指定は、予め床面を示す位置を指定しておいてもよいし、床面の特徴点を検出することで行ってもよい。また世界座標系の画像上における作業車両や作業者を認識は、パターンマッチング等の物体認識技術で行うことが可能である。
　また、倉庫監視装置１０の撮像部としては天井に設けられているものに限られず、少なくとも作業車両の高さよりも高い位置に設けられていればよい。つまり、例えば倉庫建物の壁部や、倉庫建物内に立設された柱や設備の高い位置に設けてもよい。
　また、上記実施形態では、運転者Ｄの運転者情報の生成を視線カメラ２１により撮像した頭部画像に基づき生成しているが、運転者情報所得部はこれに限られるものではない。例えば、運転者情報所得部は、運転者Ｄの識別情報が記録されたＩＣカードやキー等から情報を読み取る情報読取機であってもよい。
　また、上記実施形態では、視線カメラ２１は、フォークリフトＦの運転席のハンドルＨ奥に設けられているが、視線カメラの設置位置はこれに限られるものではない。例えば、フォークリフトのバックミラーやライトが取り付けられている外枠部分に取り付けられていてもよい。
　また、上記実施形態では、運転傾向解析部３２が運転傾向の解析として、総運転時間に対する危険運転の割合である危険運転率を算出しているが、運転傾向の解析はこれに限られるものではない。
　また、上記実施形態において、危険判定部３３は第１安全度Ｓｅ１から第３安全度Ｓｅ３を算出して警報の要否を判定しているが、第１安全度Ｓｅ１から第３安全度Ｓｅ３のうちの１つ又は２つのみを用いて警報の要否を判定してもよい。
１　　　　：作業現場管理システム
１０　　　：倉庫監視装置
１１　　　：天井カメラ
１２　　　：物体認識部
２０　　　：運転監視装置
２１　　　：視線カメラ
２２　　　：視線認識部
２３　　　：運転者認識部
２４　　　：警報器
３０　　　：作業現場管理装置
３１　　　：運転者データベース
３２　　　：運転傾向解析部
３３　　　：危険判定部

 

Claims (8)

  1. 　作業現場を撮像した画像を含む画像情報を取得可能な作業現場撮像部と、
    　前記作業現場撮像部により取得した画像情報から画像内に写る作業車両及び作業者を認識し、前記作業車両及び前記作業者の位置情報を生成する物体認識部と、
    　前記作業車両の運転者を撮像して前記運転者の視線情報を取得する運転者撮像部と、
    　前記運転者撮像部により取得した視線情報から、前記運転者の視線方向を認識する視線認識部と、
    　前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者との相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定部と、
    を備え、
    　前記危険判定部は、前記視線認識部により認識された前記運転者の視線方向に応じて前記所定の警報閾値を調整する、
    作業現場管理システム。
  2. 　さらに、
    　前記作業車両の運転者を認識し、運転者認識情報を生成する運転者認識部と、
    　前記運転者の運転履歴を含む運転者情報を記憶する運転者情報記憶部と、
    　前記運転者認識情報と対応する運転者情報を前記運転者情報記憶部から抽出して、抽出した運転者情報に基づき前記運転者の運転傾向を解析する運転傾向解析部と、
    　を備え、
    　前記危険判定部は、前記運転傾向解析部により解析された前記運転者の運転傾向に応じて前記警報閾値を調整する
    　請求項１に記載の作業現場管理システム。
  3. 　前記作業現場撮像部は前記作業車両の高さよりも高い位置から前記作業現場を撮像する
    　請求項１に記載の作業現場管理システム。
  4. 　前記危険判定部は、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から、前記作業車両と前記作業者との相対距離に応じた第１安全度を算出し、当該第１安全度が第１警報閾値を下回ると第１警報を行わせる警報情報を生成する、
    　請求項１に記載の作業現場管理システム。
  5. 　前記危険判定部は、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者の移動方向に応じた第２安全度を算出し、当該第２安全度が第２警報閾値を下回ると第２警報を行わせる警報情報を生成する、
    　請求項１に記載の作業現場管理システム。
  6. 　前記危険判定部は、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者とが接触するまでにかかる時間に応じた第３安全度を算出し、当該第３安全度が第３警報閾値を下回ると第３警報を行わせる警報情報を生成する、
    　請求項１に記載の作業現場管理システム。
  7. 　コンピュータが、
    　作業現場を撮像した画像を含む画像情報を取得する作業現場撮像ステップと、
    　前記作業現場撮像ステップにより取得した画像情報から画像内に写る作業車両及び作業者を認識し、前記作業車両及び前記作業者の位置情報を生成する物体認識ステップと、
    　前記作業車両の運転者を撮像して前記運転者の視線情報を取得する運転者撮像ステップと、
    　前記運転者撮像ステップにより取得した視線情報から、前記作業車両の運転者の視線方向を認識する視線方向認識ステップと、
    　前記物体認識ステップにより生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者との相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定ステップと、
    　前記危険判定ステップより前に、前記視線方向認識ステップにより認識された前記運転者の視線方向に応じて前記所定の警報閾値を調整する閾値調整ステップと、
    を実行する作業現場管理方法。
  8. 　作業現場を撮像した画像を含む画像情報を取得する作業現場撮像ステップと、
    　前記作業現場撮像ステップにより取得した画像情報から画像内に写る作業車両及び作業者を認識し、前記作業車両及び前記作業者の位置情報を生成する物体認識ステップと、
    　前記作業車両の運転者を撮像して前記運転者の視線情報を取得する運転者撮像ステップと、
    　前記運転者撮像ステップにより取得した視線情報から、前記作業車両の運転者の視線方向を認識する視線方向認識ステップと、
    　前記物体認識ステップにより生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者との相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定ステップと、
    を備え、
    　前記危険判定ステップより前に、前記視線方向認識ステップにより認識された前記運転者の視線方向に応じて前記所定の警報閾値を調整する閾値調整ステップと、
    　をコンピュータに実行させるための作業現場管理プログラム。

     
PCT/JP2022/020443 2021-05-17 2022-05-16 作業現場管理システム、作業現場管理方法、及び作業現場管理プログラム WO2022244747A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021082982A JP7036329B1 (ja) 2021-05-17 2021-05-17 作業現場管理システム、作業現場管理方法、及び作業現場管理プログラム
JP2021-082982 2021-05-17

Publications (1)

Publication Number Publication Date
WO2022244747A1 true WO2022244747A1 (ja) 2022-11-24

Family

ID=81213537

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/020443 WO2022244747A1 (ja) 2021-05-17 2022-05-16 作業現場管理システム、作業現場管理方法、及び作業現場管理プログラム

Country Status (2)

Country Link
JP (2) JP7036329B1 (ja)
WO (1) WO2022244747A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115860642B (zh) * 2023-02-02 2023-05-05 上海仙工智能科技有限公司 一种基于视觉识别的出入库管理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012127059A (ja) * 2010-12-13 2012-07-05 Toho Gas Co Ltd 工事車両支援システム
JP2017053092A (ja) * 2015-09-07 2017-03-16 コベルコ建機株式会社 脇見検出装置
WO2018151280A1 (ja) * 2017-02-17 2018-08-23 住友重機械工業株式会社 作業機械用周辺監視システム
JP2020125171A (ja) * 2019-02-01 2020-08-20 株式会社Ｆｕｊｉ 作業車両の安全システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012127059A (ja) * 2010-12-13 2012-07-05 Toho Gas Co Ltd 工事車両支援システム
JP2017053092A (ja) * 2015-09-07 2017-03-16 コベルコ建機株式会社 脇見検出装置
WO2018151280A1 (ja) * 2017-02-17 2018-08-23 住友重機械工業株式会社 作業機械用周辺監視システム
JP2020125171A (ja) * 2019-02-01 2020-08-20 株式会社Ｆｕｊｉ 作業車両の安全システム

Also Published As

Publication number Publication date
JP7036329B1 (ja) 2022-03-15
JP2022176876A (ja) 2022-11-30
JP2022176510A (ja) 2022-11-30

Similar Documents

Publication Publication Date Title
CA2917060C (en) Operator drowsiness detection in surface mines
JP6360105B2 (ja) ロボットシステム
KR101715001B1 (ko) 웨어러블 기기를 이용한 건설현장의 안전평가 표시 시스템 및 그 방법
US9747802B2 (en) Collision avoidance system and method for an underground mine environment
CN112804498B (zh) 一种安全防护装具佩戴情况监控系统和方法
CN109643366A (zh) 用于监控车辆驾驶员的状况的方法和系统
JP2004362586A (ja) 車両用画像処理システム
CN110689725A (zh) 用于道口综合检查的安保机器人系统及其处理方法
JP2012084108A (ja) 運転者注視方向連動の前方衝突危険警報システム、その方法及びそれを利用した車両
CN114885133B (zh) 基于深度图像的设备安全实时监控方法、系统及相关设备
US11614621B2 (en) User-wearable systems and methods to collect data and provide information
WO2022244747A1 (ja) 作業現場管理システム、作業現場管理方法、及び作業現場管理プログラム
CN111975745B (zh) 机器人系统
CN112373467A (zh) 无人驾驶汽车的智能避障系统
BR102020019933A2 (pt) Sistema de classificação de local de trabalho, e, método
KR102568248B1 (ko) 스마트 안전 의복 및 그 제어방법
JP2019197522A (ja) 走行状況判断情報基盤の運転者状態認識装置及び方法
KR20220133810A (ko) 유틸리티 차량 및 유틸리티 차량을 위한 대응하는 장치, 방법 및 컴퓨터 프로그램
CN106228754A (zh) 一种基于双目视觉的手检测设备
KR101862545B1 (ko) 로봇을 이용한 구조구난 서비스 제공방법 및 시스템
US11807264B2 (en) Driving assistance apparatus, driving assistance method, and medium
US20210279486A1 (en) Collision avoidance and pedestrian detection systems
CN117645221B (zh) 一种电梯危险区域识别及越界报警方法及装置
JP2024049991A (ja) 坑内作業安全管理システム
JP2023032664A (ja) 位置監視システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22804658

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22804658

Country of ref document: EP

Kind code of ref document: A1