WO2023089936A1 - 監視領域設定システム - Google Patents

監視領域設定システム Download PDF

Info

Publication number
WO2023089936A1
WO2023089936A1 PCT/JP2022/034636 JP2022034636W WO2023089936A1 WO 2023089936 A1 WO2023089936 A1 WO 2023089936A1 JP 2022034636 W JP2022034636 W JP 2022034636W WO 2023089936 A1 WO2023089936 A1 WO 2023089936A1
Authority
WO
WIPO (PCT)
Prior art keywords
monitoring area
work machine
area
exclusion
monitoring
Prior art date
Application number
PCT/JP2022/034636
Other languages
English (en)
French (fr)
Inventor
進軍 邱
佳樹 宗正
幸広 細
隆行 土井
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Publication of WO2023089936A1 publication Critical patent/WO2023089936A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices

Definitions

  • the present invention relates to a monitoring area setting system that sets a monitoring area for monitoring intrusion of objects.
  • Patent Document 1 it is known to have a work machine automatically repeat a series of operations from excavation to soil removal.
  • An object of the present invention is to provide a monitoring area setting system capable of reducing the amount of calculation required for monitoring.
  • the monitoring area setting system includes a point cloud data acquisition unit that has a preset detection range and acquires point cloud data, which is data indicating the distance from a predetermined reference point to an object within the detection range; Acquiring information about a reference monitoring area that is an area set to include a work machine positioned within the detection range, specifying an operation range of the work machine as an exclusion area based on the point cloud data, and determining the reference monitoring area. a controller that excludes the exclusion area from the monitoring area and sets an actual monitoring area for the work machine.
  • FIG. 1 is a configuration diagram of a monitoring area setting system according to one embodiment of the present invention.
  • FIG. 2 is a side view of a work machine to which a monitoring area setting system according to one embodiment of the invention is applied.
  • FIG. 3 is a circuit diagram of the monitoring area setting system and working machine according to one embodiment of the present invention.
  • FIG. 4A is a diagram showing point cloud data of the surveillance area setting system according to one embodiment of the present invention.
  • FIG. 4B is a diagram showing point cloud data of the surveillance area setting system according to one embodiment of the present invention.
  • FIG. 5 is a diagram showing exclusion areas of the monitoring area setting system according to one embodiment of the present invention.
  • FIG. 6A is a diagram showing monitor regions and exclusion regions for each operation of the work machine.
  • FIG. 6B is a diagram showing monitoring regions and exclusion regions for each operation of the work machine.
  • FIG. 1 is a configuration diagram of a monitoring area setting system 1. As shown in FIG. A surveillance area setting system 1 has a camera 2 , a LiDAR 3 and an alarm device 4 .
  • the camera 2 captures an image of the monitoring area 70 provided at the work site and acquires image information.
  • the camera 2 is provided outside the monitoring area 70 , but may be provided inside the monitoring area 70 . Also, a plurality of cameras 2 may be provided at the work site.
  • the monitoring area 70 is set around the work machine 20 placed at the work site.
  • the work machine 20 is working within the monitoring area 70 .
  • the work machine 20 may be a work machine 20 with an operator on board, a remotely controlled work machine 20, or an automatically operated work machine 20.
  • the LiDAR (Light Detection and Ranging or Laser Imaging Detection and Ranging) (point cloud data acquisition unit) 3 is provided outside the monitoring area 70 together with the camera 2, but may be provided within the monitoring area 70.
  • the LiDAR 3 has a preset detection range, and measures the distance from the position (predetermined reference point) where the LiDAR 3 is attached to an object (working machine 20 or an intruder) located within the monitoring area 70. Get the point cloud data shown.
  • the point cloud data is data indicating the distance from the reference point to the object within the detection range of the LiDAR 3 .
  • a plurality of LiDARs 3 may be provided at the work site.
  • a stereo camera or a TOF (Time Of Flight) sensor may be used instead of the LiDAR 3 as the point cloud data acquisition unit according to the present invention.
  • the alarm device 4 is capable of issuing an alarm.
  • the alarm device 4 includes a lamp and a speaker, and issues a warning to a worker or the like in the work site by turning on the lamp and generating a warning sound from the speaker.
  • FIG. 2 is a side view of work machine 20.
  • the work machine 20 is a hydraulic excavator and includes a machine body 25 including a lower travel body 21 and an upper revolving body 22 , an attachment 30 , and a work drive device 40 .
  • the lower traveling body 21 includes a pair of crawlers, and can travel on the ground by moving the pair of crawlers.
  • the upper rotating body 22 is attached to the lower traveling body 21 via a rotating device 24 so as to be able to rotate.
  • the turning device 24 is a turning driving device that turns the upper turning body 22 .
  • the upper revolving body 22 includes a cab (operator's cab) 23 located in its front portion.
  • the attachment 30 is a working device, and is attached to the upper revolving body 22 so as to be able to perform work operations including vertical rotation.
  • Attachment 30 includes boom 31 , arm 32 and bucket 33 .
  • the boom 31 has a base end attached to the upper revolving body 22 so as to be vertically rotatable (raising and lowering), and a tip end on the opposite side.
  • the arm 32 has a base end attached to the tip of the boom 31 so as to be vertically rotatable with respect to the boom 31 and a tip on the opposite side.
  • the bucket 33 is attached to the tip of the arm 32 so as to be rotatable in the front-rear direction with respect to the arm 32 .
  • the bucket 33 is a part for excavating, leveling, and scooping earth and sand (transported material).
  • the material to be transported held by the bucket 33 is not limited to earth and sand, and may be stones or waste (industrial waste, etc.).
  • the work drive device 40 hydraulically moves the attachment 30 to perform the work operation.
  • the work drive device 40 in this embodiment includes a plurality of hydraulic cylinders, each of which is extendable, including a boom cylinder 41 , an arm cylinder 42 and a bucket cylinder 43 .
  • the boom cylinder 41 rotates the boom 31 with respect to the upper swing body 22 .
  • the boom cylinder 41 has a base end rotatably connected to the upper swing body 22 and a tip end rotatably connected to the boom 31 .
  • the arm cylinder 42 rotates the arm 32 with respect to the boom 31 .
  • the arm cylinder 42 has a base end rotatably connected to the boom 31 and a tip end rotatably connected to the arm 32 .
  • the bucket cylinder 43 rotates the bucket 33 with respect to the arm 32 .
  • the bucket cylinder 43 has a base end rotatably connected to the arm 32 and a tip end rotatably connected to the link member 34 .
  • the link member 34 is rotatably connected to the bucket 33 and connects the bucket cylinder 43 and the bucket 33 to each other.
  • the working machine 20 further includes a turning angle sensor 52 that is a turning angle detector, and a working attitude detector 60 .
  • the turning angle sensor 52 detects the turning angle of the upper turning body 22 with respect to the lower traveling body 21 .
  • the turning angle sensor 52 is, for example, an encoder, resolver, or gyro sensor.
  • the turning angle of the upper turning body 22 is 0° when the front of the upper turning body 22 and the front of the lower traveling body 21 match.
  • the working posture detector 60 detects the working posture of the attachment 30.
  • the working attitude detector 60 includes a boom tilt angle sensor 61 , an arm tilt angle sensor 62 and a bucket tilt angle sensor 63 .
  • a boom tilt angle sensor 61 is attached to the boom 31 and detects the attitude of the boom 31 .
  • the boom tilt angle sensor 61 acquires the tilt angle of the boom 31 with respect to the horizontal line.
  • the boom tilt angle sensor 61 is, for example, a tilt (acceleration) sensor.
  • the working posture detector 60 may include a rotation angle sensor for detecting the rotation angle of the boom foot pin (base end of the boom) or a stroke sensor for detecting the stroke amount of the boom cylinder 41 instead of the boom tilt angle sensor 61. good.
  • the arm tilt angle sensor 62 is attached to the arm 32 and detects the posture of the arm 32 .
  • the arm tilt angle sensor 62 acquires the tilt angle of the arm 32 with respect to the horizontal line.
  • the arm tilt angle sensor 62 is, for example, a tilt (acceleration) sensor.
  • the working posture detector 60 may include a rotation angle sensor for detecting the rotation angle of the arm connecting pin (arm proximal end) or a stroke sensor for detecting the stroke amount of the arm cylinder 42 instead of the arm tilt angle sensor 62. good.
  • the bucket tilt angle sensor 63 is attached to the link member 34 and detects the attitude of the bucket 33 .
  • the bucket tilt angle sensor 63 acquires the tilt angle of the bucket 33 with respect to the horizontal line.
  • the bucket tilt angle sensor 63 is, for example, a tilt (acceleration) sensor.
  • the working posture detector 60 may include a rotation angle sensor for detecting the rotation angle of the bucket connecting pin (bucket proximal end) or a stroke sensor for detecting the stroke amount of the bucket cylinder 43. good.
  • the working machine 20 performs a series of operations for excavating and discharging earth and sand.
  • a series of operations includes an excavation operation, a lifting and turning operation, an earth discharging operation, and a return turning operation.
  • the excavation operation is an operation of excavating earth and sand with the bucket 33 .
  • the lifting and turning operation is an operation of turning the upper turning body 22 while holding the earth and sand.
  • the dumping operation is an operation for dumping earth and sand onto a loading platform of a dump truck or the like.
  • the return turning operation is an operation of turning the upper turning body 22 to the excavation position after the earth is discharged.
  • FIG. 3 is a circuit diagram of the monitoring area setting system 1 and the work machine 20. As shown in FIG. The work machine 20 has a work machine control unit 11 , a storage device 12 and a work machine communication device 14 .
  • Information regarding the turning angle (attitude) of the upper turning body 22 with respect to the lower traveling body 21 detected by the turning angle sensor 52 is input to the work machine side control unit 11 . Further, information regarding the posture of the boom 31 detected by the boom tilt angle sensor 61 is input to the work machine side control unit 11 . Further, information regarding the posture of the arm 32 detected by the arm tilt angle sensor 62 is input to the work machine control unit 11 . Further, information regarding the posture of the bucket 33 detected by the bucket tilt angle sensor 63 is input to the work machine control unit 11 .
  • the work machine side control unit 11 automatically controls the work machine 20.
  • the work machine side control unit 11 controls movements of the upper revolving body 22 and the attachment 30 so that the upper revolving body 22 and the attachment 30 perform the series of operations described above.
  • the work machine control unit 11 automatically operates the turning device 24 and the attachment 30 based on the detection values of the turning angle sensor 52 and the working attitude detector 60 .
  • the storage device 12 stores the series of operations described above.
  • the contents of a series of operations are set by, for example, teaching by an operator and stored in the storage device 12 .
  • the work machine side communication device 14 can communicate with a communication device 6 of the monitoring area setting system 1, which will be described later.
  • the monitoring area setting system 1 further includes a controller 5 and a communication device 6.
  • the communication device 6 can communicate with the work machine side communication device 14 of the work machine 20 .
  • the controller 5 is a computer that performs signal input/output, calculation (processing), information storage, and the like.
  • the functions of the controller 5 are realized by executing a program stored in the storage section of the controller 5 by the arithmetic section.
  • the controller 5 is provided with functional units including a monitoring area setting unit 81, a specifying unit 82, an exclusion unit 83, a detection unit 85, and a countermeasure unit 86 by the operation unit executing the program stored in the storage unit. function.
  • These functional units do not have substance, but correspond to units of functions executed by the program. In other words, it can be said that the control executed by these functional units is substantially centrally executed by the controller 5 .
  • each functional unit may be divided and arranged in a plurality of controllers.
  • the monitoring area setting unit 81 sets the monitoring area 70 . Specifically, the monitoring area setting unit 81 superimposes the two-dimensional coordinates of each point of the point cloud data acquired by the LiDAR 3 on the two-dimensional image captured by the camera 2, thereby determining the position of the work machine 20 in three dimensions. Get at the source. Monitoring region setting unit 81 then sets monitoring region 70 around work machine 20 , centered on the position of work machine 20 . That is, the monitoring area 70 is an area set to include the work machine 20 positioned within the detection range of the LiDAR 3, and corresponds to the reference monitoring area of the present invention. Therefore, the detection range of LiDAR 3 is set to include the monitoring area 70 . At this time, a plurality of LiDARs 3 may be arranged so as to cover the monitoring area 70 by mutual detection ranges.
  • the monitoring area 70 is set as an area obtained by adding a safety area around an exclusion area 71, which will be described later.
  • the safe area is set in consideration of the time required to stop the work machine 20 and the like. Note that the monitoring area 70 may be set manually.
  • the identifying unit 82 identifies the motion range of the work machine 20 as the exclusion area 71 based on the point cloud data corresponding to the work machine 20 acquired by the LiDAR 3 .
  • Exclusion area 71 is illustrated in FIG. 4A and 4B are diagrams showing point cloud data. As shown in FIGS. 4A and 4B, the identifying unit 82 acquires point cloud data corresponding to the work machine 20 at different times (time 1, time 2, . , the operating range of the work machine 20 is identified and defined as the exclusion area 71 .
  • the exclusion unit (exclusion means) 83 excludes the exclusion area 71 from the monitoring area 70 .
  • the monitoring area 70 becomes narrower than before the exclusion area 71 is excluded. Therefore, the amount of calculation required for monitoring can be suppressed.
  • the area obtained by excluding the exclusion area 71 from the monitoring area 70 corresponds to the actual monitoring area for the work machine 20 in the present invention.
  • a detection unit (detection means) 85 detects whether an object has entered the monitoring area 70 (actual monitoring area) based on the point cloud data in the monitoring area 70 (actual monitoring area) after the exclusion area 71 has been excluded. to detect
  • the countermeasure unit 86 performs a predetermined countermeasure when an object enters the monitoring area 70 after the exclusion area 71 is excluded. Specifically, as the countermeasures, the countermeasure unit 86 limits the operation of the work machine 20 or issues an alarm from the alarm device 4 .
  • countermeasure unit 86 transmits and inputs an operation restriction instruction to work machine 20 via communication device 6 .
  • the work machine-side control unit 11 of the work machine 20 restricts or stops the movement of the attachment 30 and the turning device 24 when receiving the operation restriction instruction.
  • the work machine 20 By excluding the exclusion area 71 from the monitoring area 70, the work machine 20 will not be erroneously detected as an intruder. Therefore, an object detected within monitoring area 70 is an intruder and may come into contact with or interfere with work machine 20 . Therefore, by taking countermeasures such as restricting the operation of the work machine 20 when an intruder is detected, interference between the work machine 20 and the intruder can be suppressed.
  • the identifying unit 82 identifies, as the exclusion area 71 , a range obtained by superimposing the motion ranges of the series of motions in the work machine 20 .
  • the specifying unit 82 specifies, as the exclusion area 71 , a range obtained by superimposing the motion ranges of the excavation motion, the lifting turning motion, the soil discharging motion, and the return turning motion.
  • Identification unit 82 receives information on each operation of work machine 20 from work machine 20 via communication device 6 .
  • FIG. 5 shows an exclusion area 71 .
  • the exclusion area 71 includes the entire motion range of the work machine 20 that performs the series of motions.
  • the exclusion unit 83 excludes the exclusion area 71 from the monitoring area 70 .
  • the entire motion range of work machine 20 that performs a series of motions is excluded from monitoring area 70 . Therefore, the range excluded from the monitoring area 70 is wider than the case where the motion range of only part of the motion in the series of motions is excluded as the exclusion region 71 . As a result, the amount of calculation required for monitoring can be suitably reduced.
  • the identifying unit 82 also identifies the exclusion area 71 for each of a plurality of motions of the work machine 20 . For example, from the contents such as whether or not the work machine side control unit 11 of the work machine 20 is running the lower traveling body 21, whether or not the turning device 24 is turning, and whether or not the attachment 30 is operating, It is possible to estimate what kind of operation the work machine 20 is currently performing.
  • the specifying unit 82 acquires this information via the communication device 6 and specifies the exclusion area 71 for each operation.
  • the exclusion unit 83 switches (sets) the exclusion area 71 to be excluded from the monitoring area 70 according to the current operation of the work machine 20 .
  • the exclusion area 71 is switched between when the lower running body 21 is running and when it is not running. Accordingly, it is possible to set the exclusion area 71 having an appropriate width according to the operation of the work machine 20 .
  • the monitoring area setting unit 81 sets the monitoring area 70 according to the current operation of the working machine 20 . Specifically, monitoring region setting unit 81 sets monitoring region 70 (actual monitoring region) based on exclusion region 71 according to the current operation of work machine 20 . Accordingly, it is possible to set the monitoring area 70 having an appropriate size according to the operation of the work machine 20 .
  • FIG. 6A and 6B are diagrams showing a monitoring area 70 (actual monitoring area) and an exclusion area 71 for each operation of the working machine 20.
  • FIG. The exclusion area 71 is switched between when the work machine 20 is not traveling (FIG. 6A) and when it is traveling (FIG. 6B).
  • Exclusion area 71a when work machine 20 is not traveling is narrower than exclusion area 71b when work machine 20 is traveling. Therefore, even if the monitoring area 70a when the work machine 20 is not running is made narrower than the monitoring area 70b when the work machine 20 is running, sufficient countermeasures against intruders can be taken. By narrowing the monitoring area 70, the amount of calculation required for monitoring can be suitably reduced.
  • the monitoring area setting unit 81 minimizes the safety areas added to the exclusion area 71a in the top, bottom, left, and right of the working machine 20, thereby narrowing the monitoring area 70a.
  • monitoring region setting unit 81 widens the safety region added in the traveling direction of work machine 20 (left side in the drawing) according to the running speed of work machine 20, so that monitoring region 70b becomes It is set wider than the monitoring area 70a.
  • the operating range of the working machine 20 is specified as the exclusion area 71, and the exclusion area 71 is excluded from the monitoring area 70 as the reference monitoring area. By doing so, the actual monitoring area is set. By excluding the exclusion area 71 from the monitoring area 70, the monitoring area 70 becomes narrower than before the exclusion area 71 is excluded. Therefore, the amount of calculation required for monitoring can be reduced.
  • any object detected within monitored area 70 is an intruder and may interfere with work machine 20 . Therefore, when an intruding object is detected, for example, by taking countermeasures such as restricting the operation of the working machine 20, interference between the working machine 20 and the intruding object can be suppressed.
  • a range obtained by superimposing a series of motion ranges of the work machine 20 is specified as an exclusion area 71 and excluded from the monitoring area 70 .
  • the entire motion range of work machine 20 that performs a series of motions is excluded from monitoring area 70 . Therefore, the range excluded from the monitoring region 70 is wider than the motion range of only a part of the motion in the series of motions is excluded as the exclusion region 71 . As a result, the amount of calculation required for monitoring can be suitably reduced.
  • the exclusion area 71 is specified for each of a plurality of operations of the work machine 20, and the exclusion area 71 excluded from the monitoring area 70 is switched according to the current operation of the work machine 20. Accordingly, it is possible to set the exclusion area 71 having an appropriate width according to the operation of the work machine 20 . As a result, it is possible to set the monitoring area 70 (actual monitoring area) having an appropriate size according to the operation of the work machine 20 .
  • the exclusion area 71 is switched between when the work machine 20 is running and when it is not running. Exclusion area 71 when work machine 20 is not traveling is narrower than exclusion area 71 when work machine 20 is traveling.
  • the monitoring area 70 when the work machine 20 is not running is made narrower than the monitoring area 70 when the work machine 20 is running, sufficient countermeasures against intruders can be taken. By narrowing the monitoring area 70, the amount of calculation required for monitoring can be suitably reduced.
  • the monitoring area setting system includes a point cloud data acquisition unit and a controller.
  • the point cloud data acquisition unit acquires point cloud data, which has a preset detection range and indicates a distance from a predetermined reference point to an object within the detection range.
  • the controller obtains information about a reference monitoring area, which is an area set to include the work machine positioned within the detection range, and identifies the operation range of the work machine as an exclusion area based on the point cloud data. Then, the actual monitoring area for the work machine is set by excluding the exclusion area from the reference monitoring area.
  • the controller detects that an object has entered the actual monitoring area based on the point cloud data within the actual monitoring area.
  • the controller identifies a range obtained by overlapping the motion ranges of each of the plurality of motions as the exclusion region. is desirable.
  • the controller can specify a plurality of different exclusion areas according to a plurality of different operations of the work machine, and sets the exclusion area according to the current operation of the work machine. It is desirable to
  • the controller identifies the position of the work machine within the detection range, and sets the reference monitoring area according to the identification result, thereby acquiring information about the reference monitoring area. desirable. Note that the operator may manually set the reference monitoring area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

監視に要する計算量を抑制することが可能な監視領域設定システムを提供する。監視領域設定システム（１）は、点群データ取得部（３）と、コントローラ（５）とを備える。前記点群データ取得部は、予め設定された検出範囲を有し、所定の基準点から前記検知範囲内の対象物までの距離を示すデータである点群データを取得する。前記コントローラは、前記検出範囲内に位置する作業機械を含むように設定される領域である基準監視領域に関する情報を取得し、前記点群データに基づいて前記作業機械の動作範囲を除外領域として特定し、前記基準監視領域から前記除外領域を除外して前記作業機械に対する実監視領域を設定する。

Description

監視領域設定システム
　本発明は、物体の侵入を監視するための監視領域を設定する、監視領域設定システムに関する。
　特許文献１に開示されているように、掘削から排土までの一連の動作を作業機械に自動で繰り返し行わせることが知られている。
特開平１１－２９３７０８号公報
　ところで、物体の侵入を監視するための監視領域を設定して、当該監視領域内を監視する場合、監視領域内で作業中の作業機械と、監視領域内に侵入した物体とをそれぞれ監視する必要があり、監視に要する計算量が多くなる。
　本発明の目的は、監視に要する計算量を抑制することが可能な監視領域設定システムを提供することである。
　本発明によって提供されるのは、監視領域設定システムである。当該監視領域設定システムは、予め設定された検出範囲を有し、所定の基準点から前記検知範囲内の対象物までの距離を示すデータである点群データを取得する点群データ取得部と、前記検出範囲内に位置する作業機械を含むように設定される領域である基準監視領域に関する情報を取得し、前記点群データに基づいて前記作業機械の動作範囲を除外領域として特定し、前記基準監視領域から前記除外領域を除外して前記作業機械に対する実監視領域を設定するコントローラと、を備える。
図１は、本発明の一実施形態に係る監視領域設定システムの構成図である。 図２は、本発明の一実施形態に係る監視領域設定システムが適用される作業機械の側面図である。 図３は、本発明の一実施形態に係る監視領域設定システムおよび作業機械の回路図である。 図４Ａは、本発明の一実施形態に係る監視領域設定システムの点群データを示す図である。 図４Ｂは、本発明の一実施形態に係る監視領域設定システムの点群データを示す図である。 図５は、本発明の一実施形態に係る監視領域設定システムの除外領域を示す図である。 図６Ａは、作業機械の動作毎の監視領域および除外領域を示す図である。 図６Ｂは、作業機械の動作毎の監視領域および除外領域を示す図である。
　以下、本発明の好適な一実施形態について、図面を参照しつつ説明する。
（監視領域設定システムの構成）
　本実施形態による監視領域設定システムは、監視対象である作業機械以外の物体の侵入を監視するための監視領域を設定するものである。図１は、監視領域設定システム１の構成図である。監視領域設定システム１は、カメラ２と、ＬｉＤＡＲ３と、警報装置４と、を有している。
　カメラ２は、作業現場に設けられた監視領域７０を撮像し、画像情報を取得する。カメラ２は、監視領域７０外に設けられているが、監視領域７０内に設けられていてもよい。また、カメラ２は、作業現場に複数台設けられていてもよい。
　ここで、監視領域７０は、作業現場に配置された作業機械２０の周囲に設定される。監視領域７０内では、作業機械２０が作業を行っている。この作業機械２０は、オペレータが搭乗した作業機械２０であってもよいし、遠隔操縦される作業機械２０であってもよいし、自動運転される作業機械２０であってもよい。
　ＬｉＤＡＲ（Light Detection and RangingまたはLaser Imaging Detection and Ranging）（点群データ取得部）３は、カメラ２とともに監視領域７０外に設けられているが、監視領域７０内に設けられていてもよい。ＬｉＤＡＲ３は、予め設定された検出範囲を有しており、当該ＬｉＤＡＲ３が取り付けられている位置（所定の基準点）から監視領域７０内に位置する物体（作業機械２０や侵入物）までの距離を示す点群データを取得する。換言すれば、前記点群データは、前記基準点からＬｉＤＡＲ３の検出範囲内の対象物までの距離を示すデータである。なお、複数台のＬｉＤＡＲ３が、作業現場に設けられてもよい。また、本発明に係る点群データ取得部として、ＬｉＤＡＲ３の代わりに、ステレオカメラやＴＯＦ（Time Of Flight）センサを用いてもよい。
　警報装置４は、警報を発することが可能である。具体的には、警報装置４は、ランプおよびスピーカを備え、ランプの点灯や、スピーカからの警告音の発生によって、作業現場内にいる作業者などに警告を行う。
（作業機械の構成）
　図２は、作業機械２０の側面図である。作業機械２０は、油圧ショベルであり、下部走行体２１および上部旋回体２２を含む機械本体２５と、アタッチメント３０と、作業駆動装置４０と、を備える。
　下部走行体２１は、一対のクローラを含み、当該一対のクローラが動くことにより地面上を走行することが可能である。上部旋回体２２は、下部走行体２１に旋回装置２４を介して旋回可能に取り付けられる。前記旋回装置２４は、前記上部旋回体２２を旋回させる旋回駆動装置である。上部旋回体２２は、その前部に位置するキャブ（運転室）２３を含む。
　アタッチメント３０は、作業装置であり、上下方向の回動を含む作業動作を行うことが可能となるように上部旋回体２２に取り付けられる。アタッチメント３０は、ブーム３１と、アーム３２と、バケット３３と、を含む。ブーム３１は、上下方向に回動可能（起伏可能）となるように上部旋回体２２に取り付けられる基端部と、その反対側の先端部とを有する。アーム３２は、ブーム３１に対して上下方向に回動可能となるようにブーム３１の前記先端部に取り付けられる基端部と、その反対側の先端部とを有する。バケット３３は、アーム３２に対して前後方向に回動可能となるようにアーム３２の先端部に取り付けられる。バケット３３は、土砂（運搬物）の掘削、均し、すくいなどの作業を行う部分である。なお、バケット３３が保持する運搬物は、土砂に限定されず、石でもよく、廃棄物（産業廃棄物など）でもよい。
　作業駆動装置４０は、アタッチメント３０を油圧で動かして前記作業動作を行わせる。作業駆動装置４０は、本実施形態では、それぞれが伸縮可能な複数の油圧シリンダを含み、当該複数のシリンダは、ブームシリンダ４１と、アームシリンダ４２と、バケットシリンダ４３と、を含む。
　ブームシリンダ４１は、上部旋回体２２に対してブーム３１を回動させる。ブームシリンダ４１は、上部旋回体２２に回動可能に連結される基端部と、ブーム３１に回動可能に連結される先端部とを有する。
　アームシリンダ４２は、ブーム３１に対してアーム３２を回動させる。アームシリンダ４２は、ブーム３１に回動可能に連結される基端部と、アーム３２に回動可能に連結される先端部とを有する。
　バケットシリンダ４３は、アーム３２に対してバケット３３を回動させる。バケットシリンダ４３は、アーム３２に回動可能に連結される基端部と、リンク部材３４に回動可能に連結される先端部と、を有する。前記リンク部材３４は、バケット３３に回動可能に連結され、バケットシリンダ４３とバケット３３とを相互に連結する。
　また、作業機械２０は、旋回角度検出器である旋回角度センサ５２と、作業姿勢検出器６０と、を更に備える。
　旋回角度センサ５２は、下部走行体２１に対する上部旋回体２２の旋回角度を検出する。旋回角度センサ５２は、例えば、エンコーダ、レゾルバ、又は、ジャイロセンサである。本実施形態では、上部旋回体２２の前方が下部走行体２１の前方と一致するときの上部旋回体２２の旋回角度が０°である。
　作業姿勢検出器６０は、アタッチメント３０の作業姿勢を検出する。作業姿勢検出器６０は、ブーム傾斜角センサ６１と、アーム傾斜角センサ６２と、バケット傾斜角センサ６３と、を含む。
　ブーム傾斜角センサ６１は、ブーム３１に取り付けられ、ブーム３１の姿勢を検出する。ブーム傾斜角センサ６１は、水平線に対するブーム３１の傾斜角度を取得する。ブーム傾斜角センサ６１は、例えば、傾斜（加速度）センサである。なお、作業姿勢検出器６０は、ブーム傾斜角センサ６１の代わりに、ブームフットピン（ブーム基端）の回転角度を検出する回転角度センサまたはブームシリンダ４１のストローク量を検出するストロークセンサを含んでもよい。
　アーム傾斜角センサ６２は、アーム３２に取り付けられ、アーム３２の姿勢を検出する。アーム傾斜角センサ６２は、水平線に対するアーム３２の傾斜角度を取得する。アーム傾斜角センサ６２は、例えば、傾斜（加速度）センサである。なお、作業姿勢検出器６０は、アーム傾斜角センサ６２の代わりに、アーム連結ピン（アーム基端）の回転角度を検出する回転角度センサまたはアームシリンダ４２のストローク量を検出するストロークセンサを含んでもよい。
　バケット傾斜角センサ６３は、リンク部材３４に取り付けられ、バケット３３の姿勢を検出する。バケット傾斜角センサ６３は、水平線に対するバケット３３の傾斜角度を取得する。バケット傾斜角センサ６３は、例えば、傾斜（加速度）センサである。なお、作業姿勢検出器６０は、バケット傾斜角センサ６３の代わりに、バケット連結ピン（バケット基端）の回転角度を検出する回転角度センサまたはバケットシリンダ４３のストローク量を検出するストロークセンサを含んでもよい。
　本実施形態において、作業機械２０は、土砂を掘削して排土する一連の動作を行う。一連の動作には、掘削動作、持ち上げ旋回動作、排土動作、および、復帰旋回動作が含まれる。掘削動作は、バケット３３で土砂を掘削する動作である。持ち上げ旋回動作は、土砂を保持した状態で上部旋回体２２を旋回させる動作である。排土動作は、ダンプカーの荷台などに土砂を排土する動作である。復帰旋回動作は、排土後に掘削位置まで上部旋回体２２を旋回させる動作である。
（監視領域設定システムおよび作業機械の回路構成）
　図３は、監視領域設定システム１および作業機械２０の回路図である。作業機械２０は、作業機械側コントロールユニット１１と、記憶装置１２と、作業機械側通信装置１４と、を有している。
　作業機械側コントロールユニット１１には、旋回角度センサ５２によって検出された、下部走行体２１に対する上部旋回体２２の旋回角度（姿勢）に関する情報が入力される。また、作業機械側コントロールユニット１１には、ブーム傾斜角センサ６１によって検出された、ブーム３１の姿勢に関する情報が入力される。また、作業機械側コントロールユニット１１には、アーム傾斜角センサ６２によって検出された、アーム３２の姿勢に関する情報が入力される。また、作業機械側コントロールユニット１１には、バケット傾斜角センサ６３によって検出された、バケット３３の姿勢に関する情報が入力される。
　作業機械２０が自動運転される場合、作業機械側コントロールユニット１１は、作業機械２０を自動制御する。作業機械側コントロールユニット１１は、前述の一連の動作を上部旋回体２２およびアタッチメント３０が行うように、上部旋回体２２およびアタッチメント３０の動きを制御する。具体的には、作業機械側コントロールユニット１１は、旋回角度センサ５２および作業姿勢検出器６０の検出値に基づいて、旋回装置２４およびアタッチメント３０を自動で動作させる。
　このように作業機械２０が自動運転される場合、記憶装置１２は、上記の一連の動作を記憶する。一連の動作の内容は、例えば、作業者によるティーチングにより設定され、記憶装置１２に記憶される。
　作業機械側通信装置１４は、監視領域設定システム１の後述する通信装置６と通信可能である。
　監視領域設定システム１は、コントローラ５と、通信装置６と、を更に有している。
　通信装置６は、作業機械２０の作業機械側通信装置１４と通信可能である。
　コントローラ５は、信号の入出力、演算（処理）、情報の記憶などを行うコンピュータである。例えば、コントローラ５の機能は、コントローラ５の記憶部に記憶されたプログラムが演算部で実行されることにより実現される。コントローラ５は、前記演算部が前記記憶部に記憶されたプログラムを実行することにより、監視領域設定部８１、特定部８２、除外部８３、検出部８５、対策部８６の各機能部を備えるように機能する。これらの機能部は、実体を有するものではなく、前記プログラムによって実行される機能の単位に相当する。すなわち、これらの機能部が実行する制御は、実質的にコントローラ５が統括的に実行するということができる。なお、各機能部は、複数のコントローラに分かれて配置されるものでもよい。
　監視領域設定部８１は、監視領域７０を設定する。具体的には、監視領域設定部８１は、カメラ２が撮像した二次元の画像に、ＬｉＤＡＲ３が取得した点群データの各点の二次元座標を重畳させることで、作業機械２０の位置を三次元で取得する。そして、監視領域設定部８１は、作業機械２０の位置を中心とする監視領域７０を作業機械２０の周囲に設定する。すなわち、監視領域７０は、ＬｉＤＡＲ３の前記検出範囲内に位置する作業機械２０を含むように設定される領域であり、本発明の基準監視領域に相当する。このため、ＬｉＤＡＲ３の検出範囲は監視領域７０を含むように設定されている。この際、複数のＬｉＤＡＲ３が互いの検出範囲によって監視領域７０をカバーするように配置されてもよい。
　ここで、図１に示すように、監視領域７０は、後述する除外領域７１の周囲に安全領域を加えた領域として設定される。安全領域は、作業機械２０を停止させるのに要する時間などを考慮して設定される。なお、監視領域７０は、手動で設定されてもよい。
　図３に戻って、特定部８２は、ＬｉＤＡＲ３が取得した、作業機械２０に対応する点群データに基づいて、作業機械２０の動作範囲を除外領域７１として特定する。図１に除外領域７１を図示する。また、図４Ａ、図４Ｂは、点群データを示す図である。図４Ａ、図４Ｂに示すように、特定部８２は、異なる時刻（時刻１、時刻２、・・・）毎に、作業機械２０に対応する点群データを取得し、これらの差分を取ることで、作業機械２０の動作範囲を特定し、これを除外領域７１とする。
　図３に戻って、除外部（除外手段）８３は、監視領域７０から除外領域７１を除外する。監視領域７０から除外領域７１が除外されることで、除外領域７１が除外される前と比べて、監視領域７０が狭くなる。よって、監視に要する計算量を抑制することができる。監視領域７０から除外領域７１が除外された領域は、本発明における作業機械２０に対する実監視領域に相当する。
　検出部（検出手段）８５は、除外領域７１が除外された後の監視領域７０（実監視領域）内の点群データに基づいて、監視領域７０（実監視領域）内に物体が侵入したことを検出する。対策部８６は、除外領域７１が除外された後の監視領域７０内に物体が侵入した場合に、所定の対策を行う。具体的には、前記対策として、対策部８６は作業機械２０の動作を制限したり、警報装置４から警報を発生させたりする。対策として作業機械２０の動作制限が行われる場合、対策部８６は通信装置６を介して作業機械２０に動作制限指示を送信し、入力する。作業機械２０の作業機械側コントロールユニット１１は、動作制限指示を受け取ると、アタッチメント３０および旋回装置２４の動作を制限したり停止させたりする。
　監視領域７０から除外領域７１が除外されることで、作業機械２０が侵入物として誤検出されることがなくなる。よって、監視領域７０内で検出される物体は侵入物であり、作業機械２０に接触、干渉する可能性がある。そこで、侵入物が検出された場合に、作業機械２０の動作を制限するなどの対策を行うことで、作業機械２０と侵入物との干渉を抑制することができる。
　ここで、特定部８２は、作業機械２０における一連の動作の動作範囲を重畳させた範囲を、除外領域７１として特定する。具体的には、特定部８２は、掘削動作、持ち上げ旋回動作、排土動作、および、復帰旋回動作の各々の動作範囲を重畳させた範囲を、除外領域７１として特定する。特定部８２は、作業機械２０の各動作の情報を、通信装置６を介して作業機械２０から受信する。図５は、除外領域７１を示す。この除外領域７１には、前記一連の動作を行う作業機械２０の動作範囲がすべて含まれる。
　除外部８３は、除外領域７１を監視領域７０から除外する。これにより、一連の動作を行う作業機械２０の動作範囲の全てが監視領域７０から除外されることになる。よって、一連の動作のうち一部のみの動作の動作範囲を除外領域７１として除外する場合と比較して、監視領域７０から除外される範囲が広くなる。この結果、監視に要する計算量を好適に小さくすることができる。
　また、特定部８２は、作業機械２０の複数の動作毎に、除外領域７１を特定する。例えば、作業機械２０の作業機械側コントロールユニット１１が、下部走行体２１を走行させているか否か、旋回装置２４を旋回させているか否か、アタッチメント３０を動作させているか否かといった内容から、作業機械２０が現在どのような動作を行っているかを推定することができる。特定部８２は、この情報を通信装置６経由で取得し、動作毎に、除外領域７１を特定する。
　そして、除外部８３は、現在の作業機械２０の動作に応じて、監視領域７０から除外する除外領域７１を切り替える（設定する）。例えば、下部走行体２１が走行しているときと、走行していないときとで、除外領域７１を切り替える。これにより、作業機械２０の動作に応じた適切な広さの除外領域７１を設定することができる。
　監視領域設定部８１は、現在の作業機械２０の動作に応じた監視領域７０を設定する。具体的には、監視領域設定部８１は、現在の作業機械２０の動作に応じた除外領域７１に基づいて、監視領域７０（実監視領域）を設定する。これにより、作業機械２０の動作に応じた適切な広さの監視領域７０を設定することができる。
　図６Ａ、図６Ｂは、作業機械２０の動作毎の監視領域７０（実監視領域）および除外領域７１を示す図である。作業機械２０が走行していないとき（図６Ａ）と、走行しているとき（図６Ｂ）とで、除外領域７１が切り替えられる。そして、作業機械２０が走行していないときの除外領域７１ａは、作業機械２０が走行しているときの除外領域７１ｂよりも狭い。よって、作業機械２０が走行していないときの監視領域７０ａを、作業機械２０が走行しているときの監視領域７０ｂよりも狭くしても、侵入物に対する対策を十分に行うことができる。そして、監視領域７０を狭くすることで、監視に要する計算量を好適に小さくすることができる。
　ここで、図６Ａでは、監視領域設定部８１が、作業機械２０の上下左右において、除外領域７１ａに追加される安全領域を最小にすることで、監視領域７０ａが狭くされている。一方、図６Ｂでは、監視領域設定部８１が、作業機械２０の進行方向（図中左側）に追加される安全領域を、作業機械２０の走行速度に応じて広くすることで、監視領域７０ｂが監視領域７０ａよりも広く設定されている。
　以上に述べたように、本実施形態に係る監視領域設定システム１によれば、作業機械２０の動作範囲が除外領域７１として特定され、基準監視領域としての監視領域７０から除外領域７１が除外されることで、実監視領域が設定される。監視領域７０から除外領域７１が除外されることで、除外領域７１が除外される前と比べて、監視領域７０が狭くなる。よって、監視に要する計算量を小さくすることができる。
　また、除外領域７１が除外された後の監視領域７０内の点群データに基づいて、監視領域７０内に物体が侵入したことが検出される。監視領域７０から除外領域７１が除外されることで、作業機械２０が侵入物として誤検出されることがなくなる。よって、監視領域７０内で検出される物体は侵入物であり、作業機械２０に干渉する可能性がある。そこで、侵入物が検出された場合に、例えば、作業機械２０の動作を制限するなどの対策を行うことで、作業機械２０と侵入物との干渉を抑制することができる。
　また、作業機械２０における一連の動作の動作範囲を重畳させた範囲が、除外領域７１として特定され、監視領域７０から除外される。これにより、一連の動作を行う作業機械２０の動作範囲の全てが監視領域７０から除外されることになる。よって、一連の動作のうち一部のみの動作の動作範囲を除外領域７１として除外するよりも、監視領域７０から除外される範囲が広くなる。この結果、監視に要する計算量を好適に小さくすることができる。
　また、作業機械２０の複数の動作毎に、除外領域７１が特定され、現在の作業機械２０の動作に応じて、監視領域７０から除外される除外領域７１が切り替えられる。これにより、作業機械２０の動作に応じた適切な広さの除外領域７１を設定することができる。この結果、作業機械２０の動作に応じた適切な広さの監視領域７０（実監視領域）を設定することができる。例えば、作業機械２０が走行しているときと、走行していないときとで、除外領域７１が切り替えられる。そして、作業機械２０が走行していないときの除外領域７１は、作業機械２０が走行しているときの除外領域７１よりも狭い。よって、作業機械２０が走行していないときの監視領域７０を、作業機械２０が走行しているときの監視領域７０よりも狭くしても、侵入物に対する対策を十分に行うことができる。そして、監視領域７０を狭くすることで、監視に要する計算量を好適に小さくすることができる。
　以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定するものではなく、具体的構成などは、適宜設計変更可能である。また、上記の実施形態に記載された、作用及び効果は、本発明から生じる最も好適な作用及び効果を列挙したに過ぎず、本発明による作用及び効果は、上記の実施形態に記載されたものに限定されるものではない。
　本発明によって提供されるのは、作業機械の監視領域設定システムである。当該監視領域設定システムは、点群データ取得部と、コントローラとを備える。前記点群データ取得部は、予め設定された検出範囲を有し、所定の基準点から前記検知範囲内の対象物までの距離を示すデータである点群データを取得する。前記コントローラは、前記検出範囲内に位置する作業機械を含むように設定される領域である基準監視領域に関する情報を取得し、前記点群データに基づいて前記作業機械の動作範囲を除外領域として特定し、前記基準監視領域から前記除外領域を除外して前記作業機械に対する実監視領域を設定する。
　上記の構成において、前記コントローラは、前記実監視領域内の前記点群データに基づいて、前記実監視領域内に物体が侵入したことを検出することが望ましい。
　また、上記の構成において、前記作業機械が複数の動作を含む一連の動作を行った場合、前記コントローラは、前記複数の動作の各々の前記動作範囲を重畳させた範囲を前記除外領域として特定することが望ましい。
　上記の構成において、前記コントローラは、前記作業機械の複数の異なる動作に応じた複数の異なる前記除外領域を特定することが可能であり、現在の前記作業機械の動作に応じた前記除外領域を設定することが望ましい。
　上記の構成において、前記コントローラは、前記検出範囲内における前記作業機械の位置を特定し、その特定結果に応じて前記基準監視領域を設定することで、前記基準監視領域に関する情報を取得することが望ましい。なお、作業者が手動で基準監視領域を設定してもよい。

 

Claims (5)

  1. 　予め設定された検出範囲を有し、所定の基準点から前記検知範囲内の対象物までの距離を示すデータである点群データを取得する点群データ取得部と、
    　前記検出範囲内に位置する作業機械を含むように設定される領域である基準監視領域に関する情報を取得し、前記点群データに基づいて前記作業機械の動作範囲を除外領域として特定し、前記基準監視領域から前記除外領域を除外して前記作業機械に対する実監視領域を設定するコントローラと、
    を備える、監視領域設定システム。
  2. 　前記コントローラは、前記実監視領域内の前記点群データに基づいて、前記実監視領域内に物体が侵入したことを検出する、請求項１に記載の監視領域設定システム。
  3. 　前記作業機械が複数の動作を含む一連の動作を行った場合、前記コントローラは、前記複数の動作の各々の前記動作範囲を重畳させた範囲を前記除外領域として特定する、請求項１又は２に記載の監視領域設定システム。
  4. 　前記コントローラは、前記作業機械の複数の異なる動作に応じた複数の異なる前記除外領域を特定することが可能であり、現在の前記作業機械の動作に応じた前記除外領域を設定する、請求項１又は２に記載の監視領域設定システム。
  5. 　前記コントローラは、前記検出範囲内における前記作業機械の位置を特定し、その特定結果に応じて前記基準監視領域を設定することで、前記基準監視領域に関する情報を取得する、請求項１乃至４の何れか1項に記載の監視領域設定システム。

     
PCT/JP2022/034636 2021-11-17 2022-09-15 監視領域設定システム WO2023089936A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021186761A JP2023074040A (ja) 2021-11-17 2021-11-17 監視エリア設定システム
JP2021-186761 2021-11-17

Publications (1)

Publication Number Publication Date
WO2023089936A1 true WO2023089936A1 (ja) 2023-05-25

Family

ID=86396772

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/034636 WO2023089936A1 (ja) 2021-11-17 2022-09-15 監視領域設定システム

Country Status (2)

Country Link
JP (1) JP2023074040A (ja)
WO (1) WO2023089936A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11293708A (ja) 1998-04-15 1999-10-26 Hitachi Constr Mach Co Ltd 自動運転建設機械
JP2005180943A (ja) * 2003-12-16 2005-07-07 Azuma Systems:Kk 作業車両用周辺監視装置
JP2020152473A (ja) * 2019-03-18 2020-09-24 住友重機械工業株式会社 作業機械
JP2020189750A (ja) * 2019-05-17 2020-11-26 コベルコ建機株式会社 作業機械および作業機械における映像表示制御方法
KR20210061159A (ko) * 2019-11-19 2021-05-27 두산인프라코어 주식회사 건설기계의 제어 시스템 및 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11293708A (ja) 1998-04-15 1999-10-26 Hitachi Constr Mach Co Ltd 自動運転建設機械
JP2005180943A (ja) * 2003-12-16 2005-07-07 Azuma Systems:Kk 作業車両用周辺監視装置
JP2020152473A (ja) * 2019-03-18 2020-09-24 住友重機械工業株式会社 作業機械
JP2020189750A (ja) * 2019-05-17 2020-11-26 コベルコ建機株式会社 作業機械および作業機械における映像表示制御方法
KR20210061159A (ko) * 2019-11-19 2021-05-27 두산인프라코어 주식회사 건설기계의 제어 시스템 및 제어 방법

Also Published As

Publication number Publication date
JP2023074040A (ja) 2023-05-29

Similar Documents

Publication Publication Date Title
US10544567B2 (en) Method and system for monitoring a rotatable implement of a machine
US20170073935A1 (en) Control System for a Rotating Machine
US20170002547A1 (en) Operation state detection system of work machine and work machine
JP2008163719A (ja) 作業機械の周囲監視装置
US20170073925A1 (en) Control System for a Rotating Machine
US9454147B1 (en) Control system for a rotating machine
CN114450453B (zh) 运输车位置判定装置
EP4256139A1 (en) Machine with means for detecting objects within a working area and corresponding method
WO2021059730A1 (ja) 動作教示システム
WO2023089936A1 (ja) 監視領域設定システム
US20210363732A1 (en) System and method for selectively displaying image data in a working machine
JP2020101442A (ja) 建設機械の障害物検出装置
JP2023181369A (ja) 建設機械の障害物検出装置
KR102579791B1 (ko) 건설 기계
WO2023164348A1 (en) Work machine safety zone control
JP7484630B2 (ja) 積込ポイント決定システム
US20170314381A1 (en) Control system for determining sensor blockage for a machine
JP2023141847A (ja) 死角検出システム
JP2023012254A (ja) 異常動作検出システム
WO2023281988A1 (ja) 作業機械システム
JP7349947B2 (ja) 情報処理装置、作業機械、情報処理方法、情報処理プログラム
WO2022091519A1 (ja) 経路設定システム
KR20210061004A (ko) 건설기계의 주변 환경 인지 시스템
JP2023058204A (ja) 作業現場監視システム
JP2023004180A (ja) 監視システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22895222

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022895222

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022895222

Country of ref document: EP

Effective date: 20240510